CN108958477A - 交互方法、装置、电子设备及计算机可读存储介质 - Google Patents
交互方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108958477A CN108958477A CN201810588621.4A CN201810588621A CN108958477A CN 108958477 A CN108958477 A CN 108958477A CN 201810588621 A CN201810588621 A CN 201810588621A CN 108958477 A CN108958477 A CN 108958477A
- Authority
- CN
- China
- Prior art keywords
- user
- tooth
- vibration
- knocking
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephone Function (AREA)
Abstract
本发明提出了一种交互方法，包括：当检测到所述用户叩击牙齿时，执行预置的控制指令。本发明还公开了一种交互装置、电子设备及计算机可读存储介质，通过实施上述方案，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种交互方法、装置、电子设备及计算机可读存储介质。
背景技术
随着电子设备(例如：移动终端，AR(Augmented Reality，增强现实)设备，及VR(Virtual Reality，虚拟现实)设备)的快速发展，随之而来的问题就是用户如何与电子设备进行交互。现有的交互方法有：语音识别和/或手势识别等。语音识别通过电子设备上的拾音器采集用户的语音，通过识别语音的语义，来获得用户的命令；手势识别通过电子设备上的摄像头采集用户的手部图像，通过识别手指的运动，来获得用户的命令；语音和手势识别均属于自然交互，不需要使用额外的电子设备。但是当在特定的环境下(例如：开会的环境下，或者交响乐观赏环境下)，用户无法通过语音和/或手势与电子设备进行交互。
发明内容
本发明提出了一种交互方法、装置、电子设备及计算机可读存储介质，用以解决现有技术中在特定的环境下用户无法通过语音和/或手势与电子设备进行交互的问题。
本发明采用的技术方案是提供一种交互方法，应用于用户头部佩戴的电子设备，所述方法包括：
当检测到所述用户叩击牙齿时，执行预置的控制指令。
可选的，所述检测所述用户叩击牙齿的方式，包括以下方式中的一种或多种：
通过拾音器检测所述用户叩击牙齿的声音；
或者，通过加速度传感器检测所述用户叩击牙齿的振动。
可选的，所述通过拾音器检测所述用户叩击牙齿的声音的方式，包括：
对通过拾音器检测到的所述用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断所述声音数字信号是否符合预置的叩击牙齿声音信号特征；若所述声音数字信号符合所述叩击牙齿声音信号特征，则判定检测到所述用户叩击牙齿的声音；否则判定未检测到所述用户叩击牙齿的声音。
可选的，在所述通过拾音器检测所述用户叩击牙齿的声音之前，所述方法还包括：
通过所述拾音器采集所述用户牙齿振动的设定数量个声音模拟信号；
对所有声音模拟信号分别依次进行放大和模拟数字A/D转换，得到对应的声音数字信号；
对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；
将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿声音信号特征。
可选的，所述通过加速度传感器检测用户叩击牙齿的振动的方式，包括：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断所述振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若所述振动加速度信号符合所述叩击牙齿加速度信号特征，则判定检测到所述用户叩击牙齿的振动；否则判定未检测到所述用户叩击牙齿的振动。
可选的，在所述通过加速度传感器检测所述用户叩击牙齿的振动之前，所述方法还包括：
通过所述加速度传感器采集所述用户牙齿振动的设定数量个振动加速度信号；
对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；
将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿加速度信号特征。
可选的，所述执行预置的控制指令，包括：
将所述控制指令发送至与所述电子设备连接的终端，以供所述终端基于所述控制指令执行对应的控制操作。
本发明还提供一种交互装置，设置于用户头部佩戴的电子设备，所述装置包括：
检测控制模块，用于当检测到所述用户叩击牙齿时，执行预置的控制指令。
可选的，所述检测所述用户叩击牙齿的方式，包括以下方式中的一种或多种：
通过拾音器检测所述用户叩击牙齿的声音；
或者，通过加速度传感器检测所述用户叩击牙齿的振动。
可选的，所述通过拾音器检测所述用户叩击牙齿的声音的方式，包括：
对通过拾音器检测到的所述用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断所述声音数字信号是否符合预置的叩击牙齿声音信号特征；若所述声音数字信号符合所述叩击牙齿声音信号特征，则判定检测到所述用户叩击牙齿的声音；否则判定未检测到所述用户叩击牙齿的声音。
可选的，所述装置还包括：
第一训练模块，用于在所述通过拾音器检测所述用户叩击牙齿的声音之前，通过所述拾音器采集所述用户牙齿振动的设定数量个声音模拟信号；
对所有声音模拟信号分别依次进行放大和模拟数字A/D转换，得到对应的声音数字信号；
对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；
将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿声音信号特征。
可选的，所述通过加速度传感器检测用户叩击牙齿的振动的方式，包括：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断所述振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若所述振动加速度信号符合所述叩击牙齿加速度信号特征，则判定检测到所述用户叩击牙齿的振动；否则判定未检测到所述用户叩击牙齿的振动。
可选的，所述装置还包括：
第二训练模块，用于在所述通过加速度传感器检测所述用户叩击牙齿的振动之前，通过所述加速度传感器采集所述用户牙齿振动的设定数量个振动加速度信号；
对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；
将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿加速度信号特征。
可选的，所述检测控制模块，具体用于：
将所述控制指令发送至与所述电子设备连接的终端，以供所述终端基于所述控制指令执行对应的控制操作。
本发明还提供一种电子设备，所述电子设备包括处理器和存储器；
所述处理器用于执行存储器中存储的交互程序，以实上述的交互方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的交互方法的步骤。
采用上述技术方案，本发明至少具有下列优点：
本发明所述一种交互方法、装置、电子设备及计算机可读存储介质，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
附图说明
图1为本发明第一实施例的智能眼镜示意图；
图2为本发明第三实施例的交互方法流程图；
图3为本发明第四实施例的交互方法流程图；
图4为本发明第五实施例的交互方法流程图；
图5为本发明第八实施例的交互装置组成结构示意图；
图6为本发明第九实施例的交互装置组成结构示意图；
图7为本发明第十实施例的交互装置组成结构示意图；
图8为本发明第十一实施例的电子设备组成结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明实施例提供的交互方法，应用于用户头部佩戴的电子设备，用于实现用户通过叩击牙齿与电子设备的交互，以解决现有技术在特定的环境下用户无法通过语音和/或手势与电子设备进行交互的问题。
在发明实施例中，对用户头部佩戴的电子设备不做具体限定，可以是用户头部佩戴的AR设备，也可以是用户头部佩戴的VR设备，也可以是用户头部佩戴的智能眼镜设备，也可以是用户头部佩戴的耳机设备，也可以是用户头部佩戴的与其他终端连接的电子设备。
本发明第一实施例，一种交互方法，应用于用户头部佩戴的电子设备，该方法包括以下具体步骤：
步骤S101，当检测到用户叩击牙齿时，执行预置的控制指令。
在本实施例中，对检测到用户叩击牙齿的方式不做具体限定，可以通过加速度传感器采集用户叩击牙齿的振动加速度，以检测用户叩击牙齿的动作；也可以通过拾音器采集用户叩击牙齿的声音，以检测用户叩击牙齿的动作。
在本实施例中，对预置的控制指令不做具体限定，可以是用户预先设置的功能控制指令，也可以是开发工程师根据工程经验设置的功能控制指令，也可以是电子设备出厂默认设置的功能控制指令。
在本实施例中，对用户头部佩戴的电子设备不做具体限定，可以是用户头部佩戴的VR设备，也可以是用户头部佩戴的AR设备，也可以是用户头部佩戴的无线通信设备，也可以是用户头部佩戴的无线音频播放设备，也可以是用户头部佩戴的眼镜显示设备，也可以是用户头部接触的其他电子设备。
例如，步骤S101，包括：
通过加速度传感器检测到用户叩击牙齿的振动加速度时，执行预置的用户头部佩戴的VR设备的暂停播放指令。
又如，步骤S101，包括：
通过拾音器检测到用户叩击牙齿的声音时，执行预置的用户头部佩戴的蓝牙通信耳机接听指令。
又如，如图1所示，步骤S101，包括：
通过用户头部佩戴的智能眼镜设备中加速度传感器检测到用户叩击牙齿的振动加速度时，执行预置的用户头部佩戴的智能眼镜设备的暂停播放指令。
通过检测用户的叩齿操作，实现了用户通过微小的嘴部动作与电子设备之间的交互，避免了多种特殊场景下用户无法说话和/或无法动作的情况下(例如：用户在开会，用户在开车，或者用户在听交响乐等情况下)，与电子设备交互的不便。
本发明第一实施例所述的交互方法，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第二实施例，一种交互方法，应用于用户头部佩戴的电子设备，该方法包括以下具体步骤：
步骤S201，当检测到用户叩击牙齿时，执行预置的控制指令。
可选的，检测用户叩击牙齿的方式包括以下方式中的一种或多种的组合：
方式一，通过拾音器检测用户叩击牙齿的声音；
方式二，通过加速度传感器检测用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
在本实施例中，对预置的控制指令不做具体限定，可以是用户预先设置的功能控制指令，也可以是开发工程师根据工程经验设置的功能控制指令，也可以是电子设备出厂默认设置的功能控制指令。
例如，步骤S201，包括：
当通过拾音器检测用户叩击牙齿的声音时，将预置的暂停播放指令发送至与用户头部佩戴的蓝牙通信耳机连接的智能手机，以供智能手机基于该暂停播放指令执行对应的音乐播放APP(Application，应用程序)暂停播放操作。
又如，步骤S201，包括：
当通过拾音器检测到用户叩击牙齿的声音，并通过加速度传感器检测用户叩击牙齿的振动时，将预置的启动导航指令发送至与用户头部佩戴的蓝牙通信耳机连接的智能手机，以供智能手机基于该启动导航指令执行对应的卫星导航APP的回家导航操作。
通过多个传感器的检测，提高了叩齿动作检测的准确性。
本发明第二实施例所述的交互方法，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第三实施例，一种交互方法，如图2所示，应用于用户头部佩戴的电子设备，该方法包括以下具体步骤：
步骤S301，通过拾音器采集用户牙齿振动的设定数量个声音模拟信号；对所有声音模拟信号分别依次进行放大和A/D(模拟/数字)转换，得到对应的声音数字信号；对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿声音信号特征。
深度学习算法的优点，可以不必研究声音信号本身的特性，通过神经网络的构建和样本的训练来实现声音信号特性的识别，具有准确度高，代码简单，及快速迭代的优点。
在本实施例中，对设定数量不做具体限定，可以是根据生成设定精度的叩击牙齿声音信号特征设置设定数量的数量值，也可以是根据工程人员的工程经验对设定数量进行设置，也可以通过有限次的实验以获取精确叩击牙齿声音信号特征设置设定数量，也可以通过有限次的计算机仿真以获取精确叩击牙齿声音信号特征设置设定数量。
步骤S302，当通过拾音器检测到用户叩击牙齿的声音时，执行预置的控制指令。
其中，通过拾音器检测用户叩击牙齿的声音的方式，包括但不限于：
对通过拾音器检测到的用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断声音数字信号是否符合预置的叩击牙齿声音信号特征；若声音数字信号符合叩击牙齿声音信号特征，则判定检测到用户叩击牙齿的声音；否则判定未检测到用户叩击牙齿的声音。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第三实施例所述的交互方法，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第四实施例，一种交互方法，如图3所示，应用于用户头部佩戴的电子
步骤S401，通过加速度传感器采集用户牙齿振动的设定数量个振动加速度信号；对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿加速度信号特征。
深度学习算法的优点，可以不必研究声音信号本身的特性，通过神经网络的构建和样本的训练来实现声音信号特性的识别，具有准确度高，代码简单，及快速迭代的优点。
在本实施例中，对设定数量不做具体限定，可以是根据生成设定精度的叩击牙齿加速度信号特征设置设定数量的数量值，也可以是根据工程人员的工程经验对设定数量进行设置，也可以通过有限次的实验以获取精确叩击牙齿加速度信号特征设置设定数量，也可以通过有限次的计算机仿真以获取精确叩击牙齿加速度信号特征设置设定数量。
步骤S402，当通过加速度传感器检测用户叩击牙齿的振动时，执行预置的控制指令。
其中，通过加速度传感器检测用户叩击牙齿的振动的方式，包括但不限于：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若振动加速度信号符合叩击牙齿加速度信号特征，则判定检测到用户叩击牙齿的振动；否则判定未检测到用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第四实施例所述的交互方法，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第五实施例，一种交互方法，如图4所示，应用于用户头部佩戴的电子设备，该方法包括以下具体步骤：
步骤S501，通过拾音器采集用户牙齿振动的设定数量个声音模拟信号；对所有声音模拟信号分别依次进行放大和A/D转换，得到对应的声音数字信号；对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿声音信号特征。
步骤S502，通过加速度传感器采集用户牙齿振动的设定数量个振动加速度信号；对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿加速度信号特征。
在本实施例中，对步骤S501和步骤S502的执行顺序不做具体限定，可以先执行步骤S501，再执行步骤S502；也可以先执行步骤S502，再执行步骤S501；也可以并行执行步骤S501和步骤S502。
步骤S503，当通过拾音器检测到用户叩击牙齿的声音，并通过加速度传感器检测用户叩击牙齿的振动时，执行预置的控制指令。
其中，通过拾音器检测用户叩击牙齿的声音的方式，包括但不限于：
对通过拾音器检测到的用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断声音数字信号是否符合预置的叩击牙齿声音信号特征；若声音数字信号符合叩击牙齿声音信号特征，则判定检测到用户叩击牙齿的声音；否则判定未检测到用户叩击牙齿的声音。
其中，通过加速度传感器检测用户叩击牙齿的振动的方式，包括但不限于：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若振动加速度信号符合叩击牙齿加速度信号特征，则判定检测到用户叩击牙齿的振动；否则判定未检测到用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第五实施例所述的交互方法，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第六实施例，一种交互装置，设置于用户头部佩戴的电子设备，该装置包括以下组成部分：
检测控制模块300，用于当检测到用户叩击牙齿时，执行预置的控制指令。
在本实施例中，对检测到用户叩击牙齿的方式不做具体限定，可以通过加速度传感器采集用户叩击牙齿的振动加速度，以检测用户叩击牙齿的动作；也可以通过拾音器采集用户叩击牙齿的声音，以检测用户叩击牙齿的动作。
在本实施例中，对预置的控制指令不做具体限定，可以是用户预先设置的功能控制指令，也可以是开发工程师根据工程经验设置的功能控制指令，也可以是电子设备出厂默认设置的功能控制指令。
在本实施例中，对用户头部佩戴的电子设备不做具体限定，可以是用户头部佩戴的VR设备，也可以是用户头部佩戴的AR设备，也可以是用户头部佩戴的无线通信设备，也可以是用户头部佩戴的无线音频播放设备，也可以是用户头部佩戴的眼镜显示设备，也可以是用户头部接触的其他电子设备。
例如，检测控制模块300，用于：
通过加速度传感器检测到用户叩击牙齿的振动加速度时，执行预置的用户头部佩戴的VR设备的暂停播放指令。
又如，检测控制模块300，用于：
通过拾音器检测到用户叩击牙齿的声音时，执行预置的用户头部佩戴的蓝牙通信耳机接听指令。
通过检测用户的叩齿操作，实现了用户通过微小的嘴部动作与电子设备之间的交互，避免了多种特殊场景下用户无法说话和/或无法动作的情况下(例如：用户在开会，用户在开车，或者用户在听交响乐等情况下)，与电子设备交互的不便。
本发明第六实施例所述的交互装置，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第七实施例，一种交互装置，设置于用户头部佩戴的电子设备，该装置包括以下组成部分：
检测控制模块300，用于当检测到用户叩击牙齿时，执行预置的控制指令。
可选的，检测用户叩击牙齿的方式包括以下方式中的一种或多种的组合：
方式一，通过拾音器检测用户叩击牙齿的声音；
方式二，通过加速度传感器检测用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
在本实施例中，对预置的控制指令不做具体限定，可以是用户预先设置的功能控制指令，也可以是开发工程师根据工程经验设置的功能控制指令，也可以是电子设备出厂默认设置的功能控制指令。
例如，检测控制模块300，用于：
当通过拾音器检测用户叩击牙齿的声音时，将预置的暂停播放指令发送至与用户头部佩戴的蓝牙通信耳机连接的智能手机，以供智能手机基于该暂停播放指令执行对应的音乐播放APP(Application，应用程序)暂停播放操作。
又如，检测控制模块300，用于：
当通过拾音器检测到用户叩击牙齿的声音，并通过加速度传感器检测用户叩击牙齿的振动时，将预置的启动导航指令发送至与用户头部佩戴的蓝牙通信耳机连接的智能手机，以供智能手机基于该启动导航指令执行对应的卫星导航APP的回家导航操作。
通过多个传感器的检测，提高了叩齿动作检测的准确性。
本发明第七实施例所述的交互装置，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第八实施例，一种交互装置，如图5所述，设置于用户头部佩戴的电子设备，该装置包括以下组成部分：
第一训练模块100，用于通过拾音器采集用户牙齿振动的设定数量个声音模拟信号；对所有声音模拟信号分别依次进行放大和A/D(模拟/数字)转换，得到对应的声音数字信号；对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿声音信号特征。
深度学习算法的优点，可以不必研究声音信号本身的特性，通过神经网络的构建和样本的训练来实现声音信号特性的识别，具有准确度高，代码简单，及快速迭代的优点。
在本实施例中，对设定数量不做具体限定，可以是根据生成设定精度的叩击牙齿声音信号特征设置设定数量的数量值，也可以是根据工程人员的工程经验对设定数量进行设置，也可以通过有限次的实验以获取精确叩击牙齿声音信号特征设置设定数量，也可以通过有限次的计算机仿真以获取精确叩击牙齿声音信号特征设置设定数量。
检测控制模块300，用于当通过拾音器检测到用户叩击牙齿的声音时，执行预置的控制指令。
其中，通过拾音器检测用户叩击牙齿的声音的方式，包括但不限于：
对通过拾音器检测到的用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断声音数字信号是否符合预置的叩击牙齿声音信号特征；若声音数字信号符合叩击牙齿声音信号特征，则判定检测到用户叩击牙齿的声音；否则判定未检测到用户叩击牙齿的声音。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第八实施例所述的交互装置，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第九实施例，一种交互装置，如图6所述，设置于用户头部佩戴的电子设备，该装置包括以下组成部分：
第二训练模块200，用于通过加速度传感器采集用户牙齿振动的设定数量个振动加速度信号；对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿加速度信号特征。
深度学习算法的优点，可以不必研究声音信号本身的特性，通过神经网络的构建和样本的训练来实现声音信号特性的识别，具有准确度高，代码简单，及快速迭代的优点。
在本实施例中，对设定数量不做具体限定，可以是根据生成设定精度的叩击牙齿加速度信号特征设置设定数量的数量值，也可以是根据工程人员的工程经验对设定数量进行设置，也可以通过有限次的实验以获取精确叩击牙齿加速度信号特征设置设定数量，也可以通过有限次的计算机仿真以获取精确叩击牙齿加速度信号特征设置设定数量。
检测控制模块300，用于当通过加速度传感器检测用户叩击牙齿的振动时，执行预置的控制指令。
其中，通过加速度传感器检测用户叩击牙齿的振动的方式，包括但不限于：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若振动加速度信号符合叩击牙齿加速度信号特征，则判定检测到用户叩击牙齿的振动；否则判定未检测到用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第九实施例所述的交互装置，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第十实施例，一种交互装置，如图7所述，设置于用户头部佩戴的电子设备，该装置包括以下组成部分：
第一训练模块100，用于通过拾音器采集用户牙齿振动的设定数量个声音模拟信号；对所有声音模拟信号分别依次进行放大和A/D(模拟/数字)转换，得到对应的声音数字信号；对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿声音信号特征。
第二训练模块200，用于通过加速度传感器采集用户牙齿振动的设定数量个振动加速度信号；对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成叩击牙齿加速度信号特征。
检测控制模块300，用于当通过拾音器检测到用户叩击牙齿的声音，并通过加速度传感器检测用户叩击牙齿的振动时，执行预置的控制指令。
其中，通过拾音器检测用户叩击牙齿的声音的方式，包括但不限于：
对通过拾音器检测到的用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断声音数字信号是否符合预置的叩击牙齿声音信号特征；若声音数字信号符合叩击牙齿声音信号特征，则判定检测到用户叩击牙齿的声音；否则判定未检测到用户叩击牙齿的声音。
其中，通过加速度传感器检测用户叩击牙齿的振动的方式，包括但不限于：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若振动加速度信号符合叩击牙齿加速度信号特征，则判定检测到用户叩击牙齿的振动；否则判定未检测到用户叩击牙齿的振动。
可选的，执行预置的控制指令的方式，包括但不限于：
将预置的控制指令发送至与电子设备连接的终端，以供终端基于该控制指令执行对应的控制操作。
本发明第十实施例所述的交互装置，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第十一实施例，一种电子设备，如图8所示，包括以下组成部分：
处理器501和存储器502。在本发明的一些实施例中，处理器501和存储器502可通过总线或者其它方式连接。
处理器501可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(英文：Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。其中，存储器502用于存储所述处理器501的可执行指令；
存储器502，用于存储程序代码，并将该程序代码传输给处理器501。存储器502可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器502也可以包括非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器502还可以包括上述种类的存储器的组合。
在本实施例中，对电子设备不做具体限定，可以是用户头部佩戴的VR设备，也可以是用户头部佩戴的AR设备，也可以是用户头部佩戴的无线通信设备，也可以是用户头部佩戴的无线音频播放设备，也可以是用户头部佩戴的眼镜显示设备，也可以是用户头部接触的其他电子设备。
其中，处理器501用于调用所述存储器502存储的程序代码管理代码，执行本发明第一实施例至本发明第五实施例中任一实施例中部分或全部步骤。
本发明第十实施例所述的电子设备，实现了用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
本发明第十一实施例，一种计算机可读存储介质。
计算机存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。
计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现本发明第一实施例至本发明第五实施例中任一实施例中部分或全部步骤。
本发明第十一实施例所述的计算机可读存储介质，存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，能够实现用户通过叩击牙齿与电子设备的交互，避免了用户在特殊环境下无法通过语音或动作与电子设备交互的弊端，提高了用户与电子设备交互的便利性，极大提高了用户与电子设备沟通的效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种交互方法，其特征在于，应用于用户头部佩戴的电子设备，所述方法包括：
当检测到所述用户叩击牙齿时，执行预置的控制指令。
2.根据权利要求1所述的方法，其特征在于，所述检测所述用户叩击牙齿的方式，包括以下方式中的一种或多种：
通过拾音器检测所述用户叩击牙齿的声音；
或者，通过加速度传感器检测所述用户叩击牙齿的振动。
3.根据权利要求2所述的方法，其特征在于，所述通过拾音器检测所述用户叩击牙齿的声音的方式，包括：
对通过拾音器检测到的所述用户牙齿振动的声音模拟信号进行放大；
将放大后的声音模拟信号转换为声音数字信号；
判断所述声音数字信号是否符合预置的叩击牙齿声音信号特征；若所述声音数字信号符合所述叩击牙齿声音信号特征，则判定检测到所述用户叩击牙齿的声音；否则判定未检测到所述用户叩击牙齿的声音。
4.根据权利要求3所述的方法，其特征在于，在所述通过拾音器检测所述用户叩击牙齿的声音之前，所述方法还包括：
通过所述拾音器采集所述用户牙齿振动的设定数量个声音模拟信号；
对所有声音模拟信号分别依次进行放大和模拟数字A/D转换，得到对应的声音数字信号；
对得到的所有声音数字信号中叩击牙齿振动对应的声音数字信号，及其它牙齿振动对应的声音数字信号进行分别标记；
将标记后的所有声音数字信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿声音信号特征。
5.根据权利要求2所述的方法，其特征在于，所述通过加速度传感器检测用户叩击牙齿的振动的方式，包括：
通过加速度传感器检测用户牙齿振动，得到振动加速度信号；
判断所述振动加速度信号是否符合预置的叩击牙齿加速度信号特征；若所述振动加速度信号符合所述叩击牙齿加速度信号特征，则判定检测到所述用户叩击牙齿的振动；否则判定未检测到所述用户叩击牙齿的振动。
6.根据权利要求5所述的方法，其特征在于，在所述通过加速度传感器检测所述用户叩击牙齿的振动之前，所述方法还包括：
通过所述加速度传感器采集所述用户牙齿振动的设定数量个振动加速度信号；
对采集到的所有振动加速度信号中叩击牙齿振动对应的振动加速度信号，及其它牙齿振动对应的振动加速度信号分别进行标记；
将标记后的所有振动加速度信号输入基于深度学习算法生成的神经网络模型，以生成所述叩击牙齿加速度信号特征。
7.根据权利要求1所述的方法，其特征在于，所述执行预置的控制指令，包括：
将所述控制指令发送至与所述电子设备连接的终端，以供所述终端基于所述控制指令执行对应的控制操作。
8.一种交互装置，其特征在于，设置于用户头部佩戴的电子设备，所述装置包括：
检测控制模块，用于当检测到所述用户叩击牙齿时，执行预置的控制指令。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；
所述处理器用于执行存储器中存储的交互程序，以实现根据权利要求1～7中任一项所述的交互方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现根据权利要求1～7中任一项所述的交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810588621.4A CN108958477A (zh) | 2018-06-08 | 2018-06-08 | 交互方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810588621.4A CN108958477A (zh) | 2018-06-08 | 2018-06-08 | 交互方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108958477A true CN108958477A (zh) | 2018-12-07 |
Family
ID=64493557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810588621.4A Pending CN108958477A (zh) | 2018-06-08 | 2018-06-08 | 交互方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108958477A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783049A (zh) * | 2019-02-15 | 2019-05-21 | 广州视源电子科技股份有限公司 | 操作控制方法、装置、设备及存储介质 |
| CN110187859A (zh) * | 2019-04-12 | 2019-08-30 | 华为技术有限公司 | 一种去噪方法及电子设备 |
| CN111768757A (zh) * | 2020-07-10 | 2020-10-13 | Oppo（重庆）智能科技有限公司 | 可穿戴设备的控制方法、可穿戴设备及存储介质 |
| CN113055778A (zh) * | 2021-03-23 | 2021-06-29 | 深圳市沃特沃德信息有限公司 | 基于牙动状态的耳机交互方法、装置、终端设备及介质 |
| CN114760557A (zh) * | 2022-04-27 | 2022-07-15 | 歌尔股份有限公司 | 耳机状态调整方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1512490A (zh) * | 2002-12-30 | 2004-07-14 | 吕小麟 | 一种输入控制信号的方法及装置 |
| CN103124393A (zh) * | 2006-05-30 | 2013-05-29 | 索尼图斯医疗公司 | 用于传送振动的方法和器械 |
| US20140364967A1 (en) * | 2013-06-08 | 2014-12-11 | Scott Sullivan | System and Method for Controlling an Electronic Device |
| CN104317388A (zh) * | 2014-09-15 | 2015-01-28 | 联想(北京)有限公司 | 一种交互方法及穿戴式电子设备 |
| CN105988768A (zh) * | 2015-02-06 | 2016-10-05 | 电信科学技术研究院 | 智能设备控制方法、信号获取方法及相关设备 |
| CN106774914A (zh) * | 2016-12-26 | 2017-05-31 | 苏州欧菲光科技有限公司 | 穿戴式设备的控制方法和穿戴式设备 |
-
2018
- 2018-06-08 CN CN201810588621.4A patent/CN108958477A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1512490A (zh) * | 2002-12-30 | 2004-07-14 | 吕小麟 | 一种输入控制信号的方法及装置 |
| CN103124393A (zh) * | 2006-05-30 | 2013-05-29 | 索尼图斯医疗公司 | 用于传送振动的方法和器械 |
| US20140364967A1 (en) * | 2013-06-08 | 2014-12-11 | Scott Sullivan | System and Method for Controlling an Electronic Device |
| CN104317388A (zh) * | 2014-09-15 | 2015-01-28 | 联想(北京)有限公司 | 一种交互方法及穿戴式电子设备 |
| CN105988768A (zh) * | 2015-02-06 | 2016-10-05 | 电信科学技术研究院 | 智能设备控制方法、信号获取方法及相关设备 |
| CN106774914A (zh) * | 2016-12-26 | 2017-05-31 | 苏州欧菲光科技有限公司 | 穿戴式设备的控制方法和穿戴式设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783049A (zh) * | 2019-02-15 | 2019-05-21 | 广州视源电子科技股份有限公司 | 操作控制方法、装置、设备及存储介质 |
| CN110187859A (zh) * | 2019-04-12 | 2019-08-30 | 华为技术有限公司 | 一种去噪方法及电子设备 |
| WO2020207376A1 (zh) * | 2019-04-12 | 2020-10-15 | 华为技术有限公司 | 一种去噪方法及电子设备 |
| CN111768757A (zh) * | 2020-07-10 | 2020-10-13 | Oppo（重庆）智能科技有限公司 | 可穿戴设备的控制方法、可穿戴设备及存储介质 |
| CN113055778A (zh) * | 2021-03-23 | 2021-06-29 | 深圳市沃特沃德信息有限公司 | 基于牙动状态的耳机交互方法、装置、终端设备及介质 |
| CN114760557A (zh) * | 2022-04-27 | 2022-07-15 | 歌尔股份有限公司 | 耳机状态调整方法、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108958477A (zh) | 交互方法、装置、电子设备及计算机可读存储介质 | |
| US11496827B2 (en) | Microphone natural speech capture voice dictation system and method | |
| US10416774B2 (en) | Automatic remote sensing and haptic conversion system | |
| KR101753509B1 (ko) | 소셜 그래프들, 스피치 모델들, 및 사용자 콘텍스트를 통해 모바일 디바이스 사용자에 근접한 사람들을 식별하는 것 | |
| CN110278509A (zh) | 一种无线耳机控制方法、装置及无线耳机和存储介质 | |
| CN104715757A (zh) | 一种终端声控操作方法及装置 | |
| WO2018105266A1 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
| CN103425489A (zh) | 用于控制具有骨导换能器的装置的系统和设备 | |
| EP2688315A1 (en) | Method and apparatus for an input device for hearing aid modification | |
| CN111158487A (zh) | 使用无线耳机与智能终端进行交互的人机交互方法 | |
| TWI514258B (zh) | 語音管理方法及系統，及其電腦程式產品 | |
| CN109065017B (zh) | 语音数据生成方法及相关装置 | |
| CN113495609A (zh) | 睡眠状态的判断方法、系统、穿戴设备及存储介质 | |
| US20210216589A1 (en) | Information processing apparatus, information processing method, program, and dialog system | |
| CN108089710A (zh) | 一种电子设备控制方法、装置及电子设备 | |
| CN110291768A (zh) | 信息处理装置、信息处理方法和信息处理系统 | |
| JP6891732B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN105898053A (zh) | 一种通信记录处理设备、方法以及移动终端 | |
| CN106404162A (zh) | 一种噪声采集方法及装置 | |
| JP7265305B1 (ja) | 遠隔制御システム及び端末装置 | |
| WO2023074472A1 (ja) | 遠隔制御システム及び端末装置 | |
| JP2018001387A (ja) | ロボット、プログラム、ロボットシステム及びサーバ | |
| US20240103633A1 (en) | Hold gesture recognition using machine learning | |
| US10832040B2 (en) | Cognitive rendering of inputs in virtual reality environments | |
| CN107241488A (zh) | 数据交互方法及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |