CN103869962A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN103869962A CN103869962A CN201210553344.6A CN201210553344A CN103869962A CN 103869962 A CN103869962 A CN 103869962A CN 201210553344 A CN201210553344 A CN 201210553344A CN 103869962 A CN103869962 A CN 103869962A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- steering order
- characteristic
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种数据处理方法、装置及电子设备，通过采集使用者的特征数据，所述特征数据包括通过图像采集单元采集的动作特征数据和通过声音采集单元采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令。通过本申请实施例只需对使用者当前的动作声音特征数据进行采集，进而实现执行指令，启动对象的目的，避免了现有技术中用户在实现对象启动时需要对鼠标或键盘运用的多个操作，无需预先对用户进行技能培训，提高对象启动效率，进一步提高了用户体验。
Description
技术领域
本申请涉及软件开发技术领域，特别涉及一种数据处理方法、装置及电子设备。
背景技术
目前，用户在软件系统操作界面上启动某一对象或执行某一指令或任务时，需要进行鼠标移动、点击及键盘输入等操作实现，在多个对象中选定该对象进行启动或执行对应的指令。例如，用户在游戏操作桌面上的虚拟人物时，需要通过鼠标点击和移动来进行角色操作，实现更换武器、释放法术等动作。由此，上述对象启动方案中，用户操作较为繁琐，可能会出现操作失误的状况，影响对象启动效率，同时，上述对象启动方案需要预先由用户对对象启动过程中所涉及的鼠标点击、移动或键盘操作进行熟知，即需要提前对用户的技能进行培训，更进一步影响用户体验。
发明内容
本申请所要解决的技术问题是提供一种数据处理方法、装置及电子设备，用以解决现有技术中需要用户通过多个操作实现对象启动的方案，使得对象启动效率较低，且需要用户预先培训影响用户体验的技术问题。
本申请提供了一种数据处理方法，应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述方法包括：
采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据；
获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系；
在所述对应关系集合中确定与所述特征数据相对应的控制指令；
执行所述控制指令。
上述方法，优选的，所述采集使用者的动作特征数据包括：
通过所述图像采集单元获取使用者的动作影像数据；
在所述动作影像数据中识别至少一个使用者动作；
依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据；
将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
上述方法，优选的，所述采集使用者的语音特征数据包括：
通过所述声音采集单元获取使用者的周边声音信号；
在所述周边声音信号中提取使用者的声音信号；
依据所述使用者的声音信号生成使用者的语音特征数据。
上述方法，优选的，所述在所述对应关系集合中确定与所述特征数据相对应的控制指令包括：
在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
上述方法，优选的，所述在所述对应关系集合中确定与所述特征数据相对应的控制指令包括：
在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
上述方法，优选的，所述依据所述使用者的声音信号生成使用者的语音特征数据包括：
在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据；
依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
上述方法，优选的，所述在所述周边声音信号中提取使用者的声音信号包括：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
识别所述面部动作影像数据中的至少一个使用者面部动作；
在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
上述方法，优选的，所述识别所述面部动作影像数据中的至少一个使用者面部动作包括：
识别所述面部动作影像数据中的至少一个使用者嘴部动作。
上述方法，优选的，所述在所述周边声音信号中提取使用者的声音信号包括：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
确定与所述面部动作影像数据相对应的声纹标识信息；
在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
本申请提供了一种数据处理装置，应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述装置包括：
数据采集单元，用于采集使用者的特征数据；
其中，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据；
关系获取单元，用于获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系；
指令确定单元，用于在所述对应关系集合中确定与所述特征数据相对应的控制指令；
指令执行单元，用于执行所述控制指令。
上述装置，优选的，所述数据采集单元包括：
影像获取子单元，用于通过所述图像采集单元获取使用者的动作影像数据；
动作识别子单元，用于在所述动作影像数据中识别至少一个使用者动作；
第一数据生成子单元，用于依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据，将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
上述装置，优选的，所述数据采集单元包括：
信号获取子单元，用于通过所述声音采集单元获取使用者的周边声音信号；
信号提取子单元，用于在所述周边声音信号中提取使用者的声音信号；
第二数据生成子单元，用于依据所述使用者的声音信号生成使用者的语音特征数据。
上述装置，优选的，所述指令确定单元包括：
第一确定子单元，用于在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令；
第二确定子单元，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
上述装置，优选的，所述指令确定单元包括：
第三确定子单元，用于在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令；
第四确定子单元，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
上述装置，优选的：
所述第二数据生成子单元，具体用于在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据，依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
上述装置，优选的，所述信号提取子单元包括：
第一数据提取模块，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
动作识别模块，用于识别所述面部动作影像数据中的至少一个使用者面部动作；
第一信号提取模块，用于在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
上述装置，优选的：
所述动作识别模块，具体用于识别所述面部动作影像数据中的至少一个使用者嘴部动作。
上述装置，优选的，所述信号提取子单元包括：
第二数据提取模块，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
标识确定模块，用于确定与所述面部动作影像数据相对应的声纹标识信息；
第二信号提取模块，用于在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
本申请还提供了一种电子设备，包括图像采集单元、声音采集单元及如上述任意一项所述的数据处理装置。
由上述方案可知，本申请提供的一种数据处理方法、装置及电子设备，通过采集使用者的特征数据，所述特征数据包括通过图像采集单元采集的动作特征数据和通过声音采集单元采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令，由此本申请只需对使用者当前的动作声音特征数据进行采集，进而实现执行指令，启动对象的目的，避免了现有技术中用户在实现对象启动时需要对鼠标或键盘运用的多个操作，无需预先对用户进行技能培训，提高对象启动效率，进一步提高了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种数据处理方法实施例一的流程图；
图2为本申请提供的一种数据处理方法实施例二的部分流程图；
图3为本申请提供的一种数据处理方法实施例三的部分流程图；
图4为本申请提供的一种数据处理方法实施例三的另一部分流程图；
图5为本申请提供的一种数据处理方法实施例三的又一部分流程图；
图6为本申请提供的一种数据处理方法实施例四的部分流程图；
图7为本申请提供的一种数据处理方法实施例五的部分流程图；
图8为本申请提供的一种数据处理装置实施例六的结构示意图；
图9为本申请提供的一种数据处理装置实施例七的部分结构示意图；
图10为本申请提供的一种数据处理装置实施例八的部分结构示意图；
图11为本申请提供的一种数据处理装置实施例八的另一部分结构示意图；
图12为本申请提供的一种数据处理装置实施例九的部分结构示意图；
图13为本申请提供的一种数据处理装置实施例九的另一部分结构示意图；
图14为本申请提供的一种数据处理装置实施例十的部分结构示意图；
图15为本申请提供的一种数据处理装置实施例十的另一部分结构示意图；
图16为本申请提供的一种电子设备实施例十一的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，其示出了本申请提供的一种数据处理方法实施例一的流程图，其中，所述方法应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述方法可以包括以下步骤：
步骤101：采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据。
优选的，所述图像采集单元包括普通摄像头或红外摄像头等设备。其中，所述普通摄像头将其获取的影像数据经过数据处理，进而生成所述动作特征数据由；
或，所述红外摄像头将其获取的红外感应数据进行转换得到的影像数据，再将所述影像数据经过数据处理，进而生成所述动作特征数据。
优选的，所述声音采集单元包括录音笔或语音编解码器等设备。
需要说明的是，所述电子设备包括计算机、pad等设置有图像采集单元和声音采集单元的设备。
步骤102：获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系。
其中，所述对应关系集合是指，特征数据与控制指令之间的对应关系。例如：特征数据“射击动作”与控制指令“添加射击类武器***或更换射击类武器***”相对应；特征数据“声音AK47”与控制执行“添加枪械武器AK47、更换枪械武器为AK47或补充当前枪械武器AK47的子弹”相对应。
步骤103：在所述对应关系集合中确定与所述特征数据相对应的控制指令。
需要说明的是，所述步骤103是指：依据所述获取的特征数据与控制指令的对应关系集合，确定与上述采集的特征数据相对应的控制指令。
步骤104：执行所述控制指令。
需要说明的是，所述执行所述控制命令可以理解为启动所述控制命令对应的对象。
由上述方案可知，本申请提供的一种数据处理方法实施例一，应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，通过采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令，由此本申请只需对使用者当前的动作声音特征数据进行采集，进而实现执行指令，启动对象的目的，避免了现有技术中用户在实现对象启动时需要对鼠标或键盘运用的多个操作，无需预先对用户进行技能培训，提高对象启动效率，进一步提高了用户体验。
优选的，参考图2，其示出了本申请提供的一种数据处理方法实施例二的部分流程图，其中，所述步骤101中采集使用者的动作特征数据，可以通过以下步骤具体实现：
步骤S201：通过所述图像采集单元获取使用者的动作影像数据。
其中，所述动作影像数据，属于所述电子设备周边环境预设区域中的影像数据，所述预设区域中包括使用者所在区域。
步骤S202：在所述动作影像数据中识别至少一个使用者动作。
其中，所述使用者动作包括使用者的肢体动作及使用者的面部表情动作。
步骤S203：依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据。
步骤S204：将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
其中，所述使用者静态姿势数据包括使用者在某一时刻的肢体姿势或面部表情，所述使用者连续动作数据包括使用者的一个或多个时间段内的连续肢体动作或面部表情动作。
优选的，参考图3，其示出了本申请提供的一种数据处理方法实施例三的部分流程图，其中，所述步骤101中采集使用者的语音特征数据，可以通过以下步骤具体实现：
步骤S301：通过所述声音采集单元获取使用者的周边声音信号。
其中，所述周边声音信号是指使用者所在区域中所述电子设备的声音采集单元所能感应到的声音信号，包括机械声音信号（如物体摩擦声音信号或乐器打击声音信号等）及生物声带声音信号（如使用者的声带发音信号及动物叫声等）。
步骤S302：在所述周边声音信号中提取使用者的声音信号。
其中，所述使用者的声音信号是指，使用者的声带发音信号，包括说话声音信号（“换枪”）及拟声声音信号（“哼哈”）。
步骤S303：依据所述使用者的声音信号生成使用者的语音特征数据。
优选的，所述步骤S303可以通过以下方式具体实现：
在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据；
依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
优选的，参考图4，其示出了本申请实施例三的另一部分流程图，其中，所述步骤S302可以通过以下步骤具体实现：
步骤S401：在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据。
其中，在提取使用者的声音信号时，结合使用者的面部动作，由此在所述使用者动作特征数据中提取使用者的面部动作影像数据。
步骤S402：识别所述面部动作影像数据中的至少一个使用者面部动作。
优选的，所述步骤S402具体包括：
识别所述面部动作影像数据中的至少一个使用者嘴部动作。
需要说明的是，所述使用者嘴部动作即为使用者的口型特征。
步骤S403：在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
优选的，在所述周边声音信号中，将所述使用者的面部动作如口型特征与所述周边声音信号进行匹配，进而得到与所述使用者的面部动作相对应的声音信号作为使用者的声音信号。
如：根据使用者的口型“O”，提取声音信号“我”，由此，提取所述周边声音信号中所有使用者的口型特征对应的声音信号。
优选的，参考图5，其示出了本申请实施例三的又一部分流程图，其中，所述步骤S302可以通过以下步骤具体实现：
步骤S501：在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据。
步骤S502：确定与所述面部动作影像数据相对应的声纹标识信息。
优选的，所述步骤S502可以通过以下方式具体实现：
确定所述面部动作影像数据中的口型特征对应的一个使用者的发声信号；
其中，所述使用者的发声信号包括一个单音信号，如“嗯”或“啊”等；
确定所述使用者的发声信号的声纹标识信息；
其中，所述声纹标识信息为所述使用者声音信号的唯一标识，表明所述使用者的声音不可模拟性。
步骤S503：在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
其中，由于所述声纹信息表明所述使用者声音信号的不可模拟性，由此在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号即为所述使用者的声音信号。
优选的，参考图6，其示出了本申请提供的一种数据处理方法实施例四的部分流程图，其中，所述步骤103可以通过以下步骤具体实现：
步骤S601：在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令。
例如：所述特征数据包括：动作特征数据和语音特征数据，所述动作特征数据为使用者的静态姿势数据“射击姿势”，所述语音特征数据为使用者的说话声音数据“AK47”。首先，在所述对应关系集合中，选定与所述“射击姿势”相对应的控制指令，此时选定的控制指令的数量为一个或多个，如：与所述“射击姿势”相对应的控制指令包括“瞄准被射击目标”、“更换射击类武器AK47”及“更换射击类武器M99狙击步枪”中的任意一种或任意组合。
步骤S602：依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
其中，所述步骤S602是指，在所述步骤S601中选定至少一个控制指令之后，在选定的至少一个控制指令中，确定一个与所述语音特征数据相对应的控制指令。
例如：所述选定的至少一个控制指令为“瞄准被射击目标”、“更换射击类武器AK47”及“更换射击类武器M99狙击步枪”，且所述语音特征数据为使用者的说话声音信号“AK47”，由此在所述选定的至少一个控制指令中，确定与“AK47”相对应的控制指令“更换射击类武器AK47”。并由此触发执行所述控制指令，更换射击类武器AK47。
优选的，所述步骤S602还可以通过以下方式具体实现：
依据所述对应关系集合，在所述至少一个控制指令确定至少一个与所述语音特征数据相对应的控制指令，并在确定的至少一个控制指令中依据预设的选取规则，选取一个控制指令。
例如：所述选定的至少一个控制指令为：“瞄准被射击目标”、“更换射击类武器AK47”、“添加设计类武器AK47”及“更换射击类武器M99狙击步枪”，由此，在所述选定的至少一个控制指令中包括两个与所述语音特征数据相对应的控制指令：“更换射击类武器AK47”和“添加设计类武器AK47”，由此，依据预设的选取规则，选取“更换射击类武器AK47”为最优控制指令。
需要说明的是，所述预设的选取规则可以为预先由使用者设定的最优选取规则；还可以为使用者预先设定在本申请执行过程中，接收使用者输入的选取指令，根据所述选取指令，选定最优的一个控制指令；还可以为任意选取一个控制指令，如若所述语音特征数据为空，则任意选取所述确定的至少一个控制指令中的一个控制指令。
优选的，参考图7，其示出了本申请提供的一种数据处理方法实施例五的部分流程图，其中，所述步骤103可以通过以下步骤具体实现：
步骤S701：在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令。
例如：所述特征数据包括：动作特征数据和语音特征数据，所述动作特征数据为使用者的静态姿势数据“释放法术姿势”，所述语音特征数据为使用者的说话声音数据“龟派气功”。首先，在所述对应关系集合中，选定与所述“龟派气功”相对应的控制指令，此时选定的控制指令的数量为一个或多个，如：与所述“龟派气功”相对应的控制指令包括“更换法术龟派气功”、“撤销法术龟派气功”及“释放法术龟派气功”中的任意一种或任意组合。
步骤S702：依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
其中，所述步骤S702是指，在所述步骤S701中选定至少一个控制指令之后，在选定的至少一个控制指令中，确定一个与所述语音特征数据相对应的控制指令。
例如：所述选定的至少一个控制指令为“更换法术龟派气功”、“撤销法术龟派气功”及“释放法术龟派气功”，且所述动作特征数据为使用者的“释放法术”静态姿势，由此在所述选定的至少一个控制指令中，确定与“释放法术”相对应的控制指令“释放法术龟派气功”。并由此触发执行所述控制指令，释放法术龟派气功。
优选的，所述步骤S702还可以通过以下方式具体实现：
依据所述对应关系集合，在所述至少一个控制指令确定至少一个与所述动作特征数据相对应的控制指令，并在确定的至少一个控制指令中依据预设的选取规则，选取一个控制指令。
需要说明的是，所述预设的选取规则可以为预先由使用者设定的最优选取规则；还可以为使用者预先设定在本申请执行过程中，接收使用者输入的选取指令，根据所述选取指令，选定最优的一个控制指令；还可以为任意选取一个控制指令，如若所述语音特征数据为空，则任意选取所述确定的至少一个控制指令中的一个控制指令。
参考图8，其示出了本申请提供的一种数据处理装置实施例六的结构示意图，其中，所述装置应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述装置包括：
数据采集单元81，用于采集使用者的特征数据；
其中，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据。
优选的，所述图像采集单元包括普通摄像头或红外摄像头等设备。其中，所述普通摄像头将其获取的影像数据经过数据处理，进而生成所述动作特征数据由；
或，所述红外摄像头将其获取的红外感应数据进行转换得到的影像数据，再将所述影像数据经过数据处理，进而生成所述动作特征数据。
优选的，所述声音采集单元包括录音笔或语音编解码器等设备。
需要说明的是，所述电子设备包括计算机、pad等设置有图像采集单元和声音采集单元的设备。
关系获取单元82，用于获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系。
需要说明的是，所述对应关系集合是指，特征数据与控制指令之间的对应关系。例如：特征数据“射击动作”与控制指令“添加射击类武器***或更换射击类武器***”相对应；特征数据“声音AK47”与控制执行“添加枪械武器AK47、更换枪械武器为AK47或补充当前枪械武器AK47的子弹”相对应。
指令确定单元83，用于在所述对应关系集合中确定与所述特征数据相对应的控制指令；
指令执行单元84，用于执行所述控制指令。
需要说明的是，所述执行所述控制命令可以理解为启动所述控制命令对应的对象。
由上述方案可知，本申请提供的一种数据处理装置实施例六，通过采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令，由此本申请只需对使用者当前的动作声音特征数据进行采集，进而实现执行指令，启动对象的目的，避免了现有技术中用户在实现对象启动时需要对鼠标或键盘运用的多个操作，无需预先对用户进行技能培训，提高对象启动效率，进一步提高了用户体验。
优选的，参考图9、其示出了本申请提供的一种数据处理装置实施例七的部分结构示意图，其中，所述数据采集单元81包括：
影像获取子单元811，用于通过所述图像采集单元获取使用者的动作影像数据。
其中，所述动作影像数据，属于所述电子设备周边环境预设区域中的影像数据，所述预设区域中包括使用者所在区域。
动作识别子单元812，用于在所述动作影像数据中识别至少一个使用者动作。
其中，所述使用者动作包括使用者的肢体动作及使用者的面部表情动作。
第一数据生成子单元813，用于依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据，将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
其中，所述使用者静态姿势数据包括使用者在某一时刻的肢体姿势或面部表情，所述使用者连续动作数据包括使用者的一个或多个时间段内的连续肢体动作或面部表情动作
优选的，参考图10，其示出了本申请提供的一种数据处理装置实施例八的部分结构示意图，其中，所述数据采集单元81包括：
信号获取子单元814，用于通过所述声音采集单元获取使用者的周边声音信号。
其中，所述周边声音信号是指使用者所在区域中所述电子设备的声音采集单元所能感应到的声音信号，包括机械声音信号（如物体摩擦声音信号或乐器打击声音信号等）及生物声带声音信号（如使用者的声带发音信号及动物叫声等）。
信号提取子单元815，用于在所述周边声音信号中提取使用者的声音信号。
其中，所述使用者的声音信号是指，使用者的声带发音信号，包括说话声音信号（“换枪”）及拟声声音信号（“哼哈”）。
第二数据生成子单元816，用于依据所述使用者的声音信号生成使用者的语音特征数据。
优选的，所述第二数据生成子单元816，具体用于：
在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据，依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
优选的，参考图11，其示出了本申请提供的一种数据处理装置实施例八的另一部分结构示意图，其中，所述数据采集单元81还包括影像获取子单元811、动作识别子单元812及第一数据生成子单元813；
其中，所述影像获取子单元811、动作识别子单元812及第一数据生成子单元813与本申请实施例七中所述一致，在此不再详细描述。
优选的，参考图12，其示出了本申请提供的一种数据处理装置实施例九的部分结构示意图，其中，所述指令确定单元83包括：
第一确定子单元831，用于在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令。
例如：所述特征数据包括：动作特征数据和语音特征数据，所述动作特征数据为使用者的静态姿势数据“射击姿势”，所述语音特征数据为使用者的说话声音数据“AK47”。首先，所述第一确定子单元831在所述对应关系集合中，选定与所述“射击姿势”相对应的控制指令，此时选定的控制指令的数量为一个或多个，如：与所述“射击姿势”相对应的控制指令包括“瞄准被射击目标”、“更换射击类武器AK47”及“更换射击类武器M99狙击步枪”中的任意一种或任意组合。
第二确定子单元832，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
其中，所述第二确定子单元832，在所述第一确定子单元831选定至少一个控制指令之后，具体用于在选定的至少一个控制指令中，确定一个与所述语音特征数据相对应的控制指令。
例如：所述第一确定子单元831选定的至少一个控制指令为“瞄准被射击目标”、“更换射击类武器AK47”及“更换射击类武器M99狙击步枪”，且所述语音特征数据为使用者的说话声音信号“AK47”，由此所述第二确定子单元832在所述选定的至少一个控制指令中，确定与“AK47”相对应的控制指令“更换射击类武器AK47”。
优选的，所述第二确定子单元832还可以通过以下方式具体实现：
依据所述对应关系集合，在所述至少一个控制指令确定至少一个与所述语音特征数据相对应的控制指令，并在确定的至少一个控制指令中依据预设的选取规则，选取一个控制指令。
例如：所述第一确定子单元831选定的至少一个控制指令为：“瞄准被射击目标”、“更换射击类武器AK47”、“添加设计类武器AK47”及“更换射击类武器M99狙击步枪”，由此，所述第二确定子单元832在所述选定的至少一个控制指令中包括两个与所述语音特征数据相对应的控制指令：“更换射击类武器AK47”和“添加设计类武器AK47”，由此，依据预设的选取规则，选取“更换射击类武器AK47”为最优控制指令。
需要说明的是，所述预设的选取规则可以为预先由使用者设定的最优选取规则；还可以为使用者预先设定在本申请执行过程中，接收使用者输入的选取指令，根据所述选取指令，选定最优的一个控制指令；还可以为任意选取一个控制指令，如若所述语音特征数据为空，则任意选取所述确定的至少一个控制指令中的一个控制指令。
优选的，参考图13，其示出了本申请提供的一种数据处理装置实施例九的另一部分结构示意图，其中，所述指令确定单元83包括：
第三确定子单元833，用于在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令。
例如：所述特征数据包括：动作特征数据和语音特征数据，所述动作特征数据为使用者的静态姿势数据“释放法术姿势”，所述语音特征数据为使用者的说话声音数据“龟派气功”。首先，所述第三确定子单元833在所述对应关系集合中，选定与所述“龟派气功”相对应的控制指令，此时选定的控制指令的数量为一个或多个，如：与所述“龟派气功”相对应的控制指令包括“更换法术龟派气功”、“撤销法术龟派气功”及“释放法术龟派气功”中的任意一种或任意组合。
第四确定子单元834，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
其中，所述第四确定子单元834，在所述第三确定子单元833选定至少一个控制指令之后，具体用于在选定的至少一个控制指令中，确定一个与所述语音特征数据相对应的控制指令。
例如：所述第三确定子单元833选定的至少一个控制指令为“更换法术龟派气功”、“撤销法术龟派气功”及“释放法术龟派气功”，且所述动作特征数据为使用者的“释放法术”静态姿势，由此在所述选定的至少一个控制指令中，确定与“释放法术”相对应的控制指令“释放法术龟派气功”。并由此触发执行所述控制指令，释放法术龟派气功。
优选的，所述四确定子单元834还可以通过以下方式具体实现：
依据所述对应关系集合，在所述至少一个控制指令确定至少一个与所述动作特征数据相对应的控制指令，并在确定的至少一个控制指令中依据预设的选取规则，选取一个控制指令。
需要说明的是，所述预设的选取规则可以为预先由使用者设定的最优选取规则；还可以为使用者预先设定在本申请执行过程中，接收使用者输入的选取指令，根据所述选取指令，选定最优的一个控制指令；还可以为任意选取一个控制指令，如若所述语音特征数据为空，则任意选取所述确定的至少一个控制指令中的一个控制指令。
优选的，参考图14，其示出了本申请提供的一种数据处理装置实施例十的部分结构示意图，其中，所述信号提取子单元815包括：
第一数据提取模块8151，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据。
其中，在提取使用者的声音信号时，结合使用者的面部动作，由此在所述使用者动作特征数据中提取使用者的面部动作影像数据。
动作识别模块8152，用于识别所述面部动作影像数据中的至少一个使用者面部动作。
优选的，所述动作识别模块8152，具体用于识别所述面部动作影像数据中的至少一个使用者嘴部动作。
第一信号提取模块8153，用于在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
优选的，在所述周边声音信号中，将所述使用者的面部动作如口型特征与所述周边声音信号进行匹配，进而得到与所述使用者的面部动作相对应的声音信号作为使用者的声音信号。
如：根据使用者的口型“O”，提取声音信号“我”，由此，提取所述周边声音信号中所有使用者的口型特征对应的声音信号。
优选的，参考图15，其示出了本申请提供的一种数据处理装置实施例十的另一部分结构示意图，其中，所述信号提取子单元815包括：
第二数据提取模块8154，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据。
其中，所述第二数据提取模块8154与上述本申请实施例中的第一数据提取模块8153的具体实现方式可以相同。
标识确定模块8155，用于确定与所述面部动作影像数据相对应的声纹标识信息。
优选的，所述标识确定模块8155可以通过以下方式具体实现：
确定所述面部动作影像数据中的口型特征对应的一个使用者的发声信号；
其中，所述使用者的发声信号包括一个单音信号，如“嗯”或“啊”等；
确定所述使用者的发声信号的声纹标识信息；
其中，所述声纹标识信息为所述使用者声音信号的唯一标识，表明所述使用者的声音不可模拟性。
第二信号提取模块8156，用于在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
其中，由于所述声纹信息表明所述使用者声音信号的不可模拟性，由此在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号即为所述使用者的声音信号。
参考图16，其示出了本申请提供的一种电子设备实施例十一的结构示意图，其中，所述电子设备包括图像采集单元1601、声音采集单元1602和如上述任意一项所述的数据处理装置1603，其中：
所述数据处理装置1603，用于采集使用者的特征数据，所述特征数据包括通过所述图像采集单元1601采集的动作特征数据和通过所述声音采集单元1602采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令。
优选的，所述数据处理装置1603在采集使用者的动作特征数据时可以通过以下方式具体实现：
通过所述图像采集单元获取使用者的动作影像数据；
在所述动作影像数据中识别至少一个使用者动作；
依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据；
将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
优选的，所述数据处理装置1603在采集使用者的语音特征数据时可以通过以下方式具体实现：
通过所述声音采集单元获取使用者的周边声音信号；
在所述周边声音信号中提取使用者的声音信号；
依据所述使用者的声音信号生成使用者的语音特征数据。
优选的，所述数据处理装置1603在实现上述依据所述使用者的声音信号生成使用者的语音特征数据时，可以通过以下具体方式实现：
在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据；
依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
优选的，所述数据处理装置1603在实现上述在所述周边声音信号中提取使用者的声音信号时，可以通过以下具体方式实现：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
识别所述面部动作影像数据中的至少一个使用者面部动作；
其中，所述使用者面部动作包括口型动作；
在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
优选的，所述数据处理装置1603在实现上述在所述周边声音信号中提取使用者的声音信号时，可以通过以下具体方式实现：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
确定与所述面部动作影像数据相对应的声纹标识信息；
在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
优选的，所述数据处理装置1603在所述对应关系集合中确定与所述特征数据相对应的控制指令时，具体可以通过以下方式实现：
在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
优选的，所述数据处理装置1603在所述对应关系集合中确定与所述特征数据相对应的控制指令时，具体可以通过以下方式实现：
在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
有上述方案可知，本申请提供的一种电子设备实施例十，通过采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据，获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系，在所述对应关系集合中确定与所述特征数据相对应的控制指令，执行所述控制指令，由此本申请只需对使用者当前的动作声音特征数据进行采集，进而实现执行指令，启动对象的目的，避免了现有技术中用户在实现对象启动时需要对鼠标或键盘运用的多个操作，无需预先对用户进行技能培训，提高对象启动效率，进一步提高了用户体验。
要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法、装置及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (19)
1.一种数据处理方法，其特征在于，应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述方法包括：
采集使用者的特征数据，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据；
获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系；
在所述对应关系集合中确定与所述特征数据相对应的控制指令；
执行所述控制指令。
2.根据权利要求1所述的方法，其特征在于，所述采集使用者的动作特征数据包括：
通过所述图像采集单元获取使用者的动作影像数据；
在所述动作影像数据中识别至少一个使用者动作；
依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据；
将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
3.根据权利要求1所述的方法，其特征在于，所述采集使用者的语音特征数据包括：
通过所述声音采集单元获取使用者的周边声音信号；
在所述周边声音信号中提取使用者的声音信号；
依据所述使用者的声音信号生成使用者的语音特征数据。
4.根据权利要求1所述的方法，其特征在于，所述在所述对应关系集合中确定与所述特征数据相对应的控制指令包括：
在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
5.根据权利要求1所述的方法，其特征在于，所述在所述对应关系集合中确定与所述特征数据相对应的控制指令包括：
在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令；
依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
6.根据权利要求3所述的方法，其特征在于，所述依据所述使用者的声音信号生成使用者的语音特征数据包括：
在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据；
依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
7.根据权利要求3所述的方法，其特征在于，所述在所述周边声音信号中提取使用者的声音信号包括：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
识别所述面部动作影像数据中的至少一个使用者面部动作；
在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
8.根据权利要求7所述的方法，其特征在于，所述识别所述面部动作影像数据中的至少一个使用者面部动作包括：
识别所述面部动作影像数据中的至少一个使用者嘴部动作。
9.根据权利要求3所述的方法，其特征在于，所述在所述周边声音信号中提取使用者的声音信号包括：
在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
确定与所述面部动作影像数据相对应的声纹标识信息；
在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
10.一种数据处理装置，其特征在于，应用于电子设备，所述电子设备包括图像采集单元和声音采集单元，所述装置包括：
数据采集单元，用于采集使用者的特征数据；
其中，所述特征数据包括通过所述图像采集单元采集的动作特征数据和通过所述声音采集单元采集的语音特征数据；
关系获取单元，用于获取对应关系集合，所述对应关系集合包括至少一个特征数据与控制指令的对应关系；
指令确定单元，用于在所述对应关系集合中确定与所述特征数据相对应的控制指令；
指令执行单元，用于执行所述控制指令。
11.根据权利要求10所述的装置，其特征在于，所述数据采集单元包括：
影像获取子单元，用于通过所述图像采集单元获取使用者的动作影像数据；
动作识别子单元，用于在所述动作影像数据中识别至少一个使用者动作；
第一数据生成子单元，用于依据所述使用者动作生成使用者静态姿势数据或使用者连续动作数据，将所述使用者静态姿势数据或所述使用者连续动作数据作为使用者的动作特征数据。
12.根据权利要求10所述的装置，其特征在于，所述数据采集单元包括：
信号获取子单元，用于通过所述声音采集单元获取使用者的周边声音信号；
信号提取子单元，用于在所述周边声音信号中提取使用者的声音信号；
第二数据生成子单元，用于依据所述使用者的声音信号生成使用者的语音特征数据。
13.根据权利要求10所述的装置，其特征在于，所述指令确定单元包括：
第一确定子单元，用于在所述对应关系集合中选定至少一个与所述特征数据中的动作特征数据相对应的控制指令；
第二确定子单元，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的语音特征数据相对应的控制指令。
14.根据权利要求10所述的装置，其特征在于，所述指令确定单元包括：
第三确定子单元，用于在所述对应关系集合中选定至少一个与所述特征数据中的语音特征数据相对应的控制指令；
第四确定子单元，用于依据所述对应关系集合，确定所述至少一个控制指令中与所述特征数据中的动作特征数据相对应的控制指令。
15.根据权利要求12所述的装置，其特征在于：
所述第二数据生成子单元，具体用于在所述使用者的声音信号中识别使用者的语音文本数据和/或语音频谱数据，依据所述语音文本数据和/或语音频谱数据生成使用者的语音特征数据。
16.根据权利要求12所述的装置，其特征在于，所述信号提取子单元包括：
第一数据提取模块，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
动作识别模块，用于识别所述面部动作影像数据中的至少一个使用者面部动作；
第一信号提取模块，用于在所述周边声音信号中，提取与所述使用者面部动作相匹配的声音信号作为使用者的声音信号。
17.根据权利要求16所述的装置，其特征在于：
所述动作识别模块，具体用于识别所述面部动作影像数据中的至少一个使用者嘴部动作。
18.根据权利要求12所述的装置，其特征在于，所述信号提取子单元包括：
第二数据提取模块，用于在通过所述图像采集单元获取的使用者动作特征数据中，提取使用者的面部动作影像数据；
标识确定模块，用于确定与所述面部动作影像数据相对应的声纹标识信息；
第二信号提取模块，用于在所述周边声音信号中提取与所述声纹标识信息相对应的声音信号作为使用者的声音信号。
19.一种电子设备，其特征在于，包括图像采集单元、声音采集单元及如上述权利要求10至18任意一项所述的数据处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210553344.6A CN103869962B (zh) | 2012-12-18 | 2012-12-18 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210553344.6A CN103869962B (zh) | 2012-12-18 | 2012-12-18 | 一种数据处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103869962A true CN103869962A (zh) | 2014-06-18 |
| CN103869962B CN103869962B (zh) | 2016-12-28 |
Family
ID=50908588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210553344.6A Active CN103869962B (zh) | 2012-12-18 | 2012-12-18 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103869962B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105511646A (zh) * | 2014-09-26 | 2016-04-20 | 天津锐界科技有限公司 | 一种可以进行音频采集的鼠标 |
| CN108874114A (zh) * | 2017-05-08 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 |
| CN110597395A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 对象交互控制方法和装置、存储介质及电子装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
| CN101320439A (zh) * | 2007-06-08 | 2008-12-10 | 鹏智科技(深圳)有限公司 | 有自动学习功能的类生物装置 |
| CN101517515A (zh) * | 2006-09-28 | 2009-08-26 | 诺基亚公司 | 改进型用户接口 |
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| CN101898040A (zh) * | 2009-05-25 | 2010-12-01 | 戴维 | 互动游戏传感器及其图像处理方法 |
| CN102023703A (zh) * | 2009-09-22 | 2011-04-20 | 现代自动车株式会社 | 组合唇读与语音识别的多模式界面系统 |
| CN102193633A (zh) * | 2011-05-25 | 2011-09-21 | 广州畅途软件有限公司 | 一种数据手套动态手语识别方法 |
| CN102270034A (zh) * | 2010-06-04 | 2011-12-07 | 上海科技馆 | 基于空间检测的图像变化的多媒体互动装置及其互动方法 |
| CN102324035A (zh) * | 2011-08-19 | 2012-01-18 | 广东好帮手电子科技股份有限公司 | 口型辅助语音识别术在车载导航中应用的方法及系统 |
| CN102541259A (zh) * | 2011-12-26 | 2012-07-04 | 鸿富锦精密工业（深圳）有限公司 | 电子设备及其根据脸部表情提供心情服务的方法 |
| CN102693007A (zh) * | 2011-03-04 | 2012-09-26 | 微软公司 | 姿势检测和识别 |
-
2012
- 2012-12-18 CN CN201210553344.6A patent/CN103869962B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
| CN101517515A (zh) * | 2006-09-28 | 2009-08-26 | 诺基亚公司 | 改进型用户接口 |
| CN101320439A (zh) * | 2007-06-08 | 2008-12-10 | 鹏智科技(深圳)有限公司 | 有自动学习功能的类生物装置 |
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| CN101898040A (zh) * | 2009-05-25 | 2010-12-01 | 戴维 | 互动游戏传感器及其图像处理方法 |
| CN102023703A (zh) * | 2009-09-22 | 2011-04-20 | 现代自动车株式会社 | 组合唇读与语音识别的多模式界面系统 |
| CN102270034A (zh) * | 2010-06-04 | 2011-12-07 | 上海科技馆 | 基于空间检测的图像变化的多媒体互动装置及其互动方法 |
| CN102693007A (zh) * | 2011-03-04 | 2012-09-26 | 微软公司 | 姿势检测和识别 |
| CN102193633A (zh) * | 2011-05-25 | 2011-09-21 | 广州畅途软件有限公司 | 一种数据手套动态手语识别方法 |
| CN102324035A (zh) * | 2011-08-19 | 2012-01-18 | 广东好帮手电子科技股份有限公司 | 口型辅助语音识别术在车载导航中应用的方法及系统 |
| CN102541259A (zh) * | 2011-12-26 | 2012-07-04 | 鸿富锦精密工业（深圳）有限公司 | 电子设备及其根据脸部表情提供心情服务的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105511646A (zh) * | 2014-09-26 | 2016-04-20 | 天津锐界科技有限公司 | 一种可以进行音频采集的鼠标 |
| CN108874114A (zh) * | 2017-05-08 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 |
| CN110597395A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 对象交互控制方法和装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103869962B (zh) | 2016-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8754758B1 (en) | Automatic fitting of haptic effects | |
| Giampiccolo et al. | The third pascal recognizing textual entailment challenge | |
| CN109002433B (zh) | 一种文本生成方法及装置 | |
| CN107220235A (zh) | 基于人工智能的语音识别纠错方法、装置及存储介质 | |
| Shahbazian | Multimodal input fusion in human-computer interaction | |
| Visi et al. | Gesture in performance with traditional musical instruments and electronics: Use of embodied music cognition and multimodal motion capture to design gestural mapping strategies | |
| WO2015140396A1 (en) | Method of providing a user with feedback on performance of a karaoke song | |
| Adler et al. | Speech and sketching for multimodal design | |
| Wilks | Machine conversations | |
| CN103869962A (zh) | 一种数据处理方法、装置及电子设备 | |
| Butnariu et al. | An interactive haptic system for experiencing traditional archery | |
| CN111062209A (zh) | 自然语言处理模型训练方法和自然语言处理模型 | |
| CN113160822B (zh) | 语音识别处理方法、装置、电子设备以及存储介质 | |
| CN107797676A (zh) | 一种单字输入方法及装置 | |
| CN113923475A (zh) | 一种视频合成方法及视频合成器 | |
| CN113158642A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Chang | Not-so-latent Dirichlet allocation: Collapsed Gibbs sampling using human judgments | |
| Lee et al. | Structural motion grammar for universal use of leap motion: amusement and functional contents focused | |
| KR20200066134A (ko) | 멀티모달 다중 화자 대화 속 인물 식별 방법 및 장치 | |
| Szynkiewicz et al. | Utilisation of embodied agents in the design of smart human–computer interfaces—A Case Study in Cyberspace Event Visualisation Control | |
| US9830894B1 (en) | Systems and methods for playing virtual music instrument through tracking of fingers with coded light | |
| Schnell et al. | Playing the" MO"-Gestural Control and Re-Embodiment of Recorded Sound and Music. | |
| CN104020859A (zh) | 计算机双文速录方法 | |
| CN108043025A (zh) | 一种用于网络游戏的人机交互方法 | |
| JP2022020062A (ja) | 特徴情報のマイニング方法、装置及び電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |