CN115909505A - 手语识别设备的控制方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种手语识别设备的控制方法、装置、存储介质及电子设备，该方法包括：响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据，对多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果，控制手语识别设备对目标手语识别结果进行响应。从而以较少的干预帮助手语识别设备应对更加复杂的情况，提高了手语设备的识别准确性，能够为用户带来更好的手语设备的使用体验。

Description

手语识别设备的控制方法、装置、存储介质及电子设备

技术领域

本公开涉及智能识别领域，具体地，涉及一种手语识别设备的控制方法、装置、存储介质及电子设备。

背景技术

在现有手语交互技术中，大部分都是针对单一用户目标，但存在多手语目标群体的时候对于目标识别和对话并没有合适的实现方案。在类似语音交互场景中，需要过滤噪音的无效输入，从而确保交互输入的有效性。比如在聋哑学校，疗养院等存在多手语目标群体的场景下，面对多个手语目标群体，由于现有的方案中不能从多个手语目标中识别出有效的目标用户，导致智能服务设备无法识别出有效的手语输入，从而无法准确有效的为用户提供服务。

发明内容

本公开的目的是提供一种手语识别设备的控制方法、装置、存储介质及电子设备，以解决相关技术中手语识别设备无法从多个手语目标中识别出有效手语输入的技术问题。

为了实现上述目的，本公开的第一方面提供一种手语识别设备的控制方法，包括：

响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成所述多个人物目标对应的多个手语动作数据；

对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度；

根据所述多个结果置信度，从所述多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果；

控制所述手语识别设备对所述目标手语识别结果进行响应。

可选地，所述对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，包括：

对于任一手语动作数据，通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息和语义清晰度信息；

根据所述语义信息和所述语义清晰度信息，生成所述手语动作数据对应的手语识别结果和所述结果置信度。

可选地，所述通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息和语义清晰度信息，包括：

通过所述预设手语识别算法对所述手语动作数据进行拆解，生成多个手语子动作；

将所述多个手语子动作与预设手语子动作进行匹配，以生成多个语义词汇和多个相似度信息；

根据所述多个语义词汇和所述多个相似度信息，生成所述语义信息和所述语义清晰度信息。

可选地，所述根据所述多个相似度信息，生成所述语义清晰度信息，包括：

根据所述多个相似度信息，确定相似度均值；

根据所述相似度均值，生成所述语义清晰度信息。

可选地，所述对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，包括：

对于任一手语动作数据，通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息；

根据所述语义信息，生成所述手语识别结果

根据历史语义信息和所述手语识别结果，确定所述结果置信度。

可选地，所述控制所述手语识别设备对所述目标手语识别结果进行响应，包括：

将所述目标手语识别结果对应的人物目标，作为优先识别目标；

根据所述目标手语识别结果，生成所述手语识别设备的响应指令；

根据所述响应指令，对所述优先识别目标进行语音识别响应。

可选地，所述对所述人物目标的手语动作进行采集，以生成所述人物目标的手语动作数据，包括：

响应于所述人物目标开始进行手语比划，录制所述人物目标的手语动作；

响应于所述人物目标的手语比划结束，生成所述人物目标的所述手语动作数据。

根据本公开的第二方面提供一种手语识别设备的控制装置，包括：

第一生成模块，用于响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成所述多个人物目标对应的多个手语动作数据；

第二生成模块，用于对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度；

确定模块，用于根据所述多个结果置信度，从所述多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果；

执行模块，用于控制所述手语识别设备对所述目标手语识别结果进行响应。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。

根据本公开的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。

通过上述技术方案，响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据，对多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果，控制手语识别设备对目标手语识别结果进行响应。从而使手语识别设备对多个手语输入进行分析，生成多个手语识别结果，从多个手语识别结果中确定结果置信度最高的手语输入作为有效输入，并对该有效手语输入进行响应，以较少的干预帮助手语识别设备应对更加复杂的情况，提高了手语识别设备的识别准确性，能够为用户带来更好的手语设备的使用体验。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种手语识别设备的控制方法的流程图。

图2是根据一示例性实施例示出的一种手语识别设备的控制方法的流程图。

图3是根据一示例性实施例示出的一种手语识别设备的控制装置的框图。

图4是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

图1是根据一示例性实施例示出的一种手语识别设备的控制方法的流程图，如图1所示，该控制方法包括以下步骤。

步骤S101，响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据。

值得一提的是，本实施例应用于手语识别设备中，该手语识别设备可以是手语识别平板、手语识别手机或手语识别电脑等可以进行手语识别的智能设备。示例的，该手语识别设备还可以是智能手语识别机器人，用于为语言障碍者提供相应的辅助服务，该手语识别机器人中至少包括：用于采集用户手语动作的摄像装置，用于根据用户的手语动作做出相应语音响应的扬声装置，用于根据用户的手语动作进行手语回馈的机械手臂装置等。其中该摄像装置用于捕捉预设范围内的人物目标，对预设范围内的图像进行采集和分析，当确定该预设范围内存在人物目标的相关人物特征后，对人物目标的手语动作进行识别，从而生成该人物目标对应的手语动作数据。示例的，当该手语识别设备通过摄像装置采集到预设范围内存在多个人物目标时，对多个人物目标的手语动作进行采集，从而生成多个人物目标对应的多个手语动作数据。其中，在手语识别设备进行采集的过程中，人物目标和手语动作数据之间为一一对应的关系，对于任一人物目标，当人物目标进入人物识别设备的预设范围内后，手语识别设备对人物目标进行动作捕捉，当确定人物目标开始进行手语比划时，对该人物目标对应的手语动作进行采集，直至确认人物目标手语比划动作结束之后，基于采集到的手语动作，生成该人物目标对应的手语动作数据。

示例的，该手语动作数据可以是手语比划视频数据，手语识别设备对人物目标在预设范围内的手语比划过程进行视频采集，从而生成该人物目标对应的手语动作数据。

示例的，本实施例中当通过摄像装置在预设范围内检测到多个人物目标后，可以对每个人物目标进行特征识别，生成该人物目标对应的人物特征，其中，该人物特征可以是人物目标的相貌特征、身高特征、身形特征等，并基于该人物特征对该人物目标进行命名标记，将人物特征与该人物目标对应的命名标记关联保存。记录该人物目标的手语动作，对该手语动作进行识别和分析，从而确定该人物目标的手语习惯，建立人物目标对应人物特征、命名标记和手语习惯的映射关系，以便手语识别设备在下次进行手语识别时，通过比对人物特征，确定相应的命名标记后，基于该命名标记对应的手语习惯，能够更准确的识别该人物目标对应的手语动作。

可选地，在一种实施方式中，上述步骤S101，包括：

响应于人物目标开始进行手语比划，录制人物目标的手语动作。

响应于人物目标的手语比划结束，生成人物目标的手语动作数据。

需要说明的是，手语识别设备在对人物目标的手语动作进行采集时，会对人物目标的动作进行实时捕捉，当确定人物目标开始进行手语动作比划时，采集人物目标的手语动作，并在人物目标完成手语动作比划后，生成人物目标对应的手语动作数据。当手语识别设备的预设范围内，存在多个人物目标时，采用多目标识别来识别每一个人物目标的手语动作，在各人物目标结束手语比划时，生成对应的手语动作数据。

步骤S102，对多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度。

值得一提的是，本实施例中手语识别设备根据预设手语识别算法，对每一个人物目标的手语动作数据进行手语识别，生成对应的手语识别结果。示例的，该手语动作数据为手语视频数据时，手语识别设备可以对视频中的每一帧手语比划动作进行拆解，并根据手语图鉴标准，对每一帧手语比划动作进行比对，从而确定该手语动作对应的语义信息，根据多个语义信息生成手语识别结果。

可以理解的是，标准的语义信息与标准的手语动作之间为唯一对应关系，但是在人物目标的实际应用过程中，基于各个人物目标的手语比划习惯和不同地区之间，标准手语动作的细微地区差异，会导致人物目标对应的手语动作，所表达的语义信息不清晰的情况，基于同一标准的手语动作，不同的人物目标所比划的手语动作，会存在不同程度的差异，从而使手语识别设备对手语动作数据进行识别分析时，基于较标准的手语动作，能够识别出较准确的手语识别结果；基于较混乱的手语动作，能够识别出可信度较低的手语识别结果。因此，本实施例中手语识别设备可以根据人物目标的手语动作数据确定对应手语识别结果的清晰度或可信度，并根据该清晰度或可信度，生成该手语识别结果的结果置信度，示例的，手语动作数据的清晰度或可信度越高，对应的手语识别结果的结果置信度越高，手语动作数据的清晰度或可信度越低，对应的手语识别结果的结果置信度越低。

示例的，本实施例中人物目标的手语动作数据用于表达人物目标的一段语义信息，该手语动作数据中包括多个手语子动作，手语识别设备可以对手语动作数据进行拆解生成多个手语子动作，并对该多个手语子动作进行一一识别，从而生成手语识别结果。其中，手语识别设备可以对每个手语子动作进行置信度识别，并根据每个手语子动作的置信度，生成手语识别结果的结果置信度。示例的，可以根据每一个手语子动作与标准手语动作之间的相似度，对手语子动作进行评分，生成该手语子动作的置信度评分，对各个手语子动作的置信度评分进行加权，从而生成手语识别结果对应的结果置信度。

可选地，在一种实施方式中，上述步骤S102，包括：

对于任一手语动作数据，通过预设手语识别算法对手语动作数据进行识别，以确定手语动作数据的语义信息。

根据语义信息，生成手语识别结果。

根据历史语义信息和手语识别结果，确定结果置信度。

值得一提的是，手语识别设备对人物目标的手语动作进行识别是一系列的连贯过程，手语识别设备会对每一轮手语识别过程中，人物目标的手语动作进行记录，并生成相应的手语识别结果。人物目标向手语识别设备进行意思传递时，基于同一人物目标，上一套手语动作所表示的语义信息，与下一套手语动作所表达的语义信息之间存在关联性，因此，可以结合同一人物目标所表述的上下文语义之间的契合度，从而确定此轮手语识别的过程中，人物目标对应手语识别结果的结果置信度。示例的，本实施例中根据语义信息，生成手语识别数据的手语识别结果，根据人物目标的命名标记，确定该人物目标在上一轮手语识别过程中的历史语义信息，根据该历史语义信息与手语识别结果之间的契合度，结合同一人物目标的上下文语境，确定对应的结果置信度。

步骤S103，根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果。

示例的，本实施例中手语识别结果对应的结果置信度可以是具体的数值，通过上述步骤生成多个结果置信度后，确定结果置信度最高的识别结果为手语识别设备需要做出相应的手语识别响应的目标手语识别结果。

步骤S104，控制手语识别设备对目标手语识别结果进行响应。

示例的，本实施例中通过上述步骤确定目标手语识别结果后，手语识别设备会舍弃其他手语识别结果，并将该目标手语识别结果作为有效输入，根据预设手语响应程序，对该目标手语识别结果进行相应的响应。

可选地，在另一种实施方式中，上述步骤S104，包括：

将目标手语识别结果对应的人物目标，作为优先识别目标。

根据目标手语识别结果，生成手语识别设备的响应指令。

根据响应指令，对优先识别目标进行语音识别响应。

示例的，本实施例中根据目标手语识别结果，从多个人物目标中确定相应的任务目标作为优先识别目标。将目标手语识别结果作为有效输入，根据预设响应指令，生成该目标手语识别结果对应的响应指令。手语识别设备根据该响应指令，对该优先识别目标进行响应的语音识别响应。

通过上述方案，响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据，对多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果，控制手语识别设备对目标手语识别结果进行响应。从而使手语识别设备对多个手语输入进行分析，生成多个手语识别结果，从多个手语识别结果中确定结果置信度最高的手语输入作为有效输入，并对该有效手语输入进行响应，以较少的干预帮助手语识别设备应对更加复杂的情况，提高了手语设备的识别准确性，能够为用户带来更好的智能手语设备的使用体验。

图2是根据一示例性实施例示出的一种手语识别设备的控制方法的流程图，如图2所示，该方法包括以下步骤。

步骤S201，响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据。

示例的，本实施例中生成多个手语动作数据的方式与上述步骤S101中相同，可以参照上述步骤S101，不再赘述。

步骤S202，对于任一手语动作数据，通过预设手语识别算法对手语动作数据进行识别，以确定手语动作数据的语义信息和语义清晰度信息。

示例的，本实施例中手语识别设备通过预设手语识别算法，对每一个手语动作数据进行识别，从而确定手语动作数据对应的语义信息，以及该手语动作数据对应的语义清晰度信息。其中，可以根据人物目标对应手语动作数据的可辨识程度，生成手语动作数据对应的语义清晰度信息，手语识别设备对手语动作数据的可辨识程度越高，则对应的语义清晰度越高，示例的，可以根据手语动作数据的可辨识程度，对手语动作数据进行评分，根据该评分生成语义清晰度信息。示例的，可以将手语动作数据与标准的手语动作进行对比，根据手语动作数据与标准的手语动作之间的相似度，确定手语动作数据的语义清晰度信息。

可选地，在一种实施方式中，上述步骤S202，包括：

通过预设手语识别算法对手语动作数据进行拆解，生成多个手语子动作。

将多个手语子动作与预设手语子动作进行匹配，以生成多个语义词汇和多个相似度信息。

根据多个语义词汇和多个相似度信息，生成语义信息和语义清晰度信息。

值得一提的是，通常情况下人物目标在进行手语表达时，会表达出一个完整的语句，因此，手语动作数据中可以包括多个手语子动作，每一个手语子动作对应一个手语词汇，多个手语词汇构成该语句。本实施例中，通过预设手语识别算法对手语动作数据进行拆解，将手语动作数据拆解为多个手语子动作。并将每一个手语子动作与预设手语子动作进行匹配，生成多个语义词汇，以及每一个手语子动作与对应的预设手语子动作之间的相似度信息。并根据多个语义词汇对应手语子动作在手语动作数据中的先后顺序，将多个语义词汇组合成语句，并根据该语句生成语义信息。根据该手语子动作与预设手语子动作之间的多个相似度信息，生成语义信息对应的语义清晰度信息。

可选地，上述步骤根据多个相似度信息，生成语义清晰度信息，包括：

根据多个相似度信息，确定相似度均值。

根据相似度均值，生成语义清晰度信息。

示例的，本实施例中将手语子动作与预设手语子动作进行匹配，确定两者之间的相似度，生成对应的相似度信息，其中，该相似度信息为相似度数值。根据多个手语子动作对应的多个相似度信息，对该多个相似度信息取均值，生成相似度均值。根据该相似度均值，生成语义信息对应的语义清晰度信息。

步骤S203，根据语义信息和语义清晰度信息，生成手语动作数据对应的手语识别结果和结果置信度。

示例的，本实施例中通过上述步骤生成语义信息后，对语义信息进行语义分析生成手语动作数据的手语识别结果。对手语动作数据的语义清晰度信息进行识别和分析，生成对应的结果置信度。

步骤S204，根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果。

示例的，本实施例中确定目标手语识别结果的步骤与上述步骤S103中相同，可以参照上述步骤S103，不再赘述。

步骤S205，控制手语识别设备对目标手语识别结果进行响应。

示例的，本实施例中手语识别设备进行响应的步骤与上述步骤S104中相同，可以参照上述步骤S104，不再赘述。

通过上述方案，从而使手语识别设备对多个手语输入进行分析，生成多个手语识别结果，从多个手语识别结果中确定结果置信度最高的手语输入作为有效输入，并对该有效手语输入进行响应，以较少的干预帮助手语识别设备应对更加复杂的情况，提高了手语设备的识别准确性，能够为用户带来更好的手语设备的使用体验。

图3是根据一示例性实施例示出的一种手语识别设备的控制装置的框图，如图3所示，该装置100包括：第一生成模块110、第二生成模块120、确定模块130和执行模块140。

第一生成模块110，用于响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成多个人物目标对应的多个手语动作数据。

第二生成模块120，用于对多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度。

确定模块130，用于根据多个结果置信度，从多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果。

执行模块140，用于控制手语识别设备对目标手语识别结果进行响应。

可选地，第二生成模块，包括：

确定子模块，用于对于任一手语动作数据，通过预设手语识别算法对手语动作数据进行识别，以确定手语动作数据的语义信息和语义清晰度信息。

生成子模块，用于根据语义信息和语义清晰度信息，生成手语动作数据对应的手语识别结果和结果置信度。

可选地，确定子模块，包括：

第一生成单元，用于通过预设手语识别算法对手语动作数据进行拆解，生成多个手语子动作。

第二生成单元，用于将多个手语子动作与预设手语子动作进行匹配，以生成多个语义词汇和多个相似度信息。

第三生成单元，用于根据多个语义词汇和多个相似度信息，生成语义信息和语义清晰度信息。

可选地，第三生成单元，用于：

根据多个相似度信息，确定相似度均值。

根据相似度均值，生成语义清晰度信息。

可选地，第二生成模块120，用于：

对于任一手语动作数据，通过预设手语识别算法对手语动作数据进行识别，以确定手语动作数据的语义信息。

根据语义信息，生成手语识别结果。

根据历史语义信息和手语识别结果，确定结果置信度。

可选地，执行模块140，用于：

将目标手语识别结果对应的人物目标，作为优先识别目标。

根据目标手语识别结果，生成手语识别设备的响应指令。

根据响应指令，对优先识别目标进行语音识别响应。

可选地，第一生成模块110，用于：

响应于人物目标开始进行手语比划，录制人物目标的手语动作。

响应于人物目标的手语比划结束，生成人物目标的手语动作数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备400的框图。如图4所示，该电子设备400可以包括：处理器401，存储器402。该电子设备400还可以包括多媒体组件403，输入/输出(I/O)接口404，以及通信组件405中的一者或多者。

其中，处理器401用于控制该电子设备400的整体操作，以完成上述的手语识别设备的控制方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件405可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的手语识别设备的控制方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的手语识别设备的控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器402，上述程序指令可由电子设备400的处理器401执行以完成上述的手语识别设备的控制方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的手语识别设备的控制方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种手语识别设备的控制方法，其特征在于，包括：

响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成所述多个人物目标对应的多个手语动作数据；

对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度；

根据所述多个结果置信度，从所述多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果；

控制所述手语识别设备对所述目标手语识别结果进行响应。

2.根据权利要求1所述的控制方法，其特征在于，所述对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，包括：

对于任一手语动作数据，通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息和语义清晰度信息；

根据所述语义信息和所述语义清晰度信息，生成所述手语动作数据对应的手语识别结果和所述结果置信度。

3.根据权利要求2所述的控制方法，其特征在于，所述通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息和语义清晰度信息，包括：

通过所述预设手语识别算法对所述手语动作数据进行拆解，生成多个手语子动作；

将所述多个手语子动作与预设手语子动作进行匹配，以生成多个语义词汇和多个相似度信息；

根据所述多个语义词汇和所述多个相似度信息，生成所述语义信息和所述语义清晰度信息。

4.根据权利要求3所述的控制方法，其特征在于，所述根据所述多个相似度信息，生成所述语义清晰度信息，包括：

根据所述多个相似度信息，确定相似度均值；

根据所述相似度均值，生成所述语义清晰度信息。

5.根据权利要求1所述的控制方法，其特征在于，所述对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度，包括：

对于任一手语动作数据，通过预设手语识别算法对所述手语动作数据进行识别，以确定所述手语动作数据的语义信息；

根据所述语义信息，生成手语识别结果

根据历史语义信息和所述手语识别结果，确定所述结果置信度。

6.根据权利要求1所述的控制方法，其特征在于，所述控制所述手语识别设备对所述目标手语识别结果进行响应，包括：

将所述目标手语识别结果对应的人物目标，作为优先识别目标；

根据所述目标手语识别结果，生成所述手语识别设备的响应指令；

根据所述响应指令，对所述优先识别目标进行语音识别响应。

7.根据权利要求1所述的控制方法，其特征在于，所述对所述人物目标的手语动作进行采集，以生成所述人物目标的手语动作数据，包括：

响应于所述人物目标开始进行手语比划，录制所述人物目标的手语动作；

响应于所述人物目标的手语比划结束，生成所述人物目标的所述手语动作数据。

8.一种手语识别设备的控制装置，其特征在于，包括：

第一生成模块，用于响应于检测到多个人物目标，对每个人物目标的手语动作进行采集，以生成所述多个人物目标对应的多个手语动作数据；

第二生成模块，用于对所述多个手语动作数据进行手语识别，以生成多个手语识别结果和对应的多个结果置信度；

确定模块，用于根据所述多个结果置信度，从所述多个手语识别结果中确定结果置信度最高的识别结果，为目标手语识别结果；

执行模块，用于控制所述手语识别设备对所述目标手语识别结果进行响应。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images