CN109214278A - 用户指令匹配方法、装置、计算机设备及存储介质 - Google Patents

用户指令匹配方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109214278A
CN109214278A CN201810841703.5A CN201810841703A CN109214278A CN 109214278 A CN109214278 A CN 109214278A CN 201810841703 A CN201810841703 A CN 201810841703A CN 109214278 A CN109214278 A CN 109214278A
Authority
CN
China
Prior art keywords
participant
image
policymaker
matching
benchmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810841703.5A
Other languages
English (en)
Other versions
CN109214278B (zh
Inventor
朱文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810841703.5A priority Critical patent/CN109214278B/zh
Priority to PCT/CN2018/106432 priority patent/WO2020019457A1/zh
Publication of CN109214278A publication Critical patent/CN109214278A/zh
Application granted granted Critical
Publication of CN109214278B publication Critical patent/CN109214278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C15/00—Generating random numbers; Lottery apparatus

Abstract

本发明公开了一种用户指令匹配方法、装置、计算机设备及存储介质，通过分别采集参与者的当前图像和决策者的手势图像的方式来获取数据，不需要每一参与者都通过一个终端来和服务端进行数据交互，避免了由于数据获取不完整而一直处于等待阶段，提高了用户指令匹配的效率。而且在分别获取到参与者的当前图像和决策者的手势图像之后，识别出对应的指令信息，并通过映射关系表进行匹配，得到每一参与者的指令匹配结果，也保证了用户指令匹配的效率。

Description

用户指令匹配方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种用户指令匹配方法、装置、计算机设备及存储介质。
背景技术
传统的抽奖方法通过抽奖人员手动抽取，随着社会的发展，抽奖形式开始网络化、自动化，一般是将各个用户的抽奖信息收集到网络数据库端，网络数据库端经过一定的信息筛选将符合条件的信息发送至抽奖系统，例如根据发送时间，只选出抽奖信息的前一百条。进一步地，通过电脑抽奖系统，随机的从所述前一百条抽奖信息中选出若干名中奖者。
由于抽奖的过程需要满足透明性和公平性，如果网络数据库接收到的信息比较多，就会持续不断地发送信息，而频繁的信息发送导致系统的稳定性变差，或者服务器和移动终端在通信的过程中，因为网络的不稳定，都有可能造成信息的丢失。而如果由于指令不完整而一直处于等待阶段的话，又会使得整个指令匹配花费太多的时间，降低了整个指令匹配的效率。
发明内容
本发明实施例提供一种用户指令匹配方法、装置、计算机设备及存储介质，以解决用户指令匹配效率较低的问题。
一种用户指令匹配方法，包括：
获取每一参与者的当前图像，其中，所述当前图像包括人脸区域和手势区域；
将每一所述当前图像的所述人脸区域在参与者图像库中进行匹配，获取每一所述当前图像的匹配参与者标识；
识别每一所述当前图像的所述手势区域，得到参与者指令信息，将所述参与者指令信息和对应的所述匹配参与者标识进行关联；
获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息；
将每一所述匹配参与者标识对应的参与者指令信息与所述决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
一种用户指令匹配装置，包括：
当前图像获取模块，用于获取每一参与者的当前图像，其中，所述当前图像包括人脸区域和手势区域；
匹配参与者标识获取模块，用于将每一所述当前图像的所述人脸区域在参与者图像库中进行匹配，获取每一所述当前图像的匹配参与者标识；
参与者指令信息获取模块，用于识别每一所述当前图像的所述手势区域，得到参与者指令信息，将所述参与者指令信息和对应的所述匹配参与者标识进行关联；
手势图像识别模块，用于获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息；
指令匹配结果获取模块，用于将每一所述匹配参与者标识对应的参与者指令信息与所述决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述用户指令匹配方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用户指令匹配方法的步骤。
上述用户指令匹配方法、装置、计算机设备及存储介质中，首先获取每一参与者的当前图像，其中，当前图像包括人脸区域和手势区域；将每一当前图像的人脸区域在参与者图像库中进行匹配，获取每一当前图像的匹配参与者标识；识别每一当前图像的手势区域，得到参与者指令信息，将参与者指令信息和对应的匹配参与者标识进行关联；获取决策者的手势图像，并识别决策者的手势图像，得到决策者的决策指令信息；将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。通过分别采集参与者的当前图像和决策者的手势图像的方式来获取数据，不需要每一参与者都通过一个终端来和服务端进行数据交互，避免了由于数据获取不完整而一直处于等待阶段，提高了用户指令匹配的效率。而且在分别获取到参与者的当前图像和决策者的手势图像之后，识别出对应的指令信息，并通过映射关系表进行匹配，得到每一参与者的指令匹配结果，也保证了用户指令匹配的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中用户指令匹配方法的一应用环境示意图；
图2是本发明一实施例中用户指令匹配方法的一示例图；
图3是本发明一实施例中用户指令匹配方法的另一示例图；
图4是本发明一实施例中用户指令匹配方法的另一示例图；
图5是本发明一实施例中用户指令匹配方法的另一示例图；
图6是本发明一实施例中用户指令匹配方法的另一示例图；
图7是本发明一实施例中用户指令匹配方法的另一示例图；
图8是本发明一实施例中用户指令匹配装置的一原理框图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的用户指令匹配方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信。客户端采集参与者的当前图像和决策者的手势图像并发送到服务端，服务端基于获取到的当前图像和手势图像进行处理，得到每一参与者的指令匹配结果。其中，客户端(计算机设备)可以但不限于是摄像机、照相机、扫描仪或其他带有拍照功能的设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种用户指令匹配方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：获取每一参与者的当前图像，其中，当前图像包括人脸区域和手势区域。
其中，参与者是指需要进行指令匹配的用户。当前图像是指客户端采集的参与者的图像，当前图像包括人脸区域和手势区域。即客户端采集参与者的图像，且采集到的参与者的图像是包括参与者的人脸区域和手势区域的。
每个参与者的当前图像可以通过一个客户端进行集中采集，也可以通过复数个客户端进行分别采集。而每一参与者的当前图像的采集时机是可以错开，也可以同时进行。在一个具体实施方式中，可以根据参与者的位置排布来设置预定数量的客户端，而且可以设置一个客户端采集一个参与者的当前图像，或者设置一个客户端采集预定数量的参与者的当前图像。可以理解地，不同客户端采集参与者的当前图像的时机可以是同时进行，也可以根据实际需要错开来采集，在此不做具体限定。
在一个具体应用场景中，设置复数个客户端，其中每个客户端采集预定数量的参与者的当前图像，每个客户端采集的参与者的数量可以根据客户端设置的位置来确定，可以设置每个客户端采集该客户端的采集图像区域内的所有参与者的当前图像。而且设定该复数个客户端同时进行对参与者的当前图像的采集。通过该采集方式可以提高对当前图像的采集效率。
S20：将每一当前图像的人脸区域在参与者图像库中进行匹配，获取每一当前图像的匹配参与者标识。
其中，参与者图像库为预先存储有所有参与者人脸图像的图像库，而匹配参与者标识是用于确定当前图像中的人脸区域是和参与者图像库中哪副人脸图像匹配的，而且通过一个标识来体现。具体地，匹配参与者标识可以是参与者的员工号、身份证号、电话号码或其他唯一可识别参与者身份的信息。
具体地，先从当前图像中获取到对应的人脸区域，该人脸区域可以通过人脸特征点检测算法确定，通过人脸特征点检测算法识别出人脸区域，然后将人脸区域用矩形框标出。可选地，人脸特征点检测算法包括但不限于基于深度学习的人脸特征点检测算法、基于模型的人脸特征点检测算法或者基于级联形状回归的人脸特征点检测算法等。
在获取到人脸区域之后，将每一当前图像的人脸区域在参与者图像库中进行匹配，输出参与者图像库中匹配成功的人脸图像的标识，得到当前图像的匹配参与者标识。
S30：识别每一当前图像的手势区域，得到参与者指令信息，将参与者指令信息和对应的匹配参与者标识进行关联。
其中，参与者指令信息是指根据参与者的手势区域确定出的指令信息。优选地，参与者指令信息为手势指令信息，其中，手势指令信息即是代表不同手势动作的指令信息，例如：剪刀、石头或布，又或者是代表不同数字的手势动作，例如：1、2、3、4或5。
从每一当前图像中确定出手势区域，再对每一当前图像的手势区域进行识别，得到参与者指令信息。具体地，可以采用边缘检测算法获取当前图像的边缘图像，再根据边缘图像的曲率找到当前图像中的各个指关节点和两个手腕点。可选地，边缘检测算法可以采用差分边缘检测算法、Sobel边缘检测算法或者Reborts边缘检测算法等。在找到当前图像中的各个指关节点和两个手腕点之后，根据各个指关节点和两个手腕点来获取到手势区域。具体地，可以根据各个指关节点和两个手腕点来确定一个固定区域，该固定区域可以为一矩形或者圆形，该固定区域包括了手势区域。可选地，将该固定区域设置为一圆形，根据两个手腕点和其中的一个指关节点确定圆形的圆心，然后再根据手腕点和其中的一个指关节点的距离来乘以一定的比例来确定该圆形的半径，该比例可以根据实际需要来设定，在此不做具体限定。在获取到手势区域之后，可以使用imageclipper工具截取手势区域，imageclipper工具能快速的从手势图像中截取手势区域。
得到手势区域之后，将手势区域输入到预先训练好的手势图像识别模型中进行识别，输出参与者指令信息，例如：剪刀、石头或布。在得到参与者指令信息之后，将参与者指令信息和对应的匹配参与者标识进行关联，即标注每一匹配参与者标识对应的参与者指令信息。
S40：获取决策者的手势图像，并识别决策者的手势图像，得到决策者的决策指令信息。
其中，决策者是指提供手势图像，辅助进行参与者指令匹配的用户。可以通过一预定的客户端来采集决策者的手势图像，该预定的客户端可以为摄像机、照相机、扫描仪或其他带有拍照功能的设备。
当客户端获取到服务端发出的获取决策者的手势图像的指令之后，客户端采集决策者所在位置的图像，然后发送该决策者所在位置的图像至服务端。服务端获取到决策者所在位置的图像之后，可以通过截屏的方式获取决策者的手势图像。具体地，该决策者的手势图像的获取方式和步骤S30中手势区域的获取方式相同，在此不再赘述。
获取到决策者的手势图像之后，将手势图像输入到预先训练好的手势图像识别模型中进行识别，输出决策者的决策指令信息。可以理解地，决策指令信息是和参与者指令信息对应的。若参与者指令信息为手势指令信息，则决策指令信息也是手势指令信息，例如，若参与者指令信息代表的是剪刀、石头或布，则决策指令信息代表的也是剪刀、石头或布。
S50：将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
其中，映射关系表是一个预设的表格，通过该映射关系表可以根据参与者的参与者指令信息与决策者的决策指令信息进行匹配，并在映射关系表中查询到对应的指令匹配结果。
在该步骤中，通过将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，就可以得到每一参与者的指令匹配结果。
在本实施例中，首先获取每一参与者的当前图像，其中，当前图像包括人脸区域和手势区域；将每一当前图像的人脸区域在参与者图像库中进行匹配，获取每一当前图像的匹配参与者标识；识别每一当前图像的手势区域，得到参与者指令信息，将参与者指令信息和对应的匹配参与者标识进行关联；获取决策者的手势图像，并识别决策者的手势图像，得到决策者的决策指令信息；将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。通过分别采集参与者的当前图像和决策者的手势图像的方式来获取数据，不需要每一参与者都通过一个终端来和服务端进行数据交互，避免了由于数据获取不完整而一直处于等待阶段，提高了用户指令匹配的效率。而且在分别获取到参与者的当前图像和决策者的手势图像之后，识别出对应的指令信息，并通过映射关系表进行匹配，得到每一参与者的指令匹配结果，也保证了用户指令匹配的效率。
在一实施例中，参与者图像库包括基准参与者标识、基准位置标识和基准人脸图像。基准人脸图像为预先采集的参与者的人脸图像，在采集基准人脸图像后为每一参与者的基准人脸图像分配对应的基准参与者标识和基准位置标识。
其中，基准人脸图像用于后续和每一当前图像进行匹配。可选地，可以采用参与者证件照片或者工作证件上的照片作为基准人脸图像。基准参与者标识是用于确定每一基准人脸图像是属于哪一参与者的一个标识，基准参与者标识可以是参与者的员工号、身份证号、电话号码或其他唯一可识别参与者身份的信息。基准位置标识是指预先为每一参与者分配的位置的一个标识，基准位置标识可以用数字、字母或其他计算机可识别的符号表示。
在一个具体实施方式中，将本实施例应用在一个会议或者活动现场，在每一参与者入场时，设置一客户端，用于采集每一参与者的基准人脸图像，可以在该客户端采集基准人脸图像的时候，在客户端将基准人脸图像发送到服务端时，服务端按照采集参与者的基准人脸图像的顺序给每一参与者编号，并将这个编号作为基准参与者标识发送至客户端，也可以通过该客户端获取参与者身份信息，参与者的身份信息可以是参与者的员工号、身份证号、电话号码或其他唯一可识别参与者身份的信息。优选地，在唯一可识别参与者身份的信息中加入参与者姓名，可以更好地辨识参与者的身份。将参与者身份信息作为基准参与者标识，客户端将基准参与者标识发送到服务端。通过客户端采集每个参与者的基准人脸图像，服务端每获取到一幅参与者的基准人脸图像，自动为该参与者分配位置，并记录该与位置对应的基准位置标识，服务端记录每一参与者的基准参与者标识、基准位置标识和基准人脸图像，形成参与者图像库。
在本实施例中，通过预先建立参与者图像库，保证了获取到每一参与者的当前图像之后，可以通过该参与者图像库快速地实现人脸图像的匹配。
在一实施例中，当前图像包括当前位置标识。其中，当前位置标识是指参与者在采集当前图像时所处的位置的标识。具体地，可以根据采集该当前图像的客户端的位置来定位出当前位置标识。
在本实施例中，如图3所示，将每一当前图像的人脸区域在参与者图像库中进行匹配，获取每一当前图像的匹配参与者标识，具体包括以下步骤：
S21：根据每一当前图像的当前位置标识在参与者图像库中查询对应的基准位置标识，并将当前图像的人脸区域与对应的基准位置标识的基准人脸图像进行匹配。
根据每一当前图像的当前位置标识在参与者图像库中查询对应的基准位置标识，其中，对应的基准位置标识是指基准位置标识和当前位置标识相同。例如，若当前位置标识为007，则在参与者图像库中也为007的基准位置标识是和该当前位置标识对应的。在获取到与当前位置标识对应的基准位置标识之后，将当前图像的人脸区域和该基准位置标识的基准人脸图像进行匹配。具体地，可以分别将当前图像的人脸区域和该基准位置标识的基准人脸图像转化为特征向量，再通过计算两个特征向量的相似度来判断是否匹配。可选地，可以设置一相似度阈值，然后根据计算出来的相似度和该相似度阈值进行比较，得到匹配成功或者匹配失败的结果。
S22：将匹配成功的参与者图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
在步骤S21中对两幅图像进行匹配之后，若匹配成功，则将匹配成功的参与者图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
S23：获取所有匹配失败的基准位置标识对应的基准人脸图像和对应的基准参与者标识，作为基准人脸图像库，将每一匹配失败的当前图像的人脸区域和基准人脸图像库中的每一基准人脸图像进行匹配。
在该步骤中，将所有匹配失败的基准位置标识对应的基准人脸图像和对应的基准参与者标识，作为基准人脸图像库。并将每一匹配失败的当前图像的人脸区域和基准人脸图像库中的每一基准人脸图像进行匹配。具体地，将每一当前图像的人脸区域转化的特征向量，和基准人脸图像库中每一基准人脸图像的特征向量计算特征向量相似度，特征向量相似度数值最高的基准人脸图像即与对应的当前图像匹配成功。
S24：将匹配成功的基准人脸图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
在步骤S23中进行匹配之后，将匹配成功的基准人脸图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
在本实施例中，首先根据当前位置标识和基准位置标识来查询到对应的人脸图像进行匹配，避免了每一当前图像在匹配时都需要和参与者图像库中的所有基准人脸图像进行匹配，提高了人脸匹配的效率。在出现匹配失败的情况之后再通过一一比对的方式来和剩余的基准人脸图像进行匹配，也保证了当前图像匹配的完整性。
在一实施例中，如图4所示，将当前图像的所述人脸区域与对应的基准位置标识的基准人脸图像进行匹配，具体包括以下步骤：
S221：将当前图像的人脸区域转化成匹配特征向量。
其中，匹配特征向量是指当前图像的人脸区域的特征向量，是用于表征当前图像的人脸区域的图像信息特征的向量，例如：基于投影的特征向量(如PCA(PrincipalComponent Analysis，主成分分析)特征向量)、基于方向的特征向量(如HOG(Histogram ofOriented Gradient，梯度方向直方图)特征向量)和基于深度学习的特征向量(如卷积神经网络特征向量)等。特征向量能够以简单的数据表征图像信息，通过提取人脸图像的特征向量可以简化后续的比对过程。
优选地，本实施例中匹配特征向量可以为基于深度学习的特征向量。采用深度卷积神经网络进行特征提取，由于深度学习能够自动从人脸图像的数据中学习，因此能够适用多种环境，并且省去了复杂的预处理操作，而基于投影、方向和重心的特征向量往往只能提取一种特征如颜色特征或形状特征等，这些特征很难应用到现实复杂环境。因此，匹配特征向量为基于深度学习的特征向量能够提高后续人脸匹配的准确率。
S222：获取基准人脸特征向量，其中基准人脸特征向量是将对应的基准位置标识的基准人脸图像进行特征向量转化得到的。
其中，基准人脸特征向量是基准人脸图像的特征向量，用于表征基准人脸图像的图像信息特征的向量。该基准人脸特征向量的特征向量转化方式和步骤S221中匹配特征向量的特征向量转化方式相同，在此不再赘述。
S223：计算匹配特征向量和对应的基准人脸特征向量的特征向量相似度。
在获取到匹配特征向量和对应的基准人脸特征向量之后，计算两者之间的特征向量相似度。可选地，特征向量相似度可以通过欧几里得距离算法、曼哈顿距离算法、明可夫斯基距离算法或者余弦相似度算法来计算。
具体地，可以采用欧几里得距离算法计算匹配特征向量和基准人脸特征向量之间的特征向量相似度：
其中，特征向量相似度sim(U,V)EDG的范围是[0,1]，U为匹配特征向量，V为基准人脸特征向量，而xi为匹配特征向量中的向量元素，而yi为基准人脸特征向量中的向量元素，i为正整数，且0<i≤n。特征向量相似度sim(U,V)EDG越大说明两个向量距离越相近，则对应的两幅图像之间的相似程度越高。
通过上述公式，计算匹配特征向量和基准人脸特征向量的特征向量相似度。
在一个具体实施方式中，在计算得到匹配特征向量和基准人脸特征向量的特征向量相似度之后，通过比较特征向量相似度和预设相似度阈值之间的大小来判断是否匹配成功。若特征向量相似度大于或者等于预设相似度阈值，则匹配成功。若若特征向量相似度小于预设相似度阈值，则匹配失败。
在本实施例中，通过将当前图像的人脸区域和与对应的基准位置标识的基准人脸图像对应的特征向量进行计算特征向量相似度，保证了图像匹配的精度和效率。
在一实施例中，如图5所示，获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息，具体包括以下步骤：
S41：获取决策者的手势图像，从手势图像中截取手势区域图像。
获取决策者的手势图像，由于获取的是决策者的手势图像，该手势图像可能囊括的区域比较大，不利于后续的识别处理。因此，需要将手势区域从手势图像中截取出来，得到手势区域图像。具体地，可以采用边缘检测算法获取手势图像的边缘图像，再根据边缘图像的曲率找到手势图像中的各个指关节点和两个手腕点。可选地，边缘检测算法可以采用差分边缘检测算法、Sobel边缘检测算法或者Reborts边缘检测算法等。在找到手势图像中的各个指关节点和两个手腕点之后，根据各个指关节点和两个手腕点来获取到手势区域，最后根据该手势区域得到手势区域图像。具体地，可以根据各个指关节点和两个手腕点来确定一个固定区域，该固定区域可以为一矩形或者圆形，该固定区域包括了手势区域。可选地，将该固定区域设置为一圆形，根据两个手腕点和其中的一个指关节点确定圆形的圆心，然后再根据手腕点和其中的一个指关节点的距离来乘以一定的比例来确定该圆形的半径，该比例可以根据实际需要来设定，在此不做具体限定。在获取到手势区域之后，可以使用imageclipper工具截取手势区域图像，imageclipper工具能快速的从手势图像中截取手势区域图像。
S42：将手势区域图像输入手势图像识别模型进行识别，得到决策者的决策指令信息。
将手势区域图像输入到一个手势图像识别模型中，就可以通过该手势识别模型的输出结果获取到与手势区域图像对应的决策指令信息。其中，手势图像识别模型是预先训练好的一个识别模型，通过该手势图像识别模型，可以快速地对手势区域图像的类型进行识别，输出决策者的决策指令信息，以利于后续的匹配。
在本实施例中，通过截取包含手势区域的手势区域图像，再将手势区域图像输入手势图像识别模型中识别出当前手势类型，并据此得到决策者的决策指令信息，提高了手势识别的准确性和效率。
在一实施例中，如图6所示，在识别每一当前图像的所述手势区域，得到参与者指令信息，将参与者指令信息和对应的匹配参与者标识进行关联的步骤之前，该用户指令匹配方法还包括以下步骤：
S421：获取原始图像，为每一原始图像进行分类标注，组成手势训练图像。
其中，原始图像是预先采集的包含不同手势的图像。不同手势的图像可以通过摄像头获取得到，也可以通过网络上现有的数据集来获取。通过获取大量不同手势的原始图像，并为每一原始图像进行分类标注，例如：“石头”、“剪刀”或“布”。对原始图像进行分类标注完成之后，使得每一原始图像都包含了对应的标注数据，并将包含了标注数据的原始图像作为手势训练图像。
S422：采用手势训练图像对卷积神经网络模型进行训练，获得手势图像识别模型。
通过将手势训练图像输入到卷积神经网络模型中进行训练，即可得到手势图像识别模型。其中，卷积神经网络(Convolutional Neural Network,CNN)模型，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，常应用于大型图像的处理。卷积神经网络通常包括至少两个非线性可训练的卷积层，至少两个非线性的池化层和至少一个全连接层，即包括至少五个隐含层，此外还包括输入层和输出层。通过手势训练图像对卷积神经网络模型进行训练而获得的手势图像识别模型，可以更为准确地对手势训练图像进行分类。
通过获取不同手势的原始图像，并对每一手势的原始图像进行分类标注，获取当前手势的原始训练图像，再采用手势训练图像对卷积神经网络模型进行训练，得到手势图像识别模型。将当前手势图像输入到手势图像识别模型中进行识别，获取当前手势图像对应的当前手势类型。
在本实施例中，通过获取原始图像，每一原始图像进行分类标注，组成手势训练图像。并采用手势训练图像对卷积神经网络模型进行训练，获得手势图像识别模型，更好地保证了后续手势区域图像的识别效率和精度。
在一个实施例中，如图7所示，将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果，具体包括以下步骤：
S51：将每一匹配参与者标识对应的参与者指令信息转化为参与者标签。
其中，参与者标签是指将参与者的参与者指令信息进行转化得到的数值化或符号化的信息。例如，参与者的参与者指令信息包括石头、剪刀和布，则对应地将这三个指令信息转化为数值化或符号化的信息，以方便后续的处理，例如：将“石头”指令映射为“1”，“剪刀”指令映射为“2”，“布”指令映射为“3”。
S52：将决策者的决策指令信息转化为决策者标签。
其中，决策者标签是指将决策者的决策指令信息进行转化得到的数值化或符号化的信息。可以理解地，决策者的决策指令信息和参与者的目标指令信息或者随机指令信息是对应的，例如：石头、剪刀和布。具体转化方式也是和步骤S51相同的，这里不再赘述。
S53：将每一参与者标签和决策者标签通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
在得到参与者标签和决策者标签之后，通过映射关系表进行匹配，就可以得到每一参与者的指令匹配结果。具体地，可以预先设置一参与者标签和决策者标签的映射关系表，根据不同的参与者标签和不同的决策者标签就可以在映射关系表中查询到对应的指令匹配结果。例如：若指令匹配结果包括赢、平和负三种情况，则可以分别采用X、Y和Z代表这三种情况。
在这个实施方式中，通过将对应的指令信息转化为标签，然后通过预设的映射关系表获取到每一参与者的指令匹配结果，提高了指令匹配结果获取的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种用户指令匹配装置，该用户指令匹配装置与上述实施例中用户指令匹配方法一一对应。如图8所示，该用户指令匹配装置包括当前图像获取模块10、匹配参与者标识获取模块20、参与者指令信息获取模块30、手势图像识别模块40和指令匹配结果获取模块50。各功能模块详细说明如下：
当前图像获取模块10，用于获取每一参与者的当前图像，其中，当前图像包括人脸区域和手势区域。
匹配参与者标识获取模块20，用于将每一当前图像的人脸区域在参与者图像库中进行匹配，获取每一当前图像的匹配参与者标识。
参与者指令信息获取模块30，用于识别每一当前图像的手势区域，得到参与者指令信息，将参与者指令信息和对应的匹配参与者标识进行关联。
手势图像识别模块40，用于获取决策者的手势图像，并识别决策者的手势图像，得到决策者的决策指令信息。
指令匹配结果获取模块50，用于将每一匹配参与者标识对应的参与者指令信息与决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
优选地，匹配参与者标识获取模块20包括第一匹配单元21、第一匹配参与者标识获取单元22、第二匹配单元23和第二匹配参与者标识获取单元24。
第一匹配单元21，用于根据每一当前图像的当前位置标识在参与者图像库中查询对应的基准位置标识，并将当前图像的人脸区域与对应的基准位置标识的基准人脸图像进行匹配。
第一匹配参与者标识获取单元22，用于将匹配成功的参与者图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
第二匹配单元23，用于获取所有匹配失败的基准位置标识对应的基准人脸图像和对应的基准参与者标识，作为基准人脸图像库，将每一匹配失败的当前图像的人脸区域和基准人脸图像库中的每一基准人脸图像进行匹配。
第二匹配参与者标识获取单元24，用于将匹配成功的基准人脸图像库的基准人脸图像的基准参与者标识作为对应的当前图像的匹配参与者标识。
优选地，第一匹配参与者标识获取单元22包括匹配特征向量转化子单元221、基准人脸特征向量获取子单元222、特征向量相似度计算子单元223。
匹配特征向量转化子单元221，用于将当前图像的人脸区域转化成匹配特征向量。
基准人脸特征向量获取子单元222，用于获取基准人脸特征向量，其中基准人脸特征向量是将对应的基准位置标识的基准人脸图像进行特征向量转化得到的。
特征向量相似度计算子单元223，用于计算匹配特征向量和对应的基准人脸特征向量的特征向量相似度。
优选地，手势图像识别模块40包括手势区域图像获取单元41和决策指令信息获取单元42。
手势区域图像获取单元41，用于获取决策者的手势图像，从手势图像中截取手势区域图像。
决策指令信息获取单元42，用于将手势区域图像输入手势图像识别模型进行识别，得到决策者的决策指令信息。
优选地，该用户指令匹配装置还包括手势训练图像获取模块421和手势图像识别模型获取模块422。
手势训练图像获取模块421，用于获取原始图像，为每一原始图像进行分类标注，组成手势训练图像。
手势图像识别模型获取模块422，用于采用手势训练图像对卷积神经网络模型进行训练，获得手势图像识别模型。
优选地，指令匹配结果获取模块50包括参与者标签转化单元51、决策者标签转化单元52和指令匹配结果获取单元53。
参与者标签转化单元51，用于将每一匹配参与者标识对应的参与者指令信息转化为参与者标签。
决策者标签转化单元52，用于将决策者的决策指令信息转化为决策者标签。
指令匹配结果获取单元53，用于将每一参与者标签和决策者标签通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
关于用户指令匹配装置的具体限定可以参见上文中对于用户指令匹配方法的限定，在此不再赘述。上述用户指令匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储参与者的当前图像和参与者指令信息，决策者的手势图像和决策指令信息，以及手势图片识别模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户指令匹配方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述实施例中用户指令匹配方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例中用户指令匹配方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户指令匹配方法，其特征在于，包括：
获取每一参与者的当前图像，其中，所述当前图像包括人脸区域和手势区域；
将每一所述当前图像的所述人脸区域在参与者图像库中进行匹配，获取每一所述当前图像的匹配参与者标识；
识别每一所述当前图像的所述手势区域，得到参与者指令信息，将所述参与者指令信息和对应的所述匹配参与者标识进行关联；
获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息；
将每一所述匹配参与者标识对应的参与者指令信息与所述决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
2.如权利要求1所述的用户指令匹配方法，其特征在于，所述参与者图像库包括基准参与者标识、基准位置标识和基准人脸图像；
其中，所述基准人脸图像为预先采集的参与者的人脸图像，在采集所述基准人脸图像后为每一参与者的所述基准人脸图像分配对应的基准参与者标识和基准位置标识。
3.如权利要求2所述的用户指令匹配方法，其特征在于，所述当前图像包括当前位置标识；
所述将每一所述当前图像的所述人脸区域在参与者图像库中进行匹配，获取每一所述当前图像的匹配参与者标识，包括：
根据每一当前图像的所述当前位置标识在参与者图像库中查询对应的基准位置标识，并将所述当前图像的所述人脸区域与对应的基准位置标识的基准人脸图像进行匹配；
将匹配成功的所述参与者图像库的基准人脸图像的基准参与者标识作为对应的所述当前图像的匹配参与者标识；
获取所有匹配失败的基准位置标识对应的基准人脸图像和对应的所述基准参与者标识，作为基准人脸图像库，将每一匹配失败的当前图像的人脸区域和所述基准人脸图像库中的每一基准人脸图像进行匹配；
将匹配成功的所述基准人脸图像库的基准人脸图像的基准参与者标识作为对应的所述当前图像的匹配参与者标识。
4.如权利要求3所述的用户指令匹配方法，其特征在于，将所述当前图像的所述人脸区域与对应的基准位置标识的基准人脸图像进行匹配，包括：
将所述当前图像的所述人脸区域转化成匹配特征向量；
获取基准人脸特征向量，其中所述基准人脸特征向量是将对应的基准位置标识的基准人脸图像进行特征向量转化得到的；
计算所述匹配特征向量和对应的所述基准人脸特征向量的特征向量相似度。
5.如权利要求1所述的用户指令匹配方法，其特征在于，所述获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息，包括：
获取决策者的手势图像，从所述手势图像中截取手势区域图像；
将所述手势区域图像输入手势图像识别模型进行识别，得到所述决策者的决策指令信息。
6.如权利要求1所述的用户指令匹配方法，其特征在于，在所述识别每一所述当前图像的所述手势区域，得到参与者指令信息，将所述参与者指令信息和对应的所述匹配参与者标识进行关联的步骤之前，所述用户指令匹配方法还包括：
获取原始图像，为每一所述原始图像进行分类标注，组成手势训练图像；
采用所述手势训练图像对卷积神经网络模型进行训练，获得手势图像识别模型。
7.如权利要求1所述的用户指令匹配方法，其特征在于，所述将每一所述匹配参与者标识对应的参与者指令信息与所述决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果，包括：
将每一所述匹配参与者标识对应的参与者指令信息转化为参与者标签；
将所述决策者的决策指令信息转化为决策者标签；
将每一所述参与者标签和所述决策者标签通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
8.一种用户指令匹配装置，其特征在于，包括：
当前图像获取模块，用于获取每一参与者的当前图像，其中，所述当前图像包括人脸区域和手势区域；
匹配参与者标识获取模块，用于将每一所述当前图像的所述人脸区域在参与者图像库中进行匹配，获取每一所述当前图像的匹配参与者标识；
参与者指令信息获取模块，用于识别每一所述当前图像的所述手势区域，得到参与者指令信息，将所述参与者指令信息和对应的所述匹配参与者标识进行关联；
手势图像识别模块，用于获取决策者的手势图像，并识别所述决策者的手势图像，得到所述决策者的决策指令信息；
指令匹配结果获取模块，用于将每一所述匹配参与者标识对应的参与者指令信息与所述决策者的决策指令信息通过映射关系表进行匹配，得到每一参与者的指令匹配结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述用户指令匹配方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述用户指令匹配方法的步骤。
CN201810841703.5A 2018-07-27 2018-07-27 用户指令匹配方法、装置、计算机设备及存储介质 Active CN109214278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810841703.5A CN109214278B (zh) 2018-07-27 2018-07-27 用户指令匹配方法、装置、计算机设备及存储介质
PCT/CN2018/106432 WO2020019457A1 (zh) 2018-07-27 2018-09-19 用户指令匹配方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810841703.5A CN109214278B (zh) 2018-07-27 2018-07-27 用户指令匹配方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109214278A true CN109214278A (zh) 2019-01-15
CN109214278B CN109214278B (zh) 2023-04-18

Family

ID=64990273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810841703.5A Active CN109214278B (zh) 2018-07-27 2018-07-27 用户指令匹配方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109214278B (zh)
WO (1) WO2020019457A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448429A (zh) * 2020-03-25 2021-09-28 南京人工智能高等研究院有限公司 基于手势控制电子设备的方法及装置、存储介质和电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738782B (zh) * 2020-05-29 2023-04-07 北京立思辰新技术有限公司 一种基于图像双特征识别的电子凭据信息录入方法和系统
CN112488650A (zh) * 2020-11-26 2021-03-12 万翼科技有限公司 会议气氛调节方法、电子设备及相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221968A (zh) * 2010-11-10 2013-07-24 日本电气株式会社 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201710A (zh) * 2010-11-10 2013-07-10 日本电气株式会社 图像处理系统、图像处理方法以及存储图像处理程序的存储介质
JP2012243180A (ja) * 2011-05-23 2012-12-10 Sony Corp 学習装置および方法、並びにプログラム
CN105468249B (zh) * 2014-09-09 2019-01-08 联胜（中国）科技有限公司 智能互动系统及其控制方法
CN106407436A (zh) * 2016-09-27 2017-02-15 维沃移动通信有限公司 一种通信账号头像处理方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221968A (zh) * 2010-11-10 2013-07-24 日本电气株式会社 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448429A (zh) * 2020-03-25 2021-09-28 南京人工智能高等研究院有限公司 基于手势控制电子设备的方法及装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN109214278B (zh) 2023-04-18
WO2020019457A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
JP6891351B2 (ja) 多特徴検索と変形に基づく人体髪型の生成方法
US20200320346A1 (en) System and method for generating training data for computer vision systems based on image segmentation
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
CN109492643A (zh) 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN105426455A (zh) 基于图片处理来对衣服进行分类管理的方法和装置
CN109214278A (zh) 用户指令匹配方法、装置、计算机设备及存储介质
CN109829038A (zh) 基于深度学习的问答反馈方法、装置、设备及存储介质
WO2018108124A1 (zh) 一种瞳孔定位方法及系统
CN106485186A (zh) 图像特征提取方法、装置、终端设备及系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN107437051A (zh) 图像处理方法及装置
CN110147833A (zh) 人像处理方法、装置、系统和可读存储介质
CN108875559B (zh) 基于证件照与现场照的人脸识别方法及系统
CN110163092A (zh) 基于人脸识别的人数统计方法、装置、设备及存储介质
CN108985251A (zh) 用户指令匹配方法、装置、计算机设备及存储介质
CN109508660A (zh) 一种基于视频的au检测方法
CN108491832A (zh) 一种嵌入式人脸识别追踪装置及方法
CN108334869A (zh) 人脸部件的选择、人脸识别方法和装置，以及电子设备
Karunakar et al. Smart Attendance Monitoring System (SAMS): A Face Recognition Based Attendance System for Classroom Environment
CN111079535A (zh) 一种人体骨架动作识别方法、装置及终端
CN109064578A (zh) 一种基于云服务的考勤系统及方法
CN114612989A (zh) 人脸识别数据集的生成方法及装置、电子设备及存储介质
Jida et al. Face segmentation and detection using Voronoi diagram and 2D histogram
CN117274504B (zh) 智能名片的制作方法、智能销售系统及存储介质
Mou et al. A fast and robust head pose estimation system based on depth data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant