CN111242029A - 设备控制方法、装置、计算机设备和存储介质 - Google Patents
设备控制方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111242029A CN111242029A CN202010031061.XA CN202010031061A CN111242029A CN 111242029 A CN111242029 A CN 111242029A CN 202010031061 A CN202010031061 A CN 202010031061A CN 111242029 A CN111242029 A CN 111242029A
- Authority
- CN
- China
- Prior art keywords
- lip
- image
- operator
- equipment
- lip language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种设备控制方法、装置、计算机设备和存储介质。所述方法包括：当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，获取操作人员的唇语图像；将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；根据所述设备控制指令对设备进行控制。采用本方法能够在对设备发出设备控制指令的操作人员的身份识别准确度。
Description
技术领域
本申请涉及计算机控制技术领域，特别是涉及一种设备控制方法、装置、计算机设备和存储介质。
背景技术
随着自动化设备的发展，越来越多的企业利用自动化设备进行生产、包装、运输和控制，一方面降低了人力成本，一方面提高了生产效率。在自动化设备的使用过程中，对设备进行维护、检修、对产品的出厂测试，需要通过人工参与。例如，电气产品的制造过程中，需要对电气产品进行电气方面的试验测试，以保证电气产品的功能正常，拥有标准的出厂质量；这种试验测试通常在电控系统测试机上进行，操作人员通过工号登陆电控系统对产品进行试验测试。
然而，现有的人工参与的对设备进行维护、检修或测试，只需要工号登陆即可对设备进行操作控制，很难保证操作人员与工号是否对应，从而很难保证操作人员的操作行为是否得当。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高操作人员操作行为准确度的设备控制方法、装置、计算机设备和存储介质。
一种设备控制方法，所述方法包括：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
在其中一个实施例中，所述获取操作人员的唇语图像步骤包括：判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识；如果所述设备控制系统存在接收操作人员的设备控制指令的标识，发出采集唇语的提示信息；根据所述采集唇语的提示信息，采集所述操作人员的唇语图像。
在其中一个实施例中，所述提示信息包括文字提示信息，所述文字提示信息在所述设备控制系统的显示屏显示；所述根据所述采集唇语的提示信息，采集所述操作人员的唇语图像步骤包括：接收所述操作人员根据所述文字提示信息发出的确认指令采集的触发操作；在所述设备控制系统的显示屏上显示指令文字选项提示；采集所述操作人员的唇语图像，所述唇语图像为所述操作人员根据所述指令文字选项提示做出的唇部动作的图像。
在其中一个实施例中，所述将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配步骤包括：对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
在其中一个实施例中，所述操作人员的唇语图像为所述操作人员的唇部序列图像；所述对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令步骤包括：对所述操作人员的唇部序列图像进行特征提取，获得多张唇部轮廓图；将所述多张唇部轮廓图输入指令识别模型，获取设备控制指令；其中，所述指令识别模型，是根据操作人员根据设备控制指令做出的唇部动作的图像构建的样本集合，输入预设的神经网络训练获取的，用于根据输入唇部轮廓图，输出设备控制指令。
在其中一个实施例中，所述根据所述设备控制指令对设备进行控制步骤包括：获取所述设备控制指令中所指定控制设备的设备标识；根据所述设备标识将所述设备控制指令发送至相应的设备，以对所述设备进行控制。
在其中一个实施例中，所述设备控制方法还包括：在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
一种设备控制装置，所述装置包括：
唇语图像获取模块，用于当根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限时，获取操作人员的唇语图像；
图像匹配模块，用于将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
设备控制指令获取模块，用于当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
控制模块，用于根据所述设备控制指令对设备进行控制。
在其中一个实施例中，所述唇语图像获取模块包括：判断单元，用于判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识；提示单元，用于如果所述设备控制系统存在接收操作人员的设备控制指令的标识，发出采集唇语的提示信息；采集单元，用于根据所述采集唇语的提示信息，采集所述操作人员的唇语图像。
在其中一个实施例中，所述提示信息包括文字提示信息，所述文字提示信息在所述设备控制系统的显示屏显示；所述采集单元包括：接收子单元，用于接收所述操作人员根据所述文字提示信息发出的确认指令采集的触发操作；选项提示子单元，用于在所述设备控制系统的显示屏上显示指令文字选项提示；唇语图像采集子单元，用于采集所述操作人员的唇语图像，所述唇语图像为所述操作人员根据所述指令文字选项提示做出的唇部动作的图像。
在其中一个实施例中，所述图像匹配模块包括：第一唇部特征点获取单元，用于对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；第二唇部特征点获取单元，用于对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算单元，用于计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；匹配成功确定单元，用于在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
在其中一个实施例中，所述操作人员的唇语图像为所述操作人员的唇部序列图像；所述设备控制指令获取模块包括：唇部轮廓图获取单元，用于对所述操作人员的唇部序列图像进行特征提取，获得多张唇部轮廓图；设备控制指令获取单元，用于将所述多张唇部轮廓图输入指令识别模型，获取设备控制指令；其中，所述指令识别模型，是根据操作人员根据设备控制指令做出的唇部动作的图像构建的样本集合，输入预设的神经网络训练获取的，用于根据输入唇部轮廓图，输出设备控制指令。
在其中一个实施例中，所述控制模块包括：设备标识获取单元，用于获取所述设备控制指令中所指定控制设备的设备标识；控制单元，用于根据所述设备标识将所述设备控制指令发送至相应的设备，以对所述设备进行控制。
在其中一个实施例中，所述设备控制装置，还包括：匹配失败提示模块，用于在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
上述设备控制方法、装置、计算机设备和存储介质，通过人脸图像进行识别登陆系统，然后再获取操作人员的唇语图像，对唇语图像中唇部图像与人脸图像中唇部图像匹配，在匹配成功后才进行唇语识别，以获取设备控制指令对设备进行控制，保证了对设备控制系统操作不同级别的设置，一方面通过人脸图像进入系统来设置低级别权限，另一方面通过唇语图像和人脸图像二者的唇部图像匹配成功发出设备控制指令来设置高级别权限，由不同级别的权限设置能够满足经验少的操作人员对设备进行简单操作、经验丰富的操作人员来进一步对设备进行复杂控制，提高了设备的安全性；同时，通过唇语来发出设备控制指令对设备进行控制，能够实现远程控制，且能够对多台设备同时进行控制。
附图说明
图1为一个实施例中设备控制方法的应用环境图；
图2为一个实施例中设备控制方法的流程示意图；
图3为一个实施例中获取操作人员的唇语图像步骤的流程示意图；
图4为一个实施例中设备控制装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的设备控制方法，可以应用于如图1所示的应用环境中。其中，设备控制系统102通过网络与设备104通过网络进行通信。设备控制系统102当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，获取操作人员的唇语图像；将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；根据所述设备控制指令对设备104进行控制。其中，设备控制系统102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，设备104可以是电控系统测试机或半自动型机器人。
在一个实施例中，如图2所示，提供了一种设备控制方法，以该方法应用于图1中的设备控制系统为例进行说明，包括以下步骤：
步骤S110，当根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限时，获取操作人员的唇语图像。
其中，根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限，具体为，对操作人员的人脸图像进行识别以获取对设备控制系统的登陆权限。对操作人员的人脸图像识别可以通过人脸识别系统进行识别。所述设备控制系统的登陆权限可为一个登陆密钥，所述登陆密钥自动输入设备控制系统进行设备控制系统的登陆。
具体的，通过高清影像摄取模块来获取操作人员的人脸图像，然后，将所述人脸图像输入人脸识别模型中，在识别到所述人脸图像为系统中具有操作权限人员的人脸图像时，获得设备控制系统的登陆权限，所述登陆权限用于登陆设备控制系统；人脸识别模型是通过多个操作人员的人脸图像构建的样本，输入预设的神经网络训练获取的。
通过人脸识别登陆设备控制系统，能够对设备进行普通操作，如通过按钮打开设备、通过按钮关掉设备。
其中，所述操作人员的唇语图像是通过高清影像摄取模块采集的多张操作人员唇部动作的图像。可以理解的是，操作人员在发出声音时，嘴唇做出动作，高清影像摄取模块将操作人员的嘴唇动作录下来获得唇语视频，然后对唇语视频解码获得唇语图像。
步骤S120，将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配。
其中，所述唇语图像中唇部图像与所述人脸图像中唇部图像匹配成功表示所述唇语图像中唇部图像与所述人脸图像中唇部图像相似度很高，表明是同一个操作人员的唇部图像，由此能够保证由登陆系统的操作人员发出设备控制指令，从而保证了操作人员的操作行为是可监控和追踪的。
步骤S130，当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令。
其中，唇语是由嘴唇动作表达的意思，唇语不包括声音。在设备控制系统保存与所述唇语唯一对应的设备控制指令，通过对唇语的识别即能获得相应的设备控制指令。
步骤S140，根据所述设备控制指令对设备进行控制。
其中，设备包括电控系统测试机或半自动型机器人。根据所述设备控制指令对设备进行控制，具体为，将设备控制指令通过有线或者无线的方式发送至相应的设备，然后，设备执行所述设备控制指令。
例如，设备为电控系统测试机，设备控制指令为“打印报表”，将“打印报表”的设备控制指令发送到电控系统测试机，电控系统测试机进行报表打印。
上述设备控制方法中，通过人脸图像进行识别登陆系统，然后再获取操作人员的唇语图像，对唇语图像中唇部图像与人脸图像中唇部图像匹配，在匹配成功后才进行唇语识别，以获取设备控制指令对设备进行控制，保证了对设备控制系统操作不同级别的设置，一方面通过人脸图像进入系统来设置低级别权限，另一方面通过唇语图像和人脸图像二者的唇部图像匹配成功发出设备控制指令来设置高级别权限，由不同级别的权限设置能够满足经验少的操作人员对设备进行简单操作、经验丰富的操作人员来进一步对设备进行复杂控制，提高了设备的安全性；同时，通过唇语来发出设备控制指令对设备进行控制，能够实现远程控制，且能够对多台设备同时进行控制。
在其中一个实施例中，如图3所示，所述步骤S120包括：步骤S122，判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识；步骤S123，如果所述设备控制系统存在接收操作人员的设备控制指令的标识，发出采集唇语的提示信息；步骤S124，根据所述采集唇语的提示信息，采集所述操作人员的唇语图像。
其中，设备控制指令包括：重新测试、下一步、打印报表、暂存中断或接续上次测试，当然设备控制指令还可以包对设备的其它操作。其中，可以通过设备控制系统操作模式可以判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识，例如，操作模式为全自动化测试，则不需要接收操作人员的设备控制指令，如果操作模式为手动测试，则需要接收操作人员的设备控制指令，接收操作人员的设备控制指令的标识为手动测试。采集唇语的提示信息可以通过在设备控制系统通过文字进行显示，或者通过扬声器采用语音提示的方式进行提示。
在其中一个实施例中，所述提示信息包括文字提示信息，所述文字提示信息在所述设备控制系统的显示屏显示；所述步骤S124包括：接收所述操作人员根据所述文字提示信息发出的确认指令采集的触发操作；在所述设备控制系统的显示屏上显示指令文字选项提示；采集所述操作人员的唇语图像，所述唇语图像为所述操作人员根据所述指令文字选项提示做出的唇部动作的图像。
具体的，操作人员根据设备控制系统显示的“说出指令”，然后点击确认按钮开始采集操作人员的唇语图像，操作人员根据设备控制系统的显示屏的文字提示，说出相应的设备控制指令，高清影像摄取模块采集操作人员的唇语图像。
在其中一个实施例中，在步骤S120包括：对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
其中，本实施例中唇部图像特征提取可由卷积神经网络(Convolutional NeuralNetworks,CNN)实现。第一唇部特征点、第二唇部特征点为关于唇部轮廓的点或者线，能够标识唇部的特征，每个人的唇部形状不相同，能够通过唇部形状来区分不同的操作人员。阈值可以根据需要进行设置，例如，所述第一唇部特征点和所述第二唇部特征点的匹配指数为70％，阈值为80％，匹配指数小于阈值，则唇语图像中唇部图像与所述人脸图像中唇部图像匹配失败，如果所述第一唇部特征点和所述第二唇部特征点的匹配指数为90％，阈值为80％，则唇语图像中唇部图像与所述人脸图像中唇部图像匹配成功。
在其中一个实施例中，所述操作人员的唇语图像为所述操作人员的唇部序列图像；所述对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令步骤包括：对所述操作人员的唇部序列图像进行特征提取，获得多张唇部轮廓图；将所述多张唇部轮廓图输入指令识别模型，获取设备控制指令；其中，所述指令识别模型，是根据操作人员根据设备控制指令做出的唇部动作的图像构建的样本集合，输入预设的神经网络训练获取的，用于根据输入唇部轮廓图，输出设备控制指令。
其中，预设的神经网络包括LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet等神经网络。
在其中一个实施例中，所述根据所述设备控制指令对设备进行控制步骤包括：获取所述设备控制指令中所指定控制设备的设备标识；根据所述设备标识将所述设备控制指令发送至相应的设备，以对所述设备进行控制。
其中，设备标识包括设备名称或设备编号。通过设备标识能够找到相应设备的发送信息路径。本实施例通过设备标识能够对相应的设备进行控制，在多个设备存在的情况下，可以对设备选择控制，而不需要来回来多个设备之间走动去控制设备。
在其中一个实施例中，所述设备控制方法，还包括：在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。通过本实施例所述方法能够通知操作人员指令发送失败。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种设备控制装置，包括：唇语图像获取模块210、图像匹配模块220、设备控制指令获取模块230和控制模块240，其中：
唇语图像获取模块210，用于当根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限时，获取操作人员的唇语图像。
图像匹配模块220，用于将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配。
设备控制指令获取模块230，用于当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令。
控制模块240，用于根据所述设备控制指令对设备进行控制。
在其中一个实施例中，所述唇语图像获取模块210包括：判断单元，用于判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识；提示单元，用于如果所述设备控制系统存在接收操作人员的设备控制指令的标识，发出采集唇语的提示信息；采集单元，用于根据所述采集唇语的提示信息，采集所述操作人员的唇语图像。
在其中一个实施例中，所述提示信息包括文字提示信息，所述文字提示信息在所述设备控制系统的显示屏显示；所述采集单元包括：接收子单元，用于接收所述操作人员根据所述文字提示信息发出的确认指令采集的触发操作；选项提示子单元，用于在所述设备控制系统的显示屏上显示指令文字选项提示；唇语图像采集子单元，用于采集所述操作人员的唇语图像，所述唇语图像为所述操作人员根据所述指令文字选项提示做出的唇部动作的图像。
在其中一个实施例中，所述图像匹配模块220包括：第一唇部特征点获取单元，用于对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；第二唇部特征点获取单元，用于对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算单元，用于计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；匹配成功确定单元，用于在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
在其中一个实施例中，所述操作人员的唇语图像为所述操作人员的唇部序列图像；所述设备控制指令获取模块230包括：唇部轮廓图获取单元，用于对所述操作人员的唇部序列图像进行特征提取，获得多张唇部轮廓图；设备控制指令获取单元，用于将所述多张唇部轮廓图输入指令识别模型，获取设备控制指令；其中，所述指令识别模型，是根据操作人员根据设备控制指令做出的唇部动作的图像构建的样本集合，输入预设的神经网络训练获取的，用于根据输入唇部轮廓图，输出设备控制指令。
在其中一个实施例中，所述控制模块240包括：设备标识获取单元，用于获取所述设备控制指令中所指定控制设备的设备标识；控制单元，用于根据所述设备标识将所述设备控制指令发送至相应的设备，以对所述设备进行控制。
在其中一个实施例中，所述设备控制装置，还包括：匹配失败提示模块，用于在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
关于设备控制装置的具体限定可以参见上文中对于设备控制方法的限定，在此不再赘述。上述设备控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种设备控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，
获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统的控制权限时，
获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种设备控制方法，其特征在于，所述方法包括：
当根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限时，获取操作人员的唇语图像；
将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
根据所述设备控制指令对设备进行控制。
2.根据权利要求1所述的方法，其特征在于，所述获取操作人员的唇语图像步骤包括：
判断所述设备控制系统是否存在接收操作人员的设备控制指令的标识；
如果所述设备控制系统存在接收操作人员的设备控制指令的标识，发出采集唇语的提示信息；
根据所述采集唇语的提示信息，采集所述操作人员的唇语图像。
3.根据权利要求2所述的方法，其特征在于，所述提示信息包括文字提示信息，所述文字提示信息在所述设备控制系统的显示屏显示；
所述根据所述采集唇语的提示信息，采集所述操作人员的唇语图像步骤包括：
接收所述操作人员根据所述文字提示信息发出的确认指令采集的触发操作；
在所述设备控制系统的显示屏上显示指令文字选项提示；
采集所述操作人员的唇语图像，所述唇语图像为所述操作人员根据所述指令文字选项提示做出的唇部动作的图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配步骤包括：
对所述唇语图像进行唇部图像特征提取，获取第一唇部特征点；
对所述人脸图像进行唇部图像特征提取，获取第二唇部特征点；
计算所述第一唇部特征点和所述第二唇部特征点的匹配指数；
在所述匹配指数大于阈值时，所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配成功。
5.根据权利要求1所述的方法，其特征在于，所述操作人员的唇语图像为所述操作人员的唇部序列图像；
所述对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令步骤包括：
对所述操作人员的唇部序列图像进行特征提取，获得多张唇部轮廓图；
将所述多张唇部轮廓图输入指令识别模型，获取设备控制指令；其中，所述指令识别模型，是根据操作人员根据设备控制指令做出的唇部动作的图像构建的样本集合，输入预设的神经网络训练获取的，用于根据输入唇部轮廓图，输出设备控制指令。
6.根据权利要求1所述的方法，其特征在于，所述根据所述设备控制指令对设备进行控制步骤包括：
获取所述设备控制指令中所指定控制设备的设备标识；
根据所述设备标识将所述设备控制指令发送至相应的设备，以对所述设备进行控制。
7.根据权利要求1所述的方法，其特征在于，还包括：
在所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配失败时，发出匹配异常的提示信息。
8.一种设备控制装置，其特征在于，所述装置包括：
唇语图像获取模块，用于当根据操作人员的人脸图像确定操作人员具有对设备控制系统控制权限时，获取操作人员的唇语图像；
图像匹配模块，用于将所述唇语图像中的唇部图像与所述人脸图像中的唇部图像匹配；
设备控制指令获取模块，用于当匹配成功时，对所述唇语图像的唇语进行识别，获取与所述唇语对应的设备控制指令；
控制模块，用于根据所述设备控制指令对设备进行控制。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010031061.XA CN111242029A (zh) | 2020-01-13 | 2020-01-13 | 设备控制方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010031061.XA CN111242029A (zh) | 2020-01-13 | 2020-01-13 | 设备控制方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111242029A true CN111242029A (zh) | 2020-06-05 |
Family
ID=70876000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010031061.XA Pending CN111242029A (zh) | 2020-01-13 | 2020-01-13 | 设备控制方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242029A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200070A (zh) * | 2020-10-09 | 2021-01-08 | 支付宝(杭州)信息技术有限公司 | 一种用户识别、业务处理方法、装置、设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020034319A1 (en) * | 2000-09-15 | 2002-03-21 | Tumey David M. | Fingerprint verification system utilizing a facial image-based heuristic search method |
| CN105825167A (zh) * | 2016-01-29 | 2016-08-03 | 维沃移动通信有限公司 | 一种提高唇语识别率的方法和移动终端 |
| CN108052079A (zh) * | 2017-12-12 | 2018-05-18 | 北京小米移动软件有限公司 | 设备控制方法、装置、设备控制装置及存储介质 |
| CN108062673A (zh) * | 2017-11-15 | 2018-05-22 | 平安科技（深圳）有限公司 | 支付方法、终端设备及计算机可读存储介质 |
| WO2018090404A1 (zh) * | 2016-11-16 | 2018-05-24 | 常熟安智生物识别技术有限公司 | 一种能扩大人脸识别使用人数的方案 |
| CN108470169A (zh) * | 2018-05-23 | 2018-08-31 | 国政通科技股份有限公司 | 人脸识别系统及方法 |
| CN108874145A (zh) * | 2018-07-04 | 2018-11-23 | 深圳美图创新科技有限公司 | 一种图像处理方法、计算设备及存储介质 |
| CN109299764A (zh) * | 2018-10-19 | 2019-02-01 | 叶云龙 | 一种基于人脸识别功能的智能启动方法及装置 |
| CN109409204A (zh) * | 2018-09-07 | 2019-03-01 | 北京市商汤科技开发有限公司 | 防伪检测方法和装置、电子设备、存储介质 |
| CN109461437A (zh) * | 2018-11-28 | 2019-03-12 | 平安科技（深圳）有限公司 | 唇语识别的验证内容生成方法及相关装置 |
| CN109903054A (zh) * | 2019-03-07 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种操作确认方法、装置、电子设备及存储介质 |
| CN110113319A (zh) * | 2019-04-16 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 身份认证方法、装置、计算机设备和存储介质 |
-
2020
- 2020-01-13 CN CN202010031061.XA patent/CN111242029A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020034319A1 (en) * | 2000-09-15 | 2002-03-21 | Tumey David M. | Fingerprint verification system utilizing a facial image-based heuristic search method |
| CN105825167A (zh) * | 2016-01-29 | 2016-08-03 | 维沃移动通信有限公司 | 一种提高唇语识别率的方法和移动终端 |
| WO2018090404A1 (zh) * | 2016-11-16 | 2018-05-24 | 常熟安智生物识别技术有限公司 | 一种能扩大人脸识别使用人数的方案 |
| CN108062673A (zh) * | 2017-11-15 | 2018-05-22 | 平安科技（深圳）有限公司 | 支付方法、终端设备及计算机可读存储介质 |
| CN108052079A (zh) * | 2017-12-12 | 2018-05-18 | 北京小米移动软件有限公司 | 设备控制方法、装置、设备控制装置及存储介质 |
| CN108470169A (zh) * | 2018-05-23 | 2018-08-31 | 国政通科技股份有限公司 | 人脸识别系统及方法 |
| CN108874145A (zh) * | 2018-07-04 | 2018-11-23 | 深圳美图创新科技有限公司 | 一种图像处理方法、计算设备及存储介质 |
| CN109409204A (zh) * | 2018-09-07 | 2019-03-01 | 北京市商汤科技开发有限公司 | 防伪检测方法和装置、电子设备、存储介质 |
| CN109299764A (zh) * | 2018-10-19 | 2019-02-01 | 叶云龙 | 一种基于人脸识别功能的智能启动方法及装置 |
| CN109461437A (zh) * | 2018-11-28 | 2019-03-12 | 平安科技（深圳）有限公司 | 唇语识别的验证内容生成方法及相关装置 |
| CN109903054A (zh) * | 2019-03-07 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种操作确认方法、装置、电子设备及存储介质 |
| CN110113319A (zh) * | 2019-04-16 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 身份认证方法、装置、计算机设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200070A (zh) * | 2020-10-09 | 2021-01-08 | 支付宝(杭州)信息技术有限公司 | 一种用户识别、业务处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897430B (zh) | 应用的控制方法、显示终端及计算机可读存储介质 | |
| CN112990870A (zh) | 基于核电设备的巡检文件生成方法、装置和计算机设备 | |
| CN110941555A (zh) | 测试用例推荐方法、装置、计算机设备和存储介质 | |
| CN107451040A (zh) | 故障原因的定位方法、装置及计算机可读存储介质 | |
| CN110378273B (zh) | 一种监测作业流程的方法和装置 | |
| CN111782505B (zh) | 列车系统仿真测试方法、装置、计算机设备和存储介质 | |
| CN112839028B (zh) | 账号注销的处理方法、相关装置、服务器及介质 | |
| CN113139403A (zh) | 违规行为识别方法、装置、计算机设备和存储介质 | |
| CN110717449A (zh) | 车辆年检人员的行为检测方法、装置和计算机设备 | |
| CN110619689A (zh) | 智慧楼宇的自动签到打卡方法、计算机设备及存储介质 | |
| CN112803585A (zh) | 低压联络柜的监控方法、装置、计算机设备和存储介质 | |
| CN111049687A (zh) | 设备检修视频操作指导文件处理方法、装置、ar终端 | |
| CN111581436A (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN110490079B (zh) | 巡检数据处理方法、装置、计算机设备和存储介质 | |
| CN111242029A (zh) | 设备控制方法、装置、计算机设备和存储介质 | |
| CN110598872A (zh) | 交通系统的维护方法、装置和设备 | |
| CN112383734B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| US20220401825A1 (en) | Alarm method and apparatus for tabletop game, electronic device and storage medium | |
| CN113326713B (zh) | 一种动作识别方法、装置、设备及介质 | |
| CN112822440A (zh) | 生物样本制备监控方法、应用服务器、系统及存储介质 | |
| CN113495764B (zh) | 自动化数据提取方法、装置、计算机设备和存储介质 | |
| CN111695445A (zh) | 一种人脸识别的方法、装置、设备及计算机可读存储介质 | |
| CN109819052B (zh) | 远程诊断方法、装置、计算机设备和存储介质 | |
| CN111666785A (zh) | 行为识别方法、系统、装置、计算设备和介质 | |
| CN116610503A (zh) | 部件检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |