CN112528766A - 唇语识别方法、装置及电子设备 - Google Patents
唇语识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112528766A CN112528766A CN202011340844.2A CN202011340844A CN112528766A CN 112528766 A CN112528766 A CN 112528766A CN 202011340844 A CN202011340844 A CN 202011340844A CN 112528766 A CN112528766 A CN 112528766A
- Authority
- CN
- China
- Prior art keywords
- lip
- determining
- identified object
- distance
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种唇语识别方法、装置及电子设备，属于移动通信领域。所述方法应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；根据所述唇部正向图像，进行唇语识别。本申请实施例解决了电子设备在进行唇语识别过程中，需要被识别对象正向面对摄像头模块，无法满足一些复杂场景下的唇语识别需求的问题。
Description
技术领域
本申请属于移动通信领域，具体涉及一种唇语识别方法、装置及电子设备。
背景技术
唇语识别是一项集机器视觉与自然语言处理于一体的技术，通过对唇部形态进行识别，来判断说话者说的内容。具体地，唇语识别系统使用机器视觉技术，从连续图像中识别出人脸，判断其中正在说话的人，提取此人连续的口型变化特征；将连续变化的特征输入到唇语识别模型中，识别出讲话人口型对应的发音；随后根据识别出的发音，计算出可能性最大的自然语言语句。然而，在唇语识别过程中，口型与发音，发音与文字之间，并不是唯一对应的关系，常常有多个可能的备选结果，需要实时计算出可能性最大的结果。
在噪音过大或是一些有聋哑人的环境中，无法听到或得到语言信息，可通过唇语识别来获得想要传递的信息。唇语识别技术在一定程度上可以准确识别出说话者所说的内容。且在一些特殊应用场景中，唇语识别已成为获取信息的重要途径。现有技术中，通常通过电子设备的摄像头模块采集说话者面部进行唇语识别，然而，摄像头模块采集图像的采集方式具有一定的限制性，需要被识别对象正向面对摄像头模块，才能够确保图像的准确识别，无法满足一些复杂场景下的唇语识别需求。
发明内容
本申请实施例的目的是提供一种唇语识别方法、装置及电子设备，能够解决现有技术中，电子设备在进行唇语识别过程中，需要被识别对象正向面对摄像头模块，无法满足一些复杂场景下的唇语识别需求的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种唇语识别方法，应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：
在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；
根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；
根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；
根据所述唇部正向图像，进行唇语识别。
第二方面，本申请实施例还提供了一种唇语识别装置，应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述装置包括：
特征点识别模块，用于在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；
距离确定模块，用于根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；
图像确定模块，用于根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；
唇语识别模块，用于根据所述唇部正向图像，进行唇语识别。
第三方面，本申请实施例还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令，所述处理器执行所述程序或指令时实现如上所述的唇语识别方法中的步骤。
第四方面，本申请实施例还提供了一种可读存储介质，该可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的唇语识别方法中的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，最后根据所述唇部正向图像，进行唇语识别。在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，通过TOF摄像头模组向被识别对象发送预设光线，采集唇部特征点信息并计算第一距离，还原唇部的三维模型进而获得唇部正向图像，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本申请实施例提供的唇语识别方法的流程图之一；
图2表示本申请实施例提供的唇语识别方法的流程图之二；
图3表示本申请的实施例提供的唇语识别装置的框图；
图4表示本申请的实施例提供的电子设备的框图之一；
图5表示本申请的实施例提供的电子设备的框图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本申请的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的唇语识别方法进行详细地说明。
参见图1，本申请一实施例提供了一种唇语识别方法，可选地，所述方法可应用于电子设备，所述电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备，以及各种形式的移动台(Mobile Station，MS)，终端设备(Terminal Device)等等。
所述电子设备包括飞行时间TOF摄像头模组，飞行时间(Time of Flight，TOF)摄像头模组包括TOF成像模块，TOF成像模块通过向被识别对象发射连续的、特定波长的红外光线脉冲，并通过特定传感器接收待测物体传回的光信号，构建得到被识别对象的3D深度信息。
所述方法包括：
步骤101，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线。
在检测到被识别对象的唇部的情况下，提取唇部区域的至少两个唇部特征点，并控制TOF摄像头模组向所述被识别对象发送预设光线；可选地，预设光线可以是连续的、特定波长的红外光线脉冲，该红外光线脉冲的波长在不可见光范围内。
可选地，被识别对象的唇部可以展示在目标预览界面，目标预览界面为用于进行唇部识别的预览界面，可以是相机预览界面，比如电子设备进行唇语识别时，首先检测目标预览界面是否出现被识别对象的唇部区域，若在目标预览界面识别到唇部，则提取唇部区域的至少两个唇部特征点。
步骤102，根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离。
向被识别对象发送预设光线之后，接收经被识别对象反射的反射光线，根据预设光线，确定预设光线到每个所述唇部特征点之间的入射和反射之间的差值，所述差值例如时间差和相位差。
比如根据TOF摄像头模组发射预设光线的发送时间与接收来自特征点A的反射光线的接收时间之间的时间差，计算特征点A距离TOF摄像头模组之间的第一距离(物理距离)；第一距离等于预设光线与反射光线的总路程之和的二分之一；为所述预设光线设定默认速率，所述默认速率乘以时间差的二分之一即所述第一距离。
步骤103，根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像。
对于每个特征点，确定该特征点对应的以距离之后，可构建被识别对应的唇部立体模型，然后从唇部立体模型获得被识别对象的唇部正向图像；可以理解的是，唇部正向图像即被识别对象的面部正向朝向所述TOF摄像头模组时所采集的被识别对象的图像，唇部正向图像用于对被识别对象进行唇语识别。
步骤104，根据所述唇部正向图像，进行唇语识别。
根据唇部正向图像，进行唇语识别，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组，对被识别对象的限制性降低；唇语识别可以应用在更复杂的使用场景中。
本申请实施例中，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，最后根据所述唇部正向图像，进行唇语识别。在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，通过TOF摄像头模组向被识别对象发送预设光线，采集唇部特征点信息并计算第一距离，还原唇部的三维模型进而获得唇部正向图像，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组；本申请实施例解决了电子设备在进行唇语识别过程中，需要被识别对象正向面对摄像头模块，无法满足一些复杂场景下的唇语识别需求的问题。
在一个可选实施例中，所述根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，包括：
根据每个所述唇部特征点以及所述第一距离，建立所述被识别对象的唇部三维模型；
提取所述唇部三维模型中的唇部正向图像。
在计算得到每个所述唇部特征点对应的第一距离之后，根据预设的三维模型建立方法，建立包括被识别对象的唇部的唇部三维模型；然后从村部三维模型中，提取唇部正向图像，用于进行唇语识别；这样，在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，被识别对象可以不正向面对TOF摄像头模组，TOF摄像头模组通过投射特定的光脉冲信息到人物面部，采集面部信息并计算，获取出唇部的形状和深度信息，模拟还原唇部的三维图像，使唇语识别可以应用在更复杂的使用场景中。
参见图2，本申请实施例还提供了一种唇语识别方法，可选地，所述方法可应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：
步骤201，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线。
在检测到被识别对象的唇部的情况下，提取唇部区域的至少两个唇部特征点，并控制TOF摄像头模组向所述被识别对象发送预设光线；可选地，预设光线可以是连续的、特定波长的红外光线脉冲，该红外光线脉冲的波长在不可见光范围内。
步骤202，接收所述预设光线的反射光线。
反射光线为预设光线经过被识别对象反射后的光线；TOF摄像头模组中包括接收反射光线的接收模块，用于接收反射光线。
步骤203，确定所述预设光线的发送参数以及所述反射光线的接收参数。
发送参数和接收参数用于确定差值参数；可选地，所述差值参数包括相位差以及时间差中的至少一种。
在所述差值参数包括所述相位差的情况下，所述发送参数包括发送相位，所述接收参数包括接收相位；发送相位与接收相位之间差值即相位差；
在所述差值参数包括所述时间差的情况下，所述发送参数包括发送时间，所述接收参数包括接收时间；发送时间与接收时间之间差值即时间差。
步骤204，根据所述发送参数与所述接收参数，确定所述唇部特征点的差值参数。
步骤205，根据所述差值参数以及预设的对应关系，确定唇部特征点距离所述TOF摄像头模组的第一距离。
比如根据TOF摄像头模组发射预设光线的发送时间与接收来自特征点A的反射光线的接收时间之间的时间差，计算特征点A距离TOF摄像头模组之间的第一距离(物理距离)；第一距离等于预设光线与反射光线的总路程之和的二分之一；为所述预设光线设定默认速率，所述默认速率乘以时间差的二分之一即所述第一距离。
步骤206，根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像。
对于每个特征点，确定该特征点对应的以距离之后，可构建被识别对应的唇部立体模型，然后从唇部立体模型获得被识别对象的唇部正向图像；可以理解的是，唇部正向图像即被识别对象的面部正向朝向所述TOF摄像头模组时所采集的被识别对象的图像，唇部正向图像用于对被识别对象进行唇语识别。
步骤207，根据所述唇部正向图像，进行唇语识别。
根据唇部正向图像，进行唇语识别，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组，对被识别对象的限制性降低；唇语识别可以应用在更复杂的使用场景中。
本申请实施例中，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，最后根据所述唇部正向图像，进行唇语识别。在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，通过TOF摄像头模组向被识别对象发送预设光线，采集唇部特征点信息并计算第一距离，还原唇部的三维模型进而获得唇部正向图像，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组；且TOF摄像头模组相比于普通摄像头可以获取更多的特征点和信息，因此在进行唇语识别时，可以提升信息的完整性与识别精准度。
以上介绍了本申请实施例提供的唇语识别方法，下面将结合附图介绍本申请实施例提供的唇语识别装置。
需要说明的是，本申请实施例提供的唇语识别方法，执行主体可以为唇语识别装置，或者该唇语识别装置中的用于执行唇语识别方法的控制模块。本申请实施例中以唇语识别装置执行唇语识别方法为例，说明本申请实施例提供的唇语识别方法。
参见图3，本申请实施例还提供了一种唇语识别装置300，可选地，所述唇语识别装置300应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，飞行时间(Time ofFlight，TOF)摄像头模组包括TOF成像模块，TOF成像模块通过向被识别对象发射连续的、特定波长的红外光线脉冲，并通过特定传感器接收待测物体传回的光信号，构建得到被识别对象的3D深度信息。
所述装置300包括：
特征点识别模块301，用于在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线。
在检测到被识别对象的唇部的情况下，提取唇部区域的至少两个唇部特征点，并控制TOF摄像头模组向所述被识别对象发送预设光线；可选地，预设光线可以是连续的、特定波长的红外光线脉冲，该红外光线脉冲的波长在不可见光范围内。
可选地，被识别对象的唇部可以展示在目标预览界面，目标预览界面为用于进行唇部识别的预览界面，可以是相机预览界面，比如电子设备进行唇语识别时，首先检测目标预览界面是否出现被识别对象的唇部区域，若在目标预览界面识别到唇部，则提取唇部区域的至少两个唇部特征点。
距离确定模块302，用于根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离。
向被识别对象发送预设光线之后，接收经被识别对象反射的反射光线，根据预设光线，确定预设光线到每个所述唇部特征点之间的入射和反射之间的差值，所述差值例如时间差和相位差。
比如根据TOF摄像头模组发射预设光线的发送时间与接收来自特征点A的反射光线的接收时间之间的时间差，计算特征点A距离TOF摄像头模组之间的第一距离(物理距离)；第一距离等于预设光线与反射光线的总路程之和的二分之一；为所述预设光线设定默认速率，所述默认速率乘以时间差的二分之一即所述第一距离。
图像确定模块303，用于根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像。
对于每个特征点，确定该特征点对应的以距离之后，可构建被识别对应的唇部立体模型，然后从唇部立体模型获得被识别对象的唇部正向图像；可以理解的是，唇部正向图像即被识别对象的面部正向朝向所述TOF摄像头模组时所采集的被识别对象的图像，唇部正向图像用于对被识别对象进行唇语识别。
唇语识别模块304，用于根据所述唇部正向图像，进行唇语识别。
根据唇部正向图像，进行唇语识别，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组，对被识别对象的限制性降低；唇语识别可以应用在更复杂的使用场景中。
在一个可选实施例中，所述图像确定模块303包括：
建立子模块，用于根据每个所述唇部特征点以及所述第一距离，建立所述被识别对象的唇部三维模型；
提取子模块，用于提取所述唇部三维模型中的唇部正向图像。
在一个可选实施例中，所述距离确定模块302包括：
接收子模块，用于接收所述预设光线的反射光线；
第一确定子模块，用于确定所述预设光线的发送参数以及所述反射光线的接收参数；
第二确定子模块，用于根据所述发送参数与所述接收参数，确定所述唇部特征点的差值参数；
第三确定子模块，用于根据所述差值参数以及预设的对应关系，确定唇部特征点距离所述TOF摄像头模组的第一距离。
在一个可选实施例中，所述差值参数包括相位差以及时间差中的至少一种。
在一个可选实施例中，在所述差值参数包括所述相位差的情况下，所述发送参数包括发送相位，所述接收参数包括接收相位；
在所述差值参数包括所述时间差的情况下，所述发送参数包括发送时间，所述接收参数包括接收时间。
本申请实施例中，特征点识别模块301在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；距离确定模块302根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；图像确定模块303根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，唇语识别模块304根据所述唇部正向图像，进行唇语识别。在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，通过TOF摄像头模组向被识别对象发送预设光线，采集唇部特征点信息并计算第一距离，还原唇部的三维模型进而获得唇部正向图像，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组。
本申请实施例中的唇语识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的唇语识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的唇语识别装置能够实现图1至图2的方法实施例中唇语识别装置实现的各个过程，为避免重复，这里不再赘述。
可选的，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述唇语识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请各个实施例的一种电子设备500的硬件结构示意图；
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，射频单元501，用于在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；
根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；
根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；
根据所述唇部正向图像，进行唇语识别。
可选地，射频单元501，用于所述根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，包括：
根据每个所述唇部特征点以及所述第一距离，建立所述被识别对象的唇部三维模型；
提取所述唇部三维模型中的唇部正向图像。
可选地，射频单元501，用于所述根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离，包括：
接收所述预设光线的反射光线；
确定所述预设光线的发送参数以及所述反射光线的接收参数；
根据所述发送参数与所述接收参数，确定所述唇部特征点的差值参数；
根据所述差值参数以及预设的对应关系，确定唇部特征点距离所述TOF摄像头模组的第一距离。
可选地，射频单元501，用于所述差值参数包括相位差以及时间差中的至少一种。
可选地，射频单元501，用于在所述差值参数包括所述相位差的情况下，所述发送参数包括发送相位，所述接收参数包括接收相位；
在所述差值参数包括所述时间差的情况下，所述发送参数包括发送时间，所述接收参数包括接收时间。
本申请实施例中，在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，最后根据所述唇部正向图像，进行唇语识别。在无法实现被识别对象正面拍摄的唇语识别场景，或复杂的唇语识别场景，通过TOF摄像头模组向被识别对象发送预设光线，采集唇部特征点信息并计算第一距离，还原唇部的三维模型进而获得唇部正向图像，这样，在进行唇语识别的过程中，被识别对象可以不正向面对TOF摄像头模组。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述唇语识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述唇语识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种唇语识别方法，应用于电子设备，其特征在于，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：
在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；
根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；
根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；
根据所述唇部正向图像，进行唇语识别。
2.根据权利要求1所述的唇语识别方法，其特征在于，所述根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像，包括：
根据每个所述唇部特征点以及所述第一距离，建立所述被识别对象的唇部三维模型；
提取所述唇部三维模型中的唇部正向图像。
3.根据权利要求1所述的唇语识别方法，其特征在于，所述根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离，包括：
接收所述预设光线的反射光线；
确定所述预设光线的发送参数以及所述反射光线的接收参数；
根据所述发送参数与所述接收参数，确定所述唇部特征点的差值参数；
根据所述差值参数以及预设的对应关系，确定唇部特征点距离所述TOF摄像头模组的第一距离。
4.根据权利要求3所述的唇语识别方法，其特征在于，所述差值参数包括相位差以及时间差中的至少一种。
5.根据权利要求4所述的唇语识别方法，其特征在于，在所述差值参数包括所述相位差的情况下，所述发送参数包括发送相位，所述接收参数包括接收相位；
在所述差值参数包括所述时间差的情况下，所述发送参数包括发送时间，所述接收参数包括接收时间。
6.一种唇语识别装置，应用于电子设备，其特征在于，所述电子设备包括飞行时间TOF摄像头模组，所述装置包括：
特征点识别模块，用于在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；
距离确定模块，用于根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；
图像确定模块，用于根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；
唇语识别模块，用于根据所述唇部正向图像，进行唇语识别。
7.根据权利要求6所述的唇语识别装置，其特征在于，所述图像确定模块包括：
建立子模块，用于根据每个所述唇部特征点以及所述第一距离，建立所述被识别对象的唇部三维模型；
提取子模块，用于提取所述唇部三维模型中的唇部正向图像。
8.根据权利要求6所述的唇语识别装置，其特征在于，所述距离确定模块包括：
接收子模块，用于接收所述预设光线的反射光线；
第一确定子模块，用于确定所述预设光线的发送参数以及所述反射光线的接收参数；
第二确定子模块，用于根据所述发送参数与所述接收参数，确定所述唇部特征点的差值参数；
第三确定子模块，用于根据所述差值参数以及预设的对应关系，确定唇部特征点距离所述TOF摄像头模组的第一距离。
9.根据权利要求8所述的唇语识别装置，其特征在于，所述差值参数包括相位差以及时间差中的至少一种。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的唇语识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340844.2A CN112528766A (zh) | 2020-11-25 | 2020-11-25 | 唇语识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340844.2A CN112528766A (zh) | 2020-11-25 | 2020-11-25 | 唇语识别方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528766A true CN112528766A (zh) | 2021-03-19 |
Family
ID=74993357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011340844.2A Pending CN112528766A (zh) | 2020-11-25 | 2020-11-25 | 唇语识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528766A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
| CN107045385A (zh) * | 2016-08-01 | 2017-08-15 | 深圳奥比中光科技有限公司 | 基于深度图像的唇语交互方法以及唇语交互装置 |
| CN107437019A (zh) * | 2017-07-31 | 2017-12-05 | 广东欧珀移动通信有限公司 | 唇语识别的身份验证方法和装置 |
| JP2019179386A (ja) * | 2018-03-30 | 2019-10-17 | Ｎｅｃソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
-
2020
- 2020-11-25 CN CN202011340844.2A patent/CN112528766A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
| CN107045385A (zh) * | 2016-08-01 | 2017-08-15 | 深圳奥比中光科技有限公司 | 基于深度图像的唇语交互方法以及唇语交互装置 |
| CN107437019A (zh) * | 2017-07-31 | 2017-12-05 | 广东欧珀移动通信有限公司 | 唇语识别的身份验证方法和装置 |
| JP2019179386A (ja) * | 2018-03-30 | 2019-10-17 | Ｎｅｃソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675420B (zh) | 一种图像处理方法和电子设备 | |
| CN111340766B (zh) | 目标对象的检测方法、装置、设备和存储介质 | |
| CN113132618B (zh) | 辅助拍照方法、装置、终端设备及存储介质 | |
| EP3163498B1 (en) | Alarming method and device | |
| US20210133468A1 (en) | Action Recognition Method, Electronic Device, and Storage Medium | |
| CN110674719A (zh) | 目标对象匹配方法及装置、电子设备和存储介质 | |
| CN110113528B (zh) | 一种参数获取方法及终端设备 | |
| CN109005336B (zh) | 一种图像拍摄方法及终端设备 | |
| CN109495616B (zh) | 一种拍照方法及终端设备 | |
| CN108881544B (zh) | 一种拍照的方法及移动终端 | |
| CN110147533B (zh) | 编码方法、装置、设备及存储介质 | |
| CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
| CN111209812A (zh) | 目标人脸图片提取方法、装置及终端设备 | |
| EP3657497A1 (en) | Method and device for selecting target beam data from a plurality of beams | |
| CN112291473B (zh) | 对焦方法、装置及电子设备 | |
| US20210201478A1 (en) | Image processing methods, electronic devices, and storage media | |
| CN112669381B (zh) | 一种位姿确定方法、装置、电子设备及存储介质 | |
| CN109246351B (zh) | 一种构图方法及终端设备 | |
| CN112492201B (zh) | 拍照方法、装置及电子设备 | |
| CN110519503B (zh) | 一种扫描图像的获取方法及移动终端 | |
| CN110944112A (zh) | 一种图像处理方法及电子设备 | |
| CN108833791B (zh) | 一种拍摄方法和装置 | |
| CN112543284B (zh) | 对焦系统、方法及装置 | |
| CN112511743B (zh) | 视频拍摄方法和装置 | |
| CN113766130B (zh) | 视频拍摄方法、电子设备及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |