CN107992813A - 一种唇部状态检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种唇部状态检测方法和装置，所述方法包括：对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；确定所述唇部区域图像的多个关键特征点；根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。本发明实施例可以有效检测唇部区域状态，识别准确性高，成本低，并能有效去除静音帧等噪声数据对唇语识别结果的影响，减少干扰，提高数据处理效率。

Description

一种唇部状态检测方法及装置

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种唇部状态检测方法及装置。

背景技术

随着人工智能技术的发展，语音交互成为一种应用广泛的技术。然而，由于语音交互易受环境影响，容易出现噪声干扰，导致语音识别结果不准确。为了改善语音识别不准确的问题，出现了唇语识别技术。唇语识别技术是一种对面部图像进行识别、以获取对应的语言识别结果的技术。目前的唇语识别技术为了减少噪声数据的影响，通常会在接收到语音信号时，开始采集视频图像；在语音信号结束时，停止采集视频图像。这种方式从一定程度上避免了噪声数据的影响。但当语音交互所处的环境较为嘈杂时，环境噪音会被当作语音信号采集，这时尽管用户没有开口说话，仍然会采集视频数据。因此，现有技术的方案无法有效消除静音帧等噪声数据，影响唇语识别结果。

发明内容

本发明实施例提供了一种唇部状态检测方法及装置，旨在解决现有技术提供的唇语识别方法存在的噪声数据干扰、识别效率低的技术问题。

为此，本发明实施例提供如下技术方案：

第一方面，本发明实施例提供了一种唇部状态检测方法，包括：对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；确定所述唇部区域图像的多个关键特征点；根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。由于可以识别出唇部区域的状态，例如闭口状态，而闭口状态对应的画面是静音帧。在进行唇语识别时，可以仅对非静音帧处理，有效消除静音帧等噪声数据，提高唇语识别的效率和准确性。

第二方面，本发明实施例提供了一种唇部状态检测装置，包括：检测单元，用于对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；特征点确定单元，用于确定所述唇部区域图像的多个关键特征点；状态确定单元，用于根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

第三方面，本发明实施例提供了一种用于唇部状态检测的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；确定所述唇部区域图像的多个关键特征点；根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

第四方面，本发明实施例提供了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如第一方面所示的唇部状态检测方法。

本发明实施例提供的唇部状态检测方法及装置，可以在目标图像检测出唇部区域图像，并确定唇部区域图像包括的多个关键特征点，根据所述多个关键特征点的特征值确定唇部区域处于开口状态或者闭口状态。本发明实施例提供的方法可以有效检测唇部区域状态，识别准确性高，并能有效去除静音帧等噪声数据对唇语识别结果的影响，减少干扰，提高数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的唇部状态检测方法流程图；

图2为本发明另一实施例提供的唇部状态检测方法流程图；

图3为本发明一实施例提供的唇部状态检测装置示意图；

图4是根据一示例性实施例示出的一种用于唇部状态检测装置的框图；

图5是根据一示例性实施例示出的服务器的框图。

具体实施方式

申请人在实现本发明时发现，在执行唇部状态检测时，可以通过接收的语音数据的变化或者红外传感器等额外的外部传感器来进行检测，但这些方式需要借助额外的设备或者传感器，无法通过单纯的图像视觉信息进行唇部状态检测。

本发明实施例提供了一种唇部状态检测方法及装置，可以有效检测唇部区域状态，识别准确性高，成本低，并能有效去除静音帧等噪声数据对唇语识别结果的影响，减少干扰，提高数据处理效率。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面将结合附图1至附图2对本发明示例性实施例示出的唇部状态检测方法进行介绍。

参见图1，为本发明一实施例提供的唇部状态检测方法流程图。如图1所示，可以包括：

S101，对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像。

具体实现时，可以先对目标图像进行人脸检测，若检测到人脸区域，再在检测到的人脸区域进行唇部区域检测，获取所述目标图像包括的唇部区域图像。本申请对获取唇部区域图像的方法不进行限制，可以采用现有技术提供的方法而进行。

在一些实施方式中，所述对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像包括：获取第N帧图像作为目标图像；获取第N-M帧图像的唇部区域检测结果，将所述第N-M帧图像的唇部区域检测结果对应的区域范围作为有效范围；在目标图像与所述有效范围对应的区域内进行唇部区域检测；其中，N为大于1的整数，M为小于N的正整数。举例说明，第1帧图像针对全脸进行唇部区域检测，获取唇部区域检测结果，所述检测结果包括唇部区域的范围。第2帧图像则可以不对全脸进行检测，而是在上一帧图像检测结果的基础上，获取该检测结果对应的范围作为有效范围，在该有效范围内进行唇部区域检测，有效提高了处理效率，并提高了处理的实时性。

S102，确定所述唇部区域图像的多个关键特征点。

需要说明的是，所述多个关键特征点为能够高表征唇部区域图像特征的点。举例说明，在获取多个关键特征点时，首先对唇部区域图像进行边缘检测，确定唇部区域的边缘轮廓。所述边缘轮廓包括外嘴唇边缘线和内嘴唇边缘线。可以在所述外嘴唇边缘线和内嘴唇边缘线上选取多个特征点作为关键特征点。例如，所述多个关键特征点可以包括外嘴唇轮廓线上中央位置的最高点和最低点、外嘴唇轮廓线上左右外嘴角对应的两个点、内嘴唇轮廓线上左右内嘴角对应的两个点、内嘴唇轮廓线上中间位置对应的上下两个特征点中的至少两个关键特征点。当然，也可以选择其他特征点。

S103，根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

具体实现时，所述关键特征点对应的特征值包括高度值、斜率值或面积值中的至少一种。所述根据所述多个关键特征点对应的特征值确定所述唇部区域的状态包括：根据所述多个关键特征点的高度值、斜率值或者面积值中的至少一种确定所述唇部区域的状态。

在一些可能的实施方式中，所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：确定所述多个关键特征点中的至少两个关键特征点的高度差；若所述高度差大于或等于设定的高度阈值，确定所述唇部区域的状态为开口状态。举例说明，可以选取唇部区域外嘴唇轮廓线中间位置的上下两个点作为关键特征点，获取所述两个关键特征点的高度差。所述高度差为两个特征点的高度值的差值。所述两个特征点的高度值具体可以为所述特征点的纵坐标的值。由于人在开口说话时，嘴唇中部的上下两个点之间的高度差会发生变化。一般地，从闭口到开口时，该高度差会增加。因此，可以根据嘴唇中部的特征点的高度差变化来确定唇部的开、闭口状态。当然，还可以在确定内嘴唇中部的上下两个点的高度差大于或等于第一阈值且外嘴唇中部的上下两个点的高度差大于或等于第二阈值时，判断唇部区域处于开口状态。第一阈值和第二阈值可以根据经验或者需要设定。

由于每个人的嘴唇厚度不同，为了能够适应不同人群，可以通过检测唇部区域关键特征点的特征值的变化来确定唇部区域的状态。例如，在一些可能的实施方式中，所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：确定所述多个关键特征点中当前第N帧图像中的至少两个关键特征点的高度差作为第一高度差；确定所述至少两个关键特征点在第N-M帧图像中的高度差作为第二高度差；若所述第一高度差与第二高度差的变化值大于或等于设定的高度变化阈值，确定所述唇部区域的状态为开口状态。在这一种实现方式中，可以通过不同帧图像的特征点之间的高度差变化来确定唇部区域的状态。例如，当前帧为第N帧唇部区域图像，可以获取第一关键特征点和第二关键特征点之间的高度差作为第一差值；获取在第N-M帧图像中，该第一关键特征点和第二关键特征点之间的高度差作为第二差值；若第一差值和第二差值的变化值大于或等于设定的高度变化阈值，则确定唇部区域的状态为开口状态。其中，M为小于N的正整数。例如，当前帧为第N帧，可以获取其前一帧或前两帧图像进行比较。

在一些可能的实施方式中，还可以通过两两特征点之间的斜率确定唇部区域的状态。所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：确定所述多个关键特征点中的至少两个关键特征点构成的直线的斜率值；若所述斜率值大于或等于设定的斜率阈值，确定所述唇部区域的状态为开口状态。例如，人从闭口到开口说话时，嘴角和嘴唇中央点的连线的斜率变大，因此可以根据该斜率值确定开闭口状态。例如，根据左右嘴角对应的特征点、嘴唇中部上下两个点一共可以确定4条直线的斜率。若任意一条或多条直线的斜率值满足条件，可以确定所述唇部区域的状态为开口状态。由于每个人唇部形状的差异，因此可以根据唇部区域内嘴唇的4个特征点中两两特征点连线的斜率确定唇部区域的状态。当然，也可以结合内嘴唇的特征点、外嘴唇的特征点的斜率值变化确定唇部区域的状态。

在一些可能的实施方式中，还可以根据特征点构成的图形的面积的变化确定唇部区域的状态。所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：确定所述多个关键特征点中的至少三个特征点构成的图形的面积值；若所述面积值大于或等于设定的面积阈值，确定所述唇部区域的状态为开口状态。举例说明，人开口说话时，内嘴唇嘴角、内嘴唇唇部中央上下两个点间构成的图形的面积会从零变成非零值。因此，若至少三个特征点构成的图形的面积值大于或等于设定的面积阈值，则确定唇部区域的状态为开口状态。当然，也可以选择至少四个特征点，若至少四个特征点构成的图形的面积大于或等于设定阈值，则确定唇部区域的状态为开口状态。当然，还可以通过外嘴唇至少3个特征点构成的内接三角形或者至少四个特征点构成的内接四边形的面积变化，确定唇部区域是否为开口状态。

需要说明的是，上述通过唇部区域的多个关键特征点的特征值或特征值的变化确定唇部区域状态的方式，可以在单帧图像上进行，也可以在多帧图像上进行。

在另一些实施方式中，还可以结合图像帧的帧间变化来判断唇部区域的状态。例如，人在说话过程中，不同图像帧会发生变化。若用户处于静默状态，采集的连续多个图像帧可能不会发生变化，因此，可以通过图像帧的帧间差来确定唇部区域状态，以消除静默帧等噪声。

举例说明，可以将第N帧图像作为当前唇部区域图像，获第N-M帧唇部区域图像；确定当前唇部区域图像与第N-M帧唇部区域图像的帧间差。其中，M为小于N的正整数。当然，也可以通过连续多帧图像的帧间差变化来确定唇部区域的状态。例如，可以通过对连续3-5帧视频流中的唇部区域图像计算帧间差，通过像素值变化是否大于或等于一定阈值来判定用户是否可能为开口状态。所述根据所述多个关键特征点对应的特征值确定所述唇部区域的状态包括：根据所述多个关键特征点对应的特征值以及所述帧间差确定所述唇部区域的状态。也就是说，当根据关键特征点对应的特征值满足设定条件且不同唇部区域图像的帧间差大于或等于设定阈值时，才确定该唇部区域处于开口状态。关键特征点对应的特征值是否满足设定条件的判断可以参照前述方法实现。

在一些实施方式中，所述方法还包括：提取所述唇部区域的方向梯度直方图(英文全称为Histogram of Oriented Gridients，英文简称为HOG)特征，根据所述HOG特征确定所述唇部区域状态的分类结果；所述根据所述多个关键特征点对应的特征值确定所述唇部区域的状态包括：根据所述多个关键特征点对应的特征值、所述分类结果、唇部区域图像的帧间差中的至少两个确定唇部区域状态。需要说明的是，根据HOG特征可以输出唇部区域状态的分类结果。因此，可以根据关键特征点的特征值、该分类结果以及不同图像的帧间差中的至少两个来确定唇部区域的状态。

为了便于本领域技术人员更清楚地理解本发明在具体场景下的实施方式，下面以一个具体示例对本发明实施方式进行介绍。需要说明的是，该具体示例仅为使得本领域技术人员更清楚地了解本发明，但本发明的实施方式不限于该具体示例。

参见图2，为本发明一实施例提供的唇部状态检测方法流程图。如图2所示，可以包括：

S201，对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像。

S202，提取唇部区域图像的HOG特征，根据所述HOG特征确定所述唇部区域状态的分类结果。

需要说明的是，可以提取样本数据的HOG特征，利用开闭口状态标签以及该HOG特征训练支持向量机(英文全称为Support Vector Machine，英文简称为SVM)分类器。当获取的目标图像的唇部区域图像后，则提取该唇部区域图像的HOG特征，输入至训练好的SVM分类器中，得到开闭口状态的分类结果。若该分类结果为开口状态，则继续执行S203。

S203，确定唇部区域图像的多个关键特征点，根据所述多个关键特征点对应的特征值确定所述唇部区域的状态。

具体实现时，可以参照图1所述的S103而实现。举例说明，可以输入一段视频流，检测唇部区域上下4个点的高度差以及唇部8个特征点的内接四边形面积的变化来确定唇部区域是否处于开口状态。

S204，获取当前唇部区域图像的前一帧唇部区域图像，确定当前唇部区域图像与前一帧唇部区域图像的帧间差；若所述帧间差大于或等于设定阈值，确定所述唇部区域处于开口状态。

需要说明的是，S202至S204并没有必然的先后执行顺序，可以颠倒地执行或者并行地执行，在此不进行限定。此外，在具体实现时，在执行S201后，也可以只执行S202和S203，或者，仅执行S203和S204。本领域技术人员根据需要，根据唇部区域的多个关键特征点对应的特征值、HOG特征分类结果、唇部区域图像的帧间差中的至少两个确定唇部区域状态。

需要说明的是，为了提高唇部状态识别的准确性，还可以利用长短期记忆网络(英文全称为Long Short-Term Memory，英文简称为LSTM)模型或者隐马尔克夫模型(HMM)对唇部区域图像序列进行分类，但该方法算法复杂度较高，不能很好地满足实时性要求。

下面对本发明实施例提供的唇语识别方法对应的设备和装置进行介绍。所述装置各单元或模块的设置可以参照图1至图2所示的方法而实现。

参见图3，为本发明一实施例提供的唇部状态检测装置示意图。

一种唇部状态检测装置300，包括：

检测单元301，用于对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像。其中，所述检测单元301的具体实现可以参照图1所示实施例的步骤101而实现。

特征点确定单元302，用于确定所述唇部区域图像的多个关键特征点。其中，所述特征点确定单元302的具体实现可以参照图1所示实施例的步骤102而实现。

状态确定单元303，用于根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。其中，所述状态确定单元303的具体实现可以参照图1所示实施例的步骤103而实现。

在一些实施方式中，所述状态确定单元具体用于根据所述多个关键特征点对应的高度值、斜率值或面积值中的至少一种确定所述唇部区域的状态。

在一些实施方式中，所述状态确定单元包括：

第一确定单元，用于确定所述多个关键特征点中的至少两个关键特征点的高度差；若所述高度差大于或等于设定的高度阈值，确定所述唇部区域的状态为开口状态。

在一些实施方式中，所述状态确定单元包括：

第二确定单元，用于确定所述多个关键特征点中当前第N帧图像中的至少两个关键特征点的高度差作为第一高度差；确定所述至少两个关键特征点在N-M图像中的高度差作为第二高度差；若所述第一高度差与第二高度差的变化值大于或等于设定的高度变化阈值，确定所述唇部区域的状态为开口状态。其中，M为小于N的正整数。

在一些实施方式中，所述状态确定单元包括：

第三确定单元，用于确定所述多个关键特征点中的至少两个关键特征点构成的直线的斜率值；若所述斜率值大于或等于设定的斜率阈值，确定所述唇部区域的状态为开口状态。

在一些实施方式中，所述状态确定单元包括：

第四确定单元，用于确定所述多个关键特征点中的至少三个特征点构成的图形的面积值；若所述面积值大于或等于设定的面积阈值，确定所述唇部区域的状态为开口状态。

在一些实施方式中，所述装置还包括：

帧间差计算单元，用于将第N帧图像作为当前唇部区域图像，获取当前第N-M帧唇部区域图像；其中，M为小于N的正整数；确定当前唇部区域图像与第N-M帧唇部区域图像的帧间差；

所述状态确定单元包括：

第五确定单元，用于根据所述多个关键特征点对应的特征值以及所述帧间差确定所述唇部区域的状态。

在一些实施方式中，所述装置还包括：

HOG特征分类单元，用于提取所述唇部区域的方向梯度直方图HOG特征，根据所述HOG特征确定所述唇部区域状态的分类结果；

所述状态确定单元包括：

第六确定单元，用于根据所述多个关键特征点对应的特征值、所述分类结果、不同唇部区域图像的帧间差中的至少两个确定唇部区域状态。

在一些实施方式中，所述检测单元具体用于：

获取第N帧图像作为目标图像；获取第N-M帧图像的唇部区域检测结果，将所述第N-M帧图像的唇部区域检测结果对应的区域范围作为有效范围；在目标图像与所述有效范围对应的区域内进行唇部区域检测；其中，N为大于1的整数，M为小于N的正整数。

其中，本发明装置各单元或模块的设置可以参照图1至图2所示的方法而实现，在此不赘述。

参见图4，为根据一示例性实施例示出的一种用于唇部状态检测装置的框图。参见图4，为根据一示例性实施例示出的一种用于唇部状态检测装置的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理部件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件414经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件414还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

具体地，本发明实施例提供了一种唇部状态检测装置400，包括有存储器404，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器404中，且经配置以由一个或者一个以上处理器420执行所述一个或者一个以上程序包含用于进行以下操作的指令：对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；确定所述唇部区域图像的多个关键特征点；根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据所述多个关键特征点对应的高度值、斜率值或面积值中的至少一种确定所述唇部区域的状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：确定所述多个关键特征点中的至少两个关键特征点的高度差；若所述高度差大于或等于设定的高度阈值，确定所述唇部区域的状态为开口状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：确定所述多个关键特征点中当前第N帧图像中的至少两个关键特征点的高度差作为第一高度差；确定所述至少两个关键特征点在N-M图像中的高度差作为第二高度差；若所述第一高度差与第二高度差的变化值大于或等于设定的高度变化阈值，确定所述唇部区域的状态为开口状态；其中，M为小于N的正整数。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：确定所述多个关键特征点中的至少两个关键特征点构成的直线的斜率值；若所述斜率值大于或等于设定的斜率阈值，确定所述唇部区域的状态为开口状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：确定所述多个关键特征点中的至少三个特征点构成的图形的面积值；若所述面积值大于或等于设定的面积阈值，确定所述唇部区域的状态为开口状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：将第N帧图像作为当前唇部区域图像，获取当前第N-M帧唇部区域图像；其中，M为小于N的正整数；确定当前唇部区域图像与第N-M帧唇部区域图像的帧间差；根据所述多个关键特征点对应的特征值以及所述帧间差确定所述唇部区域的状态。

进一步地，所述处理器420具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：提取所述唇部区域的方向梯度直方图HOG特征，根据所述HOG特征确定所述唇部区域状态的分类结果；根据所述多个关键特征点对应的特征值、所述分类结果、唇部区域图像的帧间差中的至少两个确定唇部区域状态。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种机器可读介质，例如该机器可读介质可以为非临时性计算机可读存储介质，当所述介质中的指令由装置(终端或者服务器)的处理器执行时，使得装置能够执行如图1至图2所示的唇部状态检测方法。

图5是本发明实施例中服务器的结构示意图。该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。

服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，一个或一个以上键盘556，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种唇部状态检测方法，其特征在于，包括：

对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；

确定所述唇部区域图像的多个关键特征点；

根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：

确定所述多个关键特征点中的至少两个关键特征点的高度差；若所述高度差大于或等于设定的高度阈值，确定所述唇部区域的状态为开口状态；

或者，

确定所述多个关键特征点中当前第N帧图像中的至少两个关键特征点的高度差作为第一高度差；确定所述至少两个关键特征点在N-M帧图像中的高度差作为第二高度差；若所述第一高度差与第二高度差的变化值大于设定的高度变化阈值，确定所述唇部区域的状态为开口状态；其中，M为小于N的正整数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：

确定所述多个关键特征点中的至少两个关键特征点构成的直线的斜率值；

若所述斜率值大于或等于设定的斜率阈值，确定所述唇部区域的状态为开口状态。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个关键特征点的特征值确定所述唇部区域的状态包括：

确定所述多个关键特征点中的至少三个特征点构成的图形的面积值；

若所述面积值大于或等于设定的面积阈值，确定所述唇部区域的状态为开口状态。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将第N帧图像作为当前唇部区域图像，获取当前第N-M帧唇部区域图像；其中，M为小于N的正整数；

确定当前唇部区域图像与第N-M帧唇部区域图像的帧间差；

所述根据所述多个关键特征点对应的特征值确定所述唇部区域的状态包括：

根据所述多个关键特征点对应的特征值以及所述帧间差确定所述唇部区域的状态。

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

提取所述唇部区域的方向梯度直方图HOG特征，根据所述HOG特征确定所述唇部区域状态的分类结果；

所述根据所述多个关键特征点对应的特征值确定所述唇部区域的状态包括：

根据所述多个关键特征点对应的特征值、所述分类结果、唇部区域图像的帧间差中的至少两个确定唇部区域状态。

7.根据权利要求1所述的方法，其特征在于，所述对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像包括：

获取第N帧图像作为目标图像；

获取第N-M帧图像的唇部区域检测结果，将所述第N-M帧图像的唇部区域检测结果对应的区域范围作为有效范围；

在目标图像与所述有效范围对应的区域内进行唇部区域检测；其中，N为大于1的整数，M为小于N的正整数。

8.一种唇部状态检测装置，其特征在于，包括：

检测单元，用于对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；

特征点确定单元，用于确定所述唇部区域图像的多个关键特征点；

状态确定单元，用于根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

9.一种用于唇部状态检测的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

对目标图像进行唇部区域检测，获取所述目标图像包括的唇部区域图像；

确定所述唇部区域图像的多个关键特征点；

根据所述多个关键特征点对应的特征值确定所述唇部区域的状态；所述唇部区域的状态包括开口状态或者闭口状态。

10.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至7中一个或多个所述的唇部状态检测方法。