CN106859595A

CN106859595A - 舌象获取方法、装置和系统

Info

Publication number: CN106859595A
Application number: CN201611037147.3A
Authority: CN
Inventors: 张世平; 罗伯特·帕克斯
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-11-22
Filing date: 2016-11-22
Publication date: 2017-06-20
Anticipated expiration: 2036-11-22
Also published as: CN106859595B

Abstract

本发明涉及一种舌象获取方法、装置和系统，所述方法包括：通过摄像头检测人脸；当检测到人脸时，获取人脸图像；解析所述人脸图像，获取口部位置；根据所述口部位置获取舌象图像。通过摄像头检测人脸时拍摄获取人脸图像，并解析人脸图像获取到脸部的口部位置，进而自动获取口部的舌象图像，使得舌象图像获取更为便捷，无需用户选择对齐口部，使得舌象头像更为准确，便于用户的使用。

Description

舌象获取方法、装置和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及舌象获取方法、装置和系统。

背景技术

舌象诊断是传统中医的主要诊断方法之一，随着数字图像技术、图像处理技术、模式识别技术的进步，计算机辅助舌苔分析系统被普遍认为能够实现客观的、标准的自动化舌诊。目前，数字化的舌象采集和分析技术引起了多个学科研究者的兴趣，同时使相关研究者更容易地建立更大舌象医学数据库成为可能。

现有技术中用于舌象采集和自动进行舌象分析和诊断的设备或系统，如公开号为CN104298983A的中国专利申请所揭示的，一种具有分布式用户终端的舌苔图像获取与分析系统，其包括：具有分布式的用户应用端，这些应用端能够稳定工作于各种移动终端(如三星、联想、小米、摩托罗拉、HTC等各品牌的Android手机，具有类似配置级别的其它手机，具有通讯功能的智能照相机或智能摄像机等)，由于其没有额外的硬件资源投入，因而可以走进寻常百姓的生活；为用户个性化地监控健康状况、预防疾病发生或监控疾病发展与治疗过程提供一种参考。

又如公开号为CN103735253A的中国专利申请所揭示的，一种基于移动终端的中医舌象分析系统，其包括移动终端和服务器，所述移动终端用于采集舌头图像并发送到服务器，所述服务器用于接收所述移动终端发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端。其具有简易方便，能够自动识别舌象信息并进行处理，保证了诊断分析结果的稳定准确等优点；用户可随时随地进行舌象诊断，获知自身的健康水平，实现了足不出户看医生。

上述现有的舌象诊断设备和系统，尤其是通过移动终端如手机作为图像获取设备的舌象诊断系统，其普遍存在的缺点是：

现有的手机通常具有前后两个摄像头，而用户需要为了在观察舌头的同时完成人工拍摄，只能使用前置摄像头，前置摄像头的分辨率、拍摄照片的质量往往较差，拍摄质量不如后置摄像头，使用前置摄像头将造成舌象样本图像不清晰，此外，现有手机的闪光灯通常设置的后置摄像头处，如前述，由于只能使用前置摄像头，在拍摄舌象照片时无法使用闪光灯进行照度补偿，影响照片质量，也将造成舌象样本图像不清晰。此外，传统的此类系统还需要要求用户保持舌头位于特定的成像区域系统才能开始工作，且用户需要手动选择舌头区域，再手动触发舌象获取程序，进而使得用户操作不便。

发明内容

基于此，有必要针对传统的舌象系统获取舌象图像样本不清晰，不精确，且舌象的拍摄形成过程较为不便，不利于用户的使用的缺陷，提供一种舌象获取方法、装置和系统。

一种舌象获取方法，包括：

通过摄像头检测人脸；

当检测到人脸时，获取人脸图像；

解析所述人脸图像，获取口部位置；

根据所述口部位置获取舌象图像。

在一个实施例中，所述根据所述口部位置获取舌象图像的步骤包括：

根据所述口部位置实时获取第一口部图像；

解析所述第一口部图像，获取所述第一口部图像的第一特征值；

根据所述口部位置实时获取第二口部图像；

解析所述第二口部图像，获取所述第二口部图像的第二特征值；

检测第二特征值与所述第一特征值之间的差值是否大于预设阈值，是则确定所述第二口部图像作为所述舌象图像。

在一个实施例中，所述解析所述人脸图像，获取口部位置的步骤之后还包括：

开启闪光灯。

在一个实施例中，所述当检测到人脸时，获取人脸图像的步骤包括：

当检测到人脸时，检测所述人脸是否对齐于预设角度；

当所述人脸对齐于所述预设角度，则获取人脸图像，否则，输出提示信号。

在一个实施例中，所述解析所述人脸图像，获取口部位置的步骤包括：

解析所述人脸图像，获取口部位置；

根据所述口部位置生成图像框；

所述根据所述口部位置获取舌象图像的步骤包括：

获取所述图像框内的所述舌象图像。

在一个实施例中，所述根据所述口部位置获取舌象图像的步骤之后还包括：

解析所述舌象图像，获取舌质特征和舌苔特征；

将所述舌质特征和所述舌苔特征输出。

一种舌象获取装置，包括：

人脸检测模块，用于通过摄像头检测人脸；

图像获取模块，用于当检测到人脸时，获取人脸图像；

口部位置获取模块，用于解析所述人脸图像，获取口部位置；

舌象图像获取模块，用于根据所述口部位置获取舌象图像。

在一个实施例中，还包括：

图像处理模块，用于解析所述舌象图像，获取舌质特征和舌苔特征；

特征输出模块，用于将所述舌质特征和所述舌苔特征输出。

一种舌象获取系统，包括上述任一实施例所述的舌象获取装置。

在一个实施例中，还包括信息交换模块，所述信息交互模块与所述舌象图像获取模块连接，所述信息交互模块用于获取舌质特征和舌苔特征，根据所述舌质特征和所述舌苔特征生成舌象结果。

上述舌象获取方法、装置和系统，通过摄像头检测人脸时拍摄获取人脸图像，并解析人脸图像获取到脸部的口部位置，进而自动获取口部的舌象图像，使得舌象图像获取更为便捷，无需用户选择对齐口部，使得舌象图像更为准确，便于用户的使用。

附图说明

图1A为一实施例的舌象获取方法的流程示意图；

图1B为另一实施例的舌象获取方法的流程示意图；

图1C为另一实施例的舌象获取方法的流程示意图；

图1D为另一实施例的舌象获取方法的流程示意图；

图1E为另一实施例的舌象获取方法的流程示意图；

图2为另一实施例的舌象获取方法的流程示意图；

图3A为一实施例的舌象获取装置的模块示意图；

图3B为另一实施例的舌象获取装置的模块示意图；

图4为一实施例脸部位置识别以及生成图像框的示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目标是使对本发明的公开内容的理解更加透彻全面。

在一个实施例中，如图1A所示，一实施例的一种舌象获取方法，包括以下步骤：

步骤120，通过摄像头检测人脸。

具体地，本步骤中，摄像头实时检测人脸，即该摄像头处于工作状态，例如，该摄像头处于拍摄状态，又如，该摄像头处于拍摄视频状态，应该理解的，视频为多个连续图像，即视频为动态图像。通过摄像头拍摄到的图像，检测图像中是否包含人脸，或者检测图像中的人脸是否正对摄像头。例如，采用HAAR-Like特征算法检测人脸，采用HAAR-Like特征算法检测图像中的人脸是否正对摄像头。

例如，检测应用(App)是否开启，当检测到应用开启时，开启摄像头，通过摄像头检测人脸。具体地，应用为终端上的应用软件。例如，该终端为移动终端，例如，该移动终端为手机，例如，该移动终端为平板电脑。

步骤140，当检测到人脸时，获取人脸图像。

当检测到摄像头拍摄的图像中包含人脸，或者检测到摄像头拍摄的图像中的人脸正对于摄像头，则获取人脸图像。例如，拍摄人脸，获取人脸图像，例如，实时拍摄人脸，获取多个人脸图像，例如，实时拍摄人脸视频，获取多个人脸图像，本步骤中，确定了用户的人脸正对摄像头，此时，获取用户的人脸图像，例如，当检测到人脸时，拍摄人脸，获取人脸图像。例如，当检测到人脸时，开启闪光灯，拍摄人脸，获取人脸图像，开启闪光灯有利于拍摄的照片更为清晰。

步骤160，解析所述人脸图像，获取口部位置。

本步骤中，对获取到的人脸图像进行解析，获取人脸上口部的位置，该口部位置即人脸上嘴巴的位置。例如，采用HAAR-Like特征算法解析所述人脸图像，获取口部位置，例如，采用HAAR-Like特征算法对人脸图像进行人脸各部位的侦测，识别并确认口部的位置，获取所述口部位置。

步骤180，根据所述口部位置获取舌象图像。

本步骤中，当获取到口部位置后，对该口部位置对应的区域进行拍摄，生成舌象图像。具体地，该口部位置为人体嘴巴对应的位置，对该位置进行拍摄能够精确对准用户的舌头，进而能够精确获取舌象图像。

本实施例中，通过摄像头检测人脸时拍摄获取人脸图像，并解析人脸图像获取到脸部的口部位置，进而自动获取口部的舌象图像，使得舌象图像获取更为便捷，在用户使用后摄像头进行拍摄时，无需用户选择对齐口部，且无需用户根据拍摄的图像调整姿势，使得舌象头像更为准确，便于用户的使用。

在一个实施例中，如图1B所示，步骤180包括：

步骤181，根据所述口部位置实时获取第一口部图像。

例如，根据口部位置对口部位置对应的区域进行拍摄，获取口部图像，具体地，实时获取第一口部图像即持续对人脸的口部位置进行拍摄，获取口部位置的口部图像。应该理解的是，在拍摄阶段，用户的嘴巴为闭合状态，随后张开，即用户的嘴巴由闭合状态变为张开状态，因此，在此过程中需要检测用户的嘴巴是否张开，舌头是否伸出，因此，本实施例中，持续对用户的口部位置进行拍摄，获取多个第一口部图像。

步骤182，解析所述第一口部图像，获取所述第一口部图像的第一特征值。

例如，采用Gabor过滤算法对所述口部图像进行解析处理，获取第一口部图像的第一特征值，该第一特征值用于表示用户口部或者嘴巴的特征，例如，该特征包括嘴型、嘴角线位置，从而能够精确捕获用户的口部的变化。

应该理解的是，该获取的第一口部图像是在拍摄视频中获取的，该第一图像为视频中的一帧图像，本实施例中，获取第一口部图像和获取第一口部图像的第一特征值可看做是同步进行，该获取第一口部图像仅仅是确定第一口部图像，即从视频中确定一帧作为第一口部图像，且无需暂存该第一口部图像，也无需截取第一口部图像，这样，在确定了第一口部图像时，获取该第一口部图像的第一特征值，从而有效提高第一特征值的效率，实现高效地判定嘴巴是否张开，或者舌头是否伸出。

步骤183，根据所述口部位置实时获取第二口部图像。

例如，在所述口部位置对口部位置对应的区域进行持续拍摄，获取第二口部图像，具体地，该第二口部图像与第一口部图像对应的口部位置相同，该第二口部图像与第一口部图像对应的拍摄时刻不同。

步骤184，解析所述第二口部图像，获取所述第二口部图像的第二特征值。

例如，采用Gabor过滤算法对所述口部图像进行解析处理，获取第二口部图像的第二特征值。

具体地，从实时拍摄的视频中，确定第二口部图像，解析该第二口部图像，获取第二口部图像的第二特征值。

步骤185，检测第二特征值与所述第一特征值之间的差值是否大于预设阈值，是则执行步骤186。

具体地，第二特征值与所述第一特征值之间的差值即为第二特征值与所述第一特征值之间的差异，两者之间的差异即为用户的口部的变化，当两者之间的差异较大，则表明用户的口部的形状变化较大，即用户的口部由闭合状态变为张开状态。

步骤186，确定所述第二口部图像作为所述舌象图像。

本实施例中，当第二特征值与所述第一特征值之间的差值大于预设阈值时，表明用户的口部的形状变化较大，用户的口部由闭合状态变为张开状态，此此时以第二特征值对应第二口部图像作为舌象图像。

值得一提的是，第一口部图像和第二口部图像均为摄像头处于拍摄视频状态时拍摄视频中的其中一帧，该第一口部图像和第二口部图像可以是相邻的两帧，也可以是相隔多帧的两帧。本实施例中对特征值的获取可以看做是对视频中的特征值的获取，例如，获取动态图像中多个特征，检测多个特征的特征值的变化是否大于预设阈值，是则确定变化后的口部图像作为所述舌象图像。

例如，该第一口部图像为嘴巴闭合状态下的口部图像，例如，该第一口部图像为口部闭嘴模型图，例如，该第二口部图像为嘴巴张开且舌头伸出状态下的口部图像，例如，该第二口部图像为舌头伸出模型图。

本实施例中，由于第一口部图像和第二口部图像并不存储至内存空间，仅仅在确定第一口部图像和第二口部图像后，分别解析获得第一口部图像的第一特征值和第二口部图像的第二特征值，从而实现特征值的高速对比，实现对口部图像的状态进行实时检测。相对于传统的两个图像之间的直接比较，能够有效提高检测效率，在用户嘴型快速变化过程中实时检测到舌头的伸出，进而确定该口部图像为舌象图像。

在一个实施例中，步骤160之后还包括步骤170，开启闪光灯。

一般情况下，在进行凸显人脸图像获取时，闪光灯仍未开启，当侦测到人脸时，将开启闪光灯。如在极暗的情况下，当面部在合理预期的时段内侦测不到时，闪光灯会自动开启，以便通过HAAR-Like特征算法对实时人脸图像进行侦测，以寻找面部的标志。

具体地，开启闪光灯，能够使得摄像头拍摄的图像更为清晰，获取的舌象图像更为精确。值得一提的是，该闪光灯能够使得拍摄的图像更为清晰，但却容易对用户的眼睛造成不适，因此，长时间对用户进行闪光灯照射不利于将造成用户不适，因此，在本实施例中，在获取到口部位置时，才开启闪光灯，减小闪光灯的开启时间，由于获取到了口部位置，因此，能够快速获取口部图像或舌象凸图像，避免长时间对用户的照射，另一方面，由于闪光灯的开启，使得摄像头拍摄的图像更为清晰，获取的舌象图像更为精确。

在一个实施例中，步骤180包括：

A、根据所述口部位置获取口部图像。

B、解析所述口部图像，检测舌头是否伸出。

C、当检测到舌头伸出，确定所述口部图像为舌部图像。

应该理解的是，口部图像为用户口部位置的图像，但用户的嘴巴可以是处于闭合状态，也可以是处于打开状态，或者处于舌头伸出状态，因此，需要精确获取用户的舌头伸出状态时的舌部图像，例如，将多个口部图像进行比较，根据口部图像的变化趋势，检测舌头是否伸出，例如，检测获取用户口部的闭嘴模型图，根据闭嘴模型图以及多个口部图像的变化趋势，检测舌头是否伸出。当检测到舌头伸出时，确认该口部图像为舌象图像。

在一个实施例中，如图1C所示，步骤140包括：

步骤142，当检测到人脸时，检测所述人脸是否对齐于预设角度，是则执行步骤144，否则执行步骤146。

具体地，为了获取更为精确地人脸图像或者舌象图像，需要用户的脸部对齐于摄像头，使得摄像头能够从正面对用户的脸部进行拍摄，进而使得拍摄的人脸图像或者舌象图像更为清晰和精确。

例如，采用HAAR-Like特征算法检测所述人脸是否对齐于预设角度，例如，采用HAAR-Like特征算法确定面部二维坐标以及由在世界坐标中建立的五官三维位置参照数值点是否符合预设条件，进而检测人脸是否对齐于预设角度。

步骤144，获取人脸图像。

本步骤中，当人脸对齐摄像头，则通过摄像头拍摄人脸，获取人脸图像。应该理解的是，由于检测到用户的脸部对齐于摄像头，因此，拍摄获取到的用户人脸图像更为清晰和精确。

步骤146，输出提示信号。

本步骤中，由于人脸是没有对齐于预设角度，即人脸没有对齐摄像头，其拍摄的人脸图像不准确，因此需要用户调整脸部角度，通过提示信号告知用户。例如，该提示信号为光信号，例如，通过闪光灯输出提示信号，例如，通过闪光灯的闪烁输出提示信号；例如，该提示信号为声音信号，例如，通过扬声器输出提示信号，例如，通过蜂鸣器输出提示信号，例如，通过扬声器的发声输出提示信号；例如，该提示信号为震动信号，例如，通过震动输出提示信号，例如，通过移动终端的震动输出提示信号。

通过该提示信号，提示用户调整脸部角度，进而使得用户的脸部对齐于摄像头，使得摄像头拍摄的人脸图像和舌象图像更为准确，且无需用户实时观测拍摄图像，以及无需根据拍摄的图像调整姿势，提高了用户使用的便捷度。

在一个实施例中，如图1D所示，步骤160包括：

步骤162，解析所述人脸图像，获取口部位置。

本步骤中，获取人脸图像中口部位置，例如，采用HAAR-Like特征算法解析所述人脸图像，获取口部位置。

步骤164，根据所述口部位置生成图像框。

例如，该图像框用于限定口部的位置，例如，该图像框用于确定口部的位置和形状，例如，该图像框用于表示口部的位置和形状。具体地，该图像框对口部位置的确定有利于摄像头捕捉或对焦用户的口部，例如，根据所述图像框对焦所述口部位置。

在本实施例中，步骤180包括：获取所述图像框内的所述舌象图像。

例如，根据图像框进行拍摄，获取所述图像框内的所述舌象图像，又如，根据所述图像框对人脸图像进行截取，获取所述图像框内的所述舌象图像。具体地，在生成图像框后，对焦所述图像框内，对该图像框内的区域进行拍摄，获取舌象图像，例如，在生成图像框后，对焦所述图像框内，对该图像框内的区域进行拍摄，获取口部图像，根据所述口部图像获取舌象图像。由于舌象图像是根据图像框限定的范围进行拍摄生成，因此，舌象图像更为精确，此外，使得对口部的拍摄和对焦更为快捷，有效提高成像效率。

在一个实施例中，如图1E所示，步骤180之后还包括：

步骤192，解析所述舌象图像，获取舌质特征和舌苔特征。

具体地，舌头包括舌质和舌苔，该舌质和舌苔的不同特性或表征，体现了用户的不同状态。例如，该舌质特征包括舌质颜色，例如，该舌苔特征包括舌苔颜色。例如，解析所述舌象图像，获取舌质颜色和舌苔颜色。

步骤194，将所述舌质特征和所述舌苔特征输出。

例如，将舌质特征和所述舌苔特征输出至信息交换模块，所述信息交换模块用以与其它数据模块连接，用以交换信息和数据，将其他信息和数据与舌质特征和所述舌苔特征进行解析，得出舌象变化的趋势，从而输出舌象结果，该舌象结果用于辅助用户判断身体状态。

如图2所示，下面是舌象获取方法的一个具体的实施例：

步骤201，通过摄像头检测人脸。

例如，开启后置摄像头并获取人脸的实时图像，并检测人脸。一旦用户面向照相机，面部被检测到的时候，自动开启闪光灯模式以提高图像质量，并提示用户已准备好捕获的舌头伸出时的图像。

步骤202，当检测到人脸时，检测所述人脸是否对齐于预设角度，是则执行步骤204，否则，执行步骤203。

检测人脸的角度即头部姿态估计，用于显示图像采集时拍摄角度是否适当。本实施例中，采用HAAR-Like特征算法分类器确定的面部二维坐标以及由在世界坐标中建立的五官三维位置参照数值点的结合，可准确得到头部姿态的估计结果。

例如，对人脸的各特征建立的坐标如下：

i)鼻尖：(0.0，0.0，0.0)；

ii)下巴：(0.0，-330.0，-65.0)；

iii)左眼的左眼角：(-225.0，170.0，-135.0)；

iv)右眼的右眼角：(225.0，170.0，-135.0)；

v)左嘴角：(-150.0，-150.0，-125.0)；

vi)右嘴角：(150.0，-150.0，-125.0)；

需要注意的是用其它类似的参照数值点可获得同样的估计结果。

本实施例中，采用假设光学中心位于图像中心，焦距计算函数为：

其中，f是焦距，w是图像以像素为单位的宽度，α是视场。

之后，进一步通过求解以下等式进行计算头部转动R(3×3矩阵)以及求解t(3×1矢量)，等式方程为：

其中，s是比例因子，(U，V，W)是世界坐标，(X，Y，Z)是相机坐标。

为了快速处理不同的比例因子s，并在可接受的时间范围内得出近似值，方程式求解采用Levenberg–Marquardt算法，又称为阻尼最小二乘法(DLS)，将所述问题转化为任务优化，例如：

其中，m是一组测量值(x_i，y_i)，是该组参数β运用模型曲线f(x_i，β)得到的最小化偏差的平方和。

一旦头部转动矩阵R确定后，最终计算得出头部姿态的角度，也即是人脸的角度，通过比较计算得出的人脸的角度与预设角度是否一致，或者比较计算得出的人脸的角度与预设角度是否匹配，进而确定是否需要进行头部姿态调整。

步骤203，输出提示信号。

当人脸没有正对摄像头，或者用户的头部姿态不正确，对用户输出提示，以提示用于调整头部姿态，例如，通过蜂鸣器发出提示音，例如，通过震动装置发出震动提示，又如，通过扬声器发出提示音。

步骤204，获取人脸图像。

本实施例中，该摄像头处于拍摄状态，例如，处于拍摄视频状态，实时获取人脸图像。

步骤205，解析所述人脸图像，获取口部位置。

例如，采用HAAR-Like特征算法对人脸图像进行人脸各部位的侦测，识别并确认口部的位置。例如，识别并确认口部的位置后，产生一图像框锁定口部区域，裁剪所述图像框内的图像获得口部图像。

本实施例中提到的HAAR-Like特征算法对人脸图像进行解析，识别口部的位置，其运算原理如下：

采用一个称为积分图像的中间表现，并且将其与已知产生预期结果的一组类似HAAR的特征进行比较，可以对某些特征进行快速的检测和分类。

位置x，y处的积分图像包含x，y及x，y的上方和左侧的像素的总和：

其中ii(x，y)是积分图像，而i(x，y)是原始图像。

使用以下的循环：

s(x，y)＝s(x，y-1)+i(x，y)

ii(x，y)＝ii(x-1，y)+s(x，y)

其中s(x，y)是累积行数的总和，s(x，-1)＝0，和ii(-1，y)＝0)然后计算出积分图像。

一旦检测到面部，将以相同类型的类HAAR特征搜索期望的面部区域。

在第二次运行HAAR搜索时，如图4所示，识别以下面部标志(坐标)：

眼睛(a1，a2)；

嘴角(b1，b2)；

唇的底部(c)；

一旦识别到口的位置和其他前述点的位置，则建立一个围绕嘴的边界框(图像框)d。

由于使用HAAR类似的特征可以精确地检测眼睛和嘴角的位置，采用这些位置特征来计算围绕嘴区域的边界框(图像框)，以便更精确地检测嘴巴。

例如，边界框是具有两眼之间距离的宽度和面部三分之一的高度的矩形区域。

边界框位于检测到的面部的下三分之一处。

在垂直方向，嘴边界框局限于连接嘴角的线。

在水平方向，嘴边界框在两眼之间的中点下居中。

为了避免所测量的嘴角之间的距离大于眼睛之间的距离，例如，将测量到的嘴角的距离加宽20％，并根据脸部尺寸和图像尺寸进行剪辑。

对人脸的各部位的侦测以及口部位置的确认之后，准备执行口部位置的特征提取和分割，提示用户将舌头伸出作检测。

步骤206，获取口部图像。

本实施例中，裁剪所述图像框内的图像获得口部图像。

步骤207，解析口部图像，获取口部图像的特征值。

为获得更多、更详细的舌头特征值，本实施例通过Gabor过滤算法对口部图像进行处理，具体地，为了提取用于舌检测的必要和更详细的特征，采用Gabor滤波器，可以提取口部图像的某些特征以提供不变的结果。

实际使用的Gabor滤波器由以下公式表示：

其假想部分为：

其中，

x′＝x cosθ+y sinθ；

y′＝-x sinθ+y cosθ；

δ表示正弦因子的波长。

θ表示Gabor函数的条纹取向(设置为90°)。

σ是高斯包络的sigma偏差(设置为0.5)。

γ通过定义Gabor函数的空间纵横比来定义Gabor函数的椭圆形支撑。

通过θ＝π/2能获得可以提高平特征的滤波器，并且能有助于获得嘴的分割和

连接两个嘴角线的精确位置。

一旦口部位置被确定和定义，其所有平面特征也就确定，本实施例中通过利用这些特征值通过AAM(active appearance model，活动外貌模式)算法来追踪口部变化。

步骤208，采用AAM算法侦测口部区域，获取口部闭嘴模型图。

具体地，该口部闭嘴模型图即为用户口部闭合状态下的口部图像。AAM算法是一个以统计模式，用以把一件物件新的形状与外形特征与既有的形状与外形特征作匹配(Edwards，Cootes and Taylor，1998)。这个匹配过程会寻找上下唇的边界，利用这些边界便可生成一个口部闭嘴模型图。此时，用户的嘴巴为闭合状态，因此，获取的用户的口部图像即为口部闭嘴模型图。

本实施例的AAM算法的具体原理如下：

AAM算法是通过使用统计模型将对象形状和外观与新图像进行匹配的算法，AAM使用最小二乘法(the least squares technique)来解决匹配具有相对较少计算成本的两个图像的优化问题。

例如，拟合过程以嘴角的边缘和在先前步骤中识别的嘴角位置来寻找嘴唇的边界线。例如，识别以下在嘴里的15点，这样，就足够提供一个好的特征值：

–沿着上唇的顶部边缘均匀分布的5个点。

–沿下唇的下缘均匀分布的5个点。

–沿着唇缘之间的线均匀分布的5个点，例如，沿着唇缘之间的线均匀分布的5个点中，包括嘴角的两个点。

由该上述方法定义的点用于分割用户闭合的嘴并创建该用户的合嘴的模板，即口部闭嘴模型图。该口部闭嘴模型图能够被储存和再次使用，使得后续的舌象图像获取更为便捷。

通过该特征值在视频拍摄过程中的变化，检测用户口部的变化趋势，进而检测用户的舌头是否伸出，由于上述方法仅通过检测并获取图像的特征值，而无需获取整个图像，也无需暂存整个图像，无需对全图像进行解析，因此，该特征值的获取效率更高，进而使得特征值的比较效率得到有效提高，从而实现特征值的高速对比，实现对口部图像的状态进行实时检测。相对于传统的两个图像之间的直接比较，能够有效提高检测效率，在用户嘴型快速变化过程中实时检测到舌头的伸出，进而确定该口部图像为舌象图像。

步骤209，采用NCC算法将新获得的口部图像与所述口部闭嘴模型图进行比较，当所述口部图像与所述口部闭嘴模型图的区别特征值达到设定的阈值时，获取当前的口部图像作为舌象图像。

当用户伸出舌时，嘴的形状将与口部闭嘴模型图对应的嘴的形状不同。通过计算当前的口部图像和口部闭嘴模型图之间的归一化相关系数(NCC)来量化实际差异。

NCC算法用于测量图像之间的相似性，并且能对图像样本之间进行快速和不变的测量比较。它还可以表达第一图像t(x，y)和第二图像f(x，y)之间的相互关系，或者：

其中，n是t(x，y)和f(x，y)像素的数量；

是f像素的平均值；

σ_f是f像素的标准偏差；

两幅图像愈相似，NCC的值越高。

利用在上述步骤从口部闭嘴模型图，采用比较视频各帧的图像，生成的舌头伸出模型图。

该舌头伸出模型图嵌入在系统中，可以在任何时间更新。

口部闭嘴模型图和舌头伸出模型图，定义用于检测适当舌伸出的两个重要值：

I)用于闭口模板(NCC-C)的NCC。

II)舌伸出模板(NCC-P)的NCC。

其中闭口模板即为口部闭嘴模型图对应的NCC，舌伸出模板即为舌头伸出模型图对应的NCC。

两者数值都是定在零和一之间，其中0表示无相关性，1表示最大相关性。

通过监视视频的每个帧的NCC-C变化，能够推断出某些事件必须发生在口部区域中。

仅当NCC-C<0.80时，触发对视频图像与舌头伸出模型图的比较。

一旦NCC-C和NCC-P都找到最优值，并且在超过7个连续帧(或半秒)内维持，将触发图像获取，即最终获取到舌象图像。

具体地，但不排除其他可能，采用以下数值来触发舌象图像的获取：

0.30<NCC-C<0.80and NCC-P>0.60

口部图像与伸舌模型图的区别值达到上述的预设阈值后，且维持一段短的时间(一般为几分之一秒)，便会启动图像拍摄功能或图像截取功能，获取当前口部图像作为静态舌象图像。

一旦获取了舌象图像，则可以将其发送到另一模块或系统用于进一步处理。例如，舌象图像可以围绕舌头边界框裁剪，并与镜头的所有EXIF信息一起保存。

使用现代手持设备的能力，还可以以RAW格式保存图像。这意味着来自传感器的原始数据被保存及每个细节都可被保留。所有操作，如噪声消除，白平衡，闪光曝光补偿仍然可以应用于图像中。

步骤210，解析所述舌象图像，获取舌质特征和舌苔特征。

例如，对所述舌象图像进行舌体分离处理，获取舌质图像和舌苔图像，并根据舌质图像和舌苔图像解析，获取舌质特征和舌苔特征。

例如，通过舌头总面积一部分的特征来估计全舌头的特征，将舌象图像的中心作为种子点，通过使用区域生长算法，有效地找到舌苔区域与舌体区域的边界，以及舌体和口部其它组织的边界，从而分别获取舌质图像和舌苔图像。

步骤211，将所述舌质特征和所述舌苔特征输出。

例如，将所述舌质特征和所述舌苔特征输出至信息交换模块，该信息交互模块对舌质特征和所述舌苔特征进行解析获得舌象分析结果，使得用户能够获取自身的身体情况。

又如，一种舌象获取装置，其采用上述任一实施例所述舌象获取方法实现；例如，所述舌象获取装置包括上述任一实施例所述舌象获取方法中的各步骤所涉及的功能模块，各所述功能模块分别用于实现相关步骤。

在一个实施例中，如图3A所示，一实施例的一种舌象获取装置，包括：

人脸检测模块310，用于通过摄像头检测人脸。

图像获取模块330，用于当检测到人脸时，获取人脸图像。

口部位置获取模块350，用于解析所述人脸图像，获取口部位置。

舌象图像获取模块370，用于根据所述口部位置获取舌象图像。

即，功能模块包括人脸检测模块310，图像获取模块330，口部位置获取模块350，以及舌象图像获取模块370等，依此类推。

在一个实施例中，如图3B所示，舌象获取装置还包括：

图像处理模块391，用于解析所述舌象图像，获取舌质特征和舌苔特征；

特征输出模块393，用于将所述舌质特征和所述舌苔特征输出。

在一个实施例中，一实施例的一种舌象获取系统，包括上述任一实施例的所述的舌象获取装置。

该舌象获取装置安装设置于移动终端上，该移动终端包括手机和平板电脑，该移动终端还包括其他具有摄像头的智能终端。例如，该移动终端设置摄像头，例如，该摄像头设置有闪光灯，例如，该移动还设置有蜂鸣器，例如，该移动还设置有扬声器，例如，该移动还设置有震动装置。

在一个实施例中，舌象获取系统还包括信息交换模块，所述信息交互模块与所述舌象图像获取模块连接，所述信息交互模块用于获取舌质特征和舌苔特征，根据所述舌质特征和所述舌苔特征生成舌象结果。例如，该信息交互模块设置在服务器上，例如，该服务器与移动终端连接，例如，该服务器与移动终端通过网络连接。

例如，该移动终端还包括：通讯模块，所述通讯模块用于连接至网络，例如，该通讯模块用于与其他设备或系统通讯连接用以交换舌象图像以及其他信息和数据。

例如，所述信息交换模块用于与其它数据模块连接，用以交换信息和数据，以便对所获得的舌象图像进行更准确的分析与解读，每一次的分析结果可与之前通过同样方式所获取的舌象图像的分析结果相对照，得出舌象变化的趋势，并结合其它健康数据对人体的状态根据中医的理论生成解析结果。例如，解析舌象图像的颜色，例如，比较每次获取的舌象图像的颜色，从而获取到用户的舌象的变化趋势，进而生成解析结果，使得用户能够快速了解身体的健康状况。

在一个实施例中，该舌象获取系统包括以下模块：

图像获取设备，所述图像获取设备为至少具有后置摄像头和闪光灯的可编程移动终端设备。

人脸侦测模块，所述人脸侦测模块实时获取所述图像获取设备的图像，并进行人脸侦测；

舌头伸出自动获取模块，所述舌头伸出自动获取模块在所述人脸侦测模块侦测到人脸后启动并侦测舌头伸出动作，获取静态舌象图像；

图像处理模块，所述图像处理模块用以对所述静态舌象图像的进行技术处理，获取舌质和舌苔的信息，从而获得舌象分析结果。

舌象变化趋势模块，舌象变化趋势模块用于将每一次的舌象分析结果会与之前通过上面所述的方式所获取的舌象分析结果相对照，得出舌象变化的趋势。

在一个实施例中，该舌象获取系统用于执行舌象获取方法，该方法包括以下步骤：

本实施例舌象自动获取分析系统实现自动获取分析的方法包括以下步骤：

a、开启后置摄像头并获取人脸的实时图像。

b、人脸侦测模块判定获取到人脸图像后启动闪光灯照亮人脸；

其中，步骤b包括：

b1、人脸侦测模块通过HAAR-Like特征算法对获取到的实时人脸图像进行侦测，以寻找面部的标志。

b2、当侦测到人脸时，所述人脸侦测模块指示所述图像获取设备开启闪光灯。

如在极暗的情况下，当在合理预期的时段内侦测不到人脸时，闪光灯会自动开启，以便通过HAAR-Like特征算法对实时人脸图像进行侦测，以寻找面部的标志。

b3、再次运行HAAR-Like特征算法对人脸图像进行人脸各部位的侦测，侦测并确认口部的位置。

b4、产生一图像框锁定口部区域，并确定两个口角及下唇的位置，裁剪所述图像框内的图像获得口部图像。

b5、通过Gabor过滤算法对所述口部图像进行处理，获取口部图像的特征值。

通过Gabor过滤算法，能够提供独立于光照度的结果，取得有关图像方向的特征。根据这些特征可以进一步确定口部的位置，建立闭口模型图。

c、侦测到舌头伸出动作后获取静态舌象图像。

其中步骤c包括：

c1、所述舌头伸出自动获取模块通过AAM算法侦测口部区域，首先获取口部闭嘴模型图。

当确定了口部位置及其在水平方向的特征，利用这些特征以AAM(activeappearance model，活动外貌模式)算法那去追踪口部。AAM是一个以统计模式，用以把一件物件新的形状与外形特征与既有的形状与外形特征作匹配(Edwards,Cootes and Taylor，1998)。这个匹配过程会寻找上下唇的边界，利用这些边界便可产生一个口部闭嘴模型图。

c2、当舌头伸出时，所述舌头伸出自动获取模块通过NCC算法将新获得的口部图像与所述闭嘴模型图进行比较，当口部图像与所述闭嘴模型图的区别特征值达到设定的阈值时，获取当前口部图像作为静态舌象图像。

当舌头伸出时，会形成一个与闭嘴模型图截然不同的口部图像。采用NCC(归一化相关系数)算法将新通过AAM获得的口部图像特征，与所述闭嘴模型图进行比较，同时与预存的口部伸舌模型图相比较，当口部图像与所述闭嘴模型图的区别值达到设定的阈值，且口部图像与伸舌模型图的区别值达到设定的阈值，并维持一段短的时间(一般为几分之一秒)，便会启动图像拍摄功能，获取当前口部图像作为静态舌象图像。

d、图像处理模块对所述静态舌象图像进行舌体分离和技术处理，获取舌质图像和舌苔图像，并对所述舌质图像和舌苔图像进行分析获得舌象分析结果。

通过舌头总面积一部分的特征来估计全舌头的特征，将舌象图像的中心作为种子点，通过使用区域生长算法，有效地找到舌苔区域与舌体区域的边界，以及舌体和口部其它组织的边界，从而将舌体分离，获取舌质图像和舌苔图像。

应该说明的是，上述系统实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于可读取存储介质中。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种舌象获取方法，其特征在于，包括：

通过摄像头检测人脸；

当检测到人脸时，获取人脸图像；

解析所述人脸图像，获取口部位置；

根据所述口部位置获取舌象图像。

2.根据权利要求1所述的舌象获取方法，其特征在于，所述根据所述口部位置获取舌象图像的步骤包括：

根据所述口部位置实时获取第一口部图像；

根据所述口部位置实时获取第二口部图像；

3.根据权利要求1所述的舌象获取方法，其特征在于，所述解析所述人脸图像，获取口部位置的步骤之后还包括：

开启闪光灯。

4.根据权利要求1所述的舌象获取方法，其特征在于，所述当检测到人脸时，获取人脸图像的步骤包括：

当检测到人脸时，检测所述人脸是否对齐于预设角度；

5.根据权利要求1所述的舌象获取方法，其特征在于，所述解析所述人脸图像，获取口部位置的步骤包括：

解析所述人脸图像，获取口部位置；

根据所述口部位置生成图像框；

所述根据所述口部位置获取舌象图像的步骤包括：

获取所述图像框内的所述舌象图像。

6.根据权利要求1所述的舌象获取方法，其特征在于，所述根据所述口部位置获取舌象图像的步骤之后还包括：

解析所述舌象图像，获取舌质特征和舌苔特征；

将所述舌质特征和所述舌苔特征输出。

7.一种舌象获取装置，其特征在于，包括：

人脸检测模块，用于通过摄像头检测人脸；

图像获取模块，用于当检测到人脸时，获取人脸图像；

舌象图像获取模块，用于根据所述口部位置获取舌象图像。

8.根据权利要求1所述的舌象获取装置，其特征在于，还包括：

特征输出模块，用于将所述舌质特征和所述舌苔特征输出。

9.一种舌象获取系统，其特征在于，包括如权利要求7至8中任一项所述的舌象获取装置。

10.根据权利要求9所述的舌象获取系统，其特征在于，还包括信息交换模块，所述信息交互模块与所述舌象图像获取模块连接，所述信息交互模块用于获取舌质特征和舌苔特征，根据所述舌质特征和所述舌苔特征生成舌象结果。