CN109528169B - 能自动调节拍摄角度的舌像抓拍系统及方法 - Google Patents

Abstract

一种能自动调节拍摄角度的舌像抓拍系统及方法，该系统包括第一图像采集单元，用于在吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像；第二图像采集单元，用于在吐舌过程中进行抓拍而采集舌部正面的第二图像；角度调整单元，用于调整所述第二图像采集单元的拍摄角度；处理与控制单元，用于对所述多个第一图像进行分析处理来获取舌像拍摄角度，并且控制所述角度调整单元将第二图像采集单元调整至所述舌像拍摄角度。本发明可以在吐舌训练或实际检测的吐舌过程中利用连续的舌部侧面图像的采集和分析来获取最优的舌像拍摄角度，在该舌像拍摄角度下进行舌像抓拍。

Description

能自动调节拍摄角度的舌像抓拍系统及方法

技术领域

本发明涉及医疗器械领域，特别涉及一种能自动调节拍摄角度的舌像抓拍系统及方法。

背景技术

舌诊是中医诊断重要的一部分，通过观察病人舌质、舌苔、舌态等信息，以了解病情，推测诊断方法。随着医学诊断客观化的发展，舌诊客观化逐渐被学者关注，利用图像处理技术对所拍摄的舌像进行客观分析。但是由于舌吐出后的状态多属于弯曲状态，如果不在合适的角度拍摄，得到的舌像会缺失信息，影响诊断效果。具体来说，例如当拍摄角接近平行于舌，就会很难获得舌像中本来的齿痕的信息，而当拍摄角度基本垂直于舌伸出弯曲部分对应的弦的垂线方向，则可以获得舌的最大投影成像，包含更多的信息。目前现有的产品和技术没有使用可靠的技术手段保证舌像拍摄的角度。

发明内容

基于上述技术方案，本发明的主要目的在于提供一种能自动调节拍摄角度的舌像抓拍系统及方法，以期至少部分地解决上述提及的技术问题中的至少之一。

为实现上述目的，本发明的技术方案如下：

作为本发明的一个方面，提供了一种能自动调节拍摄角度的舌像抓拍系统，包括第一图像采集单元、第二图像采集单元、角度调整单元和处理单元，其中：

第一图像采集单元，用于在吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像；

第二图像采集单元，用于在吐舌过程中进行抓拍而采集舌部正面的第二图像；

角度调整单元，用于调整所述第二图像采集单元的拍摄角度；

处理与控制单元，用于对所述多个第一图像进行分析处理来获取舌像拍摄角度，并且控制所述角度调整单元将第二图像采集单元调整至所述舌像拍摄角度。

作为本发明的另一个方面，提供了一种利用如上所述的舌像抓拍系统进行舌像抓拍的方法，包括以下步骤：

步骤A：在吐舌过程中利用第一图像采集单元对舌部侧面进行连续拍摄而采集得到多个第一图像；

步骤B：利用处理与控制单元对所述多个第一图像进行分析处理来获取舌像拍摄角度；

步骤C：利用所述处理与控制单元控制角度调整单元，以便通过所述角度调整单元将第二图像采集单元调整至所述舌像拍摄角度；

步骤D：在吐舌过程中利用所述第二图像采集单元进行抓拍而采集舌部正面的第二图像。

基于上述技术方案，本发明的有益效果在于：

(1)可以在吐舌训练或实际检测的吐舌过程中利用连续的舌部侧面图像的采集和分析来获取最优的舌像拍摄角度，在该舌像拍摄角度下进行舌像抓拍；

(2)通过吐舌训练中连续采集的舌部侧面图像来获取吐舌最大的图像作为预设模板，在实际检测的吐舌过程中通过连续的舌部侧面图像的采集，并与吐舌训练过程得到的预设模板进行比对，在合适的吐舌位置下进行舌像抓拍；

(3)在合适的吐舌位置和最优的舌像拍摄角度下进行舌像抓拍，此时获取的舌像不容易缺失信息，有利于诊断的准确性。

附图说明

图1是本发明实施例能自动调节拍摄角度的舌像抓拍系统的结构示意图；

图2是本发明实施例处理与控制单元的结构示意图；

图3是本发明实施例提取舌体区域特征点的示意图；

图4是本发明实施例能自动调节拍摄角度的舌像抓拍方法的流程图。

上述附图中，附图标记含义如下：

1-下巴托；2-额头限位块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明在吐舌训练或实际检测中利用第一图像采集单元连续拍摄舌部侧面的多个第一图像，获得第二图像采集单元的最优拍摄角度。进一步在吐舌训练中利用第一图像采集单元检测到吐舌最大位置，在实际检测过程中，根据该吐舌最大位置触发第二图像采集单元在合适吐舌位置采用最优拍摄角度自动抓拍舌像图片。

具体地，作为示例性实施例，如图1所示，本发明提供了一种能自动调节拍摄角度的舌像抓拍系统，包括第一图像采集单元、第二图像采集单元、角度调整单元和处理与控制单元，其中：第一图像采集单元用于在吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像；第二图像采集单元用于在吐舌过程中进行抓拍而采集舌部正面的第二图像；角度调整单元用于调整第二图像采集单元的拍摄角度；处理与控制单元用于对多个第一图像进行分析处理来获取舌像拍摄角度，并且控制角度调整单元将第二图像采集单元调整至该舌像拍摄角度。

以下对本实施例舌态检测系统的各组成部分作详细说明。

其中第一图像采集单元包括摄像头，该摄像头可设置于脸部侧面，其拍摄角度优选为水平方向并平行于脸部所在面，对准嘴和下巴位置进行连续拍摄，连续拍摄的时间间隔可为0.06～0.15s，在一般的实际应用中，人的完整吐舌周期to≈2s，为了获得舌态的状况，可选择每秒钟拍摄10张照片。

其中第二图像采集单元包括数字相机，该数字相机设置于脸部对面，对准嘴部及周围进行抓拍。具体地，该第二图像采集单元应当是安装在角度调整单元上的，通过角度调整单元来调整其拍摄角度，该角度调整单元例如可以是机械臂或机械转盘等等常规结构，在此不作赘述。

其中为了获得第二图像采集单元的最优拍摄角度，即舌像拍摄角度，处理与控制单元具体包括图像处理模块、特征点提取模块、特征点分析模块和角度控制模块，如图2所示，其中：

图像处理模块用于对多个第一图像进行处理得到舌体区域，具体地，可采用图像分割算法对第一图像进行处理，具体可选用基于边缘检测的分割算法、基于颜色与模型的分割算法或基于颜色与纹理的分割算法等分割算法，保证舌体区域得到正确的分割，不影响后续的舌像处理与特征提取。

特征点提取模块用于分别提取多个第一图像中该舌体区域的嘴角点和舌尖点。具体地，通过以下步骤来提取嘴角点A：对舌体区域的嘴角处轮廓进行曲线拟合，将曲率半径最小处点作为嘴角点A；当然也可以用嘴角轮廓线与舌面轮廓线的交点作为嘴角点A；具体地，通过以下步骤来提取舌尖点B：以脸部所在方向为竖直方向，以垂直于脸部的方向为水平方向，将第一图像舌体区域的舌尖轮廓的水平切线、竖直切线的交点作为舌尖点B。

特征点分析模块用于分别计算多个第一图像中嘴角点和舌尖点之间的距离来获取最大距离值max，在该最大距离值max对应的第一图像中，该舌尖点的位置即对应于吐舌最大位置，将接近垂直于舌体表面的角度作为舌像拍摄角度。具体地，可以以嘴角点和舌尖点之间的连线AB的垂线方向作为舌像拍摄角度，或者以部分舌面轮廓线的弦线的垂线方向作为舌像拍摄角度，该部分舌面轮廓线的长度例如为总长度的80％，该弦线为该部分舌面轮廓线的两端点的连线，其中一端点为舌尖点；

角度控制模块用于控制角度调整单元将第二图像采集单元调整至该舌像拍摄角度。

其中利用第一图像采集单元采集的多个第一图像可以是直接在实际检测的一次吐舌过程中进行采集来获取舌像拍摄角度，可以理解此时在抓拍第二图像时需要使舌部在一定时间内保持在吐舌最大的状态，此时如果保持在吐舌最大状态的时间过长则会导致舌部充血而造成检测结果不准确的问题。

因此本发明进一步提出该第一图像采集单元采集的多个第一图像是在吐舌训练的吐舌过程中进行采集来获取舌像拍摄角度，具体来说，可以是在吐舌训练的一次预吐舌过程进行连续采集，也可以是在吐舌训练的多次预吐舌过程进行连续采集，并无特别限制。此时可以利用该多个第一图像中获取吐舌最大位置，而在实际检测的吐舌过程中根据与吐舌最大位置的比对结果来触发第二图像采集单元自动抓拍舌像图片，而无需在实际检测过程中使舌部一直保持在吐舌最大的状态。

具体地，第一图像采集单元用于在吐舌训练的吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像，以及在实际检测的吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第三图像，可以理解该多个第三图像可以是一次实际吐舌过程进行连续采集的多个第三图像，也可以是多次实际吐舌过程进行连续采集的多个第三图像，主要在实际吐舌过程中由处理与控制单元来判断该多个第三图像之一是否能达到吐舌的合适位置。

此时，处理与控制单元用于将最大距离值max对应的第一图像作为预设模板，并将该多个第三图像与前述的预设模板进行比对，在第三图像与预设模块重合时控制第二图像采集单元进行抓拍来采集第二图像。具体地，如图2所示，在处理与控制单元中，利用图像处理模块对多个第三图像进行处理得到舌体区域，具体方法与第一图像相同。利用特征点提取模块分别提取多个第三图像中舌体区域的嘴角点和舌尖点，具体方法与第一图像相同。利用特征点分析模块分别计算多个第三图像中嘴角点和舌尖点之间的距离，并判断是否与最大距离值max接近，例如，当该距离与最大距离值的差值小于或等于0.1倍最大距离值时，即可认为二者接近，即达到了吐舌的合适位置，可触发第二图像采集模块进行抓拍。处理与控制单元还包括抓拍控制模块，用于在多个第三图像中嘴角点和舌尖点之间的距离接近最大距离值max时，控制第二图像采集模块进行抓拍。

作为优选，该舌像抓拍系统还包括脸部定位单元，如图3所示，包括下巴托1和额头限位块2，用于在第一图像和第二图像的采集过程中使脸部保持固定和竖直，确保获取舌像拍摄角度和吐舌最大位置的准确性。

作为另一示例性实施例，本发明还提供了一种利用上述的舌像抓拍系统进行舌像抓拍的方法，包括以下步骤：

步骤A：在吐舌过程中利用第一图像采集单元对舌部侧面进行连续拍摄而采集得到多个第一图像；进一步地，本步骤是在吐舌训练的吐舌过程中采集得到多个第一图像；

步骤B：利用处理与控制单元对多个第一图像进行分析处理来获取舌像拍摄角度；进一步地，本步骤还包括通过对吐舌训练的多个第一图像进行分析处理来获取吐舌最大时的第一图像，并将其作为预设模板；

步骤C：利用处理与控制单元控制角度调整单元，以便通过该角度调整单元将第二图像采集单元调整至该舌像拍摄角度；

步骤D：在吐舌过程中利用第二图像采集单元进行抓拍而采集舌部正面的第二图像。进一步地，本步骤具体包括以下子步骤：子步骤D1：在实际检测的吐舌过程中利用第一图像采集单元进行连续拍摄而采集得到多个第三图像；子步骤D2：利用处理与控制单元将多个第三图像与该预设模板进行比对，在第三图像与预设模块重合时控制第二图像采集单元进行抓拍来采集第二图像。

每个步骤的具体处理方法与前文描述相同。

综上所述，本发明能自动调节拍摄角度的舌像抓拍系统及方法通过在吐舌过程中对舌部侧面进行连续拍摄获取舌像拍摄角度，在该舌像拍摄角度下自动抓拍舌像；进一步在吐舌训练过程中，同时获取舌像拍摄角度和最大吐舌位置，在实际检测的吐舌过程中通过舌部侧面的连续拍摄，与最大吐舌位置进行比较，当舌部吐到合适位置时触发在舌像拍摄角度下自动抓拍舌像，此时抓拍的舌像不会缺失信息，有利于诊断的准确性。

本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种能自动调节拍摄角度的舌像抓拍系统，包括第一图像采集单元、第二图像采集单元、角度调整单元和处理单元，其特征在于：

第一图像采集单元，用于在吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像；

第二图像采集单元，用于在吐舌过程中进行抓拍而采集舌部正面的第二图像；

角度调整单元，用于调整所述第二图像采集单元的拍摄角度；

处理与控制单元，用于对所述多个第一图像进行分析处理来获取舌像拍摄角度，并且控制所述角度调整单元将第二图像采集单元调整至所述舌像拍摄角度；

所述处理与控制单元包括图像处理模块、特征点提取模块、特征点分析模块和角度控制模块，其中：

图像处理模块，用于对所述多个第一图像进行处理得到舌体区域；

特征点提取模块，用于分别提取多个第一图像中所述舌体区域的嘴角点和舌尖点；

特征点分析模块，用于分别计算多个第一图像中嘴角点和舌尖点之间的距离来获取最大距离值，在所述最大距离值对应的第一图像中，将接近垂直于舌体表面的角度作为舌像拍摄角度；

角度控制模块，用于控制角度调整单元将第二图像采集单元调整至所述舌像拍摄角度。

2.根据权利要求1所述的舌像抓拍系统，其特征在于：

所述特征点提取模块通过以下任一步骤来提取所述嘴角点：

获取所述舌体区域的嘴角处轮廓并进行曲线拟合，将曲率半径最小处点作为嘴角点；或者

获取所述舌体区域的嘴角轮廓线与舌面轮廓线的交点作为嘴角点；

所述特征点提取模块通过以下步骤来提取所述舌尖点：

以脸部所在方向为竖直方向，以垂直于脸部的方向为水平方向，获取所述舌体区域的舌尖轮廓并将所述舌尖轮廓的水平切线、竖直切线的交点作为舌尖点。

3.根据权利要求2所述的舌像抓拍系统，其特征在于：

所述接近垂直于舌体表面的角度为垂直于所述嘴角点和舌尖点连线的角度、或者垂直于部分舌面轮廓线对应的弦线的角度，所述弦线为部分舌面轮廓线的两端点的连线，其中一端点为舌尖点。

4.根据权利要求1所述的舌像抓拍系统，其特征在于：

所述第一图像采集单元用于在吐舌训练的吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第一图像，以及在实际检测的吐舌过程中对舌部侧面进行连续拍摄而采集得到多个第三图像；

所述处理与控制单元还用于将所述最大距离值对应的第一图像作为预设模板，并将所述多个第三图像与所述预设模板进行比对，在所述第三图像与预设模块重合时控制第二图像采集单元进行抓拍来采集所述第二图像。

5.根据权利要求4所述的舌像抓拍系统，其特征在于，在所述处理与控制单元中：

所述图像处理模块还用于对所述多个第三图像进行处理得到舌体区域；

所述特征点提取模块还用于分别提取多个第三图像中所述舌体区域的嘴角点和舌尖点；

所述特征点分析模块还用于分别计算多个第三图像中嘴角点和舌尖点之间的距离，并判断是否接近所述最大距离值；

所述处理与控制单元还包括抓拍控制模块，用于在多个第三图像中嘴角点和舌尖点之间的距离接近所述最大距离值时，控制第二图像采集模块进行抓拍。

6.根据权利要求4所述的舌像抓拍系统，其特征在于，所述图像处理模块采用图像分割算法对所述第一图像或第三图像进行处理，所述图像分割算法包括基于边缘检测的分割算法、基于颜色与模型的分割算法或基于颜色与纹理的分割算法。

7.根据权利要求1所述的舌像抓拍系统，其特征在于：

所述第一图像采集单元包括摄像头，所述第二图像采集单元包括数字相机；

所述舌像抓拍系统还包括脸部定位单元，所述脸部定位单元包括下巴托和额头限位块，用于在所述第一图像和第二图像的采集过程中使脸部保持固定和竖直。

8.一种利用如权利要求1至7任意一项所述的舌像抓拍系统进行舌像抓拍的方法，包括以下步骤：

步骤A：在吐舌过程中利用第一图像采集单元对舌部侧面进行连续拍摄而采集得到多个第一图像；

步骤B：利用处理与控制单元对所述多个第一图像进行分析处理来获取舌像拍摄角度；

步骤C：利用所述处理与控制单元控制角度调整单元，以便通过所述角度调整单元将第二图像采集单元调整至所述舌像拍摄角度；

步骤D：在吐舌过程中在所述舌像拍摄角度下利用所述第二图像采集单元进行抓拍而采集舌部正面的第二图像。

9.根据权利要求8所述的舌像抓拍系统进行舌像抓拍的方法，其特征在于：

步骤A中具体为在吐舌训练的吐舌过程中利用第一图像采集单元对舌部侧面进行连续拍摄而采集得到多个第一图像；

步骤B中还包括通过对所述多个第一图像进行分析处理来获取吐舌最大时的第一图像，并将其作为预设模板；

步骤D中还包括以下子步骤：

子步骤D1：在实际检测的吐舌过程中利用所述第一图像采集单元进行连续拍摄而采集得到多个第三图像；

子步骤D2：利用所述处理与控制单元将所述多个第三图像与所述预设模板进行比对，在所述第三图像与预设模块重合时控制第二图像采集单元进行抓拍来采集所述第二图像。