CN115601358B - 一种自然光环境下的舌象图像分割方法 - Google Patents

一种自然光环境下的舌象图像分割方法 Download PDF

Info

Publication number
CN115601358B
CN115601358B CN202211523344.1A CN202211523344A CN115601358B CN 115601358 B CN115601358 B CN 115601358B CN 202211523344 A CN202211523344 A CN 202211523344A CN 115601358 B CN115601358 B CN 115601358B
Authority
CN
China
Prior art keywords
tongue
area
image
color
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211523344.1A
Other languages
English (en)
Other versions
CN115601358A (zh
Inventor
彭成东
陈仁明
王勇
杨诺
董昌武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Yundian Information Technology Co ltd
Original Assignee
Hefei Yundian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Yundian Information Technology Co ltd filed Critical Hefei Yundian Information Technology Co ltd
Priority to CN202211523344.1A priority Critical patent/CN115601358B/zh
Publication of CN115601358A publication Critical patent/CN115601358A/zh
Application granted granted Critical
Publication of CN115601358B publication Critical patent/CN115601358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像分割，具体涉及一种自然光环境下的舌象图像分割方法，同时拍摄比色卡与舌体，利用比色卡对舌象图像进行颜色校正；对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标；基于舌体区域目标矩形框确定初始确信区域，对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域；基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域；对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域；本发明提供的技术方案能够有效克服现有技术所存在的缺乏颜色校正、舌体边缘识别精度较低的缺陷。

Description

一种自然光环境下的舌象图像分割方法
技术领域
本发明涉及图像分割，具体涉及一种自然光环境下的舌象图像分割方法。
背景技术
中医观舌主要观察舌质和舌苔两个方面的变化，中医智能舌诊系统定量定性分析舌象的首要任务即对舌象图像进行目标识别与分割提取。舌体区域提取的精度会进一步对舌质和舌苔表面的舌色、苔色、苔质、舌形、津液及舌下络脉六大类特征分析的准确度产生一定程度的影响。
在自然光环境下，手机或数码相机采集到图像中可能存在较为复杂的背景，以及与舌体颜色或形状近似的物体，舌象图像分割算法需要排除环境干扰因素，从图像中识别舌体目标并进行边缘提取。对自然光环境下采集的舌象图像进行颜色校正和分割处理是中医智能舌诊系统数据分析的重要前置步骤，为中医舌象特征的定量定性分析提供了重要技术支撑。
现有的舌象图像分割方法，参考申请公布号为CN 110210391 A、CN 109584251 A、CN111667500A、CN 107194937 A的四篇专利文件。上述专利文件中的舌象图像分割方法，按算法类型分为传统图像处理法、深度学习卷积神经网络法；按处理内容分为单一舌象分割方法、带有颜色校正处理的分割方法；其中，传统图像处理法可解释性强，但是处理精度偏低，卷积神经网络的处理速度较快，但是可控性差。
上述四种方法代表了目前两种主流技术，但是在舌体边缘提取和颜色校正上均未涉及到可信的校正处理步骤，对开放环境下的颜色校正处理精度较低，对舌体边缘识别的准确率不高。因此，在中医智能舌诊系统中为中医舌诊提供关键的舌象图像分割技术，需要一种自带颜色校正、舌体边缘识别精度高、处理速度快的舌象图像分割算法，作为提高舌象特征分析准确度的基础技术支撑。
发明内容
（一）解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种自然光环境下的舌象图像分割方法，能够有效克服现有技术所存在的缺乏颜色校正、舌体边缘识别精度较低的缺陷。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种自然光环境下的舌象图像分割方法，包括以下步骤：
S1、同时拍摄比色卡与舌体，利用比色卡对舌象图像进行颜色校正；
S2、对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标；
S3、基于舌体区域目标矩形框确定初始确信区域，对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域；
S4、基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域；
S5、对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域；
S6、对舌体有效区域进行优化，得到舌体分割mask图。
优选地，S1中利用比色卡对舌象图像进行颜色校正，包括：
检测舌象图像中是否有比色卡，若存在比色卡，则对舌象图像使用
Figure 585486DEST_PATH_IMAGE001
通道组合项回归校正法校正，否则对舌象图像使用RGB均值法校正；
其中，对舌象图像使用
Figure 601983DEST_PATH_IMAGE001
通道组合项回归校正法校正时，先确定比色卡色块标准颜色值，再测定色块/>
Figure 37644DEST_PATH_IMAGE001
色彩空间颜色值，使用/>
Figure 746974DEST_PATH_IMAGE002
通道组合项对舌象图像进行回归校正，对比校正前后色差，若色差超过阈值则放弃校正。
优选地，所述确定比色卡中色块的颜色值，包括：
通过识别比色卡边缘和内部色块间隔形成的方格，在舌象图像中检索符合条件的方格作为候选目标；
对所有候选目标进行膨胀操作，得到比色卡的外轮廓区域；
对比色卡外轮廓区域的边框进行等分并连线，将连线交点作为色块的中心点，并确定色块的颜色值。
优选地，S2中对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标，包括：
对最长边超过阈值的舌象图像按照压缩比例
Figure 104137DEST_PATH_IMAGE003
进行等比压缩，得到压缩舌象图像；
利用训练后的Adaboost级联分类器对压缩舌象图像进行识别，得到多个目标矩形框；
从多个目标矩形框中优选出最佳目标矩形框作为舌体区域目标矩形框，将舌体区域目标矩形框的坐标乘以压缩比例
Figure 189905DEST_PATH_IMAGE003
，得到相对于原图尺寸的舌体区域目标矩形框的坐标。
优选地，S3中基于舌体区域目标矩形框确定初始确信区域，包括：
将舌体区域目标矩形框的中心点为圆心，舌体区域目标矩形框的短边min_hw*T为直径确定的圆形区域作为初始确信区域，其中T为常数。
优选地，S3中对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域，包括：
采用Graph-Based Image Segmentation图像分割算法对压缩舌象图像运算一次分割，根据像素颜色值将压缩舌象图像划分为若干小区域，将若干小区域与初始确信区域之间的并集区域作为扩充确信区域。
优选地，S4中基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域，包括：
将压缩舌象图像中的扩充确信区域作为前景区域，标记为2；
将压缩舌象图像中舌体区域目标矩形框以外，且不属于前景区域的部分作为背景区域，标记为1；
将压缩舌象图像中舌体区域目标矩形框以内，且不属于前景区域的部分作为待定区域，标记为0；
采用基于标记的分水岭分割算法对待定区域进一步分割，得到粗分割舌体区域。
优选地，S5中对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域，包括：
对粗分割舌体区域进行凸包运算，在粗分割舌体区域的凸包范围内选取面积最大的超像素区块所在的第一区域Vm；
选取与初始确信区域有重叠的所有超像素区块构成的第二区域Vn；
将第一区域Vm、第二区域Vn合并，形成舌体有效区域Vs。
优选地，S6中对舌体有效区域进行优化，得到舌体分割mask图，包括：
对舌体有效区域Vs进行凸包运算，并去除舌体区域目标矩形框以外的部分，得到舌体分割mask图。
优选地，所述得到舌体分割mask图之后，包括：
基于压缩比例
Figure 807968DEST_PATH_IMAGE003
对舌体分割mask图的轮廓坐标进行比例变换，得到原图坐标系中的舌体位置。
（三）有益效果
与现有技术相比，本发明所提供的一种自然光环境下的舌象图像分割方法，具有以下有益效果：
1）采用D65光源比色卡色块标准颜色值辅助校正自然光环境下的图像颜色及评估颜色校正误差，校正算法采用
Figure 956708DEST_PATH_IMAGE001
通道组合项回归校正法与RGB均值法相结合，算法适应性强，能够有效降低自然光环境下的图像色彩偏差，有助于分水岭算法和超像素分割的图像分割处理，进而提舌象特征分析的准确度；
2）采用LBP+Adaboost级联分类器，能够在0.06秒内完成舌体检测，并对舌体区域目标矩形框进行定位，为舌体区域精确分割提供初始参照，减少无关背景对舌体分割的干扰；
3）以舌体区域目标矩形框中心的圆形区域，以及图分割扩充区域为扩充确信区域，先基于标记的分水岭分割算法对舌体边缘进行粗分割，再基于超像素分割对舌体边缘进行精细分割，并进行舌体有效区域优化，得到舌体分割mask图，降低了舌体过分割率和欠分割率，有效提高了舌体分割的像素准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 为本发明的流程示意图；
图2 为本发明中利用比色卡对舌象图像进行颜色校正的流程示意图；
图3 为本发明中确定比色卡中色块的颜色值的示意图；
图4 为本发明中利用比色卡进行拍摄白平衡性能评估的示例图；
图5 为本发明中对舌象图像使用
Figure 535588DEST_PATH_IMAGE004
通道组合项回归校正法校正前后色差的计算示例图；
图6 为本发明中舌体区域目标矩形框及初始确信区域的示意图；
图7 为本发明中扩充确信区域的示意图；
图8 为本发明中粗分割舌体区域的示意图；
图9 为本发明中舌体有效区域的示意图；
图10 为本发明中舌体分割mask图的示意图；
图11 为本发明中比色卡的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种自然光环境下的舌象图像分割方法，如图1所示，包括以下步骤：
一、同时拍摄比色卡与舌体，利用比色卡对舌象图像进行颜色校正
利用比色卡对舌象图像进行颜色校正，包括：
检测舌象图像中是否有比色卡，若存在比色卡，则对舌象图像使用
Figure 159467DEST_PATH_IMAGE001
通道组合项回归校正法校正，否则对舌象图像使用RGB均值法校正；
其中，对舌象图像使用
Figure 569720DEST_PATH_IMAGE001
通道组合项回归校正法校正时，先确定比色卡色块标准颜色值，再测定色块/>
Figure 683170DEST_PATH_IMAGE001
色彩空间颜色值，使用/>
Figure 811663DEST_PATH_IMAGE002
通道组合项对舌象图像进行回归校正，对比校正前后色差，若色差超过阈值则放弃校正。
确定比色卡中色块的颜色值，包括：
通过识别比色卡边缘和内部色块间隔形成的方格，在舌象图像中检索符合条件的方格作为候选目标；
对所有候选目标进行膨胀操作，得到比色卡的外轮廓区域；
对比色卡外轮廓区域的边框进行等分并连线，将连线交点作为色块的中心点，并确定色块的颜色值。
如图11所示，比色卡由24个纯色色块、手持区组成，利用D65光源在色灯箱中用数码相机（尼康z6）拍摄比色卡图片，选择色块中心点周围5个像素区域内的颜色均值作为色块的当前颜色值，色块按照从左至右、从上至下的顺序依次编号为1~24，如下表所示：
表1 比色卡中色块的颜色值表
编号 色块名 测定值（
Figure 973654DEST_PATH_IMAGE005
,
Figure 441675DEST_PATH_IMAGE006
,
Figure 929289DEST_PATH_IMAGE007
）		 测定值CIE（
Figure 276569DEST_PATH_IMAGE008
,
Figure 976671DEST_PATH_IMAGE009
,
Figure 423833DEST_PATH_IMAGE010
）
1 Dark Skin 173,120,109 56,19,14
2 Light Skin 248,208,208 87,14,5
3 Bolu Sky 139,181,221 72,-4,-25
4 Foliage 133,149,103 59,-14,23
5 Blue Flower 186,190,231 78,7,-21
6 Bluish Green 157,226,240 86,-18,-14
7 Orange 254,164,40 75,25,71
8 Purplish Blue 81,141,206 57,0,-39
9 Moderate Red 243,116,141 65,51,10
10 Purple 132,74,128 40,33,-20
11 Yellow Green 224,222,50 86,-18,77
12 Orange Yellow 254,196,23 82,8,81
13 Blue 18,89,162 38,8,-45
14 Green 63,166,96 61,-46,28
15 Red 228,53,64 51,66,37
16 Yellow 254,211,18 86,0,85
17 Magenta 243,92,160 61,64,-6
18 Cyan 1,167,222 64,-17,-38
19 White 252,253,252 99,0,0
20 Neutral 8 (.23) * 229,227,239 91,3,-6
21 Neutral6.5 (.44) * 202,195,204 80,4,-4
22 Neutral 5 (.70) * 167,160,168 67,4,-3
23 Neutral3.5 (1.05) * 109,106,111 45,2,-2
24 Black (1.5) * 42,42,42 17,0,0
比色卡识别及确定色块的颜色值的流程，如图2所示，具体过程如下：
1）压缩、降噪处理：为提高算法效率，将舌象图像等比缩放至最长边为1024大小，记录缩放比例，通过非局部平均降噪处理图像的灰度图，减少噪声对后续比色卡轮廓计算产生的干扰；
2）自适应阈值分割：采用自适应阈值分割方法对上述步骤得到的灰度图进行阈值分割，得到比色卡黑色边框粗略边缘轮廓的二值化图，再对黑色像素区域进行闭运算，避免边缘的缺失，保留完整的色块；
3）近似方格形状识别：遍历二值化图中的所有轮廓，并进行筛选，保留同时满足以下三种条件的方格轮廓：①模板匹配：筛选出与模板中定义好的正方形、平行四边形等相似性度量小于0.1的轮廓；②限制方格大小：色块内边轮廓大小约占整张图的1/（24*200）~1/24、轮廓的最长边应小于整张图最长边的1/6；③IOU重合过滤：对于两两方格轮廓之间计算IOU，重合度高于0.5时，保留轮廓面积小的；
4）融合方格形成比色卡候选区域：将上述步骤保留下的方格二值化图，轮廓填充为白色，并扩张1.4倍，确保24个色块区域能够连成一个整体作为比色卡候选区域；
5）选取最优比色卡轮廓：对区域轮廓依次计算凸包、曲线拉直，得到规则的外边界轮廓，即比色卡边缘，对多个比色卡候选区域进行条件过滤：将包含最多色块的比色卡候选区域的轮廓作为最优比色卡轮廓，对最优比色卡轮廓缩小0.95倍，并通过压缩比例还原出原图中比色卡的位置；
6）比色卡倾斜微调：将比色卡四条边拟合成直线，直线的交点作为比色卡的四个顶点；
7）确定色块的颜色值：对比色卡的左、右边框平均4等分，上、下边框平均6等分，连接上下、左右等分点，连线的交点即为色块的中心点，选择色块中心点周围5个像素区域内的颜色均值作为色块的当前颜色值，如图3所示。
（一）比色卡识别实验
使用共50张带有比色卡的图像，通过算法对比色卡进行定位，并提取每个色块的颜色值，实验依据色块取色区域是否完全落在实际色块内，来评判比色卡定位的准确性，当且仅当所有位置全部正确时才认为该比色卡定位准确。
实验结果统计如下：通过对50张色卡图进行测试，其中48张识别正确，2张识别错误。在正常情况下均能准确识别色块的中心点，但是对于梯形歪斜的图像识别准确率较差，周围背景与比色卡区分度不明显时，也会导致识别出现偏差。
当舌象图像中有比色卡时，采用
Figure 816769DEST_PATH_IMAGE001
通道组合项回归校正法将原始舌象图像校正至D65光源下颜色，并对校正结果与原始舌象图像进行校正前后色差评估。
1）基色块（1号到18号）用于计算校正系数，对舌象图像进行颜色校正
在保证满足舌象图像校正要求和较高回归精度的前提下，选择
Figure 919854DEST_PATH_IMAGE011
通道组合的一阶项、二阶项/>
Figure 626910DEST_PATH_IMAGE012
（1），建立舌象图像中色块颜色值与D65光源比色卡色块标准颜色值的线性回归方程组，求解校正参数：
设第i个色块的D65光源下标准值为
Figure 131840DEST_PATH_IMAGE013
，/>
Figure 961256DEST_PATH_IMAGE014
，/>
Figure 489321DEST_PATH_IMAGE015
，实际采集图像中对应的颜色值为
Figure 788016DEST_PATH_IMAGE016
（1≤i≤18），则方程组如式（2）所示，
Figure 881874DEST_PATH_IMAGE017
（2）
式中，
Figure 944508DEST_PATH_IMAGE018
，由/>
Figure 756606DEST_PATH_IMAGE019
，/>
Figure 71044DEST_PATH_IMAGE020
，/>
Figure 19408DEST_PATH_IMAGE021
的通道组合项构成，共10项/>
Figure 190627DEST_PATH_IMAGE022
，形式如式（1）所示，式（2）的矩阵形式为：
Figure 552338DEST_PATH_IMAGE023
（3）
式中：
Figure 936046DEST_PATH_IMAGE024
是维数的/>
Figure 270075DEST_PATH_IMAGE025
的色标标准颜色值矩阵/>
Figure 546948DEST_PATH_IMAGE026
，有
Figure 333639DEST_PATH_IMAGE027
（4）
Figure 521038DEST_PATH_IMAGE028
是维数为/>
Figure 771890DEST_PATH_IMAGE029
的转换系数矩阵/>
Figure 284911DEST_PATH_IMAGE022
，有
Figure 293319DEST_PATH_IMAGE030
（5）/>
Figure 284408DEST_PATH_IMAGE031
是维数为/>
Figure 61871DEST_PATH_IMAGE032
的矩阵，有
Figure 683477DEST_PATH_IMAGE033
（6）
矩阵
Figure 182110DEST_PATH_IMAGE028
利用最小二乘法优化得到
Figure 304787DEST_PATH_IMAGE034
（7）
Figure 202336DEST_PATH_IMAGE028
即为所求的校正参数。
因此，将
Figure 994842DEST_PATH_IMAGE028
代入下式（8）可以计算出校正后舌象图像中各像素的/>
Figure 243421DEST_PATH_IMAGE011
值：
Figure 904209DEST_PATH_IMAGE035
(8)
式中，
Figure 656265DEST_PATH_IMAGE036
是校正后图像的/>
Figure 681990DEST_PATH_IMAGE011
颜色值矩阵，维数为/>
Figure 89968DEST_PATH_IMAGE037
；/>
Figure 226552DEST_PATH_IMAGE038
是由原始图像所有像素的/>
Figure 161009DEST_PATH_IMAGE011
值对应的通道组合项构成的矩阵，维数为/>
Figure 354706DEST_PATH_IMAGE039
；/>
Figure 781139DEST_PATH_IMAGE040
为原始图像的像素总数。
2）白色、灰色和黑色块（19到24号，如图4所示）用于拍摄白平衡性能评估
白平衡性能评估：评估光照条件和相机白平衡能力（在不同光照下对白色物体的色彩还原能力），当白平衡偏蓝或偏红的误差超过控制阈值范围，对色彩还原严重失真则提示判定拍摄规范性为不合格，要求重新拍摄；对于白平衡在控制阈值范围以内的舌象图像进行颜色校正。
3）采用CIE1976均方误差评估校正前后色差（如图5所示）
LAB色彩空间CIE1976色差公式如式（9）所示：
Figure 986993DEST_PATH_IMAGE041
Figure 651323DEST_PATH_IMAGE042
（9）
原图校正前，通过色块区域颜色值与标准颜色值计算LAB色彩空间色差
Figure 753271DEST_PATH_IMAGE043
；原图校正后，通过校正后的色块区域颜色值与标准颜色值再次计算LAB色彩空间色差/>
Figure 198159DEST_PATH_IMAGE044
，当
Figure 4441DEST_PATH_IMAGE045
时，校正后的图像颜色更能反映真实舌象颜色，使用校正后的舌象图像进行舌象特征分析，否则采用原图进行舌象特征分析。
上述技术方案，由于校正参数时根据每次拍摄的舌象图像求解得到的，因此能够有效克服由于拍摄条件不稳定等因素对色彩重现效果的影响。
（二）
Figure 585595DEST_PATH_IMAGE001
通道组合项回归校正法进行颜色校正的实验
为了衡量
Figure 327286DEST_PATH_IMAGE001
通道组合项回归校正法的有效性，实验中选用50张带有比色卡的图片，在色块中心点周围取颜色均值，对原图进行颜色校正，并输出校正后的图像，在校正前后的图像中同样小色块的中心位置取颜色均值，分别与标准颜色值比较，计算校正前后的平均色差。
实验结果统计如下：通过比对选取的50张色卡图校正前后的色块色差，能够看出校正后的色差会降低很多，更接近标准光源下拍摄的图像，色差均值范围由[8.92,35.80]变为[5.04,9.89]，均处于较低值，说明
Figure 742960DEST_PATH_IMAGE001
通道组合项回归校正法对于自然光下的舌象图像是有效的。
当舌象图像中没有比色卡时，采用RGB均值法对舌象图像进行颜色校正：
在标准光照下采集舌象图像Z，计算出图像的RGB三个颜色通道的均值与其整体均值的比值：
Figure 290616DEST_PATH_IMAGE046
Figure 54173DEST_PATH_IMAGE047
Figure 763503DEST_PATH_IMAGE048
其中，
Figure 120666DEST_PATH_IMAGE049
、/>
Figure 940855DEST_PATH_IMAGE050
、/>
Figure 824497DEST_PATH_IMAGE051
分别为标准光照环境下采集舌象图像的RGB三个颜色通道的均值；
对于自然光下拍摄的舌象图像X，则可以得到校正后的舌象图像Y：
Figure 439149DEST_PATH_IMAGE052
Figure 80346DEST_PATH_IMAGE053
Figure 704225DEST_PATH_IMAGE054
其中，
Figure 49231DEST_PATH_IMAGE056
、/>
Figure 365943DEST_PATH_IMAGE058
、/>
Figure 556753DEST_PATH_IMAGE060
分别为舌象图像X三个颜色通道的均值，/>
Figure 984324DEST_PATH_IMAGE062
、/>
Figure 249083DEST_PATH_IMAGE064
、/>
Figure 674379DEST_PATH_IMAGE066
分别为原舌象图像中每个像素点的RGB三个通道值，/>
Figure 24589DEST_PATH_IMAGE068
、/>
Figure 318167DEST_PATH_IMAGE070
、/>
Figure 703012DEST_PATH_IMAGE072
分别为校正后的舌象图像Y中每个像素点的RGB三个通道值。
二、对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标，具体包括：
对最长边超过阈值的舌象图像按照压缩比例
Figure 95947DEST_PATH_IMAGE003
进行等比压缩，得到压缩舌象图像；
利用训练后的Adaboost级联分类器对压缩舌象图像进行识别，得到多个目标矩形框；
从多个目标矩形框中优选出最佳目标矩形框作为舌体区域目标矩形框，将舌体区域目标矩形框的坐标乘以压缩比例
Figure 936383DEST_PATH_IMAGE003
，得到相对于原图尺寸的舌体区域目标矩形框的坐标。
经过Adaboost级联分类器的识别后，可能会得到多个目标矩形框，凭借先验知识可知，每张舌象图像仅可出现一个舌体，并且舌体的面积应不低于1/6。因此，可以设置最佳目标矩形框优选条件：①、存在多个目标矩形框时，过滤掉面积小于50*50大小的目标矩形框，并且至少保留一个目标矩形框；②选出面积最大的一个目标矩形框。
利用灰度图LBP纹理特征的统计直方图训练Adaboost级联分类器，级联分类器由数个强分类器和弱分类器组成树状结构，具有多个层级，每一个层级都代表一级强分类器，强分类器又由多个并列的树状弱分类器构成。当检测窗口通过所有的强分类器时才被认为是目标，否则拒绝。由舌面图、舌下图组成训练样本，使用OpenCV进行模型训练，通过滑动窗口的方式，对图像进行多尺度检测，识别舌面图和舌下图中舌体区域目标矩形框的位置。
（三）舌体区域目标矩形框定位实验
为了衡量舌体区域目标矩形框定位的准确性，选用正常拍摄的舌面、舌下图各50张，复杂背景的舌面、舌下图各50张，异常（远近距离拍摄或歪斜）的舌面、舌下图各50张，进行舌面、舌下的舌体区域目标矩形框识别，统计各算法识别结果与人工标注结果之间的差异，计算平均准确率（交并比大于60%表示识别正确）、平均交并比（IOU）、平均过分割率、平均欠分割率，以及算法执行时间（耗时）。
使用LBP+Adaboost相对于Haar+Adaboost、HOG+Adaboost进行实验，实验结果如下表所示：
表2 舌体区域目标矩形框定位实验结果
Figure 440176DEST_PATH_IMAGE073
实验总结：从上表中能够得知，不同识别算法的准确率与耗时都存在差异，其中使用LBP特征与Haar特征的识别模型在准确率与交并比上都要优于使用HOG特征，而Haar特征与LBP特征的差别并不是很大，但是速度却慢于使用LBP特征，且训练时的速度差别更大，因此使用LBP特征是最佳选择，舌面识别时间0.06秒、准确度98.33%；舌下识别时间0.05秒、准确度96.67%。
上述实验中，交并比的计算方式为“预测边框”和“真实边框”的交集与并集的比值；过分割率为分割结果中多出的像素个数与两者（真实区域与分割结果）像素并集的比值；欠分割率为分割结果中缺少的真实像素个数与两者（真实区域与分割结果）像素并集的比值。
三、基于舌体区域目标矩形框确定初始确信区域，对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域
1）基于舌体区域目标矩形框确定初始确信区域，如图6所示，包括：
将舌体区域目标矩形框的中心点为圆心，舌体区域目标矩形框的短边min_hw*T为直径确定的圆形区域作为初始确信区域，其中T=3/7。
2）对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域，如图7所示，包括：
采用Graph-Based Image Segmentation图像分割算法（参数scale为100，min_size为300）对压缩舌象图像运算一次分割，根据像素颜色值将压缩舌象图像划分为若干小区域，将若干小区域与初始确信区域之间的并集区域作为扩充确信区域。
四、基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域，如图8所示，具体包括：
将压缩舌象图像中的扩充确信区域作为前景区域（图8左上图中白色区域），标记为2；
将压缩舌象图像中舌体区域目标矩形框以外，且不属于前景区域的部分作为背景区域（图8左上图中黑色区域），标记为1；
将压缩舌象图像中舌体区域目标矩形框以内，且不属于前景区域的部分作为待定区域（图8左上图中灰色区域），标记为0；
采用基于标记的分水岭分割算法对待定区域进一步分割，得到粗分割舌体区域。
基于标记的分水岭分割算法中，直接采用原始的图像梯度，而非简化之后的，这样可以保证没有任何边缘信息丢失。与此同时，这个算法将提取的标记强制作为分割图像的局部极小值，同时抑制过分割图像中原有的所有局部极小值。经过修改之后的算法在图像上进行分水岭分割，获得理想的图像精细分割结果。
五、对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域，如图9所示，具体包括：
对粗分割舌体区域进行凸包运算，在粗分割舌体区域的凸包范围内选取面积最大的超像素区块所在的第一区域Vm；
选取与初始确信区域有重叠的所有超像素区块构成的第二区域Vn；
将第一区域Vm、第二区域Vn合并，形成舌体有效区域Vs。
（四）舌体有效区域分割实验
借助级联分类器识别得到舌体区域目标矩形框及对应的坐标，再进行舌面与舌下的粗分割、精细分割，将本算法与snake、grabcut算法进行对比，统计各算法分割结果与专家标注结果之间的差异，计算平均准确率（交并比大于60%表示识别正确）、平均交并比（IOU）、平均过分割率、平均欠分割率，以及算法执行时间（耗时），实验结果如下表所示：
表3 舌体有效区域分割实验结果
Figure 617211DEST_PATH_IMAGE074
实验总结：从上表中能够得知，不同识别算法的准确率与耗时都存在着明显的差异，其中snake算法耗时最长，snake与grabcut算法的准确率都比较低，在舌体与周围背景接近时，过分割与欠分割都比较严重，本算法采用循序渐进的“先粗分割，后精细分割”的分割方式，在0.95秒内能够得到分割结果，分割像素交并比最高，过分割率和欠分割率最低，明显优于另外两种分割算法。
上述实验中，交并比的计算方式为“预测边框”和“真实边框”的交集与并集的比值；过分割率为分割结果中多出的像素个数与两者（真实区域与分割结果）像素并集的比值；欠分割率为分割结果中缺少的真实像素个数与两者（真实区域与分割结果）像素并集的比值。
六、对舌体有效区域进行优化，得到舌体分割mask图，如图10所示，具体包括：
对舌体有效区域Vs进行凸包运算，并去除舌体区域目标矩形框以外的部分，得到舌体分割mask图。
其中，得到舌体分割mask图之后，包括：
基于压缩比例
Figure 446627DEST_PATH_IMAGE075
对舌体分割mask图的轮廓坐标进行比例变换，得到原图坐标系中的舌体位置。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种自然光环境下的舌象图像分割方法，其特征在于：包括以下步骤：
S1、同时拍摄比色卡与舌体，利用比色卡对舌象图像进行颜色校正；
S2、对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标；
S3、基于舌体区域目标矩形框确定初始确信区域，对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域；
S4、基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域；
S5、对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域；
S6、对舌体有效区域进行优化，得到舌体分割mask图；
S2中对舌象图像进行识别，得到舌体区域目标矩形框及对应的坐标，包括：
对最长边超过阈值的舌象图像按照压缩比例
Figure QLYQS_1
进行等比压缩，得到压缩舌象图像；
利用训练后的Adaboost级联分类器对压缩舌象图像进行识别，得到多个目标矩形框；
从多个目标矩形框中优选出最佳目标矩形框作为舌体区域目标矩形框，将舌体区域目标矩形框的坐标乘以压缩比例
Figure QLYQS_2
，得到相对于原图尺寸的舌体区域目标矩形框的坐标；
S3中基于舌体区域目标矩形框确定初始确信区域，包括：
将舌体区域目标矩形框的中心点为圆心，舌体区域目标矩形框的短边min_hw*T为直径确定的圆形区域作为初始确信区域，其中T为常数。
2.根据权利要求1所述的自然光环境下的舌象图像分割方法，其特征在于：S1中利用比色卡对舌象图像进行颜色校正，包括：
检测舌象图像中是否有比色卡，若存在比色卡，则对舌象图像使用
Figure QLYQS_3
通道组合项回归校正法校正，否则对舌象图像使用RGB均值法校正；
其中，对舌象图像使用
Figure QLYQS_4
通道组合项回归校正法校正时，先确定比色卡色块标准颜色值，再测定色块/>
Figure QLYQS_5
色彩空间颜色值，使用/>
Figure QLYQS_6
通道组合项对舌象图像进行回归校正，对比校正前后色差，若色差超过阈值则放弃校正。
3.根据权利要求2所述的自然光环境下的舌象图像分割方法，其特征在于：所述确定比色卡中色块的颜色值，包括：
通过识别比色卡边缘和内部色块间隔形成的方格，在舌象图像中检索符合条件的方格作为候选目标；
对所有候选目标进行膨胀操作，得到比色卡的外轮廓区域；
对比色卡外轮廓区域的边框进行等分并连线，将连线交点作为色块的中心点，并确定色块的颜色值。
4.根据权利要求1所述的自然光环境下的舌象图像分割方法，其特征在于：S3中对舌象图像进行图像分割，将得到的连通区域与初始确信区域之间的并集区域作为扩充确信区域，包括：
采用Graph-Based Image Segmentation图像分割算法对压缩舌象图像运算一次分割，根据像素颜色值将压缩舌象图像划分为若干小区域，将若干小区域与初始确信区域之间的并集区域作为扩充确信区域。
5.根据权利要求4所述的自然光环境下的舌象图像分割方法，其特征在于：S4中基于扩充确信区域对舌象图像进行标记，并对标记后的舌象图像进行粗分割，得到粗分割舌体区域，包括：
将压缩舌象图像中的扩充确信区域作为前景区域，标记为2；
将压缩舌象图像中舌体区域目标矩形框以外，且不属于前景区域的部分作为背景区域，标记为1；
将压缩舌象图像中舌体区域目标矩形框以内，且不属于前景区域的部分作为待定区域，标记为0；
采用基于标记的分水岭分割算法对待定区域进一步分割，得到粗分割舌体区域。
6.根据权利要求5所述的自然光环境下的舌象图像分割方法，其特征在于：S5中对舌象图像进行超像素分割，结合粗分割舌体区域、初始确信区域得到舌体有效区域，包括：
对粗分割舌体区域进行凸包运算，在粗分割舌体区域的凸包范围内选取面积最大的超像素区块所在的第一区域Vm；
选取与初始确信区域有重叠的所有超像素区块构成的第二区域Vn；
将第一区域Vm、第二区域Vn合并，形成舌体有效区域Vs。
7.根据权利要求6所述的自然光环境下的舌象图像分割方法，其特征在于：S6中对舌体有效区域进行优化，得到舌体分割mask图，包括：
对舌体有效区域Vs进行凸包运算，并去除舌体区域目标矩形框以外的部分，得到舌体分割mask图。
8.根据权利要求7所述的自然光环境下的舌象图像分割方法，其特征在于：所述得到舌体分割mask图之后，包括：
基于压缩比例
Figure QLYQS_7
对舌体分割mask图的轮廓坐标进行比例变换，得到原图坐标系中的舌体位置。/>
CN202211523344.1A 2022-12-01 2022-12-01 一种自然光环境下的舌象图像分割方法 Active CN115601358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211523344.1A CN115601358B (zh) 2022-12-01 2022-12-01 一种自然光环境下的舌象图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211523344.1A CN115601358B (zh) 2022-12-01 2022-12-01 一种自然光环境下的舌象图像分割方法

Publications (2)

Publication Number Publication Date
CN115601358A CN115601358A (zh) 2023-01-13
CN115601358B true CN115601358B (zh) 2023-03-28

Family

ID=84853604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211523344.1A Active CN115601358B (zh) 2022-12-01 2022-12-01 一种自然光环境下的舌象图像分割方法

Country Status (1)

Country Link
CN (1) CN115601358B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100889014B1 (ko) * 2007-09-21 2009-03-17 한국 한의학 연구원 그래프 기반 접근 방법을 이용한 설진 영역 추출 방법
CN105930798B (zh) * 2016-04-21 2019-05-03 厦门快商通科技股份有限公司 基于学习的面向手机应用的舌像快速检测分割方法
CN110495888B (zh) * 2019-08-27 2022-03-29 上海中医药大学 一种基于中医舌、面图像的标准色卡及其应用
CN113781488A (zh) * 2021-08-02 2021-12-10 横琴鲸准智慧医疗科技有限公司 舌象图像的分割方法、装置及介质
CN113643281A (zh) * 2021-08-31 2021-11-12 河南科技大学 一种舌体图像分割方法

Also Published As

Publication number Publication date
CN115601358A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN106682601B (zh) 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN107862667B (zh) 一种基于高分辨率遥感影像的城市阴影检测与去除方法
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
Cai et al. Detecting human faces in color images
CN108319973B (zh) 一种树上柑橘果实检测方法
CN103400110B (zh) Atm取款机前的异常人脸检测方法
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
CN103035013B (zh) 一种基于多特征融合的精确运动阴影检测方法
CN104318262A (zh) 通过人脸照片更换皮肤的方法及系统
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN107220624A (zh) 一种基于Adaboost算法的人脸检测方法
US20070154095A1 (en) Face detection on mobile devices
CN108563979B (zh) 一种基于航拍农田图像判别水稻稻瘟病病情的方法
WO2020140198A1 (zh) 指甲图像分割方法、装置、设备和存储介质
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN111768455A (zh) 一种基于图像的木材区域和主色提取方法
CN115601358B (zh) 一种自然光环境下的舌象图像分割方法
CN112258536A (zh) 一种胼胝体及小脑蚓部的一体化定位及分割方法
CN110929740A (zh) 一种基于lgbm模型的舌质舌苔分离方法
CN111738934B (zh) 基于mtcnn的红眼自动修复方法
Parente et al. Assessing facial image accordance to ISO/ICAO requirements
CN112183633B (zh) 基于改进的ft算法的高光谱图像显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant