CN105930798B - 基于学习的面向手机应用的舌像快速检测分割方法 - Google Patents

基于学习的面向手机应用的舌像快速检测分割方法 Download PDF

Info

Publication number
CN105930798B
CN105930798B CN201610250907.2A CN201610250907A CN105930798B CN 105930798 B CN105930798 B CN 105930798B CN 201610250907 A CN201610250907 A CN 201610250907A CN 105930798 B CN105930798 B CN 105930798B
Authority
CN
China
Prior art keywords
image
tongue
mobile phone
server end
tongue picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610250907.2A
Other languages
English (en)
Other versions
CN105930798A (zh
Inventor
肖龙源
谢军伟
李稀敏
杨开涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Kuaishangtong Technology Co Ltd
Original Assignee
Xiamen Kuaishangtong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Kuaishangtong Technology Co Ltd filed Critical Xiamen Kuaishangtong Technology Co Ltd
Priority to CN201610250907.2A priority Critical patent/CN105930798B/zh
Publication of CN105930798A publication Critical patent/CN105930798A/zh
Application granted granted Critical
Publication of CN105930798B publication Critical patent/CN105930798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于学习的面向手机应用的舌像快速检测分割方法，其包括以下步骤：S1.手机端检测，其包括：S11.建立手机端Adaboost级联分类器，S12.提取舌像候选区域，S13.检测含舌像候选区域图像；S2.服务器端检测，其包括：S21.建立服务器端Adaboost级联分类器，S22.图像检测，S3.服务器端分割；其包括：S31.超像素分割，S32.计算概率图像，S33.概率图像分割。本发明在手机端检测与服务器端检测均基于学习的Adaboost级联分类器，能够实时精确检测出图像中的舌象，分采用适于手机图像的超像素分割准确分割出舌像。

Description

基于学习的面向手机应用的舌像快速检测分割方法
技术领域
本发明涉及图像处理技术领域，特别是基于学习的面向手机应用的舌像快速检测分割方法。
背景技术
舌像分割是应用于中医舌诊的图像处理技术，传统的舌象处理针对的大部分是医院自己设定的图像采集设备，默认图像中已经有舌象，而且光线条件恒定，传统的舌象分割技术往往采用的是基于舌象边缘进行分割或者是基于图像颜色阈值的分割，这些舌像分割方法对于来自手机端的图像准确率较低，其原因是手机计算速度有限，计算内存较小，拍摄的照片存在光线并不稳定的情况，手机采集的图像光照不足而导致边缘不够明显。
有鉴于此，本发明人提出一种基于学习的面向手机应用的舌像快速检测分割方法，基于较少的计算资源以较高的准确率检测和分割出舌像。
发明内容
本发明为解决上述问题，提供了基于学习的面向手机应用的舌像快速检测分割方法，针对手机采集的图像，在手机端检测与服务器端检测均基于深度学习的Adaboost级联分类器，能够实时精确检测出图像中的舌象，分采用适于手机图像的超像素分割准确分割出舌像。
为实现上述目的，本发明采用的技术方案为：
基于学习的面向手机应用的舌像快速检测分割方法，包括以下步骤：
S1.手机端检测，其包括：
S11.建立手机端Adaboost级联分类器：采用预置数量张含舌像图像作为正样本和预置数量张不含舌像的背景图像作为负样本，分别提取正样本和负样本的纹理特征，采用Adaboost机器将提取的纹理特征进行学习训练，获得手机端Adaboost级联分类器；
S12.提取舌像候选区域：将待检测图像输入手机端Adaboost级联分类器进行分类检测，获得含舌像候选区域的图像；
S13.将含舌像候选区域的图像转换为RGB图像，计算其颜色直方图，根据颜色直方图判断每个像素及其周围区域与舌像颜色的相似度，再计算舌像候选区域的平均颜色相似度，选取平均相似度不低于阈值的图像作为手机端检测出含舌像的图像，手机端将其检测出的含舌像图像上传至服务器端作为服务器端的待检测图像；
S2.服务器端检测，其包括：
S21.建立服务器端Adaboost级联分类器：采用预置数量张含舌像图像作为正样本和预置数量张不含舌像的背景图像作为负样本，将正样本与负样本归一化并分别计算其HOG特征，再放入SVM模型中训练，获得服务器端Adaboost级联分类器；
S22.图像检测：将从手机端上传至服务器端的待检测图像输入服务器端Adaboost级联分类器，排除不含舌像的图像，得到待分割图像；
S3.服务器端分割，其包括：
S31.将待分割图像进行超像素分割，得到超像素块a1，a2，……an-1，an，获取每个超像素块的直方图特征Vi，将所有超像素块的直方图特征集合成一个矩阵M，采用K-means聚类算法将M聚为600类的词典；
S32.计算每个直方图特征与600类词典之间的欧式最小距离，经过归一化后获得每个像素块的属于舌像类的概率，获得概率图像；
S33.采用Graph Cuts算法在概率图像上分割出舌像。
所述步骤S11中采用的正样本数量至少2000张，负样本数量至少4000张；所述步骤S21中采用的正样本数量和负样本数量均为至少3000张。
步骤S13中的阈值为0.0042。
所述步骤S11中提取正样本和负样本的纹理特征的算法是：
其中，Dst(x,y)表示与原图对应的纹理图像，real为原图的灰度值，arrayi为原图周围的图像色块，sign()为符号函数，组织方式为从目标点(x,y)斜上方开始，从左至右，从上向下的顺时针顺序组织的的块序列，n为目标点(x，y)周围的图像色块的序列号。
所述步骤S21正样本与负样本归一化到64×64的大小，HOG特征的维数为1764。
所述超像素分割采用SLIC超像素分割算法。
本发明的有益效果是：本发明针对手机采集并上传服务器的舌像图像(照片)，依次进行手机端检测、服务器端检测和服务器端分割过程，手机端检测与服务器端检测均基于深度学习的Adaboost级联分类器，经手机端检测可在0.1S内完成舌像的判定，图像准确率可达到97.50％，经过服务器端检测后进一步排除误检图像，提高舌像检测的准确率，在服务器端采用超像素分割较好的把光线变化较大的手机图像整块相似区域分割出来。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于学习的面向手机应用的舌像快速检测分割方法的流程简图；
图2a和2b是超像素分割前后对比图；
图3a和3b是舌像概率计算前后对比图；
图4a和4b是舌像分割前后对比图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于学习的面向手机应用的舌像快速检测分割方法，其包括以下步骤：
S1.手机端检测，其包括：
S11.建立手机端Adaboost级联分类器：采用至少2000张含舌像图像作为正样本和至少4000张不含舌像的背景图像作为负样本，分别提取正样本和负样本的纹理特征，采用Adaboost机器将提取的纹理特征进行学习训练，获得手机端Adaboost级联分类器；手机提取到的图片分为两种，一种是在光线较弱的情形下(如夜晚的灯光下)采集到的，图像呈暗紫色，在光线充足的情况下图像呈鲜红色，而舌像有不同于其周围背景的纹理特征，纹理包含舌头中间的从舌根至舌中部的一条直线、设变斑点状纹理以及弧形轮廓，因此提取2000张舌像图像的上述纹理特征；
S12.提取舌像候选区域：将待检测图像输入手机端Adaboost级联分类器进行分类检测，获得含舌像候选区域的图像；
S13.将含舌像候选区域的图像转换为RGB图像，候选区域可能是衬衫的衣领，男士的脸颊，普通人的上嘴唇等位置，因此我们采用基于RGB颜色来区分，计算其颜色直方图，输入图像采用直方图投影的方式，根据颜色直方图判断每个像素及其周围区域与舌像颜色的相似度，再计算舌像候选区域的平均颜色相似度，我们在之前通过对比正负样本获得的相似度统计发现低于0.0042这个阈值的大部分都不是舌象，即使包含舌象图像的光照或者是不足，或者是明显太亮不符合我们要求的图像标准，因此选取平均相似度不低于0.0042的图像作为手机端检测出含舌像的图像，手机端检测可以在0.1s以内完成舌象的判定，同时准确率在97.50％；手机端将其检测出的含舌像图像上传至服务器端作为服务器端的待检测图像；
S2.服务器端检测，其包括：
S21.建立服务器端Adaboost级联分类器：采用至少3000张含舌像图像作为正样本和至少3000张不含舌像的背景图像作为负样本，将正样本与负样本归一化到64×64的大小并分别计算其HOG特征，HOG特征的维数为1764，再放入SVM模型中训练，获得服务器端Adaboost级联分类器；
S22.图像检测：将从手机端上传至服务器端的待检测图像输入服务器端Adaboost级联分类器，排除不含舌像的图像，得到待分割图像；
S3.服务器端分割，其包括：
S31.如图2a-2b所示，将待分割图像进行超像素分割，得到超像素块a1，a2，……an-1，an，获取每个超像素块的直方图特征Vi，将所有超像素块的直方图特征集合成一个矩阵M，采用K-means聚类算法将M聚为600类的词典；
S32.计算每个直方图特征与600类词典之间的欧式最小距离，经过归一化后获得每个像素块的属于舌像类的概率，获得概率图像，如图3a-3b所示；
S33.如图4a-4b所示，采用Graph Cuts算法在概率图像上分割出舌像。
所述步骤S11中提取正样本和负样本的纹理特征的算法是：
其中，Dst(x,y)表示与原图对应的纹理图像，real为原图的灰度值，arrayi为原图周围的图像色块，sign()为符号函数，组织方式为从目标点(x,y)斜上方开始，从左至右，从上向下的顺时针顺序组织的的块序列，n为目标点(x，y)周围的图像色块的序列号。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.基于学习的面向手机应用的舌像快速检测分割方法，其特征在于，包括以下步骤：
S1.手机端检测，其包括：
S11.建立手机端Adaboost级联分类器：采用预置数量张含舌像图像作为正样本和预置数量张不含舌像的背景图像作为负样本，分别提取正样本和负样本的纹理特征，采用Adaboost机器将提取的纹理特征进行学习训练，获得手机端Adaboost级联分类器；
S12.提取舌像候选区域：将待检测图像输入手机端Adaboost级联分类器进行分类检测，获得含舌像候选区域的图像；
S13.将含舌像候选区域的图像转换为RGB图像，计算其颜色直方图，根据颜色直方图判断每个像素及其周围区域与舌像颜色的相似度，再计算舌像候选区域的平均颜色相似度，选取平均相似度不低于阈值的图像作为手机端检测出含舌像的图像；手机端将其检测出的含舌像图像上传至服务器端作为服务器端的待检测图像；
S2.服务器端检测，其包括：
S21.建立服务器端Adaboost级联分类器：采用预置数量张含舌像图像作为正样本和预置数量张不含舌像的背景图像作为负样本，将正样本与负样本归一化并分别计算其HOG特征，再放入SVM模型中训练，获得服务器端Adaboost级联分类器；
S22.图像检测：将从手机端上传至服务器端的待检测图像输入服务器端Adaboost级联分类器，排除不含舌像的图像，得到待分割图像；
S3.服务器端分割，其包括：
S31.将待分割图像进行超像素分割，得到超像素块a1，a2，……an-1，an，获取每个超像素块的直方图特征Vi，将所有超像素块的直方图特征集合成一个矩阵M，采用K-means聚类算法将M聚为600类的词典；
S32.计算每个直方图特征与600类词典之间的欧式最小距离，经过归一化后获得每个像素块的属于舌像类的概率，获得概率图像；
S33.采用Graph Cuts算法在概率图像上分割出舌像。
2.如权利要求1所述的基于学习的面向手机应用的舌像快速检测分割方法，其特征在于：所述步骤S11中采用的正样本数量至少2000张，负样本数量至少4000张；所述步骤S21中采用的正样本数量和负样本数量均为至少3000张。
3.如权利要求1所述的基于学习的面向手机应用的舌像快速检测分割方法，其特征在于：步骤S13中的阈值为0.0042。
4.如权利要求1所述的基于学习的面向手机应用的舌像快速检测分割方法，其特征在于：所述步骤S11中提取正样本和负样本的纹理特征的算法是：
其中，Dst(x,y)表示与原图对应的纹理图像，real为原图的灰度值，arrayi为原图周围的图像色块，sign()为符号函数，组织方式为从目标点(x,y)斜上方开始，从左至右，从上向下的顺时针顺序组织的的块序列，n为目标点(x，y)周围的图像色块的序列号。
5.如权利要求1所述的基于学习的面向手机应用的舌像快速检测分割方法，其特征在于：所述步骤S21正样本与负样本归一化到64×64的大小，HOG特征的维数为1764。
6.如权利要求1所述的基于学习的面向手机应用的舌像快速检测分割方法，其特征在于：所述超像素分割采用SLIC超像素分割算法。
CN201610250907.2A 2016-04-21 2016-04-21 基于学习的面向手机应用的舌像快速检测分割方法 Active CN105930798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610250907.2A CN105930798B (zh) 2016-04-21 2016-04-21 基于学习的面向手机应用的舌像快速检测分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610250907.2A CN105930798B (zh) 2016-04-21 2016-04-21 基于学习的面向手机应用的舌像快速检测分割方法

Publications (2)

Publication Number Publication Date
CN105930798A CN105930798A (zh) 2016-09-07
CN105930798B true CN105930798B (zh) 2019-05-03

Family

ID=56839635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610250907.2A Active CN105930798B (zh) 2016-04-21 2016-04-21 基于学习的面向手机应用的舌像快速检测分割方法

Country Status (1)

Country Link
CN (1) CN105930798B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897735A (zh) * 2017-01-19 2017-06-27 博康智能信息技术有限公司上海分公司 一种快速移动目标的跟踪方法及装置
CN109784125A (zh) * 2017-11-10 2019-05-21 福州瑞芯微电子股份有限公司 深度学习网络处理装置、方法及图像处理单元
CN110807775A (zh) * 2018-08-06 2020-02-18 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN109583291A (zh) * 2018-10-09 2019-04-05 广东数相智能科技有限公司 一种人舌的模型构建方法和提升人舌识别精确度的方法
CN109740611A (zh) * 2019-01-25 2019-05-10 中电健康云科技有限公司 舌头图像分析方法及装置
CN110599463A (zh) * 2019-08-26 2019-12-20 依脉人工智能医疗科技(天津)有限公司 一种基于轻量级联神经网络的舌像检测及定位算法
CN113256557B (zh) * 2021-04-07 2022-02-15 北京联世科技有限公司 一种基于舌象临症图像的中医舌态鉴别的方法及装置
CN113610753A (zh) * 2021-06-21 2021-11-05 深圳市大数据研究院 一种提取舌像的加博纹理特征的方法、装置及存储介质
CN115601358B (zh) * 2022-12-01 2023-03-28 合肥云诊信息科技有限公司 一种自然光环境下的舌象图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2188779B1 (en) * 2007-09-21 2014-04-23 Korea Institute of Oriental Medicine Extraction method of tongue region using graph-based approach and geometric properties
CN104021566A (zh) * 2014-06-24 2014-09-03 天津大学 基于GrabCut算法的舌诊图像自动分割方法
CN104537379A (zh) * 2014-12-26 2015-04-22 上海大学 一种高精度的舌体自动分割方法
CN104794432A (zh) * 2015-03-25 2015-07-22 上海交通大学 快速级联式车标视觉检测与识别方法和系统
CN105279476A (zh) * 2014-07-15 2016-01-27 贺江涛 一种基于多特征的车脸识别方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2188779B1 (en) * 2007-09-21 2014-04-23 Korea Institute of Oriental Medicine Extraction method of tongue region using graph-based approach and geometric properties
CN104021566A (zh) * 2014-06-24 2014-09-03 天津大学 基于GrabCut算法的舌诊图像自动分割方法
CN105279476A (zh) * 2014-07-15 2016-01-27 贺江涛 一种基于多特征的车脸识别方法与装置
CN104537379A (zh) * 2014-12-26 2015-04-22 上海大学 一种高精度的舌体自动分割方法
CN104794432A (zh) * 2015-03-25 2015-07-22 上海交通大学 快速级联式车标视觉检测与识别方法和系统

Also Published As

Publication number Publication date
CN105930798A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105930798B (zh) 基于学习的面向手机应用的舌像快速检测分割方法
CN104834898B (zh) 一种人物摄影图像的质量分类方法
CN108229362A (zh) 一种基于门禁系统的双目人脸识别活体检测方法
CN107239735A (zh) 一种基于视频分析的活体检测方法和系统
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
WO2019137178A1 (zh) 人脸活体检测
Wang et al. InSight: recognizing humans without face recognition
Aiping et al. Face detection technology based on skin color segmentation and template matching
WO2022062379A1 (zh) 图像检测方法和相关装置、设备、存储介质、计算机程序
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
WenJuan et al. A real-time lip localization and tacking for lip reading
Dantone et al. Augmented faces
WO2022247539A1 (zh) 活体检测方法、估算网络处理方法、装置、计算机设备和计算机可读指令产品
WO2021217764A1 (zh) 一种基于偏振成像的人脸活体检测方法
Yogarajah et al. A dynamic threshold approach for skin tone detection in colour images
Das et al. Multi-angle based lively sclera biometrics at a distance
CN111191521B (zh) 人脸活体检测方法、装置、计算机设备及存储介质
CN112232204A (zh) 基于红外图像的活体检测方法
Nikam et al. Bilingual sign recognition using image based hand gesture technique for hearing and speech impaired people
CN108363944A (zh) 人脸识别终端双摄防伪方法、装置及系统
Laytner et al. Robust face detection from still images
Hu et al. Fast face detection based on skin color segmentation using single chrominance Cr
Zhang et al. Detection of Face Wearing Mask Based on AdaBoost and YCrCb
Battiato et al. Red-eyes removal through cluster based Linear Discriminant Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant