CN109978810B - 痣的检测方法、系统、设备及存储介质 - Google Patents
痣的检测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN109978810B CN109978810B CN201711437393.2A CN201711437393A CN109978810B CN 109978810 B CN109978810 B CN 109978810B CN 201711437393 A CN201711437393 A CN 201711437393A CN 109978810 B CN109978810 B CN 109978810B
- Authority
- CN
- China
- Prior art keywords
- image
- mole
- nevus
- candidate
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000007256 Nevus Diseases 0.000 title claims abstract description 245
- 206010027145 Melanocytic naevus Diseases 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 109
- 230000001815 facial effect Effects 0.000 claims abstract description 148
- 230000011218 segmentation Effects 0.000 claims abstract description 121
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 201000010099 disease Diseases 0.000 claims abstract description 47
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000012216 screening Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 72
- 238000000605 extraction Methods 0.000 claims description 31
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 25
- 210000000056 organ Anatomy 0.000 description 24
- 238000005070 sampling Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 15
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 10
- 230000000717 retained effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 239000007787 solid Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241001270131 Agaricus moelleri Species 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000019612 pigmentation Effects 0.000 description 3
- 239000011148 porous material Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 230000037387 scars Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 235000019256 formaldehyde Nutrition 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种痣的检测方法、系统、设备及存储介质,其中,所述痣的检测方法包括:预处理在紫外光波段所拍摄的至少一幅面部图像;将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值;按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到面部图像中的各候选痣的图像区域;从各候选痣的图像区域中筛选面部图像中的目标痣的图像区域;记录目标痣在整个面部图像中的区域信息,区域信息与至少一种疾病特征相关联。本申请有效减少痣的漏检,以及避免了样本训练所需要的大量样本图像,有效提高了软件性价比。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种痣的检测方法、系统、设备及存储介质。
背景技术
随着人们生活品质的提高,人们对皮肤质量,特别是面部皮肤质量,越来越关注。比如,长痣的、痣的分布情况等都反映出人们面部的皮肤质量。在专业的医疗和美容领域,痣的检测不仅用于反映面部皮肤的黑色素分布和沉淀情况,还是医生进行痣的病理分析、痣的潜在病变的参考。为此,对于医疗和美容来说,对用户进行痣的检测,并依据检测结果对用户进行治疗和美容能提供更准确的医疗美容服务。
发明内容
本申请提供一种痣的检测方法、系统、设备及存储介质,以实现高效简单的痣的检测目的。
为实现上述目的及其他目的,本申请第一方面提供一种痣的检测方法,包括:预处理在紫外光波段所拍摄的至少一幅面部图像;将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值;按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选痣的图像区域;从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域;记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
在所述第一方面的某些实施方式中,所述方法还包括:在包含紫外光环境下拍摄用于三维重建的两幅面部图像的步骤。
在所述第一方面的某些实施方式中,所述方法还包括:基于用于三维重建的两幅面部图像生成具有深度信息的面部图像的步骤;其中,所述深度信息用于筛选目标痣的图像区域。
在所述第一方面的某些实施方式中,所述预处理在紫外光波段所拍摄的至少一幅面部图像的方式包括:利用面部图像中痣的与皮肤之间的灰度差异,突出包含痣的图像区域的像素灰度。
在所述第一方面的某些实施方式中,所述将预处理后的面部图像分块,并确定各图像块的痣分割阈值的方式包括:将预处理后的面部图像按照所划分的图像块进行降采样处理;以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
在所述第一方面的某些实施方式中,所述按照各图像块所对应的痣分割阈值对各图像块分别进行过滤的方式包括:基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对相应图像块进行过滤。
在所述第一方面的某些实施方式中根据权利要求1或5所述的痣的检测方法,其特征在于,所述确定各图像块的痣分割阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的痣分割阈值。
在所述第一方面的某些实施方式中,所述方法还包括:对所计算出的各痣分割阈值进行补偿的步骤。
在所述第一方面的某些实施方式中,所述从各候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域的方式包括:基于预设的痣的形状、尺寸、轮廓中的至少一种,从各候选痣的图像区域中筛选目标痣的图像区域。
本申请第二方面提供一种痣的检测系统,包括:预处理模块,用于将所获取的基于紫外光波段的面部图像进行灰度预处理;图像提取模块,用于将预处理后的面部图像分块,确定各图像块的痣分割阈值,以及按照各图像块所对应的痣分割阈值对各图像块分别进行过滤以得到所述面部图像中的各候选痣的图像区域;筛选模块,用于从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域;记录模块,用于记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
在所述第二方面的某些实施方式中,所述系统还包括:摄像模块,用于在包含紫外光环境下拍摄用于三维重建的两幅面部图像。
在所述第二方面的某些实施方式中,所述预处理模块还用于基于用于三维重建的两幅面部图像生成具有深度信息的面部图像;其中,所述深度信息用于筛选目标痣的图像区域。
在所述第二方面的某些实施方式中,所述预处理模块用于利用面部图像中痣的与皮肤之间的灰度差异,突出包含痣的图像的像素灰度。
在所述第二方面的某些实施方式中,所述图像提取模块将预处理后的面部图像分块,确定各图像块的痣分割阈值的方式包括:将预处理后的面部图像按照所划分的图像块进行降采样处理;以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
在所述第二方面的某些实施方式中,所述图像提取模块按照各图像块所对应的痣分割阈值对各图像块分别进行过滤的方式包括:基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对所述面部图像中对应图像块进行过滤。
在所述第二方面的某些实施方式中,所述图像提取模块确定各图像块的痣分割阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的痣分割阈值。
在所述第二方面的某些实施方式中,所述痣的图像提取模块还用于对所计算出的各痣分割阈值进行补偿。
在所述第二方面的某些实施方式中,所述筛选模块从各候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域的方式包括:基于预设的痣的形状、尺寸、轮廓中的至少一种,从各候选痣的图像区域中筛选目标痣的图像区域。
本申请第三方面提供一种面部检测设备,包括:存储装置,用于存储面部图像及用于执行痣的检测方法的程序;处理装置,与所述存储装置连接,用于执行所述程序以执行如上任一所述的痣的检测方法。
在所述第三方面的某些实施方式中,所述检测设备还包括:摄像装置,用于摄取面部图像并保存在所述存储装置中。
在所述第三方面的某些实施方式中,所述检测设备还包括:拍摄提示装置,位于摄像装置前,用于提示测试者在所述摄像装置摄取方向的头部摆放。
在所述第三方面的某些实施方式中,所述检测设备还包括:光源装置,用于向测试者提供包含紫外光的拍摄环境。
在所述第三方面的某些实施方式中,所述检测设备还包括:显示装置,用于显示标记了所检测出的痣的图像的面部图像;和/或显示所对应的疾病特征。
本申请第四方面提供一种存储介质,存储有面部图像以及用于进行痣的检测的程序;其中,所述程序在被处理器执行时,执行如上任一种检测方法中的各步骤。
本申请所提供的痣的检测方法、系统、设备及存储介质,利用痣的与皮肤的灰度突变的特征,以及各测试者的关于痣的灰度并不具备统一标准的特点,对面部图像进行分块的痣的提取处理,以有效减少痣的漏检;同时由于采用基于灰度的检测,避免了样本训练所需要的大量样本图像,有效提高了软件性价比。同时将所检测出的痣与至少一种疾病特征相关联有利于医生对一些潜在疾病予以及时关注和诊断。
另外,采用紫外光波段的面部图像能够获得未显现在面部表面的黑色素沉淀,进而全面获得痣的、甚至潜在痣的分布情况。
另外,采用降采样处理,能有效提高痣分割阈值的计算速度,减少处理器的运算负担。
另外,对所得到的痣分割阈值进行补偿能有效防止图像块中痣的所占比例过小而带来的阈值分配不合理的情况。
附图说明
图1为本申请痣的检测方法在一实施方式中的流程示意图。
图2为本申请的一图像块中候选痣的图像区域的像素示意图。
图3为本申请的多个图像块拼接得到的候选痣的图像区域的像素示意图。
图4为本申请痣的检测方法在又一实施方式中的流程示意图。
图5为本申请痣的检测系统在一实施方式中的架构示意图。
图6为本申请痣的检测系统在又一实施方式中的架构示意图。
图7为本申请面部检测设备在一实施方式中的结构示意图。
图8为本申请面部检测设备在又一实施方式中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。
需要说明的是,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本申请可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本申请所能产生的功效及所能达成的目的下,均应仍落在本申请所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本申请可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本申请可实施的范畴。
随着医生对引发病变的痣,以及由病变而产生的痣的研究,医生希望快速找到一些潜在的、需要跟踪的痣,并对其进行更进一步的病理检测。为了更准确的提取这样的痣,本申请提供一种痣的检测方法。
请参阅图1,其显示为本申请提供的痣的检测方法的流程图。所述痣的检测方法主要由计算机设备来执行。所述计算机设备是指能够基于指令进行数值计算和数据逻辑处理的电子设备,其包括但不限于:专业痣的检测设备、智能终端、服务端、个人计算机设备等。其中,专业痣的检测设备举例为设置于美容院、医院的面部检测设备。所述智能终端举例为平板电脑或智能手机。所述服务端包括但不限于:单台服务器、服务器集群、基于云架构的服务端等。所述个人计算机设备举例为笔记本电脑、台式电脑终端等。
其中,所述痣的检测方法主要用于检测测试者的痣在面部的具体位置以便于建立并依据痣的位置与疾病特征的对应关系为医生提供病理分析的参考数据。为此,所述方法采用对测试者面部图像进行图像处理的方式进行痣的检测。所述面部图像可由摄像装置提供,或经由网络自其它设备获取。其中,痣的检测准确性是与面部图像清晰程度相关的,故而为了对面部图像进行准确的痣的检测,需对所使用的摄像装置进行调节以确保拍摄到清晰的面部图像。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对痣的检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
由于皮肤中沉淀的黑色素易于显现在紫外光环境下,故而,在摄像装置的拍摄区域内补加紫外光,以拍摄基于紫外光波段的面部图像。对于在自然光环境下拍摄的面部图像,本申请可预先提取所获取的面部图像中紫外光波段。例如,按照预设的紫外光颜色区间,将面部图像中各像素RGB值进行过滤以得到基于紫外光波段的面部图像。
在步骤S110中,预处理在紫外光波段所拍摄的至少一幅面部图像。其中,本步骤可仅对所拍摄的一幅面部图像进行下述灰度预处理。具体地,所述计算机设备提取所述面部图像的灰度值以得到由灰度值组成的图像矩阵。接着,利用面部图像中痣与皮肤之间的灰度差异,突出包含痣的图像像素灰度。具体可采用对该图像矩阵进行灰度拉伸、中值滤波等至少一项灰度预处理,一方面抑制了面部图像中作为背景的图像部分灰度,另一方面突出了包含痣在内的图像部分灰度。
在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含痣在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留痣的图像。在此,所述计算机设备可利用预设的分段线性变换函数或直方图均衡算法对面部图像进行整体的灰度拉伸处理。例如,将整幅面部图像中各像素的灰度值进行基于线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历整幅图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,/>为调整后各个像素点灰度值中的最小值,/>为调整后各个像素点灰度值中的最大值,x *为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出包含痣在内的图像部分中像素灰度同时抑制作为背景的皮肤图像部分中像素灰度,由此提高痣的检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
在此,所述中值滤波处理意图滤除面部图像中的噪点。例如,将预设的滤波窗口遍历式地过滤整幅面部图像,并将每个位于滤波窗口内的矩阵进行均值处理,如此抑制了噪声对面部图像的干扰。其中,所述滤波窗口的尺寸可不受痣的尺寸的限制。其中,所述均值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值的平均值;判断M个像素点的灰度值是否均与M个像素点的灰度值的平均值相等;若是,确定M个像素点中的任意一个像素点的灰度值为该滤波窗口中的像素点的灰度值的中值;若否,将M个像素点分为两个集合,判断该两个集合中的像素点的个数是否均小于滤波窗口中像素数量的一半;若是,当该两个集合中的一个集合中的像素点的个数大于或等于该两个集合中的另一个集合中的像素点的个数,按照由大至小的顺序确定该另一个集合中的第s个像素点的灰度值为中值,s为该一个集合中的像素点的个数,当该一个集合中的像素点的个数小于该另一个集合中的像素点的个数,按照由小至大的顺序确定该一个集合中的第t个像素点的灰度值为中值,t为该另一个集合中的像素点的个数;若否,将该两个集合中的包含的像素点的个数较多的集合中的像素点继续分为两个集合,直至最终分出的两个集合中的像素点的个数均小于滤波窗口中像素数量的一半。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的噪点,由此提高痣的检测准确率。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
由于一些痣具有突出于皮肤表面的特征,故为了更精准地从面部图像中检测出痣的图像区域,在一些实施方式中,在执行步骤S110之前执行在包含紫外光环境下拍摄用于三维重建的两幅面部图像的步骤。
在此,摄像装置所在设备可自动调节摄像装置的角度和位移中的至少一个参数来拍摄两幅面部图像,以便于重建测试者面部的三维模型。或者,拍摄装置所在设备可为拍摄者提供拍摄提示以便于拍摄装置在拍摄者的操作下拍摄两幅面部图像,以便于重建测试者面部的三维模型。
所述计算机设备在获取到两幅面部图像后,基于用于三维重建的两幅面部图像生成具有深度信息的面部图像。在此,计算机设备利用同一特征在各自图像中的像素位置和摄像装置的拍摄参数等来重构面部的三维模型,并得到面部相对于成像平面的深度信息。其中,所述成像平面可为虚拟平面;所述深度信息用于筛选目标痣的图像区域。所述计算机设备还将所述具有深度信息的面部图像、或者所拍摄的任一幅面部图像来执行上述灰度预处理操作,以得到有利于执行步骤S120的面部图像数据。
在步骤S120中,将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值。其中,可按照面部图像的像素尺寸进行均分,或者按照预设的分块尺寸对所述面部图像进行分块处理。
在某些实施方式中,所述计算机设备可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的痣分割阈值。其中,选取痣分割阈值的方式包括但不限于以下至少一种:将以图像块中的灰度相对比例选取痣分割阈值;基于图像块中灰度跳变选取痣分割阈值。例如,遍历图像块中相邻像素点的灰度变化值,基于所得到的最大的或最接近预设跳变阈值的灰度变化值,选取痣分隔阈值。其中,所述跳变阈值可依据技术人员对所收集的痣的样本图像中关于痣的轮廓所表现的灰度跳变值进行统计或机器学习得到的。
在另一些实施方式中,所述计算机设备基于大津法阈值算法逐个地确定各所述图像块的痣分割阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的痣分割阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块并设置各图像块的痣分割阈值的方式有效解决了痣的亮度不均匀所带来的痣的检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小痣的尺寸的图像块,利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,本步骤进一步包括:对所计算出的各痣分割阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
在步骤S130中,按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选痣的图像区域。
具体地,本步骤可在确定每个图像块的痣分割阈值时,或者在确定所有图像块的痣分割阈值后,保留相应图像块中低于所述痣分割阈值的灰度值并提高大于等于所述痣分割阈值的灰度值。或基于痣分割阈值将相应图像块中各像素的灰度值进行二值化处理。例如,将图像块中低于相应痣分割阈值的灰度值设为0(视此灰度值为被保留的像素点),且将大于等于所述痣分割阈值的灰度值设为255。其中,被保留灰度值的像素点所练成的区域被作为候选痣的图像区域。所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,本步骤可根据基于面部图像中被滤出的像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
在步骤S140中,从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。其中,可按照预设的关于痣的特征对各候选痣的图像区域进行筛选。
在一些实施方式中,基于预设的符合痣的形状和/或尺寸条件,将各所述候选痣的图像区域进行匹配,根据匹配结果确定所述面部图像中目标痣的图像区域。在此,所述计算机设备可根据候选痣的图像区域中像素点的个数和位置来确定候选痣的图像区域的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选痣的图像区域中的像素点个数,确定每个候选痣的图像区域的面积。又如,根据每个候选痣的图像区域中像素点的位置确定候选痣的图像区域的轮廓。所述计算机设备可将面积落入预设面积阈值范围的候选痣的图像区域予以保留,以及将轮廓形状接近圆形的候选痣的图像区域予以保留,由此得到面部图像中的目标痣的图像区域。
在另一些实施方式中,基于预设的形状和/或尺寸的剔除条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,预设有对应毛孔、皱纹等形状和/或尺寸的剔除条件,将组成候选痣的图像区域的像素点数量和/或轮廓分别与相应剔除条件进行匹配,若符合剔除条件,则确认相应候选痣的图像区域并非目标痣的图像区域,通过对候选痣的图像区域逐一过滤,得到保留下的痣的图像为目标痣的图像区域。
在再一些实施方式中,一些痣的图像区域在面部图像中的三维轮廓或二维轮廓相对于斑和疤痕等其他色素沉积所形成的区域具有轮廓更清、突出于皮肤表面等特点。因此,所述计算机设备还执行基于预设的痣的轮廓条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,按照预设的痣的轮廓上的灰度跳变阈值范围集,遍历地沿各候选痣的图像区域的轮廓计算轮廓上的像素灰度跳变值,并分析每个候选痣的图像区域的轮廓是否符合灰度跳变阈值范围集中的某一灰度跳变阈值范围,确定相符合的候选痣的图像区域为目标痣的图像区域;其中,按照经验灰度跳变阈值范围可以设置多个或一个。又如,遍历地计算各候选痣的图像区域相对于与之相邻的皮肤图像区域的深度信息,分析每个候选痣图像区域中距离相邻皮肤图像区域的深度信息是否符合预设的痣的高度范围,并确定落入所述高度范围的候选痣的图像区域为目标痣的图像区域。
需要说明的是,计算机设备可被配置为执行上述确定目标痣的图像区域的方式中的任一种或各种组合,以尽可能全面地获取测试者的痣的信息。
接着,在步骤S150中,记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。在此,计算机设备预设有至少一种疾病特征及其对应的痣在面部或面部图像中的位置。例如,位于鼻口区域(或鼻口图像区域)内的痣对应A1和A2疾病特征,位于眼部区域(或眼部图像区域)内的痣对应A3疾病特征。又如,预先将各五官区域(或五官图像区域)划分多个子区域,每个子区域内的痣对应至少一种疾病特征。在此,五官区域包含五官及经皮肤延展的面部区域。
所述计算机设备可预设有包含面部器官的图像区域模板,并在获取到面部图像时确定相应的面部器官图像区域。或者所述计算机设备在确定各目标痣的图像区域的同时,还识别包含面部器官的图像区域。由此计算机设备可得到各目标痣的图像区域相对于面部器官(如眼、鼻、口)的图像区域的位置。计算机设备可根据预设的疾病特征及各面部器官的图像区域的对应关系,将所得到的各目标痣的图像区域标记对应的至少一种疾病特征。对于三维的面部图像来说,对于具有深度信息的面部图像,所述计算机设备还可以得到各目标痣相对于面部器官的位置。所述计算机设备还可以根据所得到的目标痣在实际面部皮肤的位置标记目标痣的图像区域对应的疾病特征并保存。由此便于医生依据所保存的疾病特征进行疾病诊断。
进一步地,所得到的目标痣的图像区域可叠加到原始面部图像上,甚至将对应的各疾病特征显示给测试者及医生,由此便于测试者及医生观察痣的位置、形状、大小,特别是潜在痣的标记和显示,能帮助医生更为准确的进行病理诊断。
请参阅图4,本申请还提供一种痣的检测方法。该痣的检测方法执行以下步骤:
在步骤S210中,预处理在紫外光波段所拍摄的至少一幅面部图像。
需要说明的是,该步骤S210的具体执行方式可与图1中步骤S110的执行方式相同或相似,在此不再详述。甚至还可以包含在包含紫外光环境下拍摄面部图像的步骤,以获取所述基于紫外光波段的面部图像,在此一并引用。
在步骤S220中,将预处理后的面部图像按照所划分的图像块进行降采样处理。在此,为了提高痣分割阈值的计算效率,将预处理后的面部图像进行降采样处理。由于降采样后的图像的灰度值均代表了降采样前对应图像块的平均灰度值,因此降采样后的图像的特征仍旧可以代表降采样前的图像块的特征。
例如,预设一降采样窗口(应视为用于分割图像块的窗口),其中,所述降采样窗口的尺寸小于痣的图像的尺寸,以避免痣的图像的特征丢失。其中,痣的图像的尺寸可为经验得到的平均痣的图像的直径。将该降采样窗口无重叠地遍历所述面部图像,在遍历期间根据预设的所述窗口中设置的各像素点的权重对窗口内的各像素灰度值进行计算以得到降采样后的像素值,将该像素值设置在降采样后图像的像素位置上。所述像素位置与原图中一图像块位置相对应。
在步骤S230中,以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
具体地,以像素点为偏移量将所述阈值窗口遍历整个降采样后图像。在遍历期间,对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中的一像素点。例如,所述阈值窗口的尺寸可预设置为n*n尺寸,其中n为奇数,在遍历期间,对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中位于区域中心的像素点(以下简称中心像素点);以一个像素点为步长遍历所述阈值窗口,将降采样后的图像中每个像素点重新赋值,所赋值设为痣分割阈值。
在某些实施方式中,所述计算机设备可将每个阈值窗口中像素进行灰度统计,并根据统计结果选取对应的痣分割阈值并赋值给所述阈值窗口中的像素点。其中,选取痣分割阈值的方式可采用将以阈值窗口中的灰度相对比例而设。
在另一些实施方式中,所述计算机设备基于大津法阈值算法确定每个阈值窗口中的痣分割阈值并赋值给相应阈值窗口中的像素点(如中心像素点)。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个阈值窗口中的像素灰度进行阈值计算并重新赋值。赋值后的图像被称为阈值图像。
在对阈值窗口进行赋值处理期间,技术人员发现利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,本步骤进一步包括:对所计算出的各痣分割阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
在步骤S240中,基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对相应图像块进行过滤。
具体地,所述计算机设备根据灰度预处理后的面部图像在降采样过程中所缩减的图像块及所在位置区域,确定阈值图像中各像素对应到灰度预处理后的面部图像中的各具体图像块。例如,灰度预处理后的面部图像A1为降采样的面部图像A2为图像A2中的像素a11'对应图像A1中图像块/>又如,将阈值图像按照降采样时所划分的降采样窗口进行升采样处理,即将阈值图像中的每个像素值赋值给对应降采样窗口的所有像素点,并按照阈值图像中各像素与降采样窗口遍历的位置关系,得到升采样后(即还原后)的阈值图像。还原后的阈值图像与面部图像中的像素点一一对应。由此得到面部图像中每个图像块具有各自对应的痣分割阈值。
接着,利用阈值图像中每个像素值(即痣分割阈值)将所述面部图像中对应图像块进行过滤。具体地,将图像块中各像素灰度值与相应痣分割阈值进行比较,若像素灰度值小于相应痣分割阈值则予以保留或全部设置为灰度最小值(如0),并将大于等于所述痣分割阈值的各像素灰度设为灰度最大值(如255)。其中,被保留灰度值的像素点所连成的区域被作为候选痣的图像区域,所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,本步骤可根据基于面部图像中被保留的所有相邻像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以整幅面部图像作为分析对象的方式,将被保留的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
在步骤S260中,从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。
需要说明的是,该步骤S260的具体执行方式可与图1中步骤S140的执行方式相同或相似,在此不再详述。
在步骤S270中,记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
需要说明的是,该步骤S270的具体执行方式可与图1中步骤S150的执行方式相同或相似,在此不再详述。甚至还可以包含将所得到的目标痣的图像区域显示的步骤,在此一并引用。
请参阅图5,本申请还提供一种痣的检测系统。所述痣的检测系统4包括:预处理模块41、图像提取模块42、筛选模块43。
其中,所述痣的检测系统4主要用于检测测试者的痣在面部的具体位置以便于建立并依据痣的位置与疾病特征的对应关系为医生提供病理分析的参考数据。为此,所述痣的检测系统4采用对测试者面部图像进行图像处理的方式进行痣的检测。所述面部图像可由摄像装置提供,或经由网络自其它设备获取。其中,痣的检测的准确是与面部图像清晰程度相关的,故而为了对面部图像进行准确的痣的检测,需对所使用的摄像装置进行调节以确保拍摄到清晰的面部图像。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对痣的检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
由于皮肤中沉淀的黑色素易于显现在紫外光环境下,故而,所述痣的检测系统4还包括摄像模块。所述摄像模块为设置在摄像装置或集成在计算机设备中图像截取软件,在摄像装置的拍摄区域内补加紫外光,所述摄像模块以拍摄基于紫外光波段的面部图像。对于在自然光环境下拍摄的面部图像,本申请可预先提取所获取的面部图像中紫外光波段。例如,所述摄像模块按照预设的紫外光颜色区间,将面部图像中各像素RGB值进行过滤以得到基于紫外光波段的面部图像。
所述预处理模块41用于预处理在紫外光波段所拍摄的至少一幅面部图像。其中,预处理模块41可仅对所拍摄的一幅面部图像进行下述灰度预处理。具体地,所述预处理模块41提取面部图像的灰度值以得到由灰度值组成的图像矩阵。接着,利用面部图像中痣的与皮肤之间的灰度差异,突出包含痣的图像的像素灰度。具体可采用对该图像矩阵进行灰度拉伸、中值滤波等至少一项灰度预处理,一方面抑制了面部图像中作为背景的图像部分灰度,另一方面突出了包含痣在内的图像部分灰度。
在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含痣在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留痣的图像。在此,所述预处理模块41可利用预设的分段线性变换函数或直方图均衡算法对面部图像进行整体的灰度拉伸处理。例如,所述预处理模块41将整幅面部图像中各像素的灰度值进行基于线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,所述预处理模块41将所述灰度拉伸窗遍历整幅图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,/>为调整后各个像素点灰度值中的最小值,/>为调整后各个像素点灰度值中的最大值,x *为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出包含痣在内的图像部分中像素灰度同时抑制作为背景的皮肤图像部分中像素灰度,由此提高痣的检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
在此,所述中值滤波处理意图滤除面部图像中的噪点。例如,将预设的滤波窗口遍历式地过滤整幅面部图像,并将每个位于滤波窗口内的矩阵进行均值处理,如此抑制了噪声对面部图像的干扰。其中,所述滤波窗口的尺寸可不受痣的尺寸的限制。其中,所述均值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值的平均值;判断M个像素点的灰度值是否均与M个像素点的灰度值的平均值相等;若是,确定M个像素点中的任意一个像素点的灰度值为该滤波窗口中的像素点的灰度值的中值;若否,将M个像素点分为两个集合,判断该两个集合中的像素点的个数是否均小于滤波窗口中像素数量的一半;若是,当该两个集合中的一个集合中的像素点的个数大于或等于该两个集合中的另一个集合中的像素点的个数,按照由大至小的顺序确定该另一个集合中的第s个像素点的灰度值为中值,s为该一个集合中的像素点的个数,当该一个集合中的像素点的个数小于该另一个集合中的像素点的个数,按照由小至大的顺序确定该一个集合中的第t个像素点的灰度值为中值,t为该另一个集合中的像素点的个数;若否,将该两个集合中的包含的像素点的个数较多的集合中的像素点继续分为两个集合,直至最终分出的两个集合中的像素点的个数均小于滤波窗口中像素数量的一半。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的噪点,由此提高痣的检测准确率。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
由于一些痣具有突出于皮肤表面的特征,故为了更精准地从面部图像中检测出痣的图像区域,在一些实施方式中,所述痣的检测系统还包括摄像模块用于在包含紫外光环境下拍摄用于三维重建的两幅面部图像。
在此,摄像模块可以集成在检测设备上,或单独架设并能将所拍摄的面部图像提供给预处理模块所在计算机设备。摄像模块可自动调节角度和位移中的至少一个参数来拍摄两幅面部图像,以便于重建测试者面部的三维模型。或者,摄像模块可为拍摄者提供拍摄提示以便于拍摄装置在拍摄者的操作下拍摄两幅面部图像,以便于重建测试者面部的三维模型。
所述预处理模块41在获取到两幅面部图像后,基于用于三维重建的两幅面部图像生成具有深度信息的面部图像。在此,计算机设备利用同一特征在各自图像中的像素位置和摄像装置的拍摄参数等来重构面部的三维模型,并得到面部相对于成像平面的深度信息。其中,所述成像平面可为虚拟平面;所述深度信息用于筛选目标痣的图像区域。所述计算机设备还将所述具有深度信息的面部图像、或者所拍摄的任一幅面部图像来执行上述灰度预处理操作,以得到有利于图像提取模块42的面部图像数据。
所述图像提取模块42用于将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值。其中,可按照面部图像的像素尺寸进行均分,或者按照预设的分块尺寸对所述面部图像进行分块处理。
在某些实施方式中,所述图像提取模块42可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的痣分割阈值。其中,选取痣分割阈值的方式包括但不限于以下至少一种:将以图像块中的灰度相对比例选取痣分割阈值;基于图像块中灰度跳变选取痣分割阈值。例如,遍历图像块中相邻像素点的灰度变化值,基于所得到的最大的或最接近预设跳变阈值的灰度变化值,选取痣分隔阈值。其中,所述跳变阈值可依据技术人员对所收集的痣的样本图像中关于痣的轮廓所表现的灰度跳变值进行统计或机器学习得到的。
在另一些实施方式中,所述图像提取模块42基于大津法阈值算法逐个地确定各所述图像块的痣分割阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的痣分割阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块并设置各图像块的痣分割阈值的方式有效解决了痣的亮度不均匀所带来的痣的检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小痣的尺寸的图像块,利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,本步骤进一步包括:对所计算出的各痣分割阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
所述图像提取模块42还用于按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选痣的图像区域。
具体地,所述图像提取模块42可在确定每个图像块的痣分割阈值时,或者在确定所有图像块的痣分割阈值后,保留相应图像块中低于所述痣分割阈值的灰度值并提高大于等于所述痣分割阈值的灰度值。或基于痣分割阈值将相应图像块中各像素的灰度值进行二值化处理。例如,将图像块中低于相应痣分割阈值的灰度值设为0,且将大于等于所述痣分割阈值的灰度值设为255。其中,被保留灰度值的像素点所练成的区域被作为候选痣的图像区域。所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则图像提取模块42同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,所述图像提取模块42可根据基于面部图像中被滤出的像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
所述筛选模块43用于从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。其中,可按照预设的关于痣的特征对各候选痣的图像区域进行筛选。
在一些实施方式中,基于预设的符合痣的形状和/或尺寸条件,将各所述候选痣的图像区域进行匹配,根据匹配结果确定所述面部图像中目标痣的图像区域。在此,所述筛选模块43可根据候选痣的图像区域中像素点的个数和位置来确定候选痣的图像区域的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选痣的图像区域中的像素点个数,确定每个候选痣的图像区域的面积。又如,根据每个候选痣的图像区域中像素点的位置确定候选痣的图像区域的轮廓。所述筛选模块43可将面积落入预设面积阈值范围的候选痣的图像区域予以保留,以及将轮廓形状接近圆形的候选痣的图像区域予以保留,由此得到面部图像中的目标痣的图像区域。
在另一些实施方式中,基于预设的形状和/或尺寸的剔除条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,预设有对应毛孔、皱纹等形状和/或尺寸的剔除条件,将组成候选痣的图像区域的像素点数量和/或轮廓分别与相应剔除条件进行匹配,若符合剔除条件,则确认相应候选痣的图像区域并非目标痣的图像区域,通过对候选痣的图像区域逐一过滤,得到保留下的痣的图像为目标痣的图像区域。
在再一些实施方式中,一些痣的图像区域在面部图像中的三维轮廓或二维轮廓相对于斑和疤痕等其他色素沉积所形成的区域具有轮廓更清、突出于皮肤表面等特点。因此,所述筛选模块43还执行基于预设的痣的轮廓条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,按照预设的痣的轮廓上的灰度跳变阈值范围集,遍历地沿各候选痣的图像区域的轮廓计算轮廓上的像素灰度跳变值,并分析每个候选痣的图像区域的轮廓是否符合灰度跳变阈值范围集中的某一灰度跳变阈值范围,确定相符合的候选痣的图像区域为目标痣的图像区域;其中,按照经验灰度跳变阈值范围可以设置多个或一个。又如,遍历地计算各候选痣的图像区域相对于与之相邻的皮肤图像区域的深度信息,分析每个候选痣图像区域中距离相邻皮肤图像区域的深度信息是否符合预设的痣的高度范围,并确定落入所述高度范围的候选痣的图像区域为目标痣的图像区域。
需要说明的是,筛选模块43可被配置为执行上述确定目标痣的图像区域的方式中的任一种或各种组合,以尽可能全面地获取测试者的痣的信息。
接着,记录模块44用于记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。在此,记录模块44预设有至少一种疾病特征及其对应的痣在面部或面部图像中的位置。例如,位于鼻口区域(或鼻口图像区域)内的痣对应A1和A2疾病特征,位于眼部区域(或眼部图像区域)内的痣对应A3疾病特征。又如,预先将各五官区域(或五官图像区域)划分多个子区域,每个子区域内的痣对应至少一种疾病特征。在此,五官区域包含五官及经皮肤延展的面部区域。
所述记录模块44可预设有包含面部器官的图像区域模板,并在获取到面部图像时确定相应的面部器官图像区域。或者所述记录模块44在确定各目标痣的图像区域的同时,还识别包含面部器官的图像区域。由此记录模块44可得到各目标痣的图像区域相对于面部器官(如眼、鼻、口)的图像区域的位置。记录模块44可根据预设的疾病特征及各面部器官的图像区域的对应关系,将所得到的各目标痣的图像区域标记对应的至少一种疾病特征。对于三维的面部图像来说,对于具有深度信息的面部图像,所述记录模块44还可以得到各目标痣相对于面部器官的位置。所述记录模块44还可以根据所得到的目标痣在实际面部皮肤的位置标记目标痣的图像区域对应的疾病特征并保存。由此便于医生依据所保存的疾病特征进行疾病诊断。
进一步地,所得到的目标痣的图像区域可叠加到原始面部图像上,甚至将对应的各疾病特征显示给测试者及医生,由此便于测试者及医生观察痣的位置、形状、大小,特别是潜在痣的标记和显示,能帮助医生更为准确的进行病理诊断。
请参阅图5,本申请还提供一种痣的检测系统。该痣的检测系统5包含:预处理模块51、图像提取模块52、筛选模块53和记录模块54。
所述预处理模块51用于将所获取的基于紫外光波段的面部图像进行灰度预处理。
需要说明的是,该预处理模块51的具体执行方式可与图5中预处理模块41的执行方式相同或相似,在此不再详述。甚至还可以包含摄像模块(未予图示)用于在包含紫外光环境下拍摄面部图像,以获取所述基于紫外光波段的面部图像,在此一并引用。
所述图像提取模块52用于将预处理后的面部图像进行降采样处理。在此,为了提高痣分割阈值的计算效率,将预处理后的面部图像进行降采样处理。由于降采样后的图像的灰度值均代表了降采样前对应区域的平均灰度值,因此降采样后的图像的特征仍旧可以代表降采样前的图像的特征。
例如,预设一降采样窗口(应视为用于分割图像块的窗口),其中,所述降采样窗口的尺寸小于痣的图像的尺寸,以避免痣的图像的特征丢失。其中,痣的图像的尺寸可为经验得到的平均痣的图像的直径。所述图像提取模块52通过将该降采样窗口遍历所述面部图像,在遍历期间根据预设的所述窗口中设置的各像素点的权重对窗口内的各像素灰度值进行计算以得到降采样后的像素值,将该像素值设置在降采样后图像的像素位置上。所述像素位置与原图中一图像块位置相对应。
所述图像提取模块52用于以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
具体地,所述图像提取模块52以像素点为偏移量将所述阈值窗口遍历整个降采样后图像。在遍历期间,对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中的一像素点。例如,所述阈值窗口的尺寸可预设置为n*n尺寸,其中n为奇数,在遍历期间,所述图像提取模块52对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中位于区域中心的像素点(以下简称中心像素点);以一个像素点为步长遍历所述阈值窗口,将降采样后的图像中每个像素点重新赋值,所赋值设为痣分割阈值。
在某些实施方式中,所述图像提取模块52可将每个阈值窗口中像素进行灰度统计,并根据统计结果选取对应的痣分割阈值并赋值给所述阈值窗口中的像素点。其中,选取痣分割阈值的方式可采用将以阈值窗口中的灰度相对比例而设。
在另一些实施方式中,所述图像提取模块52基于大津法阈值算法确定每个阈值窗口中的痣分割阈值并赋值给相应阈值窗口中的像素点(如中心像素点)。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在图像提取模块52中,利用大津法阈值算法对每个阈值窗口中的像素灰度进行阈值计算并重新赋值。赋值后的图像被称为阈值图像。
在对阈值窗口进行赋值处理期间,技术人员发现利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,图像提取模块52进一步对所计算出的各痣分割阈值进行补偿。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
接着,基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对相应图像块进行过滤。
具体地,所述图像提取模块52根据灰度预处理后的面部图像在降采样过程中所缩减的图像块及所在位置区域,确定阈值图像中各像素对应到灰度预处理后的面部图像中的各具体图像块。例如,灰度预处理后的面部图像A1为降采样的面部图像A2为图像A2中的像素a11'对应图像A1中图像块/>又如,将阈值图像按照降采样时所划分的降采样窗口进行升采样处理,即将阈值图像中的每个像素值赋值给对应降采样窗口的所有像素点,并按照阈值图像中各像素与降采样窗口遍历的位置关系,得到升采样后(即还原后)的阈值图像。还原后的阈值图像与面部图像中的像素点一一对应。由此得到面部图像中每个图像块具有各自对应的痣分割阈值。
接着,图像提取模块52利用阈值图像中每个像素值(即痣分割阈值)将所述面部图像中对应图像块进行过滤。具体地,将图像块中各像素灰度值与相应痣分割阈值进行比较,若像素灰度值小于相应痣分割阈值则予以保留或全部设置为灰度最小值(如0),并将大于等于所述痣分割阈值的各像素灰度设为灰度最大值(如255)。其中,被保留灰度值的像素点所连成的区域被作为候选痣的图像区域,所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则图像提取模块52同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,图像提取模块52可根据基于面部图像中被保留的所有相邻像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以整幅面部图像作为分析对象的方式,将被保留的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
所述筛选模块53用于从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。
需要说明的是,该筛选模块53的具体执行方式可与图5中筛选模块43的执行方式相同或相似,在此不再详述。
记录模块54用于记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
需要说明的是,该记录模块54的具体执行方式可与图5中记录模块44的执行方式相同或相似,在此不再详述。甚至还可以包含将所得到的目标痣的图像区域显示的方式,在此一并引用。
请参阅图7,本申请还提供一种面部检测设备。所述面部检测设备3包含:存储装置31、处理装置32。
所述存储装置31用于存储面部图像及用于执行痣的检测方法的程序。其中,所述面部图像可利用与面部检测设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。
所述存储装置31可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置31还可以包括远离一个或多个处理器的存储器,例如经由通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储装置31中还包括存储器控制器,所述存储器控制器可控制诸如CPU和外设接口之类的其他组件对存储器的访问。存储在存储装置31中的软件组件包括操作系统、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、触觉反馈模块(或指令集)、文本输入模块(或指令集)、以及程序(或指令集)。
另外,所述面部图像可由摄像装置提供,或由网络中的其他设备提供。对于专用于面部检测的设备,为了能够获得足够清晰的面部图像,所述面部检测设备还包括摄像装置33。如图8所示。
所述摄像装置33可以是内置在面部图像处理设备中的一部分,如移动终端中内置的摄像装置33。或者所述摄像装置33为单独的数码相机,并与处理装置32通过IO子系统相连。其中,所述IO子系统可与处理装置32封装在一起,其包括但不限于:USB等串行接口。所述摄像装置33包括镜头组、成像传感器、图像处理芯片等。其中,镜头组由多块镜片组成,利用镜片对光路改变将所摄取的实体景象成像在成像传感器上。所述成像传感器将光学图像转换成电子信号。以产品类别区分,成像传感器产品主要分为CCD、CMOS以及CIS传感器三种。所述成像传感器将所得图像交由图像处理芯片(ISP,Image Signal Processing)进行图像纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等图像处理。
例如,通过调整摄像装置33的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对痣的检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
由于皮肤中沉淀的黑色素易于显现在紫外光环境下,故而,在摄像装置33的拍摄区域内还设有光源装置。所述光源装置用于向测试者提供包含紫外光的拍摄环境。例如,在摄像装置33周围布置紫外灯管,摄像装置33在感光测试者在紫外光环境下所拍摄的面部图像。
为了确保摄像装置33所摄取的面部图像清晰且易于医学检测,所述面部检测设备3还包括:拍摄提示装置34。
所述拍摄提示装置34位于摄像装置33前,用于提示测试者在所述摄像装置33摄取方向的头部摆放。在此,所述拍摄提示装置34可以是一具体拍摄提示图案,如提示点、提示线等。在某些实施方式中,其包含用于支撑用户下颌的第一支撑部件和固定摄像装置33的第二支撑部件,两个支撑部件之间的间距根据面部图像在整幅图像中的比例而定。第一支撑部件的高度与摄像装置33所能拍摄的完整的面部图像相关。所述第一支撑部件可调。例如,所述第一支撑部件包含一升降杆和锁固件,在所述升降杆上设有一颚托。用户可在使用前调整第一支撑部件的高度,使得所述摄像装置33拍摄到完整的面部图像。
所述处理装置32用于执行所述程序以对面部图像进行痣的检测。
在此,所述处理装置32包含处理器,所述处理器可操作地与存储器和/或非易失性存储器耦接。更具体地,处理器可执行在存储器和/或非易失性存储器中存储的指令以在计算设备中执行操作,诸如生成图像数据和/或将图像数据传输到显示电路。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
处理装置32还可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到个人局域网(PAN)(诸如蓝牙网络)、局域网(LAN)(诸如802.11x Wi-Fi网络)、和/或广域网(WAN)。此外,处理装置32可操作地耦接至电源,该电源可向计算设备中的各种部件诸如电子显示器提供电力。如此,电源可包括任何合适的能源,诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。
所述处理装置32还与I/O端口和输入结构可操作地耦接,该I/O端口可使得计算设备能够与各种其他电子设备(如专门用于皮肤检测的仪器或移动终端)进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。
所述处理装置32还可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到个人局域网(PAN)(诸如蓝牙网络)、局域网(LAN)(诸如802.11x Wi-Fi网络)、和/或广域网(WAN)(注入4G或LTE蜂窝网络)。
在本申请中,所述处理装置32可基于输入结构所输入的启动指令调用所述程序,进而在执行所述程序时以将所述存储装置31中面部图像进行痣的检测。
在某些实施方式中,所述处理装置32在执行程序时,按照如图1所示的方法中的步骤检测所述面部图像中的目标痣的图像区域。
在步骤S110中,预处理在紫外光波段所拍摄的至少一幅面部图像。其中,所述处理装置32可直接基于紫外光环境而拍摄的面部图像。或对于在自然光环境下拍摄的面部图像,所述处理装置32可预先提取所获取的面部图像中紫外光波段。例如,按照预设的紫外光颜色区间,将面部图像中各像素RGB值进行过滤以得到基于紫外光波段的面部图像。其中,本步骤可仅对所拍摄的一幅面部图像进行下述灰度预处理。
在得到基于紫外光波段的面部图像后,所述处理装置32提取面部图像的灰度值以得到由灰度值组成的图像矩阵。接着,利用面部图像中痣与皮肤之间的灰度差异,突出包含痣的图像像素灰度。具体可采用对该图像矩阵进行灰度拉伸、中值滤波等至少一项灰度预处理,一方面抑制了面部图像中作为背景的图像部分灰度,另一方面突出了包含痣在内的图像部分灰度。
在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含痣在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留痣的图像。在此,所述处理装置32可利用预设的分段线性变换函数或直方图均衡算法对面部图像进行整体的灰度拉伸处理。例如,所述处理装置32将整幅面部图像中各像素的灰度值进行基于线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,所述处理装置32将所述灰度拉伸窗遍历整幅图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,/>为调整后各个像素点灰度值中的最小值,/>为调整后各个像素点灰度值中的最大值,x *为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出包含痣在内的图像部分中像素灰度同时抑制作为背景的皮肤图像部分中像素灰度,由此提高痣的检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
在此,所述中值滤波处理意图滤除面部图像中的噪点。例如,将预设的滤波窗口遍历式地过滤整幅面部图像,并将每个位于滤波窗口内的矩阵进行均值处理,如此抑制了噪声对面部图像的干扰。其中,所述滤波窗口的尺寸可不受痣的尺寸的限制。其中,所述均值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值的平均值;判断M个像素点的灰度值是否均与M个像素点的灰度值的平均值相等;若是,确定M个像素点中的任意一个像素点的灰度值为该滤波窗口中的像素点的灰度值的中值;若否,将M个像素点分为两个集合,判断该两个集合中的像素点的个数是否均小于滤波窗口中像素数量的一半;若是,当该两个集合中的一个集合中的像素点的个数大于或等于该两个集合中的另一个集合中的像素点的个数,按照由大至小的顺序确定该另一个集合中的第s个像素点的灰度值为中值,s为该一个集合中的像素点的个数,当该一个集合中的像素点的个数小于该另一个集合中的像素点的个数,按照由小至大的顺序确定该一个集合中的第t个像素点的灰度值为中值,t为该另一个集合中的像素点的个数;若否,将该两个集合中的包含的像素点的个数较多的集合中的像素点继续分为两个集合,直至最终分出的两个集合中的像素点的个数均小于滤波窗口中像素数量的一半。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的噪点,由此提高痣的检测准确率。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
由于一些痣具有突出于皮肤表面的特征,故为了更精准地从面部图像中检测出痣的图像区域,在一些实施方式中,在执行步骤S110之前执行在包含紫外光环境下拍摄用于三维重建的两幅面部图像的步骤。
在此,摄像装置所在设备可自动调节摄像装置的角度和位移中的至少一个参数来拍摄两幅面部图像,以便于重建测试者面部的三维模型。或者,拍摄装置所在设备可为拍摄者提供拍摄提示以便于拍摄装置在拍摄者的操作下拍摄两幅面部图像,以便于重建测试者面部的三维模型。
所述处理装置32在获取到两幅面部图像后,基于用于三维重建的两幅面部图像生成具有深度信息的面部图像。在此,处理装置32利用同一特征在各自图像中的像素位置和摄像装置的拍摄参数等来重构面部的三维模型,并得到面部相对于成像平面的深度信息。其中,所述成像平面可为虚拟平面;所述深度信息用于筛选目标痣的图像区域。所述处理装置32还将所述具有深度信息的面部图像、或者所拍摄的任一幅面部图像来执行上述灰度预处理操作,以得到有利于执行步骤S120的面部图像数据。
在步骤S120中,所述处理装置32将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值。其中,可按照面部图像的像素尺寸进行均分,或者按照预设的分块尺寸对所述面部图像进行分块处理。
在某些实施方式中,所述处理装置32可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的痣分割阈值。其中,选取痣分割阈值的方式包括但不限于以下至少一种:将以图像块中的灰度相对比例选取痣分割阈值;基于图像块中灰度跳变选取痣分割阈值。例如,遍历图像块中相邻像素点的灰度变化值,基于所得到的最大的或最接近预设跳变阈值的灰度变化值,选取痣分隔阈值。其中,所述跳变阈值可依据技术人员对所收集的痣的样本图像中关于痣的轮廓所表现的灰度跳变值进行统计或机器学习得到的。
在另一些实施方式中,所述处理装置32基于大津法阈值算法逐个地确定各所述图像块的痣分割阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在处理装置32中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的痣分割阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块并设置各图像块的痣分割阈值的方式有效解决了痣的亮度不均匀所带来的痣的检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小痣的尺寸的图像块,利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,处理装置32进一步包括:对所计算出的各痣分割阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
在步骤S130中,所述处理装置32按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选痣的图像区域。
具体地,处理装置32可在确定每个图像块的痣分割阈值时,或者在确定所有图像块的痣分割阈值后,保留相应图像块中低于所述痣分割阈值的灰度值并提高大于等于所述痣分割阈值的灰度值。或基于痣分割阈值将相应图像块中各像素的灰度值进行二值化处理。例如,将图像块中低于相应痣分割阈值的灰度值设为0(视此灰度值为被保留的像素点),且将大于等于所述痣分割阈值的灰度值设为255。其中,被保留灰度值的像素点所练成的区域被作为候选痣的图像区域。所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则处理装置32同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,处理装置32可根据基于面部图像中被滤出的像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
在步骤S140中,所述处理装置32从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。其中,可按照预设的关于痣的特征对各候选痣的图像区域进行筛选。
在一些实施方式中,基于预设的符合痣的形状和/或尺寸条件,将各所述候选痣的图像区域进行匹配,根据匹配结果确定所述面部图像中目标痣的图像区域。在此,所述处理装置32可根据候选痣的图像区域中像素点的个数和位置来确定候选痣的图像区域的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选痣的图像区域中的像素点个数,确定每个候选痣的图像区域的面积。又如,根据每个候选痣的图像区域中像素点的位置确定候选痣的图像区域的轮廓。所述处理装置32可将面积落入预设面积阈值范围的候选痣的图像区域予以保留,以及将轮廓形状接近圆形的候选痣的图像区域予以保留,由此得到面部图像中的目标痣的图像区域。
在另一些实施方式中,基于预设的形状和/或尺寸的剔除条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,预设有对应毛孔、皱纹等形状和/或尺寸的剔除条件,将组成候选痣的图像区域的像素点数量和/或轮廓分别与相应剔除条件进行匹配,若符合剔除条件,则确认相应候选痣的图像区域并非目标痣的图像区域,通过对候选痣的图像区域逐一过滤,得到保留下的痣的图像为目标痣的图像区域。
在再一些实施方式中,一些痣的图像区域在面部图像中的三维轮廓或二维轮廓相对于斑和疤痕等其他色素沉积所形成的区域具有轮廓更清、突出于皮肤表面等特点。因此,所述处理装置32还执行基于预设的痣的轮廓条件,从各候选痣的图像区域中筛选目标痣的图像区域。例如,按照预设的痣的轮廓上的灰度跳变阈值范围集,遍历地沿各候选痣的图像区域的轮廓计算轮廓上的像素灰度跳变值,并分析每个候选痣的图像区域的轮廓是否符合灰度跳变阈值范围集中的某一灰度跳变阈值范围,确定相符合的候选痣的图像区域为目标痣的图像区域;其中,按照经验灰度跳变阈值范围可以设置多个或一个。又如,遍历地计算各候选痣的图像区域相对于与之相邻的皮肤图像区域的深度信息,分析每个候选痣图像区域中距离相邻皮肤图像区域的深度信息是否符合预设的痣的高度范围,并确定落入所述高度范围的候选痣的图像区域为目标痣的图像区域。
需要说明的是,处理装置32可被配置为执行上述确定目标痣的图像区域的方式中的任一种或各种组合,以尽可能全面地获取测试者的痣的信息。
接着,在步骤S150中,记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。在此,处理装置32预设有至少一种疾病特征及其对应的痣在面部或面部图像中的位置。例如,位于鼻口区域(或鼻口图像区域)内的痣对应A1和A2疾病特征,位于眼部区域(或眼部图像区域)内的痣对应A3疾病特征。又如,预先将各五官区域(或五官图像区域)划分多个子区域,每个子区域内的痣对应至少一种疾病特征。在此,五官区域包含五官及经皮肤延展的面部区域。
所述处理装置32可预设有包含面部器官的图像区域模板,并在获取到面部图像时确定相应的面部器官图像区域。或者所述处理装置32在确定各目标痣的图像区域的同时,还识别包含面部器官的图像区域。由此处理装置32可得到各目标痣的图像区域相对于面部器官(如眼、鼻、口)的图像区域的位置。处理装置32可根据预设的疾病特征及各面部器官的图像区域的对应关系,将所得到的各目标痣的图像区域标记对应的至少一种疾病特征。对于三维的面部图像来说,对于具有深度信息的面部图像,所述处理装置32还可以得到各目标痣相对于面部器官的位置。所述处理装置32还可以根据所得到的目标痣在实际面部皮肤的位置标记目标痣的图像区域对应的疾病特征并保存。由此便于医生依据所保存的疾病特征进行疾病诊断。
进一步地,所得到的目标痣的图像区域可叠加到原始面部图像上,甚至将对应的各疾病特征显示给测试者及医生,由此便于测试者及医生观察痣的位置、形状、大小,特别是潜在痣的标记和显示,能帮助医生更为准确的进行病理诊断。其中,所述显示装置35包括但不限于:显示器、与显示器相连的处理器等,其中,所述处理器可以是单独配置的或者与处理装置中的处理器共用。
另外,所述存储装置31所保存的程序在被处理装置32调用并执行时,还可以按照如图4所示方法中的步骤检测所述面部图像中的目标痣的图像区域。
在步骤S210中,预处理在紫外光波段所拍摄的至少一幅面部图像。
需要说明的是,该步骤S210的具体执行方式可与图1中步骤S110的执行方式相同或相似,在此不再详述。甚至还可以包含在包含紫外光环境下拍摄面部图像的步骤,以获取所述基于紫外光波段的面部图像,在此一并引用。
在步骤S220中,将预处理后的面部图像按照所划分的图像块进行降采样处理。在此,为了提高痣分割阈值的计算效率,将预处理后的面部图像进行降采样处理。由于降采样后的图像的灰度值均代表了降采样前对应图像块的平均灰度值,因此降采样后的图像的特征仍旧可以代表降采样前的图像块的特征。
例如,预设一降采样窗口(应视为用于分割图像块的窗口),其中,所述降采样窗口的尺寸小于痣的图像的尺寸,以避免痣的图像的特征丢失。其中,痣的图像的尺寸可为经验得到的平均痣的图像的直径。将该降采样窗口无重叠地遍历所述面部图像,在遍历期间根据预设的所述窗口中各像素点的权重对窗口内的各像素灰度值进行计算以得到降采样后的像素值,将该像素值设置在降采样后图像的像素位置上。所述像素位置与原图中一图像块位置相对应。
在步骤S230中,
以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
具体地,以像素点为偏移量将所述阈值窗口遍历整个降采样后图像。在遍历期间,对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中的一像素点。例如,所述阈值窗口的尺寸可预设置为n*n尺寸,其中n为奇数,在遍历期间,对每次阈值窗口所覆盖的像素区域进行阈值计算并将所得到的阈值赋值给该像素区域中位于区域中心的像素点(以下简称中心像素点);以一个像素点为步长遍历所述阈值窗口,将降采样后的图像中每个像素点重新赋值,所赋值设为痣分割阈值。
在某些实施方式中,所述计算机设备可将每个阈值窗口中像素进行灰度统计,并根据统计结果选取对应的痣分割阈值并赋值给所述阈值窗口中的像素点。其中,选取痣分割阈值的方式可采用将以阈值窗口中的灰度相对比例而设。
在另一些实施方式中,所述计算机设备基于大津法阈值算法确定每个阈值窗口中的痣分割阈值并赋值给相应阈值窗口中的像素点(如中心像素点)。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个阈值窗口中的像素灰度进行阈值计算并重新赋值。赋值后的图像被称为阈值图像。
在对阈值窗口进行赋值处理期间,技术人员发现利用上述大津法计算阈值会出现痣分割阈值过低的情况,为此,本步骤进一步包括:对所计算出的各痣分割阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min和阈值上限th_max,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的痣分割阈值设为th=th_ostu+delta,并将每个th分别与th_min和th_max比较,当th<th_min时,则th=th_min,当th>th_max时,则th=th_max,其他情况下痣分割阈值即为th_ostu+delta。
在步骤S240中,基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对相应图像块进行过滤。
具体地,所述计算机设备根据灰度预处理后的面部图像在降采样过程中所缩减的图像块及所在位置区域,确定阈值图像中各像素对应到灰度预处理后的面部图像中的各具体图像块。例如,灰度预处理后的面部图像A1为降采样的面部图像A2为图像A2中的像素a11'对应图像A1中图像块/>又如,将阈值图像按照降采样时所划分的降采样窗口进行升采样处理,即将阈值图像中的每个像素值赋值给对应降采样窗口的所有像素点,并按照阈值图像中各像素与降采样窗口遍历的位置关系,得到升采样后(即还原后)的阈值图像。还原后的阈值图像与面部图像中的像素点一一对应。由此得到面部图像中每个图像块具有各自对应的痣分割阈值。
接着,利用阈值图像中每个像素值(即痣分割阈值)将所述面部图像中对应图像块进行过滤。具体地,将图像块中各像素灰度值与相应痣分割阈值进行比较,若像素灰度值小于相应痣分割阈值则予以保留或全部设置为灰度最小值(如0),并将大于等于所述痣分割阈值的各像素灰度设为灰度最大值(如255)。其中,被保留灰度值的像素点所连成的区域被作为候选痣的图像区域,所得到的候选痣的图像区域可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选痣的图像区域的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选痣的图像区域。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选痣的图像区域。
在另一些具体示例中,本步骤可根据基于面部图像中被保留的所有相邻像素点所围成的区域确定为候选痣的图像区域。在此,本示例中采用以整幅面部图像作为分析对象的方式,将被保留的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选痣的图像区域。
在步骤S260中,从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域。
需要说明的是,该步骤S260的具体执行方式可与图1中步骤S140的执行方式相同或相似,在此不再详述。
在步骤S270中,记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
需要说明的是,该步骤S270的具体执行方式可与图1中步骤S150的执行方式相同或相似,在此不再详述。甚至还可以包含将所得到的目标痣的图像区域显示的步骤,在此一并引用。
通过以上各实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行用户终端的停车位预约方法中的各步骤,和执行服务端的停车位预约方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于终端设备(如面部检测设备、或智能终端等)也可位于第三方服务器中,如位于提供某应用商城的服务器中。在此对具体应用商城不做限制,如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请虽然已以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以利用上述揭示的方法和技术内容对本申请技术方案做出可能的变动和修改,因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本申请技术方案的保护范围。
Claims (12)
1.一种痣的检测方法,其特征在于,包括:
预处理在紫外光波段所拍摄的至少一幅面部图像;其中,所述预处理在紫外光波段所拍摄的至少一幅面部图像的方式包括:利用所述面部图像中痣与皮肤之间的灰度差异,突出包含痣的图像区域的像素灰度;
将预处理后的面部图像进行分块,并确定各图像块的痣分割阈值;其中,所述确定各图像块的痣分割阈值的方式包括:基于各图像块中的像素灰度和大津法阈值算法逐个地确定各图像块的阈值;当一图像块的阈值和预设的补偿值之和大于阈值上限时,将所述阈值上限作为该图像块的痣分割阈值;当一图像块的阈值和预设的补偿值之和小于阈值下限时,将所述阈值下限作为该图像块的痣分割阈值;当一图像块的阈值和预设的补偿值之和在阈值上限和阈值下限的范围内时,将一图像块的阈值和预设的补偿值之和作为该图像块的痣分割阈值;
按照各图像块所对应的痣分割阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选痣的图像区域;其中,所述候选痣的图像区域是基于整幅图像确定的;
从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域;其中,所述从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域的方式包括:基于预设的痣的形状、尺寸、轮廓中的至少一种,从各所述候选痣的图像区域中筛选目标痣的图像区域;其中,基于预设的痣的轮廓从各所述候选痣的图像区域中筛选目标痣的图像区域的方式包括:基于各所述候选痣的图像区域的深度信息从各所述候选痣的图像区域中筛选目标痣的图像区域;具有所述深度信息的面部图像是基于在包含紫外光环境下拍摄的用于三维重建的两幅面部图像生成的;
记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
2.根据权利要求1所述的痣的检测方法,其特征在于,所述将预处理后的面部图像分块,并确定各图像块的痣分割阈值的方式包括:
将预处理后的面部图像按照所划分的图像块进行降采样处理;
以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
3.根据权利要求2所述的痣的检测方法,其特征在于,所述按照各图像块所对应的痣分割阈值对各图像块分别进行过滤的方式包括:
基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对相应图像块进行过滤。
4.一种痣的检测系统,其特征在于,包括:
预处理模块,用于将所获取的基于紫外光波段的面部图像进行灰度预处理;其中,所述预处理模块将所获取的基于紫外光波段的面部图像进行灰度预处理的方式包括:所述预处理模块利用所述面部图像中痣与皮肤之间的灰度差异,突出包含痣的图像区域的像素灰度;
图像提取模块,用于将预处理后的面部图像分块,确定各图像块的痣分割阈值,以及按照各图像块所对应的痣分割阈值对各图像块分别进行过滤以得到所述面部图像中的各候选痣的图像区域;其中,所述候选痣的图像区域是基于整幅图像确定的;其中,所述图像提取模块确定各图像块的痣分割阈值的方式包括:基于各图像块中的像素灰度和大津法阈值算法逐个地确定各图像块的阈值;当一图像块的阈值和预设的补偿值之和大于阈值上限时,将所述阈值上限作为该图像块的痣分割阈值;当一图像块的阈值和预设的补偿值之和小于阈值下限时,将所述阈值下限作为该图像块的痣分割阈值;当一图像块的阈值和预设的补偿值之和在阈值上限和阈值下限的范围内时,将一图像块的阈值和预设的补偿值之和作为该图像块的痣分割阈值;
筛选模块,用于从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域;所述筛选模块从各所述候选痣的图像区域中筛选所述面部图像中的目标痣的图像区域的方式包括:基于预设的痣的形状、尺寸、轮廓中的至少一种,从各所述候选痣的图像区域中筛选目标痣的图像区域;其中,基于预设的痣的轮廓从各所述候选痣的图像区域中筛选目标痣的图像区域的方式包括:基于各所述候选痣的图像区域的深度信息从各所述候选痣的图像区域中筛选目标痣的图像区域;具有所述深度信息的面部图像是所述预处理模块基于摄像模块在包含紫外光环境下拍摄的用于三维重建的两幅面部图像生成的;
记录模块,用于记录目标痣在整个面部图像中的区域信息,所述区域信息与至少一种疾病特征相关联。
5.根据权利要求4所述的痣的检测系统,其特征在于,所述图像提取模块将预处理后的面部图像分块,确定各图像块的痣分割阈值的方式包括:
将预处理后的面部图像按照所划分的图像块进行降采样处理;
以一阈值窗口遍历降采样后图像,在遍历期间将所述阈值窗口内的像素赋值为痣分割阈值。
6.根据权利要求5所述的痣的检测系统,其特征在于,所述图像提取模块按照各图像块所对应的痣分割阈值对各图像块分别进行过滤的方式包括:基于降采样后各像素与所述面部图像中各图像块的位置对应关系,利用赋值后的各像素对所述面部图像中对应图像块进行过滤。
7.一种面部检测设备,其特征在于,包括:
存储装置,用于存储面部图像及用于执行痣的检测方法的程序;
处理装置,与所述存储装置连接,用于执行所述程序以执行如权利要求1-3中任一所述的痣的检测方法。
8.根据权利要求7所述的面部检测设备,其特征在于,还包括:摄像装置,用于摄取面部图像并保存在所述存储装置中。
9.根据权利要求8所述的面部检测设备,其特征在于,还包括:拍摄提示装置,位于摄像装置前,用于提示测试者在所述摄像装置摄取方向的头部摆放。
10.根据权利要求8所述的面部检测设备,其特征在于,还包括:光源装置,用于向测试者提供包含紫外光的拍摄环境。
11.根据权利要求7所述的面部检测设备,其特征在于,还包括:显示装置,用于显示标记了所检测出的痣的图像的面部图像;和/或显示所对应的疾病特征。
12.一种存储介质,其特征在于,存储有面部图像以及用于进行痣的检测的程序;其中,所述程序在被处理器执行时,执行如权利要求1-3中任一种检测方法中的各步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711437393.2A CN109978810B (zh) | 2017-12-26 | 2017-12-26 | 痣的检测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711437393.2A CN109978810B (zh) | 2017-12-26 | 2017-12-26 | 痣的检测方法、系统、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109978810A CN109978810A (zh) | 2019-07-05 |
CN109978810B true CN109978810B (zh) | 2024-03-12 |
Family
ID=67072248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711437393.2A Active CN109978810B (zh) | 2017-12-26 | 2017-12-26 | 痣的检测方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109978810B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070708B (zh) * | 2020-08-21 | 2024-03-08 | 杭州睿琪软件有限公司 | 图像处理方法、图像处理装置、电子设备、存储介质 |
CN113223041B (zh) * | 2021-06-25 | 2024-01-12 | 上海添音生物科技有限公司 | 用于自动提取图像中目标区域的方法、系统及存储介质 |
CN113610806A (zh) * | 2021-08-06 | 2021-11-05 | 云南白药集团上海健康产品有限公司 | 一种隐形炎症的检测方法、电子设备及可读存储介质 |
CN115526901B (zh) * | 2022-09-21 | 2024-04-09 | 吉林农业科技学院 | 一种互联网的大数据图像处理系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009107470A1 (ja) * | 2008-02-27 | 2009-09-03 | 日本電気株式会社 | 黒子識別装置、個人認証装置、方法、及び、プログラム |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
CN102622602A (zh) * | 2012-02-28 | 2012-08-01 | 中国农业大学 | 一种棉花异性纤维图像在线分割方法及系统 |
CN103473571A (zh) * | 2013-09-12 | 2013-12-25 | 天津大学 | 一种人体检测方法 |
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN104537357A (zh) * | 2015-01-13 | 2015-04-22 | 青岛大学 | 一种基于显著性特征的人脸痣检测方法 |
CN105787929A (zh) * | 2016-02-15 | 2016-07-20 | 天津大学 | 基于斑点检测的皮肤疹点提取方法 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
CN106983493A (zh) * | 2017-03-04 | 2017-07-28 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于三光谱的皮肤图像处理方法 |
CN107452002A (zh) * | 2016-05-31 | 2017-12-08 | 百度在线网络技术(北京)有限公司 | 一种图像分割方法及装置 |
CN107456212A (zh) * | 2017-09-06 | 2017-12-12 | 北京宏强富瑞技术有限公司 | 用于皮肤检测的可拍照装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9697618B2 (en) * | 2012-08-17 | 2017-07-04 | Sony Corporation | Image processing apparatus, image processing method, program, and image processing system |
-
2017
- 2017-12-26 CN CN201711437393.2A patent/CN109978810B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009107470A1 (ja) * | 2008-02-27 | 2009-09-03 | 日本電気株式会社 | 黒子識別装置、個人認証装置、方法、及び、プログラム |
CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
CN102622602A (zh) * | 2012-02-28 | 2012-08-01 | 中国农业大学 | 一种棉花异性纤维图像在线分割方法及系统 |
CN103473571A (zh) * | 2013-09-12 | 2013-12-25 | 天津大学 | 一种人体检测方法 |
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN104537357A (zh) * | 2015-01-13 | 2015-04-22 | 青岛大学 | 一种基于显著性特征的人脸痣检测方法 |
CN105787929A (zh) * | 2016-02-15 | 2016-07-20 | 天津大学 | 基于斑点检测的皮肤疹点提取方法 |
CN107452002A (zh) * | 2016-05-31 | 2017-12-08 | 百度在线网络技术(北京)有限公司 | 一种图像分割方法及装置 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
CN106983493A (zh) * | 2017-03-04 | 2017-07-28 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于三光谱的皮肤图像处理方法 |
CN107456212A (zh) * | 2017-09-06 | 2017-12-12 | 北京宏强富瑞技术有限公司 | 用于皮肤检测的可拍照装置 |
Non-Patent Citations (2)
Title |
---|
一种基于肤色的快速人脸检测算法;张宝峰;赵静;朱均超;;微型机与应用(第12期);全文 * |
基于区域生长的极光图像分割方法;王妍;王履程;郑玉甫;雷涛;;计算机工程与应用(第23期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109978810A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978810B (zh) | 痣的检测方法、系统、设备及存储介质 | |
CN110852160B (zh) | 以图像为基准的生物识别系统及计算机实施方法 | |
Shen et al. | Domain-invariant interpretable fundus image quality assessment | |
CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
JP5547730B2 (ja) | 顔検知を用いた顔及び肌の自動美化 | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
EP1918872B1 (en) | Image segmentation method and system | |
JP5818091B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、および、プログラム | |
WO2017203913A1 (ja) | 肌診断装置および肌診断方法 | |
US8983202B2 (en) | Smile detection systems and methods | |
CN108765273A (zh) | 人脸拍照的虚拟整容方法和装置 | |
TW202014984A (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
CN111524080A (zh) | 脸部皮肤特征的识别方法、终端及计算机设备 | |
JP6957929B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
CN110930446B (zh) | 一种眼底图像定量分析的前置处理方法及存储设备 | |
CN109299634A (zh) | 斑检测方法、系统、设备及存储介质 | |
CN102860814B (zh) | 一种oct合成眼底图视盘中心定位方法及设备 | |
EP2818099A1 (en) | Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program | |
JP7355434B2 (ja) | 眼底画像認識方法及び装置並びに設備 | |
CN113128376A (zh) | 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备 | |
KR20230034997A (ko) | 2차원 피부 이미지 분석 시스템 및 분석 방법 | |
CN112800966B (zh) | 一种视线的追踪方法及电子设备 | |
JP2022039984A (ja) | 顔画像から眼の領域を見つけるシステム及び方法 | |
CN115908405B (zh) | 确定眼底特征的方法、装置和电子设备 | |
CN109300105A (zh) | 毛孔检测方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240108 Address after: No. 888, Zhujiang Road, Juegang Town, Rudong County, Nantong, Jiangsu 226400 Applicant after: NANTONG ROBERT MEDICAL TECHNOLOGY Co.,Ltd. Address before: Room 1701, No. 6, Lane 1666, Changning Road, Changning District, Shanghai, 200000 Applicant before: Chai Gang Applicant before: Zhang Yan Applicant before: Li Junyi |
|
GR01 | Patent grant | ||
GR01 | Patent grant |