CN111640097A - 皮肤镜图像识别方法及设备 - Google Patents
皮肤镜图像识别方法及设备 Download PDFInfo
- Publication number
- CN111640097A CN111640097A CN202010455685.4A CN202010455685A CN111640097A CN 111640097 A CN111640097 A CN 111640097A CN 202010455685 A CN202010455685 A CN 202010455685A CN 111640097 A CN111640097 A CN 111640097A
- Authority
- CN
- China
- Prior art keywords
- images
- dermatoscope
- difference
- recognition result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 201000001441 melanoma Diseases 0.000 claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000003902 lesion Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种皮肤镜图像识别方法及设备，所述方法包括：获取同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像，并且其中包含同一感兴趣目标；根据所述两个皮肤镜图像得到差异图像；利用机器学习模型对所述两个皮肤镜图像和所述差异图像进行识别，所述模型包括两个神经网络，其中第一神经网络用于对所述两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据所述差异图像和所述特征差数据得到第二识别结果；根据所述第一识别结果和所述第二识别结果确定关于所述感兴趣目标是否为黑色素瘤的识别结果。
Description
技术领域
本发明涉及医学图像检测领域，具体涉及一种皮肤镜图像识别方法及设备。
背景技术
黑色素瘤是一种致死率最高的皮肤癌。临床诊断过程中，医生通常使用皮肤镜对皮肤病灶进行影像检查，通过观察形状、颜色、大小等结构特征判断其是否属于黑色素瘤，进而给出相应的治疗方案。
目前，临床上通用的皮肤镜标准化诊断法是“ABCD准则”或者“ABCDE准则”，如图1所示，A：形状对称性；B：边界不规则度；C：颜色种类；D：直径大小；E：生长变化程度。其内在机理是良性病灶通常外形呈规则状，颜色分布较为均匀，大小在一定范围之内，且整体特征状态稳定；而黑素瘤则表现相反，且整体形态随时间变化程度较大。因此，根据标准化准则可以给出病灶定量化评估结果。然而，人工检查存在诸多局限性，其诊断准确性易受主观性偏差影响，且严重依赖临床从业者经验。
基于计算机算法的图像识别方案可以在一定程度上缓解人工检查局限性，然而当前黑素瘤自动识别算法只依赖病灶单个图像进行识别，忽略了病灶的变化。图2给出了良性病灶与黑素瘤时间生长稳定程度对比，其中t1-t5表示皮肤镜图像的不同拍摄时间，在这种情况下，对于临界疑似恶性病灶，现有技术难以给出正确结果，皮肤镜图像识别方案的准确性仍有待提高。
发明内容
有鉴于此，本发明提供一种皮肤镜图像识别方法，包括：
获取同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像，并且其中包含同一感兴趣目标；
根据所述两个皮肤镜图像得到差异图像；
利用机器学习模型对所述两个皮肤镜图像和所述差异图像进行识别，所述模型包括两个神经网络，其中第一神经网络用于对所述两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据所述差异图像和所述特征差数据得到第二识别结果；
根据所述第一识别结果和所述第二识别结果确定关于所述感兴趣目标是否为黑色素瘤的识别结果。
可选地，根据所述两个皮肤镜图像得到差异图像，包括：
将两个皮肤镜图像的相应的像素点的值相减得到所述差异图像；
对所述差异图像的像素值进行归一化处理。
可选地，在获取两个皮肤镜图像的步骤中对其进行预处理，所述预处理包括以下至少一种操作：调整图像尺寸、对像素值进行归一化处理、色彩矫正、去除所述感兴趣目标上的噪声信息。
可选地，根据所述第一识别结果和所述第二识别结果确定关于所述感兴趣目标是否为黑色素瘤的识别结果，包括：
对所述第一识别结果和所述第二识别结果取平均；
将平均结果与设定阈值进行比较以确定所述识别结果，其中所述设定阈值是在训练所述机器学习模型的过程中根据训练数据所确定的阈值。
本发明还提供一种皮肤镜图像识别模型训练方法，包括：
获取多个训练数据，所述训练数据包括两个皮肤镜图像及其差异图像，以及用于表示其中同一感兴趣目标的类型的标签信息，所述两个皮肤镜图像是同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的图像；
利用所述多个训练数据对机器学习模型进行训练，所述模型包括两个神经网络，其中第一神经网络用于对所述两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据所述差异图像和所述特征差数据得到第二识别结果；
根据所述第一识别结果、所述第二识别结果与所述标签信息的差异优化所述模型的参数。
可选地，所述差异图像是将所述两个皮肤镜图像的相应的像素点的值相减，并进行归一化处理得到的图像。
可选地，在利用所述多个训练数据对机器学习模型进行训练前，对所述两个皮肤镜图像进行预处理，所述预处理包括以下至少一种操作：调整图像尺寸、对像素值进行归一化处理、色彩矫正、去除所述感兴趣目标上的噪声信息。
可选地，根据所述第一识别结果、所述第二识别结果与所述标签信息的差异优化所述模型的参数，包括：
对所述第一识别结果和所述第二识别结果取平均得到综合识别结果；
根据所述第一识别结果、所述第二识别结果和所述综合识别结果与所述标签信息的差异优化所述模型的参数。
可选地，分别计算根据所述第一识别结果、所述第二识别结果和所述综合识别结果与所述标签信息的损失函数，根据三个损失函数及其对应的权重计算总损失函数，其中所述综合识别结果对应的权重大于所述第一识别结果、所述第二识别结果对应的权重。
可选地，获取多个训练数据，包括：
分别获取多个被测者在至少三个不同的时间针对黑色素瘤接受皮肤镜检查得到的至少三个皮肤镜图像；
分别根据相邻时间的皮肤镜图像确定其差异图像。
可选地，所述第一神经网络与所述第二神经网络之间通过至少一个特征差异提取模块连接，所述特征差异提取模用于提取所述两个皮肤镜图像的特征数据并确定所述特征差数据。
可选地，所述特征差异提取模块有多个，分别对应地连接所述两个神经网络中不同的特征提取层；
所述特征差异提取模块根据所述第一神经网络中的某层提取的特征数据确定特征差数据，并根据该层的特征差数据和所述第二神经网络相应的层提取的特征数据确定所述第二神经网络中的下一层的输入数据。
可选地，所述第二神经网络将对差异图像提取的特征数据和所述特征差数据相加，根据相加结果得到第二识别结果。
相应地，本发明提供一种皮肤镜图像识别设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述皮肤镜图像识别方法。
相应地，本发明提供一种皮肤镜图像识别模型训练设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述皮肤镜图像识别模型训练方法。
根据本发明提供的皮肤镜图像识别模型训练方法及设备，采用的训练数据包括时间序列皮肤镜图像及其感兴趣目标的标签信息、采用的模型中包括两个子网络，其中一个子网络用于学习时间序列图像的空间特征，另一个子网络用于学习时间序列图像的关联特征，通过大量训练数据可使模型综合病灶单时间点图像空间特征以及图像序列间关联信息进行识别决策，从而提高对皮肤镜图像的识别准确性。
根据本发明提供的皮肤镜图像识别方法及设备，获取被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像作为待识别图像，并确定二者的差异图像，然后利用机器学习模型对这三个图像进行识别，模型包括两个子网络，其中一个子网络用于提取两个时间序列图像的空间特征，另一个子网络用于提取这两个时间序列图像的关联特征，模型综合病灶单时间点图像空间特征以及图像序列间关联信息进行识别决策，由此可提高对皮肤镜图像的识别准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为皮肤镜标准化诊断法的示意图；
图2为良性病灶与黑素瘤时间生长稳定程度对比图像；
图3为本发明实施例中的一组训练数据中的图像；
图4为本发明实施例中获取多个训练数据的示意图；
图5为本发明实施例中所使用的一种模型的示意图；
图6为本发明实施例中所使用优选模型的示意图；
图7为本发明实施例中的皮肤镜图像识别方法的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种皮肤镜图像识别模型训练方法，本方法可以由计算机或服务器等电子设备执行，使用训练数据训练一个用于识别皮肤镜图像中的感兴趣目标的机器学习模型，以下所述模型均可以由卷积神经网络组成。
如图3所示，本实施例使用的训练数据包括两个皮肤镜图像x1和x2、二者的差异图像x’1，以及用于表示x1和x2中同一感兴趣目标11的类型的标签信息。皮肤镜图像中的感兴趣目标属于“黑色素瘤”或者“良性病灶”这两类中的一种类型，图3所示x1和x2中的感兴趣目标11为“黑色素瘤”，其标签信息即用于表示此类型。在可选的实施例中，可以对“良性病灶”进一步分类，表达出更具体的良性类型，也即本申请的模型不限于执行二分类任务，进行更多分类也是可行的，主要取决于对训练数据的配置。
一个训练数据中的两个皮肤镜图像是同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的图像，因此可将它们称为时间序列皮肤镜图像。比如x1的拍摄时间是t1、x2的拍摄时间是t2，t1与t2之间可以相差若干天。其中的感兴趣目标11随着检查时间发生了变化，因此差异图像x’1应当能够体现x1和x2中感兴趣目标的差异，这种差异的表达方式有多种。作为优选的实施例，将两个皮肤镜图像的相应的像素点的值相减，并进行归一化处理得到的图像，具体来说在本实施例中是用x2减去x1得到x’1的，其中示出了感兴趣目标的差异12。
为了提高模型的识别能力，应当使用大量真实被测者处于各种阶段的皮肤镜图像所组成的大量训练数据对其进行训练，在使用时能够准确地识别处于各种阶段的感兴趣目标。作为优选的实施例，可以针对某个被测者获取其多次接受皮肤镜检查得到的多个皮肤镜图像。如图4所示，以某个被测者为例，本实施例获取其五个时间序列皮肤镜图像{x1,x2,x3,x4,x5}，这五个图像的拍摄时间均不同，从图中可以看出感兴趣目标的形态和颜色等随着时间不断发生变化。需要强调的是，本方案对时间序列的具体时间间隔没有特定的要求，可以是任意不同的时间。
基于这五个图像，可以进一步根据其中每两个图像确定至少四个差异图像，在本实施例中是根据相邻时间的图像确定的差异图像，即根据x1和x2确定差异图像x’1、根据x3和x2确定差异图像x’2、根据x4和x3确定差异图像x’3、根据x5和x4确定差异图像x’4，由此得到{x’1,x’2,x’3,x’4}这四个差异图像，其中x1、x2、x’1作为第一组训练数据……x5、x4、x’4作为第四组训练数据。或者也可以根据x1和x5确定差异图像组成更多的训练数据等等。
由此，本实施例分别获取多个被测者在至少三个不同的时间针对黑色素瘤接受皮肤镜检查得到的至少三个皮肤镜图像，并分别根据相邻时间的皮肤镜图像确定其差异图像，即可获得大量真实被测者处于各种阶段的皮肤镜图像所组成的大量训练数据。
另外，受到皮肤镜设备、外部环境和人体皮肤表面情况等因素的影响，针对同一被测者多次拍摄的皮肤镜图像在色彩、尺寸和噪声方面可能会有所不同，考虑到这些因素可能对训练模型产生负面影响，在可选的实施例中可以在准备训练数据时对皮肤镜图像及其差异图像进行预处理。
具体地，比如可以首先将各个皮肤镜图像调整至相同大小，并对像素值进行归一化操作；利用颜色平衡算法(如gray world或者Shades-of-Gray)进行色彩矫正，以消除成像过程中光源参数差异影响；采用形态滤波器滤除感兴趣目标表面的人体毛发等噪声；对于差异图像也可以进行归一化处理。
实际使用时可以根据皮肤镜图像的质量选择进行上述预处理中的任一种或多种操作。
在得到大量训练数据后对机器学习模型进行训练，本实施例所使用的模型如图5所示，包括两个神经网络，可以采用目前已有的任何卷积网络模型为基础或另外设计网络结构。第一神经网络21用于对训练数据中的两个皮肤镜图像进行特征提取，其最终输出为第一识别结果，该结果具体可以是用于表示类型的概率值，可将此网络称为空间形态编码网络。第一神经网络21是对两个输入信息提取特征，因此可以分别提取与两个皮肤镜图像相应的两个特征数据(特征向量)，本实施例需要根据这两个特征数据确定特征差数据。以图3所示的训练数据为例，x1和x2作为第一神经网络21的输入，提取对应的特征数据M1和M2，并基于此得到独立的识别结果P1表示其中感兴趣目标属于“黑色素瘤”的概率。特征差数据可表示为M2-M1，即利用时间靠后的皮肤镜图像的特征数据减去时间靠前的皮肤镜图像的特征数据。需要说明的是，本实施例只是为了清楚地说明模型的工作原理而介绍一种可行的特征差数据计算方式，实际情况中计算特征差数据的方式并非只限于将两个特征数据直接相减。
第二神经网络22用于根据差异图像和特征差数据得到第二识别结果，该结果具体可以是用于表示类型的概率值，可将此网络称为时序差异编码网络。以图3所示的训练数据为例，x’1作为第二神经网络22的输入，提取对应的特征数据M’1，并结合M2与M1的差异得到识别结果P2表示其中感兴趣目标属于“黑色素瘤”的概率。
本实施例的模型得到两个识别结果，至少可以根据第一识别结果、第二识别结果与所述标签信息的差异优化模型的参数。比如可分别配置由第一识别结果和标签信息为输入的第一交叉熵损失函数，以及由第二识别结果和标签信息为输入的第二交叉熵损失函数，通过大量的训练数据对该模型进行训练使其参数不断被更新，直至模型性能符合预期为止。
另外，网络直接输出的识别结果为概率值，因此还需要设置一个阈值，当模型输出概率大于该阈值，则判定为属于黑色素瘤，反之则为良性病灶，该阈值可以由人为设定，也可以在使用测试数据测试模型准确性的过程中，根据测试情况确定最佳阈值。
在优选的实施例中，还可对第一识别结果和第二识别结果取平均，得到综合识别结果，即根据P1和P2确定综合识别结果
根据第一识别结果、第二识别结果和综合识别结果与标签信息的差异优化所述模型的参数。由此可以配置由综合识别结果和标签信息为输入的第三交叉熵损失函数，基于三个交叉熵函数所构成的总损失函数更新模型的参数。这三个交叉熵函数可以分别对应不同的权重，其中综合识别结果对应的权重(比如取值为0.4)大于第一识别结果、第二识别结果对应的权重(比如取值相等为0.3)。
根据本发明实施例提供的皮肤镜图像识别模型训练方法，采用的训练数据包括时间序列皮肤镜图像及其感兴趣目标的标签信息、采用的模型中包括两个子网络，其中一个子网络用于学习时间序列图像的空间特征，另一个子网络用于学习时间序列图像的关联特征，通过大量训练数据可使模型综合病灶单时间点图像空间特征以及图像序列间关联信息进行识别决策，从而提高对皮肤镜图像的识别准确性。
为了更进一步提升模型的识别性能，在一个优选的实施例中采用了如图6所示的模型结构。该模型中的第一神经网络21与第二神经网络22之间通过至少一个特征差异提取模块23连接。特征差异提取模23用于提取两个皮肤镜图像的特征数据并确定特征差数据。具体地，本实施例的两个神经网络的结构相同，包括依次连接的多个特征提取层、一个卷积层、一个全局平均池化层、输出值平均层和激活函数层，其中的多个特征提取层是基于ResNet-32的网络结构进行变形得到的。为了简化说明，图6只示出四个特征差异提取模块23进行示例性的说明，第一个特征差异提取模块23连接两个神经网络的第一层……第四个特征差异提取模块23连接两个神经网络的第四层。实际使用时，可以引入更多或更少的特征差异提取模块23分别对应地连接两个神经网络中不同的特征提取层，并且这些模块不一定是设置在连续的层之间。
特征差异提取模块23根据第一神经网络中的某层提取的特征数据确定特征差数据，并根据该层的特征差数据和第二神经网络相应的层提取的特征数据确定第二神经网络中的下一层的输入数据。对于图6所示情况，具体是第一个特征差异提取模块23跟第一神经网络21中的第一层提取的特征数据
和
确定特征差数据
并将其与第二神经网络22中的第一层提取的特征数据将结合，作为第二神经网络22中的第二层的输入数据……第四个特征差异提取模块23跟第一神经网络21中的第四层提取的特征数据
和
确定特征差数据
并将其与第二神经网络22中的第四层提取的特征数据将结合，作为第二神经网络22中的第五层的输入数据。由此可以将特征差异提取模块23得到的特征差数据记为
并分别输入第二神经网络对应的中间层与特征数据进行结合。
关于特征差数据与第二神经网络提取的特征数据的结合，可以采取直接相加的计算方式，即第二神经网络根据其本身提取的特征数据和特征差数据的相加结果得到第二识别结果。
本发明提供一种皮肤镜图像识别方法，使用根据上述方案训练后的模型对皮肤镜图像进行识别，以确定其中感兴趣目标的类型。本方法可以由计算机或服务器等电子设备执行，如图7所示本方法包括如下步骤：
S1，获取被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像，并且其中包含同一感兴趣目标。与训练模型时准备训练数据类似，区别在于识别时没有标签信息，此处不再赘述。需要说明的是，两个皮肤镜图像的拍摄时间可以是相隔任意的时长，本方案不对时间间隔进行限定。
S2，根据两个皮肤镜图像得到差异图像，具体可参照训练方案中图3关于差异图像的介绍，此处不再赘述。
S3，利用机器学习模型对两个皮肤镜图像和差异图像进行识别，本实施例可采用如图5或图6所示以及上述各种可选和优选的方案训练的模型对图像进行识别。模型的第一神经网络用于对两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据差异图像和特征差数据得到第二识别结果。
S4，根据第一识别结果和第二识别结果确定关于感兴趣目标是否为黑色素瘤的识别结果。
比如对第一识别结果和第二识别结果取平均，将平均结果与设定阈值进行比较以确定所述识别结果。其中的阈值可以是人为设定的，也可以是在训练机器学习模型的过程中根据训练数据所确定的所述最佳阈值。
根据本发明实施例提供的皮肤镜图像识别方法，获取被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像作为待识别图像，并确定二者的差异图像，然后利用机器学习模型对这三个图像进行识别，模型包括两个子网络，其中一个子网络用于提取两个时间序列图像的空间特征，另一个子网络用于提取这两个时间序列图像的关联特征，模型综合病灶单时间点图像空间特征以及图像序列间关联信息进行识别决策，由此可提高对皮肤镜图像的识别准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (15)
1.一种皮肤镜图像识别方法，其特征在于，包括：
获取同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的两个皮肤镜图像，并且其中包含同一感兴趣目标；
根据所述两个皮肤镜图像得到差异图像；
利用机器学习模型对所述两个皮肤镜图像和所述差异图像进行识别，所述模型包括两个神经网络，其中第一神经网络用于对所述两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据所述差异图像和所述特征差数据得到第二识别结果；
根据所述第一识别结果和所述第二识别结果确定关于所述感兴趣目标是否为黑色素瘤的识别结果。
2.根据权利要求1所述的方法，其特征在于，根据所述两个皮肤镜图像得到差异图像，包括：
将两个皮肤镜图像的相应的像素点的值相减得到所述差异图像；
对所述差异图像的像素值进行归一化处理。
3.根据权利要求1所述的方法，其特征在于，在获取两个皮肤镜图像的步骤中对其进行预处理，所述预处理包括以下至少一种操作：调整图像尺寸、对像素值进行归一化处理、色彩矫正、去除所述感兴趣目标上的噪声信息。
4.根据权利要求1所述的方法，其特征在于，根据所述第一识别结果和所述第二识别结果确定关于所述感兴趣目标是否为黑色素瘤的识别结果，包括：
对所述第一识别结果和所述第二识别结果取平均；
将平均结果与设定阈值进行比较以确定所述识别结果，其中所述设定阈值是在训练所述机器学习模型的过程中根据训练数据所确定的阈值。
5.一种皮肤镜图像识别模型训练方法，其特征在于，包括：
获取多个训练数据，所述训练数据包括两个皮肤镜图像及其差异图像，以及用于表示其中同一感兴趣目标的类型的标签信息，所述两个皮肤镜图像是同一被测者在不同时间针对黑色素瘤接受皮肤镜检查得到的图像；
利用所述多个训练数据对机器学习模型进行训练，所述模型包括两个神经网络，其中第一神经网络用于对所述两个皮肤镜图像进行特征提取，得到第一识别结果，并在特征提取过程中确定特征差数据，第二神经网络用于根据所述差异图像和所述特征差数据得到第二识别结果；
根据所述第一识别结果、所述第二识别结果与所述标签信息的差异优化所述模型的参数。
6.根据权利要求5所述的方法，其特征在于，所述差异图像是将所述两个皮肤镜图像的相应的像素点的值相减，并进行归一化处理得到的图像。
7.根据权利要求6所述的方法，其特征在于，在利用所述多个训练数据对机器学习模型进行训练前，对所述两个皮肤镜图像进行预处理，所述预处理包括以下至少一种操作：调整图像尺寸、对像素值进行归一化处理、色彩矫正、去除所述感兴趣目标上的噪声信息。
8.根据权利要求5所述的方法，其特征在于，根据所述第一识别结果、所述第二识别结果与所述标签信息的差异优化所述模型的参数，包括：
对所述第一识别结果和所述第二识别结果取平均得到综合识别结果；
根据所述第一识别结果、所述第二识别结果和所述综合识别结果与所述标签信息的差异优化所述模型的参数。
9.根据权利要求8所述的方法，其特征在于，分别计算根据所述第一识别结果、所述第二识别结果和所述综合识别结果与所述标签信息的损失函数，根据三个损失函数及其对应的权重计算总损失函数，其中所述综合识别结果对应的权重大于所述第一识别结果、所述第二识别结果对应的权重。
10.根据权利要求5所述的方法，其特征在于，获取多个训练数据，包括：
分别获取多个被测者在至少三个不同的时间针对黑色素瘤接受皮肤镜检查得到的至少三个皮肤镜图像；
分别根据相邻时间的皮肤镜图像确定其差异图像。
11.根据权利要求1-10中任一项所述的方法，其特征在于，所述第一神经网络与所述第二神经网络之间通过至少一个特征差异提取模块连接，所述特征差异提取模用于提取所述两个皮肤镜图像的特征数据并确定所述特征差数据。
12.根据权利要求11所述的方法，其特征在于，所述特征差异提取模块有多个，分别对应地连接所述两个神经网络中不同的特征提取层；
所述特征差异提取模块根据所述第一神经网络中的某层提取的特征数据确定特征差数据，并根据该层的特征差数据和所述第二神经网络相应的层提取的特征数据确定所述第二神经网络中的下一层的输入数据。
13.根据权利要求1-10中任一项所述的方法，其特征在于，所述第二神经网络将对差异图像提取的特征数据和所述特征差数据相加，根据相加结果得到第二识别结果。
14.一种皮肤镜图像识别设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-4、11-13中任意一项所述的皮肤镜图像识别方法。
15.一种皮肤镜图像识别模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求5-13中任意一项所述的皮肤镜图像识别模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455685.4A CN111640097B (zh) | 2020-05-26 | 2020-05-26 | 皮肤镜图像识别方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455685.4A CN111640097B (zh) | 2020-05-26 | 2020-05-26 | 皮肤镜图像识别方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640097A true CN111640097A (zh) | 2020-09-08 |
| CN111640097B CN111640097B (zh) | 2023-10-17 |
Family
ID=72331487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010455685.4A Active CN111640097B (zh) | 2020-05-26 | 2020-05-26 | 皮肤镜图像识别方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640097B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785562A (zh) * | 2021-01-13 | 2021-05-11 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型进行评估的系统和相关产品 |
| CN112884706A (zh) * | 2021-01-13 | 2021-06-01 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型的图像评估系统和相关产品 |
| CN115036028A (zh) * | 2022-06-20 | 2022-09-09 | 宁波大学医学院附属医院 | 基于皮肤镜的模型构建方法、数据处理方法及装置和设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170287134A1 (en) * | 2016-03-31 | 2017-10-05 | International Business Machines Corporation | Annotation of skin image using learned feature |
| CN107909566A (zh) * | 2017-10-28 | 2018-04-13 | 杭州电子科技大学 | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 |
| CN110852396A (zh) * | 2019-11-15 | 2020-02-28 | 苏州中科华影健康科技有限公司 | 一种宫颈图像的样本数据处理方法 |
-
2020
- 2020-05-26 CN CN202010455685.4A patent/CN111640097B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170287134A1 (en) * | 2016-03-31 | 2017-10-05 | International Business Machines Corporation | Annotation of skin image using learned feature |
| CN107909566A (zh) * | 2017-10-28 | 2018-04-13 | 杭州电子科技大学 | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 |
| CN110852396A (zh) * | 2019-11-15 | 2020-02-28 | 苏州中科华影健康科技有限公司 | 一种宫颈图像的样本数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李航;余镇;倪东;雷柏英;汪天富;: "基于深度残差网络的皮肤镜图像黑色素瘤的识别" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785562A (zh) * | 2021-01-13 | 2021-05-11 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型进行评估的系统和相关产品 |
| CN112884706A (zh) * | 2021-01-13 | 2021-06-01 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型的图像评估系统和相关产品 |
| CN115036028A (zh) * | 2022-06-20 | 2022-09-09 | 宁波大学医学院附属医院 | 基于皮肤镜的模型构建方法、数据处理方法及装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640097B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cerentini et al. | Automatic identification of glaucoma using deep learning methods | |
| CN111640097B (zh) | 皮肤镜图像识别方法及设备 | |
| US8315440B2 (en) | System and method for animal identification using iris images | |
| US20210133473A1 (en) | Learning apparatus and learning method | |
| Rajan et al. | Diagnosis of cardiovascular diseases using retinal images through vessel segmentation graph | |
| CN111553436A (zh) | 训练数据生成方法、模型训练方法及设备 | |
| CN111563910B (zh) | 眼底图像分割方法及设备 | |
| Bourbakis | Detecting abnormal patterns in WCE images | |
| CN106530294A (zh) | 一种对睑板腺图像进行处理以获得腺体参数的信息的方法 | |
| Hernandez-Ortega et al. | A comparative evaluation of heart rate estimation methods using face videos | |
| CN115969369A (zh) | 一种大脑任务负荷识别方法、应用及设备 | |
| Putra et al. | Retracted: Identification of Heart Disease With Iridology Using Backpropagation Neural Network | |
| Marusina et al. | Automatic analysis of medical images based on fractal methods | |
| CN112741651B (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| CN111640127A (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| Putri et al. | Retracted: Implementation of Neural Network Classification for Diabetes Mellitus Prediction System through Iridology Image | |
| CN112330603B (zh) | 基于软组织表面形变估计组织内部目标运动的系统与方法 | |
| CN115239695A (zh) | 一种基于时序图像的肺结节识别系统及方法 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| Agafonova et al. | Meningioma detection in MR images using convolutional neural network and computer vision methods | |
| Carnimeo et al. | Retinal vessel extraction by a combined neural network–wavelet enhancement method | |
| Anggraeni et al. | Detection of the emergence of exudate on the image of retina using extreme learning machine method | |
| Paul et al. | Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization | |
| Relan et al. | Robustness of Fourier fractal analysis in differentiating subgroups of retinal images | |
| CN117437392B (zh) | 交叉韧带止点标记及其模型训练的方法和关节镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yu Zhen Inventor after: Cheng Xuelian Inventor after: Ju Lie Inventor after: Wang Xin Inventor after: Xiong Jianhao Inventor after: Ge Zongyuan Inventor after: Zhao Xin Inventor after: He Chao Inventor after: Zhang Dalei Inventor before: Yu Zhen Inventor before: Chen Xuelian Inventor before: Ju Lie Inventor before: Wang Xin Inventor before: Xiong Jianhao Inventor before: Ge Zongyuan Inventor before: Zhao Xin Inventor before: He Chao Inventor before: Zhang Dalei |