CN111275703A - 图像检测方法、装置、计算机设备和存储介质 - Google Patents
图像检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111275703A CN111275703A CN202010125645.3A CN202010125645A CN111275703A CN 111275703 A CN111275703 A CN 111275703A CN 202010125645 A CN202010125645 A CN 202010125645A CN 111275703 A CN111275703 A CN 111275703A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- skin damage
- characteristic information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 430
- 230000037380 skin damage Effects 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 34
- 206010040882 skin lesion Diseases 0.000 claims abstract description 30
- 231100000444 skin lesion Toxicity 0.000 claims abstract description 30
- 238000011156 evaluation Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000006735 deficit Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 4
- 208000017520 skin disease Diseases 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 14
- 206010040844 Skin exfoliation Diseases 0.000 description 10
- 201000004681 Psoriasis Diseases 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 206010015150 Erythema Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 231100000321 erythema Toxicity 0.000 description 3
- 230000008595 infiltration Effects 0.000 description 3
- 238000001764 infiltration Methods 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Abstract
本申请涉及一种图像检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测图像；对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。采用本方法能够有效提高皮肤病图像检测结果准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，可以通过计算机程序对疾病图像进行检测。例如，可以通过神经网络模型对皮肤病图像进行检测。但是传统的神经网络模型通常只是得到一个总体检测分数，而皮肤病图像需要从多个不同的维度进检测，由此导致检测结果不能准确反映皮肤受损的真实状态。而且传统的神经网络模型容易引入大量噪声，使得检测结果准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效提高皮肤病图像检测结果准确性的图像检测方法、装置、计算机设备和存储介质。
一种图像检测评估图像检测方法，所述方法包括：
获取待检测图像；
对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；
利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；
通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
一种图像检测装置，所述装置包括：
获取模块，用于获取待检测图像；
定位模块，用于对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
检测模块，用于将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测图像；
对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；
利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；
通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测图像；
对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；
利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；
通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
上述图像检测方法、装置、计算机设备和存储介质，通过对待检测图像中的皮损部位进行定位，可以准确得到检测目标。利用检测目标生成与检测维度对应的掩膜图，通过检测模型中的多个卷积组层对待检测图像进行运算，得到与检测维度对应的皮损特征信息图。通过检测模值中的检测子网络对掩膜图与皮损特征信息图进行融合，能够得到每个检测维度的检测分数，从而可以有效反映皮肤受损的真实状态。通过全连接层对各个检测维度的检测分数进行叠加，从而得到与待检测图像对应的完整的检测结果，有效提高了待检测图像的检测准确性。
附图说明
图1为一个实施例中图像检测方法的应用环境图；
图2为一个实施例中终端上传待检测图像的示意图；
图3为一个实施例中检测结果在终端展示的示意图；
图4为一个实施例中图像检测方法的流程示意图；
图5为一个实施例中待检测图像的评估过程和检测结果的示意图；
图6为一个实施例中检测模型的训练过程的流程示意图；
图7为一个实施例中孪生网络的训练示意图；
图8为一个实施例中对皮损部位定位后生成的不同尺寸比例的掩膜图；
图9为一个实施例中检测子网络示意图；
图10为一个实施例中图像检测装置的结构框图；
图11为另一个实施例中图像检测装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102向服务器104上传待检测图像，待检测图像可以是皮肤病图像。服务器104上运行了预先训练的神经网络，包括定位模型和检测模型。服务器104通过定位模型对待检测图像中的皮损部位进行定位，与检测维度对应的掩膜图。服务器104将待检测图像输入检测模型，得到与检测维度对应的皮损特征信息图。服务器104利用检测模型对皮损特征信息图与掩膜图进行融合，计算得到各个检测维度对应的检测分数，通过检测模型的全连接层对各个检测维度的检测分数进行叠加操作，输出与待预测图像对应的检测结果。服务器104将该检测结果返回至终端102。
本申请还另外提供一种应用场景，该应用场景应用上述的图像检测方法。具体地，该图像检测方法在该应用场景的应用如下。用户可以利用终端的应用程序，或者母程序上运行的子程序拍摄身体部位的图像作为待检测图像。通过终端的图像上传页面，上传待检测图像，通过该图像上传页面，可以上传同一身体部位的一张或多张待检测图像，也可以上传不同身体部位的多张待检测图像。其中，多张是两张或两张以上。身体部位包括头部、上肢、躯干和下肢。上传待检测图像的示意图可以如图2所示。服务器采用采用上述实施例中提供的方式对待检测图像进行检测，输出与各个检测维度对应的检测结果，将检测结果返回至终端。检测结果在终端展示的示意图如图3所示。在图3中包括总的检测分数以及各个检测维度的检测分数。其中，每个身体部位的待检测图像都可以展示各个检测维度的检测分数。
在一个实施例中，如图4所示，提供了一种图像检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤402，获取待检测图像。
待检测图像可以是皮肤病图像。待检测图像可以是患者通过终端上传至服务器的，也可以是诊疗设备上传至服务器。待检测图像可以是一张也可以是两张或两张以上。为了简洁描述，两张或两张以上可以简称为多张。每张待检测图像可以呈现不同身体部位的病症。例如，终端可以上传头部、上肢、躯干、下肢的皮肤病图像。终端上传的方式可以包括多种。其中，终端可以通过浏览器访问服务器，通过浏览器上传一张或多张待检测图像。终端上还可以按照了应用程序，通过应用程序向服务器上传一张或多张待检测图像。进一步的，应该程序可以作为母程序，还可以运行相应的子程序，终端可以通过子程序上传一张或多张待检测图像。
步骤404，对待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图。
服务器中运行了多种神经网络模型，包括定位模型和检测模型。服务器可以利用定位模型对待检测图像中的皮损部位进行定位。其中，皮损部位是指因皮肤病导致的皮肤受损部位。同一待检测图像中可以包括至少一处皮损部位。不同待检测图像中的皮损部位不同。服务器将待检测图像输入定位模型，定位模型利用backbone网络提取初始皮损特征，将初始皮损特征经过FPN算法生成不同粒度的皮损特征信息图。由于待检测图像中每个皮损部位的面积不同，定位框的尺寸也不同。通过RPN算法对不同粒度的特征图利用不同尺寸的定位框进行定位。定位框中所框出的皮损部位即为检测目标。
皮肤病图像需要通过多个检测维度进行检测，才能准确反映皮损状况。为了有效提高评估准确性，服务器可以根据检测维度利用定位后的皮损部位(即检测目标)生成不同尺寸比例的掩膜图。以皮肤病中的银屑病为例，检测维度包括红斑、鳞屑、浸润等维度，不同的检测维度可以对应不同尺寸比例的掩膜图。
步骤406，将待检测图像输入检测模型，通过检测模型中的多个卷积组层进行运算，得到与检测维度对应的皮损特征信息图。
检测模型可以是采用孪生网络的结构进行训练后所得到的。在训练时，可以采用完全相同的检测模型结构生成孪生网络，两个检测模型可以采用不同的样本图像进行训练，由此使得训练后的检测模型能够有效提高对待检测图像的皮损评估的一致性。从而避免不同医生对同一待检测图像给出不同检测结果的情形。
检测模型包括卷积层、池化层和卷积组层。其中，卷积层包括多个，卷积组层(即卷积Block层)也包括多个，多个是指两个或两个以上。卷积层的数量与卷积组层的数量可以相同也可以不同。检测模型利用卷积层、池化层、多个卷积组层对待检测图像进行深度学习，得到与各个检测维度对应的皮损特征信息图。
步骤408，利用检测模型中的检测子网络对皮损特征信息图与掩膜图进行融合，计算得到各个检测维度对应的检测分数。
步骤410，通过检测模型的全连接层对各个检测维度的检测分数进行叠加操作，输出与待预测图像对应的检测结果。
检测模型中包括检测子网络，服务器根据检测维度获取对应的掩膜图，通过检测子网络对掩膜图与相应的皮损特征信息图进行融合，通过检测子网络的深度学习输出与检测维度对应的检测分数。通过掩膜图与相应的皮损特征信息图进行融合，可以视为在空间级别对待检测图像进行了一次注意力约束，能够有效提高皮损特征信息提取的精度。检测子网络输出与检测维度对应的检测分数之后，还可以经过全连接层，对各个检测维度的检测分数进行叠加，从而得到与待检测图像对应的完整的检测分数。
以待检测图像为银屑病图像为例，待检测图像的评估过程和检测结果的示意图如图5所示。图5中输入的待检测图像中包括皮损部位，通过检测网络对皮损部位进行定位，可以得到与检测维度对应的掩膜图。待检测图像与掩膜图融合后，经过检测模型的深度学习，可以得到红斑、鳞屑、浸润等检测维度对应的检测结果。
本实施例中，通过对待检测图像中的皮损部位进行定位，可以准确得到检测目标。利用检测目标生成与检测维度对应的掩膜图，通过检测模型中的多个卷积组层对待检测图像进行运算，得到与检测维度对应的皮损特征信息图。通过检测模值中的检测子网络对掩膜图与皮损特征信息图进行融合，能够得到每个检测维度的检测分数，从而可以有效反映皮肤受损的真实状态。通过全连接层对各个检测维度的检测分数进行叠加，从而得到与待检测图像对应的完整的检测结果，有效提高了待检测图像的检测准确性。
在一个实施例中，如图6所示，检测模型的训练过程包括：
步骤602，通过第一评估网络模型和第二评估网络模型建立孪生网络；第一评估网络模型、第二评估网络模型和检测模型相同。
步骤604，利用第一样本图像对第一评估网络模型进行训练，输出与第一样本图像对应的第一检测结果。
步骤606，利用第二样本图像对第二评估网络模型进行训练，输出与第二样本图像对应的第二检测结果。
步骤608，根据第一检测结果与第二检测结果进行比较，利用比较结果对检测模型的训练参数进行修正。
通过两个相同的检测模型搭建孪生网络。孪生网络中的两个检测模型可以分别称为第一检测模型和第二检测模型。在训练过程中，输入第一检测模型的样本图像和输入第二检测模型的样本图像可以相同，也可以不同。第一检测模型的训练过程与第二检测模型的训练过程相同，训练过程以第一检测模型为例进行说明。
服务器利用第一检测模型中的卷积层、池化层、卷积组层对样本图像进行卷积计算，得到与各个检测维度对应的皮损特征信息图。由于在卷积组层进行深度学习的过程中，经过的卷积组层越多，所提取到的皮损特征信息越少。因此，为了有效提高待检测图像评估的准确性，可以根据检测维度所需的皮损特征信息的数量来确定不同卷积组层所输出的皮损特征信息图与检测维度的对应关系。在计算皮损特征信息的同时，还可以利用上一个卷积组层的皮损特征信息与下一个卷积组层的皮损特征信息分别经过卷积层运算后，进行叠加，生成与检测维度对应的皮损特征信息图。其中，第一卷积组层在运算之后，得到第一皮损特征信息，利用第一皮损特征信息与第二卷积层组进行运算，得到第二皮损特征信息。不同的皮损特征信息对应不同的检测维度。以此类推，直至得到所有检测维度对应的皮损特征信息。从而通过第一检测模型的深度学习，能够准确提取到与检测维度对应的皮损特征信息。
可以理解，上一个卷积组层的皮损特征信息可以是第一皮损特征信息、第二皮损特征信息等，下一个卷积组层的皮损特征信息可以是第二皮损特征信息、第三皮损特征信息等。对于最后的卷积组层的皮损特征信息由于不存在下一个卷积组层的皮损特征信息，可以只利用自身的皮损特征信息进行卷积计算生成相应的皮损特征信息图。
评估网络中包括检测子网络，服务器根据检测维度获取对应的掩膜图，通过检测子网络对掩膜图与相应的皮损特征信息图进行融合，输出与检测维度对应的检测分数。在检测子网络输出与检测维度对应的检测分数之后，还可以经过全连接层，对各个检测维度的检测分数进行叠加，从而得到与待检测图像对应的完整的检测分数。
样本图像在每个检测维度预先设定了真实分数。经过第一检测模型输出的分数可以称为第一预测分数，经过第二检测模型输出的分数可以称为第二预测分数。服务器针对每个检测维度对应的第一预测分数、第二预设分数以及真实分数，计算整个孪生网络的损失函数值。
在其中一个实施例中，利用第一检测结果与第二检测结果进行比较包括：利用第一检测结果与第二检测结果计算与各个检测维度对应的损失函数值；获取各个检测维度对应的损失系数；利用各个检测维度对应的损失函数值与损失系数，计算孪生网络对应的总损失函数值。
其中，每个检测维度预设了对应的损失系数。通过利用损失函数计算每个检测维度对应的损失函数值，将各个检测维度的损失函数值、损失系数进行累加计算，得到整个孪生网络的总损失函数值。
例如，损失函数可以采用如下公式(1)进行计算
其中，|x|＝|y1–y2|，y1为样本图像的预测分数，y2为样本图像的真实分数。
以样本图像包括四个检测维度为例，整个孪生网络的损失函数值可以采用如下公式(2)进行计算：
L＝αL1+βL2+γL3+δL4 (2)
其中，L为孪生网络的总损失函数值，L1、L2、L3、L4分别为四个检测维度的损失函数值，α、β、γ、δ分别为L1、L2、L3、L4的损失系数。
服务器利用整个孪生网络的损失函数值(也可以成为总损失函数值)对孪生网络进行反馈。通过损失函数值可以对第一检测模型的预测结果与第二检测模型的预测结果进行比较，根据比较结果对孪生网络的训练参数进行修正，从而提高检测模型训练的准确性。
在传统方式中，如果通过神经网络得到每个检测维度的检测分数，通常会被定为分类问题。而分类问题一般采用的损失函数是交叉熵，可能出现样本图像的真实结果与模型训练的预测结果完全不同，但是损失函数值相同的情形，由此导致模型训练的准确性受到影响。本实施例中，通过构建孪生网络，利用不同检测维度的损失函数值进行累加得到总损失函数值，对于同一张样本图像预测出不同检测分数时，相对应的损失函数值也不会相同，对整个孪生网络的反馈也更正确，从而能够有效提高训练的准确性。
以样本图像为银屑病图像为例，孪生网络的训练示意图如图7所示。第一检测模型的输入的第一样本图像为躯干部位的样本图像，第二检测模型的输入的第二样本图像为下肢部位的样本图像。检测维度分别表示为P1、P2、P3、P4。第一检测模型和第二检测模型均包括卷积层、池化层和卷积组层。卷积组中包括1╳1卷积、3╳3卷积、1╳1卷积。第一卷积组层中卷积组的循环次数为3、第二卷积组层中卷积组的循环次数为4、第三卷积组层中卷积组的循环次数为23、第四卷积组层中卷积组的循环次数为3。可以在待检测图像的评估准确性和算力之间达到较好的平衡。通过上述训练方式可以分别得到第一样本图像与第二样本图像在P1、P2、P3、P4的检测分数。经过全连接层，对各个检测维度的检测分数进行叠加，得到与第一样本图像对应的完整的检测分数，以及与第二样本图像对应的完整的检测分数。利用第一检测模型的检测分数与第二检测模型的检测分数计算孪生网络的总损失函数值，根据该总损失函数值对孪生网络的网络参数进行修正。经过训练，检测模型对待检测图像的预测评估时间相比医生评估时间大幅度缩短，可以从医生评估的30分钟缩短到1～2分钟，与医生评估的一致性也得到有效提高，可以达到81.1％。训练后的检测模型不仅能够方便病人对病情进行自我监控，也可以为医生提供有效的诊断辅助。
本实施例中，采用孪生网络进行训练时，不仅利用了样本图像的分数，同时引入了两张样本图像的皮损严重程度的比较结果对孪生网络进行训练，由此能够有效提高皮损评估的一致性。而且使用孪生网络可以扩充样本数量的数据量，原有的样本集中的样本图像可以任意两两配对作为孪生网络的输入，使得原有样本集的数据量从N提高到
在一个实施例中，利用定位后的皮损部位生成与检测维度对应的掩膜图包括：获取皮损部位对应的定位框；定位框中包括中心点和其他点；获取中心点的像素值，根据中心点的像素值计算定位框中其他点的像素值；利用每个定位框中中心点的像素值与其他点的像素值生成与待检测图像对应的掩膜图。
对待测图片中的皮损部位进行定位检测之后，可以通过定位框在待测图片中对皮损部位进行标识。不同面积的皮损部位，定位框的大小不同。服务器可以根据定位框中的皮损部位生成与待检测图像对应的掩膜图。掩膜图可以是灰度图。在传统的方式中，灰度图采用0和1进行标识，即定位框中的灰度为0，定位框外的灰度为1。但是由于不同的皮损部位存在不同的颜色和状态，这种传统的方式并不能真实反映皮损部位的形态。为了提高图像检测的准确性，服务器可以将定位框中每个点采用不同的像素值进行表示。定位框中的点包括中心点和其他点。其中，服务器将每个定位框中的中心点的像素值设为预设值，例如该预设值可以是1。定位框中的其他点(i,j)的像素值Di,j按照高斯核递减。具体的递减方式可以参照如下公式(3)
其中，Px,Py为中心点的坐标，x，j为其他点的坐标，σ为高斯系数。
服务器利用定位框中每个点的像素值生成定位框对应的定位点，利用每个定位框对应的定位点生成与待检测图像对应的掩膜图。当需要从多个检测维度对待检测图像进行打分预测时，还需要生成与每个检测维度对应的掩膜图。其中，服务器可以根据检测维度获取对应的尺寸比例，利用尺寸比例生成检测维度所需的掩膜图。如图8所示，对皮损部位定位后生成的不同尺寸比例的掩膜图。其中，尺寸比例可以采用stride表示，分别为8、16、32、64。通过不同的掩膜图可以与不同的检测维度的皮损特征信息图进行结合，从而能够有效提高待检测图像检测的准确性。
在一个实施例中，将待检测图像输入检测模型，通过检测模型中的多个卷积组层进行运算，得到与检测维度对应的皮损特征信息图包括：通过检测模型中的卷积层、池化层、多个卷积组层对待检测图像进行深度卷积运算，提取与卷积组层对应的皮损特征信息；获取与卷积组层对应的检测维度；利用下一个卷积组层对应的皮损特征信息对上一个卷积组层对应的皮损特征信息进行反馈，生成与各个检测维度对应的皮损特征信息图。
检测模型包括卷积层、池化层和卷积组层。其中，卷积层包括多个，卷积组层也包括多个，多个是指两个或两个以上。卷积层的数量与卷积组层的数量可以相同也可以不同。服务器利用卷积层、池化层、卷积组层对待检测图像进行深度卷积运算，得到与检测维度对应的皮损特征信息图。其中，第一卷积组层在运算之后，得到第一皮损特征信息，利用第一皮损特征信息与第二卷积层组进行运算，得到第二皮损特征信息。不同的卷积层组可以对应不同的检测维度，由此可以使得不同的皮损特征信息对应不同的检测维度。以此类推，直至得到所有检测维度对应的皮损特征信息。为了有效提取与检测维度对应的皮损特征信息，提高待检测图像评估检测的准确性，卷积组层可以利用卷积组进行循环运算，提取皮损特征信息。可以理解，对于最后的卷积组层的皮损特征信息由于不存在下一个卷积组层的皮损特征信息，可以只利用自身的皮损特征信息进行卷积计算生成相应的皮损特征信息图。
通过检测模型对第一皮损特征信息进行卷积计算，以及对第二皮损特征信息进行卷积计算后，利用第二皮损特征信息对第一皮损特征信息进行反馈，生成与第一检测维度对应的第一皮损特征信息图。其中，反馈的方式可以是将第二皮损特征信息于第一皮损特征信息进行叠加。
在其中一个实施例中，利用下一个卷积组层对应的皮损特征信息对上一个卷积组层对应的皮损特征信息进行反馈包括：对下一个卷积组层对应的皮损特征信息进行上采样；利用上采样后的皮损特征信息与上一个卷积组层对应的皮损特征信息进行叠加，生成与检测维度对应的皮损特征信息图。
为了进一步提高皮损特征信息图的准确性，检测模型还可以对第二皮损特征信息的卷积计算结果进行上采样，利用上采样结果与第一皮损特征信息的卷积计算结果进行叠加，生成与第一检测维度对应的第一皮损特征信息图。依次类推，生成与每一个检测维度对应的皮损特征信息图。
以皮肤病中的银屑病为例进行说明。待检测图像为银屑病图像，可以通过四个检测维度对银屑病图像进行评估检测。预先训练的神经网络中包含的卷积组层可以是四层。服务器将待检测图像经过第一层卷积组层计算、池化层计算以及第一层卷积组层计算，得到第一皮损特征信息，利用第一皮损特征信息经过第二卷积组层进行计算，得到第二皮损特征信息，利用第二皮损特征信息经过第三卷积组层进行计算，得到第三皮损特征信息，利用第三特征新经过第四卷积组层进行计算，得到第四皮损特征信息。其中，第一卷积组层、第二卷积组层、第三卷积组层、第四卷积组层中的卷积组相同，卷积组中包括1╳1卷积、3╳3卷积、1╳1卷积。第一卷积组层、第二卷积组层、第三卷积组层、第四卷积组层中卷积组的循环次数部分相同。卷积组的循环次数不同，对待检测图像的评估准确性和服务器的算力平衡之间会产生不同的差异。例如，第一卷积组层中卷积组的循环次数为3、第二卷积组层中卷积组的循环次数为4、第三卷积组层中卷积组的循环次数为23、第四卷积组层中卷积组的循环次数为3。可以在待检测图像的评估准确性和算力之间达到较好的平衡。
本实施例中，由于待检测图像通过不同的卷积组层进行深度卷积运算，由此能够有效提取不同的皮损特征信息，生成不同检测维度对应的皮损特征信息图，经过皮损特征信息图与对应尺寸比例的掩膜图进行融合，从而能够有效提高不同检测维度的评估准确性。
在一个实施例中，利用检测模型中的检测子网络对皮损特征信息图与掩膜图进行融合，计算得到各个检测维度对应的检测分数包括：根据检测维度加载对应的掩膜图与皮损特征信息图，将掩膜图与皮损特征信息图相乘，得到检测子网络的输入向量；通过检测子网络将输入向量经过多个卷积层以及叠加层，得到叠加后的皮损特征信息图；通过检测子网络将输入向量经过SEBlock层，得到对应的特征系数；通过对叠加后的皮损特征信息图与特征系数进行仿式变换，输出与检测维度对应的分数。
服务器根据检测维度将对应的掩膜图与皮损特征信息图相乘，生成检测子网络的输入向量。可以视为在空间级别对待检测图像进行了一次注意力约束，能够有效提高皮损特征信息提取的精度。
检测子网络中包括多个卷积层和SE Block层。检测子网络对该输入向量通过多个卷积层操作进行皮损特征提取，同时将该该输入向量经过SE Block层进行计算每一个卷积层对应的特征系数。其中，每一层卷积层的卷积结构可以完全不同，也可以部分相同。利用每一层卷积层提取的皮损特征信息图与对应的特征系数进行叠加计算，得到叠加后的皮损皮损特征信息图。由于皮肤病的皮损特征可能跟通道相关，因此通过SE Block层能够对每一层卷积层中提取的皮损特征进行一次通道级别的注意力约束，从而能够有效提高皮损特征提取的精度。通过对叠加后的皮损特征信息图与特征系数进行仿式变换，输出与检测维度对应的分数。
为了进一步提高皮损特征提取的精度，同一检测维度的皮损特征信息图与掩膜图的尺寸比例相同。例如，银屑病图像的检测维度中，待检测图像的原始尺寸为1024*1024，红斑、鳞屑、浸润等维度对应的皮损特征信息图与掩膜图的尺寸可以分别为256*256、128*128、64*64等。由于同一检测维度的皮损特征信息图与掩膜图的尺寸比例相同，由此能够更好的融合，从而有效提高皮损特征提取的精度。
在其中一个实施例中，通过对叠加后的皮损特征信息图与特征系数进行仿式变换，输出与检测维度对应的分数包括：获取与待检测图像对应的多个预设策略及策略权值；通过叠加后的皮损特征信息图与特征系数进行多次仿式变换，根据预设策略得到对应的策略分数；利用策略分数与策略权值进行累加，生成与检测维度对应的分数。根据皮肤病医生的角度，皮损的严重程度会根据最严重的皮损位置进行评分，因此为了有效提高评分的准确性，可以通过不同的预设策略进行结合。例如，对于叠加后的皮损特征信息图可以计算皮损特征的最大值、皮损特征的平均值以及皮损特征的总和。检测子网络利用叠加后的皮损皮损特征信息图以及SE Block输出的特征系数，进行多次仿式变换，根据预设策略输出对应的策略分数。不同的预设策略可以具有对应的策略权值，策略权值是在检测模型训练过程中通过自动学习得到的。通过将多种策略分数、对应策略权值进行累加，生成与检测维度对应的分数。
在其中一个实施例中，检测子网络可以如图9所示。检测子网络的输入向量可以称为融合后的皮损特征信息图。评估自网络中包括4层卷积层和1层SEBlock层。其中，每一层卷积层可以部分相同。例如，第一层卷积层为1╳1卷积，第二层卷积层为3╳3卷积、1╳1卷积，第三层卷积层为5╳5卷积、1╳1卷积，第四层卷积层为卷积池、1╳1卷积。检测子网络将输入向量同时输入4层卷积层进行皮损特征提取，以及同时输出SE Block层，对每一层卷积层提取的皮损特征进行通道级别的注意力约束。检测子网络利用叠加后的皮损皮损特征信息图以及SE Block输出的特征系数，进行多次仿式变换，根据预设策略输出对应的处理结果。其中，仿式变换的公式可以如下公式(4)：
其中uc是叠加后的皮损皮损特征信息图，
是对uc进行一次avg pooling操作(一种特征信息的下采样操作)。H是叠加后的皮损皮损特征信息图的长，W是叠加后的皮损皮损特征信息图的宽，w1是relu仿式变换的系数，w2是sigmoid仿式变换的系数，δ是relu仿式变换，σ是sigmoid仿式变换
经过公式(2)的计算之后，可以根据预设策略输出对应的策略分数。不同的预设策略对应的策略分数不同。通过将多种策略分数、对应策略权值进行累加，生成与检测维度对应的分数。本实施例中，由于是根据皮肤病医生的角度制定的预设策略，由此使得检测子网络经过深度学习后，能够通过不同预设策略的策略分数得到每个检测维度的检测分数，从而使得检测分数能够更加有效的反映皮肤受损的真实状态，提高评估的准确性。
应该理解的是，虽然图4、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4、6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种图像检测装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1002、定位模块1004和检测模块1006，其中：
获取模块1002，用于获取待检测图像。
定位模块1004，用于对待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图。
检测模块1006，用于将待检测图像输入检测模型，通过检测模型中的多个卷积组层进行运算，得到与检测维度对应的皮损特征信息图；利用检测模型中的检测子网络对皮损特征信息图与掩膜图进行融合，计算得到各个检测维度对应的检测分数；通过检测模型的全连接层对各个检测维度的检测分数进行叠加操作，输出与待预测图像对应的检测结果。
在一个实施例中，定位模块1004还用于利用定位后的皮损部位生成与检测维度对应的掩膜图包括：获取皮损部位对应的定位框；定位框中包括中心点和其他点；获取中心点的像素值，根据中心点的像素值计算定位框中其他点的像素值；利用每个定位框中中心点的像素值与其他点的像素值生成与待检测图像对应的掩膜图。
在一个实施例中，定位模块1004还用于获取中心点的坐标以及其他点的坐标；根据中心的坐标、像素值与其他点的坐标进行高斯核递减，得到定位框中其他点的像素值。
在一个实施例中，检测模块1006还用于通过检测模型中的卷积层、池化层、多个卷积组层对待检测图像进行深度卷积运算，提取与卷积组层对应的皮损特征信息；获取与卷积组层对应的检测维度；利用下一个卷积组层对应的皮损特征信息对上一个卷积组层对应的皮损特征信息进行反馈，生成与各个检测维度对应的皮损特征信息图。
在一个实施例中，检测模块1006还用于对下一个卷积组层对应的皮损特征信息进行上采样；利用上采样后的皮损特征信息与上一个卷积组层对应的皮损特征信息进行叠加，生成与检测维度对应的皮损特征信息图。
在一个实施例中，检测模块1006还用于根据检测维度加载对应的掩膜图与皮损特征信息图，将掩膜图与皮损特征信息图相乘，得到检测子网络的输入向量；将输入向量经过多个卷积层以及叠加层，得到叠加后的皮损特征信息图；将输入向量经过SEBlock层，得到对应的特征系数；通过对叠加后的皮损特征信息图与特征系数进行仿式变换，输出与检测维度对应的分数。
在一个实施例中，检测模块1006获取与待检测图像对应的多个预设策略及策略权值；通过叠加后的皮损特征信息图与特征系数进行多次仿式变换，根据预设策略得到对应的策略分数；利用策略分数与策略权值进行累加，生成与检测维度对应的分数。
在一个实施例中，如图11所示，该装置还包括训练模块1008，用于通过第一评估网络模型和第二评估网络模型建立孪生网络；第一评估网络模型、第二评估网络模型和检测模型相同；利用第一样本图像对第一评估网络模型进行训练，输出与第一样本图像对应的第一检测结果；利用第二样本图像对第二评估网络模型进行训练，输出与第二样本图像对应的第二检测结果；根据第一检测结果与第二检测结果进行比较，利用比较结果对检测模型的训练参数进行修正。
在一个实施例中，训练模块1008还用于利用第一检测结果与第二检测结果计算与各个检测维度对应的损失函数值；获取各个检测维度对应的损失系数；利用各个检测维度对应的损失函数值与损失系数，计算孪生网络对应的总损失函数值。
关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定，在此不再赘述。上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检测方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像检测方法，所述方法包括：
获取待检测图像；
对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；
利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；
通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用定位后的皮损部位生成与检测维度对应的掩膜图包括：
获取所述皮损部位对应的定位框；所述定位框中包括中心点和其他点；
获取所述中心点的像素值，根据所述中心点的像素值计算所述定位框中其他点的像素值；
利用每个定位框中所述中心点的像素值与所述其他点的像素值生成与所述待检测图像对应的掩膜图。
3.根据权利要求2所述的方法，其特征在于，所述据所述中心点的像素值计算所述定位框中其他点的像素值包括：
获取所述中心点的坐标以及所述其他点的坐标；
根据所述中心的坐标、像素值与所述其他点的坐标进行高斯核递减，得到所述定位框中其他点的像素值。
4.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图包括：
通过所述检测模型中的卷积层、池化层、多个卷积组层对所述待检测图像进行深度卷积运算，提取与所述卷积组层对应的皮损特征信息；
获取与所述卷积组层对应的检测维度；
利用下一个卷积组层对应的皮损特征信息对上一个卷积组层对应的皮损特征信息进行反馈，生成与各个检测维度对应的皮损特征信息图。
5.根据权利要求4所述的方法，其特征在于，所述利用下一个卷积组层对应的皮损特征信息对上一个卷积组层对应的皮损特征信息进行反馈包括：
对所述下一个卷积组层对应的皮损特征信息进行上采样；
利用上采样后的皮损特征信息与所述上一个卷积组层对应的皮损特征信息进行叠加，生成与检测维度对应的皮损特征信息图。
6.根据权利要求1所述的方法，其特征在于，所述利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数包括：
根据所述检测维度加载对应的掩膜图与皮损特征信息图，将所述掩膜图与所述皮损特征信息图相乘，得到所述检测子网络的输入向量；
通过所述检测子网络将所述输入向量经过多个卷积层以及叠加层，得到叠加后的皮损特征信息图；
通过所述检测子网络将所述输入向量经过SE Block层，得到对应的特征系数；
通过对所述叠加后的皮损特征信息图与所述特征系数进行仿式变换，输出与所述检测维度对应的分数。
7.根据权利要求6所述的方法，其特征在于，所述通过对所述叠加后的皮损特征信息图与所述特征系数进行仿式变换，输出与所述检测维度对应的分数包括：
获取与所述待检测图像对应的多个预设策略及策略权值；
通过所述叠加后的皮损特征信息图与所述特征系数进行多次仿式变换，根据所述预设策略得到对应的策略分数；
利用所述策略分数与所述策略权值进行累加，生成与所述检测维度对应的分数。
8.根据权利要求6所述的方法，其特征在于，所述掩膜图与所述皮损特征信息图的尺寸相同。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述检测模型采用孪生网络的结构预先进行训练；所述检测模型的训练过程包括：
通过第一评估网络模型和第二评估网络模型建立孪生网络；所述第一评估网络模型、所述第二评估网络模型和所述检测模型相同；
利用第一样本图像对所述第一评估网络模型进行训练，输出与所述第一样本图像对应的第一检测结果；
利用第二样本图像对所述第二评估网络模型进行训练，输出与所述第二样本图像对应的第二检测结果；
根据所述第一检测结果与所述第二检测结果进行比较，利用比较结果对所述检测模型的训练参数进行修正。
10.根据权利要求9所述的方法，其特征在于，所述利用所述第一检测结果与所述第二检测结果进行比较包括：
利用所述第一检测结果与所述第二检测结果计算与各个检测维度对应的损失函数值；
获取所述各个检测维度对应的损失系数；
利用所述各个检测维度对应的损失函数值与损失系数，计算所述孪生网络对应的总损失函数值。
11.一种图像检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
定位模块，用于对所述待检测图像中的皮损部位进行定位，利用定位后的皮损部位生成与检测维度对应的掩膜图；
检测模块，用于将所述待检测图像输入检测模型，通过所述检测模型中的多个卷积组层进行运算，得到与所述检测维度对应的皮损特征信息图；利用所述检测模型中的检测子网络对所述皮损特征信息图与所述掩膜图进行融合，计算得到各个检测维度对应的检测分数；通过所述检测模型的全连接层对所述各个检测维度的检测分数进行叠加操作，输出与所述待预测图像对应的检测结果。
12.根据权利要求11所述的装置，其特征在于，所述检测模块还用于根据所述检测维度加载对应的掩膜图与皮损特征信息图，将所述掩膜图与所述皮损特征信息图相乘，得到所述检测子网络的输入向量；将所述输入向量经过多个卷积层以及叠加层，得到叠加后的皮损特征信息图；将所述输入向量经过SE Block层，得到对应的特征系数；通过对所述叠加后的皮损特征信息图与所述特征系数进行仿式变换，输出与所述检测维度对应的分数。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括训练模块，用于通过第一评估网络模型和第二评估网络模型建立孪生网络；所述第一评估网络模型、所述第二评估网络模型和所述检测模型相同；利用第一样本图像对所述第一评估网络模型进行训练，输出与所述第一样本图像对应的第一检测结果；利用第二样本图像对所述第二评估网络模型进行训练，输出与所述第二样本图像对应的第二检测结果；根据所述第一检测结果与所述第二检测结果进行比较，利用比较结果对所述检测模型的训练参数进行修正。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010125645.3A CN111275703B (zh) | 2020-02-27 | 2020-02-27 | 图像检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010125645.3A CN111275703B (zh) | 2020-02-27 | 2020-02-27 | 图像检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275703A true CN111275703A (zh) | 2020-06-12 |
| CN111275703B CN111275703B (zh) | 2023-10-27 |
Family
ID=71004143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010125645.3A Active CN111275703B (zh) | 2020-02-27 | 2020-02-27 | 图像检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275703B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| CN113222989A (zh) * | 2021-06-09 | 2021-08-06 | 联仁健康医疗大数据科技股份有限公司 | 一种图像分级方法、装置、存储介质及电子设备 |
| CN113255756A (zh) * | 2021-05-20 | 2021-08-13 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
| CN113762305A (zh) * | 2020-11-27 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种脱发类型的确定方法和装置 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011087807A2 (en) * | 2009-12-22 | 2011-07-21 | Health Discovery Corporation | System and method for remote melanoma screening |
| CN107679507A (zh) * | 2017-10-17 | 2018-02-09 | 北京大学第三医院 | 面部毛孔检测系统及方法 |
| CN108229575A (zh) * | 2018-01-19 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于检测目标的方法和装置 |
| CN108846814A (zh) * | 2018-06-11 | 2018-11-20 | 广州视源电子科技股份有限公司 | 图像处理方法、装置、可读存储介质及计算机设备 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109359527A (zh) * | 2018-09-11 | 2019-02-19 | 杭州格像科技有限公司 | 基于神经网络的头发区域提取方法及系统 |
| CN109447981A (zh) * | 2018-11-12 | 2019-03-08 | 平安科技（深圳）有限公司 | 图像识别方法及相关产品 |
| CN109697260A (zh) * | 2018-12-29 | 2019-04-30 | 北京金山安全软件有限公司 | 虚拟货币的检测方法、装置、计算机设备和存储介质 |
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN109726671A (zh) * | 2018-12-27 | 2019-05-07 | 上海交通大学 | 从全局到类别特征表达学习的动作识别方法和系统 |
| CN110059635A (zh) * | 2019-04-19 | 2019-07-26 | 厦门美图之家科技有限公司 | 一种皮肤瑕疵检测方法及装置 |
| CN110096960A (zh) * | 2019-04-03 | 2019-08-06 | 罗克佳华科技集团股份有限公司 | 目标检测方法及装置 |
| CN110298393A (zh) * | 2019-06-14 | 2019-10-01 | 深圳志合天成科技有限公司 | 一种基于深度学习的头发头皮健康状况检测方法 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110598610A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于神经选择注意的目标显著性检测方法 |
| CN110807139A (zh) * | 2019-10-23 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 图片识别方法、装置、计算机可读存储介质和计算机设备 |
-
2020
- 2020-02-27 CN CN202010125645.3A patent/CN111275703B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011087807A2 (en) * | 2009-12-22 | 2011-07-21 | Health Discovery Corporation | System and method for remote melanoma screening |
| CN107679507A (zh) * | 2017-10-17 | 2018-02-09 | 北京大学第三医院 | 面部毛孔检测系统及方法 |
| CN108229575A (zh) * | 2018-01-19 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于检测目标的方法和装置 |
| CN108846814A (zh) * | 2018-06-11 | 2018-11-20 | 广州视源电子科技股份有限公司 | 图像处理方法、装置、可读存储介质及计算机设备 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109359527A (zh) * | 2018-09-11 | 2019-02-19 | 杭州格像科技有限公司 | 基于神经网络的头发区域提取方法及系统 |
| CN109447981A (zh) * | 2018-11-12 | 2019-03-08 | 平安科技（深圳）有限公司 | 图像识别方法及相关产品 |
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN109726671A (zh) * | 2018-12-27 | 2019-05-07 | 上海交通大学 | 从全局到类别特征表达学习的动作识别方法和系统 |
| CN109697260A (zh) * | 2018-12-29 | 2019-04-30 | 北京金山安全软件有限公司 | 虚拟货币的检测方法、装置、计算机设备和存储介质 |
| CN110096960A (zh) * | 2019-04-03 | 2019-08-06 | 罗克佳华科技集团股份有限公司 | 目标检测方法及装置 |
| CN110059635A (zh) * | 2019-04-19 | 2019-07-26 | 厦门美图之家科技有限公司 | 一种皮肤瑕疵检测方法及装置 |
| CN110298393A (zh) * | 2019-06-14 | 2019-10-01 | 深圳志合天成科技有限公司 | 一种基于深度学习的头发头皮健康状况检测方法 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110598610A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于神经选择注意的目标显著性检测方法 |
| CN110807139A (zh) * | 2019-10-23 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 图片识别方法、装置、计算机可读存储介质和计算机设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762305A (zh) * | 2020-11-27 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种脱发类型的确定方法和装置 |
| CN113762305B (zh) * | 2020-11-27 | 2024-04-16 | 北京沃东天骏信息技术有限公司 | 一种脱发类型的确定方法和装置 |
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| CN113255756A (zh) * | 2021-05-20 | 2021-08-13 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
| CN113222989A (zh) * | 2021-06-09 | 2021-08-06 | 联仁健康医疗大数据科技股份有限公司 | 一种图像分级方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275703B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275703B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN109978756B (zh) | 目标检测方法、系统、装置、存储介质和计算机设备 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| WO2020215557A1 (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| US11514573B2 (en) | Estimating object thickness with neural networks | |
| CN110827342A (zh) | 三维人体模型重建方法及存储设备、控制设备 | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| KR20210028185A (ko) | 사람 자세 분석 시스템 및 방법 | |
| JP2022502751A (ja) | 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム | |
| CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN113221645B (zh) | 目标模型训练方法、人脸图像生成方法以及相关装置 | |
| CN113096249A (zh) | 训练顶点重建模型的方法、图像重建方法及电子设备 | |
| CN114298193A (zh) | 基于分割网络的血管斑块检测装置和方法 | |
| CN113421276A (zh) | 一种图像处理方法、装置及存储介质 | |
| WO2015176502A1 (zh) | 一种图像特征的估计方法和设备 | |
| CN114881930B (zh) | 基于降维定位的3d目标检测方法、装置、设备和存储介质 | |
| CN117392746A (zh) | 康复训练评估辅助方法、装置、计算机设备和存储介质 | |
| CN116129124A (zh) | 一种图像分割方法、系统及设备 | |
| CN107977628B (zh) | 神经网络训练方法、人脸检测方法及人脸检测装置 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN114494065A (zh) | 图像去模糊方法、装置、设备及可读存储介质 | |
| CN112150404B (zh) | 基于联合显著图的全局到局部非刚性图像配准方法及装置 | |
| CN112861699A (zh) | 一种基于单张深度图像和多阶段神经网络的任意姿势人体身高估计方法 | |
| CN112884706A (zh) | 一种基于神经网络模型的图像评估系统和相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024770 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |