CN110378426A - 一种基于yolov3的乳腺结节辅助诊断方法及系统 - Google Patents
一种基于yolov3的乳腺结节辅助诊断方法及系统 Download PDFInfo
- Publication number
- CN110378426A CN110378426A CN201910665660.4A CN201910665660A CN110378426A CN 110378426 A CN110378426 A CN 110378426A CN 201910665660 A CN201910665660 A CN 201910665660A CN 110378426 A CN110378426 A CN 110378426A
- Authority
- CN
- China
- Prior art keywords
- grid
- breast
- image
- error
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 37
- 206010006272 Breast mass Diseases 0.000 title claims abstract description 29
- 210000000481 breast Anatomy 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 32
- 210000005075 mammary gland Anatomy 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000003064 k means clustering Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000007621 cluster analysis Methods 0.000 claims 1
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 208000030270 breast disease Diseases 0.000 abstract 5
- 230000004069 differentiation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- KDLHZDBZIXYQEI-UHFFFAOYSA-N Palladium Chemical compound [Pd] KDLHZDBZIXYQEI-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 229910052763 palladium Inorganic materials 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种的乳腺结节辅助诊断方法及系统，系统包括乳腺影像采集设备、乳腺诊断系统、乳腺诊断终端。乳腺影像采集设备是使用Kinect设备拍摄四种类型的Kinect图像，所述乳腺诊断系统用于有图像预处理、做标签、利用YOLOv3神经网络判别。最后将乳腺诊断系统处理得到的结果发送到乳腺诊断终端，通过融合四种类型的Kinect图像的识别结果作为辅助诊断结果交由医生做最后诊断，而实现乳腺结节的判别。本发明，以智能图像处理技术和神经网络为基础完成了一种乳腺结节辅助诊断系统，能够在一定程度上减少了医生的工作量，提高了医生工作效率。
Description
技术领域
本发明涉及医学影像技术领域，具体为一种基于YOLOV3的乳腺结节辅助诊断方法及系统。
背景技术
乳乳腺癌是女性群体中发病率最高的一类肿瘤。乳腺癌的早诊早筛有利于提升患者的5年生存率，具有重大的临床意义临床上，乳腺的钼钯是有效的检查方式，但存在假阳性率高的缺点；此外，临床上医生的主观性较强，导致较高的误诊率。
当前影像诊断主要依赖于人工阅片完成，然而，日益增加的图像数据也为人工阅片带来极大挑战。为了给医生提供有效地辅助诊断信息，智能图像处理技术为基础的计算机辅助诊断。以神经网络和图像处理技术为基础的计算机辅助诊断逐渐成为医学领域的研究热点。
发明内容
本发明的目的在于提供一种基于YOLOV3的乳腺结节辅助诊断方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于YOLOV3的乳腺结节辅助诊断方法，包括以下几个步骤：
步骤1：制作训练集，从数据集中选取x组样本组，每个样本组中包含y个样本，每个样本由一张RGB image乳腺图片和一张depth image乳腺图片组成，共获得2×x×y张样本图片；
步骤2：将每张样本图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍数量的样本乳腺图片；
步骤3：将所述扩增四倍数量的样本乳腺图片经过Darknet-53进行预训练，将完成预训练所获得的网络参数迁移到基础网络中并进行初始化，得到迁移Darknet-53模型；
步骤4：采用K-means聚类算法对训练集中手工标记的乳腺区域框进行聚类，设置不同的k值，统计对应的误差平方和SSE的值；
步骤6：绘制SSE值和k值的关系图；根据SSE值和k值的关系图，用手肘法找到最优的k值，得到对应的k个聚类中心，将所述k个聚类中心作为YOLOv3的初始候选框参数写入配置文件；
步骤6：将步骤1所获得的训练集利用改进的YOLOv3进行训练，得到完成训练的参数模型；通过融合所述四种类型的Kinect图像的识别结果实现乳腺结节判别。
优选的，步骤1中训练集的制作如下：
1.1：使用Kinect设备为每一个乳腺场景拍摄四种类型的Kinect图像，分别是：IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；拍摄获得的图片的分辨率为640×480；
1.2：将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的Kinect图像数据集；
1.3：针对扩增四倍量的Kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件；
1.4：由Kinect图像数据集和标签文件组合构成训练集。
优选的，步骤6中得到完成训练的参数模型后还包括：调用Kinect摄像头同时输出四种类型的Kinect图像，采用参数模型进行识别，获得四种类型的Kinect图像的识别结果；四种类型的Kinect图像是指：IR图像、Registration of RGB图像、RGB图像和Depth图像。
优选的，步骤3中误差平方和SSE的值获得方法如下：YOLOv3在训练过程中将图像划分为S×S个的网格，按式(1)、式(2)和式(3)，针对每个网格预测获得B个检测框及其置信度Conf(Object)；
Conf(Object)＝Pr(Object)×IOU (1)，
其中：
Pr(Object)表示是否有目标物落入候选框对应的网格中，若有为1，反之为0，如式(2)所示；
IOU表示预测框与真实框的交集面积与并集面积之比；box(Pred)表示预测框；box(Truth)表示真实框；area(·)表示面积；
置信度Conf(Object)表示检测框对其检测出物体的自信程度；
每个检测框包含5个参数：x,y,w,h以及Conf(Object)；其中，(x,y)代表检测框中心相对网络位置的偏移，(w,h)代表检测框的宽和高；
每个网格预测C个类别概率Pr(Classi|Object)，Pr(Classi|Object)表示目标落入网格i的概率；最终输出S×S×[B×(4+1+C)]维的张量(tensor)；YOLOv3的损失函数loss由式(4)表征：
其中，为坐标误差，为IOU误差，为分类误差，并有：
其中：
λcoord为的权重参数，λcoord＝5；λnoobj为的修正参数λnoobj＝0.5；
表示网格i对应的真实框的x参数值，表示网格i的x参数的误差；
表示网格i对应的真实框的y参数值，表示网格i的y参数的误差；
表示网格i对应的真实框的w参数值，表示网格i的w参数的误差；
表示网格i对应的真实框的h参数值，表示网格i的h参数的误差；
Ci表示网格i的置信度Conf(Object)预测值；表示网格i的置信度Conf(Objec)t真实值，表示网格i的置信度误差；
pi(c)表示目标落入网格i的预测概率Pr(Classi|Object)；表示目标落入网格i的真实概率，
表示目标落入网格i的概率误差；
表示是否有目标落入网格i中，若有为1，反之为0；
表示判断第j个预测框是否有物体落入网格i，若是则为1，反之为0。
优选的，步骤4中YOLOv3在目标检测过程中引入一组固定尺寸和宽高比的初始候选框采用K-Means聚类算法对步骤1所得训练集中手工标记的目标框进行聚类分析，找到表征初始候选框的个数的最优k值，以及k个聚类中心的宽高维度作为网络配置文件中的候选框参数；
根据误差平方和SSE，并采用手肘法按式(8)确定k值：
其中Cli是第i个簇，p是Cli中的样本点，mi是Cli的重心，即为Cli中所有样本的均值，SSE是所有样本的聚类误差，代表聚类效果的好坏，手肘法的核心思想就是：随着k值增大，样本划分更加精细，SSE逐渐变小，当k达到最优聚类数时，继续增加k值对聚类程度回报会迅速变小，表现为SSE下降幅度骤减，SSE和k的关系图呈现出一个手肘的形状，肘部对应的k值就是我们所需要的最优聚类数。
优选的，步骤5中在K-means聚类中，采用欧式距离代表样本点和样本均值之间的误差，样本点为预测框，样本均值是真实框，采用IOU反映预测框和真实框的误差，IOU越大，表明误差越小；利用式(9)计算获得样本的聚类误差：
其中，IOUp表示样本点p的IOU，用1-IOUp表示样本点p的误差，从而得到SSE和k值。
优选的，步骤6中采用将识别结果发送至乳腺诊断移动终端，作为辅助诊断结果交由医生做最后诊断。
本发明还提供一种基于YOLOV3的乳腺结节辅助诊断系统，包括：
乳腺影像采集设备，用于拍摄四种类型的Kinect图像，并上传到乳腺诊断系统；
该乳腺诊断系统，获取Kinect图像，并对图像预处理，做标签，利用YOLOv3神经网络实现乳腺结节判别；
乳腺诊断终端，接收该乳腺诊断系统处理得到的判别，并显示判别结果作为医生辅助诊断结果。
优选的，乳腺影像采集设备采用Kinect设备，四种类型的Kinect图像包括IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；图片的分辨率为640×480。
优选的，图像预处理为将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的Kinect图像数据集；做标签指针对所述扩增四倍量的Kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件。
与现有技术相比，本发明的有益效果是：
能够给医生提供有效地辅助诊断信息，本发明以智能图像处理技术和神经网络为基础完成了一种乳腺结节辅助诊断系统，能够在一定程度上减少了医生的工作量，提高了医生工作效率，具有经济和社会意义。
附图说明
图1为本发明系统原理图；
图2为本发明中YOLOV3网络结构原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～2，本发明提供一种技术方案：
参见图1，一种基于YOLOV3的乳腺结节辅助诊断系统，包括乳腺影像采集、乳腺诊断系统、乳腺诊断终端。乳腺影像采集是使用Kinect设备拍摄四种类型的Kinect图像，分别是：IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；图片的分辨率为640×480。所述的乳腺云诊断系统包括有图像预处理、做标签、利用YOLOv3神经网络判别。
图2所示为YOLOv3的结构原理图，包括制作训练集、生成迁移Darknet-53模型、改进候选框参数和乳腺识别。步骤如下：
步骤1、按如下过程制作训练集
1.1、使用Kinect设备为每一个乳腺场景拍摄四种类型的Kinect图像，分别是：IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；拍摄获得的图片的分辨率为640×480。
1.2、将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的Kinect图像数据集。
1.3、针对扩增四倍量的Kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件。
1.4、由Kinect图像数据集和标签文件组合构成训练集。
步骤2、按如下过程生成迁移Darknet-53模型
2.1、数据集中选取x组样本组，每个样本组中包含y个样本，每个样本由一张RGBimage乳腺图片和一张depth image乳腺图片组成，共获得2×x×y张样本图片。
2.2、将每张样本图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍数量的样本乳腺图片。
2.3将扩增四倍数量的样本乳腺图片经过Darknet-53进行预训练，将完成预训练所获得的网络参数迁移到基础网络中并进行初始化，得到迁移Darknet-53模型。
步骤3、按如下过程设置YOLOv3的初始候选框参数
3.1、采用K-means聚类算法对训练集中手工标记的乳腺结节区域框进行聚类，设置不同的k值，统计对应的误差平方和SSE(Sum of the Squared Errors)的值。
3.2、用手肘法找到最优的k值，得到对应的k个聚类中心，将k个聚类中心作为YOLOv3的初始候选框参数写入配置文件。
步骤4、按如下过程进行乳腺识别
4.1、将步骤1所获得的训练集利用改进的YOLOv3进行训练，得到完成训练的参数模型；
4.2、调用Kinect摄像头同时输出四种类型的Kinect图像，采用经步骤4.1得到的参数模型进行识别，获得四种类型的Kinect图像的识别结果；四种类型的Kinect图像是指：IR图像、Registration of RGB图像、RGB图像和Depth图像。
4.3、通过融合四种类型的Kinect图像的识别结果实现乳腺结节的判别。
具体实施中，步骤3.1是按如下方式获得误差平方和SSE的值：
YOLOv3在训练过程中将图像划分为S×S个的网格，按式(1)、式(2)和式(3)，针对每个网格预测获得B个检测框及其置信度Conf(Object)；
Conf(Object)＝Pr(Object)×IOU (1)，
其中：
Pr(Object)表示是否有目标物落入候选框对应的网格中，若有为1，反之为0，如式(2)所示；
IOU表示预测框与真实框的交集面积与并集面积之比；box(Pred)表示预测框；box(Truth)表示真实框；area(·)表示面积；
置信度Conf(Object)表示检测框对其检测出物体的自信程度；
每个检测框包含5个参数：x,y,w,h以及Conf(Object)；其中，(x,y)代表检测框中心相对网络位置的偏移，(w,h)代表检测框的宽和高；
每个网格预测C个类别概率Pr(Classi|Object)，Pr(Classi|Object)表示目标落入网格i的概率；最终输出S×S×[B×(4+1+C)]维的张量(tensor)；YOLOv3的损失函数loss由式(4)表征：
其中，为坐标误差，为IOU误差，为分类误差，并有：
其中：
的权重参数，λcoord＝5；λnoobj为的修正参数λnoobj＝0.5；
表示网格i对应的真实框的x参数值，表示网格i的x参数的误差；
表示网格i对应的真实框的y参数值，表示网格i的y参数的误差；
表示网格i对应的真实框的w参数值，表示网格i的w参数的误差；
表示网格i对应的真实框的h参数值，表示网格i的h参数的误差；
Ci表示网格i的置信度Conf(Object)预测值；表示网格i的置信度Conf(Objec)t真实值，表示网格i的置信度误差；
pi(c)表示目标落入网格i的预测概率Pr(Classi|Object)；表示目标落入网格i的真实概率，
表示目标落入网格i的概率误差；
表示是否有目标落入网格i中，若有为1，反之为0；
表示判断第j个预测框是否有物体落入网格i，若是则为1，反之为0；
YOLOv3在目标检测过程中引入一组固定尺寸和宽高比的初始候选框采用K-Means聚类算法对步骤1所得训练集中手工标记的目标框进行聚类分析，找到表征初始候选框的个数的最优k值，以及k个聚类中心的宽高维度作为网络配置文件中的候选框参数；
根据误差平方和SSE，并采用手肘法按式(8)确定k值：
其中Cli是第i个簇，p是Cli中的样本点，mi是Cli的重心，即为Cli中所有样本的均值，SSE是所有样本的聚类误差，代表聚类效果的好坏，手肘法的核心思想就是：随着k值增大，样本划分更加精细，SSE逐渐变小，当k达到最优聚类数时，继续增加k值对聚类程度回报会迅速变小，表现为SSE下降幅度骤减，SSE和k的关系图呈现出一个手肘的形状，肘部对应的k值就是我们所需要的最优聚类数；
在K-means聚类中，采用欧式距离代表样本点和样本均值之间的误差，样本点为预测框，样本均值是真实框，采用IOU反映预测框和真实框的误差，IOU越大，表明误差越小；利用式(9)计算获得样本的聚类误差：
其中，IOUp表示样本点p的IOU，用1-IOUp表示样本点p的误差，从而得到SSE和k值。
最后将识别结果发送至乳腺诊断移动终端，作为辅助诊断结果交由医生做最后诊断。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，包括以下步骤：
步骤1：制作训练集，从数据集中选取x组样本组，每个样本组中包含y个样本，每个样本由一张RGB image乳腺图片和一张depth image乳腺图片组成，共获得2×x×y张样本图片；
步骤2：将每张样本图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍数量的样本乳腺图片；
步骤3：将所述扩增四倍数量的样本乳腺图片经过Darknet-53进行预训练，将完成预训练所获得的网络参数迁移到基础网络中并进行初始化，得到迁移Darknet-53模型；
步骤4：采用K-means聚类算法对训练集中手工标记的乳腺区域框进行聚类，设置不同的k值，统计对应的误差平方和SSE的值；
步骤6：绘制SSE值和k值的关系图；根据SSE值和k值的关系图，用手肘法找到最优的k值，得到对应的k个聚类中心，将所述k个聚类中心作为YOLOv3的初始候选框参数写入配置文件；
步骤6：将步骤1所获得的训练集利用改进的YOLOv3进行训练，得到完成训练的参数模型；通过融合所述四种类型的Kinect图像的识别结果实现乳腺结节判别。
2.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤1中训练集的制作如下：
1.1：使用Kinect设备为每一个乳腺场景拍摄四种类型的Kinect图像，分别是：IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；拍摄获得的图片的分辨率为640×480；
1.2：将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的Kinect图像数据集；
1.3：针对扩增四倍量的Kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件；
1.4：由Kinect图像数据集和标签文件组合构成训练集。
3.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤6中得到完成训练的参数模型后还包括：调用Kinect摄像头同时输出四种类型的Kinect图像，采用参数模型进行识别，获得四种类型的Kinect图像的识别结果；四种类型的Kinect图像是指：IR图像、Registration of RGB图像、RGB图像和Depth图像。
4.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤3中误差平方和SSE的值获得方法如下：YOLOv3在训练过程中将图像划分为S×S个的网格，按式(1)、式(2)和式(3)，针对每个网格预测获得B个检测框及其置信度Conf(Object)；
Conf(Object)＝Pr(Object)×IOU (1)，
其中：
Pr(Object)表示是否有目标物落入候选框对应的网格中，若有为1，反之为0，如式(2)所示；
IOU表示预测框与真实框的交集面积与并集面积之比；box(Pred)表示预测框；box(Truth)表示真实框；area(·)表示面积；
置信度Conf(Object)表示检测框对其检测出物体的自信程度；
每个检测框包含5个参数：x,y,w,h以及Conf(Object)；其中，(x,y)代表检测框中心相对网络位置的偏移，(w,h)代表检测框的宽和高；
每个网格预测C个类别概率Pr(Classi|Object)，Pr(Classi|Object)表示目标落入网格i的概率；最终输出S×S×[B×(4+1+C)]维的张量(tensor)；YOLOv3的损失函数loss由式(4)表征：
其中，为坐标误差，为IOU误差，为分类误差，并有：
其中：
λcoord为的权重参数，λcoord＝5；λnoobj为的修正参数λnoobj＝0.5；
表示网格i对应的真实框的x参数值，表示网格i的x参数的误差；
表示网格i对应的真实框的y参数值，表示网格i的y参数的误差；
表示网格i对应的真实框的w参数值，表示网格i的w参数的误差；
表示网格i对应的真实框的h参数值，表示网格i的h参数的误差；
Ci表示网格i的置信度Conf(Object)预测值；表示网格i的置信度Conf(Objec)t真实值，表示网格i的置信度误差；
pi(c)表示目标落入网格i的预测概率Pr(Classi|Object)；表示目标落入网格i的真实概率，
表示目标落入网格i的概率误差；
表示是否有目标落入网格i中，若有为1，反之为0；
表示判断第j个预测框是否有物体落入网格i，若是则为1，反之为0。
5.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤4中YOLOv3在目标检测过程中引入一组固定尺寸和宽高比的初始候选框采用K-Means聚类算法对步骤1所得训练集中手工标记的目标框进行聚类分析，找到表征初始候选框的个数的最优k值，以及k个聚类中心的宽高维度作为网络配置文件中的候选框参数；
根据误差平方和SSE，并采用手肘法按式(8)确定k值：
其中Cli是第i个簇，p是Cli中的样本点，mi是Cli的重心，即为Cli中所有样本的均值，SSE是所有样本的聚类误差，代表聚类效果的好坏，手肘法的核心思想就是：随着k值增大，样本划分更加精细，SSE逐渐变小，当k达到最优聚类数时，继续增加k值对聚类程度回报会迅速变小，表现为SSE下降幅度骤减，SSE和k的关系图呈现出一个手肘的形状，肘部对应的k值就是我们所需要的最优聚类数。
6.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤5中在K-means聚类中，采用欧式距离代表样本点和样本均值之间的误差，样本点为预测框，样本均值是真实框，采用IOU反映预测框和真实框的误差，IOU越大，表明误差越小；利用式(9)计算获得样本的聚类误差：
其中，IOUp表示样本点p的IOU，用1-IOUp表示样本点p的误差，从而得到SSE和k值。
7.根据权利要求1所述的一种基于YOLOV3的乳腺结节辅助诊断方法，其特征在于，步骤6中采用将识别结果发送至乳腺诊断移动终端，作为辅助诊断结果交由医生做最后诊断。
8.一种基于YOLOV3的乳腺结节辅助诊断系统，其特征在于，包括：
乳腺影像采集设备，用于拍摄四种类型的Kinect图像，并上传到乳腺诊断系统；
该乳腺诊断系统，获取Kinect图像，并对图像预处理，做标签，利用YOLOv3神经网络实现乳腺结节判别；以及
乳腺诊断终端，接收该乳腺诊断系统处理得到的判别，并显示判别结果作为医生辅助诊断结果。
9.根据权利要求8所述的一种基于YOLOV3的乳腺结节辅助诊断系统，其特征在于，乳腺影像采集设备采用Kinect设备，四种类型的Kinect图像包括IR图像、Registration of RGB图像、RGB图像和Depth图像各一张；图片的分辨率为640×480。
10.根据权利要求8所述的一种基于YOLOV3的乳腺结节辅助诊断系统，其特征在于，图像预处理为将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的Kinect图像数据集；做标签指针对所述扩增四倍量的Kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665660.4A CN110378426A (zh) | 2019-07-23 | 2019-07-23 | 一种基于yolov3的乳腺结节辅助诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665660.4A CN110378426A (zh) | 2019-07-23 | 2019-07-23 | 一种基于yolov3的乳腺结节辅助诊断方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110378426A true CN110378426A (zh) | 2019-10-25 |
Family
ID=68255056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665660.4A Pending CN110378426A (zh) | 2019-07-23 | 2019-07-23 | 一种基于yolov3的乳腺结节辅助诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378426A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754452A (zh) * | 2020-05-09 | 2020-10-09 | 广州市番禺区中心医院 | 基于深度学习的下肢深静脉血栓的检测方法、介质及终端 |
| CN112053325A (zh) * | 2020-08-12 | 2020-12-08 | 华东交通大学 | 一种乳腺肿块图像处理和分类系统 |
| CN113688920A (zh) * | 2021-08-30 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 模型训练及目标检测方法、装置、电子设备以及路侧设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325454A (zh) * | 2018-09-28 | 2019-02-12 | 合肥工业大学 | 一种基于YOLOv3的静态手势实时识别方法 |
-
2019
- 2019-07-23 CN CN201910665660.4A patent/CN110378426A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325454A (zh) * | 2018-09-28 | 2019-02-12 | 合肥工业大学 | 一种基于YOLOv3的静态手势实时识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754452A (zh) * | 2020-05-09 | 2020-10-09 | 广州市番禺区中心医院 | 基于深度学习的下肢深静脉血栓的检测方法、介质及终端 |
| CN111754452B (zh) * | 2020-05-09 | 2021-05-18 | 广州市番禺区中心医院 | 基于深度学习的下肢深静脉血栓的检测方法、介质及终端 |
| CN112053325A (zh) * | 2020-08-12 | 2020-12-08 | 华东交通大学 | 一种乳腺肿块图像处理和分类系统 |
| CN113688920A (zh) * | 2021-08-30 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 模型训练及目标检测方法、装置、电子设备以及路侧设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| Ruan et al. | Multi-correlation filters with triangle-structure constraints for object tracking | |
| CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
| CN118674677A (zh) | 一种胃癌图像识别模型的构建方法及其应用 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| WO2021062904A1 (zh) | 基于病理图像的tmb分类方法、系统及tmb分析装置 | |
| CN110942446A (zh) | 一种基于ct影像的肺结节自动检测方法 | |
| CN109447065A (zh) | 一种乳腺影像识别的方法及装置 | |
| CN109523522A (zh) | 内窥镜图像的处理方法、装置、系统及存储介质 | |
| CN110378426A (zh) | 一种基于yolov3的乳腺结节辅助诊断方法及系统 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN115345819A (zh) | 一种胃癌图像识别系统、装置及其应用 | |
| CN112700461B (zh) | 一种肺结节检测和表征类别识别的系统 | |
| EP3935577A1 (en) | Improved histopathology classification through machine self-learning of "tissue fingerprints | |
| CN109448854A (zh) | 一种肺结核检测模型的构建方法及应用 | |
| CN112543934A (zh) | 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统 | |
| CN110853011A (zh) | 用于肺结节检测的卷积神经网络模型的构建方法 | |
| Zheng et al. | Improvement of grayscale image 2D maximum entropy threshold segmentation method | |
| CN111860587A (zh) | 一种用于图片小目标的检测方法 | |
| CN116645697A (zh) | 一种多视角步态识别方法、装置、电子设备及存储介质 | |
| Ahmed et al. | A proposed architecture for convolutional neural networks to detect skin cancers | |
| CN112381043A (zh) | 一种旗帜检测方法 | |
| CN112017208A (zh) | 一种基于深度学习的多细胞球识别与分类方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191025 |
|
| RJ01 | Rejection of invention patent application after publication |