CN112634256B - 圆检测及拟合方法、装置、电子设备和存储介质 - Google Patents
圆检测及拟合方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112634256B CN112634256B CN202011615504.6A CN202011615504A CN112634256B CN 112634256 B CN112634256 B CN 112634256B CN 202011615504 A CN202011615504 A CN 202011615504A CN 112634256 B CN112634256 B CN 112634256B
- Authority
- CN
- China
- Prior art keywords
- detection
- circle
- image
- detection target
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000003708 edge detection Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 208000010392 Bone Fractures Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 206010017076 Fracture Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000006670 Multiple fractures Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供用于图像处理的圆检测及拟合方法、装置、电子设备和存储介质。该圆检测及拟合方法包括以下步骤：根据待处理的图像建立数据集，并提取特征；基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；划分图像，得到多个检测目标图像；采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；根据拟合的结果，输出圆心坐标和半径。根据本发明提供的圆检测及拟合方法，通过引入DIoU损失计算方式和自适应调整阈值，增强了圆检测及拟合方法的鲁棒性，提高了定位球的检测准确率，从而实现精确的手术导航定位。
Description
技术领域
本发明涉及医疗图像处理领域，具体涉及用于图像处理的圆检测及拟合方法、圆检测及拟合装置、电子设备和存储介质。
背景技术
目前，在骨科医疗中有大量的手术需要使用髓内钉固定断骨，这种闭合及微创的治疗方法大大降低了手术感染率，并且患者创伤小、愈后恢复快。在临床医学中，髓内钉打入人体前，需要先精准打入一根很细的导针，此时需要使用手术导航定位系统。该系统将装有套筒的机械臂定位到病灶上方，再将导针穿过圆管直接打入人体，而机械臂精准定位的基础是计算机械臂和术中X光图像间的坐标变换关系。该变换关系通过在X光中能够显影的定位球计算获得，因此在X光图像中确定定位球的中心是手术导航定位的关键因素。
确定定位球分为检测圆和圆心定位两部分。检测圆的部分一般使用基于霍夫变换的算法。已知圆在笛卡尔坐标系下的一般方程为：(x-a)2+(y-b)2＝r2，其中，(a,b)为圆心，r为圆的半径。经过霍夫变换，把X-Y平面上的圆转换到a-b-r参数空间，则图像空间中过(x,y)点的圆对应该参数空间中的一个三维锥面，如图1所示，(ai,bi,ri)表示所有经过点(xi,yi)的圆，因此在r高度的交点A表示一个圆同时经过了(x1,y1)、(x2,y2)、(x3,y3)，A即为霍夫变换检测到的圆。传统的圆心定位方法可以在使用霍夫变换检测圆算法的基础上，计算出圆心坐标和圆的位置。
但是，霍夫变换检测圆的算法在计算时需要较多参数，例如圆的中心之间的最小距离、圆半径的最小值和最大值等，而由于每张图像的小球半径大小、灰度值均有差异，导致这种方法鲁棒性不强。
此外，现有技术中常用的深度学习目标检测方法还存在由于梯度回传无法进行训练学习等问题，圆心定位的边缘检测算法也存在由于检测出伪边缘导致圆心定位不准确等问题。
发明内容
为了至少解决现有技术中存在的部分问题，本发明提供了用于图像处理的圆检测及拟合方法、圆检测及拟合装置、以及相应的电子设备和非暂态计算机可读存储介质，以增强算法的鲁棒性，提高检测定位球的准确率。
第一方面，本发明提供一种用于图像处理的圆检测及拟合方法，包括以下步骤：
根据待处理的图像建立数据集，并提取特征；
基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
划分图像，得到多个检测目标图像；
采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；
对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；
根据拟合的结果，输出圆心坐标和半径。
根据本发明提供的圆检测及拟合方法，其中，根据待处理的图像建立数据集，具体包括：
获取图像，对图像进行增强处理，将原图像数据与扩充后的数据共同作为数据集，并使用图像标注工具对数据集进行标注。
根据本发明提供的圆检测及拟合方法，其中，DIoU损失函数由下列公式进行定义：
其中，A、B分别表示IoU边框回归算法中的预测框、真实框；b、bgt分别表示预测框、真实框的中心点；ρ为两中心点的欧氏距离；c为两框的最小闭包区域的对角线距离。
根据本发明提供的圆检测及拟合方法，其中，自适应调整阈值具体包括：
将检测目标图像的灰度中值作为起始的阈值T；
根据公式K＝(P(N/2)+P(N/2+1))/2对K值进行迭代，直至计算出的K值与T值的误差值d＝(T-K)2满足可忽略的条件，得出最终的迭代阈值K＝(T(n-1)+Tn)1/2，其中，K、P分别为长度为N的灰度段中的灰度中值和灰度值，n为灰度段的个数。
根据本发明提供的圆检测及拟合方法，其中，自适应调整阈值进一步包括：
将每次迭代后产生的误差值d取均值得到dm；
通过给定的比例选取低阈值low＝β*(T-dm)，其中，β是根据检测目标图像进行调整的量。
根据本发明提供的圆检测及拟合方法，其中，采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测，具体包括：
对检测目标图像进行预处理，卷积降噪并寻找检测目标图像的强度梯度；以及
通过Canny算法剔除大部分非边缘点得到疑似边缘，然后使用滞后阈值算法求解检测目标图像的边缘。
根据本发明提供的圆检测及拟合方法，其中，对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合，具体包括：
基于对检测目标图像进行边缘检测的结果，拟合出初步的圆心和半径；
以初步的圆心为基准，设置一个水平测量窗口，将水平测量窗口中的点按设定的方向依次旋转，每次旋转设定的角度，并计算出点旋转后的灰度值；
将灰度值映射回水平测量窗口中，通过这些灰度值生成图像以进行投影，计算投影曲线的梯度，分析出灰度突变的点坐标；
将灰度突变的点按与设定的方向相反的方向依次旋转回到原位置，作为用来进行圆的拟合的点集。
第二方面，本发明还提供一种用于图像处理的圆检测及拟合装置，包括：
获取模块，用于根据待处理的图像建立数据集，并提取特征；
训练模块，用于基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
划分模块，用于划分图像，得到多个检测目标图像；
检测模块，用于采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；
拟合模块，用于对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；以及
输出模块，用于根据拟合的结果，输出圆心坐标和半径。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现如上述任一种的用于图像处理的圆检测及拟合方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种的用于图像处理的圆检测及拟合方法的步骤。
由上述技术方案可知，本发明提供的用于图像处理的圆检测及拟合方法、圆检测及拟合装置、电子设备及存储介质，通过对网络模型中的边框回归引入DIoU损失计算方式，同时通过自适应调整高低阈值改进Canny算法，使用灰度映射的方法实现图像测量窗口的旋转分割，增强了圆检测及拟合方法的鲁棒性，避免了定位球大小、灰度、边缘模糊等因素的影响，提高了定位球的检测准确率，从而实现精确的手术导航定位。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地，下面描述中的附图是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中基于霍夫变换的圆检测算法的示意图；
图2是本发明一实施例提供的用于图像处理的圆检测及拟合方法的流程图；
图3是本发明一实施例提供的圆检测及拟合方法中旋转分割步骤的示意图；
图4是本发明一实施例提供的用于图像处理的圆检测及拟合装置的示意图；
图5是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人对检测圆所常用的深度学习目标检测方法和圆心定位所常用的边缘检测方法进行了深入研究，发现YOLO(You Only LookOnce)系列目标检测算法和Canny边缘检测算法是比较适用于手术导航定位系统的算法。
但是，现有的YOLO算法和Canny算法中也存在各自的问题。以YOLO系列中的YOLOv3为例，其采用了一种开源神经网络框架Darknet来提取图像的特征。YOLO v3借鉴了残差网络结构，Softmax层被替换为一个1x1的卷积层+logistic激活函数的结构，能够应对多重label分类，同时在针对小目标检测时，精度有明显的提高。但是例如Darknet-53的网络模型比较复杂，在预测检测框与真实检测框没有相交部分时使用IoU损失函数进行计算，会出现梯度回传问题，导致无法进行训练学习。
对于作为图像边缘检测经典算法的Canny算法，由于图像中的定位球边缘可能会模糊不清，而传统的Canny算法采用人工随意选取高低阈值作为参数，很容易检测出伪边缘，从而导致圆心定位不准确。
在此基础上，本发明提供了一种用于图像处理的圆检测及拟合方法。本发明实施例提供的圆检测及拟合方法适用于手术导航定位系统中的图像处理，以帮助机械臂精准定位，该机械臂可以与能够采集待处理的图像(例如，X光图像)的设备协同工作。将例如相机标定板的定位设备布置在人体的骨折部位上，并将定位设备划分为若干个区域，优选地例如划分为四个区域，每个区域上都设置多个定位球，定位球被采集图像的设备所采集继而检测、拟合，以获得定位出骨折部位的图像。
参见图2的流程图，该圆检测及拟合方法包括以下步骤：
步骤101，根据待处理的图像建立数据集，并提取特征；
步骤102，基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
步骤103，划分图像，得到多个检测目标图像；
步骤104，采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；
步骤105，对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；
步骤106，根据拟合的结果，输出圆心坐标和半径。
根据上述实施例的用于图像处理的圆检测及拟合方法，经过图像增强处理并改进网络模型的损失函数后，提高了网络训练速度和检测精度；通过自适应调整高低阈值的改进Canny算法能够弥补人工随意设置高低阈值的缺陷，提高边缘检测精度；对图像进行旋转分割，可以将原来对图像的整体分析转为对测量窗口的分析，能够对定位球这类小目标进行更加细致的分析，以提取出更准确的边缘信息。因而，本发明实施例提供的圆检测及拟合方法具有很强的鲁棒性，不容易被定位球大小、灰度、边缘模糊等因素影响，检测准确率高，导航定位精确。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤101中所述的根据待处理的图像建立数据集，包括：获取图像，对图像进行增强处理，将原图像数据与扩充后的数据共同作为数据集，并使用图像标注工具对数据集进行标注。
具体而言，首先由图像采集设备获取带有定位球成像的图像，优选地，该图像为X光图。在保证原图质量不受影响的情况下，对图像进行旋转变换、对比度变换和图像噪声平衡等处理，将原图像数据与图像扩充后的数据共同作为数据集，以保证训练数据的充足性，增强模型的检测能力。
其中，对图像的噪声平衡处理是根据图像中噪声多少的程度，来决定增强或是降低噪声。也即，图像噪声较多就采取降噪处理，图像比较干净、噪声较少就采取增加噪声的处理，以此来将图像噪声的数量维持在一个平均水平，从而可以提升数据集的泛化能力，使训练模型可以适应不同程度噪声的图像。
使用图像标注工具，例如yolo_mark，对数据集进行手工标注，然后基于数据集与生成的txt文档抽取特征，例如对文本等数据进行特征值化，将转换后的特征送入卷积神经网络模型中，开始训练。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤102中的DIoU损失函数由下列公式进行定义：
其中，A、B分别表示IoU边框回归算法中的预测框、真实框；b、bgt分别表示预测框、真实框的中心点；ρ为两中心点的欧氏距离；c为两框的最小闭包区域的对角线距离。
IoU(Intersection over Union，交并比)是目标检测中的常用指标，可以简单地理解为检测结果(Detection Result)与真实框(Ground Truth)的交集与它们的并集之比，反映了预测检测框与真实检测框的检测效果。
在本实施例中，采用基于DIoU(Distance Intersection over Union，基于距离的IoU)的IoU边框回归算法，引入了惩罚项不再需要考虑框与框之间的交并，而是从各个检测框的欧式距离入手进行计算。DIoU的引入提升了回归的精度与速度，也避免了梯度回传导致无法训练学习的问题。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤103中由划分图像得到的多个检测目标图像的数量可以与定位球的数量相一致。例如，在定位设备的四个区域上共设置76个定位球，则相应地获得76个正方形的检测目标图像，后续的边缘检测、旋转分割、拟合等操作均针对各个区域进行。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤104中的自适应调整阈值包括：
将检测目标图像的灰度中值作为起始的阈值T；
根据公式K＝(P(N/2)+P(N/2+1))/2对K值进行迭代，直至计算出的K值与T值的误差值d＝(T-K)2满足可忽略的条件，得出最终的迭代阈值K＝(T(n-1)+Tn)1/2，其中，K、P分别为长度为N的灰度段中的灰度中值和灰度值，n为灰度段的个数。
在大部分的定位球图像中，小球与背景的灰度值差异较大，因此将检测目标图像的灰度中值作为起始的阈值T更加合适。对通过不同灰度段计算的K值进行迭代，迭代至K与T的误差值达到可忽略的条件，通常是误差值足够小，此时获得最终的迭代结果，即高阈值。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤104中的自适应调整阈值还包括自适应调整低阈值。低阈值的选取依赖于前述计算高阈值过程中的误差值d，具体而言：
将每次迭代后产生的误差值d取均值得到dm；
通过给定的比例选取低阈值low＝β*(T-dm)，其中，β是根据检测目标图像进行调整的量。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤104中所述的采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测，包括：
对检测目标图像进行预处理，卷积降噪并寻找检测目标图像的强度梯度；以及
通过Canny算法剔除大部分非边缘点得到疑似边缘，然后使用滞后阈值算法求解检测目标图像的边缘。
具体而言，先对检测目标图像进行灰度化、降噪、形态学等预处理，例如使用高斯平滑滤波器进行卷积降噪，然后通过一阶偏导算子找寻图像的强度梯度。在Canny算法中，使用非极大值抑制的方式，先剔除大部分非边缘点得到疑似边缘，然后使用滞后阈值算法求解检测目标图像的边缘。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，优选地，步骤105中所述的对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合，包括：
基于对检测目标图像进行边缘检测的结果，拟合出初步的圆心和半径；
以初步的圆心为基准，设置一个水平测量窗口，将水平测量窗口中的点按设定的方向依次旋转，每次旋转设定的角度，并计算出点旋转后的灰度值；
将灰度值映射回水平测量窗口中，通过这些灰度值生成图像以进行投影，计算投影曲线的梯度，分析出灰度突变的点坐标；
将灰度突变的点按与设定的方向相反的方向依次旋转回到原位置，作为用来进行圆的拟合的点集。
具体而言，在通过改进的Canny边缘检测算法提取出圆的边缘信息之后，根据这些边缘信息拟合计算出大致的圆心和半径。
常用的拟合圆算法包括最小二乘法和加权平均法。
最小二乘法圆拟合算法是一种基于统计的检测方法，通过最小化误差的平方和找到一组数据的最佳函数匹配，即便图像中圆形目标受光照强度不均等因素的影响而产生边缘缺失，也不会影响圆心的定位和半径的检测。根据最小二乘法，
圆心坐标为：
半径为：
其中，A＝-2x0，B＝-2y0，C＝x0 2+y0 2-r2。
考虑到一般情况下数据点不可能分布很均匀，用求平均值法求得的圆心位置会偏向数据点密集的一边，求出的半径也会偏小。在求圆心坐标和半径大小时采用加权平均圆拟合算法，可以克服这类缺陷。根据加权平均法，
圆心坐标为：O＝(∑xiLi/(2*L),∑yiLi/(2*L))，
半径为：
其中，L为所有相邻两点之间的弧长之和；Li为点(xi，yi)与相邻两点间的弧长(距离)之和；Li/(2*L)为权值，a，b分别为圆心的横纵坐标。
为了更加精确地定位圆心，在通过上述流程定位出初步的圆心之后，根据这个大致的圆心对图像进行窗口分割，并对每一个分割出的窗口进行分析，在每个窗口中提取出圆的边缘点。
参见图3所示，以该圆心为基准，设置一个水平测量窗口，窗口的位置和大小根据圆心和半径而变化；然后将该水平测量窗口中的点按设定的方向(例如，顺时针)依次旋转，每次旋转设定的角度，使用双线性插值计算出旋转后窗口中的灰度值。设定的旋转角度优选可以是30度，也就是说，每旋转30度分割出一个测量窗口。
将所得的灰度值映射回原来的水平测量窗口中，通过这些灰度值生成图像进行x轴投影，其中x轴为图像的水平方向的轴，x轴投影即指图像按列向x轴方向进行投影，也称为垂直投影。然后，计算投影曲线的梯度，分析出灰度突变的点坐标，也就是梯度最大值对应于边缘点坐标。继而将这些灰度突变点按照与设定的方向相反的方向(例如，逆时针)依次旋转回原坐标，作为最后用来进行圆拟合的点集，通过拟合点集中的边缘点更新得到精确的圆心坐标和半径。
基于上述实施例的内容，在本实施例的圆检测及拟合方法中，步骤106中所述的拟合的结果即为更新后的精确的圆心坐标和半径。
所述输出圆心坐标和半径，优选地可以输出到显示装置，例如液晶显示器或OLED显示器，用图像反映骨折部位；或者可以输出到机械臂控制机构，用于将机械臂定位到对骨折的位置。
根据上述实施例的用于图像处理的圆检测及拟合方法，改进后的YOLO v3深度学习框架提高了检测定位球的准确率，改进后的Canny边缘检测提高了算法的鲁棒性，可以精确稳定地执行定位球的检测，从而实现手术中的导航定位。虽然上述实施例中针对骨科手术详细阐述了本发明，但本领域技术人员应当理解，本发明不限于此，而是可以适用于各种需要进行导航定位的手术，乃至其他可以通过检测和拟合定位球进行图像处理的技术领域。
下面对本发明提供的一种用于图像处理的圆检测及拟合装置进行描述，下文描述的圆检测及拟合装置与上文描述的圆检测及拟合方法可以相互对应参照。参见图4，本实施例提供的用于图像处理的圆检测及拟合装置具体包括：
获取模块21，用于根据待处理的图像建立数据集，并提取特征；
训练模块23，用于基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
划分模块25，用于划分图像，得到多个检测目标图像；
检测模块27，用于采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；
拟合模块29，用于对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；以及
输出模块31，用于根据拟合的结果，输出圆心坐标和半径。
由于本发明实施例提供的圆检测及拟合装置，可以用于执行上述各实施例所述的圆检测及拟合方法，其工作原理和有益效果均类似，故此处不再详述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的装置可以由软件和/或硬件的方式实现，并可以集成在诸如手机、平板电脑等用户终端设备中。该装置中的单元只是按照功能逻辑进行划分的，并且不局限于上述的划分，只要能够实现相应的功能即可。各个单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备可以包括：处理器810、通信接口820、存储器830和通信总线840，其中，处理器810、通信接口820、存储器830通过通信总线840完成相互间的通信。
处理器810可以调用存储器830中的计算机程序，以执行一种用于图像处理的圆检测及拟合方法，该圆检测及拟合方法例如包括以下步骤：根据待处理的图像建立数据集，并提取特征；基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；划分图像，得到多个检测目标图像；采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；根据拟合的结果，输出圆心坐标和半径。
本领域技术人员可以理解，处理器810还可以实现本发明任意实施例所提供的圆检测及拟合方法，并且图5所示的电子设备仅仅是一种示例，其也可以通过能够调用指令实现前述圆检测及拟合方法的任意设备来实现。
上述的存储器830中的逻辑指令也可以通过软件功能单元的形式实现并作为独立的产品销售或使用，这时将其存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述用于图像处理的圆检测及拟合方法的步骤。例如，处理器执行该计算机程序时实现下述过程：根据待处理的图像建立数据集，并提取特征；基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；划分图像，得到多个检测目标图像；采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；根据拟合的结果，输出圆心坐标和半径。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述用于图像处理的圆检测及拟合方法的步骤。例如，处理器执行该计算机程序时实现下述过程：根据待处理的图像建立数据集，并提取特征；基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；划分图像，得到多个检测目标图像；采用自适应调整阈值的Canny算法对检测目标图像进行边缘检测；对检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；根据拟合的结果，输出圆心坐标和半径。
通常，前述存储介质可包括诸如U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，前述计算机程序可以执行的细化功能和扩展功能可参照上述实施例的描述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元示出的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种用于图像处理的圆检测及拟合方法，其特征在于，包括以下步骤：
根据待处理的图像建立数据集，使用图像标注工具对所述数据集进行标注，并提取特征；
基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
划分所述图像，得到多个检测目标图像；
采用自适应调整阈值的Canny算法对所述检测目标图像进行边缘检测；
对所述检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；
根据拟合的结果，输出圆心坐标和半径；
其中，所述自适应调整阈值具体包括：
将检测目标图像的灰度中值作为起始的阈值T；
根据公式K = (P(N/2)+ P(N/2+1))/2对K值进行迭代，直至计算出的K值与T值的误差值d =(T - K)2满足可忽略的条件，得出最终的迭代阈值K = (T(n-1) + Tn)1/2，其中，K、P分别为长度为N的灰度段中的灰度中值和灰度值，n为灰度段的个数；
所述自适应调整阈值进一步包括：
将每次迭代后产生的误差值d取均值得到dm；
通过给定的比例选取低阈值low = β(T - dm)，其中，β是根据所述检测目标图像进行调整的量；
所述采用自适应调整阈值的Canny算法对所述检测目标图像进行边缘检测，具体包括：
对所述检测目标图像进行预处理，卷积降噪并寻找所述检测目标图像的强度梯度；以及
通过Canny算法剔除大部分非边缘点得到疑似边缘，然后使用滞后阈值算法求解所述检测目标图像的边缘；
所述对所述检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合，具体包括：
基于对所述检测目标图像进行边缘检测的结果，拟合出初步的圆心和半径；
以所述初步的圆心为基准，设置一个水平测量窗口，将所述水平测量窗口中的点按设定的方向依次旋转，每次旋转设定的角度，并计算出点旋转后的灰度值；
将所述灰度值映射回所述水平测量窗口中，通过这些灰度值生成图像以进行投影，计算投影曲线的梯度，分析出灰度突变的点坐标；
将所述灰度突变的点按与所述设定的方向相反的方向依次旋转回到原位置，作为用来进行圆的拟合的点集。
2.根据权利要求1所述的圆检测及拟合方法，其特征在于，所述根据待处理的图像建立数据集，具体包括：
获取所述图像，对所述图像进行增强处理，将原图像数据与扩充后的数据共同作为所述数据集。
3.根据权利要求1所述的圆检测及拟合方法，其特征在于，
所述DIoU损失函数由下列公式进行定义：
；
，
其中，A、B分别表示所述IoU边框回归算法中的预测框、真实框；b、分别表示预测框、真实框的中心点；/>为两中心点的欧氏距离；c为两框的最小闭包区域的对角线距离。
4.一种用于图像处理的圆检测及拟合装置，其特征在于，包括：
获取模块，用于根据待处理的图像建立数据集，使用图像标注工具对所述数据集进行标注，并提取特征；
训练模块，用于基于所提取的特征，采用基于DIoU损失函数的IoU边框回归算法进行训练；
划分模块，用于划分所述图像，得到多个检测目标图像；
检测模块，用于采用自适应调整阈值的Canny算法对所述检测目标图像进行边缘检测；
拟合模块，用于对所述检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合；以及
输出模块，用于根据拟合的结果，输出圆心坐标和半径；
其中，所述自适应调整阈值具体包括：
将检测目标图像的灰度中值作为起始的阈值T；
根据公式K = (P(N/2)+ P(N/2+1))/2对K值进行迭代，直至计算出的K值与T值的误差值d =(T - K)2满足可忽略的条件，得出最终的迭代阈值K = (T(n-1) + Tn)1/2，其中，K、P分别为长度为N的灰度段中的灰度中值和灰度值，n为灰度段的个数；
所述自适应调整阈值进一步包括：
将每次迭代后产生的误差值d取均值得到dm；
通过给定的比例选取低阈值low = β(T - dm)，其中，β是根据所述检测目标图像进行调整的量；
所述采用自适应调整阈值的Canny算法对所述检测目标图像进行边缘检测，具体包括：
对所述检测目标图像进行预处理，卷积降噪并寻找所述检测目标图像的强度梯度；以及
通过Canny算法剔除大部分非边缘点得到疑似边缘，然后使用滞后阈值算法求解所述检测目标图像的边缘；
所述对所述检测目标图像进行旋转分割，并通过灰度映射进行圆的拟合，具体包括：
基于对所述检测目标图像进行边缘检测的结果，拟合出初步的圆心和半径；
以所述初步的圆心为基准，设置一个水平测量窗口，将所述水平测量窗口中的点按设定的方向依次旋转，每次旋转设定的角度，并计算出点旋转后的灰度值；
将所述灰度值映射回所述水平测量窗口中，通过这些灰度值生成图像以进行投影，计算投影曲线的梯度，分析出灰度突变的点坐标；
将所述灰度突变的点按与所述设定的方向相反的方向依次旋转回到原位置，作为用来进行圆的拟合的点集。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3中任一项所述的圆检测及拟合方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的圆检测及拟合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011615504.6A CN112634256B (zh) | 2020-12-30 | 2020-12-30 | 圆检测及拟合方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011615504.6A CN112634256B (zh) | 2020-12-30 | 2020-12-30 | 圆检测及拟合方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634256A CN112634256A (zh) | 2021-04-09 |
| CN112634256B true CN112634256B (zh) | 2024-03-15 |
Family
ID=75286944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011615504.6A Active CN112634256B (zh) | 2020-12-30 | 2020-12-30 | 圆检测及拟合方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634256B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744328B (zh) * | 2021-11-05 | 2022-02-15 | 极限人工智能有限公司 | 医学图像标记点识别方法、装置、电子设备及存储介质 |
| CN114132745A (zh) * | 2021-11-30 | 2022-03-04 | 北京新风航天装备有限公司 | 一种基于agv及机器视觉进行工件自动上下料系统及方法 |
| CN114383506B (zh) * | 2022-01-12 | 2024-03-19 | 江苏沙钢高科信息技术有限公司 | 一种基于红外技术的高速线材盘卷形状与位置检测方法 |
| CN114283275B (zh) * | 2022-03-04 | 2022-08-16 | 南昌工学院 | 一种基于优化深度学习的多图形目标检测方法 |
| CN117237366B (zh) * | 2023-11-16 | 2024-02-06 | 福建凯达集团有限公司 | 一种薄膜防雾性能检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6312385B1 (en) * | 2000-05-01 | 2001-11-06 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for automatic detection and sizing of cystic objects |
| CN106530347A (zh) * | 2016-09-28 | 2017-03-22 | 吴晓军 | 一种稳定的高性能圆特征检测方法 |
| CN112132886A (zh) * | 2020-09-30 | 2020-12-25 | 哈尔滨理工大学 | 一种航空零件圆孔圆心快速定位及圆度检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9934578B2 (en) * | 2016-08-15 | 2018-04-03 | Macau University Of Science And Technology | Method for edge detection |
-
2020
- 2020-12-30 CN CN202011615504.6A patent/CN112634256B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6312385B1 (en) * | 2000-05-01 | 2001-11-06 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for automatic detection and sizing of cystic objects |
| CN106530347A (zh) * | 2016-09-28 | 2017-03-22 | 吴晓军 | 一种稳定的高性能圆特征检测方法 |
| CN112132886A (zh) * | 2020-09-30 | 2020-12-25 | 哈尔滨理工大学 | 一种航空零件圆孔圆心快速定位及圆度检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 圆检测中Canny算子的改进及应用研究;段晓宇;河南大学硕士论文;1-59 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634256A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634256B (zh) | 圆检测及拟合方法、装置、电子设备和存储介质 | |
| US20240119719A1 (en) | Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure | |
| US20220157047A1 (en) | Feature Point Detection | |
| JP2021530061A (ja) | 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体 | |
| CN101237811B (zh) | 眼科装置定位系统和相关的方法 | |
| CN111046717A (zh) | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 | |
| US9721191B2 (en) | Method and system for image recognition of an instrument | |
| CN109124662B (zh) | 肋骨中心线检测装置及方法 | |
| CN108364297B (zh) | 血管图像分割方法、终端、存储介质 | |
| CN112381811A (zh) | 一种实现医学影像数据标注的方法、装置及设备 | |
| Mondal et al. | Automatic craniofacial structure detection on cephalometric images | |
| CN114093462A (zh) | 医学影像处理方法、图像处理方法、计算机设备、存储介质 | |
| CN108447066B (zh) | 胆道图像分割方法、终端、存储介质 | |
| CN108804861B (zh) | 一种具有真实力反馈的脊柱微创手术培训系统及方法 | |
| CN116363181A (zh) | 一种基于特征的ct图像和超声图像肝脏配准方法 | |
| CN115880358A (zh) | 定位模型的构建方法、影像标志点的定位方法及电子设备 | |
| WO2020031071A1 (en) | Internal organ localization of a subject for providing assistance during surgery | |
| CN114187299A (zh) | 超声定位肿瘤影像的高效精准划分方法 | |
| Pilgram et al. | Knowledge-based femur detection in conventional radiographs of the pelvis | |
| KR20080020338A (ko) | 두부계측 방사선사진 상에 계측점을 지정하는 방법 | |
| CN115409690B (zh) | 一种眼底图像实时映射方法及装置 | |
| CN116958132B (zh) | 基于视觉分析的手术导航系统 | |
| CN117876402B (zh) | 一种用于颞下颌关节紊乱病影像的智能分割方法 | |
| CN116309593B (zh) | 基于数学模型的肝脏穿刺活检b超图像处理方法及系统 | |
| CN116523983B (zh) | 融合多路径特征与器官形态导向的胰腺ct图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |