CN111680681A - 排除非正常识别目标的图像后处理方法及系统及计数方法 - Google Patents
排除非正常识别目标的图像后处理方法及系统及计数方法 Download PDFInfo
- Publication number
- CN111680681A CN111680681A CN202010524402.7A CN202010524402A CN111680681A CN 111680681 A CN111680681 A CN 111680681A CN 202010524402 A CN202010524402 A CN 202010524402A CN 111680681 A CN111680681 A CN 111680681A
- Authority
- CN
- China
- Prior art keywords
- preset object
- area
- preset
- recognition
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 37
- 238000012805 post-processing Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 101100272670 Aromatoleum evansii boxB gene Proteins 0.000 claims description 31
- 101100272669 Aromatoleum evansii boxA gene Proteins 0.000 claims description 26
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 229910001294 Reinforcing steel Inorganic materials 0.000 abstract description 55
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 5
- 229910000831 Steel Inorganic materials 0.000 description 38
- 239000010959 steel Substances 0.000 description 38
- 238000004590 computer program Methods 0.000 description 14
- 230000003014 reinforcing effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了排除非正常识别目标的图像后处理方法及系统及计数方法,涉及图像处理领域，针对识别过程中产生的重复识别和错误识别分别采取了对应方法进行识别后处理；首先对于模型产生的重复识别问题，本发明依次采用了基于box的识别后图像处理技术手段和基于相交面积的识别后处理技术手段，取得了非常显著的效果，能够排除重复识别钢筋；对于复杂的背景环境带来的误识别，本发明采用分布异常识别的后处理技术手段，能够排除孤立钢筋的错误识别和钢筋分布异常的错误识别。
Description
技术领域
本发明涉及图像处理领域，具体地，涉及一种排除误识别与重复识别钢筋的图像后处理方法及系统及计数方法。
背景技术
无论在钢筋的生产过程中还是使用过程中，对于钢筋数量的统计都是非常重要的一个环节。例如在工地现场，对于进场的钢筋车，验收人员需要对车上的钢筋进行现场人工点根，确认数量后钢筋车才能完成进场卸货。
而目前的现场钢筋盘点主要采用人工计数的方式，计数工人需要使用不同颜色对不同型号的钢筋进行标记和计数，这样的计数方式不仅耗时长，消耗人力，计数效率也十分低，随着工作时间增加导致工人疲劳计数的准确率也会降低，人工计数已经渐渐不能适应现代化的自动生产需求。
为解决这一问题，提出了基于机器视觉的智能钢筋计数技术，基于机器视觉的识别技术有多种实现方案，其中一种是使用手机APP对成捆的钢筋进行识别计数，然后人工修正错误识别，这种方案一次只能检测一捆钢筋，由于钢筋捆都是密集堆叠，每捆钢筋的周围有其它钢筋的干扰，仍然需要工人统计大量的重复识别，因此对于整车钢筋数量的统计仍然需要大量的人力，工作效率提升有限。
另外一种方法是使用激光扫描钢筋的横截面，得到灰度图后再转化为二值图像后进行计数，这种技术能够统计一排钢筋的数量，对比手机APP计数效率有所提升，准确率也有所提高，但因为激光设备的特点，一次扫描的高度范围是受限的，在钢筋堆叠面积较大的情况下，激光扫描成像需要重复测量数次才能全部覆盖整个钢筋堆，同时存在大量重复识别，使用不够方便。
发明内容
通过对背景技术的研究发现，研究一套能够准确的一次性识别大量钢筋的技术具有非常重要的意义。
本发明中的相关相关术语的定义为：
Mask-RCNN：本发明采用的深度学习模型，该模型是基于Faster RCNN提出的一个网络架构，增加了一个分支预测现有目标，实现目标个体的语义分割，在目标识别分类中有非常良好的效果。
Box：box是深度学习识别模型的定位边框，为一个矩形，包含两个坐标，分别为左上角坐标A1(x1i,y1i)和右下角坐标A2(x2i,y2i)，能够在图片中精确地表示出钢筋在图像中的位置。
预设对象识别区域：box中所画的圆形区域，以box的宽度为直径，box的中心为圆心，用以在图像中表示预设对象的形状以及算法相关的计算。
滑动切图：将一副含有预设对象图像的大图切割成很多小图后再进行预设对象识别的策略。
本发明提出的一种排除非正常识别目标的图像后处理方法及系统及计数方法及系统，目的是为了提升一次性识别大量预设对象时的准确率，能够解决预设对象重复识别问题。
本发明的另一个目的是解决一次性识别大量预设对象时，导致的非预设对象目标识别错误问题，提升在复杂背景环境下同时识别大量预设对象时的识别计数准确率
发明人研究发现：在使用光学成像图片一次性识别大量密集堆叠的钢筋时，因背景环境非常复杂，并且存在视差、畸变等因素影响钢筋成像质量，会导致钢筋识别模型将背景环境中的一些类似钢筋的画面误识别成钢筋，另外，由于识别模型使用了滑动切图策略识别，处在切割边缘处的钢筋会同时出现在两幅小图中，造成重复识别，因此，本发明研究了相应的图像处理方法来排除这些误识别与重复识别，保证整体上钢筋识别的准确率。
为实现上述目的，本发明提供了一种图像处理方法，所述方法包括：
识别图像中的所有预设对象，并标注每个预设对象对应的box，box为深度学习识别模型对应的矩形定位边框；
计算任意两个boxA与boxB之间的重叠区域，若boxB对应的矩形定位边框B的边框区域全部位于boxA对应的矩形定位边框A的边框区域内，则删除boxB；若矩形定位边框B的边框区域部分位于矩形定位边框A的边框区域内，则计算矩形定位边框A的边框区域与矩形定位边框B的边框区域之间的重叠区域面积S，若S小于阈值P1，则删除boxA与boxB中面积较小的box，若S大于或等于阈值P1，则基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，预设对象识别区域为预设对象对应的box中所设的圆形区域，该圆形区域为以box的宽度为直径以及以box的中心为圆心的圆形区域。
优选的，矩形定位边框包含两个对角点坐标，取左上右下两个坐标或取右上左下两个坐标不影响最终计算，这里暂定为左上角坐标A1(x1i,y1i)和右下角坐标A2(x2i,y2i)，根据box的坐标计算任意两个boxA与boxB之间的重叠区域,具体方法如下：设boxA的左上角坐标为A1(x1i,y1i)，右下角坐标为A2(x2i,y2i)，boxB的左上角坐标为B1(x1j,y1j)，右下角坐标为B2(x2j,y2j),取(max(x1i,x1j),min(y1i,y1j))为重叠区域的左上(重叠区域在右下角)或左下(重叠区域在右上交)坐标点C1，取(min(x2i,x2j),max(y2i,y2j))为重叠区域的右下(重叠区域在右下角)或右上(重叠区域在右上角)坐标点C2，则重叠区域的长LC与宽WC分别为LC＝min(x2i,x2j)-max(x1i,x1j)，WC＝min(y1i,y1j)-max(y2i,y2j)，当长宽均为正数时，重叠区域存在，其面积Sc＝LCWC。
优选的，所述基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，具体包括：
对比boxA和boxB对应的2个预设对象的识别置信度，识别置信度由Mask-RCNN识别模型计算得到，若boxA和boxB对应的2个预设对象的识别置信度相等，预设对象B对应的预设对象识别区域为S2，预设对象A对应的预设对象识别区域为S1，且S1大于S2，则计算比值a＝S2/S1，若比值a大于阈值P2，则同时保留预设对象A的识别区域和预设对象B的识别区域；若比值a小于或等于阈值P2，则删除预设对象B的识别区域；
若boxA和boxB对应的2个预设对象的识别置信度不相等，则计算预设对象B的横截面面积为Slow，计算预设对象A的横截面面积为Shigh，Shigh表示高置信度的预设对象横截面面积，Slow表示低置信度的预设对象横截面面积，计算两个预设对象的横截面面积比值K：K＝Slow/Shigh，若比值K大于阈值P3，则删除预设对象A对应的预设对象识别区域，若比值K小于或等于阈值P3，则删除预设对象B对应的预设对象识别区域。
优选的，为了处理预设对象的形状及分布异常识别，本发明适用于大量密集钢筋的堆叠的客观场景，基本不可能出现单只钢筋出现在远离大量钢筋聚集处的孤立情况，并且为了方便钢筋运输与使用，钢筋一般为同一型号成捆的堆叠，即不可能出现一捆钢筋中突兀的出现一根尺寸差异巨大的钢筋，若在识别过程中出现以上两种情形均视为钢筋的分布异常带来的误识别，需要将其去除。另外，由于钢筋横截面一般为近似的圆形，其box的长宽不会差异太大，若识别出的钢筋识别区域所在box的长宽比小于阈值P5，则说明其识别形状异常，需要将其删除。具体实现方法包括：
识别出所有预设对象后，计算出每个预设对象的圆心坐标Oi、横截面面积Si以及box长宽比L，若L小于阈值P5，则删除该预设对象对应的预设对象识别区域；
以每个预设对象识别区域的圆心坐标为中心，设定半径为R的圆作为搜索范围M，若搜索范围M内的预设对象识别区域数量少于n，则判定该预设对象为异常的预设对象将其删除；
若搜索范围M内的预设对象识别区域数量大于或等于n，则计算搜索范围M内所有预设对象识别区域横截面的平均值S-mean，若预设对象识别区域的面积Si与S-mean的比值低于阈值P4，则判定为预设对象的分布异常并删除。
优选的，所述预设对象的端面形状为圆形，如钢筋、管材等等数量比较大需要进行集中识别技术的对象。
本发明还提供了一种排除非正常识别目标的图像后处理，所述系统包括：
预设对象识别单元，用于识别图像中的所有预设对象；
标注单元，用于标注识别单元识别出的每个预设对象对应的box，box为深度学习识别模型的矩形定位边框；
处理单元，用于计算任意两个boxA与boxB之间的重叠区域，若boxB对应的矩形定位边框B的边框区域全部位于boxA对应的矩形定位边框A的边框区域内，则删除boxB；若矩形定位边框B的边框区域部分位于矩形定位边框A的边框区域内，则计算矩形定位边框A的边框区域与矩形定位边框B的边框区域之间的重叠区域面积S，若S小于阈值P1，则删除boxA与boxB中面积较小的box，若S大于或等于阈值P1，则基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，预设对象识别区域为预设对象对应的box中所设的圆形区域，该圆形区域为以box的宽度为直径以及以box的中心为圆心的圆形区域。
本发明还提供了一种预设对象识别计数方法，所述方法包括：
采集预设对象图片数据，该图片数据中包含若干预设对象；
利用Mask-RCNN深度学习模型识别图片数据中的预设对象得到初步识别结果；
利用所述的图像处理方法删除对异常识别的预设对象识别区域得到剔除后的预设对象识别区域数据；
基于剔除后的预设对象识别区域数据得到最终的图片数据中的预设对象计数结果。
本发明还提供了一种预设对象识别计数系统，所述系统包括：
图片数据采集单元，用于采集预设对象图片数据，该图片数据中包含若干预设对象；
初步设别单元，用于利用Mask-RCNN深度学习模型识别图片数据中的预设对象得到初步识别结果；
图像处理单元，用于利用所述的图像处理方法删除对异常识别的预设对象识别区域得到剔除后的预设对象识别区域数据；
计数单元，用于基于剔除后的预设对象识别区域数据得到最终的图片数据中的预设对象计数结果。
本发明还提供了一种图像处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述排除非正常识别目标的图像后处理方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述排除非正常识别目标的图像后处理方法的步骤。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明采用Mask-RCNN对钢筋图像建立了基本的识别模型，针对识别过程中产生的重复识别和错误识别分别采取了对应方法进行识别后处理。首先对于模型产生的重复识别问题，本发明依次采用了基于box的识别后图像处理技术手段和基于相交面积的识别后处理技术手段，取得了非常显著的效果，能够排除重复识别钢筋。
对于复杂的背景环境带来的误识别，本发明采用分布异常识别的后处理技术手段，能够排除孤立钢筋的错误识别和钢筋分布异常的错误识别。实际应用表明，本发明采用的识别后处理技术对于提升钢筋识别的准确性有显著的提升，
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1为基于box的重复识别排除流程示意图；
图2为重复识别排除法的流程示意图；
图3形状异常及分布异常处理流程示意图；
图4钢筋智能识别的整体流程示意图；
图5为图像处理系统单组成示意图；
图6为预设对象识别计数系统的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本领域技术人员应理解的是，本发明实施例中指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
实施例一
本发明中的预设对象的端面形状为圆形，如钢筋、管材等等数量比较大需要进行集中识别技术的对象，下面以预设对象为钢筋进行举例介绍，其他类似预设对象不进行累述。
请参考图1-图4，图1为基于box的重复识别排除流程示意图。其中第一步钢筋识别是采用了基于深度学习的识别方法，其为现有技术中的常用技术手段，此处进行概括，对于本领域技术人员来说基于深度学习的识别方法是常规技术手段，其具体原理不做累述，P1为设定阈值，若box的重叠面积比值Q大于设定阈值P1，则使用基于面积的重复识别排除法。
图2为重复识别排除法的流程示意图。其中S-high表示高置信度的钢筋面积，S-low表示低置信度的钢筋面积，S1和S2分别为重叠的两个钢筋的面积，min(S1,S2)表示S1与S2中的较小值，max(S1,S2)表示S1与S2中的较大值。P2、P3分别为设定的阈值。
图3形状异常及分布异常处理流程示意图。其中n为设定值，Oi表示识别出的第i个钢筋，Si表示该钢筋的横截面积，Li为该钢筋box的长宽比，P4、P5为设定阈值。
图4钢筋智能识别的整体流程示意图，从中可以看到识别后处理步骤在整体流程中所处的位置。
本发明在深度学习的模型识别基础上，提出了一种排除误识别与重复识别钢筋的图像后处理方法。
主要分为两个步骤：
1.排除重复识别
1.1基于box的重复识别排除
对同一钢筋的重复识别会导致box重复的标识在图片中的相同区域，因此box会出现重叠部分，基于此，本发明提出处理方法如下：
识别图像中存在的所有钢筋，并标注其box，根据box的坐标计算box重叠区域，若出现大的box完全包含小的box，则删除较小的box，若不是完全的内包含状态，则计算box重叠区域面积，低于阈值P1，则删除面积较小的box，若重叠面积大于或等于阈值P1，则使用1.2进行误识别排除，其流程图如附图1所示。
1.2基于钢筋识别区域相交面积的重复识别排除。
在1.1中，若box的重叠面积大于或等于阈值P1，则使用基于钢筋识别区域相交面积的处理方案进行重复识别的判定与消除。具体方法为，对比两个相交钢筋的识别置信度，若置信度相等，则计算钢筋识别区域面积小的与钢筋识别区域面积大的比值a＝S小/S大，若比值a大于阈值P2，则2个钢筋识别区域均全部保留，若比值小于阈值P2则删除识别出来的面积比较小的钢筋识别区域；若两个相交钢筋的置信度不相等，则计算两个钢筋的面积比值：Slow/Shigh，若比值大于阈值P3则删除面积为Shigh的钢筋识别区域，若比值小于阈值P3则删除面积为Slow的钢筋识别区域，其流程如附图2所示。
2.形状及分布异常识别处理
本发明适用于大量密集钢筋的堆叠的客观场景，基本不可能出现单只钢筋出现在远离大量钢筋聚集处的孤立情况，并且为了方便钢筋运输与使用，钢筋一般为同一型号成捆的堆叠，即不可能出现一捆钢筋中突兀的出现一根尺寸差异巨大的钢筋，若在识别过程中出现以上两种情形均视为钢筋的分布异常带来的误识别，需要将其去除。另外，由于钢筋横截面一般为近似的圆形，其box的长宽不会差异太大，若识别出的钢筋识别区域所在box的长宽比小于阈值P5，则说明其识别形状异常，需要将其删除。具体方法如下：
识别出所有钢筋后，计算出钢筋的圆心坐标Oi、面积Si以及box长宽比L，首先若L小于阈值P5，则将该识别区域删除。然后以每个钢筋区域的圆心坐标为中心，画半径为R的圆作为搜索范围，若该范围内钢筋区域数量少于n，则判定该钢筋为孤立的钢筋，将其删除；若该范围内的钢筋区域数量多于n，则计算该范围内所有钢筋区域横截面的平均值S-mean，若该钢筋区域的面积Si与S-mean的比值低于阈值P4，则判定为钢筋的分布异常，将其删除，具体流程如附图3所示。
本发明可以在多种不同的钢筋计数场景中实施，不限于以下具体实施例的显示。如附图4所示整体流程图，本发明实施例提供的识别后处理技术流程：
S1：获取真实的钢筋图片，进行标注获取训练数据集。
S2：使用深度学习对数据集进行训练，获取识别模型。
S3：使用识别模型对需要计数的钢筋图片进行识别获取初步的识别结果，获取所有钢筋的box坐标A1(x1i,y1i)、A2(x2i,y2i)，钢筋横截面圆心坐标Oi(xoi,xo2)，所有钢筋的横截面积Si，以及所有钢筋的置信分数等数据。
S4：计算每个box的重叠区域面积Sb，删除被完全包含的box以及重叠区域面积低于阈值P1的面积较小的box。
S5：对比box有重叠的钢筋的置信度，若置信分数相等，则计算两个钢筋的面积比值，其值大于P2，则全部保留，小于P2则删除面积较小的钢筋。
S6：若置信分数不相等，则计算置信度低的钢筋面积与置信度高的钢筋面积的比值T，若其值大于阈值P3，则删除高置信度钢筋，若其值低于阈值P4，则删除低置信度钢筋。
S7：分别计算以每个钢筋圆心Oi为中心，半径R为搜索范围的钢筋数量，删除搜索范围内钢筋数量少于等于n的钢筋。
S8：若S7计算出该钢筋搜索范围内的其他钢筋数量多于n，则计算此钢筋搜索范围内所有钢筋的平均面积Si-mean，再计算该钢筋的面积与Si-mean的比值，低于阈值P4，则删除此钢筋。
处理前识别模型产生了大量的重复识别，以及下方背景带来的误识别，在使用本发明后，识别效果得到了显著提升。
其中，本实施例中的阈值P、比值T、半径R、参数n等均可以根据实际需要进行取值。
实施例二
实施例二提供了一种排除非正常识别目标的图像后处理系统，请参考图5，图5为图像处理系统单组成示意图，所述系统包括：
预设对象识别单元，用于识别图像中的所有预设对象；
标注单元，用于对识别单元识别出的每个预设对象标注其对应的box，box为深度学习识别模型的矩形定位边框；
处理单元，用于计算任意两个boxA与boxB之间的重叠区域，若boxB对应的矩形定位边框B的边框区域全部位于boxA对应的矩形定位边框A的边框区域内，则删除boxB；若矩形定位边框B的边框区域部分位于矩形定位边框A的边框区域内，则计算矩形定位边框A的边框区域与矩形定位边框B的边框区域之间的重叠区域面积S，若S小于阈值P1，则删除boxA与boxB中面积较小的box，若S大于或等于阈值，则基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，预设对象识别区域为预设对象对应的box中所设的圆形区域，该圆形区域为以box的宽度为直径以及以box的中心为圆心的圆形区域。
实施例三
实施例三提供了一种预设对象识别计数系统，请参考图6，图6为预设对象识别计数系统的组成示意图，所述系统包括：
图片数据采集单元，用于采集预设对象图片数据，该图片数据中包含若干预设对象；
初步识别单元，用于利用Mask-RCNN深度学习模型识别图片数据中的预设对象得到初步识别结果；
图像处理单元，用于利用所述的排除非正常识别目标的图像后处理方法，删除异常识别的预设对象识别区域得到剔除后的预设对象识别区域数据；
计数单元，用于基于剔除后的预设对象识别区域数据得到最终的图片数据中的预设对象计数结果。
实施例四
本发明实施例四还提供了一种图像处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述排除非正常识别目标的图像后处理方法的步骤。
其中，所述处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中图像处理装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述排除非正常识别目标的图像后处理方法的步骤。
所述图像处理装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.排除非正常识别目标的图像后处理方法，其特征在于，所述方法包括：
识别图像中的所有预设对象，并标注每个预设对象对应的box，box为深度学习识别模型对应的矩形定位边框；
计算任意两个boxA与boxB之间的重叠区域，若boxB对应的矩形定位边框B的边框区域全部位于boxA对应的矩形定位边框A的边框区域内，则删除boxB；若矩形定位边框B的边框区域部分位于矩形定位边框A的边框区域内，则计算矩形定位边框A的边框区域与矩形定位边框B的边框区域之间的重叠区域面积S，若S小于阈值P1，则删除boxA与boxB中面积较小的box，若S大于或等于阈值P1，则基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，预设对象识别区域为预设对象对应的box中所设的圆形区域，该圆形区域为以box的宽度为直径以及以box的中心为圆心的圆形区域。
2.根据权利要求1所述的排除非正常识别目标的图像后处理方法，其特征在于，矩形定位边框包含两个坐标，分别为左上角坐标A1(x1i,y1i)和右下角坐标A2(x2i,y2i)，根据box的坐标计算任意两个boxA与boxB之间的重叠区域。
3.根据权利要求1所述的排除非正常识别目标的图像后处理方法，其特征在于，所述基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，具体包括：
对比boxA和boxB对应的2个预设对象的识别置信度，若boxA和boxB对应的2个预设对象的识别置信度相等，预设对象A对应的预设对象识别区域为S1，预设对象B对应的预设对象识别区域为S2，计算S1,S2中较小值与较大值的比值a＝min(S1,S2)/max(S1,S2)，若比值a大于阈值P2，则同时保留预设对象A的识别区域和预设对象B的识别区域；若比值a小于或等于阈值P2，则删除两个预设对象中识别区域较小的预设对象的识别区域min(S1,S2)；
若boxA和boxB对应的2个预设对象的识别置信度不相等，则计算预设对象B的横截面面积为Slow，计算预设对象A的横截面面积为Shigh，Shigh表示高置信度的预设对象横截面面积，Slow表示低置信度的预设对象横截面面积，计算两个预设对象的横截面面积比值K：K＝Slow/Shigh，若比值K大于阈值P3，则删除预设对象A对应的预设对象识别区域，若比值K小于或等于阈值P3，则删除预设对象B对应的预设对象识别区域。
4.根据权利要求1所述的排除非正常识别目标的图像后处理方法，其特征在于，本方法还包括：
识别出所有预设对象后，计算每个预设对象的圆心坐标Oi、横截面面积Si以及box长宽比L，若L小于阈值P5，则删除该预设对象对应的预设对象识别区域；
以每个预设对象识别区域的圆心坐标为中心，设定半径为R的圆作为搜索范围M，若搜索范围M内的预设对象识别区域数量少于n，则判定该预设对象为异常的预设对象将其删除；
若搜索范围M内的预设对象识别区域数量大于或等于n，则计算搜索范围M内所有预设对象识别区域横截面的平均值S-mean，若预设对象识别区域的面积Si与S-mean的比值低于阈值P4，则判定为预设对象的分布异常并删除。
5.根据权利要求1所述的排除非正常识别目标的图像后处理方法，其特征在于，所述预设对象的端面形状为圆形。
6.排除非正常识别目标的图像后处理系统，其特征在于，所述系统包括：
预设对象识别单元，用于识别图像中的所有预设对象；
标注单元，用于标注预设对象识别单元识别出的每个预设对象对应的box，box为深度学习识别模型的矩形定位边框；
处理单元，用于计算任意两个boxA与boxB之间的重叠区域，若boxB对应的矩形定位边框B的边框区域全部位于boxA对应的矩形定位边框A的边框区域内，则删除boxB；若矩形定位边框B的边框区域部分位于矩形定位边框A的边框区域内，则计算矩形定位边框A的边框区域与矩形定位边框B的边框区域之间的重叠区域面积S，若S小于阈值P1，则删除boxA与boxB中面积较小的box，若S大于或等于阈值P1，则基于boxA和boxB对应的2个预设对象的识别置信度及识别区域面积排除重复识别的预设对象识别区域，预设对象识别区域为预设对象对应的box中所设的圆形区域，该圆形区域为以box的宽度为直径以及以box的中心为圆心的圆形区域。
7.一种预设对象识别计数方法，其特征在于，所述方法包括：
采集预设对象图片数据，该图片数据中包含若干预设对象；
利用Mask-RCNN深度学习模型识别图片数据中的预设对象得到初步识别结果；
利用权利要求1-5中任意一个所述的排除非正常识别目标的图像后处理方法，删除异常识别的预设对象识别区域得到剔除后的预设对象识别区域数据；
基于剔除后的预设对象识别区域数据得到最终的图片数据中的预设对象计数结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524402.7A CN111680681B (zh) | 2020-06-10 | 2020-06-10 | 排除非正常识别目标的图像后处理方法及系统及计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524402.7A CN111680681B (zh) | 2020-06-10 | 2020-06-10 | 排除非正常识别目标的图像后处理方法及系统及计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111680681A true CN111680681A (zh) | 2020-09-18 |
| CN111680681B CN111680681B (zh) | 2022-06-21 |
Family
ID=72435736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010524402.7A Active CN111680681B (zh) | 2020-06-10 | 2020-06-10 | 排除非正常识别目标的图像后处理方法及系统及计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680681B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800887A (zh) * | 2021-01-16 | 2021-05-14 | 中建三局第一建设工程有限责任公司 | 一种柱状目标物识别系统 |
| CN112927131A (zh) * | 2021-01-16 | 2021-06-08 | 中建三局第一建设工程有限责任公司 | 图片拼接方法、装置、计算机设备和存储介质 |
| CN112967244A (zh) * | 2021-03-01 | 2021-06-15 | 广东海亮铜业有限公司 | 一种管材放料图像检测方法以及系统 |
| CN113223041A (zh) * | 2021-06-25 | 2021-08-06 | 上海添音生物科技有限公司 | 用于自动提取图像中目标区域的方法、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073898A (zh) * | 2017-12-08 | 2018-05-25 | 腾讯科技（深圳）有限公司 | 人头区域识别方法、装置及设备 |
| CN108564084A (zh) * | 2018-05-08 | 2018-09-21 | 北京市商汤科技开发有限公司 | 文字检测方法、装置、终端及存储介质 |
| US20190213420A1 (en) * | 2018-01-09 | 2019-07-11 | Qualcomm Incorporated | Adaptive object detection and recognition |
| CN110032954A (zh) * | 2019-03-27 | 2019-07-19 | 成都数之联科技有限公司 | 一种钢筋智能识别与计数方法及系统 |
| US20190304171A1 (en) * | 2018-03-27 | 2019-10-03 | Shanghai Xiaoyi Technology Co., Ltd. | Non-maximum suppression operation device and system |
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
-
2020
- 2020-06-10 CN CN202010524402.7A patent/CN111680681B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073898A (zh) * | 2017-12-08 | 2018-05-25 | 腾讯科技（深圳）有限公司 | 人头区域识别方法、装置及设备 |
| US20190213420A1 (en) * | 2018-01-09 | 2019-07-11 | Qualcomm Incorporated | Adaptive object detection and recognition |
| US20190304171A1 (en) * | 2018-03-27 | 2019-10-03 | Shanghai Xiaoyi Technology Co., Ltd. | Non-maximum suppression operation device and system |
| CN108564084A (zh) * | 2018-05-08 | 2018-09-21 | 北京市商汤科技开发有限公司 | 文字检测方法、装置、终端及存储介质 |
| CN110032954A (zh) * | 2019-03-27 | 2019-07-19 | 成都数之联科技有限公司 | 一种钢筋智能识别与计数方法及系统 |
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
Non-Patent Citations (4)
| Title |
|---|
| BUBBLIIIING: "《睿智的目标检测31—非极大抑制NMS与Soft-NMS》", 《CSDN》 * |
| CPP编程小茶馆: "《非极大值抑制(NMS)及其变种实现》", 《CSDN》 * |
| GANG LIU ET. AL: "《RPN with the Attention-based Multi-Scale Method and the Adaptive Non-Maximum Suppression for Billboard Detection》", 《 2018 IEEE 4TH INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC)》 * |
| 石京磊: "《基于卷积神经网络的钢筋计数算法研究》", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800887A (zh) * | 2021-01-16 | 2021-05-14 | 中建三局第一建设工程有限责任公司 | 一种柱状目标物识别系统 |
| CN112927131A (zh) * | 2021-01-16 | 2021-06-08 | 中建三局第一建设工程有限责任公司 | 图片拼接方法、装置、计算机设备和存储介质 |
| CN112800887B (zh) * | 2021-01-16 | 2022-06-07 | 中建三局第一建设工程有限责任公司 | 一种柱状目标物识别系统 |
| CN112967244A (zh) * | 2021-03-01 | 2021-06-15 | 广东海亮铜业有限公司 | 一种管材放料图像检测方法以及系统 |
| CN112967244B (zh) * | 2021-03-01 | 2024-04-12 | 广东海亮铜业有限公司 | 一种管材放料图像检测方法以及系统 |
| CN113223041A (zh) * | 2021-06-25 | 2021-08-06 | 上海添音生物科技有限公司 | 用于自动提取图像中目标区域的方法、系统及存储介质 |
| CN113223041B (zh) * | 2021-06-25 | 2024-01-12 | 上海添音生物科技有限公司 | 用于自动提取图像中目标区域的方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111680681B (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680681B (zh) | 排除非正常识别目标的图像后处理方法及系统及计数方法 | |
| CN110807496B (zh) | 一种密集目标检测方法 | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN110619333B (zh) | 一种文本行分割方法、文本行分割装置及电子设备 | |
| CN107944427B (zh) | 动态人脸识别方法及计算机可读存储介质 | |
| CN112800887B (zh) | 一种柱状目标物识别系统 | |
| CN110188495B (zh) | 一种基于深度学习的二维户型图生成三维户型图的方法 | |
| CN112434583B (zh) | 车道横向减速标线检测方法、系统、电子设备及存储介质 | |
| CN111008561A (zh) | 一种牲畜的数量确定方法、终端及计算机存储介质 | |
| CN116091951A (zh) | 一种农田与机耕道边界线提取方法及系统 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN116824516B (zh) | 一种涉路施工安全监测及管理系统 | |
| CN114004858A (zh) | 基于机器视觉识别航空线缆表面编码的方法及装置 | |
| CN113888513A (zh) | 一种基于深度神经网络模型的钢筋检测计数方法 | |
| CN111914845A (zh) | 一种车牌中字符分层方法、装置及电子设备 | |
| WO2021051268A1 (zh) | 基于机器视觉的树木种类识别方法及装置 | |
| CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
| CN112627538B (zh) | 基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法 | |
| CN114140429A (zh) | 一种车端实时停车位检测方法和装置 | |
| CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统 | |
| CN103886622A (zh) | 自动图像区域划分的实现方法及实现装置 | |
| CN113920140B (zh) | 一种基于深度学习的铁路货车管盖脱落故障识别方法 | |
| CN115731458A (zh) | 一种遥感影像的处理方法、装置和电子设备 | |
| CN112927131B (zh) | 图片拼接方法、装置、计算机设备和存储介质 | |
| CN112199984A (zh) | 一种大尺度遥感图像的目标快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Wenrui Inventor after: Cheng Jian Inventor after: Chen Bo Inventor after: Zheng Tinghui Inventor after: Wang Yi Inventor after: Cao Zhou Inventor after: Zeng Yuting Inventor after: Xue Yu Inventor after: Other inventor requests not to publish the name Inventor before: Request for anonymity |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201229 Address after: 430040 No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province Applicant after: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Applicant after: Sichuan University of Science & Engineering Applicant after: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. Address before: No.2, floor 4, building 1, Jule road crossing, Section 1, West 1st ring road, Wuhou District, Chengdu City, Sichuan Province 610041 Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 430040 No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province Applicant after: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Applicant after: Sichuan University of Science & Engineering Applicant after: Chengdu shuzhilian Technology Co.,Ltd. Address before: 430040 No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province Applicant before: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Applicant before: Sichuan University of Science & Engineering Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |