CN116664473A - 螺杆洞检测方法、装置、设备及存储介质 - Google Patents

螺杆洞检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116664473A
CN116664473A CN202211406575.4A CN202211406575A CN116664473A CN 116664473 A CN116664473 A CN 116664473A CN 202211406575 A CN202211406575 A CN 202211406575A CN 116664473 A CN116664473 A CN 116664473A
Authority
CN
China
Prior art keywords
detection
screw hole
detection result
probability
wall surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211406575.4A
Other languages
English (en)
Inventor
叶汇贤
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202211406575.4A priority Critical patent/CN116664473A/zh
Priority to PCT/CN2023/096835 priority patent/WO2024098727A1/zh
Publication of CN116664473A publication Critical patent/CN116664473A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及孔洞检测领域,公开了一种螺杆洞检测方法、装置、设备及存储介质。该方法具体包括:获取待检测墙面图像和模板墙面图像,计算各孔洞位于待检测墙面的第一位置信息和各孔洞的置信度,并生成第一检测结果,识别模板墙面图像中的螺杆洞,并基于各螺杆洞位于模板墙面的第二位置信息确定各螺杆洞的检测概率,并生成第二检测结果,将第一检测结果与第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。本申请通过将位置检测处理器与螺杆洞模板复用检测结果进行融合,共同得到最终螺杆洞的位置,提高了螺杆洞检测精度。

Description

螺杆洞检测方法、装置、设备及存储介质
技术领域
本发明涉及孔洞检测领域,具体涉及螺杆洞检测方法、装置、设备及存储介质。
背景技术
建筑施工过程中墙面存在的螺杆洞需要被封堵起来,特别是采用自动化设备来完成封堵作业时,需要先对螺杆洞进行检测与定位,但现有技术通常只是位置检测模块或模板复用的单独应用,可能会受到环境或成像质量的干扰而出现较多误检和漏检,造成螺杆洞识别精准度较低的问题。
发明内容
本发明的主要目的在于解决现有的螺杆洞检测方案对于施工墙面的螺杆洞识别精准度较低的问题。
本发明第一方面提供了一种螺杆洞检测方法,包括:获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
可选的,在本发明第一方面的第一种实现方式中,所述识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,包括:通过位置检测处理器对所述待检测墙面图像中的孔洞进行识别,并提取识别的结果中符合预设孔洞特征的孔洞;确定各所述孔洞在所述墙面图像中的位置,并基于所述位置和预设的所述待检测墙面与所述待检测墙面图像之间的缩放比例,确定所述位置计算出所述孔洞位于所述待检测墙面的第一位置信息;基于各所述孔洞的第一位置信息和对应的孔洞特征计算出各所述孔洞的置信度,并基于所述第一位置信息和所述孔洞的置信度,生成第一检测结果。
可选的,在本发明第一方面的第二种实现方式中,所述识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,包括:通过位置检测处理器对所述模板墙面图像进行识别,获取各所述螺杆洞的第二位置信息;提取所述第二位置信息上的环境信息,并基于所述环境信息计算所述第二位置信息上存在螺杆洞的检测概率;基于所述第二位置信息和所述检测概率,生成第二检测结果。
可选的,在本发明第一方面的第三种实现方式中,所述所述基于所述环境计算所述第二位置信息上存在所述螺杆洞的检测概率,包括:提取所述环境信息中的螺杆洞表征信息和对应的施工信息;根据所述螺杆洞表征信息和所述施工信息计算所述第二位置上存在螺杆洞的概率以及误检、漏检的概率;基于存在螺杆洞的概率以及误检、漏检的概率,确定检测概率。
可选的,在本发明第一方面的第四种实现方式中,所述将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果,包括:将所述第一检测结果中的孔洞与所述第二检测结果中的螺杆洞进行位置比对,得到比对结果;若所述比对结果为孔洞的位置与螺杆洞的位置一致,则确定所述墙面图像中的所述孔洞为螺杆洞;若所述比对结果为孔洞的位置与螺杆洞的位置不一致,则基于对比的结果统计所述第一检测结果相对于所述第二检测结果存在的误检和漏检的螺杆洞;提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
可选的,在本发明第一方面的第五种实现方式中,若孔洞的位置与螺杆洞的位置不一致且所述螺杆洞的位置为误检位置时,所述提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果,包括:提取所述误检位置对应的螺杆洞在第一检测结果中的置信度和在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易误检且较大概率不存在螺杆洞;若是容易误检且较大概率不存在螺杆洞,则将容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不是容易误检且较大概率不存在螺杆洞,则判断不是容易误检且较大概率不存在螺杆洞对应的误检位置对应的置信度是否小于预设置信度阈值;若小于,则将不是容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不小于,则将所述第一检测结果作为最终的螺杆洞的检测结果。
可选的,在本发明第一方面的第六种实现方式中,若孔洞的位置与螺杆洞的位置不一致且所述螺杆洞的位置为漏检位置时,所述提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果,包括:提取所述漏检位置对应的螺杆洞在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易漏检且较大概率存在螺杆洞;若是容易漏检且较大概率存在螺杆洞,则将容易漏检且较大概率存在螺杆洞对应的所述漏检位置追加至第一检测结果中,得到最终的螺杆洞的检测结果;若不是容易漏检且较大概率存在螺杆洞,则判断所述漏检位置的螺杆洞是否符合螺杆洞特征,若符合,则将所述漏检位置追加至所述第一检测结果中,得到最终的螺杆洞的检测结果;若不符合,则将所述第一检测结果作为最终的螺杆洞的检测结果。
本发明第二方面提供了一种螺杆洞检测装置,包括:获取模块,用于获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;第一识别模块,用于识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;第二识别模块,用于识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;融合模块,用于将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
可选地,在本发明第二方面的第一种实现方式中,所述第一识别模块包括:提取单元,用于通过位置检测处理器对所述待检测墙面图像中的孔洞进行识别,并提取识别的结果中符合预设孔洞特征的孔洞;第一计算单元,用于确定各所述孔洞在所述墙面图像中的位置,并基于所述位置和预设的所述待检测墙面与所述待检测墙面图像之间的缩放比例,确定所述位置计算出所述孔洞位于所述待检测墙面的第一位置信息;第一生成单元,用于基于各所述孔洞的第一位置信息和对应的孔洞特征计算出各所述孔洞的置信度,并基于所述第一位置信息和所述孔洞的置信度,生成第一检测结果。
可选地,在本发明第二方面的第二种实现方式中,所述第二识别模块包括:处理单元,用于通过位置检测处理器对所述模板墙面图像进行识别,获取各所述螺杆洞的第二位置信息;第二计算单元,用于提取所述第二位置信息上的环境信息,并基于所述环境信息计算所述第二位置信息上存在螺杆洞的检测概率;第二生成单元,用于基于所述第二位置信息和所述检测概率,生成第二检测结果。
可选地,在本发明第二方面的第三种实现方式中,所述第二计算单元具体用于:提取所述环境信息中的螺杆洞表征信息和对应的施工信息;根据所述螺杆洞表征信息和所述施工信息计算所述第二位置上存在螺杆洞的概率以及误检、漏检的概率;基于存在螺杆洞的概率以及误检、漏检的概率,确定检测概率。
可选地,在本发明第二方面的第四种实现方式中,所述融合模块包括:比对单元,用于将所述第一检测结果中的孔洞与所述第二检测结果中的螺杆洞进行位置比对,得到比对结果;判断单元,用于在所述比对结果为孔洞的位置与螺杆洞的位置一致时,则确定所述墙面图像中的所述孔洞为螺杆洞;若所述比对结果为孔洞的位置与螺杆洞的位置不一致,则基于对比的结果统计所述第一检测结果相对于所述第二检测结果存在的误检和漏检的螺杆洞;筛选单元,用于提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
可选地,在本发明第二方面的第五种实现方式中,所述筛选单元具体用于:提取所述误检位置对应的螺杆洞在第一检测结果中的置信度和在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易误检且较大概率不存在螺杆洞;若是容易误检且较大概率不存在螺杆洞,则将容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不是容易误检且较大概率不存在螺杆洞,则判断不是容易误检且较大概率不存在螺杆洞对应的误检位置对应的置信度是否小于预设置信度阈值;若小于,则将不是容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不小于,则将所述第一检测结果作为最终的螺杆洞的检测结果。
可选地,在本发明第二方面的第六种实现方式中,所述筛选单元还用于:提取所述漏检位置对应的螺杆洞在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易漏检且较大概率存在螺杆洞;若是容易漏检且较大概率存在螺杆洞,则将容易漏检且较大概率存在螺杆洞对应的所述漏检位置追加至第一检测结果中,得到最终的螺杆洞的检测结果;若不是容易漏检且较大概率存在螺杆洞,则判断所述漏检位置的螺杆洞是否符合螺杆洞特征,若符合,则将所述漏检位置追加至所述第一检测结果中,得到最终的螺杆洞的检测结果;若不符合,则将所述第一检测结果作为最终的螺杆洞的检测结果。
本发明的第三方面提供了一种螺杆洞检测设备,所述螺杆洞检测设备包括存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述螺杆洞检测设备执行如上所述的螺杆洞检测方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如上所述螺杆洞检测方法的各个步骤。
本发明提供的技术方案中,通过识别待施工墙面的墙面图像和模板墙面墙面图像中的孔洞和螺杆洞的位置,计算孔洞的置信度和螺杆洞的检测概率,生成第一检测结果和第二检测结果,并将第一检测结果与第二检测结果进行融合处理,得到墙面图像中的螺杆洞的检测结果。该方法相比于现有技术来说,由于采用了将螺杆洞位置检测结果与螺杆洞模板复用检测结果进行融合,两者融合后其检测效果可以相互补充,从而提高了螺杆洞的检测精度。
附图说明
图1为本发明实施例提供的螺杆洞检测方法的第一个实施例示意图;
图2为本发明实施例提供的螺杆洞检测方法的第二个实施例示意图;
图3为本发明实施例提供的螺杆洞检测方法的第三个实施例示意图;
图4为本发明实施例提供的位置检测处理器对墙面图像识别的流程图;
图5为本发明实施例提供的模板墙面的检测结果示意图;
图6为本发明实施例提供的螺杆洞检测装置的一种结构示意图;
图7为本发明实施例提供的螺杆洞检测装置的另一种结构示意图;
图8为本发明实施例提供的螺杆洞检测设备的结构示意图。
具体实施方式
针对于现有的螺杆洞检测方式,本申请通过将位置检测处理器与螺杆洞模板复用检测结果进行融合,共同得到最终螺杆洞的位置,提高了螺杆洞检测精度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1本发明实施例提供的螺杆洞检测方法的第一个实施例示意图,该方法具体包括以下步骤:
101、获取待检测墙面图像和模板墙面图像。
其中,所述模板墙面为同一建筑物中与所述待施工墙面基于相似性确定的实际墙面,本实施例中,根据模板墙面中的螺杆洞的位置以及存在情况,对待施工墙面中检测到的螺杆洞的位置进一步筛选,得到精确度更高的螺杆洞的检测结果。所述获取待检测墙面图像,可以通过相机采集墙面图像,考虑到相机采集的图像可能存在目标特征不明显、噪声过多等问题,因此可以采用激光雷达获取墙面图像,通过发射模块发射雷达信号,比较收集模块收集的反射回的信号的时间或频率,得到待检测墙面的三维图像,更优的,可以采用IR摄像机与光源连用,采集待检测墙面的红外信息,或者采用RGB摄像机与IR摄像机结合的方式获取待检测墙面的红外信息和彩色信息。所述模板墙面是与待检测墙面具有相似性的实际墙面,在建筑工程中,同一建筑物中存在与待施工墙面中螺杆洞位置相似的墙面,以此作为模板墙面,不同楼层间的螺杆洞位置有80%-90%是近似相同的,如果以其中一层楼的位置作为模板复用到其他楼层,那么可以直接检测出80%-90%的螺杆洞,但考虑到在施工过程中由于各种情况,会导致实际的被测墙面的螺杆洞与模板墙面的不一致,即存在漏检或误检的螺杆洞未被检测,因此本实施例将螺杆洞位置检测结果与螺杆洞模板复用检测结果进行融合,提高螺杆洞检测精度。
102、识别待检测墙面图像中的孔洞以及各孔洞位于待检测墙面的第一位置信息,并根据第一位置信息和对应的孔洞特征确定各孔洞的置信度,基于第一位置信息和置信度生成第一检测结果。
所述置信度为确定孔洞属于螺杆洞的概率。对采集到的被测墙面的图形进行图像处理,得到孔洞位置。本实施例不限制采集的墙面图像的具体表现形式,根据采集的设备不同,采集到的图像也不一样,使用的图像处理的技术也不一样,例如,可以获取被测墙面的SEM图像,将SEM图像转化为灰度矩阵,按照灰度矩阵的灰度值的大小将灰度矩阵区域划分为基底区域与孔洞区域,分析所述孔洞区域,得到孔洞中心位置的第一位置信息,即孔洞位置。
可以利用孔洞的点云信息实现孔洞的定位。获取当前视点下的环境图像,基于RANSAC算法对所述点云图进行分块,并依次从每个块中选取种子点以获得平面参数,根据环境图像的颜色信息和几何信息进行局内点判断,对所述平面参数重新估计,利用基于RGB-D信息的区域增长算法获取当前视点下每个孔洞的点云簇,利用点云信息实现孔洞定位。在实际应用中,基于孔洞与平面对信号反射的时间等不一致,可以利用超声波位置采集装置采集孔洞的位置,为了后续的数据比较的便利性,在待施工墙面建立坐标系,可以基于所述位置与墙面的关系得到以被测墙面为坐标系的孔洞的中心的位置坐标。
计算各孔洞的置信度,置信度可以等于或确定为对应程度的函数,如果图像处理结果采用结果图像的形式,则可以通过对结果图像的不同图像像素或图像区域分别确定置信度分来生成置信度图,这种情况下的置信度分可以是置信度图的像素值,置信度分与不同结果图像的位置对应像素或图像区域的相似程度有关。置信度是一个接近1的数字,表明事件发生的可靠程度,在本实施例中,取值区间可以设置为0~1,若使用的位置检测处理器不能计算出置信度,可以将所述置信度设置为1,在置信度为1时,事件的发生概率的为100%,在本实施例中,当所述孔洞的置信度为1时,所述孔洞即为螺杆洞。
103、识别模板墙面图像中的螺杆洞,并基于各螺杆洞位于模板墙面的第二位置信息确定各螺杆洞的检测概率,并基于第二位置信息和检测概率生成第二检测结果。
其中,所述检测概率用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率。所述模板墙面为同一建筑物中与所述待施工墙面基于相似性确定的实际墙面,根据所述模板墙面,能得到待施工墙面中的大部分的螺杆洞的位置,具体的,识别所述模板墙面图像中的螺杆洞,得到螺杆洞在模板墙面中的位置,再将所述位置转换成在待施工墙面坐标系中的第二位置信息。利用第二位置信息确定各螺杆洞的检测概率时,可以获取所述位置周边的环境信息和所述环境信息对应的螺杆洞的特征表现,分析所述螺杆洞被检测出的可能性,即检测概率。
104、将第一检测结果与第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
对第一检测结果中的第一位置信息进行追加或剔除对应的漏检或误检位置,得到最终螺杆洞的位置,所述融合处理,包括将两种检测得到的检测结果比较得到不一致的位置信息,然后以其中一个检测结果为比较基准,将所述不一致的位置信息删选,对所述作为比较基准的检测结果进行更新,得到最终的螺杆洞检测结果。在本实施例中,将第一检测结果与第二检测结果进行比对,根据螺杆洞的位置信息统计第一检测结果相对于第二检测结果存在的误检和漏检,其中,误检的位置信息为所述位置信息出现在第一检测结果中但并未出现在第二检测结果中,漏检的位置信息为所述位置信息出现在第二检测结果中但并未出现在第一检测结果中。在实际应用中,还可以以第二检测结果为比较基准,将第一检测结果中相关位置信息追加或在第二检测结果中剔除。
对所述漏检和误检的位置信息,要确定是否属于真实漏检和真实误检,具体的,对于漏检的位置信息,根据其在第二检测结果中的存在情况以及在第一检测结果中的环境信息确定是否为真实漏检,对于误检的位置信息,根据其在第二检测结果中的存在情况和在第一检测结果中的置信度确定是否为真实误检,对确定为真实误检的位置信息,从第一检测结果中剔除,对确定为真实漏检的位置信息,将第二检测结果中的第二位置信息追加到第一位置信息中,根据所述剔除和追加操作对第一检测结果更新,得到墙面图像中的螺杆洞的检测结果。
更优的,根据最终螺杆洞检测结果更新模板墙面,提高螺杆洞检测的准确性。不同楼层螺杆洞检测结果均可以通过位置检测处理器检测结果和模板复用结果进行融合得到,另一方面,同一栋建筑物不同楼层之间具有非常大的相似性,即不同楼层间的螺杆洞位置有80%-90%是近似相同的,如果以其中一层楼的位置作为模板复用到其他楼层,那么可以直接检测出80%-90%的螺杆洞,可以通过动态更新相邻楼层作为模板来提高精度,假设选择第一层楼作为模板,那么通过融合方法可以得到第二层的螺杆洞预测结果,在计算第三层楼的结果时,可将第二层预测结果作为新的模板,然后采用融合方法得到第三层螺杆洞的预测结果,以此类推,可以采用这种动态更新相邻楼层作为模板的方法来进一步提高螺杆洞预测精度。
本方案通过识别待施工墙面的墙面图像和模板墙面墙面图像中的孔洞和螺杆洞的位置,计算孔洞的置信度和螺杆洞的检测概率,生成第一检测结果和第二检测结果,并将第一检测结果与第二检测结果进行融合处理,得到墙面图像中的螺杆洞的检测结果,提高了螺杆洞检测的准确性。
请参阅图2本发明实施例提供的螺杆洞检测方法的第二个实施例示意图,该方法具体包括以下步骤:
201、获取待检测墙面图像和模板墙面图像。
利用结构光发生器向目标对象发送结构光,利用至少一个图像传感器从不同位置以不同角度获取所述结构光的结构光图像,然后根据图像传感器发送的结构光图像计算可见光图像传感器(例如RGB传感器)获取的图像中每个像素对应的深度值,得到被测墙面深度图像,还可以对红、绿、蓝三分量分别进行测量和重构,然后再将三分量融合,得到被测墙面的彩色图像,对获取到的墙面图像如深度图像、彩色图像等进行图像特征处理,包括使用结构光、时差测距(Time Of Flight;TOF)法、立体匹配(Stereo Matching)法等方法,得到螺杆洞中心位置的位置信息,并建立坐标系,得到螺杆洞中心位置的第一位置信息。
202、通过位置检测处理器对待检测墙面图像中的孔洞进行识别,并提取识别的结果中符合预设孔洞特征的孔洞。
现有技术中对于孔洞的提取方法主要是基于点云数据进行处理,具体的,基于散乱点云的孔洞提取主要是根据局部参考点集中相邻向量之间最大夹角的方法提取散乱点云的边界点,根据采样点及其K邻域点拟合微切平面,并将其向微切平面投影,构建由采样点到其K邻域向量,并通过相邻向量之间最大夹角的方法来提取孔洞特征点。本实施例中,对获取到的墙面图像进行孔洞提取,对提取到的孔洞特征进行分析,判断是否符合孔洞特征,所述孔洞特征为中间黑四周亮,同时在比较时要根据所述孔洞特征在不同墙面图像中的表现结果确定比较标准。
203、根据各孔洞在待检测墙面图像中的位置得到孔洞位于待检测墙面的第一位置信息,基于第一位置信息和对应的孔洞特征计算出各孔洞的置信度,的置信度。
确定各孔洞在待检测墙面图像中的位置,并基于所述位置和预设的所述待检测墙面与所述待检测墙面图像之间的缩放比例,确定所述位置计算出所述孔洞位于所述待检测墙面的第一位置信息;基于各所述孔洞的第一位置信息和对应的孔洞特征计算出各所述孔洞的置信度,并基于所述第一位置信息和所述孔洞的置信度,生成第一检测结果。基于待检测墙面图像与待检测墙面之间的等比例放大缩小关系,即所述缩放比例,在所述墙面图像中建立坐标系,也可以根据所述墙面图像的映射关系,将所述墙面图像等比例投射至待检测墙面中,得到图像特征的坐标表示。对墙面图像中符合孔洞特征的孔洞,获取孔洞的中心位置,如果所述孔洞的形状为圆形,计算所述孔洞的圆心,作为孔洞的位置信息,若所述孔洞为不规则的图形,则根据采集到的多个边界信息拟合,估算孔洞的中心位置,重复上述过程,将多次拟合估算的孔洞中心值求平均,作为孔洞的位置信息,即第一位置信息。
204、通过位置检测处理器对模板墙面图像进行识别,获取各螺杆洞的第二位置信息。
205、提取第二位置信息上的环境信息,基于环境信息计算第二位置信息上存在螺杆洞的检测概率,并基于第二位置信息和所述检测概率,生成第二检测结果。
提取以第二位置信息为圆心,预设距离为半径的圆的范围内的环境信息,并提取所述环境信息中的螺杆洞表征信息和对应的施工信息,根据所述螺杆洞表征信息和所述施工信息计算所述第二位置上存在螺杆洞的概率以及误检、漏检的概率,基于存在螺杆洞的概率以及误检、漏检的概率,确定检测概率。在实际应用中,可以将螺杆洞表征信息和所述范围内的施工信息,将所述螺杆洞表现情况和所述施工架搭建情况输入至预设模型中,得到螺杆洞的存在概率,所述螺杆洞的存在概率可以表征螺杆洞的存在情况,其中,所述存在情况包括容易漏检且较大概率存在螺杆洞、容易误检且较大概率不存在螺杆洞和其他可能存在螺杆洞;基于所述存在情况从概率对应表中获取对应检测概率,得到所述螺杆洞的检测概率。
206、将第一检测结果中的孔洞与第二检测结果中的螺杆洞进行位置比对,得到比对结果。
提取第一检测结果中孔洞的第一位置信息和第二检测结果中螺杆洞的第二位置信息,将两者进行对比,具体的,可以将第二位置信息作为比较的基准,依次将第一位置信息中的每一个孔洞的位置与所有的第二位置信息匹配比较,判断数值是否相同。
207、若比对结果为孔洞的位置与螺杆洞的位置一致,则确定墙面图像中的孔洞为螺杆洞。
提取所述孔洞的第一位置信息和所述螺杆洞的第二位置信息,所述位置信息为在同一坐标系下的数字坐标,判断所述第一位置信息与所述第二位置信息是否为一一对应,考虑到墙面图像和模板图像是对被测墙面的不同比例的缩小,且在确定具体坐标信息时进行了运算,因此,当所述第一位置信息与所述第二位置信息不为一一对应,但数值之间仅存在微小误差时,认为此时两者的位置信息为一一对应,存在关联关系,确定墙面图像中的孔洞为螺杆洞。
208、若比对结果为孔洞的位置与螺杆洞的位置不一致,则基于对比的结果统计第一检测结果相对于第二检测结果存在的误检和漏检的螺杆洞。
当两者的坐标位置的数值不一致且相差较大时,提取两者中不一致即单独存在的位置信息,根据所述单独存在的坐标位置表示的原始来源确定所述位置信息属于误检还是漏检,其中,所述原始来源为该单独存在的坐标位置表示对应的螺杆洞的检测结果,例如,若所述单独存在的位置坐标的原始来源为第一检测结果,则为误检,若所述单独存在的位置坐标的原始来源为第二检测结果,则为漏检。
209、若孔洞的位置与螺杆洞的位置不一致且螺杆洞的位置为误检位置时,提取螺杆洞的置信度和检测概率,并基于置信度和检测概率对误检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
提取所述误检位置对应的螺杆洞在第一检测结果中的置信度和在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易误检且较大概率不存在螺杆洞;若是容易误检且较大概率不存在螺杆洞,则将容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不是容易误检且较大概率不存在螺杆洞,则判断不是容易误检且较大概率不存在螺杆洞对应的误检位置对应的置信度是否小于预设置信度阈值;若小于,则将不是容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不小于,则将所述第一检测结果作为最终的螺杆洞的检测结果。
所述置信度阈值为预先设置的在指定位置的孔洞为螺杆洞的正确率,取值为0~1,为了尽可能多的获取螺杆洞的位置,可以将其设置为0.85,即85%。,具体的,判断位置检测处理器误检螺杆洞是否与模板中标注为容易误检且较大概率不存在的螺杆洞相邻,如果相邻,则判定相应螺杆洞位置确实属于误检,并从第一检测结果中将该螺杆洞进行剔除。对于上述中未剔除的位置检测处理器误检螺杆洞,设置置信度阈值,如果置信度小于所述阈值,则判定相应螺杆洞位置确实属于误检,并从第一检测结果中将该螺杆洞进行剔除。对于上述未剔除的位置检测处理器误检螺杆洞,在第一检测结果中进行保留,即判定这一部分螺杆洞真实存在,不属于误检。基于上述操作,得到最终的螺杆洞的检测结果。
210、若孔洞的位置与螺杆洞的位置不一致且所述螺杆洞的位置为漏检位置时,提取螺杆洞的检测概率,并基于检测概率对漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
提取所述漏检位置对应的螺杆洞在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易漏检且较大概率存在螺杆洞;若是容易漏检且较大概率存在螺杆洞,则将容易漏检且较大概率存在螺杆洞对应的所述漏检位置追加至第一检测结果中,得到最终的螺杆洞的检测结果;若不是容易漏检且较大概率存在螺杆洞,则判断所述漏检位置的螺杆洞是否符合螺杆洞特征,若符合,则将所述漏检位置追加至所述第一检测结果中,得到最终的螺杆洞的检测结果;若不符合,则将所述第一检测结果作为最终的螺杆洞的检测结果。
具体的,如果位置检测处理器漏检螺杆洞在模板中的存在情况为容易漏检且较大概率存在,则将模板中相应的螺杆洞追加到第一检测结果中,对于上述未追加到第一检测结果中的位置检测处理器漏检螺杆洞,检测其是否符合螺杆洞特征,如存在黑色的圆形轮廓,如果符合螺杆洞特征,则将模板中相应的螺杆洞追加到第一检测结果中,对于上述未追加到第一检测结果中的位置检测处理器漏检螺杆洞,判定相应螺杆洞不属于漏检,即相应螺杆洞确实不存在。基于上述操作,得到最终的螺杆洞的检测结果。
本方案中,通过不同方式获取被测墙面和对应模板墙面中的孔洞和螺杆洞的位置,得到同一被测墙面的两种不同的螺杆洞检测结果,本方案所述的螺杆洞检测融合方法通过对第一检测结果和第二检测结果的比对、筛选,得到基于第一检测结果的最终的螺杆洞检测结果,有利于后续的检测结果的融合,进一步提高了检测的精度。
请参阅图3本发明实施例提供的螺杆洞检测方法的第三个实施例示意图,该方法具体包括以下步骤:
301、通过位置检测处理器获取待检测墙面的墙面图像,得到位置检测结果。
请参阅图4,本发明实施例提供的位置检测处理器对墙面图像识别的流程图,位置检测处理器通过激光雷达或相机等设备采集到墙面图像,然后运用必要的传统图像处理或深度学习模块检测螺杆洞的位置和置信度,位置检测处理器检测到的螺杆洞用Points_a表示,Points_a包含多个螺杆洞,每个螺杆洞的位置和置信度用Xa、Ya和C表示,其中Xa和Ya表示螺杆洞中心位置,C表示置信度,取值区间为0~1,如果所使用的位置检测处理器不能计算出置信度,可将C设置为1。
302、获取被测墙面对应的模板墙面并进行螺杆洞检测,得到螺杆洞模板检测结果。
利用位置检测处理器对模板墙面进行螺杆洞检测;对位置检测处理器容易漏检且较大概率存在螺杆洞的位置标注为P;对位置检测处理器容易误检且较大概率不存在螺杆洞的位置标注为N;其他可能会有螺杆洞的位置标注为O。制作好的螺杆洞模板用Points_t表示,Points_t中包含多个螺杆洞,每个螺杆洞用位置和存在情况来表示,其中螺杆洞中心位置用Xt、Yt来表示,存在情况用PNO中的一种进行表示,请参阅图5,本发明实施例提供的模板墙面的检测结果示意图,用不同的样式表示不同的标注的螺杆洞的存在情况。
303、将位置检测结果和模板检测结果进行融合,得到最终的螺杆洞检测结果。
将位置检测处理器检测结果Points_a与模板检测结果Points_t进行比对,根据螺杆洞的位置信息统计位置检测处理器检测结果相对于模板检测结果存在的误检FP和漏检FN。
针对位置检测处理器误检螺杆洞FP,其处理步骤如下:判断位置检测处理器误检螺杆洞FP是否与模板中标注为N的螺杆洞相邻,如果相邻,则判定相应螺杆洞位置确实属于误检,并从Points_a中将该螺杆洞进行剔除;对于上述未剔除的位置检测处理器误检螺杆洞FP,设置置信度阈值TC,如果置信度小于TC,则判定相应螺杆洞位置确实属于误检,并从Points_a中将该螺杆洞进行剔除;对于上述未剔除的位置检测处理器误检螺杆洞FP,在Points_a中进行保留,即判定这一部分螺杆洞真实存在,不属于误检。
针对位置检测处理器漏检螺杆洞FN,其处理步骤如下:如果位置检测处理器漏检螺杆洞FN在模板中的存在情况为P,则将模板中相应的螺杆洞追加到Points_a中;对于上述未追加到Points_a中的位置检测处理器漏检螺杆洞FN,检测其是否符合洞口特征,如存在黑色的圆形轮廓,如果符合洞口特征,则将模板中相应的螺杆洞追加到Points_a中;对于上述未追加到Points_a中的位置检测处理器漏检螺杆洞FN,判定相应螺杆洞不属于漏检,即相应螺杆洞确实不存在。将更新后的Points_a作为该方案最终的螺杆洞检测结果。
本方案将位置检测处理器检测得到的被测墙面的螺杆洞的检测结果与模板墙面的螺杆洞检测结果进行融合处理,实现了位置检测处理器和模板复用检测螺杆洞的融合,基于融合结果得到最终螺杆洞的位置,提高了螺杆洞检测精度。
上面对本发明实施例中螺杆洞检测方法进行了描述,下面从模块化功能实体的角度对本发明实施例螺杆洞检测装置进行详细描述,请参阅图6,本发明实施例提供的螺杆洞检测装置的一种结构示意图,包括:
获取模块401,用于获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;
第一识别模块402,用于识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;
第二识别模块403,用于识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;
融合模块404,用于将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
通过识别待施工墙面的墙面图像和模板墙面图像中的孔洞和螺杆洞的位置,计算孔洞的置信度和螺杆洞的检测概率,生成第一检测结果和第二检测结果,并将第一检测结果与第二检测结果进行融合处理,得到墙面图像中的螺杆洞的检测结果,提高了螺杆洞检测的准确性。
请参阅图7,本发明实施例提供的螺杆洞检测装置的另一种结构示意图,包括:
获取模块401,用于获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;
第一识别模块402,用于识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;
第二识别模块403,用于识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;
融合模块404,用于将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
在本实施例中,所述第一识别模块402包括:
提取单元4021,用于通过位置检测处理器对所述待检测墙面图像中的孔洞进行识别,并提取识别的结果中符合预设孔洞特征的孔洞;
第一计算单元4022,用于确定各所述孔洞在所述待检测墙面图像中的位置,并基于所述位置和预设的所述待检测墙面与所述待检测墙面图像之间的缩放比例,确定所述位置计算出所述孔洞位于所述待检测墙面的第一位置信息;
第一生成单元4023,用于基于各所述孔洞的第一位置信息和对应的孔洞特征计算出各所述孔洞的置信度,并基于所述第一位置信息和所述孔洞的置信度,生成第一检测结果。
在本实施例中,所述所述第二识别模块403包括:
处理单元4031,用于通过位置检测处理器对所述模板墙面图像进行识别,获取各所述螺杆洞的第二位置信息;
第二计算单元4032,用于提取所述第二位置信息上的环境信息,并基于所述环境信息计算所述第二位置信息上存在螺杆洞的检测概率;
第二生成单元4033,用于基于所述第二位置信息和所述检测概率,生成第二检测结果。
在本实施例中,所述第二计算单元4033具体用于提取所述环境信息中的螺杆洞表征信息和对应的施工信息;根据所述螺杆洞表征信息和所述施工信息计算所述第二位置上存在螺杆洞的概率以及误检、漏检的概率;基于存在螺杆洞的概率以及误检、漏检的概率,确定检测概率。
在本实施例中,所述融合模块404包括:
比对单元4041,用于将所述第一检测结果中的孔洞与所述第二检测结果中的螺杆洞进行位置比对,得到比对结果;
判断单元4042,用于在所述比对结果为孔洞的位置与螺杆洞的位置一致时,则确定所述墙面图像中的所述孔洞为螺杆洞;若所述比对结果为孔洞的位置与螺杆洞的位置不一致,则基于对比的结果统计所述第一检测结果相对于所述第二检测结果存在的误检和漏检的螺杆洞;
筛选单元4043,用于提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
在本实施例中,所述筛选单元4043具体用于提取所述误检位置对应的螺杆洞在第一检测结果中的置信度和在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易误检且较大概率不存在螺杆洞;若是容易误检且较大概率不存在螺杆洞,则将容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不是容易误检且较大概率不存在螺杆洞,则判断不是容易误检且较大概率不存在螺杆洞对应的误检位置对应的置信度是否小于预设置信度阈值;若小于,则将不是容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;若不小于,则将所述第一检测结果作为最终的螺杆洞的检测结果。
在本实施例中,所述筛选单元4043还用于提取所述漏检位置对应的螺杆洞在第二检测结果中的检测概率;判断各所述误检位置对应的检测概率是否为容易漏检且较大概率存在螺杆洞;若是容易漏检且较大概率存在螺杆洞,则将容易漏检且较大概率存在螺杆洞对应的所述漏检位置追加至第一检测结果中,得到最终的螺杆洞的检测结果;若不是容易漏检且较大概率存在螺杆洞,则判断所述漏检位置的螺杆洞是否符合螺杆洞特征,若符合,则将所述漏检位置追加至所述第一检测结果中,得到最终的螺杆洞的检测结果;若不符合,则将所述第一检测结果作为最终的螺杆洞的检测结果。
通过上述方案的实施,在得到螺杆洞检测结果时,通过位置检测处理器检测结果和模板复用结果进行融合,还采用动态更新相邻楼层作为模板的方法,进一步提高螺杆洞检测的精度。
上面图6-7从模块化功能实体的角度对本发明实施例中的中螺杆洞检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中螺杆洞检测设备进行详细描述。
图8是本发明实施例提供的一种螺杆洞检测设备的结构示意图,该螺杆洞检测设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对螺杆洞检测设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在螺杆洞检测设备600上执行存储介质630中的一系列指令操作,以实现上述实施提供的方法。
螺杆洞检测设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作设备631,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图8所示的螺杆洞检测设备结构并不构成对本发明提供的计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行上述各实施例提供的所述的螺杆洞检测方法的各个步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种螺杆洞检测方法,其特征在于,所述螺杆洞检测方法包括:
获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;
识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;
识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;
将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
2.如权利要求1所述的螺杆洞检测方法,其特征在于,所述识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,包括:
通过位置检测处理器对所述待检测墙面图像中的孔洞进行识别,并提取识别的结果中符合预设孔洞特征的孔洞;
确定各所述孔洞在所述待检测墙面图像中的位置,并基于所述位置和预设的所述待检测墙面与所述待检测墙面图像之间的缩放比例,确定所述位置计算出所述孔洞位于所述待检测墙面的第一位置信息;
基于各所述孔洞的第一位置信息和对应的孔洞特征计算出各所述孔洞的置信度,并基于所述第一位置信息和所述孔洞的置信度,生成第一检测结果。
3.如权利要求1所述的螺杆洞检测方法,其特征在于,所述识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,包括:
通过位置检测处理器对所述模板墙面图像进行识别,获取各所述螺杆洞的第二位置信息;
提取所述第二位置信息上的环境信息,并基于所述环境信息计算所述第二位置信息上存在螺杆洞的检测概率;
基于所述第二位置信息和所述检测概率,生成第二检测结果。
4.如权利要求3所述的螺杆洞检测方法,其特征在于,所述基于所述环境计算所述第二位置信息上存在所述螺杆洞的检测概率,包括:
提取所述环境信息中的螺杆洞表征信息和对应的施工信息;
根据所述螺杆洞表征信息和所述施工信息计算所述第二位置上存在螺杆洞的概率以及误检、漏检的概率;
基于存在螺杆洞的概率以及误检、漏检的概率,确定检测概率。
5.如权利要求1-4中任一项所述的螺杆洞检测方法,其特征在于,所述将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果,包括:
将所述第一检测结果中的孔洞与所述第二检测结果中的螺杆洞进行位置比对,得到比对结果;
若所述比对结果为孔洞的位置与螺杆洞的位置一致,则确定所述墙面图像中的所述孔洞为螺杆洞;
若所述比对结果为孔洞的位置与螺杆洞的位置不一致,则基于对比的结果统计所述第一检测结果相对于所述第二检测结果存在的误检和漏检的螺杆洞;
提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果。
6.如权利要求5所述的螺杆洞检测方法,其特征在于,若孔洞的位置与螺杆洞的位置不一致且所述螺杆洞的位置为误检位置时,所述提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果,包括:
提取所述误检位置对应的螺杆洞在第一检测结果中的置信度和在第二检测结果中的检测概率;
判断各所述误检位置对应的检测概率是否为容易误检且较大概率不存在螺杆洞;
若是容易误检且较大概率不存在螺杆洞,则将容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;
若不是容易误检且较大概率不存在螺杆洞,则判断不是容易误检且较大概率不存在螺杆洞对应的误检位置对应的置信度是否小于预设置信度阈值;
若小于,则将不是容易误检且较大概率不存在螺杆洞对应的误检位置从第一检测结果中剔除,得到最终的螺杆洞的检测结果;
若不小于,则将所述第一检测结果作为最终的螺杆洞的检测结果。
7.如权利要求5所述的螺杆洞检测方法,其特征在于,若孔洞的位置与螺杆洞的位置不一致且所述螺杆洞的位置为漏检位置时,所述提取所述螺杆洞的置信度和检测概率,并基于所述置信度和所述检测概率对所述误检和漏检的螺杆洞进行筛选,得到最终的螺杆洞的检测结果,包括:
提取所述漏检位置对应的螺杆洞在第二检测结果中的检测概率;
判断各所述漏检位置对应的检测概率是否为容易漏检且较大概率存在螺杆洞;
若是容易漏检且较大概率存在螺杆洞,则将容易漏检且较大概率存在螺杆洞对应的所述漏检位置追加至第一检测结果中,得到最终的螺杆洞的检测结果;
若不是容易漏检且较大概率存在螺杆洞,则判断所述漏检位置的螺杆洞是否符合螺杆洞特征,若符合,则将所述漏检位置追加至所述第一检测结果中,得到最终的螺杆洞的检测结果;
若不符合,则将所述第一检测结果作为最终的螺杆洞的检测结果。
8.一种螺杆洞检测装置,其特征在于,所述螺杆洞检测装置包括:
获取模块,用于获取待检测墙面图像和模板墙面图像,其中所述模板墙面为同一建筑物中与待检测墙面基于相似性确定的实际墙面;
第一识别模块,识别所述待检测墙面图像中的孔洞以及各所述孔洞位于所述待检测墙面的第一位置信息,并根据所述第一位置信息和对应的孔洞特征确定各所述孔洞的置信度,基于所述第一位置信息和所述置信度生成第一检测结果,其中,所述置信度为确定所述孔洞属于螺杆洞的概率;
第二识别模块,用于识别所述模板墙面图像中的螺杆洞,并基于各所述螺杆洞位于所述模板墙面的第二位置信息确定各所述螺杆洞的检测概率,并基于所述第二位置信息和所述检测概率生成第二检测结果,其中,所述检测概率为用于表示所述第二位置信息被漏检、误检或者存在螺杆洞的概率;
融合模块,用于将所述第一检测结果与所述第二检测结果进行融合处理,并基于融合处理的结果得到最终的螺杆洞的检测结果。
9.一种螺杆洞检测设备,其特征在于,所述螺杆洞检测设备包括存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述螺杆洞检测设备执行如权利要求1-7中任一项所述的螺杆洞检测方法的各个步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述螺杆洞检测方法的各个步骤。
CN202211406575.4A 2022-11-10 2022-11-10 螺杆洞检测方法、装置、设备及存储介质 Pending CN116664473A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211406575.4A CN116664473A (zh) 2022-11-10 2022-11-10 螺杆洞检测方法、装置、设备及存储介质
PCT/CN2023/096835 WO2024098727A1 (zh) 2022-11-10 2023-05-29 螺杆洞检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211406575.4A CN116664473A (zh) 2022-11-10 2022-11-10 螺杆洞检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116664473A true CN116664473A (zh) 2023-08-29

Family

ID=87715934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211406575.4A Pending CN116664473A (zh) 2022-11-10 2022-11-10 螺杆洞检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN116664473A (zh)
WO (1) WO2024098727A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113404319B (zh) * 2020-03-16 2022-06-10 广东博智林机器人有限公司 螺杆洞封堵路径规划方法、装置、设备和存储介质
CN111783784A (zh) * 2020-06-30 2020-10-16 创新奇智(合肥)科技有限公司 建筑的空洞检测方法及装置、电子设备、存储介质
CN112508846B (zh) * 2020-10-30 2023-04-18 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN112598627A (zh) * 2020-12-10 2021-04-02 广东省大湾区集成电路与系统应用研究院 检测图像缺陷的方法、系统、电子设备及介质

Also Published As

Publication number Publication date
WO2024098727A1 (zh) 2024-05-16

Similar Documents

Publication Publication Date Title
Rosin Thresholding for change detection
US5170440A (en) Perceptual grouping by multiple hypothesis probabilistic data association
JP6554169B2 (ja) 物体認識装置及び物体認識システム
WO2020082258A1 (zh) 一种多目标实时跟踪方法、装置及电子设备
CN110442120B (zh) 控制机器人在不同场景下移动的方法、机器人及终端设备
CN112330751B (zh) 一种结构光相机行偏差检测方法及装置
CN113203409B (zh) 一种复杂室内环境移动机器人导航地图构建方法
CN111935641B (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
CN114972490B (zh) 一种数据自动标注方法、装置、设备及存储介质
CN114879217B (zh) 一种目标位姿的判断方法及系统
US7440636B2 (en) Method and apparatus for image processing
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
CN115512281B (zh) 一种结合视频相机和激光雷达的入侵物监测方法和系统
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN116664473A (zh) 螺杆洞检测方法、装置、设备及存储介质
KR101249374B1 (ko) 영상에서의 목표형상 검출장치 및 방법
CN110689556A (zh) 跟踪方法、装置及智能设备
CN113567550B (zh) 地面材质检测方法、装置、电子设备、芯片和存储介质
CN115713620A (zh) 一种红外小目标检测方法、装置、计算设备及存储介质
Oberti et al. Performance evaluation criterion for characterizing video-surveillance systems
CN112927201A (zh) 一种曲线检测方法及装置
CN107392209B (zh) 一种提取线段的装置及方法
JPH09178427A (ja) 画像位置計測方法
CN117290805A (zh) 多识别设备的信息处理方法、控制装置及存储介质
Li et al. Rapid star acquisition algorithm in star sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination