CN114581441A - 零部件检测方法、装置、设备及存储介质 - Google Patents

零部件检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114581441A
CN114581441A CN202210478325.5A CN202210478325A CN114581441A CN 114581441 A CN114581441 A CN 114581441A CN 202210478325 A CN202210478325 A CN 202210478325A CN 114581441 A CN114581441 A CN 114581441A
Authority
CN
China
Prior art keywords
image
pixel point
area
detected
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210478325.5A
Other languages
English (en)
Other versions
CN114581441B (zh
Inventor
周德宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Baili Technology Co ltd
Original Assignee
Shenzhen Baili Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Baili Technology Co ltd filed Critical Shenzhen Baili Technology Co ltd
Priority to CN202210478325.5A priority Critical patent/CN114581441B/zh
Publication of CN114581441A publication Critical patent/CN114581441A/zh
Application granted granted Critical
Publication of CN114581441B publication Critical patent/CN114581441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1143—Bidirectional transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了零部件检测方法、装置、设备及存储介质，方法包括：获取产品壳体的待测图像，基于目标滑窗在待测图像中框选出第一目标区域图像；在第一目标区域图像仅包括第一像素点时扩大目标滑窗以在待测图像中框选出第二目标区域图像；在第二目标区域图像中包括第一像素点和第二像素点时获取第二像素点在待测图像中的像素点坐标；根据像素点坐标确定第二像素点在产品壳体中对应的待测区域，控制信号收发装置向待测区域发射无线传输信号；在无线传输信号的飞行时间大于预设时间时，确定待测区域为零部件缺失区域。本发明可以替代人工实现产品壳体上缺失零部件的自动检查，有利于节省人工、人工成本以及提高缺失零部件的检查效率。

Description

零部件检测方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种零部件检测方法、装置、设备及存储介质。
背景技术
产品零部件检查在产品的生产中尤为重要，如果缺失零部件的产品被出厂销售给客户，不仅会造成客户投诉，还有可能影响商家的口碑。传统的产品零部件的检查是通过人工进行识别的，即人工通过眼睛检查已经完成组装的产品上是否存在缺失的零部件，不仅效率低下，还费时费力。
发明内容
本发明实施例通过提供一种零部件检测方法、装置、设备及存储介质，旨在解决人工进行产品零部件缺失检查效率低下以及费时费力的技术问题。
本发明实施例提供了一种零部件检测方法，所述零部件检测方法，包括：
获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
在一实施例中，所述基于目标滑窗在所述待测图像中框选出第一目标区域图像的步骤包括：
获取所述待测图像的中心像素点的中心坐标；
以所述中心坐标为圆心，在所述待测图像中绘制半径为预设值的圆形框体；
将所述圆形框体在所述待测图像中框选的图像作为所述第一目标区域图像。
在一实施例中，所述扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像的步骤包括：
获取所述圆形框体的移动方向和移动步长；
根据所述中心坐标和所述移动步长确定所述圆形框体的目标坐标；
将所述圆形框体的圆心移动至所述目标坐标，并按照所述移动步长扩大所述圆形框体；
将扩大后的所述圆形框体在所述待测图像中框选的图像作为所述第二目标区域图像。
在一实施例中，所述在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域的步骤之后，还包括：
检测所述第二目标区域图像之外是否存在相邻的第三像素点，所述第三像素点与所述第二像素点的灰度值相同；
在所述第二目标区域图像之外存在相邻的第三像素点时，再次扩大所述目标滑窗，以在所述待测图像中框选出包括所述第三像素点和所述第二像素点的第三目标区域图像；
将所述第三像素点和所述第二像素点在所述第三目标区域图像中对应的区域，确定为所述第三像素点和所述第二像素点在所述产品壳体对应的第二待测区域，所述第二待测区域包括所述第一待测区域；
控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示信息。
在一实施例中，所述检测所述第二目标区域图像之外是否存在相邻的第三像素点的步骤之后，还包括：
在所述第二目标区域图像之外不存在相邻的第三像素点时，将所述第二像素点在所述第二目标区域图像中对应的区域，确定为所述第二像素点在所述产品壳体对应的第二待测区域；以及，
执行所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤。
在一实施例中，所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤之后，还包括：
确定所述第二待测区域中各行像素点对应的灰度值；
在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷。
在一实施例中，所述在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷的步骤之后，还包括：
确定所述第二待测区域中各列像素点对应的灰度值；
在所述各列像素点对应的灰度值不都相同时，输出所述零部件缺失区域中存在缺陷的确认提示信息。
此外，为实现上述目的，本发明还提供了一种零部件检测装置，所述零部件检测装置包括：
第一框选模块，用于获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
第二框选模块，用于在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
坐标获取模块，用于在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
信号发射模块，用于根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
区域检测模块，用于在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
此外，为实现上述目的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零部件检测程序，所述零部件检测程序被所述处理器执行时实现上述的零部件检测方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有零部件检测程序，所述零部件检测程序被处理器执行时实现上述的零部件检测方法的步骤。
本发明实施例中提供的一种零部件检测方法、装置、设备及存储介质的技术方案，至少具有如下技术效果或优点：
本发明通过采用获取产品壳体的待测图像，并基于目标滑窗在待测图像中框选出第一目标区域图像，在第一目标区域图像仅包括第一像素点时，扩大目标滑窗，以在待测图像中框选出第二目标区域图像，在第二目标区域图像中包括第一像素点和第二像素点时，获取第二像素点在待测图像中的像素点坐标，其中，第一像素点与第二像素点的灰度值不同，根据像素点坐标确定第二像素点在产品壳体中对应的第一待测区域，并控制信号收发装置向第一待测区域发射第一无线传输信号，在判定第一无线传输信号的第一飞行时间大于预设时间时，确定第一待测区域为零部件缺失区域的技术方案，解决了人工进行产品零部件缺失检查效率低下以及费时费力的技术问题。本发明可以替代人工实现产品壳体上缺失零部件的自动检查，不仅节省了人工和人工成本，还提高了缺失零部件的检查效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明零部件检测的一实施例的流程示意图；
图3为本发明扩大目标滑窗的一种示意图；
图4为本发明扩大目标滑窗的另一种示意图；
图5为本发明零部件检测装置的功能模块图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及零部件检测程序。其中，操作系统是管理和控制终端设备硬件和软件资源的程序，零部件检测程序以及其它软件或程序的运行。
在图1所示的终端设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的零部件检测程序。
在本实施例中，终端设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器上运行的零部件检测程序，其中：
处理器1001调用存储器1005中存储的零部件检测程序时，执行以下操作：
获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
获取所述待测图像的中心像素点的中心坐标；
以所述中心坐标为圆心，在所述待测图像中绘制半径为预设值的圆形框体；
将所述圆形框体在所述待测图像中框选的图像作为所述第一目标区域图像。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
获取所述圆形框体的移动方向和移动步长；
根据所述中心坐标和所述移动步长确定所述圆形框体的目标坐标；
将所述圆形框体的圆心移动至所述目标坐标，并按照所述移动步长扩大所述圆形框体；
将扩大后的所述圆形框体在所述待测图像中框选的图像作为所述第二目标区域图像。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
检测所述第二目标区域图像之外是否存在相邻的第三像素点，所述第三像素点与所述第二像素点的灰度值相同；
在所述第二目标区域图像之外存在相邻的第三像素点时，再次扩大所述目标滑窗，以在所述待测图像中框选出包括所述第三像素点和所述第二像素点的第三目标区域图像；
将所述第三像素点和所述第二像素点在所述第三目标区域图像中对应的区域，确定为所述第三像素点和所述第二像素点在所述产品壳体对应的第二待测区域，所述第二待测区域包括所述第一待测区域；
控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示信息。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
在所述第二目标区域图像之外不存在相邻的第三像素点时，将所述第二像素点在所述第二目标区域图像中对应的区域，确定为所述第二像素点在所述产品壳体对应的第二待测区域；以及，
执行所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
确定所述第二待测区域中各行像素点对应的灰度值；
在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷。
处理器1001调用存储器1005中存储的零部件检测程序时，还执行以下操作：
确定所述第二待测区域中各列像素点对应的灰度值；
在所述各列像素点对应的灰度值不都相同时，输出所述零部件缺失区域中存在缺陷的确认提示信息。
本发明实施例提供了零部件检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图2所示，在本发明的一实施例中，本发明的零部件检测方法，包括以下步骤：
步骤S210：获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像。
本实施例中，产品壳体上具有若干个安装零部件的安装区域，例如，安装区域为螺丝安装区域。其中，产品壳体上的安装区域是凹陷区域，产品壳体除了安装区域之外的区域是平整的平面区域，凹陷区域的颜色与平面区域的颜色是不同的。待测图像可以理解为产品壳体的实物图像，人眼可以从实物图像中看出凹陷区域的颜色与平面区域的颜色是不同的，具体是两种不同的颜色。
获取到产品壳体的待测图像之后，待测图像中各个像素点的像素点坐标和灰度值均可以得到，即各个像素点的像素点坐标和灰度值是已知的；其中，像素点坐标包括横坐标和纵坐标。
所述目标滑窗是正多边形的框体，当正多边形的边数足够多时，目标滑窗是圆形框体。目标滑窗的初始尺寸大小是预设的，即边数和半径为预设的，其中，所述半径为正多边形的中心与任意两条边的交点之间的距离。获取到产品壳体的待测图像之后，在待测图像中选取一个目标像素点，以所述目标像素点为中心绘制所述目标滑窗，从而实现在待测图像中插入目标滑窗。在待测图像中插入目标滑窗之后，目标滑窗在待测图像中会框选出与自身面积大小相同的一块区域图像，该区域图像称为第一目标区域图像。如图3所示，图3中的10表示待测图像，20表示目标滑窗，30表示零部件的安装区域，安装区域的颜色与安装区域之外的区域是两种不相同颜色。
步骤S220：在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像。
在待测图像中插入目标滑窗之后，判断第一目标区域图像是否同时包括了第一像素点和第二像素点，第一像素点是平面区域中的像素点，第一像素点是安装区域中的像素点。由于平面区域的颜色与安装区域的颜色不同，即可以通过第一像素点的灰度值和第二像素点的灰度值，判断第一目标区域图像是否同时包括了第一像素点和第二像素点，即第一像素点与第二像素点的灰度值不同，灰度值不同，对应的像素点的颜色不同。如果第一目标区域图像中的像素点的灰度值均与第一像素点的灰度值相同，则确定第一目标区域图像中仅包括第一像素点；如果第一目标区域图像中的像素点的灰度值一部分与第一像素点的灰度值相同以及另一部分与第二像素点的灰度值相同，则确定第一目标区域图像中同时包括了第一像素点和第二像素点。
如果确定第一目标区域图像中仅包括了第一像素点，则通过增大目标滑窗的面积以扩大目标滑窗的框选范围，扩大后的目标滑窗会在待测图像中框选出与自身面积大小相同的一块区域图像，该区域图像称为第二目标区域图像。参考图3中右图，21表示扩大后的目标滑窗，30表示零部件的安装区域。然后，按照判断第一目标区域图像是否同时包括了第一像素点和第二像素点的方式，判断第二目标区域图像是否同时包括了第一像素点和第二像素点，如果第二目标区域图像中同时包括了第一像素点和第二像素点，则获取第二像素点在待测图像中的像素点坐标。其中，第二目标区域图像中包括的第二像素点是多个，且多个第二像素点是汇聚在一起的，形成了一个区域，该区域可以参考图3中右图中21与30的交集区域。
步骤S230：在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标。
多个第二像素点在待测图像中的像素点坐标确定之后，可以根据多个第二像素点在待测图像中的像素点坐标将所述交集区域映射到产品壳体的实物上，得到多个第二像素点在产品壳体的实物中对应的第一待测区域，即第一待测区域是与交集区域对应的，且通过第二像素点的像素点坐标也能够得到第一待测区域在产品壳体的实物上的位置坐标。
步骤S240：根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号。
步骤S250：在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
在产品壳体的实物上确定出第一待测区域和第一待测区域的位置坐标之后，根据位置坐标控制信号收发装置向第一待测区域发射第一无线传输信号，信号收发装置发射第一无线传输信号时，对应有发射时间，信号收发装置接收到第一待测区域发射的第一无线传输信号时，对应有飞行时间，然后通过飞行时间与发射时间的时间差确定第一飞行时间，即时间差=第一飞行时间。
由于安装区域是凹陷的，产品壳体上除了安装区域之外的区域是平整的平面区域，即安装区域的底部是低于平面区域的。如果安装区域上安装了零部件，安装区域的表面与平面区域是齐平的，且二者的颜色是相同的，观察起来就是一个纯色的平面，没有颜色差异。在安装区域中没有安装零部件时，安装区域就是凹陷的，安装区域与信号收发装置之间的距离是大于平面区域与信号收发装置之间的距离的。由此可知，如果通过信号收发装置分别向安装区域和平面区域发射无线传输信号之后，信号收发装置接收到由安装区域反射的无线传输信号的时间是大于信号收发装置接收到由平面区域反射的无线传输信号的时间，即无线传输信号从发射出、再被安装区域反射、最后被信号收发装置接收的飞行时间是大于无线传输信号从发射出、再被平面区域反射、最后被信号收发装置接收的飞行时间的，因此可以通过无线传输信号的飞行时间判断第一待测区域为零部件缺失区域。其中，第一待测区域可能是安装区域中部分区域，第一待测区域也可能就是安装区域。
具体的，预设时间是根据无线传输信号从发射出、再被平面区域反射、最后被信号收发装置接收的飞行时间设置的，即预设时间与无线传输信号从发射出、再被平面区域反射、最后被信号收发装置接收的飞行时间相同。得到第一无线传输信号的第一飞行时间之后，如果确定第一飞行时间大于预设时间，则确定第一待测区域为零部件缺失区域，也就安装区域中没有安装零部件，即产品壳体上缺失了零部件，进而输出零部件缺失提示信息。其中，信号收发装置包括超声波收发装置，红外收发装置等，无线传输信号包括超声波、红外信号等。
本实施例根据上述技术方案，可以替代人工实现产品壳体上缺失零部件的自动检查，不仅节省了人工和人工成本，还提高了缺失零部件的检查效率。
可选的，基于上述实施例，所述基于目标滑窗在所述待测图像中框选出第一目标区域图像包括以下步骤：
获取所述待测图像的中心像素点的中心坐标；
以所述中心坐标为圆心，在所述待测图像中绘制半径为预设值的圆形框体；
将所述圆形框体在所述待测图像中框选的图像作为所述第一目标区域图像。
具体的，待测图像的各个像素点的像素点坐标是已知的，则可以各个像素点的像素点坐标，确定出待测图像的中心像素点的中心坐标，中心坐标即为中心像素点坐标，中心坐标在图3中表示为O。然后以中心坐标为圆心，在待测图像中绘制圆形框体，圆形框体的半径为预设值，即半径为预设值的圆形框体即为所述目标滑窗，也就是图3中左图的20，圆形框体在待测图像中框选的图像就是所述第一目标区域图像。其中，待测图像的中心像素点的中心坐标作为圆心是因为，中心像素点距离自身周围其他像素的距离基本上较近，绘制目标滑窗之后，如果需要扩大目标滑窗，则可以减少目标滑窗的扩大次数，便可以将第二像素点框选在目标滑窗中。
可选的，基于上述实施例，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像包括以下步骤：
获取所述圆形框体的移动方向和移动步长；
根据所述中心坐标和所述移动步长确定所述圆形框体的目标坐标；
将所述圆形框体的圆心移动至所述目标坐标，并按照所述移动步长扩大所述圆形框体；
将扩大后的所述圆形框体在所述待测图像中框选的图像作为所述第二目标区域图像。
具体的，移动方向是随机选取的，移动步长是预设的，具体是以像素点的个数为单位，那么，圆形框体的目标坐标与中心坐标之间相距移动步长个像素点。例如，以中心坐标的右侧水平方向为移动方向，移动步长是5个像素点，则按照中心坐标的右侧水平方向，需要将圆形框体移动5个像素点。其中，假设中心坐标是（10,20），则目标坐标为（10,25），移动后的圆形框体的圆心记为目标坐标。
将圆形框体的圆心移动至目标坐标之后，按照移动步长扩大圆形框体，即扩大后的圆形框体的面积大于扩大前的圆形框体的面积。假设扩大前的圆形框体的半径是5个像素点，则扩大后的圆形框体的半径是10个像素点，进而，扩大后的圆形框体在待测图像中框选的图像就是所述第二目标区域图像。值得注意的时，如果按照选定的移动方向扩大圆形框体后，无法将第二像素点框选在第二目标区域图像中，则需要重新选择移动方向，在原来的基础上重新移动原始的圆形框体，直至将第二像素点框选在第二目标区域图像中停止。
可选的，基于上述实施例，步骤S250之后还包括以下步骤：
检测所述第二目标区域图像之外是否存在相邻的第三像素点，所述第三像素点与所述第二像素点的灰度值相同；
在所述第二目标区域图像之外存在相邻的第三像素点时，再次扩大所述目标滑窗，以在所述待测图像中框选出包括所述第三像素点和所述第二像素点的第三目标区域图像；
将所述第三像素点和所述第二像素点在所述第三目标区域图像中对应的区域，确定为所述第三像素点和所述第二像素点在所述产品壳体对应的第二待测区域，所述第二待测区域包括所述第一待测区域；
控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示信息；
在所述第二目标区域图像之外不存在相邻的第三像素点时，将所述第二像素点在所述第二目标区域图像中对应的区域，确定为所述第二像素点在所述产品壳体对应的第二待测区域；以及，
执行所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤。
具体的，在产品壳体的实物上确定出第一待测区域之后，第一待测区域可能是安装区域的部分区域，也可能就是完整的安装区域，基于此，需要对第一待测区域是否是完整的安装区域进行判断。
通过检测第二目标区域图像之外是否存在相邻的第三像素点，以对第一待测区域是否是完整的安装区域进行判断，其中，第三像素点与第二像素点的灰度值相同，即第三像素点与第二像素点的颜色相同。如果确定第二目标区域图像之外存在相邻的第三像素点，表示第一待测区域是安装区域的部分区域，安装区域没有完全包括在第二目标区域图像中，则再次扩大目标滑窗，再次扩大后的目标滑窗所框选的图像为第三目标区域图像，再次扩大目标滑窗的次数可能是一次，也可能是多次，最终使得再次扩大后的目标滑窗将待测图像中的所有第三像素点和所有第二像素点都框选出来，即待测图像中的所有第三像素点和所有第二像素点都包含在第三目标区域图像中。其中，再次扩大后的目标滑窗如图4中的22所示。
进而，将所有第三像素点和所有第二像素点在第三目标区域图像中对应的区域，确定为所有第三像素点和所有第二像素点在产品壳体对应的第二待测区域，第二待测区域包括第一待测区域，此时的第二待测区域即为完整的安装区域，即第二待测区域为图4中的30。接着，控制信号收发装置再次向第二待测区域发射第二无线传输信号，并在判定第二无线传输信号的第二飞行时间大于预设时间时，输出第一待测区域为零部件缺失区域的确认提示信息，通过确认提示信息可以确定第一待测区域就是零部件缺失区域，该区域也是安装区域，但缺失了零部件。如此可以对确定第一待测区域为零部件缺失区域进行再次确认，可以避免前期对安装区域缺失零部件的误判。
如果确定第二目标区域图像之外不存在相邻的第三像素点，表示第一待测区域是完整的安装区域，则将第二像素点在第二目标区域图像中对应的区域，确定为第二像素点在产品壳体对应的第二待测区域，也就是第一待测区域和第二待测区域是同一区域，即二者均是完整的安装区域。进而执行控制信号收发装置向第二待测区域发射第二无线传输信号，并在判定第二无线传输信号的第二飞行时间大于预设时间时，输出第一待测区域为零部件缺失区域的确认提示的步骤，即控制信号收发装置再次向第二待测区域发射第二无线传输信号，并在判定第二无线传输信号的第二飞行时间大于预设时间时，输出第一待测区域为零部件缺失区域的确认提示信息，通过确认提示信息可以确定第一待测区域就是零部件缺失区域，该区域具体是完整的安装区域，但缺失了零部件。如此可以对确定第一待测区域为零部件缺失区域进行再次确认，可以避免前期对安装区域缺失零部件的误判。
可选的，所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示之后，还包括以下步骤：
确定所述第二待测区域中各行像素点对应的灰度值；
在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷。
所述第二待测区域即为完整的安装区域，行像素点是每行中的像素点。如果安装区域是没有破损，即没有缺陷时，安装区域中各行像素点的灰度值均是相同的。如果安装区域中出现缺陷，缺陷区域的颜色与正常区域的颜色是不同的，即安装区域中会掺杂缺陷区域的颜色，安装区域中各行像素点的灰度值不都是相同的。如果确定各行像素点对应的灰度值不都相同时，确定零部件缺失区域中存在缺陷，即安装区域中出现缺陷，然后输出安装区域中出现缺陷的提示信息，从而实现了安装区域是否存在缺陷的检测。
可选的，所述在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷的步骤之后，还包括：
确定所述第二待测区域中各列像素点对应的灰度值；
在所述各列像素点对应的灰度值不都相同时，输出所述零部件缺失区域中存在缺陷的确认提示信息。
列像素点是每列中的像素点，如果安装区域是没有破损，即没有缺陷时，安装区域中各列像素点的灰度值均是相同的。如果安装区域中出现缺陷，缺陷区域的颜色与正常区域的颜色是不同的，即安装区域中会掺杂缺陷区域的颜色，安装区域中各列像素点的灰度值不都是相同的。如果确定各列像素点对应的灰度值不都相同时，确定零部件缺失区域中存在缺陷，即安装区域中出现缺陷，然后在输出安装区域中出现缺陷的提示信息的基础上，再输出零部件缺失区域中存在缺陷的确认提示信息，即再次确认安装区域的确是存在缺陷的，避免了安装区域上存在缺陷的误判。
可选的，如图5所示，本发明还提供了一种零部件检测装置，所述零部件检测装置包括：
第一框选模块310，用于获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
第二框选模块320，用于在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
坐标获取模块330，用于在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
信号发射模块340，用于根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
区域检测模块350，用于在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
本发明零部件检测装置具体实施方式与上述零部件检测方法各实施例基本相同，在此不再赘述。
可选的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零部件检测程序，所述零部件检测程序被所述处理器执行时实现上述的零部件检测方法的步骤。
可选的，本发明还提供了一种存储介质，其上存储有零部件检测程序，所述零部件检测程序被处理器执行时实现上述的零部件检测方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种零部件检测方法，其特征在于，所述零部件检测方法包括：
获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
2.如权利要求1所述的方法，其特征在于，所述基于目标滑窗在所述待测图像中框选出第一目标区域图像的步骤包括：
获取所述待测图像的中心像素点的中心坐标；
以所述中心坐标为圆心，在所述待测图像中绘制半径为预设值的圆形框体；
将所述圆形框体在所述待测图像中框选的图像作为所述第一目标区域图像。
3.如权利要求2所述的方法，其特征在于，所述扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像的步骤包括：
获取所述圆形框体的移动方向和移动步长；
根据所述中心坐标和所述移动步长确定所述圆形框体的目标坐标；
将所述圆形框体的圆心移动至所述目标坐标，并按照所述移动步长扩大所述圆形框体；
将扩大后的所述圆形框体在所述待测图像中框选的图像作为所述第二目标区域图像。
4.如权利要求1所述的方法，其特征在于，所述在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域的步骤之后，还包括：
检测所述第二目标区域图像之外是否存在相邻的第三像素点，所述第三像素点与所述第二像素点的灰度值相同；
在所述第二目标区域图像之外存在相邻的第三像素点时，再次扩大所述目标滑窗，以在所述待测图像中框选出包括所述第三像素点和所述第二像素点的第三目标区域图像；
将所述第三像素点和所述第二像素点在所述第三目标区域图像中对应的区域，确定为所述第三像素点和所述第二像素点在所述产品壳体对应的第二待测区域，所述第二待测区域包括所述第一待测区域；
控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示信息。
5.如权利要求4所述的方法，其特征在于，所述检测所述第二目标区域图像之外是否存在相邻的第三像素点的步骤之后，还包括：
在所述第二目标区域图像之外不存在相邻的第三像素点时，将所述第二像素点在所述第二目标区域图像中对应的区域，确定为所述第二像素点在所述产品壳体对应的第二待测区域；以及，
执行所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤。
6.如权利要求4或5所述的方法，其特征在于，所述控制所述信号收发装置向所述第二待测区域发射第二无线传输信号，并在判定所述第二无线传输信号的第二飞行时间大于所述预设时间时，输出所述第一待测区域为零部件缺失区域的确认提示的步骤之后，还包括：
确定所述第二待测区域中各行像素点对应的灰度值；
在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷。
7.如权利要求6所述的方法，其特征在于，所述在所述各行像素点对应的灰度值不都相同时，确定所述零部件缺失区域中存在缺陷的步骤之后，还包括：
确定所述第二待测区域中各列像素点对应的灰度值；
在所述各列像素点对应的灰度值不都相同时，输出所述零部件缺失区域中存在缺陷的确认提示信息。
8.一种零部件检测装置，其特征在于，所述零部件检测装置包括：
第一框选模块，用于获取产品壳体的待测图像，并基于目标滑窗在所述待测图像中框选出第一目标区域图像；
第二框选模块，用于在所述第一目标区域图像仅包括第一像素点时，扩大所述目标滑窗，以在所述待测图像中框选出第二目标区域图像；
坐标获取模块，用于在所述第二目标区域图像中包括所述第一像素点和第二像素点时，获取所述第二像素点在所述待测图像中的像素点坐标；其中，所述第一像素点与所述第二像素点的灰度值不同；
信号发射模块，用于根据所述像素点坐标确定所述第二像素点在所述产品壳体中对应的第一待测区域，并控制信号收发装置向所述第一待测区域发射第一无线传输信号；
区域检测模块，用于在判定所述第一无线传输信号的第一飞行时间大于预设时间时，确定所述第一待测区域为零部件缺失区域。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的零部件检测程序，所述零部件检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的零部件检测方法的步骤。
10.一种存储介质，其特征在于，其上存储有零部件检测程序，所述零部件检测程序被处理器执行时实现权利要求1-7中任一项所述的零部件检测方法的步骤。
CN202210478325.5A 2022-05-05 2022-05-05 零部件检测方法、装置、设备及存储介质 Active CN114581441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210478325.5A CN114581441B (zh) 2022-05-05 2022-05-05 零部件检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210478325.5A CN114581441B (zh) 2022-05-05 2022-05-05 零部件检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114581441A true CN114581441A (zh) 2022-06-03
CN114581441B CN114581441B (zh) 2022-08-12

Family

ID=81785087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210478325.5A Active CN114581441B (zh) 2022-05-05 2022-05-05 零部件检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114581441B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146964A1 (en) * 2013-11-27 2015-05-28 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
CN109313164A (zh) * 2017-03-30 2019-02-05 申东桓 检测缺陷的装置及其检测缺陷的方法
CN110900611A (zh) * 2019-12-13 2020-03-24 合肥工业大学 一种新型机械臂目标定位及路径规划方法
CN111986161A (zh) * 2020-07-27 2020-11-24 山东万腾电子科技有限公司 一种零部件缺失检测方法及系统
CN114384071A (zh) * 2020-10-21 2022-04-22 南京牧镭激光科技有限公司 一种基于激光tof技术的墙地砖侧底面缺陷测量装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146964A1 (en) * 2013-11-27 2015-05-28 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
CN109313164A (zh) * 2017-03-30 2019-02-05 申东桓 检测缺陷的装置及其检测缺陷的方法
CN110900611A (zh) * 2019-12-13 2020-03-24 合肥工业大学 一种新型机械臂目标定位及路径规划方法
CN111986161A (zh) * 2020-07-27 2020-11-24 山东万腾电子科技有限公司 一种零部件缺失检测方法及系统
CN114384071A (zh) * 2020-10-21 2022-04-22 南京牧镭激光科技有限公司 一种基于激光tof技术的墙地砖侧底面缺陷测量装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABOUELELA A ET AL: "Automated vision system for localizing structural defects in textile fabrics", 《PATTERN RECOGNITION LETTERS》 *
倪东: "基于计算机图像处理的零件缺陷检测", 《兰州工业学院学报》 *

Also Published As

Publication number Publication date
CN114581441B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN106097361B (zh) 一种缺陷区域检测方法及装置
US9547909B2 (en) Image edge detection method and apparatus thereof, image target identification method and apparatus thereof
CN101256157B (zh) 表面缺陷检测方法和装置
CN101770646B (zh) 基于Bayer RGB图像的边缘检测方法
CN101398999B (zh) 显示设备测试装置及方法
CN110335273B (zh) 检测方法、检测装置、电子设备和介质
US10373316B2 (en) Images background subtraction for dynamic lighting scenarios
US20170163979A1 (en) Testing device of display devices and testing method thereof
JP7435303B2 (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
CN107797784B (zh) 获取拼接处理器的适配分辨率的方法及装置
CN111612787B (zh) 混凝土裂纹高分图像无损语义分割方法、装置及存储介质
CN113724240A (zh) 一种基于视觉识别的冷柜脚轮检测方法、系统及装置
CN103941112A (zh) 多影像讯号的检测系统及其检测方法
CN113570578B (zh) 一种镜片鬼影现象检测方法、装置
CN114581441B (zh) 零部件检测方法、装置、设备及存储介质
CN101995325A (zh) 一种图像传感器的外观检测方法及系统
US6727899B2 (en) System and method for occlusion culling graphical data
CN113870754B (zh) 一种面板检测电子信号缺陷判定的方法和系统
US20110050907A1 (en) Electronic device and method for measuring video signals
CN115222653A (zh) 测试方法和装置
CN110865911A (zh) 图像测试方法、装置、存储介质、图像采集卡及上位机
CN116973311B (zh) 一种膜上膜下异物的检测装置及检测方法
CN111579211B (zh) 显示屏的检测方法、检测装置及计算机存储介质
CN113891068B (zh) 基于摄像头均匀性测试辅助装置的光轴精度检测方法
CN112649499B (zh) 适用于轧辊的超声波检测信号聚合显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant