CN115631169A - 产品检测方法、装置、电子设备及存储介质 - Google Patents

产品检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115631169A
CN115631169A CN202211329372.XA CN202211329372A CN115631169A CN 115631169 A CN115631169 A CN 115631169A CN 202211329372 A CN202211329372 A CN 202211329372A CN 115631169 A CN115631169 A CN 115631169A
Authority
CN
China
Prior art keywords
image
detected
target
detection result
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211329372.XA
Other languages
English (en)
Inventor
朱合军
刘恩锋
蔡毅泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanxiang Smart Iot Technology Co ltd
Original Assignee
Yanxiang Smart Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanxiang Smart Iot Technology Co ltd filed Critical Yanxiang Smart Iot Technology Co ltd
Priority to CN202211329372.XA priority Critical patent/CN115631169A/zh
Publication of CN115631169A publication Critical patent/CN115631169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于产品检测技术领域，提供了一种产品检测方法、装置、电子设备及存储介质，其中，上述方法包括：获取待检测图像，其中，所述待检测图像为待检测产品对应的图像，所述待检测图像中包括待检测元件；根据目标模板图像的目标元件与所述待检测图像的所述待检测元件进行比对，得到目标检测结果，其中，所述目标模板图像中包括目标元件，所述目标元件与所述待检测元件对应，通过本实施例，解决了相关技术中的产品检测方法存在产品检测结果可靠性差的问题。

Description

产品检测方法、装置、电子设备及存储介质
技术领域
本申请涉及产品检测技术领域，尤其涉及一种产品检测方法、装置、电子设备及存储介质。
背景技术
在现实生活中，随着人工成本的不断上升及新工艺新技术的逐渐出现，国内制造型企业的生产转型升级越来越紧迫。对于劳动密集型企业来说，当前最核心的转型是实现自动化和智能化，利用自动化设备和智能化工厂代替人工生产是转型升级之根本。目前，针对在产品(例如，电视机)生产制造的装配环节中，产品上的元件(例如，螺钉，卡扣，胶带)的缺陷检测环节仍然需要人工目测来把控产品的生产质量。
但是，由于人工检测因每个人的评判标准不同，且人的感官判断易受个人状态、情绪等主观因素影响，使得生成的检测结果不具有较高的可靠性及稳定性。
由此可见，相关技术中的产品检测方法，存在产品检测结果可靠性差的问题。
发明内容
有鉴于此，本申请实施例提供了一种产品检测方法、装置、电子设备及存储介质，可以解决相关技术中的产品检测方法存在产品检测结果可靠性差的问题。
本申请实施例的第一方面提供了一种方法，所述方法包括：获取待检测图像，其中，所述待检测图像为待检测产品对应的图像，所述待检测图像中包括待检测元件；根据目标模板图像的目标元件与所述待检测图像的所述待检测元件进行比对，得到目标检测结果，其中，所述目标模板图像中包括目标元件，所述目标元件与所述待检测元件对应。
本申请实施例的第二方面提供了一种装置，所述装置包括：获取单元，用于获取待检测图像，其中，所述待检测图像为待检测产品对应的图像，所述待检测图像中包括待检测元件；比对单元，用于根据目标模板图像的目标元件与所述待检测图像的所述待检测元件进行比对，得到目标检测结果，其中，所述目标模板图像中包括目标元件，所述目标元件与所述待检测元件对应。
本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：采用使用目标模板图像中的目标元件与待检测图像中的待检测元件进行比对，从而对待检测元件进行检测的方式，通过获取待检测图像，其中，待检测图像为待检测产品对应的图像，待检测图像中包括待检测元件；根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，其中，目标模板图像中包括目标元件，目标元件与待检测元件对应；对目标检测结果进行展示，由于使用目标模板图像中的目标元件与待检测元件进行比对，得到待检测元件的检测结果，可以提升确定出的检测结果的精度以及检测结果的可靠性，进而解决了相关技术中的产品检测方法存在产品检测结果可靠性差的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是根据本申请实施例的一种可选的产品检测方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的产品检测方法的流程示意图；
图3是根据本申请实施例的一种产品检测的示意图；
图4是根据本申请实施例的一种获取待检测元件所对应的元件框的示意图；
图5是根据本申请实施例的另一种可选的产品检测方法的流程示意图；
图6是根据本申请实施例的又一种可选的产品检测方法的流程示意图；
图7是根据本申请实施例的一种可选的产品检测装置的结构框图；
图8是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
根据本申请实施例的一个方面，提供了一种产品检测方法。可选地，在本实施例中，上述产品检测方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，终端设备102通过网络与服务器104进行连接，可用于为终端设备102或终端设备102上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：无线保真(Wireless Fidelity，WIFI)，蓝牙。终端设备102可以但不限定于为智能手机、智能电脑、智能平板等设备。
本申请实施例的产品检测方法可以由服务器104来执行，也可以由终端设备102来执行，还可以是由服务器104和终端设备102共同执行。以由终端设备102来执行本实施例中的产品检测方法为例，图2是根据本申请实施例的一种可选的产品检测方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S202，获取待检测图像，其中，待检测图像为待检测产品对应的图像，待检测图像中包括待检测元件。
本实施例中的产品检测方法可以应用于对产品中的元件进行检验的场景中，上述元件可以是产品中的电子元件，也可以是产品中的物理元件，本实施例中对此不做限定。例如，当产品为电视机时，上述元件可以是电视机内的卡扣元件(上述电子元件的一种示例)，也可以是电视机内的胶带、螺丝钉等元件(上述物理元件的一种示例)。
可选地，上述获取待检测图像的过程可以是：在待检测产品通过传感器的情况下，通过传感器向图像采集部件发送图像采集指令，由图像采集部件对待检测图像进行图像采集，得到待检测图像。例如，如图3所示，其中，图3(1)为电视机；图3(2)为条形光源；图3(3)为相机；图3(4)为工控机；图3(5)为光电传感器，可以在电视机通过流水线到达定位机构之后，由定位结构通过气缸把电视机位置推正，进入图3所示的检测设备内对电视机进行检测，如检测结果为NG(NOT GOOD，不好)时，通过三色报警灯进行告警。
可选地，上述传感器可以是光电传感器；上述图像采集指令可以是光电传感器发送的触发信号，也可以是光电传感器产生的电压变化，本实施例中对此不做限定。例如，如图3所示，可以将3个相机垂直流水线方向固定安装在检测工位正上方，5个光电传感器沿着流水线方向安装在线体边缘。当没有电视通过时，光电传感器为高电平信号，当电视通过光电传感器时，光电传感器为低电平信号，每个光电传感器由高电平转化为低电平时，光电传感器可以生成触发信号，在光电传感器将触发信号发送给工控机之后，工控机可以在收到信号后通过IO(Input/Output，输入/输出)板卡输出控制信号，打开置于电视机背板正上方的光源，然后给相机一个软触发信号，采集到电视机背板的数字图像。电视机在每经过一个光电传感器时，光电传感器都会触发3个相机进行拍照，也就是说，在电视机依次经过5个光电传感器的过程中，将会拍摄15张图像(即，3x5＝15)。
可选地，上述待检测图像的采集范围可以大于或者等于电视机的尺寸。当待检测图像为多个图像时，上述待检测图像的采集范围指的是多个图像所对应的采集范围之和。例如，当每个相机拍摄的视野面积范围为400x330毫米，相机两两之间相隔300毫米时，三个相机纵向可以覆盖宽度(300x2+330)＝930毫米；当光电传感器两两之间安装间隔为330毫米，5个光电传感器的覆盖长度为(330x4+400)＝1720毫米，1个光电传感器触发3个相机拍照一次，生成3张图片，5个光点传感器一共可以拍15张图片，可以检测75寸以内的电视，从而实现电视机的大视野检测。
可选地，当待检测图像图像中不包括待检测元件时，可以直接将待检测图像进行舍弃，不对其进行检测。
步骤S204，根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，其中，目标模板图像中包括目标元件，目标元件与待检测元件对应。
由于一般待检测元件不合格都发生在安装的过程中，并且安装过程中产生的元件安装不合格一般都为安装位置错误或者忘记进行安装，而这些问题一般都可以通过图像识别出来。因此，可以通过对待检测图像进行检测确定待检测元件是否安装合格。
可选地，上述通过对待检测图像进行检测确定待检测元件是否安装合格的过程可以是：根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，上述目标模板图像中包括目标元件，目标元件与待检测元件对应。
可选地，上述根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果的过程可以是：先确定出待检测元件在待检测图像中的位置，再将待检测元件所对应的第一区域与目标元件所对应的第二区域进行比对，确定出第一区域与第二区域的相似度。当确定出的相似度大于或者等于预设的相似度时，可以认为待检测元件与目标元件一致(即，待检测元件在待检测产品中安装正确，或者说，待检测元件通过检测)；当确定出的相似度小于预设的相似度时，可以认为待检测元件与目标元件不一致(即，待检测元件在待检测产品中安装错误，或者说，待检测元件未能通过检测)。
需要说明的是，由于目标元件在目标模板图像中的第一位置和待检测元件在待检测图像中的第二位置并不是完全一致的。因此，将待检测图像中的第一位置的区域确定为待检测元件所对应的区域，可能会使得确定出的区域中并不包括待检测元件。例如，当目标元件在目标模板图像中的位置为(2，2)，待检测元件在待检测图像中的位置为(2，4)时，如果直接将待检测图像中位置为(2，2)的区域确定为待检测元件所对应的区域，则可能导致确定出的区域中包括待检测元件，或者所包括的待检测元件不完整，进而导致无法对待检测元件进行比对，确定出检测结果，因此，可以先确定目标模板图像中的一个定位点，以及目标元件相对于定位点的相对位置，再在待检测图像中确定出该定位点所在的位置，最后根据目标元件相对于定位点的相对位置，从待检测图像中确定出待检测元件的位置，进而可以精确地对待检测元件进行比对，确定出检测结果。
可选地，上述在待检测图像中确定出该定位点所在的位置的过程可以是：根据定位点的图像特征，在待检测图像中进行图像识别，将待检测图像中与目标模板图像定位点图像特征相同的位置确定为定位点所在的位置。
通过上述步骤S202至步骤S204，通过获取待检测图像，其中，待检测图像为待检测产品对应的图像，待检测图像中包括待检测元件；根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，其中，目标模板图像中包括目标元件，目标元件与待检测元件对应，解决了相关技术中的产品检测方法存在产品检测结果可靠性差的问题，提升了产品检测结果的可靠性。
在一个示例性实施例中，获取待检测图像，包括：通过光电传感器对待检测产品进行检测，得到检测信号；在检测信号的信号类型为目标信号类型的情况下，控制图像采集部件对待检测产品执行图像采集操作，得到待检测图像。
由于当待检测产品传输至光电传感器时，阻挡光电传感器所接收到的光线数量，又因为光电传感器的电压与光电传感器所接收到的光线数量有关，当光电传感器所接收到的光线数量多时，光电传感器将会输出高电平，当光电传感器所接收到的光线数量少时，光电传感器将会输出低电平。因此，可以通过光电传感器以及图像采集部件获取待采集图像。
可选地，上述通过光电传感器以及图像采集部件获取待采集图像的过程可以是：先通过光电传感器对待检测产品进行检测，得到检测信号，再在检测信号的信号类型为目标信号类型的情况下，控制图像采集部件对待检测产品执行图像采集操作，得到待检测图像，上述目标信号类型指的是光电传感器输出的信号由高电平变为低电平，即，只有当光电传感器输出的信号由高电平变为低电平时，才控制图像采集部件对待检测产品执行图像采集操作，得到待检测图像。
可选地，上述图像采集部件可以是照相机，也可以是摄像头，本实施例中对于图像采集部件的类型不做限定。
需要说明的是，上述光电传感器可以为多个传感器，上述图像采集部件可以也可以为多个，例如，当光电传感器发送的检测信号的型号类型为目标信号类型时，可以控制多个图像采集设备同时对待检测产品执行图像采集操作，得到多个采集图像。可选地，为了更好的对多个采集图像进行区分，可以为多个采集图像设置不同的图像标识，如，图像1对应的图像标识可以为1-1(即，图像1为传感器1触发的、通过相机1采集到的图像)，图像2对应的图像标识可以为2-1(即，图像2为传感器2触发的、通过相机1采集到的图像，依次类推，为多个采集图像中的每个采集图像都设置与之对应的图像标识。
通过本实施例，先通过光电传感器对待检测产品进行检测，得到检测信号，并且在检测信号的信号类型为目标信号类型的情况下，控制图像采集部件对待检测产品执行图像采集操作，得到待检测图像，可以提升所采集到待采集图像的精准性，进而提升待检测产品的检测精度。
在一个示例性实施例中，根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，包括：根据目标模板图像中第一定位点的第一位置信息、以及第一参考元件所对应第一元件框的第一元件框信息，从待检测图像中，确定待检测元件所对应的第一待检测元件框，其中，第一参考元件为目标模板图像中、与待检测元件对应的参考元件，第一元件框中包括第一参考元件，第一元件框信息包括第一元件框的第二位置信息以及第一元件框的第一尺寸信息，目标元件包括第一参考元件；将第一待检测元件框从待检测图像中进行截取，得到第一感兴趣区域图像；将第一感兴趣区域图像输入至目标识别模型中，得到与待检测元件对应的第一自信度因子，其中，第一自信度因子用于指示目标检测结果，目标识别模型用于识别第一感兴趣区域中的待检测元件是否符合预设标准。
由于目标元件在目标模板图像中的位置可能与待检测元件在待检测图像中的位置不一致，如，目标元件在目标模板图像中的位置可能是(2，2)，若直接将待检测图像中(2，2)位置的元件视为待检测元件，可能会出现失误。
又因为目标元件与指定位置的相对位置是固定的，因此可以通过一个固定位置，从待检测图像中确定待检测元件的位置。可选地，可以根据目标模板图像中第一定位点的第一位置信息、以及第一参考元件所对应第一元件框的第一元件框信息，从待检测图像中，确定待检测元件所对应的第一待检测元件框，上述第一参考元件为目标模板图像中、与待检测元件对应的参考元件，第一元件框中包括第一参考元件，第一元件框信息包括第一元件框的第二位置信息以及第一元件框的第一尺寸信息，目标元件包括第一参考元件。
可选地，上述第一元件框可以是包括第一参考元件的最小的元件框，即，第一元件框中的每条边都与第一参考元件相切。
可选地，上述第一位置信息可以是第一定位点在目标模板图像所对应的坐标系中的位置坐标，上述第二位置信息可以是第一元件框上的第一指定点在目标模板图像中的位置坐标，上述第一指定点可以是第一元件框的中心点，也可以是第一元件框的四个交点，还可以是其他的点，本实施例中对此不做限定。上述第一尺寸信息可以是第一元件框的长度信息以及第一元件框的宽度信息(即，第一元件框的长度和宽度)。上述目标模板图像所对应的坐标系可以是以目标模板图像中的第二指定点为原点建立的坐标系，上述第二指定点可以是目标模板图像的中心点，也可以是目标模板图像的四个交点，还可以是其他的点。本实施例中对此不做限定。
例如，如图4所示，图4(a)为目标元件所对应的第一元件框，点1为定位点所在的位置，图4(b)为待检测元件所对应的第一待检测元件框。由于目标模板图像中的点1与第一元件框的相对位置是固定的，因此当在待检测图像中确定点1之后，可以根据点1与第一元件框的相对位置，从待检测图像中确定出第一待检测元件框。
可选的，在从待检测图像中确定出待检测元件所对应的第一待检测元件框之后，可以将第一待检测元件框从待检测图像中进行截取，得到第一感兴趣区域图像。当待检测图像中包括多个待检测元件时，上述第一感兴趣区域图像可以为多个感兴趣区域图像。
在确定第一感兴趣区域图像之后，可以将第一感兴趣区域图像输入至目标识别模型中，得到与待检测元件对应的第一自信度因子，上述第一自信度因子用于指示目标检测结果，目标识别模型用于识别第一感兴趣区域中的待检测元件是否符合预设标准。例如，可以将确定出的ROI(region of interest，感兴趣区域)区域经过halcon(一种机器视觉算法)中算子vector_angle_to_rigid仿射变换矫正后与训练好的卡扣模型进行识别，识别后模型将会产生一个自信度因子分数，自信度因子分数范围0～1，越接近1代表识别的最精确，如果自信度因子分数在人为设置的0.9以上，则表示卡扣PASS(通过检测，即，卡扣安装不合格)，否则表示卡扣NG(未能通过检测，即，卡扣安装不合格)。
通过本实施例，先通过定位点从待检测图像中确定待检测元件所对应的第一待检测元件框，再将第一待检测元件框从待检测图像中进行截取，得到第一感兴趣区域图像，最后对第一感兴趣区域图像进行检测，确定与待检测元件对应的第一自信度因子，可以提升确定出的检测结果的可靠性。
在一个示例性实施例中，在将第一感兴趣区域图像输入至目标识别模型中，得到目标检测结果之前，上述方法还包括：获取目标样本图像，其中，目标样本图像中包括多个样本图像；将目标样本图像化分为第一样本图像以及第二样本图像，其中，第一样本图像中的待检测元件在待检测产品中的位置符合预设参数，第二样本图像中的待检测元件在待检测产品中的位置不符合预设参数；将第一样本图像以及第二样本图像输入至深度学习模型，并按照预设学习因子以及预设迭代次数进行学习，得到目标识别模型。
在本实施例中，在将第一感兴趣区域图像输入至目标识别模型中，得到目标检测结果之前，可以使用深度学习模型来生成目标识别模型。上述深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。
可选地，上述使用深度学习模型来生成目标识别模型的过程可以是：先获取目标样本图像，上述目标样本图像中包括多个样本图像。例如，可以先人为将卡扣方框截取出来，并将图片上的方框左上角坐标点的x，y轴坐标，方框的长度L和宽度W，一共四个参数输出到指定配置文件中保存，再将卡扣样本进行标记，分为NG样本和OK样本。
可选地，在获取目标样本图像之后，可以将目标样本图像化分为第一样本图像以及第二样本图像，上述第一样本图像中的待检测元件在待检测产品中的位置符合预设参数，第二样本图像中的待检测元件在待检测产品中的位置不符合预设参数。例如，当预设参数为待检测元件在待检测产品中的实际安装位置与提前设置好的安转位置之间的直线距离不得大于2mm时，若待检测元件在待检测产品中的实际安装位置与提前设置好的安转位置之间的直线距离为3mm时，则可以确定该待检测元件安装不合格，该待检测元件所对应的样本图像为第二样本图像。
在确定第一样本图像以及第二样本图像之后，可以将第一样本图像以及第二样本图像输入至深度学习模型，并按照预设学习因子以及预设迭代次数进行学习，得到目标识别模型。例如，可以在将卡扣(螺钉/胶带)样本标记完成后，设置模型的学习因子(设置为0.05)和迭代次数(设置为100)参数，最后经过深度学习模型训练，训练之后会自动保存卡扣(螺钉/胶带)深度学习模型。
通过本实施例，根据图像样本对深度学习模型进行迭代，可以提升生成的目标识别模型的精准度，进而可以提升确定出的检测结果的精确性。
在一个示例性实施例中，根据目标模板图像的目标元件以及待检测图像的待检测元件进行比对，得到目标检测结果，包括：根据目标模板图像中第二定位点的第三位置信息、以及第二参考元件所对应第二元件框的第二元件框信息，从待检测图像中，确定待检测元件所对应的第二待检测元件框，其中，第二参考元件为目标模板图像中、与待检测元件对应的参考元件，第二元件框中包括第二参考元件，第二元件框信息包括第二元件框的第四位置信息以及第二元件框的第二尺寸信息，目标元件包括第二参考元件；将第二待检测元件框从待检测图像中进行截取，得到第二感兴趣区域图像；计算第二感兴趣区域图像中待检测元件中的第一标志线以及第二标志线，其中，第一标志线以及第二标志线用于确定待检测元件在第二感兴趣区域图像中的位置；根据边缘对算法，计算第一标志线与第二标志线之间的目标差值；根据目标差值以及目标模板图像对应的预设差值，确定与待检测元件对应的第二自信度因子，其中，第二自信度因子用于指示目标检测结果。
在本实施例中，可以通过一个固定位置，从待检测图像中确定待检测元件的位置。可选地，可以根据目标模板图像中第二定位点的第三位置信息、以及第二参考元件所对应第二元件框的第二元件框信息，从待检测图像中，确定待检测元件所对应的第二待检测元件框，上述第二参考元件为目标模板图像中、与待检测元件对应的参考元件，第二元件框中包括第二参考元件，第二元件框信息包括第二元件框的第四位置信息以及第二元件框的第二尺寸信息，目标元件包括第二参考元件，上述第二定位点和第一定位点可以是相同的定位点，也可以是不同的定位点，上述第二参考元件和第一参考元件可以是相同的参考元件，也可以是不同的参考元件，本实施例中对此不做限定。
可选地，上述根据目标模板图像中第二定位点的第三位置信息、以及第二参考元件所对应第二元件框的第二元件框信息，从待检测图像中，确定待检测元件所对应的第二待检测元件框的过程与根据目标模板图像中第一定位点的第一位置信息、以及第一参考元件所对应第一元件框的第一元件框信息，从待检测图像中，确定待检测元件所对应的第一待检测元件框的过程类似，本实施例中对此不再赘述。
可选地，在确定了第二待检测元件框之后，可以将第二待检测元件框从待检测图像中进行截取，得到第二感兴趣区域图像，上述将第二待检测元件框从待检测图像中进行截取，得到第二感兴趣区域图像的过程与将第一待检测元件框从待检测图像中进行截取，得到第一感兴趣区域图像的过程类似，本实施例中对此不做限定。
在确定第二感兴趣区域图像之后，可以计算第二感兴趣区域图像中待检测元件中的第一标志线以及第二标志线，上述第一标志线以及第二标志线用于确定待检测元件在第二感兴趣区域图像中的位置。例如，上述可以通过图像识别算法确定卡扣元件中的母端线(第一标志线)和公端线(第二标志线)，上述图像识别算法可以是基于特征点的图像识别算法。
在确定第一标志性与第二标志线之后，可以使用根据边缘对算法，计算第一标志线与第二标志线之间的目标差值。上述边缘对算法为一种提取图像中的直线的算法，例如，可以是霍夫算法，其步骤主要包括以下步骤：1.将彩色图像转换为灰度图；2.去噪(高斯核)；3.边缘提取(梯度算子、拉普拉斯算子、canny、sobel)4.二值化(判断此处是否为边缘点，就看灰度值＝＝255)；5.映射到霍夫空间(准备两个容器，一个用来展示hough-space概况，一个数组hough-space用来储存voting的值，因为投票过程往往有某个极大值超过阈值，多达几千，不能直接用灰度图来记录投票信息)；6.取局部极大值，设定阈值，过滤干扰直线；7.绘制直线、标定角点。
可选地，在确定了第一标志线与第二标志线之间的目标差值之后，可以根据目标差值以及目标模板图像对应的预设差值，确定与待检测元件对应的第二自信度因子，上述第二自信度因子用于指示目标检测结果。例如，可以将截取出的ROI区域经过halcon中算子vector_angle_to_rigid仿射变换矫正后调用halcon中的find_ncc_model算子进行NCC匹配，并且计算标志线误差，误差范围在1毫米之内，认为卡扣到位，则表示卡扣PASS，否则表示卡扣NG。
通过本实施例，先通过定位点从待检测图像中确定待检测元件所对应的第二待检测元件框，再将第二待检测元件框从待检测图像中进行截取，得到第二感兴趣区图像，并对第二感兴趣区域图像进行图像识别，确定待检测元件的第一标志线与第二标志线之间的目标差值，最后根据目标差值与预设差值，确定与待检测元件对应的第二自信度因子，可以提升确定出的检测结果的可靠性。
在一个示例性实施例中，在根据目标模板图像的目标元件以及待检测图像的待检测元件进行比对，得到目标检测结果之前，上述方法还包括：根据待检测图像的目标标识信息，在目标映射表中进行查找，其中，目标映射表中存储有多个图像标识信息与多个模板图像之间的对应关系，多个图像标识信息与多个模板图像一一对应；将多个图像标识信息中、与目标标识信息匹配的图像标识信息对应的模板图像，确定为目标模板图像。
由于不同的待检测图像可能会对应着不同的模板图像，因此，可以确定与待检测图像对应的目标模板图像之后，再根据目标模板图像的目标元件以及待检测图像的待检测元件进行比对，得到目标检测结果。
可选地，上述确定与待检测图像对应的目标模板图像的过程可以是：根据待检测图像的目标标识信息，在目标映射表中进行查找，上述目标映射表中存储有多个图像标识信息与多个模板图像之间的对应关系，多个图像标识信息与多个模板图像一一对应。例如，当待检测图像的图像标识为1-2(即，图像1为传感器1触发的、通过相机2采集到的图像)时，可以在目标映射表中查找与标识1-2对应的模板图像(不同位置的相机所拍摄的图像会有差异)。
可选地，将多个图像标识信息中、与目标标识信息匹配的图像标识信息对应的模板图像，确定为目标模板图像。例如，当确定与1-2(即，上述目标标识信息)匹配的图像标识信息之后，可以将该标识信息对应的模板图像确定为目标模板图像。
可选地，上述多个模板图像中的每个模板图像都可以携带有与之匹配的配置参数，上述配置参数可以至少包括以下之一：模板图像中定位点的坐标参数、模板图像所包括的目标元件的个数、目标元件所对应的目标元件框的坐标参数以及尺寸参数(当目标元件为多个时，坐标参数以及尺寸参数也将会是多个)。
通过本实施例，根据待检测图像的标识信息，从多个模板图像中确定出目标目标模板图像，可以提升确定出目标模板图像的精确性，进而提升确定出的目标检测结果的准确性。
在一个示例性实施例中，得到目标检测结果之后，还包括对目标检测结果进行展示。
由于在实时的生产过程中，当发现产品不合格之后需要及时的将其踢出。
可选地，上述对目标检测结果进行展示的过程可以是：通过警示灯将目标检测结果进行展示，或者是通过终端设备上的展示屏将目标检测结果进行展示，还可以是通过音响设备对目标检测结果进行展示。例如，当目标检测结果为待检修元件检测合格时，警示灯可以展示为绿色；当目标检测结果为待检修元件检测不合格时，警示灯可以展示为红色。
可选地，当对目标检测结果进行展示的过程为通过终端设备上的展示屏将目标检测结果进行展示时，可以先将目标检测结果发送至终端设备，再由终端设备将目标检测结果进行展示。
对目标检测结果进行展示，包括：将目标检测结果展示在终端设备的展示部件上；或者，通过指示灯将目标检测结果进行展示；或者，通过声音播放设备，对目标检测结果进行展示。
在本实施例中，当得到目标检测结果之后，可以对目标检测结果进行展示。可选地，上述将目标检测结果进行展示的过程可以是：将目标检测结果展示在终端设备的展示部件上；或者，通过指示灯将目标检测结果进行展示；或者，通过声音播放设备，对目标检测结果进行展示，本实施例中对此不做限定。
可选地，上述将目标检测结果展示在终端设备的展示部件上的过程可以是：先将目标检测结果发送至终端设备，再由终端设备将目标检测结果在展示部件上进行展示。
可选地，由于在将目标检测结果发送至终端设备的过程中，目标检测结果存在被窃取的风险。可选地，在将目标检测结果发送至终端设备之前，可以对目标检测结果进行加密，以减低目标检测结果在被窃取之后泄密的风险，上述对目标检测结果进行加密的过程可以是：使用图像加密算法对目标检测结果进行加密，上述图像加密算法包括但不限定于以下至少一种：基于混沌加密、置换加密、基于光学加密、基于DNA(脱氧核糖核酸)加密、基于频率加密、基于散列加密、基于进化加密、基于位平面加密、双(多)图像加密、基于置乱的图像加密。
通过本实施例，通过多种方式将目标检测结果进行展示，可以使得用户更为即使的获知目标检测结果，提升用户的使用体验。
下面结合可选示例对本申请实施例中的产品检测方法进行解释说明。在本可选示例中，第一待检测元件框为卡扣方框，目标模板图像为NCC(normalized crosscorrelation，归一化互相关系数)模板。
相关技术中，目前各大电视品牌商，都是将电视生产制造交由代工厂去完成，而代工厂由于缺乏相关的技术实力，且资金匮乏，基本都是使用人工来对螺钉、胶带和卡扣进行缺陷检测。质检人员需站在流水线旁边，面对不同尺寸的电视机背板，然后逐个查看螺钉、胶带和卡扣是否缺少。对于合格产品就放行，不合格产品重新修整，这样的检测方式需要产线工人时刻保持注意力与专注度，且需眼睛长时间处于强光照明环境中。在如此高强度的工作环境下，工作时间长了易致疲劳，影响质量检测的判断结果，最终导致生产出的产品合格率低，且该方法检测效率低下，检测成本高。
为了解决上述问题，本可选示例中提出了一种产品检测方法，针对不同规格的螺钉，会不断的将这些检测项进行训练，从而可以持续不断的优化模型，同时提高匹配的精确度，具有较快的收敛速度，实时性好，能够快速找出与模板相似度最高的区域，最后判断是否正确安装螺钉，胶带和卡扣。深度学习可以通过不断的采集现场图片，不断的训练优化检测模型。根据电视背面图片，精准定位识别检测项，大大提高了生产线螺钉、卡扣胶带检测的判别速度和识别精度，上述飞拍模式是指在生产线不需要停止并且同时进行视觉检测，有效的提升了检测效率。
本可选实施例的关键点在于利用深度学习算法来进行螺钉，卡扣，胶带检测。检查机内走线所贴胶带粘贴位置及数量是否正确，从而确定是否与规定走线一致。需要根据现场机型进行建模，需要将图片进行定位，选择图片中唯一的标志作为定位标识，上述定位标识是指每张图片上具有独一无二的标识，可以是文字图案，箭头图案，以及元器件等，一般一张图片只需要一个定位点。
结合图5所示，当待检测元件为卡扣时，本可选示例中的产品检测方法的流程可以包括以下步骤：
步骤S502，开始。
步骤S504，载入待测图片。
步骤S506，自动读取配置参数。
可以人为将卡扣方框截取出来，并将图片上的方框左上角坐标点的x，y轴坐标，方框的长度L和宽度W，一共四个配置参数输出到指定配置文件中保存。
步骤S508，自动读入NCC模板。
步骤S510，自动读入深度学习模型。
上述深度学习模板可以自动根据输入的元件图像判断元件是否安装正确。
步骤S512，根据配置参数，获取待测图片中的卡扣数量。
上述配置参数中携带有与待测图片对应的模板图像中的卡扣数量，又由于模板图像与待测图像对应，因此可以视作配置参数中携带有待测图片中的卡扣数量。
步骤S514，判断待测图片中的卡扣数量是否为0？若是，则执行步骤S532，若否，则执行步骤S516。
步骤S516，NCC定位模板匹配，获取待测图片中的定位点坐标。
可以自动读入配置文件中的配置参数，精确定位各检测目标的位置。上述检测目标可以是待测图片中的检测元件(即，卡扣)。
步骤S518，当对卡扣进行检测的模式为标志线模式时，执行步骤S520。
步骤S520，根据配置参数和定位点坐标，进行防射变化矫正，并自动截取卡扣ROI区域。
可以自动读入配置文件中的配置参数，精确定位各检测目标的位置，然后程序根据配置文件中的参数自动截取ROI区域。
步骤S522，对卡扣ROI区域进行NCC匹配。
将ROI区域经过halcon中算子vector_angle_to_rigid仿射变换矫正后调用halcon中的find_ncc_model算子进行NCC匹配。
步骤S524，根据边缘对算法，计算两个标志线差值。
可以根据边缘对算法，计算标志线误差，若误差范围在1毫米之内，认为卡扣到位，则表示卡扣PASS，否则表示卡扣NG。
步骤S526，当对卡扣进行检测的模式为深度学习模式时，执行步骤S528。
步骤S528，根据配置参数和定位点坐标，进行防射变化矫正，并自动截取卡扣ROI区域。
可以自动读入配置文件中的配置参数，精确定位各检测目标的位置，然后程序根据配置文件中的参数自动截取ROI区域。
步骤S530，深度学习匹配，获取OK/NG和自信度因子。
将ROI区域经过halcon中算子vector_angle_to_rigid仿射变换矫正后与训练好的卡扣模型进行识别，识别后模型将会产生一个自信度因子分数，自信度因子分数范围0～1，越接近1代表识别的最精确，如果自信度因子分数在人为设置的0.9以上，则表示卡扣PASS，否则表示卡扣NG。
步骤S532，返回正常。
当待测图片中不存在待测的元件(即，卡扣)时，可以返回正常。
步骤S534，返回测试结果。
可以将待测图片的检测结果进行返回。
步骤S536，结束。
结合图6所示，当待检测元件为螺钉/胶带时，本可选示例中的产品检测方法的流程可以包括以下步骤：
步骤S602，开始。
步骤S604，载入待测图片。
步骤S606，自动读取配置参数。
可以人为将卡扣方框截取出来，并将图片上的方框左上角坐标点的x，y轴坐标，方框的长度L和宽度W，一共四个配置参数输出到指定配置文件中保存。
步骤S608，自动读入NCC模板。
这里的NCC模板指的是与待测图片对应的模板，即，目标模板图像。
步骤S610，自动读入胶带/螺钉深度学习模板。
上述深度学习模板可以自动根据输入的元件图像判断元件是否安装正确。
步骤S612，根据配置参数，获取待测图片中的胶带/螺钉数量。
上述配置参数中携带有与待测图片对应的模板图像中的胶带/螺钉数量，又由于模板图像与待测图像对应，因此可以视作配置参数中携带有待测图片中的胶带/螺钉数量。
步骤S614，判断待测图片中的胶带/螺钉数量是否为0？若是，则执行步骤S624，若否，则执行步骤S616。
步骤S616，NCC定位模板匹配，获取待测图片中的定位点坐标。
可以自动读入配置文件中的配置参数，精确定位各检测目标的位置。上述检测目标可以是待测图片中的检测元件(即，胶带/螺钉)。
步骤S618，根据配置参数和定位点坐标，进行防射变化矫正，并自动截取卡扣ROI区域。
可以自动读入配置文件中的配置参数，精确定位各检测目标的位置，然后程序根据配置文件中的参数自动截取ROI区域。
需要说明的是，对于黑色螺钉需要将其进行图像均衡化处理，处理之后，有效的解决图片光照不均匀问题，以此提高模板匹配的成功率。图像均衡化处理方法如以下公式所示：
Figure BDA0003912683340000201
具体流程如下所示，其中S是总的像素数，Zmax是像素的最大取值(8位灰度图像为255)，h(i)为图像像素取值为i及小于i的像素的总数，Z’是输出图像的某个灰度级，Z是输入图像的某个灰度级。
步骤S620，深度学习匹配，获取OK/NG和自信度因子。
将ROI区域经过halcon中算子vector_angle_to_rigid仿射变换矫正后与训练好的卡扣模型进行识别，识别后模型将会产生一个自信度因子分数，自信度因子分数范围0～1，越接近1代表识别的最精确，如果自信度因子分数在人为设置的0.9以上，则表示卡扣PASS，否则表示卡扣NG。
步骤S622，返回测试结果。
步骤S624，返回正常。
当待测图片中不存在待测的元件(即，胶带/螺钉)时，可以返回正常
步骤S626，结束。
通过本可选示例，提供了一种产品检测方法，边拍照边处理，电视流出工位，系统输出检测结果，从而可以实现快速检测电视机背板上的紧固件螺钉，胶带，卡扣是否安装合格，通过利用机器视觉代替人工进行检测，节约了人力成本，提高了生产效率及降低了返修率，并且针对不同规格的螺钉，会不断的将这些检测项进行训练，从而可以持续不断的优化模型，不断的优化模型，同时提高匹配的精确度，具有较快的收敛速度，实时性好，能够快速找出与模板相似度最高的区域，最后判断是否正确安装螺钉，胶带和卡扣，利用多种深度学习模型网络用于螺钉，卡扣和胶带的检测，有效的运用于电视生产检测过程，检测精度高。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的产品检测方法，图7示出了本申请实施例提供的产品检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
根据本申请实施例的另一个方面，还提供了一种用于实施上述产品检测方法的产品检测装置。图7是根据本申请实施例的一种可选的产品检测装置的结构框图，如图7所示，该装置可以包括：
获取单元702，用于获取待检测图像，其中，待检测图像为待检测产品对应的图像，待检测图像中包括待检测元件；
比对单元704，与获取单元702相连，用于根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，其中，目标模板图像中包括目标元件，目标元件与待检测元件对应。
需要说明的是，该实施例中的获取单元702可以用于执行上述步骤S202，该实施例中的比对单元704可以用于执行上述步骤S204。
通过上述模块，通过获取待检测图像，其中，待检测图像为待检测产品对应的图像，待检测图像中包括待检测元件；根据目标模板图像的目标元件与待检测图像的待检测元件进行比对，得到目标检测结果，其中，目标模板图像中包括目标元件，目标元件与待检测元件对应，解决了相关技术中的产品检测方法存在产品的检测结果可靠性差的问题，提升了产品检测结果的可靠性。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图8是根据本申请实施例的一种可选的电子设备的结构示意图。所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。
如图8所示，该实施例的电子设备包括：处理器11、存储器12以及存储在所述存储器12中并可在所述处理器11上运行的计算机程序13。所述处理器11执行所述计算机程序13时实现上述产品检测方法实施例中的步骤S202以及步骤S204。或者，所述处理器11执行所述计算机程序13时实现上述各装置实施例中各模块/单元的功能，例如图7所示获取单元702以及比对单元704的功能。
示例性的，所述计算机程序13可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器11执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序13在所述电子设备中的执行过程。
本领域技术人员可以理解，图8仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器12可以是所述电子设备的内部存储单元，例如电子设备的硬盘或内存。所述存储器12也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器12还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器12用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器12还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元展示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种产品检测方法，其特征在于，所述方法包括：
获取待检测图像，其中，所述待检测图像为待检测产品对应的图像，所述待检测图像中包括待检测元件；
根据目标模板图像的目标元件，确定所述待检测图像中的所述待检测元件，并对所述目标元件与所述待检测元件进行比对，得到目标检测结果，其中，所述目标模板图像中包括目标元件，所述目标元件与所述待检测元件对应。
2.如权利要求1所述的产品检测方法，其特征在于，所述获取待检测图像，包括：
通过光电传感器对所述待检测产品进行检测，得到检测信号；
在所述检测信号的信号类型为目标信号类型的情况下，控制图像采集部件对所述待检测产品执行图像采集操作，得到所述待检测图像。
3.如权利要求1所述的产品检测方法，其特征在于，所述根据目标模板图像的目标元件，确定所述待检测图像中的所述待检测元件，并对所述目标元件与所述待检测元件进行比对，得到目标检测结果，包括：
根据所述目标模板图像中第一定位点的第一位置信息、以及第一参考元件所对应第一元件框的第一元件框信息，从所述待检测图像中，确定所述待检测元件所对应的第一待检测元件框，其中，所述第一参考元件为所述目标模板图像中、与所述待检测元件对应的参考元件，所述第一元件框中包括所述第一参考元件，所述第一元件框信息包括所述第一元件框的第二位置信息以及所述第一元件框的第一尺寸信息，所述目标元件包括所述第一参考元件；
将所述第一待检测元件框从所述待检测图像中进行截取，得到第一感兴趣区域图像；
将所述第一感兴趣区域图像输入至目标识别模型中，得到与所述待检测元件对应的第一自信度因子，其中，所述第一自信度因子用于指示所述目标检测结果，所述目标识别模型用于识别所述第一感兴趣区域中的所述待检测元件是否符合预设标准。
4.如权利要求3所述的产品检测方法，其特征在于，在所述将所述第一感兴趣区域图像输入至目标识别模型中，得到所述目标检测结果之前，所述方法还包括：
获取目标样本图像，其中，所述目标样本图像中包括多个样本图像；
将所述目标样本图像分为第一样本图像以及第二样本图像，其中，所述第一样本图像中的所述待检测元件在所述待检测产品中的位置符合预设参数，所述第二样本图像中的所述待检测元件在所述待检测产品中的位置不符合预设参数；
将所述第一样本图像以及所述第二样本图像输入至深度学习模型，并按照预设学习因子以及预设迭代次数进行学习，得到所述目标识别模型。
5.如权利要求1所述的产品检测方法，其特征在于，所述根据目标模板图像的目标元件，确定所述待检测图像中的所述待检测元件，并对所述目标元件与所述待检测元件进行比对，得到目标检测结果，包括：
根据所述目标模板图像中第二定位点的第三位置信息、以及第二参考元件所对应第二元件框的第二元件框信息，从所述待检测图像中，确定所述待检测元件所对应的第二待检测元件框，其中，所述第二参考元件为所述目标模板图像中、与所述待检测元件对应的参考元件，所述第二元件框中包括所述第二参考元件，所述第二元件框信息包括所述第二元件框的第四位置信息以及所述第二元件框的第二尺寸信息，所述目标元件包括所述第二参考元件；
将所述第二待检测元件框从所述待检测图像中进行截取，得到第二感兴趣区域图像；
计算所述第二感兴趣区域图像中所述待检测元件中的第一标志线以及第二标志线，其中，所述第一标志线以及所述第二标志线用于确定所述待检测元件在所述第二感兴趣区域图像中的位置；
根据边缘对算法，计算所述第一标志线与所述第二标志线之间的目标差值；
根据所述目标差值以及所述目标模板图像对应的预设差值，确定与所述待检测元件对应的第二自信度因子，其中，所述第二自信度因子用于指示所述目标检测结果。
6.如权利要求1所述的产品检测方法，其特征在于，在所述根据目标模板图像的目标元件，确定所述待检测图像中的所述待检测元件，并对所述目标元件与所述待检测元件进行比对，得到目标检测结果之前，所述方法还包括：
根据所述待检测图像的目标标识信息，在目标映射表中进行查找，其中，所述目标映射表中存储有多个图像标识信息与多个模板图像之间的对应关系，所述多个图像标识信息与所述多个模板图像一一对应；
将所述多个图像标识信息中与所述目标标识信息匹配的图像标识信息对应的模板图像，确定为所述目标模板图像。
7.如权利要求1所述的产品检测方法，其特征在于，所述得到目标检测结果之后，还包括：
对所述目标检测结果进行展示；
所述对所述目标检测结果进行展示，包括：
将所述目标检测结果展示在终端设备的展示部件上；或者，
通过指示灯将所述目标检测结果进行展示；或者，
通过声音播放设备，对所述目标检测结果进行展示。
8.一种产品检测装置，其特征在于，包括：
获取单元，用于获取待检测图像，其中，所述待检测图像为待检测产品对应的图像，所述待检测图像中包括待检测元件；
比对单元，用于根据目标模板图像的目标元件，确定所述待检测图像中的所述待检测元件，并对所述目标元件与所述待检测元件进行比对，得到目标检测结果。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202211329372.XA 2022-10-27 2022-10-27 产品检测方法、装置、电子设备及存储介质 Pending CN115631169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211329372.XA CN115631169A (zh) 2022-10-27 2022-10-27 产品检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211329372.XA CN115631169A (zh) 2022-10-27 2022-10-27 产品检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115631169A true CN115631169A (zh) 2023-01-20

Family

ID=84907026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211329372.XA Pending CN115631169A (zh) 2022-10-27 2022-10-27 产品检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115631169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563286A (zh) * 2023-07-11 2023-08-08 深圳市惠德贵科技开发有限公司 一种移动硬盘盒生产质量快速检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563286A (zh) * 2023-07-11 2023-08-08 深圳市惠德贵科技开发有限公司 一种移动硬盘盒生产质量快速检测系统
CN116563286B (zh) * 2023-07-11 2023-09-15 深圳市惠德贵科技开发有限公司 一种移动硬盘盒生产质量快速检测系统

Similar Documents

Publication Publication Date Title
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
US8885048B2 (en) Computer vision and radio frequency identification technology based book enrolment management apparatus
CN107492091B (zh) 基于机器视觉的标签外观检测方法及终端设备
CN106778737B (zh) 一种车牌矫正方法、装置和一种视频采集装置
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN114419038A (zh) 轮毂表面缺陷的识别方法及装置、存储介质、电子设备
CN112686322A (zh) 零件差异识别方法、装置、设备及存储介质
CN115631169A (zh) 产品检测方法、装置、电子设备及存储介质
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
CN111461143A (zh) 一种图片翻拍识别方法和装置及电子设备
CN111091104A (zh) 一种目标物体的防护检测方法、装置、设备及存储介质
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和系统
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN117788444A (zh) Smt贴片偏移检测方法、装置及视觉检测系统
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN112308848A (zh) 一种废钢货车挡板状态识别方法、系统、电子设备及介质
CN116128853A (zh) 一种产线装配检测方法、系统、计算机及可读存储介质
CN114092542B (zh) 一种基于二维视觉的螺栓测量方法以及系统
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
CN106920398A (zh) 一种智能车牌识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination