CN114745513A - 一种基于多摄像端的产品质检方法、系统及介质 - Google Patents
一种基于多摄像端的产品质检方法、系统及介质 Download PDFInfo
- Publication number
- CN114745513A CN114745513A CN202210240300.1A CN202210240300A CN114745513A CN 114745513 A CN114745513 A CN 114745513A CN 202210240300 A CN202210240300 A CN 202210240300A CN 114745513 A CN114745513 A CN 114745513A
- Authority
- CN
- China
- Prior art keywords
- image
- product
- quality inspection
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 59
- 238000003860 storage Methods 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000001994 activation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多摄像端的产品质检方法、系统及介质，所述方法包括以下步骤：设置模型参数和配置参数，基于模型参数和配置参数配置第一摄像模组；获取质检需求，设置启动数量阈值，基于第一摄像模组、质检需求和启动数量阈值执行图像捕捉操作，得到产品图像；获取基准图像包，基于产品图像和基准图像包执行产品质检判断操作；本发明能够自动化识别待质检物体的特征，并根据特征智能化适配出对应的摄像端，采用多个摄像端捕捉到的产品三维图像进行三维还原重现，进而根据还原出的三维图像对产品进行数字化质检，不仅可以智能适配多种不同的产品，还可以提高质检的效率和质检的精准度，在生产车间中具有极高的应用价值。
Description
技术领域
本发明涉及产品质检技术领域，特别是涉及一种基于多摄像端的产品质检方法、系统及介质。
背景技术
目前，大多生产车间还采用产品人工质检入库的方式，对产品的出产质量进行把控，这种质检方法效率低、人力成本高且由于人工操作的不定性因素，易产生一定的质检疏漏，故需要设计一种利用自动化设备进行产品质检的方法，进而提高产品质检效率，减少错检和漏检等质检疏漏。
发明内容
本发明的主要目的是，设计一种利用自动化设备进行产品质检的方法，进而提高产品质检效率，减少错检和漏检等质检疏漏。
为实现上述目的，本发明采用的一个技术方案是：提供一种基于多摄像端的产品质检方法，包括以下步骤：
摄像模组配置步骤：设置模型参数和配置参数，基于所述模型参数和所述配置参数配置第一摄像模组；
产品图像捕捉步骤：获取质检需求，设置启动数量阈值，基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
产品对比质检步骤：获取基准图像包，基于所述产品图像和所述基准图像包执行产品质检判断操作。
作为一种改进的方案，所述模型参数包括：模型形状信息和模型尺寸信息；
所述配置参数包括：第一间隔距离和第二间隔距离；
所述基于所述模型参数和所述配置参数配置第一摄像模组的步骤进一步包括：
读取所述模型参数；基于所述模型形状信息和所述模型尺寸信息构建三维立体模型块；识别所述三维立体模型块的若干第一角点，在若干所述第一角点中选取第二角点；以所述第二角点为原点建立三维坐标系；基于所述三维坐标系确认所述三维立体模型块的第一轴线；设定位于所述第一轴线上的所述第一角点为第三角点；
在所述第二角点正上方距离所述第二角点对应所述第一间隔距离的位置设置第一特征识别单元；
统计所述第三角点的第一数量；按照所述第一数量配置与所述第三角点一一对应的第一摄像单元；确认所述三维立体模型块的外围边缘区域；在所述外围边缘区域内，按照所述第二间隔距离将所述第一摄像单元与该第一摄像单元所对应的所述第三角点对位设置。
作为一种改进的方案，所述第一摄像单元至少为两个；所述第一特征识别单元以及若干所述第一摄像单元构成所述第一摄像模组；
所述第三角点所对应的所述第一摄像单元位于该第三角点所在的所述第一轴线的延长线上。
作为一种改进的方案，所述质检需求包括：第一需求和第二需求；所述第一需求为存在第一待质检产品；所述第二需求为不存在第一待质检产品；
所述图像捕捉操作包括：
识别所述质检需求；
若所述质检需求为所述第一需求，则调用所述第一特征识别单元获取所述第一待质检产品的第一特征；基于所述第一特征计算所述第一待质检产品的特征规格和特征形状；基于所述特征形状在若干所述第一摄像单元中确认第二摄像单元；
统计所述第二摄像单元的第二数量，判断所述第二数量是否与所述启动数量阈值相匹配；若匹配，则设定所述第二摄像单元为待启动摄像单元；若非匹配，则基于所述特征规格在若干所述第二摄像单元中确认第三摄像单元，设定所述第三摄像单元为待启动摄像单元；
基于所述待启动摄像单元执行第一捕捉步骤，得到所述产品图像。
作为一种改进的方案，所述基准图像包中存储有：待检测产品源图像和基准检测点图像；
所述产品质检判断操作包括：
读取所述基准图像包；
基于所述待检测产品源图像将所述产品图像进行三维还原处理，得到三维模型图像；基于所述待检测产品源图像判断所述三维模型图像是否存在图像缺失；
若不存在图像缺失，则基于所述基准检测点图像在所述三维模型图像中框选待质检点位；对所述待质检点位所对应的所述三维模型图像进行放大处理，得到放大模型图像；比对所述放大模型图像与所述基准检测点图像是否匹配，若匹配，则输出第一检测结果；若非匹配，则输出第二检测结果。
作为一种改进的方案，所述产品质检判断操作还包括：
若存在图像缺失，则基于所述待检测产品源图像和所述三维模型图像确认缺失图像；识别所述缺失图像对于所述待检测产品源图像的第一方位信息；基于所述第一方位信息在若干所述第一摄像单元中确认出后备摄像单元；基于所述待启动摄像单元和所述后备摄像单元回到所述第一捕捉步骤。
作为一种改进的方案，基于所述待启动摄像单元所执行的所述第一捕捉步骤包括：
启动所述待启动摄像单元捕捉所述第一待质检产品的第一图像，设定所述第一图像为所述产品图像。
作为一种改进的方案，所述第一检测结果为产品合格；所述第二检测结果为产品非合格；
所述一种基于多摄像端的产品质检方法还包括：
配置人工操作检测单元和人工检测通知信息，获取所述第一待质检产品的管理人员通信地址；当所述产品质检判断操作中输出所述第二检测结果时，设定与所述基准检测点图像非匹配的所述放大模型图像为未达标图像；识别所述未达标图像对于所述待检测产品源图像的第二方位信息；将所述人工检测通知信息和所述第二方位信息发送至所述管理人员通信地址。
本发明还提供一种基于多摄像端的产品质检系统，包括：
模组配置模块、捕捉控制模块和质检控制模块；
所述模组配置模块用于设置模型参数和配置参数，并基于所述模型参数和所述配置参数配置第一摄像模组；
所述捕捉控制模块用于获取质检需求以及设置启动数量阈值，所述捕捉控制模块基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
所述质检控制模块用于获取基准图像包，并基于所述产品图像和所述基准图像包执行产品质检判断操作。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多摄像端的产品质检方法的步骤。
本发明的有益效果是：
1、本发明所述的基于多摄像端的产品质检方法，可以实现自动化识别待质检物体的特征，并根据特征智能化适配出对应的摄像端，采用多个摄像端捕捉到的产品三维图像进行三维还原重现，进而根据还原出的三维图像对产品进行数字化质检，不仅可以智能适配多种不同的产品，还可以提高质检的效率和质检的精准度，弥补了现有技术的不足，在生产车间中具有极高的应用价值。
2、本发明所述的基于多摄像端的产品质检系统，可以通过模组配置模块、捕捉控制模块和质检控制模块的相互配合，进而实现自动化识别待质检物体的特征，并根据特征智能化适配出对应的摄像端，采用多个摄像端捕捉到的产品三维图像进行三维还原重现，进而根据还原出的三维图像对产品进行数字化质检，不仅可以智能适配多种不同的产品，还可以提高质检的效率和质检的精准度，弥补了现有技术的不足，在生产车间中具有极高的应用价值。
3、本发明所述的计算机可读存储介质，可以实现引导模组配置模块、捕捉控制模块和质检控制模块进行配合，进而实现自动化识别待质检物体的特征，并根据特征智能化适配出对应的摄像端，采用多个摄像端捕捉到的产品三维图像进行三维还原重现，进而根据还原出的三维图像对产品进行数字化质检，不仅可以智能适配多种不同的产品，还可以提高质检的效率和质检的精准度，弥补了现有技术的不足，并有效提高所述基于多摄像端的产品质检方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述基于多摄像端的产品质检方法的流程图；
图2是本发明实施例1所述基于多摄像端的产品质检方法的具体流程示意图；
图3是本发明实施例1中所述三维坐标系、所述三维立体模型块、所述第三角点以及所述第一轴线的实现效果示意图；
图4是本发明实施例2所述基于多摄像端的产品质检系统的架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
实施例1
本实施例提供一种基于多摄像端的产品质检方法，如图1～图3所示，包括以下步骤：
S100、摄像模组配置步骤，具体包括：
S110、设置模型参数和配置参数，基于所述模型参数和所述配置参数配置第一摄像模组；
具体的，所述模型参数包括：模型形状信息和模型尺寸信息；在本实施例中，模型形状信息为将要建立的三维模型的形状，在本实施例中为正立方体；模型尺寸信息为将要建立的三维模型体积的尺寸，即长、宽和高；对应的，模型尺寸信息根据本方法所应用生产车间中所生产的设备的最大规格设定；
具体的，所述配置参数包括：第一间隔距离和第二间隔距离；在本实施例中，第一间隔距离为安装特征识别模块的相关参数，第二间隔距离为安装摄像模块的相关参数；
具体的，所述基于所述模型参数配置第一摄像模组的步骤进一步包括：读取所述模型参数；以实际车间环境作为构建背景，基于所述模型形状信息和所述模型尺寸信息构建三维立体模型块，对应的，该三维立体模型块的构建环境基于生产车间中所划分出的质检区域；识别所述三维立体模型块的若干第一角点，第一角点即为该三维立体模型块上的拐角处的端点，在若干所述第一角点中选取第二角点；以所述第二角点为原点建立三维坐标系，对应的，在本实施例中，第二角点为三维立体模型块的底面上任一拐角处端点；在本实施例中，三维坐标系为基于x、y和z轴的坐标系；基于所述三维坐标系确认所述三维立体模型块的第一轴线，第一轴线为三维立体模型块中两个相互远离的两个角点之间的连线，且该连线能够将三维立体模型块划分为相互对称的两个立体模型；设定位于所述第一轴线上的所述第一角点为第三角点；在本实施例中，因质检的需求不同，质检所需拍摄的范围不同，故第一轴线可以有多个，同样对应得到的第三角点也有多个，但通常位于同一第一轴线上的第一角点仅有两个；
在实际车间中，根据在所述第二角点正上方距离所述第二角点对应所述第一间隔距离的位置的相关位置关系，设置第一特征识别单元；在本实施例中，第一特征识别单元为基于物体特征识别技术所设计的处理模块，其设在第二角点正上方间隔第一间隔距离的位置，实际远离于该三维立体模型块，目的为能够全面检测到质检区域内产品的完整特征，进而对产品进行区分；对应的，第一特征识别单元在实际的生产车间中，是在质检区域内建立与该三维坐标系和三维立体模型块比例相同的坐标系和三维立体模型块，进而根据上述位置关系，进行对应位置的配置和安装；统计所述第三角点的第一数量；在本实施例中，第一数量至少为2；按照所述第一数量配置与所述第三角点一一对应的第一摄像单元；对应的，第一摄像单元在本实施例中选用3D摄像模块，所捕捉的图像即为三维信息图像；确认所述三维立体模型块的外围边缘区域，外围边缘区域为靠近/能够包裹三维立体块的四周区域；在所述外围边缘区域内，按照所述第二间隔距离将所述第一摄像单元与该第一摄像单元所对应的所述第三角点对位设置；对应的，在本实施例中，若只有一条第一轴线，那么所述第一摄像单元即至少为两个；所述第一特征识别单元以及若干所述第一摄像单元构成所述第一摄像模组；在本实施例中，第一摄像单元与第三角点的对位设置即为将第一摄像单元设置在外围边缘区域内且设在其对应的第三角点所在的第一轴线上，同时需要满足第一摄像单元与第三角点之间的距离满足该第二间隔距离，进而保证第一摄像单元有一定的拍摄范围，不会出现拍摄死角；故所述第三角点所对应的所述第一摄像单元位于该第三角点所在的所述第一轴线的延长线上；如图3所示，X轴，Y轴和Z轴构成三维坐标系，而待检测产品则对应为三维立体模型块，即正立方体，图3中B点和P点的连线即为所述第一轴线，对应的，B点和P点即为位于所述第一轴线上的两个第三角点，图3中的两个“三角形”即为B点和P点两个第三角点所分别对应的3D摄像单元；完成以上设置后，即完成了初步的摄像模组和质检环境的搭建，后续可以进行智能化的质检操作。
S200、产品图像捕捉步骤，具体包括：
S210、获取质检需求，设置启动数量阈值，基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
具体的，所述质检需求包括：第一需求和第二需求；所述第一需求为存在第一待质检产品；所述第二需求为不存在第一待质检产品；
具体的，所述图像捕捉操作包括：识别所述质检需求；若所述质检需求为所述第一需求，则说明上述摄像模组所对应的区域内存在了第一待质检产品需要进行质检，故调用所述第一特征识别单元获取所述第一待质检产品的第一特征，第一特征包括但不限于该第一待质检产品的图像特征或信息、编号特征；在本实施例中，第一特征识别单元中设置有AI智能识别算法以及对应的特征数据集，特征数据集中预先存储了若干不同产品的产品图像特征、信息、编号特征以及对应的产品规格和产品形状；故第一特征识别单元会根据AI智能识别算法以及对应的特征数据集并基于所述第一特征进行分析识别出对应的产品信息，进而计算出所述第一待质检产品的特征规格和特征形状；在本实施例中，特征规格和特征形状即为对应该第一待质检产品的实际体积规格形状参数；在本实施例中，基于所述特征形状在若干所述第一摄像单元中确认第二摄像单元，因为不同产品的形状不同，故不需要对于每个产品都去调用所有的摄像单元进行捕捉拍摄，有时产品规格较小，形状较单一，需要检测的点较少，那么不需要很多摄像单元，甚至是仅仅需要一个摄像单元即可拍摄出对应的产品图像，故基于此，在本实施例中，因初始设置了较多的摄像单元，故根据设置的摄像单元的位置去匹配对应的产品形状，例如，如图3所示，目前所配置的摄像单元即为位于第一轴线上的两个第一摄像单元，一个在上方对应P点，一个在下方对应B点，那么如果特征形状的片状圆形，则仅需要调用上方对应P点的第一摄像单元即可，如果特征形状为正立方体，或锥形三角体，那可则需要将两个第一摄像单元全部调用，才能捕捉到对应的完整图像，那么经过此逻辑确认出待调用的摄像单元，即为所述第二摄像单元；在本实施例中，启动数量阈值为2，统计所述第二摄像单元的第二数量，判断所述第二数量是否与所述启动数量阈值相匹配；若匹配，则说明本方法中待启动的第二摄像单元的数量已经达到最小值，无法再进行缩减，姑姑设定所述第二摄像单元为待启动摄像单元；若非匹配，则说明目前第二摄像单元的数量大于2，故为了节省成本和资源，且达到摄像单元的最大利用率，保证本方法的智能性，故基于所述特征规格在若干所述第二摄像单元中确认第三摄像单元，设定所述第三摄像单元为待启动摄像单元；第三摄像单元为在若干第二摄像单元进一步筛选出的摄像单元，因通过前述步骤确认出能够满足产品形状的摄像单元后，还可以对应产品的规格进一步筛选，在通常情况下，若质检的产品较小，那么对应启动一个摄像单元也能满足图像捕捉的需求，故在本实施例中，会设置对应的规格阈值，通过判断特征规格是否达到了该规格阈值，若达到，则会在第二摄像单元中挑选位于上方的摄像单元作为待启动摄像单元；同时，也可以获取第二摄像单元在三维坐标系中的位置参数，且根据该特征规格与位置参数进行对比，例如，特征规格为5*5*5，而目前存在三个第二摄像单元，其分别对应的位置参数为(7,0,7)，(0,7,7)以及(7,7,0)，那么对应的，只调用该位置参数为(7,0,7)的第二摄像单元搭配位置参数为(0,7,7)或(0,7,7)的第二摄像单元即可；在本方法中，反应出的技术思想即为，根据待质检产品的形状和规格在摄像模组中确认出能够达到最大拍摄范围且又满足最小摄像单元数量的摄像单元，进而满足质检需求，达到较高的摄像单元有效利用率以及智能性；最后，故基于所述待启动摄像单元执行第一捕捉步骤，得到所述产品图像。
具体的，所述第一捕捉步骤包括：启动所述待启动摄像单元捕捉所述第一待质检产品的第一图像，第一图像即为待启动摄像单元捕捉到的三维图像信息，故设定所述第一图像为所述产品图像。
S300、产品对比质检步骤，具体包括：
S310、获取基准图像包，基于所述产品图像和所述基准图像包执行产品质检判断操作。
具体的，所述基准图像包中存储有：待检测产品源图像和基准检测点图像；对应的，在本实施例中，待检测产品源图像即为与该第一待质检产品对应的合格产品的3D模型图像，基准检测点图像即为对应该3D模型图像中该第一待质检产品需要进行质量检测的位置所对应的图像；
具体的，所述产品质检判断操作包括：读取所述基准图像包；基于所述待检测产品源图像将所述产品图像进行三维还原处理，得到三维模型图像；在本实施例中，三维还原处理为整体三维还原，包括但不限于采用三维重现技术；对应的，基于图像对比技术，且根据所述待检测产品源图像判断所述三维模型图像是否存在图像缺失，即判断还原出的三维模型图像是否相较待检测产品源图像具有缺失的零部件或图像信息；若不存在图像缺失，则说明前述步骤中所确认的待启动摄像单元正确，故根据图像进行质检即可，故基于所述基准检测点图像在所述三维模型图像中框选待质检点位；框选待质检点位，即基于图像对比技术在三维模型图像中确认出与基准检测点图像的特征相匹配的图像，后续为了提高质检精准度，故对所述待质检点位所对应的所述三维模型图像进行放大处理，得到放大模型图像，在本实施例中，放大同时也对于基准检测点图像进行相同倍数的放大处理，在本实施例中为放大1.5倍；比对所述放大模型图像与所述基准检测点图像是否匹配，即比对放大模型图像与所述基准检测点图像中是否有零件缺失、是否存在产品瑕疵，若均不存在以上情况，即匹配，则输出第一检测结果；若存在以上任一情况，即非匹配，则输出第二检测结果；对应的，若存在图像缺失，则说明前述步骤的待启动摄像单元的数量不够或摄像单元本身存在异常，故需要重新选取摄像单元进行图像的重新捕捉，故基于图像对比技术对所述待检测产品源图像和所述三维模型图像确认三维模型图像中所缺少的缺失图像；同时识别所述缺失图像对于所述待检测产品源图像的第一方位信息，第一方位信息例如，缺失图像为待检测产品源图像的顶部中心处位置的图像；故基于所述第一方位信息在若干所述第一摄像单元中确认出后备摄像单元，后备摄像单元的确认即为根据之前选取的待启动摄像单元所对应的三维坐标系中的位置参数以及该第一方位信息确认之前选取的待启动摄像单元中是否存在与该第一方位信息相靠近或相对应的摄像单元，例如，根据之前选取的待启动摄像单元所对应的三维坐标系中的位置参数可判断出该摄像单元对于待质检产品的方位情况，位于待质检产品的上方或下方；进而根据该第一方位信息进行进一步确认，例如缺失图像为待检测产品源图像的顶部中心处位置的图像，而前述调用的待启动摄像单元位于待质检产品的下方，且没有位于待质检产品上方的摄像单元，即为不存在与该第一方位信息相靠近或相对应的摄像单元；反之，若存在，则与该第一方位信息相靠近或相对应的摄像单元发生了异常，需要在该位置上重新配置一个摄像单元作为后备摄像单元，若不存在，则需要启动第一摄像模组中该第一方位信息所对应的第一摄像单元，故将该第一摄像模组中该第一方位信息所对应的第一摄像单元作为后备摄像单元；后续基于所述待启动摄像单元和所述后备摄像单元回到所述第一捕捉步骤，即重新捕捉三维图像、进行三维图像还原处理以及后续的对比等操作；在本实施例中，设计该回到所述第一捕捉步骤的操作次数最多为两次，超过两次后，停止该产品的质检，说明本方法的第一摄像模组的硬件或软件出现了问题一直存在图像缺失，故需要进行维护调试，同时进行设备报警维护提示。
具体的，所述第一检测结果为产品合格；所述第二检测结果为产品非合格；具体的，所述一种基于多摄像端的产品质检方法还包括：配置人工操作检测单元和人工检测通知信息，获取所述第一待质检产品的管理人员通信地址；在本实施例中，人工操作检测单元为通过人工干预进行检测的相关质检模块；人工检测通知信息为“智能化检测结果为产品不达标，请进行人工检测进一步确认”；当所述产品质检判断操作中输出所述第二检测结果时，说明产品不达标，为了进一步保证本方法的智能性以及质检结果的精准度，故需要在确认出产品不合格时，再一次进行人工确认，提高了产品出厂的把控质量；故基于图像对比技术设定与所述基准检测点图像非匹配的所述放大模型图像为未达标图像；识别所述未达标图像对于所述待检测产品源图像的第二方位信息，第二方位信息的识别原理与第一方位信息的识别原理相同；故将所述人工检测通知信息和所述第二方位信息发送至所述管理人员通信地址；管理人员通信地址即为负责生产车间中对应质检流程把控的管理用户的移动终端或PC机的信息接收地址；进而通过智能化的通知管理人员，达到有效和及时的非合格产品再次确认；同时因为第二方位信息的存在，可以进一步提高管理人员的人工检测效率，不需要管理人员再次寻找产品中的瑕疵点或不合格点，智能化程度极高；可以想到的是，在发送所述人工检测通知信息和所述第二方位信息之前，获取对应质检区域的车间位置信息，同时在发送所述人工检测通知信息和所述第二方位信息时，将该车间位置信息一并发送，进而帮助管理人员快速达到具体的质检区域位，可使本方法适用于具有多个质检区域的生产车间中。
实施例2
本实施例基于与实施例1所述的一种基于多摄像端的产品质检方法相同的发明构思，提供一种基于多摄像端的产品质检系统，如图4所示，包括：模组配置模块、捕捉控制模块和质检控制模块；
所述基于多摄像端的产品质检系统中，模组配置模块用于设置模型参数和配置参数，并基于所述模型参数和所述配置参数配置第一摄像模组；
具体的，所述模型参数包括：模型形状信息和模型尺寸信息；所述配置参数包括：第一间隔距离和第二间隔距离；
具体的，所述模组配置模块基于所述模型参数配置第一摄像模组的操作进一步包括：模组配置模块读取所述模型参数；模组配置模块基于所述模型形状信息和所述模型尺寸信息构建三维立体模型块；模组配置模块识别所述三维立体模型块的若干第一角点，并在若干所述第一角点中选取第二角点；模组配置模块以所述第二角点为原点建立三维坐标系；模组配置模块基于所述三维坐标系确认所述三维立体模型块的第一轴线；模组配置模块设定位于所述第一轴线上的所述第一角点为第三角点；模组配置模块在所述第二角点正上方距离所述第二角点对应所述第一间隔距离的位置设置第一特征识别单元；模组配置模块统计所述第三角点的第一数量；模组配置模块按照所述第一数量配置与所述第三角点一一对应的第一摄像单元；模组配置模块确认所述三维立体模型块的外围边缘区域；在所述外围边缘区域内，模组配置模块按照所述第二间隔距离将所述第一摄像单元与该第一摄像单元所对应的所述第三角点对位设置。
具体的，在本实施例中，所述第一摄像单元至少为两个；所述第一特征识别单元以及若干所述第一摄像单元构成所述第一摄像模组；所述第三角点所对应的所述第一摄像单元位于该第三角点所在的所述第一轴线的延长线上。
所述基于多摄像端的产品质检系统中，捕捉控制模块用于获取质检需求以及设置启动数量阈值，所述捕捉控制模块基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
具体的，所述质检需求包括：第一需求和第二需求；所述第一需求为存在第一待质检产品；所述第二需求为不存在第一待质检产品；
具体的，所述图像捕捉操作包括：捕捉控制模块识别所述质检需求；若所述质检需求为所述第一需求，则捕捉控制模块调用所述第一特征识别单元获取所述第一待质检产品的第一特征；捕捉控制模块基于所述第一特征计算所述第一待质检产品的特征规格和特征形状；捕捉控制模块基于所述特征形状在若干所述第一摄像单元中确认第二摄像单元；捕捉控制模块统计所述第二摄像单元的第二数量，并判断所述第二数量是否与所述启动数量阈值相匹配；若匹配，则捕捉控制模块设定所述第二摄像单元为待启动摄像单元；若非匹配，则捕捉控制模块基于所述特征规格在若干所述第二摄像单元中确认第三摄像单元，捕捉控制模块设定所述第三摄像单元为待启动摄像单元；捕捉控制模块基于所述待启动摄像单元执行第一捕捉步骤，得到所述产品图像。
具体的，所述第一捕捉步骤包括：捕捉控制模块启动所述待启动摄像单元捕捉所述第一待质检产品的第一图像，并设定所述第一图像为所述产品图像。
所述基于多摄像端的产品质检系统中，质检控制模块用于获取基准图像包，并基于所述产品图像和所述基准图像包执行产品质检判断操作；
具体的，所述基准图像包中存储有：待检测产品源图像和基准检测点图像；
具体的，所述产品质检判断操作包括：质检控制模块读取所述基准图像包；质检控制模块基于所述待检测产品源图像将所述产品图像进行三维还原处理，得到三维模型图像；质检控制模块基于所述待检测产品源图像判断所述三维模型图像是否存在图像缺失；若不存在图像缺失，则质检控制模块基于所述基准检测点图像在所述三维模型图像中框选待质检点位；质检控制模块对所述待质检点位所对应的所述三维模型图像进行放大处理，得到放大模型图像；质检控制模块比对所述放大模型图像与所述基准检测点图像是否匹配，若匹配，则质检控制模块输出第一检测结果；若非匹配，则质检控制模块输出第二检测结果；所述第一检测结果为产品合格；所述第二检测结果为产品非合格；
具体的，所述产品质检判断操作还包括：若存在图像缺失，则质检控制模块基于所述待检测产品源图像和所述三维模型图像确认缺失图像；质检控制模块识别所述缺失图像对于所述待检测产品源图像的第一方位信息；质检控制模块基于所述第一方位信息在若干所述第一摄像单元中确认出后备摄像单元；质检控制模块基于所述待启动摄像单元和所述后备摄像单元回到所述第一捕捉步骤；
具体的，本系统中还包括如下操作：质检控制模块配置人工操作检测单元和人工检测通知信息，质检控制模块获取所述第一待质检产品的管理人员通信地址；当所述质检控制模块在所述产品质检判断操作中输出所述第二检测结果时，质检控制模块设定与所述基准检测点图像非匹配的所述放大模型图像为未达标图像；质检控制模块识别所述未达标图像对于所述待检测产品源图像的第二方位信息；质检控制模块将所述人工检测通知信息和所述第二方位信息发送至所述管理人员通信地址。
实施例3
本实施例提供一种计算机可读存储介质，包括：
所述存储介质用于储存将上述实施例1所述的基于多摄像端的产品质检方法实现所用的计算机软件指令，其包含用于执行上述为所述基于多摄像端的产品质检方法所设置的程序；具体的，该可执行程序可以内置在实施例2所述的基于多摄像端的产品质检系统中，这样，基于多摄像端的产品质检系统就可以通过执行内置的可执行程序实现所述实施例1所述的基于多摄像端的产品质检方法。
此外，本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。
区别于现有技术，采用本申请一种基于多摄像端的产品质检方法、系统及介质可以通过本方法自动化识别待质检物体的特征，并根据特征智能化适配出对应的摄像端，采用多个摄像端捕捉到的产品三维图像进行三维还原重现，进而根据还原出的三维图像对产品进行数字化质检，不仅可以智能适配多种不同的产品，还可以提高质检的效率和质检的精准度，通过本系统为本方法提供了有效的技术支撑，最终弥补了现有技术的不足，在生产车间中具有极高的应用价值。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于多摄像端的产品质检方法，其特征在于，包括以下步骤：
摄像模组配置步骤：设置模型参数和配置参数，基于所述模型参数和所述配置参数配置第一摄像模组；
产品图像捕捉步骤：获取质检需求，设置启动数量阈值，基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
产品对比质检步骤：获取基准图像包，基于所述产品图像和所述基准图像包执行产品质检判断操作。
2.根据权利要求1所述的一种基于多摄像端的产品质检方法，其特征在于：
所述模型参数包括：模型形状信息和模型尺寸信息；
所述配置参数包括：第一间隔距离和第二间隔距离；
所述基于所述模型参数和所述配置参数配置第一摄像模组的步骤进一步包括：
读取所述模型参数；基于所述模型形状信息和所述模型尺寸信息构建三维立体模型块；识别所述三维立体模型块的若干第一角点，在若干所述第一角点中选取第二角点；以所述第二角点为原点建立三维坐标系；基于所述三维坐标系确认所述三维立体模型块的第一轴线；设定位于所述第一轴线上的所述第一角点为第三角点；
在所述第二角点正上方距离所述第二角点对应所述第一间隔距离的位置设置第一特征识别单元；
统计所述第三角点的第一数量；按照所述第一数量配置与所述第三角点一一对应的第一摄像单元；确认所述三维立体模型块的外围边缘区域；在所述外围边缘区域内，按照所述第二间隔距离将所述第一摄像单元与该第一摄像单元所对应的所述第三角点对位设置。
3.根据权利要求2所述的一种基于多摄像端的产品质检方法，其特征在于：
所述第一摄像单元至少为两个；所述第一特征识别单元以及若干所述第一摄像单元构成所述第一摄像模组；
所述第三角点所对应的所述第一摄像单元位于该第三角点所在的所述第一轴线的延长线上。
4.根据权利要求2所述的一种基于多摄像端的产品质检方法，其特征在于：
所述质检需求包括：第一需求和第二需求；所述第一需求为存在第一待质检产品；所述第二需求为不存在第一待质检产品；
所述图像捕捉操作包括：
识别所述质检需求；
若所述质检需求为所述第一需求，则调用所述第一特征识别单元获取所述第一待质检产品的第一特征；基于所述第一特征计算所述第一待质检产品的特征规格和特征形状；基于所述特征形状在若干所述第一摄像单元中确认第二摄像单元；
统计所述第二摄像单元的第二数量，判断所述第二数量是否与所述启动数量阈值相匹配；若匹配，则设定所述第二摄像单元为待启动摄像单元；若非匹配，则基于所述特征规格在若干所述第二摄像单元中确认第三摄像单元，设定所述第三摄像单元为待启动摄像单元；
基于所述待启动摄像单元执行第一捕捉步骤，得到所述产品图像。
5.根据权利要求4所述的一种基于多摄像端的产品质检方法，其特征在于：
所述基准图像包中存储有：待检测产品源图像和基准检测点图像；
所述产品质检判断操作包括：
读取所述基准图像包；
基于所述待检测产品源图像将所述产品图像进行三维还原处理，得到三维模型图像；基于所述待检测产品源图像判断所述三维模型图像是否存在图像缺失；
若不存在图像缺失，则基于所述基准检测点图像在所述三维模型图像中框选待质检点位；对所述待质检点位所对应的所述三维模型图像进行放大处理，得到放大模型图像；比对所述放大模型图像与所述基准检测点图像是否匹配，若匹配，则输出第一检测结果；若非匹配，则输出第二检测结果。
6.根据权利要求5所述的一种基于多摄像端的产品质检方法，其特征在于：
所述产品质检判断操作还包括：
若存在图像缺失，则基于所述待检测产品源图像和所述三维模型图像确认缺失图像；识别所述缺失图像对于所述待检测产品源图像的第一方位信息；基于所述第一方位信息在若干所述第一摄像单元中确认后备摄像单元；基于所述待启动摄像单元和所述后备摄像单元回到所述第一捕捉步骤。
7.根据权利要求4所述的一种基于多摄像端的产品质检方法，其特征在于：
基于所述待启动摄像单元所执行的所述第一捕捉步骤包括：
启动所述待启动摄像单元捕捉所述第一待质检产品的第一图像，设定所述第一图像为所述产品图像。
8.根据权利要求5所述的一种基于多摄像端的产品质检方法，其特征在于：
所述第一检测结果为产品合格；所述第二检测结果为产品非合格；
所述一种基于多摄像端的产品质检方法还包括：
配置人工操作检测单元和人工检测通知信息，获取所述第一待质检产品的管理人员通信地址；当所述产品质检判断操作中输出所述第二检测结果时，设定与所述基准检测点图像非匹配的所述放大模型图像为未达标图像；识别所述未达标图像对于所述待检测产品源图像的第二方位信息；将所述人工检测通知信息和所述第二方位信息发送至所述管理人员通信地址。
9.基于权利要求1～8中任一项所述的一种基于多摄像端的产品质检方法的基于多摄像端的产品质检系统，其特征在于，包括：模组配置模块、捕捉控制模块和质检控制模块；
所述模组配置模块用于设置模型参数和配置参数，并基于所述模型参数和所述配置参数配置第一摄像模组；
所述捕捉控制模块用于获取质检需求以及设置启动数量阈值，所述捕捉控制模块基于所述第一摄像模组、所述质检需求和所述启动数量阈值执行图像捕捉操作，得到产品图像；
所述质检控制模块用于获取基准图像包，并基于所述产品图像和所述基准图像包执行产品质检判断操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～8中任一项所述基于多摄像端的产品质检方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210240300.1A CN114745513A (zh) | 2022-03-10 | 2022-03-10 | 一种基于多摄像端的产品质检方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210240300.1A CN114745513A (zh) | 2022-03-10 | 2022-03-10 | 一种基于多摄像端的产品质检方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114745513A true CN114745513A (zh) | 2022-07-12 |
Family
ID=82275891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210240300.1A Pending CN114745513A (zh) | 2022-03-10 | 2022-03-10 | 一种基于多摄像端的产品质检方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114745513A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150146964A1 (en) * | 2013-11-27 | 2015-05-28 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
| CN111242924A (zh) * | 2020-01-13 | 2020-06-05 | 浙江水利水电学院 | 一种产品质量管理系统 |
| CN111353986A (zh) * | 2020-03-02 | 2020-06-30 | 苏州优信泽达智能科技有限公司 | 一种模切产品质量检测方法 |
| CN111405190A (zh) * | 2020-04-23 | 2020-07-10 | 南京维沃软件技术有限公司 | 图像处理方法及装置 |
| CN114095629A (zh) * | 2021-10-20 | 2022-02-25 | 浪潮金融信息技术有限公司 | 一种用于linux终端的摄像头运行系统、方法及介质 |
-
2022
- 2022-03-10 CN CN202210240300.1A patent/CN114745513A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150146964A1 (en) * | 2013-11-27 | 2015-05-28 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
| CN111242924A (zh) * | 2020-01-13 | 2020-06-05 | 浙江水利水电学院 | 一种产品质量管理系统 |
| CN111353986A (zh) * | 2020-03-02 | 2020-06-30 | 苏州优信泽达智能科技有限公司 | 一种模切产品质量检测方法 |
| CN111405190A (zh) * | 2020-04-23 | 2020-07-10 | 南京维沃软件技术有限公司 | 图像处理方法及装置 |
| CN114095629A (zh) * | 2021-10-20 | 2022-02-25 | 浪潮金融信息技术有限公司 | 一种用于linux终端的摄像头运行系统、方法及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| CN108827970B (zh) | 基于aoi系统的适应不同面板缺陷自动判等方法和系统 | |
| CN110659397B (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
| CN107884415A (zh) | 缺陷产品的识别方法、装置和工业相机 | |
| CN110491060B (zh) | 一种机器人及其安全监控方法、装置及存储介质 | |
| CN112837302A (zh) | 模具的状态监测方法、装置、工控机、存储介质及系统 | |
| US20140111654A1 (en) | Electronic device and method for monitoring testing procedure | |
| CN112381054A (zh) | 摄像机的工作状态检测方法及相关设备、系统 | |
| CN114745513A (zh) | 一种基于多摄像端的产品质检方法、系统及介质 | |
| CN111832983A (zh) | 一种资产录入信息的检测方法、装置及系统 | |
| CN104992155A (zh) | 一种获取人脸位置的方法及装置 | |
| WO2020135097A1 (zh) | 显示终端通道切换检测方法和装置 | |
| CN115880365A (zh) | 一种双工位自动螺丝拧装检测方法、系统及装置 | |
| CN114078124A (zh) | 摄像头检测方法、检测装置、计算机设备和存储介质 | |
| CN110020809A (zh) | 一种钢筋骨架检测方法、装置、设备及可读存储介质 | |
| CN112597832B (zh) | 矩形件安装偏位判定方法和装置 | |
| CN113012137B (zh) | 一种面板缺陷检查方法、系统、终端设备及存储介质 | |
| CN112580379B (zh) | 数据处理系统和方法、电子设备以及计算机可读存储介质 | |
| WO2022198507A1 (zh) | 障碍物检测方法、装置、设备和计算机存储介质 | |
| CN115803610A (zh) | 图像获取方法及装置、存储介质 | |
| CN109142354B (zh) | 采集流水线上的产品图像的系统、方法和装置 | |
| CN116499731B (zh) | 面向发动机高度柔性智能制造的活塞智能视觉检测系统 | |
| CN110010019B (zh) | 一种装配led屏的控制方法及装置 | |
| CN116862980B (zh) | 图像边缘的目标检测框位置优化校正方法、系统、介质及终端 | |
| US20230051823A1 (en) | Systems, methods, and computer program products for image analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |