CN113252007A - 用于工件质检的飞拍控制参数确定方法和装置 - Google Patents

用于工件质检的飞拍控制参数确定方法和装置 Download PDF

Info

Publication number
CN113252007A
CN113252007A CN202110716019.6A CN202110716019A CN113252007A CN 113252007 A CN113252007 A CN 113252007A CN 202110716019 A CN202110716019 A CN 202110716019A CN 113252007 A CN113252007 A CN 113252007A
Authority
CN
China
Prior art keywords
image
workpiece
target image
shooting
total score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110716019.6A
Other languages
English (en)
Other versions
CN113252007B (zh
Inventor
王闯
潘正颐
侯大为
顾徐波
马元巍
郭峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202110716019.6A priority Critical patent/CN113252007B/zh
Publication of CN113252007A publication Critical patent/CN113252007A/zh
Application granted granted Critical
Publication of CN113252007B publication Critical patent/CN113252007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业质检技术领域，为解决如何使飞拍得到的实际图像更加接近目标图像，从而提高图像质量，提高工件质检效果的技术问题，提供了一种用于工件质检的飞拍控制参数确定方法和装置，所述方法包括以下步骤：确定待检测工件的目标图像；以初步设定的与目标图像相对应的飞拍控制参数对待检测工件进行拍摄，得到初始图像；通过多种图像比较算法将初始图像与目标图像进行比较，得到表示初始图像与目标图像之间相似度的加权总分值；构建与目标图像相对应的贝叶斯优化器；通过贝叶斯优化器预测加权总分值达到最大值时所对应的飞拍控制参数；以加权总分值达到最大值时所对应的飞拍控制参数对待检测工件进行拍摄，得到用于进行检测的实际图像。

Description

用于工件质检的飞拍控制参数确定方法和装置
技术领域
本发明涉及工业质检技术领域，具体涉及一种用于工件质检的飞拍控制参数确定方法、一种用于工件质检的飞拍控制参数确定装置、一种计算机设备和一种非临时性计算机可读存储介质。
背景技术
在对形状复杂、大尺寸的工件进行质检时，一般需要对工件进行多角度取图。如果采用多相机对固定工件进行拍摄的方式，那么需要配置多台相机，成本高昂。如果将一台相机部署于机械臂末端，通过机械臂携相机运动到各个拍摄点位进行静态拍摄（即机械臂末端到达拍摄点后静止，然后采图），那么由于机械臂需要停下来才进行拍摄，导致整个拍摄周期较长，工作效率低。
为提高多角度取图的效率，相关技术中提出了飞拍的方案，即控制相机在一个飞拍周期内从设定位置开始运动，在到各个达拍摄位置处不停止运动，而是以一定的速度持续运动，在运动过程中实现拍摄，直到回到设定位置，完成多角度取图。由此，能够缩短拍摄周期，提高拍摄效率。
然而，在飞拍时如何去确定拍摄的条件，以使相机持续运动过程中拍摄到的图像与在各个拍摄点进行静态拍摄得到的目标图像一致，成为亟需解决的技术问题。
发明内容
本发明为解决上述技术问题，提供了一种用于工件质检的飞拍控制参数确定方法和装置，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
本发明采用的技术方案如下：
一种用于工件质检的飞拍控制参数确定方法，包括以下步骤：确定待检测工件的目标图像；初步设定与所述目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对所述待检测工件进行拍摄，得到初始图像；通过多种图像比较算法将所述初始图像与所述目标图像进行比较，得到表示所述初始图像与所述目标图像之间相似度的加权总分值；构建与所述目标图像相对应的贝叶斯优化器，其中，所述贝叶斯优化器包括基于高斯回归的核函数和采集函数；以初步设定的飞拍控制参数作为所述基于高斯回归的核函数的输入、所述加权总分值作为所述基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以所述回归模型和所述采集函数预测所述加权总分值达到最大值时所对应的飞拍控制参数；以所述加权总分值达到最大值时所对应的飞拍控制参数对所述待检测工件进行拍摄，得到用于进行检测的实际图像。
所述飞拍控制参数包括携带相机进行飞拍的机械臂的末端的位姿和速度。
所述机械臂的末端的位姿包括空间直角坐标系X分量、Y分量、Z分量及欧拉角R分量、P分量、y分量。
所述多种图像比较算法包括模板匹配算法、拉普拉斯算子和结构相似性算法。
所述加权总分值的计算公式如下：
Figure 869168DEST_PATH_IMAGE001
其中，S为所述加权总分值，i表示图像比较算法的类型，αi为图像比较算法i的权重，Vi为通过图像比较算法i得到的表示所述初始图像与所述目标图像之间相似度的分值。
一种用于工件质检的飞拍控制参数确定装置，包括：确定模块，用于确定待检测工件的目标图像；第一拍摄模块，用于初步设定与所述目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对所述待检测工件进行拍摄，得到初始图像；比较模块，用于通过多种图像比较算法将所述初始图像与所述目标图像进行比较，得到表示所述初始图像与所述目标图像之间相似度的加权总分值；构建模块，用于构建与所述目标图像相对应的贝叶斯优化器，其中，所述贝叶斯优化器包括基于高斯回归的核函数和采集函数；预测模块，用于以初步设定的飞拍控制参数作为所述基于高斯回归的核函数的输入、所述加权总分值作为所述基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以所述回归模型和所述采集函数预测所述加权总分值达到最大值时所对应的飞拍控制参数；第二拍摄模块，用于以所述加权总分值达到最大值时所对应的飞拍控制参数对所述待检测工件进行拍摄，得到用于进行检测的实际图像。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述用于工件质检的飞拍控制参数确定方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述用于工件质检的飞拍控制参数确定方法。
本发明的有益效果：
本发明以初步设定的飞拍控制参数得到初始图像，并通过多种图像比较算法对初始图像于目标图像的相似度进行评分，然后通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，最后以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
附图说明
图1为本发明实施例的用于工件质检的飞拍控制参数确定方法的流程图；
图2为本发明实施例的用于工件质检的飞拍控制参数确定装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的用于工件质检的飞拍控制参数确定方法包括以下步骤：
S1，确定待检测工件的目标图像。
目标图像是符合检测需求的图像，是从相对于待检测工件来说的目标位置、目标角度拍摄得到的图像。对于有多角度取图需求的待检测工件，其具有多个目标图像。
在本发明的一个实施例中，目标图像是以设计好的相机参数、光源参数、打光方式、工件载台参数，通过静态拍摄得到的图像。其中，相机参数包括型号、曝光时间、增益、gamma值、焦距、光圈等，光源参数包括光源亮度、亮灭持续时间等，打光方式包括组合光源中各个单元的位置、打光角度等，工件载台参数包括工件载台的空间位置、工件放置面水平度等。
S2，初步设定与目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对待检测工件进行拍摄，得到初始图像。
在本发明的一个实施例中，飞拍控制参数包括携带相机进行飞拍的机械臂的末端的位姿和速度。其中，机械臂的末端的位姿包括空间直角坐标系X分量、Y分量、Z分量及欧拉角R分量、P分量、y分量。
对于每一个目标图像，在该步骤中可人为设定对应的一组飞拍控制参数，并存储，以便控制器调用执行。该人为设定的飞拍控制参数，以控制器调用执行时相机所拍摄到的图像接近目标图像为设定依据。飞拍时，控制器控制机械臂的末端以初步设定的速度运动，并在机械臂的末端的位姿达到初步设定的位姿时，控制相机进行拍摄。
S3，通过多种图像比较算法将初始图像与目标图像进行比较，得到表示初始图像与目标图像之间相似度的加权总分值。
在本发明的一个实施例中，多种图像比较算法包括模板匹配算法、拉普拉斯算子和结构相似性算法。
模板匹配算法可对目标图像中的工件边界框和初始图像中的工件边界框中的每一像素进行归一化的相关系数匹配计算。模板匹配算法对于图像间的平移、缩放、明亮度、视角差异有较好的识别作用。在本发明的一个具体实施例中，可采用OPEN CV中的TM_CCOEFF_NORMED算子得到表示初始图像与目标图像之间相似度的分值V1，V1的取值范围为[-1,1]，V1越大，表明两者之间越相似。
拉普拉斯算子可利用一个3×3的卷积内核与目标图像中的工件边界框和初始图像中的工件边界框进行卷积计算，然后对计算结果取方差，如果方差大，则图像不模糊，反之则模糊。拉普拉斯算子对图像间的模糊差异识别效果好。在本发明的一个具体实施例中，拉普拉斯算子得到的表示初始图像与目标图像之间相似度的分值V2为：
Figure 627127DEST_PATH_IMAGE002
其中，Tlaplacian为目标图像的矩阵经过OPEN CV中拉普拉斯变化后的方差，Ilaplacian为初始图像的矩阵经过OPEN CV中拉普拉斯变化后的方差，C为常数系数，e为自然对数。
V2的取值范围为（0,1），V2越大，表明两者之间越相似。
结构相似性算法可将目标图像中的工件边界框和初始图像中的工件边界框在亮度、对比度和结构三个维度进行比较。结构相似性算法对图像间的平移、缩放、旋转识别效果好。在本发明的一个具体实施例中，可采用Skimage中的结构相似性算法得到表示初始图像与目标图像之间相似度的分值V3，V3的取值范围为[0,1]，V3越大，表明两者之间越相似。
在本发明的实施例中，可对每种图像比较算法设置对应的权重，每种图像比较算法的权重可根据实际应用需求进行设定，在此不便限定为具体数值。例如，在图像的模糊度对于工件质检影响较大的质检场景中，可以将拉普拉斯算子的权重设置得大一些。
在本发明的实施例中，加权总分值的计算公式如下：
Figure 731743DEST_PATH_IMAGE003
其中，S为加权总分值，i表示图像比较算法的类型，αi为图像比较算法i的权重，0＜αi＜1，且α1+α2+α3=1，Vi为通过图像比较算法i得到的表示初始图像与目标图像之间相似度的分值。
S4，构建与目标图像相对应的贝叶斯优化器，其中，贝叶斯优化器包括基于高斯回归的核函数和采集函数。
对于每一个目标图像，均构建一个对应的贝叶斯优化器。
在本发明的一个实施例中，采集函数可选择期望提升算法EI、概率提升算法POI和置信区间上界算法UCB。
S5，以初步设定的飞拍控制参数作为基于高斯回归的核函数的输入、加权总分值作为基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以回归模型和采集函数预测加权总分值达到最大值时所对应的飞拍控制参数。
以步骤S2中初步设定的X分量、Y分量、Z分量、R分量、P分量、y分量以及速度，共7维数据，作为基于高斯回归的核函数的输入，以步骤S3中计算得到的表示初始图像与目标图像之间相似度的加权总分值S作为输出，训练贝叶斯优化器中的回归模型，并构造输入参数寻优空间，根据已训练的回归模型以及贝叶斯优化器的采集函数，可预测寻优空间中输出最大时所对应的输入参数，即预测出能够使得拍摄到的图像与目标图像最相似的飞拍控制参数。
S6，以加权总分值达到最大值时所对应的飞拍控制参数对待检测工件进行拍摄，得到用于进行检测的实际图像。
通过以能够使得拍摄到的图像与目标图像最相似的飞拍控制参数进行飞拍控制，即以步骤S5预测到的速度控制机械臂的末端运动，并在机械臂的末端的位姿达到步骤S5预测到的位姿时，控制相机进行拍摄，所得到的实际图像最为接近目标图像，能够符合检测需求。
需要说明的是，相机参数、光源参数、打光方式、工件载台参数等应与步骤S1获取目标图像时保持一致。
在后续对于同一种工件进行飞拍时，均以该加权总分值达到最大值时所对应的飞拍控制参数进行飞拍控制。
根据本发明实施例的用于工件质检的飞拍控制参数确定方法，以初步设定的飞拍控制参数得到初始图像，并通过多种图像比较算法对初始图像于目标图像的相似度进行评分，然后通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，最后以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
对应上述实施例的用于工件质检的飞拍控制参数确定方法，本发明还提出一种用于工件质检的飞拍控制参数确定装置。
如图2所示，本发明实施例的用于工件质检的飞拍控制参数确定装置包括：确定模块10、第一拍摄模块20、比较模块30、构建模块40、预测模块50和第二拍摄模块60。其中，确定模块10用于确定待检测工件的目标图像；第一拍摄模块20用于初步设定与目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对待检测工件进行拍摄，得到初始图像；比较模块30用于通过多种图像比较算法将初始图像与目标图像进行比较，得到表示初始图像与目标图像之间相似度的加权总分值；构建模块40用于构建与目标图像相对应的贝叶斯优化器，其中，贝叶斯优化器包括基于高斯回归的核函数和采集函数；预测模块50用于以初步设定的飞拍控制参数作为基于高斯回归的核函数的输入、加权总分值作为基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以回归模型和采集函数预测加权总分值达到最大值时所对应的飞拍控制参数；第二拍摄模块60用于以加权总分值达到最大值时所对应的飞拍控制参数对待检测工件进行拍摄，得到用于进行检测的实际图像。
目标图像是符合检测需求的图像，是从相对于待检测工件来说的目标位置、目标角度拍摄得到的图像。对于有多角度取图需求的待检测工件，其具有多个目标图像。
在本发明的一个实施例中，确定模块10可以以设计好的相机参数、光源参数、打光方式、工件载台参数，通过静态拍摄得到目标图像。其中，相机参数包括型号、曝光时间、增益、gamma值、焦距、光圈等，光源参数包括光源亮度、亮灭持续时间等，打光方式包括组合光源中各个单元的位置、打光角度等，工件载台参数包括工件载台的空间位置、工件放置面水平度等。
在本发明的一个实施例中，飞拍控制参数包括携带相机进行飞拍的机械臂的末端的位姿和速度。其中，机械臂的末端的位姿包括空间直角坐标系X分量、Y分量、Z分量及欧拉角R分量、P分量、y分量。
对于每一个目标图像，可人为设定对应的一组飞拍控制参数，并存储于第一拍摄模块20，以便第一拍摄模块20调用执行。该人为设定的飞拍控制参数，以第一拍摄模块20调用执行时相机所拍摄到的图像接近目标图像为设定依据。飞拍时，第一拍摄模块20控制机械臂的末端以初步设定的速度运动，并在机械臂的末端的位姿达到初步设定的位姿时，控制相机进行拍摄。
在本发明的一个实施例中，多种图像比较算法包括模板匹配算法、拉普拉斯算子和结构相似性算法。
模板匹配算法可对目标图像中的工件边界框和初始图像中的工件边界框中的每一像素进行归一化的相关系数匹配计算。模板匹配算法对于图像间的平移、缩放、明亮度、视角差异有较好的识别作用。在本发明的一个具体实施例中，可采用OPEN CV中的TM_CCOEFF_NORMED算子得到表示初始图像与目标图像之间相似度的分值V1，V1的取值范围为[-1,1]，V1越大，表明两者之间越相似。
拉普拉斯算子可利用一个3×3的卷积内核与目标图像中的工件边界框和初始图像中的工件边界框进行卷积计算，然后对计算结果取方差，如果方差大，则图像不模糊，反之则模糊。拉普拉斯算子对图像间的模糊差异识别效果好。在本发明的一个具体实施例中，拉普拉斯算子得到的表示初始图像与目标图像之间相似度的分值V2为：
Figure 575153DEST_PATH_IMAGE004
其中，Tlaplacian为目标图像的矩阵经过OPEN CV中拉普拉斯变化后的方差，Ilaplacian为初始图像的矩阵经过OPEN CV中拉普拉斯变化后的方差，C为常数系数，e为自然对数。
V2的取值范围为（0,1），V2越大，表明两者之间越相似。
结构相似性算法可将目标图像中的工件边界框和初始图像中的工件边界框在亮度、对比度和结构三个维度进行比较。结构相似性算法对图像间的平移、缩放、旋转识别效果好。在本发明的一个具体实施例中，可采用Skimage中的结构相似性算法得到表示初始图像与目标图像之间相似度的分值V3，V3的取值范围为[0,1]，V3越大，表明两者之间越相似。
在本发明的实施例中，可对每种图像比较算法设置对应的权重，每种图像比较算法的权重可根据实际应用需求进行设定，在此不便限定为具体数值。例如，在图像的模糊度对于工件质检影响较大的质检场景中，可以将拉普拉斯算子的权重设置得大一些。
在本发明的实施例中，比较模块通过以下公式计算加权总分值：
Figure 125214DEST_PATH_IMAGE005
其中，S为加权总分值，i表示图像比较算法的类型，αi为图像比较算法i的权重，0＜αi＜1，且α1+α2+α3=1，Vi为通过图像比较算法i得到的表示初始图像与目标图像之间相似度的分值。
构建模块40对于每一个目标图像，均构建一个对应的贝叶斯优化器。
在本发明的一个实施例中，采集函数可选择期望提升算法EI、概率提升算法POI和置信区间上界算法UCB。
预测模块50可以以上述初步设定的X分量、Y分量、Z分量、R分量、P分量、y分量以及速度，共7维数据，作为基于高斯回归的核函数的输入，以上述表示初始图像与目标图像之间相似度的加权总分值S作为输出，训练贝叶斯优化器中的回归模型，并构造输入参数寻优空间，根据已训练的回归模型以及贝叶斯优化器的采集函数，可预测寻优空间中输出最大时所对应的输入参数，即预测出能够使得拍摄到的图像与目标图像最相似的飞拍控制参数。
第二拍摄模块60通过以能够使得拍摄到的图像与目标图像最相似的飞拍控制参数进行飞拍控制，即以预测模块50预测到的速度控制机械臂的末端运动，并在机械臂的末端的位姿达到预测模块50预测到的位姿时，控制相机进行拍摄，所得到的实际图像最为接近目标图像，能够符合检测需求。
需要说明的是，相机参数、光源参数、打光方式、工件载台参数等应与确定模块10获取目标图像时保持一致。
在后续对于同一种工件进行飞拍时，均以该加权总分值达到最大值时所对应的飞拍控制参数进行飞拍控制。
根据本发明实施例的用于工件质检的飞拍控制参数确定装置，以初步设定的飞拍控制参数得到初始图像，通过多种图像比较算法对初始图像于目标图像的相似度进行评分，通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的用于工件质检的飞拍控制参数确定方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，以初步设定的飞拍控制参数得到初始图像，并通过多种图像比较算法对初始图像于目标图像的相似度进行评分，然后通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，最后以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的用于工件质检的飞拍控制参数确定方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，以初步设定的飞拍控制参数得到初始图像，并通过多种图像比较算法对初始图像于目标图像的相似度进行评分，然后通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，最后以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种用于工件质检的飞拍控制参数确定方法，其特征在于，包括以下步骤：
确定待检测工件的目标图像；
初步设定与所述目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对所述待检测工件进行拍摄，得到初始图像；
通过多种图像比较算法将所述初始图像与所述目标图像进行比较，得到表示所述初始图像与所述目标图像之间相似度的加权总分值；
构建与所述目标图像相对应的贝叶斯优化器，其中，所述贝叶斯优化器包括基于高斯回归的核函数和采集函数；
以初步设定的飞拍控制参数作为所述基于高斯回归的核函数的输入、所述加权总分值作为所述基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以所述回归模型和所述采集函数预测所述加权总分值达到最大值时所对应的飞拍控制参数；
以所述加权总分值达到最大值时所对应的飞拍控制参数对所述待检测工件进行拍摄，得到用于进行检测的实际图像。
2.根据权利要求1所述的用于工件质检的飞拍控制参数确定方法，其特征在于，所述飞拍控制参数包括携带相机进行飞拍的机械臂的末端的位姿和速度。
3.根据权利要求2所述的用于工件质检的飞拍控制参数确定方法，其特征在于，所述机械臂的末端的位姿包括空间直角坐标系X分量、Y分量、Z分量及欧拉角R分量、P分量、y分量。
4.根据权利要求1-3中任一项所述的用于工件质检的飞拍控制参数确定方法，其特征在于，所述多种图像比较算法包括模板匹配算法、拉普拉斯算子和结构相似性算法。
5.根据权利要求4所述的用于工件质检的飞拍控制参数确定方法，其特征在于，所述加权总分值的计算公式如下：
Figure 739192DEST_PATH_IMAGE001
其中，S为所述加权总分值，i表示图像比较算法的类型，αi为图像比较算法i的权重，Vi为通过图像比较算法i得到的表示所述初始图像与所述目标图像之间相似度的分值。
6.一种用于工件质检的飞拍控制参数确定装置，其特征在于，包括：
确定模块，用于确定待检测工件的目标图像；
第一拍摄模块，用于初步设定与所述目标图像相对应的飞拍控制参数，并以初步设定的飞拍控制参数对所述待检测工件进行拍摄，得到初始图像；
比较模块，用于通过多种图像比较算法将所述初始图像与所述目标图像进行比较，得到表示所述初始图像与所述目标图像之间相似度的加权总分值；
构建模块，用于构建与所述目标图像相对应的贝叶斯优化器，其中，所述贝叶斯优化器包括基于高斯回归的核函数和采集函数；
预测模块，用于以初步设定的飞拍控制参数作为所述基于高斯回归的核函数的输入、所述加权总分值作为所述基于高斯回归的核函数的输出进行回归拟合，得到回归模型，并以所述回归模型和所述采集函数预测所述加权总分值达到最大值时所对应的飞拍控制参数；
第二拍摄模块，用于以所述加权总分值达到最大值时所对应的飞拍控制参数对所述待检测工件进行拍摄，得到用于进行检测的实际图像。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-5中任一项所述的用于工件质检的飞拍控制参数确定方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的用于工件质检的飞拍控制参数确定方法。
CN202110716019.6A 2021-06-28 2021-06-28 用于工件质检的飞拍控制参数确定方法和装置 Active CN113252007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110716019.6A CN113252007B (zh) 2021-06-28 2021-06-28 用于工件质检的飞拍控制参数确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110716019.6A CN113252007B (zh) 2021-06-28 2021-06-28 用于工件质检的飞拍控制参数确定方法和装置

Publications (2)

Publication Number Publication Date
CN113252007A true CN113252007A (zh) 2021-08-13
CN113252007B CN113252007B (zh) 2021-09-24

Family

ID=77189818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110716019.6A Active CN113252007B (zh) 2021-06-28 2021-06-28 用于工件质检的飞拍控制参数确定方法和装置

Country Status (1)

Country Link
CN (1) CN113252007B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113884497A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN116652956A (zh) * 2023-06-20 2023-08-29 上海微亿智造科技有限公司 一种用于外观检测的拍照路径自适应规划方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040013304A1 (en) * 2002-07-22 2004-01-22 Viola Paul A. System and method for detecting objects in images
US20090013020A1 (en) * 2004-10-14 2009-01-08 Lightron Co., Ltd. Method and device for restoring degraded information
CN108759812A (zh) * 2018-03-28 2018-11-06 大连理工大学 三维封闭非结构空间内胶囊机器人及待测目标的相对定位方法
CN112580416A (zh) * 2019-09-27 2021-03-30 英特尔公司 基于深暹罗网络和贝叶斯优化的视频跟踪

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040013304A1 (en) * 2002-07-22 2004-01-22 Viola Paul A. System and method for detecting objects in images
US20090013020A1 (en) * 2004-10-14 2009-01-08 Lightron Co., Ltd. Method and device for restoring degraded information
CN108759812A (zh) * 2018-03-28 2018-11-06 大连理工大学 三维封闭非结构空间内胶囊机器人及待测目标的相对定位方法
CN112580416A (zh) * 2019-09-27 2021-03-30 英特尔公司 基于深暹罗网络和贝叶斯优化的视频跟踪

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113884497A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN113884497B (zh) * 2021-09-09 2023-03-14 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN116652956A (zh) * 2023-06-20 2023-08-29 上海微亿智造科技有限公司 一种用于外观检测的拍照路径自适应规划方法及装置
CN116652956B (zh) * 2023-06-20 2024-03-22 上海微亿智造科技有限公司 一种用于外观检测的拍照路径自适应规划方法及装置

Also Published As

Publication number Publication date
CN113252007B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
CN113252007B (zh) 用于工件质检的飞拍控制参数确定方法和装置
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN112505056A (zh) 缺陷检测方法和装置
CN113014816B (zh) 飞拍拍摄触发点的确定方法和装置
CN110083157B (zh) 一种避障方法及装置
CN113176270B (zh) 一种调光方法、装置及设备
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN109085113A (zh) 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置
US10268188B2 (en) Active camera movement determination for object position and extent in three-dimensional space
CN106031148A (zh) 成像设备，成像设备中自动对焦的方法以及对应计算机程序
JP7186128B2 (ja) 物品認識システムおよび物品認識方法
CN112565615B (zh) 飞拍拍摄触发点的确定方法和装置
JP7153264B2 (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN112734759B (zh) 飞拍拍摄触发点的确定方法和装置
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN116489516A (zh) 特定物体跟踪拍摄方法及系统
CN113837184B (zh) 一种蚊虫检测方法、设备及存储介质
CN109146966B (zh) 视觉slam前端处理方法、系统、存储介质及计算机设备
CN109246353B (zh) 捕捞方法
JP6719925B2 (ja) 情報処理装置、情報処理方法、プログラム
CN115861829B (zh) 飞拍控制方法和系统
WO2023238639A1 (ja) 情報処理方法、情報処理装置、およびプログラム
CN113179371B (zh) 一种拍摄方法、装置及抓拍系统
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant