CN113850815A - 工件点云获取方法、装置、电子设备及存储介质 - Google Patents

工件点云获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113850815A
CN113850815A CN202111435895.8A CN202111435895A CN113850815A CN 113850815 A CN113850815 A CN 113850815A CN 202111435895 A CN202111435895 A CN 202111435895A CN 113850815 A CN113850815 A CN 113850815A
Authority
CN
China
Prior art keywords
workpiece
pixel
camera image
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111435895.8A
Other languages
English (en)
Other versions
CN113850815B (zh
Inventor
邱呈溶
吴宇君
邹雪丰
刘速杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202111435895.8A priority Critical patent/CN113850815B/zh
Publication of CN113850815A publication Critical patent/CN113850815A/zh
Application granted granted Critical
Publication of CN113850815B publication Critical patent/CN113850815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请属于图像处理技术领域，公开了一种工件点云获取方法、装置、电子设备及存储介质，通过获取各双目工业相机采集的工件的左相机图像和右相机图像；根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；对各局部点云数据进行拼接得到工件的完整的点云数据；从而所需的设备的成本较低，有利于降低设备成本。

Description

工件点云获取方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种工件点云获取方法、装置、电子设备及存储介质。
背景技术
在航空工业及船舶等行业，常常需要对一些大尺寸的工件（如飞机机翼、船舶底部钣金件等）进行喷涂、焊接等加工。为实现喷涂、焊接等加工过程的自动化，需要获取工件表面的点云数据，以便后续采用机器人根据点云数据进行加工路径的规划。
目前，在对大尺寸的工件进行点云提取时，一般使用激光雷达扫描的方式获取点云数据，但需要配备激光雷达和相应的配套设备，设备成本较高。
发明内容
本申请的目的在于提供一种工件点云获取方法、装置、电子设备及存储介质，使用双目工业相机进行工件点云数据的获取，有利于降低设备成本。
第一方面，本申请提供了一种工件点云获取方法，用于通过多个双目工业相机获取工件的点云数据，多个所述双目工业相机的总视野范围覆盖所述工件的加工面；
所述工件点云获取方法包括以下步骤：
A1.获取各所述双目工业相机采集的所述工件的图像；所述图像包括左相机图像和右相机图像；
A2.根据所述左相机图像和所述右相机图像获取所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据；所述第一平面坐标数据包括第一横坐标值和第一纵坐标值；所述工件的第一像素点是指在所述双目工业相机的两个相机的公共视野内且属于所述工件的像素点；
A3.根据所述工件的第一像素点在所述左相机图像和所述右相机图像中的像素坐标和对应的所述双目工业相机的焦距，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值；
A4.把所述第一平面坐标数据和所述第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到所述工件的局部点云数据；所述第二坐标数据为三维坐标数据；
A5.对各所述双目工业相机的所述局部点云数据进行拼接得到所述工件的完整的点云数据。
该工件点云获取方法，仅需要利用多个普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，从而有利于降低设备成本。
优选地，步骤A2包括：
对所述左相机图像和所述右相机图像进行图像分割，以去除背景图像；
采用双目配准算法对去除背景图像后的所述左相机图像和所述右相机图像进行配准；
获取所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标；
根据所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据。
在配准前先去除背景图像，可有效避免背景图像对配准结果的影响，提高配准精度。
优选地，所述对所述左相机图像和所述右相机图像进行图像分割，以去除背景图像的步骤包括：
根据以下公式计算所述左相机图像和所述右相机图像中各像素点的自适应阈值：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 244869DEST_PATH_IMAGE002
为所述左相机图像或所述右相机图像中第i个像素点的所述自适应阈值，
Figure DEST_PATH_IMAGE003
为所述左相机图像或所述右相机图像中第i个像素点的像素值，
Figure 365272DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
分别为所述左相机图像或所述右相机图像中第i个像素点的预设邻域的像素值均值和像素值标准差；
把所述左相机图像和所述右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值。
通过该方式能够快速准确地去除背景图像，从而识别出图像中的工件。
优选地，所述预设像素值为0。
优选地，所述根据所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据的步骤包括：
根据所述工件的第一像素点在去除背景图像后的所述左相机图像的像素坐标，利用预先标定得到的左相机图像的像素坐标与对应的所述双目工业相机的相机坐标之间的转换关系，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第三平面坐标数据；所述第三平面坐标数据包括第三横坐标值和第三纵坐标值；
根据所述工件的第一像素点在去除背景图像后的所述右相机图像的像素坐标，利用预先标定得到的右相机图像的像素坐标与对应的所述双目工业相机的相机坐标之间的转换关系，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第四平面坐标数据；所述第四平面坐标数据包括第四横坐标值和第四纵坐标值；
计算所述第三平面坐标数据和所述第四平面坐标数据的均值作为所述第一平面坐标数据。
优选地，步骤A3包括：
根据所述工件的第一像素点在所述左相机图像的像素坐标，计算所述工件的第一像素点与所述左相机图像的中心之间在横向上的第一像素距离；
根据所述第一像素距离与预先标定得到的左相机图像的像素长度与实际空间长度之间的转换关系，计算所述第一像素距离对应的第一实际距离；
根据所述工件的第一像素点在所述右相机图像的像素坐标，计算所述工件的第一像素点与所述右相机图像的中心之间在横向上的第二像素距离；
根据所述第二像素距离与预先标定得到的右相机图像的像素长度与实际空间长度之间的转换关系，计算所述第二像素距离对应的第二实际距离；
根据以下公式计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值：
Figure 223638DEST_PATH_IMAGE006
；
其中，
Figure DEST_PATH_IMAGE007
为所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值，
Figure 369580DEST_PATH_IMAGE008
为所述双目工业相机的焦距，
Figure DEST_PATH_IMAGE009
为所述双目工业相机的两个相机的相机坐标系原点之间的距离，
Figure 246269DEST_PATH_IMAGE010
为所述第一实际距离，
Figure DEST_PATH_IMAGE011
为所述第二实际距离。
优选地，步骤A5包括：
基于ICP点云匹配算法，对各所述双目工业相机的所述局部点云数据进行匹配和拼接得到所述工件的完整的点云数据。
第二方面，本申请提供了一种工件点云获取装置，用于通过多个双目工业相机获取工件的点云数据，多个所述双目工业相机的总视野范围覆盖所述工件的加工面；
所述工件点云获取装置包括：
第一获取模块，用于获取各所述双目工业相机采集的所述工件的图像；所述图像包括左相机图像和右相机图像；
第二获取模块，用于根据所述左相机图像和所述右相机图像获取所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据；所述第一平面坐标数据包括第一横坐标值和第一纵坐标值；所述工件的第一像素点是指在所述双目工业相机的两个相机的公共视野内且属于所述工件的像素点；
第一计算模块，用于根据所述工件的第一像素点在所述左相机图像和所述右相机图像中的像素坐标和对应的所述双目工业相机的焦距，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值；
转换模块，用于把所述第一平面坐标数据和所述第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到所述工件的局部点云数据；所述第二坐标数据为三维坐标数据；
拼接模块，用于对各所述双目工业相机的所述局部点云数据进行拼接得到所述工件的完整的点云数据。
该工件点云获取装置，仅需要利用多个普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，从而有利于降低设备成本。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述工件点云获取方法中的步骤。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述工件点云获取方法中的步骤。
有益效果：
本申请提供的工件点云获取方法、装置、电子设备及存储介质，通过获取各所述双目工业相机采集的所述工件的图像；所述图像包括左相机图像和右相机图像；根据所述左相机图像和所述右相机图像获取所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据；所述第一平面坐标数据包括第一横坐标值和第一纵坐标值；所述工件的第一像素点是指在所述双目工业相机的两个相机的公共视野内且属于所述工件的像素点；根据所述工件的第一像素点在所述左相机图像和所述右相机图像中的像素坐标和对应的所述双目工业相机的焦距，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值；把所述第一平面坐标数据和所述第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到所述工件的局部点云数据；所述第二坐标数据为三维坐标数据；对各所述双目工业相机的所述局部点云数据进行拼接得到所述工件的完整的点云数据；从而只需要利用普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，有利于降低设备成本。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的工件点云获取方法的流程图。
图2为本申请实施例提供的工件点云获取装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为双目工业相机的坐标系和双目工业相机的两个相机的坐标系之间的位置关系示意图。
图5为双目视觉测深度距离的原理图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种工件点云获取方法，用于通过多个双目工业相机获取工件的点云数据，多个双目工业相机的总视野范围覆盖工件的加工面；
工件点云获取方法包括以下步骤：
A1.获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；
A2.根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；
A3.根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；
A4.把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；
A5.对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据。
该工件点云获取方法，仅需要利用多个普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，从而有利于降低设备成本。
需要说明的是，双目工业相机由两个相机组成，此处把两个相机视野重叠的范围称为该双目相机的有效视野范围，此处所说的多个双目工业相机的总视野范围是指各双目工业相机的有效视野范围的总的范围，多个双目工业相机的总视野范围覆盖工件的加工面即：该工件的加工面上的任意一点均在至少一个双目工业相机的有效视野范围内。从而确保最终得到的点云数据是该工件的整个加工面上的点云数据。其中，所采用的双目工业相机的数量可根据工件的实际尺寸设置。
在一些优选实施方式中，步骤A2包括：
A201.对左相机图像和右相机图像进行图像分割，以去除背景图像；
A202.采用双目配准算法对去除背景图像后的左相机图像和右相机图像进行配准；
A203.获取工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标；
A204.根据工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据。
在配准前先去除背景图像，可有效避免背景图像对配准结果的影响，提高配准精度。
在一些实施方式中，步骤A201.对左相机图像和右相机图像进行图像分割，以去除背景图像包括：
B1.根据以下公式计算左相机图像和右相机图像中各像素点的自适应阈值：
Figure 96762DEST_PATH_IMAGE001
；
其中，
Figure 832636DEST_PATH_IMAGE002
为左相机图像或右相机图像中第i个像素点的自适应阈值，
Figure 657635DEST_PATH_IMAGE003
为左相机图像或右相机图像中第i个像素点的像素值，
Figure 779044DEST_PATH_IMAGE004
、
Figure 444512DEST_PATH_IMAGE005
分别为左相机图像或右相机图像中第i个像素点的预设邻域的像素值均值和像素值标准差；
B2.把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值。
通过该方式能够快速准确地去除背景图像，从而识别出图像中的工件，且不受光照、噪声等的影响。
其中，步骤B1中，预设邻域是指以目标像素点（即当前进行自适应阈值的像素点）为中心的预设尺寸和形状的区域，例如，预设像素半径（可根据实际需要设置）的圆形区域、预设像素边长（可根据实际需要设置）的正方形区域等；计算位于该预设邻域内的所有像素点（这些像素点可能填满该预设领域，也可能不填满该预设领域，对于靠近图像边缘的目标像素点会出现后一种情况）的像素值的均值和标准差，即得到对应的
Figure 887256DEST_PATH_IMAGE004
、
Figure 561951DEST_PATH_IMAGE005
。
其中，步骤B2中，一般地，可根据工件的颜色设置该预设像素值，使预设像素值对应的颜色与工件的颜色有明显区别；例如，可把预设像素值设置为0。
在另一些实施方式中，步骤B2中，也可先计算左相机图像和右相机图像中的像素值不小于对应的自适应阈值的像素点的像素值平均值Q（左相机图像和右相机图像各自计算相应的），然后判断该像素值平均值Q与预设像素值之差的绝对值是否大于预设的偏差阈值△Q，若是，则把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值，若否，则计算该像素值平均值Q与预设的偏差阈值△Q之差或之和作为背景像素值，并把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为相应的背景像素值。从而，可保证处理后的背景部分的颜色与工件部分的颜色有明显区别，有效避免在后续处理过程中把背景部分的像素点当作工件部分的像素点进行处理。
其中，步骤A202中，可采用基于归一平方差的模板匹配方法对去除背景图像后的左相机图像和右相机图像进行配准。其中，基于归一平方差的模板匹配方法是现有技术，此处不对其进行详述。但实际上，也可采用其它现有的双目配准算法进行匹配，此处不对其进行限定。通过配准，可实现左相机图像和右相机图像中属于同一个空间点的像素点之间的配对，保证后续进行第一深度坐标值计算的计算结果准确性。其中，上文所说的工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点，实质上是指该工件的第一像素点为在左相机图像和右相机图像中存在配对关系的像素点；例如，左相机图像中的第j个像素点为工件的像素点，其与右相机图像中的第k个像素点（该像素点也是工件的像素点）存在配对关系，从而左相机图像中的第j个像素点和右相机图像的第k个像素点为工件的同一个第一像素点。
继续以上述左相机图像中的第j个像素点和右相机图像中的第k个像素点为例，步骤A203中，获取对应的工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标具体包括：获取左相机图像中的第j个像素点的像素坐标和右相机图像中的第k个像素点的像素坐标。
在一些实施方式中，步骤A204包括：
C1.根据工件的第一像素点在去除背景图像后的左相机图像的像素坐标，利用预先标定得到的左相机图像的像素坐标与对应的双目工业相机的相机坐标之间的转换关系，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第三平面坐标数据；第三平面坐标数据包括第三横坐标值和第三纵坐标值；
C2.根据工件的第一像素点在去除背景图像后的右相机图像的像素坐标，利用预先标定得到的右相机图像的像素坐标与对应的双目工业相机的相机坐标之间的转换关系，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第四平面坐标数据；第四平面坐标数据包括第四横坐标值和第四纵坐标值；
C3.计算第三平面坐标数据和第四平面坐标数据的均值作为第一平面坐标数据。
其中，由于标定误差的存在，因此工件的同一个第一像素点利用左相机图像计算得到的第三平面坐标数据和利用右相机图像计算得到的第四平面坐标数据会有区别，此处，用两者的均值作为该工件的第一像素点的第一平面坐标数据，有利于减小误差，提高第一平面坐标数据的准确性。在实际应用中，也可以第三平面坐标数据作为第一平面坐标数据，或者以第四平面坐标数据作为第一平面坐标数据，误差相对较大。
需要说明的是，参考图4，双目工业相机的两个相机分别为左相机91和右相机92，左相机91的相机坐标系为
Figure 272287DEST_PATH_IMAGE012
坐标系，右相机92的相机坐标系为
Figure DEST_PATH_IMAGE013
坐标系，双目工业相机的相机坐标系为
Figure 328230DEST_PATH_IMAGE014
坐标系，其中，
Figure 507539DEST_PATH_IMAGE012
坐标系的横坐标轴（
Figure DEST_PATH_IMAGE015
轴）、
Figure 861291DEST_PATH_IMAGE013
坐标系的横坐标轴（
Figure 442445DEST_PATH_IMAGE016
轴）和
Figure 964562DEST_PATH_IMAGE014
坐标系的横坐标轴（
Figure DEST_PATH_IMAGE017
轴）平行，
Figure 54003DEST_PATH_IMAGE012
坐标系的纵坐标轴（
Figure 336080DEST_PATH_IMAGE018
轴）、
Figure 224270DEST_PATH_IMAGE013
坐标系的纵坐标轴（
Figure DEST_PATH_IMAGE019
轴）和
Figure 153174DEST_PATH_IMAGE014
坐标系的纵坐标轴（
Figure 307075DEST_PATH_IMAGE020
轴）平行，
Figure 376531DEST_PATH_IMAGE012
坐标系的深度坐标轴（
Figure DEST_PATH_IMAGE021
轴）、
Figure 355114DEST_PATH_IMAGE013
坐标系的深度坐标轴（
Figure 704187DEST_PATH_IMAGE022
轴）和
Figure 329072DEST_PATH_IMAGE014
坐标系的深度坐标轴（
Figure DEST_PATH_IMAGE023
轴）平行，且坐标原点
Figure 98490DEST_PATH_IMAGE024
在坐标原点
Figure DEST_PATH_IMAGE025
和坐标原点
Figure 39901DEST_PATH_IMAGE026
的连线中点处。其中，左相机图像的横轴方向和纵轴方向分别与
Figure 12405DEST_PATH_IMAGE015
轴和
Figure 203215DEST_PATH_IMAGE018
轴平行，右相机图像的横轴方向和纵轴方向分别与
Figure 381517DEST_PATH_IMAGE016
轴和
Figure 380697DEST_PATH_IMAGE019
轴平行。第一平面坐标数据中的第一横坐标值和第一纵坐标值分别为
Figure 851999DEST_PATH_IMAGE017
坐标值和
Figure 405471DEST_PATH_IMAGE020
坐标值；第一深度坐标值为
Figure 121886DEST_PATH_IMAGE023
坐标值；第三平面坐标数据中的第三横坐标值和第三纵坐标值分别为
Figure 241151DEST_PATH_IMAGE017
坐标值和
Figure 883354DEST_PATH_IMAGE020
坐标值；第四平面坐标数据中的第四横坐标值和第四纵坐标值分别为
Figure 720860DEST_PATH_IMAGE017
坐标值和
Figure 975386DEST_PATH_IMAGE020
坐标值。在步骤C3中，计算第三横坐标值和第四横坐标值的均值作为第一横坐标值，并计算第三纵坐标值和第四纵坐标值的均值作为第一纵坐标值。
其中，步骤A3包括：
A301.根据工件的第一像素点在左相机图像的像素坐标，计算工件的第一像素点与左相机图像的中心之间在横向上的第一像素距离（即工件的第一像素点与左相机图像的中线点之间的横向像素坐标值之差的绝对值）；
A302.根据第一像素距离与预先标定得到的左相机图像的像素长度与实际空间长度之间的转换关系，计算第一像素距离对应的第一实际距离；
A303.根据工件的第一像素点在右相机图像的像素坐标，计算工件的第一像素点与右相机图像的中心之间在横向上的第二像素距离（即工件的第一像素点与右相机图像的中线点之间的横向像素坐标值之差的绝对值）；
A304.根据第二像素距离与预先标定得到的右相机图像的像素长度与实际空间长度之间的转换关系，计算第二像素距离对应的第二实际距离；
A305.根据以下公式计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值：
Figure 542634DEST_PATH_IMAGE006
（1）；
其中，
Figure 840891DEST_PATH_IMAGE007
为工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值，
Figure 414961DEST_PATH_IMAGE008
为双目工业相机的焦距（双目工业相机的两个相机的焦距相同），
Figure 988024DEST_PATH_IMAGE009
为双目工业相机的两个相机的相机坐标系原点之间的距离，
Figure 567036DEST_PATH_IMAGE010
为第一实际距离，
Figure 301773DEST_PATH_IMAGE011
为第二实际距离。
参考图5，图中，P点为工件的第一像素点所对应的工件上的实际空间点在
Figure 300822DEST_PATH_IMAGE014
坐标系的
Figure DEST_PATH_IMAGE027
平面的投影，
Figure 100413DEST_PATH_IMAGE028
点为该P点在左相机图像中的像素点在
Figure 314357DEST_PATH_IMAGE027
平面的投影，
Figure DEST_PATH_IMAGE029
点为该P点在右相机图像中的像素点在
Figure 141368DEST_PATH_IMAGE027
平面的投影，根据相似三角形原理，可得到上述公式（1）。
其中，步骤A4中的预设参考坐标系可以是其中一个双目工业相机的相机坐标系（即预先指定一个双目工业相机的相机坐标系为参考坐标系），其它双目工业相机的相机坐标系与该预设参考坐标系之间的位姿转换矩阵可预先标定得到，可利用该位姿转换矩阵把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，从而第二坐标数据包括作为参考坐标系的双目工业相机的相机坐标系的
Figure 925915DEST_PATH_IMAGE017
坐标值（横坐标值）、
Figure 575202DEST_PATH_IMAGE020
坐标值（纵坐标值）和
Figure 892920DEST_PATH_IMAGE023
坐标值（深度坐标值）。
该预设参考坐标系也可以是大地坐标系或其它坐标系，各双目工业相机的相机坐标系与该预设参考坐标系之间的位姿转换矩阵可预先标定得到，可利用该位姿转换矩阵把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，从而第二坐标数据包括作为预设参考坐标系的横坐标值、纵坐标值和深度坐标值。
优选地，步骤A5包括：
基于ICP点云匹配算法，对各双目工业相机的局部点云数据进行匹配和拼接得到工件的完整的点云数据。
其中ICP点云匹配算法为现有技术，根据ICP点云匹配算法对点云数据进行匹配拼接的方法为现有技术，此处不对其进行详述。
由上可知，该工件点云获取方法，通过获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据；从而只需要利用普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，有利于降低设备成本。
参考图2，本申请提供了一种工件点云获取装置，用于通过多个双目工业相机获取工件的点云数据，多个双目工业相机的总视野范围覆盖工件的加工面；
工件点云获取装置包括：
第一获取模块1，用于获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；
第二获取模块2，用于根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；
第一计算模块3，用于根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；
转换模块4，用于把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；
拼接模块5，用于对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据。
该工件点云获取装置，仅需要利用多个普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，从而有利于降低设备成本。
需要说明的是，双目工业相机由两个相机组成，此处把两个相机视野重叠的范围称为该双目相机的有效视野范围，此处所说的多个双目工业相机的总视野范围是指各双目工业相机的有效视野范围的总的范围，多个双目工业相机的总视野范围覆盖工件的加工面即：该工件的加工面上的任意一点均在至少一个双目工业相机的有效视野范围内。从而确保最终得到的点云数据是该工件的整个加工面上的点云数据。其中，所采用的双目工业相机的数量可根据工件的实际尺寸设置。
在一些优选实施方式中，第二获取模块2用于在根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据的时候，执行：
对左相机图像和右相机图像进行图像分割，以去除背景图像；
采用双目配准算法对去除背景图像后的左相机图像和右相机图像进行配准；
获取工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标；
根据工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据。
在配准前先去除背景图像，可有效避免背景图像对配准结果的影响，提高配准精度。
在一些实施方式中，第二获取模块2在对左相机图像和右相机图像进行图像分割，以去除背景图像的时候，执行：
根据以下公式计算左相机图像和右相机图像中各像素点的自适应阈值：
Figure 969460DEST_PATH_IMAGE001
；
其中，
Figure 975725DEST_PATH_IMAGE002
为左相机图像或右相机图像中第i个像素点的自适应阈值，
Figure 756599DEST_PATH_IMAGE003
为左相机图像或右相机图像中第i个像素点的像素值，
Figure 679556DEST_PATH_IMAGE004
、
Figure 176265DEST_PATH_IMAGE005
分别为左相机图像或右相机图像中第i个像素点的预设邻域的像素值均值和像素值标准差；
把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值。
通过该方式能够快速准确地去除背景图像，从而识别出图像中的工件，且不受光照、噪声等的影响。
其中，预设邻域是指以目标像素点（即当前进行自适应阈值的像素点）为中心的预设尺寸和形状的区域，例如，预设像素半径（可根据实际需要设置）的圆形区域、预设像素边长（可根据实际需要设置）的正方形区域等；计算位于该预设邻域内的所有像素点（这些像素点可能填满该预设领域，也可能不填满该预设领域，对于靠近图像边缘的目标像素点会出现后一种情况）的像素值的均值和标准差，即得到对应的
Figure 184672DEST_PATH_IMAGE004
、
Figure 938213DEST_PATH_IMAGE005
。
其中，一般地，可根据工件的颜色设置该预设像素值，使预设像素值对应的颜色与工件的颜色有明显区别；例如，可把预设像素值设置为0。
在另一些实施方式中，也可先计算左相机图像和右相机图像中的像素值不小于对应的自适应阈值的像素点的像素值平均值Q（左相机图像和右相机图像各自计算相应的），然后判断该像素值平均值Q与预设像素值之差的绝对值是否大于预设的偏差阈值△Q，若是，则把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值，若否，则计算该像素值平均值Q与预设的偏差阈值△Q之差或之和作为背景像素值，并把左相机图像和右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为相应的背景像素值。从而，可保证处理后的背景部分的颜色与工件部分的颜色有明显区别，有效避免在后续处理过程中把背景部分的像素点当作工件部分的像素点进行处理。
其中，第二获取模块2在采用双目配准算法对去除背景图像后的左相机图像和右相机图像进行配准的时候，可采用基于归一平方差的模板匹配方法对去除背景图像后的左相机图像和右相机图像进行配准。其中，基于归一平方差的模板匹配方法是现有技术，此处不对其进行详述。但实际上，也可采用其它现有的双目配准算法进行匹配，此处不对其进行限定。通过配准，可实现左相机图像和右相机图像中属于同一个空间点的像素点之间的配对，保证后续进行第一深度坐标值计算的计算结果准确性。其中，上文所说的工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点，实质上是指该工件的第一像素点为在左相机图像和右相机图像中存在配对关系的像素点；例如，左相机图像中的第j个像素点为工件的像素点，其与右相机图像中的第k个像素点（该像素点也是工件的像素点）存在配对关系，从而左相机图像中的第j个像素点和右相机图像的第k个像素点为工件的同一个第一像素点。
继续以上述左相机图像中的第j个像素点和右相机图像中的第k个像素点为例，第二获取模块2在获取工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标的时候：获取左相机图像中的第j个像素点的像素坐标和右相机图像中的第k个像素点的像素坐标。
在一些实施方式中，第二获取模块2在根据工件的第一像素点在去除背景图像后的左相机图像和右相机图像中的像素坐标，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据的时候，执行：
根据工件的第一像素点在去除背景图像后的左相机图像的像素坐标，利用预先标定得到的左相机图像的像素坐标与对应的双目工业相机的相机坐标之间的转换关系，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第三平面坐标数据；第三平面坐标数据包括第三横坐标值和第三纵坐标值；
根据工件的第一像素点在去除背景图像后的右相机图像的像素坐标，利用预先标定得到的右相机图像的像素坐标与对应的双目工业相机的相机坐标之间的转换关系，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第四平面坐标数据；第四平面坐标数据包括第四横坐标值和第四纵坐标值；
计算第三平面坐标数据和第四平面坐标数据的均值作为第一平面坐标数据。
其中，由于标定误差的存在，因此工件的同一个第一像素点利用左相机图像计算得到的第三平面坐标数据和利用右相机图像计算得到的第四平面坐标数据会有区别，此处，用两者的均值作为该工件的第一像素点的第一平面坐标数据，有利于减小误差，提高第一平面坐标数据的准确性。在实际应用中，也可以第三平面坐标数据作为第一平面坐标数据，或者以第四平面坐标数据作为第一平面坐标数据，误差相对较大。
需要说明的是，参考图4，双目工业相机的两个相机分别为左相机91和右相机92，左相机91的相机坐标系为
Figure 715676DEST_PATH_IMAGE012
坐标系，右相机92的相机坐标系为
Figure 383287DEST_PATH_IMAGE013
坐标系，双目工业相机的相机坐标系为
Figure 878990DEST_PATH_IMAGE014
坐标系，其中，
Figure 424503DEST_PATH_IMAGE012
坐标系的横坐标轴（
Figure 56473DEST_PATH_IMAGE015
轴）、
Figure 98247DEST_PATH_IMAGE013
坐标系的横坐标轴（
Figure 81247DEST_PATH_IMAGE016
轴）和
Figure 164871DEST_PATH_IMAGE014
坐标系的横坐标轴（
Figure 651348DEST_PATH_IMAGE017
轴）平行，
Figure 191919DEST_PATH_IMAGE012
坐标系的纵坐标轴（
Figure 131056DEST_PATH_IMAGE018
轴）、
Figure 18372DEST_PATH_IMAGE013
坐标系的纵坐标轴（
Figure 359355DEST_PATH_IMAGE019
轴）和
Figure 70828DEST_PATH_IMAGE014
坐标系的纵坐标轴（
Figure 762840DEST_PATH_IMAGE020
轴）平行，
Figure 922688DEST_PATH_IMAGE012
坐标系的深度坐标轴（
Figure 649336DEST_PATH_IMAGE021
轴）、
Figure 344759DEST_PATH_IMAGE013
坐标系的深度坐标轴（
Figure 507756DEST_PATH_IMAGE022
轴）和
Figure 143399DEST_PATH_IMAGE014
坐标系的深度坐标轴（
Figure 990133DEST_PATH_IMAGE023
轴）平行，且坐标原点
Figure 512250DEST_PATH_IMAGE024
在坐标原点
Figure 506750DEST_PATH_IMAGE025
和坐标原点
Figure 523248DEST_PATH_IMAGE026
的连线中点处。其中，左相机图像的横轴方向和纵轴方向分别与
Figure 709641DEST_PATH_IMAGE015
轴和
Figure 418971DEST_PATH_IMAGE018
轴平行，右相机图像的横轴方向和纵轴方向分别与
Figure 822139DEST_PATH_IMAGE016
轴和
Figure 642328DEST_PATH_IMAGE019
轴平行。第一平面坐标数据中的第一横坐标值和第一纵坐标值分别为
Figure 683227DEST_PATH_IMAGE017
坐标值和
Figure 563459DEST_PATH_IMAGE020
坐标值；第一深度坐标值为
Figure 188344DEST_PATH_IMAGE023
坐标值；第三平面坐标数据中的第三横坐标值和第三纵坐标值分别为
Figure 546644DEST_PATH_IMAGE017
坐标值和
Figure 695910DEST_PATH_IMAGE020
坐标值；第四平面坐标数据中的第四横坐标值和第四纵坐标值分别为
Figure 950305DEST_PATH_IMAGE017
坐标值和
Figure 62487DEST_PATH_IMAGE020
坐标值。第二获取模块2在计算第三平面坐标数据和第四平面坐标数据的均值作为第一平面坐标数据的时候，计算第三横坐标值和第四横坐标值的均值作为第一横坐标值，并计算第三纵坐标值和第四纵坐标值的均值作为第一纵坐标值。
其中，第一计算模块3用于在根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值的时候，执行：
根据工件的第一像素点在左相机图像的像素坐标，计算工件的第一像素点与左相机图像的中心之间在横向上的第一像素距离；
根据第一像素距离与预先标定得到的左相机图像的像素长度与实际空间长度之间的转换关系，计算第一像素距离对应的第一实际距离；
根据工件的第一像素点在右相机图像的像素坐标，计算工件的第一像素点与右相机图像的中心之间在横向上的第二像素距离；
根据第二像素距离与预先标定得到的右相机图像的像素长度与实际空间长度之间的转换关系，计算第二像素距离对应的第二实际距离；
根据以下公式计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值：
Figure 224478DEST_PATH_IMAGE006
（1）；
其中，
Figure 817133DEST_PATH_IMAGE007
为工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值，
Figure 55479DEST_PATH_IMAGE008
为双目工业相机的焦距（双目工业相机的两个相机的焦距相同），
Figure 140109DEST_PATH_IMAGE009
为双目工业相机的两个相机的相机坐标系原点之间的距离，
Figure 355059DEST_PATH_IMAGE010
为第一实际距离，
Figure 474325DEST_PATH_IMAGE011
为第二实际距离。
参考图5，图中，P点为工件的第一像素点所对应的工件上的实际空间点在
Figure 617992DEST_PATH_IMAGE014
坐标系的
Figure 455498DEST_PATH_IMAGE027
平面的投影，
Figure 411822DEST_PATH_IMAGE028
点为该P点在左相机图像中的像素点在
Figure 385594DEST_PATH_IMAGE027
平面的投影，
Figure 700163DEST_PATH_IMAGE029
点为该P点在右相机图像中的像素点在
Figure 24965DEST_PATH_IMAGE027
平面的投影，根据相似三角形原理，可得到上述公式（1）。
其中，上述的预设参考坐标系可以是其中一个双目工业相机的相机坐标系（即预先指定一个双目工业相机的相机坐标系为参考坐标系），其它双目工业相机的相机坐标系与该预设参考坐标系之间的位姿转换矩阵可预先标定得到，可利用该位姿转换矩阵把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，从而第二坐标数据包括作为参考坐标系的双目工业相机的相机坐标系的
Figure 581717DEST_PATH_IMAGE017
坐标值（横坐标值）、
Figure 3471DEST_PATH_IMAGE020
坐标值（纵坐标值）和
Figure 738209DEST_PATH_IMAGE023
坐标值（深度坐标值）。
该预设参考坐标系也可以是大地坐标系或其它坐标系，各双目工业相机的相机坐标系与该预设参考坐标系之间的位姿转换矩阵可预先标定得到，可利用该位姿转换矩阵把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，从而第二坐标数据包括作为预设参考坐标系的横坐标值、纵坐标值和深度坐标值。
优选地，拼接模块5用于在对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据的时候，执行：
基于ICP点云匹配算法，对各双目工业相机的局部点云数据进行匹配和拼接得到工件的完整的点云数据。
其中ICP点云匹配算法为现有技术，根据ICP点云匹配算法对点云数据进行匹配拼接的方法为现有技术，此处不对其进行详述。
由上可知，该工件点云获取装置，通过获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据；从而只需要利用普通的双目工业相机即可得到工件的点云数据，与现有技术中使用激光雷达扫描来获取点云数据的方式相比，所需的设备的成本更低，有利于降低设备成本。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的工件点云获取方法，以实现以下功能：获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的工件点云获取方法，以实现以下功能：获取各双目工业相机采集的工件的图像；图像包括左相机图像和右相机图像；根据左相机图像和右相机图像获取工件的第一像素点在对应的双目工业相机的相机坐标系下的第一平面坐标数据；第一平面坐标数据包括第一横坐标值和第一纵坐标值；工件的第一像素点是指在双目工业相机的两个相机的公共视野内且属于工件的像素点；根据工件的第一像素点在左相机图像和右相机图像中的像素坐标和对应的双目工业相机的焦距，计算工件的第一像素点在对应的双目工业相机的相机坐标系下的第一深度坐标值；把第一平面坐标数据和第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到工件的局部点云数据；第二坐标数据为三维坐标数据；对各双目工业相机的局部点云数据进行拼接得到工件的完整的点云数据。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种工件点云获取方法，其特征在于，用于通过多个双目工业相机获取工件的点云数据，多个所述双目工业相机的总视野范围覆盖所述工件的加工面；
所述工件点云获取方法包括以下步骤：
A1.获取各所述双目工业相机采集的所述工件的图像；所述图像包括左相机图像和右相机图像；
A2.根据所述左相机图像和所述右相机图像获取所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据；所述第一平面坐标数据包括第一横坐标值和第一纵坐标值；所述工件的第一像素点是指在所述双目工业相机的两个相机的公共视野内且属于所述工件的像素点；
A3.根据所述工件的第一像素点在所述左相机图像和所述右相机图像中的像素坐标和对应的所述双目工业相机的焦距，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值；
A4.把所述第一平面坐标数据和所述第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到所述工件的局部点云数据；所述第二坐标数据为三维坐标数据；
A5.对各所述双目工业相机的所述局部点云数据进行拼接得到所述工件的完整的点云数据。
2.根据权利要求1所述的工件点云获取方法，其特征在于，步骤A2包括：
对所述左相机图像和所述右相机图像进行图像分割，以去除背景图像；
采用双目配准算法对去除背景图像后的所述左相机图像和所述右相机图像进行配准；
获取所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标；
根据所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据。
3.根据权利要求2所述的工件点云获取方法，其特征在于，所述对所述左相机图像和所述右相机图像进行图像分割，以去除背景图像的步骤包括：
根据以下公式计算所述左相机图像和所述右相机图像中各像素点的自适应阈值：
Figure 51299DEST_PATH_IMAGE001
；
其中，
Figure 162475DEST_PATH_IMAGE002
为所述左相机图像或所述右相机图像中第i个像素点的所述自适应阈值，
Figure 861571DEST_PATH_IMAGE003
为所述左相机图像或所述右相机图像中第i个像素点的像素值，
Figure 563948DEST_PATH_IMAGE004
、
Figure 847031DEST_PATH_IMAGE005
分别为所述左相机图像或所述右相机图像中第i个像素点的预设邻域的像素值均值和像素值标准差；
把所述左相机图像和所述右相机图像中的像素值大于对应的自适应阈值的像素点的像素值设为预设像素值。
4.根据权利要求3所述的工件点云获取方法，其特征在于，所述预设像素值为0。
5.根据权利要求2所述的工件点云获取方法，其特征在于，所述根据所述工件的第一像素点在去除背景图像后的所述左相机图像和所述右相机图像中的像素坐标，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据的步骤包括：
根据所述工件的第一像素点在去除背景图像后的所述左相机图像的像素坐标，利用预先标定得到的左相机图像的像素坐标与对应的所述双目工业相机的相机坐标之间的转换关系，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第三平面坐标数据；所述第三平面坐标数据包括第三横坐标值和第三纵坐标值；
根据所述工件的第一像素点在去除背景图像后的所述右相机图像的像素坐标，利用预先标定得到的右相机图像的像素坐标与对应的所述双目工业相机的相机坐标之间的转换关系，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第四平面坐标数据；所述第四平面坐标数据包括第四横坐标值和第四纵坐标值；
计算所述第三平面坐标数据和所述第四平面坐标数据的均值作为所述第一平面坐标数据。
6.根据权利要求1所述的工件点云获取方法，其特征在于，步骤A3包括：
根据所述工件的第一像素点在所述左相机图像的像素坐标，计算所述工件的第一像素点与所述左相机图像的中心之间在横向上的第一像素距离；
根据所述第一像素距离与预先标定得到的左相机图像的像素长度与实际空间长度之间的转换关系，计算所述第一像素距离对应的第一实际距离；
根据所述工件的第一像素点在所述右相机图像的像素坐标，计算所述工件的第一像素点与所述右相机图像的中心之间在横向上的第二像素距离；
根据所述第二像素距离与预先标定得到的右相机图像的像素长度与实际空间长度之间的转换关系，计算所述第二像素距离对应的第二实际距离；
根据以下公式计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值：
Figure 230739DEST_PATH_IMAGE006
；
其中，
Figure 253184DEST_PATH_IMAGE007
为所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值，
Figure 329724DEST_PATH_IMAGE008
为所述双目工业相机的焦距，
Figure 365682DEST_PATH_IMAGE009
为所述双目工业相机的两个相机的相机坐标系原点之间的距离，
Figure 287502DEST_PATH_IMAGE010
为所述第一实际距离，
Figure 226770DEST_PATH_IMAGE011
为所述第二实际距离。
7.根据权利要求1所述的工件点云获取方法，其特征在于，步骤A5包括：
基于ICP点云匹配算法，对各所述双目工业相机的所述局部点云数据进行匹配和拼接得到所述工件的完整的点云数据。
8.一种工件点云获取装置，其特征在于，用于通过多个双目工业相机获取工件的点云数据，多个所述双目工业相机的总视野范围覆盖所述工件的加工面；
所述工件点云获取装置包括：
第一获取模块，用于获取各所述双目工业相机采集的所述工件的图像；所述图像包括左相机图像和右相机图像；
第二获取模块，用于根据所述左相机图像和所述右相机图像获取所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一平面坐标数据；所述第一平面坐标数据包括第一横坐标值和第一纵坐标值；所述工件的第一像素点是指在所述双目工业相机的两个相机的公共视野内且属于所述工件的像素点；
第一计算模块，用于根据所述工件的第一像素点在所述左相机图像和所述右相机图像中的像素坐标和对应的所述双目工业相机的焦距，计算所述工件的第一像素点在对应的所述双目工业相机的相机坐标系下的第一深度坐标值；
转换模块，用于把所述第一平面坐标数据和所述第一深度坐标值转换为预设参考坐标系下的第二坐标数据，得到所述工件的局部点云数据；所述第二坐标数据为三维坐标数据；
拼接模块，用于对各所述双目工业相机的所述局部点云数据进行拼接得到所述工件的完整的点云数据。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述工件点云获取方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述工件点云获取方法中的步骤。
CN202111435895.8A 2021-11-29 2021-11-29 工件点云获取方法、装置、电子设备及存储介质 Active CN113850815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111435895.8A CN113850815B (zh) 2021-11-29 2021-11-29 工件点云获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111435895.8A CN113850815B (zh) 2021-11-29 2021-11-29 工件点云获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113850815A true CN113850815A (zh) 2021-12-28
CN113850815B CN113850815B (zh) 2022-03-08

Family

ID=78982248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435895.8A Active CN113850815B (zh) 2021-11-29 2021-11-29 工件点云获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113850815B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114515924A (zh) * 2022-03-24 2022-05-20 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法
CN115409880A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件数据配准方法、装置、电子设备及存储介质
CN116958220A (zh) * 2023-09-20 2023-10-27 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及系统
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109614889A (zh) * 2018-11-23 2019-04-12 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN110136211A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于主动双目视觉技术的工件定位方法及系统
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法
CN112233136A (zh) * 2020-11-03 2021-01-15 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
US20210049376A1 (en) * 2019-08-14 2021-02-18 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Mobile robot, control method and control system thereof
CN113246135A (zh) * 2021-06-03 2021-08-13 季华实验室 机器人手眼标定方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及系统
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109614889A (zh) * 2018-11-23 2019-04-12 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN110136211A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于主动双目视觉技术的工件定位方法及系统
US20210049376A1 (en) * 2019-08-14 2021-02-18 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Mobile robot, control method and control system thereof
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法
CN112233136A (zh) * 2020-11-03 2021-01-15 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
CN113246135A (zh) * 2021-06-03 2021-08-13 季华实验室 机器人手眼标定方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAIYUAN ZHU等: "Object detection and recognition method based on binocular", 《CONFERENCE:ELEVENTH INTERNATIONAL CONFERENCE ON INFORMATION OPTICS AND PHOTONICS(CIOP 2019)》 *
YUXIANG YANG等: "Vision System of Mobile Robot Combining Binocular and Depth Cameras", 《JOURNAL OF SENSORS》 *
刘杰: "基于结构光的植物三维点云获取技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
李梦真: "基于双目视觉的物体识别与位姿估计的设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
王中任等: "两组双目立体深度图像信息融合与三维重建方法", 《激光与红外》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114515924A (zh) * 2022-03-24 2022-05-20 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法
CN114515924B (zh) * 2022-03-24 2022-11-08 浙江大学 一种基于焊缝识别的塔脚工件自动焊接系统及方法
CN115409880A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件数据配准方法、装置、电子设备及存储介质
CN115409880B (zh) * 2022-08-31 2024-03-22 深圳前海瑞集科技有限公司 工件数据配准方法、装置、电子设备及存储介质
CN116958220A (zh) * 2023-09-20 2023-10-27 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备
CN116958220B (zh) * 2023-09-20 2024-01-12 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN113850815B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN113850815B (zh) 工件点云获取方法、装置、电子设备及存储介质
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN112907676B (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN111308448B (zh) 图像采集设备与雷达的外参确定方法及装置
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN103729632A (zh) 一种基于连通区域滤波的圆形Mark点的定位方法
CN112819896A (zh) 传感器的标定方法及装置、存储介质和标定系统
CN107452028B (zh) 一种确定目标图像位置信息的方法及装置
CN110555878B (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
CN107958466B (zh) 一种Slam算法优化基于模型的跟踪方法
CN114494045A (zh) 一种基于机器视觉的大型直齿轮几何参数测量系统及方法
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN112132907A (zh) 一种相机标定方法、装置、电子设备及存储介质
CN107749071A (zh) 大畸变棋盘格图像角点检测方法及装置
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN112907675A (zh) 图像采集设备的标定方法、装置、系统、设备及存储介质
CN114078110A (zh) 识别在可转动支承的车辆部件上零件的方法、设备和系统
WO2024035918A4 (en) Autonomous solar installation using artificial intelligence
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
CN115131433A (zh) 一种非合作目标位姿的处理方法、装置及电子设备
Ma et al. Depth image denoising and key points extraction for manipulation plane detection
CN109060832B (zh) 一种电子连接器插针工艺缺陷视觉检测方法
JP2010151582A (ja) カメラキャリブレーションターゲット、およびカメラキャリブレーション方法
CN106097345B (zh) 一种线状目标分割方法及分割系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant