CN114494468A - 三维彩色点云构建方法、装置、系统及存储介质 - Google Patents

三维彩色点云构建方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN114494468A
CN114494468A CN202111618027.3A CN202111618027A CN114494468A CN 114494468 A CN114494468 A CN 114494468A CN 202111618027 A CN202111618027 A CN 202111618027A CN 114494468 A CN114494468 A CN 114494468A
Authority
CN
China
Prior art keywords
target
dimensional
point cloud
workpiece
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111618027.3A
Other languages
English (en)
Inventor
杨仁友
秦浩
杨靓
郑凯健
李日富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Marine Science and Engineering Guangdong Laboratory Zhanjiang
Original Assignee
Southern Marine Science and Engineering Guangdong Laboratory Zhanjiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Marine Science and Engineering Guangdong Laboratory Zhanjiang filed Critical Southern Marine Science and Engineering Guangdong Laboratory Zhanjiang
Priority to CN202111618027.3A priority Critical patent/CN114494468A/zh
Publication of CN114494468A publication Critical patent/CN114494468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维彩色点云构建方法、装置、系统及存储介质,该三维彩色点云构建方法应用于加工设备,包括以下步骤:通过传送装置输送目标工件穿过固定支架,并通过激光发射装置发射线激光束至目标工件上;在线激光束扫掠目标工件的过程中,通过视觉传感装置持续获取线激光束投射在目标工件上形成的离散光斑图像;获取离散光斑图像对应目标像素点的三维坐标;通过视觉传感装置获取目标像素点的色彩信息;将色彩信息与目标像素点的三维坐标进行匹配,得到目标工件的三维彩色点云模型。本发明公开的三维彩色点云构建方法可解决目前的三维重建技术无法满足生产加工过程中高精度、高效率、可获取色彩信息的三维重建需求的技术问题。

Description

三维彩色点云构建方法、装置、系统及存储介质
技术领域
本发明属于图像处理技术领域,具体涉及一种三维彩色点云构建方法、三维彩色点云构建装置、三维彩色点云构建系统及计算机可读存储介质。
背景技术
三维重建是指针对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术,在物体加工中发挥着至关重要的作用。三维重建中涉及到对三维物体的测量,其中,非接触式测量(测量工具不需要与三维物体接触)因其高效率而被广泛应用。当前非接触式测量主要包括飞行时间法、双目视觉法等。
飞行时间法是通过发射器发出探测光后,经被测物反射至接收器的时间差来确定传感器到被测物之间的距离;该方法系统误差较大,且不具备检测被测物色彩信息的功能。双目视觉法是利用两个相机从不同的视角获取被测物同一位置的两侧图像,再通过视差法获取被测物的距离信息;该方法在寻找两侧图像的对应关系时运算量较大,且几何测量精度不高,难以满足加工作业时的高精度重建要求。
因此,在生产加工过程中,亟需一种针对三维物体的彩色点云重建方法,以满足加工时高精度、高效率、可获取色彩信息的三维重建需求,从而在后续加工过程中保证对被加工物体姿态的准确识别以及对加工部位的精准定位。
发明内容
为了克服现有技术的上述缺点,本发明的目的在于提供一种三维彩色点云构建方法,旨在解决目前的三维重建技术无法满足生产加工过程中高精度、高效率、可获取色彩信息的三维重建需求的技术问题。
本发明为达到其目的,所采用的技术方案如下:
一种三维彩色点云构建方法,应用于加工设备,所述加工设备包括传送装置、固定支架、激光发射装置和视觉传感装置,所述激光发射装置、所述视觉传感装置安装于所述固定支架上,所述传送装置用于输送目标工件,所述固定支架位于所述传送装置的输送路径上;
所述三维彩色点云构建方法包括以下步骤:
通过所述传送装置输送所述目标工件穿过所述固定支架,并通过所述激光发射装置发射线激光束至所述目标工件上;
在所述线激光束扫掠所述目标工件的过程中,通过所述视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像;
获取所述离散光斑图像对应目标像素点的三维坐标;
通过所述视觉传感装置获取所述目标像素点的色彩信息;
将所述色彩信息与所述目标像素点的三维坐标进行匹配,得到所述目标工件的三维彩色点云模型。
进一步地,所述获取所述离散光斑图像对应目标像素点的三维坐标的步骤,包括:
基于所述离散光斑图像,生成对应的工件轮廓线;
提取所述工件轮廓线经过的像素点,以作为所述目标像素点;
获取所述激光发射装置的三维坐标和所述视觉传感装置的三维坐标,采用三角测量法计算出所述目标像素点的三维坐标。
进一步地,所述基于所述离散光斑图像,生成对应的工件轮廓线的步骤,包括:
通过灰度重心法获取所述离散光斑图像中每一激光点的质心;
通过最小二乘法对每一所述激光点的质心进行线性拟合,得到所述工件轮廓线。
进一步地,所述通过所述视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像的步骤,包括:
通过所述视觉传感装置持续获取包含所述目标工件的拍摄画面;
基于所述线激光束的波长信息,通过滤波装置从所述拍摄画面中提取出所述离散光斑图像。
进一步地,所述加工设备还包括光源补偿装置,所述光源补偿装置安装于所述固定支架上;
所述通过所述视觉传感装置持续获取包含所述目标工件的拍摄画面的步骤之后,包括:
通过所述光源补偿装置对所述拍摄画面执行补光操作。
进一步地,所述通过所述视觉传感装置获取所述目标像素点的色彩信息的步骤,包括:
获取所述目标工件在所述传送装置上的每帧移动距离;
基于所述每帧移动距离,对所述目标像素点的三维坐标进行调整,以得到所述目标像素点的色彩坐标;
通过所述视觉传感装置获取与所述色彩坐标相对应的色彩信息,以作为目标色彩信息;
所述将所述色彩信息与所述目标像素点的三维坐标进行匹配的步骤,包括:
将所述目标色彩信息与对应的所述目标像素点的三维坐标相结合。
进一步地,所述通过所述传送装置输送所述目标工件穿过所述固定支架的步骤之前,包括:
通过所述传送装置输送检测件穿过所述固定支架;其中,所述检测件具有垂直于所述传送装置的输送方向的检测标识;
通过所述视觉传感装置截取包含所述检测标识的第一拍摄图像和第二拍摄图像;其中,所述第一拍摄图像与所述第二拍摄图像相隔一帧;
计算所述第一拍摄图像上所述检测标识与所述第二拍摄图像上所述检测标识之间的直线距离,以作为所述目标工件在所述传送装置上的每帧移动距离。
对应地,本发明还提出一种三维彩色点云构建装置,所述三维彩色点云构建装置包括:
驱动模块,用于控制传送装置输送目标工件穿过固定支架、控制激光发射装置发射线激光束至所述目标工件上、控制视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像;
获取模块,用于获取所述离散光斑图像对应目标像素点的三维坐标、以及用于通过所述视觉传感装置获取所述目标像素点的色彩信息;
构建模块,用于将所述色彩信息与所述目标像素点的三维坐标进行匹配,以得到所述目标工件的三维彩色点云模型。
对应地,本发明还提出一种三维彩色点云构建系统,所述三维彩色点云构建系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如前述的三维彩色点云构建方法的步骤。
对应地,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有三维彩色点云构建程序,所述三维彩色点云构建程序被处理器执行时实现如前述的三维彩色点云构建方法的步骤。
与现有技术相比,本发明的有益效果是:
本发明提出的三维彩色点云构建方法,在传送装置输送目标工件的过程中,激光发射装置发射的线激光束可随目标工件的移动而完整扫掠目标工件,通过视觉传感装置获取每一帧图像中线激光束投射在目标工件上的激光点,并提取各个激光点所在像素点(即目标像素点)上的三维坐标,再对应采集各个目标像素点的色彩信息,最后将各个目标像素点的三维坐标与该目标像素点的色彩信息相结合,从而以精准高效的方式获取到可表征目标工件真实尺寸及表面颜色的三维模型,即目标工件的三维彩色点云模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明三维彩色点云构建方法一实施例的流程示意图;
图2为本发明三维彩色点云构建方法一实施例的细化流程示意图;
图3为本发明三维彩色点云构建方法另一实施例的流程示意图;
图4为本发明实施例方案中的加工设备结构示意图;
图5为本发明实施例方案中目标工件每帧移动距离的获取方式示意图;
图6为本发明实施例方案涉及的装置结构示意图;
图7为本发明实施例方案涉及的硬件运行环境的系统结构示意图。
附图标记说明:
标号 名称 标号 名称
1 传送装置 4 视觉传感装置
2 固定支架 5 目标工件
3 激光发射装置 6 光源补偿装置
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图7所示,图7是本发明实施例方案涉及的三维彩色点云构建系统的结构示意图。
如图7所示,该三维彩色点云构建系统可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该三维彩色点云构建系统还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器可包括光传感器、运动传感器、红外线传感器以及其他传感器,在此不再赘述。
本领域技术人员可以理解,图7中示出的具体结构并不构成对该三维彩色点云构建系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及三维彩色点云构建程序。
在图7所示的三维彩色点云构建系统中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的三维彩色点云构建程序,并执行以下操作:
通过传送装置输送目标工件穿过固定支架,并通过激光发射装置发射线激光束至目标工件上;
在线激光束扫掠目标工件的过程中,通过视觉传感装置持续获取线激光束投射在目标工件上形成的离散光斑图像;
获取离散光斑图像对应目标像素点的三维坐标;
通过视觉传感装置获取目标像素点的色彩信息;
将色彩信息与目标像素点的三维坐标进行匹配,得到目标工件的三维彩色点云模型。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
基于离散光斑图像,生成对应的工件轮廓线;
提取工件轮廓线经过的像素点,以作为目标像素点;
获取激光发射装置的三维坐标和视觉传感装置的三维坐标,采用三角测量法计算出目标像素点的三维坐标。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
通过灰度重心法获取离散光斑图像中每一激光点的质心;
通过最小二乘法对每一激光点的质心进行线性拟合,得到工件轮廓线。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
通过视觉传感装置持续获取包含目标工件的拍摄画面;
基于线激光束的波长信息,通过滤波装置从拍摄画面中提取出离散光斑图像。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
通过光源补偿装置对拍摄画面执行补光操作。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
获取目标工件在传送装置上的每帧移动距离;
基于每帧移动距离,对目标像素点的三维坐标进行调整,以得到目标像素点的色彩坐标;
通过视觉传感装置获取与色彩坐标相对应的色彩信息,以作为目标色彩信息。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
将目标色彩信息与对应的目标像素点的三维坐标相结合。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
通过传送装置输送检测件穿过固定支架;其中,检测件具有垂直于传送装置的输送方向的检测标识;
通过视觉传感装置截取包含检测标识的第一拍摄图像和第二拍摄图像;其中,第一拍摄图像与第二拍摄图像相隔一帧;
计算第一拍摄图像上检测标识与第二拍摄图像上检测标识之间的直线距离,以作为目标工件在传送装置上的每帧移动距离。
参照图1至图4,本发明一实施例提供一种三维彩色点云构建方法,应用于加工设备,该加工设备包括传送装置1、固定支架2、激光发射装置3和视觉传感装置4,激光发射装置3、视觉传感装置4安装于固定支架2上,传送装置1用于输送目标工件5,固定支架2位于传送装置1的输送路径上;该三维彩色点云构建方法包括:
S1,通过传送装置1输送目标工件5穿过固定支架2,并通过激光发射装置3发射线激光束至目标工件5上;
S2,在线激光束扫掠目标工件5的过程中,通过视觉传感装置4持续获取线激光束投射在目标工件5上形成的离散光斑图像;其中,视觉传感装置4安装于固定支架2上;
传送装置1可以是图示的输送链或其它能实现工件输送的驱动设备;线激光束可看作由若干激光点组成的一段连续的线段,线激光束上的激光点可投射于目标工件5上并被视觉传感装置4所采集。其中,视觉传感装置4可以是与图像处理装置通信连接的彩色摄像机。优选地,激光发射装置3位于传送装置1输送面(即放置目标工件5的表面,可与水平面平行)的正上方并垂直向下发射线激光束,以使线激光束的投射方向垂直于传送装置1的输送面;在线激光束完整扫掠目标工件5(即目标工件5完全通过线激光束)的过程中,视觉传感装置4拍摄到包含有投射在目标工件5上的激光点的每一帧图像(即离散光斑图像)并显现在图像处理装置的显示面(具体可为显示屏)上。
S3,获取离散光斑图像对应目标像素点的三维坐标;
当线激光束投射在目标工件5上时,线激光束的轨迹将贴合目标工件5的外轮廓,因此,通过获取每一帧图像中投射在目标工件5上的激光点的三维坐标,并将各帧图像的三维坐标结合起来,将形成坐标集合,该坐标集合包含了投射在目标工件5上所有激光点的三维坐标,其可表征目标工件5的外轮廓形状,据此即可构建出目标工件5的三维模型。
具体地,获取上述三维坐标的方式可以是通过图像处理装置将每一帧图像中各个激光点所在的像素点(即目标像素点)提取出来,再提取出各个目标像素点的三维坐标,并以该提取到的目标像素点三维坐标作为激光点的三维坐标。
S4,通过视觉传感装置4获取目标像素点的色彩信息;
S5,将色彩信息与目标像素点的三维坐标进行匹配,得到目标工件5的三维彩色点云模型。
视觉传感装置4具有色彩信息采集功能,色彩信息具体可为每一帧图像中各个目标像素点的R(红)、G(绿)、B(蓝)三原色参数。当某一帧离散光斑图像中所有目标像素点的三维坐标及色彩信息均为已知的情况下,将各个目标像素点的三维坐标及色彩信息相结合,可得到该帧三维彩色点云图像。而将各帧三维彩色点云图像进行集合,即形成了可表征目标工件5真实尺寸及表面颜色的三维模型,即目标工件5的三维彩色点云模型。
由此可见,本实施例提供的三维彩色点云构建方法,在传送装置1输送目标工件5的过程中,激光发射装置3发射的线激光束可随目标工件5的移动而完整扫掠目标工件5,通过视觉传感装置4获取每一帧图像中线激光束投射在目标工件5上的激光点,并提取各个激光点所在像素点(即目标像素点)上的三维坐标,再对应采集各个目标像素点的色彩信息,最后将各个目标像素点的三维坐标与该目标像素点的色彩信息相结合,从而以精准高效的方式获取到可表征目标工件5真实尺寸及表面颜色的三维模型,即目标工件5的三维彩色点云模型。
具体地,参照图1至图4,步骤S3包括:
S31,基于离散光斑图像,生成对应的工件轮廓线;
S32,提取工件轮廓线经过的像素点,以作为目标像素点;
由于视觉传感装置4获取到的线激光束投射在目标工件5上的激光点较为离散,据此提取出的目标像素点难以准确表征目标工件5轮廓线的实际走向,因此该具体实施方式将每一帧图像中目标工件5上的激光点整合为连续的线段(即工件轮廓线),再基于工件轮廓线去提取目标像素点,如此可使最终构建出来的目标工件5三维模型更为准确。具体地,将目标工件5上的激光点整合为工件轮廓线,可通过人工在离散光斑图像中手动操作的方式,或借助图像处理装置通过相关算法自动进行线性拟合的方式实现。
S33,获取激光发射装置3的三维坐标和视觉传感装置4的三维坐标,采用三角测量法计算出目标像素点的三维坐标。
三角测量法是借由待测目标点与固定基准线上已知端点的角度来测量目标距离的方法,当已知一个边长及两个观测角度时,待测目标点可以被标定为一个三角形上的第三个点。该具体实施方式中以目标像素点作为待测目标点,以激光发射装置3所在点及视觉传感装置4所在点分别作为两个已知端点,通过图像处理装置提取出激光发射装置3及视觉传感装置4的三维坐标后,即可通过三角测量法得到目标像素点的三维坐标。
具体地,参照图1至图4,步骤S31包括:
S311,通过灰度重心法获取离散光斑图像中每一激光点的质心;
采用灰度重心法获取离散光斑图像中激光点的质心,首先需要对每一帧离散光斑图像进行灰度化处理。灰度化处理即将初始状态为彩色的离散光斑图像转换为灰度图像,灰度图像中不同的灰度值对应不同的光强。具体地,图像处理装置通常采用RGB模型(加色法混色模型)进行图像显示,RGB模型以红(R)、绿(G)、蓝(B)作为图像的三原色,R、G、B的值范围为0~255,当R=G=B时,图像呈现一种灰度颜色。对离散光斑图像进行灰度化处理,即将离散光斑图像中每一像素点的R、G、B值按一定比例调整为一个共同的灰度值,该灰度值可通过以下公式算出:
Figure BDA0003435674710000101
获取到灰度图像后,可基于该灰度图像,按灰度值的分布求出光强权重质心坐标,即将灰度值分布中的质心作为激光点的中心。由于灰度重心法为现有算法,此处对其具体运算过程不作详细描述。
S312,通过最小二乘法对每一激光点的质心进行线性拟合,得到工件轮廓线。
最小二乘法是通过最小化误差的平方和寻找数据的最佳函数匹配,应用到图形的线性拟合上时,主要体现为找到一条直线,使得所有已知的点到该直线的距离之和最小。通过灰度重心法获取到激光点的质心坐标后,可基于各个质心坐标,通过最小二乘法拟合得到工件轮廓线,从而可使工件轮廓线更为贴合目标工件5的真实轮廓,提高最终构建的目标工件5三维模型的精准度。
具体地,参照图1至图4,步骤S2包括:
S21,通过视觉传感装置4持续获取包含目标工件5的拍摄画面;
S22,基于线激光束的波长信息,通过滤波装置从拍摄画面中提取出离散光斑图像。
滤波装置具体为一种光滤波器,光滤波器用于进行波长选择,其可从众多波长中筛选出所需的波长,而除此波长以外的光将会被拒绝通过。在具体实施过程中,通过滤波装置的滤波作用可将拍摄画面中包含有线激光束的图像区域保留,形成离散光斑图像,而其它无关区域即可自动忽略,从而可降低系统的运算强度,节省功耗,提高系统运算效率。
具体地,参照图1至图4,步骤S21之后,包括:
S211,通过光源补偿装置6对拍摄画面执行补光操作;其中,光源补偿装置6安装于固定支架2上。
光源补偿装置6用于提高拍摄画面的亮度,以获取更为清晰的图像。光源补偿装置6具体可包括各类发光器件。
进一步地,参照图1至图4,在一个示例性的实施例中,步骤S4包括:
S41,获取目标工件5在传送装置1上的每帧移动距离;
S42,基于每帧移动距离,对目标像素点的三维坐标进行调整,以得到目标像素点的色彩坐标;
S43,通过视觉传感装置4获取与色彩坐标相对应的色彩信息,以作为目标色彩信息;
步骤S5,包括:
S51,将目标色彩信息与对应的目标像素点的三维坐标相结合。
当激光发射装置3发射的线激光束投射到目标工件5上时,由于线激光束本身具有色彩(通常为红色),因此目标工件5表面被线激光束所覆盖区域的色彩将相应发生变化,此时视觉传感装置4获取到的目标像素点的色彩信息将发生失真(不能表征目标工件5在该区域的真实颜色)。基于此,一种解决方案是:待目标像素点随着目标工件5的移动而离开线激光束投射区域后(具体可以是目标工件5继续移动一帧的距离后),再获取目标像素点的色彩信息,并将该获取到的色彩信息与之前获取到的三维坐标相结合,如此即可得到色彩信息准确的三维彩色点云模型。
具体地,如图4和图5所示,以y轴为目标工件5的移动方向并建立坐标系,此时可记第n帧离散光斑图像中m个目标像素点的三维坐标集合为:
Figure BDA0003435674710000111
第n+1帧离散光斑图像中m个目标像素点的三维坐标集合为:
Figure BDA0003435674710000112
其中d为目标工件5的每帧移动距离,则
Figure BDA0003435674710000113
中的三维坐标为
Figure BDA0003435674710000114
中对应目标像素点的色彩坐标。通过视觉传感装置4获取
Figure BDA0003435674710000115
的色彩信息并作为目标色彩信息,该目标色彩信息即
Figure BDA0003435674710000116
中目标像素点的真实色彩信息,通过该目标色彩信息与
Figure BDA0003435674710000117
中目标像素点的三维坐标相结合,可得到色彩信息准确的第n帧三维彩色点云图像。而对于其它帧的离散光斑图像亦作同样处理,最终可获得色彩信息准确的目标工件5的三维彩色点云模型。
具体地,参照图1至图4,步骤S1之前,包括:
S01,通过传送装置1输送检测件穿过固定支架2;其中,检测件具有垂直于传送装置1的输送方向的检测标识;
S02,通过视觉传感装置4截取包含检测标识的第一拍摄图像和第二拍摄图像;其中,第一拍摄图像与第二拍摄图像相隔一帧;
S03,计算第一拍摄图像上检测标识与第二拍摄图像上检测标识之间的直线距离,以作为目标工件5在传送装置1上的每帧移动距离。
在该具体实施方式中,检测件可为卡纸,检测标识可以是绘制或粘贴于卡纸上的直线段。如图5所示,在对目标工件5进行三维彩色点云模型构建之前,将检测件放置于传送装置1上,在传送装置1的驱动下,视觉传感装置4拍摄到的第二拍摄图像中的检测标识相对于第一拍摄图像上的检测标识移动了一定距离,通过测量该距离,即可便捷地获取目标工件5的每帧移动距离。
需要说明的是,在实际应用中,检测件及检测标识亦可不限于以上形式,只需起到通过标记形式以便于检测每帧移动距离的作用即可。
对应地,参照图4和图6,本发明实施例还提供一种三维彩色点云构建装置,该三维彩色点云构建装置包括:
驱动模块10,用于控制传送装置1输送目标工件5穿过固定支架2、控制激光发射装置3发射线激光束至目标工件5上、控制视觉传感装置4持续获取线激光束投射在目标工件5上形成的离散光斑图像;
获取模块20,用于获取离散光斑图像对应目标像素点的三维坐标、以及用于通过视觉传感装置4获取目标像素点的色彩信息;
构建模块30,用于将色彩信息与目标像素点的三维坐标进行匹配,以得到目标工件5的三维彩色点云模型。
本实施例的三维彩色点云构建装置用于实现前述的三维彩色点云构建方法,因此该三维彩色点云构建装置中的具体实施方式可见前文中的三维彩色点云构建方法的实施例部分,例如,驱动模块10用于实现上述三维彩色点云构建方法中的步骤S1和步骤S2,获取模块20用于实现上述三维彩色点云构建方法中的步骤S3和步骤S4、构建模块30用于实现上述三维彩色点云构建方法中的步骤S5,所以,其具体实施方式可以参照上述实施例的描述,在此不再赘述。
对应地,本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有三维彩色点云构建程序,该三维彩色点云构建程序被处理器执行时实现上述任一实施例中的三维彩色点云构建方法的步骤。
在本实施例中,上述计算机可读存储介质可以包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(RandomAccessMemory,随机存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种三维彩色点云构建方法,应用于加工设备,其特征在于,所述加工设备包括传送装置、固定支架、激光发射装置和视觉传感装置,所述激光发射装置、所述视觉传感装置安装于所述固定支架上,所述传送装置用于输送目标工件,所述固定支架位于所述传送装置的输送路径上;
所述三维彩色点云构建方法包括以下步骤:
通过所述传送装置输送所述目标工件穿过所述固定支架,并通过所述激光发射装置发射线激光束至所述目标工件上;
在所述线激光束扫掠所述目标工件的过程中,通过所述视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像;
获取所述离散光斑图像对应目标像素点的三维坐标;
通过所述视觉传感装置获取所述目标像素点的色彩信息;
将所述色彩信息与所述目标像素点的三维坐标进行匹配,得到所述目标工件的三维彩色点云模型。
2.根据权利要求1所述的三维彩色点云构建方法,其特征在于,所述获取所述离散光斑图像对应目标像素点的三维坐标的步骤,包括:
基于所述离散光斑图像,生成对应的工件轮廓线;
提取所述工件轮廓线经过的像素点,以作为所述目标像素点;
获取所述激光发射装置的三维坐标和所述视觉传感装置的三维坐标,采用三角测量法计算出所述目标像素点的三维坐标。
3.根据权利要求2所述的三维彩色点云构建方法,其特征在于,所述基于所述离散光斑图像,生成对应的工件轮廓线的步骤,包括:
通过灰度重心法获取所述离散光斑图像中每一激光点的质心;
通过最小二乘法对每一所述激光点的质心进行线性拟合,得到所述工件轮廓线。
4.根据权利要求1所述的三维彩色点云构建方法,其特征在于,所述通过所述视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像的步骤,包括:
通过所述视觉传感装置持续获取包含所述目标工件的拍摄画面;
基于所述线激光束的波长信息,通过滤波装置从所述拍摄画面中提取出所述离散光斑图像。
5.根据权利要求4所述的三维彩色点云构建方法,其特征在于,所述加工设备还包括光源补偿装置,所述光源补偿装置安装于所述固定支架上;
所述通过所述视觉传感装置持续获取包含所述目标工件的拍摄画面的步骤之后,包括:
通过所述光源补偿装置对所述拍摄画面执行补光操作。
6.根据权利要求1所述的三维彩色点云构建方法,其特征在于,所述通过所述视觉传感装置获取所述目标像素点的色彩信息的步骤,包括:
获取所述目标工件在所述传送装置上的每帧移动距离;
基于所述每帧移动距离,对所述目标像素点的三维坐标进行调整,以得到所述目标像素点的色彩坐标;
通过所述视觉传感装置获取与所述色彩坐标相对应的色彩信息,以作为目标色彩信息;
所述将所述色彩信息与所述目标像素点的三维坐标进行匹配的步骤,包括:
将所述目标色彩信息与对应的所述目标像素点的三维坐标相结合。
7.根据权利要求6所述的三维彩色点云构建方法,其特征在于,所述通过所述传送装置输送所述目标工件穿过所述固定支架的步骤之前,包括:
通过所述传送装置输送检测件穿过所述固定支架;其中,所述检测件具有垂直于所述传送装置的输送方向的检测标识;
通过所述视觉传感装置截取包含所述检测标识的第一拍摄图像和第二拍摄图像;其中,所述第一拍摄图像与所述第二拍摄图像相隔一帧;
计算所述第一拍摄图像上所述检测标识与所述第二拍摄图像上所述检测标识之间的直线距离,以作为所述目标工件在所述传送装置上的每帧移动距离。
8.一种三维彩色点云构建装置,其特征在于,所述三维彩色点云构建装置包括:
驱动模块,用于控制传送装置输送目标工件穿过固定支架、控制激光发射装置发射线激光束至所述目标工件上、控制视觉传感装置持续获取所述线激光束投射在所述目标工件上形成的离散光斑图像;
获取模块,用于获取所述离散光斑图像对应目标像素点的三维坐标、以及用于通过所述视觉传感装置获取所述目标像素点的色彩信息;
构建模块,用于将所述色彩信息与所述目标像素点的三维坐标进行匹配,以得到所述目标工件的三维彩色点云模型。
9.一种三维彩色点云构建系统,其特征在于,所述三维彩色点云构建系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的三维彩色点云构建方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有三维彩色点云构建程序,所述三维彩色点云构建程序被处理器执行时实现如权利要求1至7中任一项所述的三维彩色点云构建方法的步骤。
CN202111618027.3A 2021-12-27 2021-12-27 三维彩色点云构建方法、装置、系统及存储介质 Pending CN114494468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111618027.3A CN114494468A (zh) 2021-12-27 2021-12-27 三维彩色点云构建方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111618027.3A CN114494468A (zh) 2021-12-27 2021-12-27 三维彩色点云构建方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114494468A true CN114494468A (zh) 2022-05-13

Family

ID=81495433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111618027.3A Pending CN114494468A (zh) 2021-12-27 2021-12-27 三维彩色点云构建方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114494468A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021355A1 (zh) * 2022-07-27 2024-02-01 梅卡曼德(北京)机器人科技有限公司 三维激光相机及标定方法及用于获取彩色点云图像的方法
CN117575985A (zh) * 2024-01-19 2024-02-20 大连亚明汽车部件股份有限公司 一种汽车零部件铸造监管方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021355A1 (zh) * 2022-07-27 2024-02-01 梅卡曼德(北京)机器人科技有限公司 三维激光相机及标定方法及用于获取彩色点云图像的方法
CN117575985A (zh) * 2024-01-19 2024-02-20 大连亚明汽车部件股份有限公司 一种汽车零部件铸造监管方法、装置、设备及介质
CN117575985B (zh) * 2024-01-19 2024-06-04 大连亚明汽车部件股份有限公司 一种汽车零部件铸造监管方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10891500B2 (en) Method and apparatus for acquiring traffic sign information
US11361469B2 (en) Method and system for calibrating multiple cameras
JP3624353B2 (ja) 3次元形状計測方法およびその装置
CN114494468A (zh) 三维彩色点云构建方法、装置、系统及存储介质
US9482754B2 (en) Detection apparatus, detection method and manipulator
US20160371855A1 (en) Image based measurement system
Lee et al. Low-cost 3D motion capture system using passive optical markers and monocular vision
KR20020054223A (ko) 3차원 물체 부피계측시스템 및 방법
EP3069100B1 (en) 3d mapping device
KR101592685B1 (ko) 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법
JP2012215394A (ja) 三次元計測装置および三次元計測方法
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
CN110148099B (zh) 投影关系的修正方法及装置、电子设备、计算机可读介质
US11810304B1 (en) Perspective distortion correction of discrete optical patterns in images using depth sensing
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN109143167B (zh) 一种障碍信息获取装置及方法
US20160275359A1 (en) Information processing apparatus, information processing method, and computer readable medium storing a program
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
KR20130133596A (ko) 전주 기울기 측정 방법 및 장치
TW201705088A (zh) 基於場景之立體影像所產生之差異圖
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112489136A (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
KR20230171858A (ko) 참조패턴을 이용한 사물 식별 장치 및 방법
JP3919722B2 (ja) 肌形状計測方法及び肌形状計測装置
CN114549590A (zh) 目标对象的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination