CN114511626B - 基于rgbd相机系统的图像处理装置、方法、设备及介质 - Google Patents

基于rgbd相机系统的图像处理装置、方法、设备及介质 Download PDF

Info

Publication number
CN114511626B
CN114511626B CN202210413534.1A CN202210413534A CN114511626B CN 114511626 B CN114511626 B CN 114511626B CN 202210413534 A CN202210413534 A CN 202210413534A CN 114511626 B CN114511626 B CN 114511626B
Authority
CN
China
Prior art keywords
camera
point
array camera
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210413534.1A
Other languages
English (en)
Other versions
CN114511626A (zh
Inventor
王灿
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202210413534.1A priority Critical patent/CN114511626B/zh
Publication of CN114511626A publication Critical patent/CN114511626A/zh
Application granted granted Critical
Publication of CN114511626B publication Critical patent/CN114511626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于RGBD相机系统的图像处理方法、系统、电子设备及介质，涉及图像处理技术领域，用于解决相关技术中基于线结构光相机所得到的点云缺少RGB信息的问题。该方法包括：获取待处理点，待处理点取自由线结构光相机扫描被测物得到的点云；查询与待处理点关联的目标点，目标点位于由线阵相机扫描被测物得到的RGB图像上，其中，线结构光相机和线阵相机相对于被测物做匀速直线运动；基于RGB图像计算目标点的目标RGB值，并将目标RGB值赋予待处理点。本发明具有可以得到具有RGB信息的点云的优点。

Description

基于RGBD相机系统的图像处理装置、方法、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于RGBD相机系统的图像处理装置、方法、电子设备及介质。
背景技术
线结构光相机由激光发生器和相机按特定角度组合构成，激光发生器的激光在物体表面形成反射光被相机所接受，物体凹凸变化的轮廊在相机靶面生成平面图像，从而转换成立体的点云。
在相关技术中，部分点云算法需要用到RGB信息，但是，上述方法所得到的点云却由于不具有RGB信息，从而导致上述方法被替代或放弃后续需要基于RGB信息的点云算法。
目前针对相关技术中基于线结构光相机所得到的点云缺少RGB信息的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于RGBD相机系统的图像处理方法、装置、电子装置及介质，其具有可以得到具有RGB信息的点云的优点。
第一方面，本申请实施例提供了一种基于RGBD相机系统的图像处理方法，所述方法包括：
在其中一些实施例中，获取待处理点，所述待处理点取自由线结构光相机扫描被测物得到的点云；
查询与所述待处理点关联的目标点，所述目标点位于由线阵相机扫描所述被测物得到的RGB图像上，其中，所述线结构光相机和所述线阵相机相对于所述被测物做匀速直线运动；
基于所述RGB图像计算所述目标点的目标RGB值，并将所述目标RGB值赋予所述待处理点。
在其中一些实施例中，所述线结构光相机包括面阵相机和激光发生器，所述待处理点与所述目标点符合转换关系，所述转换关系包括：
Figure DEST_PATH_IMAGE001
，其中，
Figure 100002_DEST_PATH_IMAGE002
为所述面阵相机的扫描开始时刻，
Figure DEST_PATH_IMAGE003
为在时刻
Figure 191540DEST_PATH_IMAGE002
标定板坐标系与面阵坐标系之间的旋转平移关系，
Figure 100002_DEST_PATH_IMAGE004
为所述线阵相 机的扫描开始时刻，
Figure DEST_PATH_IMAGE005
为在时刻
Figure 702156DEST_PATH_IMAGE004
标定板坐标系与线阵相机坐标系之间的旋转平移 关系；
Figure 100002_DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
，
Figure 100002_DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
，
Figure 100002_DEST_PATH_IMAGE010
，Q=
Figure DEST_PATH_IMAGE011
，其中
Figure 100002_DEST_PATH_IMAGE012
为所 述待处理点，Q为所述目标点，
Figure DEST_PATH_IMAGE013
为在面阵相机坐标系下所述被测物的平移速度，
Figure 100002_DEST_PATH_IMAGE014
为所述 待处理点对应的取像时刻，
Figure DEST_PATH_IMAGE015
为在线阵相机坐标系下所述被测物的平移速度，
Figure 100002_DEST_PATH_IMAGE016
为
Figure 449270DEST_PATH_IMAGE015
在X 分量，
Figure DEST_PATH_IMAGE017
及线阵相机的内参计算得到，r为所述线阵相机的扫描采样频率。
在其中一些实施例中，计算旋转平移关系
Figure 100002_DEST_PATH_IMAGE018
包括：
控制所述线阵相机扫描标定板得到第一图像，根据所述第一图像和所述线阵相机 的参数得到在时刻
Figure 782162DEST_PATH_IMAGE004
标定板坐标系与所述线阵相机坐标系之间的旋转平移关系，并记为
Figure 517906DEST_PATH_IMAGE005
，其中，所述标定板与所述被测物的运动状态相同，且
Figure 74789DEST_PATH_IMAGE004
为所述线阵相机的扫描开 始时刻；
控制所述面阵相机拍摄移动后的标定板并得到第二图像，根据所述第二图像与所 述面阵相机的参数得到在时刻
Figure DEST_PATH_IMAGE019
标定板坐标系与面阵相机坐标系之间的旋转平移关系， 并记为
Figure 100002_DEST_PATH_IMAGE020
，其中，
Figure 545085DEST_PATH_IMAGE019
为标定点对应的取像时刻；
根据中间公式计算所述面阵相机在时刻
Figure 478405DEST_PATH_IMAGE002
标定板坐标系与面阵相机坐标系之间 的旋转平移关系，并记为
Figure 944022DEST_PATH_IMAGE003
，所述中间公式为
Figure DEST_PATH_IMAGE021
，其中，
Figure 327599DEST_PATH_IMAGE002
为所述面阵相机的扫描开始时刻；
基于旋转平移关系
Figure 878666DEST_PATH_IMAGE003
和旋转平移关系
Figure 350098DEST_PATH_IMAGE005
得到旋转平移关系
Figure 545587DEST_PATH_IMAGE018
。
在其中一些实施例中，所述激光发生器采用单线激光发生器，所述面阵相机的扫描方向与所述激光发生器的线激光束所在平面相垂直。
在其中一些实施例中，所述线结构光相机与所述线阵相机通过刚性支架固定。
在其中一些实施例中，所述基于所述RGB图像计算所述目标点的目标RGB值包括：将所述目标点的RGB值作为所述目标RGB值。
在其中一些实施例中，所述基于所述RGB图像计算所述目标点的目标RGB值包括：
获取在RGB图像上与所述目标点相邻的四个像素点，并均记为相邻点；
读取各个所述相邻点的RGB值；
基于所述相邻点的位置和RGB值根据插值算法计算得到所述目标RGB值。
第二方面，本申请实施例提供了一种基于RGBD相机系统的图像处理装置，包括线结构光相机、线阵相机及服务器，所述线结构光相机和所述线阵相机相对于所述被测物做匀速直线运动，所述服务器用于执行上述第一方面所述的基于RGBD相机系统的图像处理方法。
第三方面，本申请实施例提供了一种电子装置，其包括存储器和处理器，所处存储器中存储有计算机程序，所述处理器被设置为执行所述计算机程序时实现如上述第一方面所述的基于RGBD相机系统的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于RGBD相机系统的图像处理方法。
相比于相关技术，本发明的有益效果在于：经由线结构光相机可以得到被测物的点云，经由线阵相机可以得到被测物的RGB图像，然后通过点云与RGB图像之间的关系可以得到与待处理点对应目标点，从而确定待处理点的目标RGB值，以为后续点云处理算法提供精确的RGB信息；由于线结构光相机与线阵相机同步运动，从而可以一次扫描计算便可以得到带RGB信息的点云，以提高整体的处理效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例所示基于RGBD相机系统的图像处理方法的流程图；
图2是本申请实施例所示计算旋转平移关系
Figure 709853DEST_PATH_IMAGE018
的流程图；
图3是本申请实施例所示线结构光相机和线阵相机的位置示意图；
图4是本申请实施例所示线结构光相机、线阵相机及点P的位置示意图；
图5是本申请实施例所示基于RGBD相机系统的图像处理装置的结构框图；
图6是本申请实施例所示电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
本实施例提供了一种基于RGBD相机系统的图像处理方法，旨在相关技术中基于线结构光相机所得到的点云缺少RGB信息的问题。
图1是本申请实施例所示基于RGBD相机系统的图像处理方法的流程图，参照图1所示，本方法包括步骤S101至步骤S103。
步骤S101、获取待处理点，待处理点取自由线结构光相机扫描被测物得到的点云。
步骤S102、查询与待处理点关联的目标点，目标点位于由线阵相机扫描被测物得到的RGB图像上，其中，线结构光相机和线阵相机相对于被测物做匀速直线运动。
步骤S103、基于RGB图像计算目标点的目标RGB值，并将目标RGB值赋予待处理点。
值得说明的是，该方法的步骤可以是基于执行设备完成的。具体地，该执行设备可以为服务器、云服务器、用户端以及处理器等设备，但该执行设备不限于上述类型。
综上所示，经由线结构光相机可以得到被测物的点云，经由线阵相机可以得到被测物的RGB图像，然后通过点云与RGB图像之间的转换关系可以得到与待处理点对应目标点，从而确定待处理点的目标RGB值，以为后续的点云分割、数据匹配、数据提取等点云处理算法提供精确的RGB信息；由于线结构光相机。
作为可选的实施例，图3是本申请实施例所示线结构光相机和线阵相机的位置示意图，左侧LSC表示线阵相机，中部LL表示激光发生器，右侧LLC表示线结构光相机中的面阵相机，线阵相机LSC的成像平面以相连的三角形示意，激光发生器LL的光平面以相连的三角形示意，两者通常不平行，面阵相机LLC的视锥以相连的四棱锥示意。
参考图3所示，在本发明中，所涉及到的设备包括线结构光相机和线阵相机，二者相固定且同步运动。在此值得说明的是，线结构光相机包括面阵相机和激光发生器，由此可知，面阵相机、激光发生器以及线阵相机三者固定，三者可以通过刚性支架固定。
在本发明中，相机整体即RGBD相机系统，其相对于被测物做均速直线运动，以符合面阵相机与线阵相机的扫描要求。可以理解，在扫描过程中，可以相机整体固定，被测物相对运动，也可以被测物固定，相机整体相对固定，两种情况对后续的处理并不影响。
在此值得说明的是，对于相机整体内部，面阵相机、激光发生器以及线阵相机三者的空间位置在此并不做限制，线结构光相机和线阵相机的触发相互独立，只要可以保证各自的扫描过程可以正常进行以及所得到的数据完整即可。
该激光发生器采用单线激光发生器，且面阵相机的扫描方向与激光发生器的线激光束所在平面相垂直，经由该面阵相机和激光发生器的结合，可以得到一组点云，但是，该组点云是不直接具有RGB信息的。由于线结构光相机扫描被测物得到点云是现有技术，在此不进行说明，但是应当理解的是，待处理点是在面阵相机坐标系下的。
作为可选的实施例，图4是本申请实施例所示线结构光相机、线阵相机及点P的位 置示意图，被测物固定且相机整体相对被测物运动。其中，偏右的实线构成的相机整体表示 在时刻
Figure 100002_DEST_PATH_IMAGE022
下的状态，且此时P点正处在线阵相机LSC的取像平面上，此时的点P对应RGB图像 的目标点；虚线框表示在时刻
Figure 404008DEST_PATH_IMAGE014
下激光的光平面位置，面阵相机LLC在该时刻触发取像，得 到的点云中包含该点P，且此时的点P对应待处理点。参照图4和图1所示，待处理点与目标点 对应于被测物的同一点，由此可以直接将目标RGB值赋予待处理点，以使得点云具有RGB信 息。相应地，待处理点与目标点符合转换关系，转换关系包括以下公式
Figure 413552DEST_PATH_IMAGE001
，其中，
Figure 853761DEST_PATH_IMAGE002
为面阵相机的扫描开始时刻，
Figure 923348DEST_PATH_IMAGE003
为 在时刻
Figure 324374DEST_PATH_IMAGE002
标定板坐标系与面阵坐标系之间的旋转平移关系，
Figure 137609DEST_PATH_IMAGE004
为线阵相机的扫描开始 时刻，
Figure 432324DEST_PATH_IMAGE005
为在时刻
Figure 938392DEST_PATH_IMAGE004
标定板坐标系与线阵相机坐标系之间的旋转平移关系。相应地，
Figure 544822DEST_PATH_IMAGE018
为线阵相机扫描开始时刻的线阵相机坐标系与线结构光相机扫描开始时刻的线结 构光相机坐标系间的旋转平移关系。
Figure 224065DEST_PATH_IMAGE006
，
Figure 310970DEST_PATH_IMAGE013
为在面阵相机坐标系下被测物的平移速度，
Figure 925622DEST_PATH_IMAGE014
为待处 理点对应的取像时刻。其中，
Figure DEST_PATH_IMAGE023
，其为待处理点且是已知量。通过上述方案， 可以在面阵相机坐标系下，将待处理点
Figure 894715DEST_PATH_IMAGE012
转换至时刻
Figure 49753DEST_PATH_IMAGE002
的点
Figure 100002_DEST_PATH_IMAGE024
。
Figure DEST_PATH_IMAGE025
，且
Figure 100002_DEST_PATH_IMAGE026
。在此值得说明的是，线阵相机以Z 轴为主轴，其单行像素处于Y轴上，扫描方向通常几乎与X轴平行，且
Figure DEST_PATH_IMAGE027
对应在线阵相机坐 标系下的时刻
Figure 115798DEST_PATH_IMAGE004
的点
Figure 25985DEST_PATH_IMAGE027
，通过该公式，可以得到
Figure 100002_DEST_PATH_IMAGE028
。
Figure DEST_PATH_IMAGE029
，
Figure 100002_DEST_PATH_IMAGE030
，
Figure 149885DEST_PATH_IMAGE010
，Q=
Figure 108614DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE031
为 3*3的单位，Q为目标点，
Figure 576636DEST_PATH_IMAGE015
为在线阵相机坐标系下被测物的平移速度，
Figure 657724DEST_PATH_IMAGE016
为
Figure 804672DEST_PATH_IMAGE015
在X分量，
Figure 754042DEST_PATH_IMAGE017
及线阵相机的内参计算得到，r为线阵相机的扫描采样频率。
Figure 100002_DEST_PATH_IMAGE032
，其 中
Figure DEST_PATH_IMAGE033
和
Figure 100002_DEST_PATH_IMAGE034
为线阵相机内参中的数据，相机内参的计算可以采用现有的标定法，在此不做限 制。线阵相机的单目模型可以有多种选择，但需要保证扫描速度
Figure 607728DEST_PATH_IMAGE015
包含在其中。
通过上述技术方案，经由转换关系可以确定与待处理点对应的目标点，计算过程简单。在此值得说明的是，即便将转换关系分步执行，也应当视为于本发明相同。
作为可选的实施例，本方法还可以包括计算旋转平移关系
Figure 594139DEST_PATH_IMAGE018
，图2是本申请实 施例所示计算旋转平移关系
Figure 228383DEST_PATH_IMAGE018
的流程图，参考图1至图4所示，计算旋转平移关系
Figure 715865DEST_PATH_IMAGE018
的可以包括步骤S201至步骤S204。
步骤S201、控制线阵相机扫描标定板得到第一图像，根据第一图像和线阵相机的 参数得到在时刻
Figure 751954DEST_PATH_IMAGE004
标定板坐标系与线阵相机坐标系之间的旋转平移关系，并记为
Figure 909266DEST_PATH_IMAGE005
，其中，标定板与被测物的运动状态相同，且
Figure 30805DEST_PATH_IMAGE004
为线阵相机的扫描开始时刻。
第一图像为RGB图像，在此值得说明的是，在该步骤S201中的标定板是用于得到旋转平移关系的，具体的计算过程为现有技术，在此不做赘述，其中标定板与被测物的设定相同，线阵相机和面阵相机均相对于该标定板做匀速直线运动。
步骤S202、控制面阵相机拍摄移动后的标定板并得到第二图像，根据第二图像与 面阵相机的参数得到在时刻
Figure 72711DEST_PATH_IMAGE019
标定板坐标系与所面阵相机坐标系之间的旋转平移关系， 并记为
Figure 697727DEST_PATH_IMAGE020
，其中，
Figure 291520DEST_PATH_IMAGE019
为标定点对应的取像时刻。步骤S201和步骤S202的执行顺序在此 不做限制，具体根据相机整体结构与标定板之间为位置关系，但是均要相对标定板可以完 成完整的扫描。
步骤S203、根据中间公式计算面阵相机在时刻
Figure 556148DEST_PATH_IMAGE002
标定板坐标系与面阵相机坐标 系之间的旋转平移关系，并记为
Figure 729640DEST_PATH_IMAGE003
，中间公式为
Figure 271480DEST_PATH_IMAGE021
，其中，
Figure 973857DEST_PATH_IMAGE002
为面阵相机的扫描开始时刻。
步骤S204、基于旋转平移关系
Figure 742092DEST_PATH_IMAGE003
和旋转平移关系
Figure 188117DEST_PATH_IMAGE005
得到旋转平移关系
Figure 850043DEST_PATH_IMAGE018
。
在此值得说明的是，通过预先利用标定板确定旋转平移关系
Figure 723321DEST_PATH_IMAGE003
和旋转平移关 系
Figure 228120DEST_PATH_IMAGE005
，以便于得到旋转平移关系
Figure 212257DEST_PATH_IMAGE018
用于步骤S102中。线结构光相机和线阵相机刚 性连接，则一次扫描后便可以得到用于计算旋转平移关系
Figure 994268DEST_PATH_IMAGE018
所需的数据，从而缩短了 整体扫描的时间，即提高了工作效率。
作为可选的实施例，对于步骤S103，其具体可以包括以下步骤：将目标点的RGB值作为目标RGB值。对于本实施例而言，点云的上色过程仅涉及赋值，其过程简单且难度不高。
作为可选的实施例，对于步骤S103，其还可以采用另一种方式，具体可以包括以下步骤。
获取在RGB图像上与目标点相邻的四个像素点，并均记为相邻点。该目标点位非整形像素，相邻点为整形像素，在RGB图像上，其具有x轴和y轴，因此目标点具有四个像素点。例如，目标点坐标为（2.3， 6.4），则四个相邻点分别为（2，6）（2，7）（3，6）（3，7）。在双三次、样条插值等其他插值法中，可能需要用到更大范围的区域，如3X3的区域，在此不做限制。
读取各个相邻点的RGB值。通过该步骤，可以得到4个RGB值。
基于相邻点的位置和RGB值根据插值算法计算得到目标RGB值。该插值算法可以采用双线性插值、双三次插值、样条插值等，优选采用双线性插值。
由于点云是三维图像，而RGB图像是二维图像，导致点云的部分待处理点与对应的目标点存在着较小误差，若直接将目标点的RGB值赋予待处理点，则会导致点云的RGB信息误差较大。但是，在本实施例中，通过对相邻点进行插值处理得到的目标RGB值与待处理点的实际RGB值更为贴近，从而提高点云的RGB信息的准确度。
本实施例还提供了一种基于RGBD相机系统图像处理装置，图5是本申请实施例所示图像处理装置的结构框图，该图像处理装置包括线结构光相机、线阵相机及服务器，线结构光相机包括面阵相机和激光发生器。面阵相机、线阵相机、激光发生器均与服务器通信连接，至于是直接连接还是间接连接，在此不做限制。
线结构光相机和线阵相机相对于被测物做匀速直线运动，服务器用于执行如上述任意实施例的基于RGBD相机系统的图像处理方法。
该服务器包括获取模块、查询模块及处理模块，分别对应用于执行步骤S101、步骤S102、步骤S103，具体在此不再赘述。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子设备，图6是本申请实施例所示电子设备的结构框图，参照图6所示，该电子设备包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行实现上述实施例中的任意一种基于RGBD相机系统的图像处理方法，具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
另外，结合上述实施例中的基于RGBD相机系统的图像处理方法，本申请实施例五可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于RGBD相机系统的图像处理方法，该方法包括：
获取待处理点，待处理点取自由线结构光相机扫描被测物得到的点云；
查询与待处理点关联的目标点，目标点位于由线阵相机扫描被测物得到的RGB图像上，其中，线结构光相机和线阵相机相对于被测物做匀速直线运动；
基于RGB图像计算目标点的目标RGB值，并将目标RGB值赋予待处理点。
如图6所示，以一个处理器为例，电子设备中的处理器、存储器、输入装置和输出装置可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器作为一种计算机可读存储介质，可以包括高速随机存取存储器、非易失性存储器等，可用于存储操作系统、软件程序、计算机可执行程序和数据库，如本发明实施例一的基于RGBD相机系统的图像处理方法对应的程序指令/模块，还可以包括内存，可用于为操作系统和计算机程序提供运行环境。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。
处理器用于提供计算和控制能力，可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过运行存储在存储器中的计算机可执行程序、软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例一的基于RGBD相机系统的图像处理方法。
该电子设备的输出装置可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
该电子设备还可包括网络接口/通信接口，该电子设备的网络接口用于与外部的终端通过网络连接通信。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）、DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
值得注意的是，在该基于RGBD相机系统的图像处理方法的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于RGBD相机系统的图像处理方法，其特征在于，所述方法包括：
获取待处理点，所述待处理点取自由线结构光相机扫描被测物得到的点云；
查询与所述待处理点关联的目标点，所述目标点位于由线阵相机扫描所述被测物得到的RGB图像上，其中，所述线结构光相机和所述线阵相机相对于所述被测物做匀速直线运动；
基于所述RGB图像计算所述目标点的目标RGB值，并将所述目标RGB值赋予所述待处理点；
其中，所述线结构光相机包括面阵相机和激光发生器，所述激光发生器采用单线激光发生器，所述面阵相机的扫描方向与所述激光发生器的线激光束所在平面相垂直；
所述待处理点与所述目标点符合转换关系，所述转换关系包括：
Figure DEST_PATH_IMAGE002
，其中，
Figure DEST_PATH_IMAGE004
为所述面阵相机的扫描开始时刻，
Figure DEST_PATH_IMAGE006
为在时刻
Figure 8679DEST_PATH_IMAGE004
标定板坐标系与面阵坐标系之间的旋转平移关系，
Figure DEST_PATH_IMAGE008
为所述线阵相机的扫描开始时刻，
Figure DEST_PATH_IMAGE010
为在时刻
Figure 565300DEST_PATH_IMAGE008
标定板坐标系与线阵相机坐标系之间的旋转平移关系；
计算旋转平移关系
Figure DEST_PATH_IMAGE012
包括：
控制所述线阵相机扫描标定板得到第一图像，根据所述第一图像和所述线阵相机的参数得到在时刻
Figure 423665DEST_PATH_IMAGE008
标定板坐标系与所述线阵相机坐标系之间的旋转平移关系，并记为
Figure 615612DEST_PATH_IMAGE010
，其中，所述标定板与所述被测物的运动状态相同，且
Figure 10078DEST_PATH_IMAGE008
为所述线阵相机的扫描开始时刻；
控制所述面阵相机拍摄移动后的标定板并得到第二图像，根据所述第二图像与所述面阵相机的参数得到在时刻
Figure DEST_PATH_IMAGE014
标定板坐标系与面阵相机坐标系之间的旋转平移关系，并记为
Figure DEST_PATH_IMAGE016
，其中，
Figure 973486DEST_PATH_IMAGE014
为标定点对应的取像时刻；
根据中间公式计算所述面阵相机在时刻
Figure 771678DEST_PATH_IMAGE004
标定板坐标系与面阵相机坐标系之间的旋转平移关系，并记为
Figure 141217DEST_PATH_IMAGE006
，所述中间公式为
Figure DEST_PATH_IMAGE018
，其中，
Figure 154303DEST_PATH_IMAGE004
为所述面阵相机的扫描开始时刻；
基于旋转平移关系
Figure 944405DEST_PATH_IMAGE006
和旋转平移关系
Figure 636417DEST_PATH_IMAGE010
得到旋转平移关系
Figure 535279DEST_PATH_IMAGE012
。
2.根据权利要求1所述的基于RGBD相机系统的图像处理方法，其特征在于，所述方法还包括：
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
为在面阵相机坐标系下被测物的平移速度，
Figure DEST_PATH_IMAGE024
为待处理点对应的取像时刻；其中，
Figure DEST_PATH_IMAGE026
，其为待处理点且是已知量；在所述面阵相机坐标系下，将所述待处理点
Figure DEST_PATH_IMAGE028
转换至时刻
Figure 652140DEST_PATH_IMAGE004
的点
Figure DEST_PATH_IMAGE030
；
Figure DEST_PATH_IMAGE032
，且
Figure DEST_PATH_IMAGE034
；其中，线阵相机以Z轴为主轴，其单行像素处于Y轴上，扫描方向与X轴平行，且
Figure DEST_PATH_IMAGE036
对应在线阵相机坐标系下的时刻
Figure 193236DEST_PATH_IMAGE008
的点
Figure 106965DEST_PATH_IMAGE036
，通过
Figure 54193DEST_PATH_IMAGE032
，得到
Figure DEST_PATH_IMAGE038
；
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE044
，Q=
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE048
为3*3的单位，Q为目标点，
Figure DEST_PATH_IMAGE050
为在线阵相机坐标系下被测物的平移速度，
Figure DEST_PATH_IMAGE052
为
Figure 854921DEST_PATH_IMAGE050
在X分量，
Figure DEST_PATH_IMAGE054
及线阵相机的内参计算得到，r为线阵相机的扫描采样频率；
Figure DEST_PATH_IMAGE056
，其中
Figure DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE060
为线阵相机内参中的数据。
3.根据权利要求1所述的基于RGBD相机系统的图像处理方法，其特征在于，所述线结构光相机与所述线阵相机通过刚性支架固定。
4.根据权利要求1至3任意一项所述的基于RGBD相机系统的图像处理方法，其特征在于，所述基于所述RGB图像计算所述目标点的目标RGB值包括：将所述目标点的RGB值作为所述目标RGB值。
5.根据权利要求1至3任意一项所述的基于RGBD相机系统的图像处理方法，其特征在于，所述基于所述RGB图像计算所述目标点的目标RGB值包括：
获取在RGB图像上与所述目标点相邻的四个像素点，并均记为相邻点；
读取各个所述相邻点的RGB值；
基于所述相邻点的位置和RGB值根据插值算法计算得到所述目标RGB值。
6.一种基于RGBD相机系统的图像处理装置，其特征在于，包括：线结构光相机、线阵相机及服务器，所述线结构光相机和所述线阵相机相对于所述被测物做匀速直线运动，所述服务器用于执行如权利要求1至5中任意一项所述的基于RGBD相机系统的图像处理方法。
7.一种电子设备，其包括存储器和处理器，其特征在于，所处存储器中存储有计算机程序，所述处理器被设置为执行所述计算机程序时实现权利要求1至5中任意一项所述的基于RGBD相机系统的图像处理方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任意一项所述的基于RGBD相机系统的图像处理方法。
CN202210413534.1A 2022-04-20 2022-04-20 基于rgbd相机系统的图像处理装置、方法、设备及介质 Active CN114511626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210413534.1A CN114511626B (zh) 2022-04-20 2022-04-20 基于rgbd相机系统的图像处理装置、方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210413534.1A CN114511626B (zh) 2022-04-20 2022-04-20 基于rgbd相机系统的图像处理装置、方法、设备及介质

Publications (2)

Publication Number Publication Date
CN114511626A CN114511626A (zh) 2022-05-17
CN114511626B true CN114511626B (zh) 2022-08-05

Family

ID=81555431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210413534.1A Active CN114511626B (zh) 2022-04-20 2022-04-20 基于rgbd相机系统的图像处理装置、方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114511626B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679647A (zh) * 2013-11-11 2014-03-26 北京航天控制仪器研究所 一种三维激光成像系统的点云模型真彩色处理方法
CN111436216A (zh) * 2018-11-13 2020-07-21 北京嘀嘀无限科技发展有限公司 用于彩色点云生成的方法和系统
WO2021035524A1 (zh) * 2019-08-27 2021-03-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033447B (zh) * 2019-04-12 2022-11-08 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法
CN111965624B (zh) * 2020-08-06 2024-04-09 阿波罗智联(北京)科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
JP2022042146A (ja) * 2020-09-02 2022-03-14 株式会社トプコン データ処理装置、データ処理方法およびデータ処理用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679647A (zh) * 2013-11-11 2014-03-26 北京航天控制仪器研究所 一种三维激光成像系统的点云模型真彩色处理方法
CN111436216A (zh) * 2018-11-13 2020-07-21 北京嘀嘀无限科技发展有限公司 用于彩色点云生成的方法和系统
WO2021035524A1 (zh) * 2019-08-27 2021-03-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Practical and accurate calibration of RGB-D cameras using spheres;Aaron N. Staranowicz 等;《ELSEVIER》;20150409;第102-114段 *
基于时空匹配的车载激光点云与CCD线阵图像的融合;杨长强等;《测绘科学》;20100320(第02期);第34-35,184页 *
车载移动测量激光点云与线阵影像融合;张伟红等;《昆明冶金高等专科学校学报》;20150215(第01期);第53-57，76页 *

Also Published As

Publication number Publication date
CN114511626A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11997397B2 (en) Method, apparatus, and device for processing images, and storage medium
CN110223226B (zh) 全景图像拼接方法及系统
JP4782899B2 (ja) 視差検出装置、測距装置及び視差検出方法
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
US10027947B2 (en) Image processing apparatus and image processing method
EP3135033B1 (en) Structured stereo
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN110136114A (zh) 一种波面高度测量方法、终端设备及存储介质
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
EP4071713B1 (en) Parameter calibration method and apapratus
CN112258418A (zh) 图像畸变校正方法、装置、电子设备和存储介质
CN110738730B (zh) 点云匹配方法、装置、计算机设备和存储介质
CN111445513B (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN114511626B (zh) 基于rgbd相机系统的图像处理装置、方法、设备及介质
JP6977812B2 (ja) ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体
CN114063046A (zh) 参数标定方法、装置、计算机设备和存储介质
CN112233185B (zh) 相机标定方法、图像配准方法及摄像器件、存储装置
JP7509897B2 (ja) 深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム
CN111539964B (zh) 基于深度图像的植株冠层表面积获取方法、装置、计算机设备和存储介质
CN114283177A (zh) 图像配准方法、装置、电子设备和可读存储介质
EP4040392A1 (en) Camera calibration method and apparatus and electronic device
TWI826185B (zh) 外部參數判定方法及影像處理裝置
CN116579907B (zh) 晶圆图像获取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant