CN110827230A - 一种利用tof提升rgb图像质量的方法和装置 - Google Patents
一种利用tof提升rgb图像质量的方法和装置 Download PDFInfo
- Publication number
- CN110827230A CN110827230A CN201910848341.7A CN201910848341A CN110827230A CN 110827230 A CN110827230 A CN 110827230A CN 201910848341 A CN201910848341 A CN 201910848341A CN 110827230 A CN110827230 A CN 110827230A
- Authority
- CN
- China
- Prior art keywords
- image
- tof
- rgb
- module
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 13
- 230000011514 reflex Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种利用ToF提升RGB图像质量的方法，包括步骤：S1.获取内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄的TOF图像和两帧不同的RGB图像；S2.对TOF图像进行相位展开重建生成TOF上采样图像；两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像；S3.基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；S4.基于两帧RGB图像和精细空间图像计算得出具有空间信息的精细图像。根据本发明提供的利用ToF提升RGB图像质量的方法，提升RGB图像中深度信息的准确度，进而可以基于精确深度信息对RGB图像进行虚化，从而提升RGB图像的虚化效果。本发明还提供了一种利用ToF提升RGB图像质量的装置。
Description
技术领域
本发明涉及摄影领域，特别涉及一种具有深度信息的RGB图像质量的方法和装置。
背景技术
移动终端配置的摄像头愈趋高端，但是由于移动终端的尺寸和结构等限制，导致与单反相机还存在较大的差距，在摄拍摄效果上无法达到单反相机的效果。对此，越来越多厂家通过图像计算单元对移动终端所拍摄的图像进行处理提升RGB图像的质量。其中，背景虚化作为单反相机的独特功能，近几年也被移动终端厂家所采纳，作为其拍照特效内置于其终端设备中。
不同于单反相机，移动终端的图像虚化功能主要基于获取拍摄图像的深度信息，并对不同深度上的图像进行相应的虚化处理，以达到与单反相机相近似的背景虚化效果。
广东欧珀移动通信有限公司在其公开号为CN104333700 A、名称为一种图像虚化方法和图像虚化装置的专利申请文件中，公开了一种图像虚化方法和图像虚化装置，其基于双RGB摄像头在同一平面上沿同一拍摄方向同步采集图像，并基于双RGB摄像头获取图像的差异计算得到图像深度信息，并基于深度信息对图像进行虚化。该技术采用了双RGB摄像头获取的双目视觉来计算的场景深度信息，往往会使得深度信息的计算结果不甚理想，导致虚化物体的边缘信息，尤其是细小物体的边缘检测的错误。
成都通甲优博科技有限责任公司在其公开号为CN 109146767 A、名称为基于深度图的图像虚化方法及装置的专利申请文件中，公开了基于深度图的图像虚化方法及装置，其基于深度相机获取的深度图对人像轮廓进行优化处理。但现有的消费级的拍摄设备中深度相机的分辨率较低，并且缺少RGB图像与深度图像的精准对齐，是很难达到理想的虚化效果。
对此，有必要提供一种可以在RGB图像的拍摄过程中对其虚化特效的提升的方法和装置。
发明内容
本发明的目的是一种可以在RGB图像的拍摄过程中对其虚化特效的提升的方法和装置。
为了实现上述目的，本发明公开了一种利用ToF提升RGB图像质量的方法，包括步骤：S1.获取内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄的TOF图像和两帧不同的RGB图像；S2.对TOF图像进行相位展开重建生成TOF上采样图像；两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像；S3.基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；S4.基于两帧RGB图像和精细空间图像计算得出具有空间信息的精细图像。
与现有技术相比，本发明提供的利用ToF提升RGB图像质量的方法，两帧不同的RGB图像通过立体匹配生成第一视差图像和第二视差图像，并基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像，进而计算得出具有空间信息的精细图像。根据本发明提供的利用ToF提升RGB图像质量的方法，双RGB图像和TOF图像的深度信息相互补，提升RGB图像中深度信息的准确度，进而可以基于精确深度信息对RGB图像进行虚化，尤其是边缘及细小物体能够被准确虚化，从而提升RGB图像的虚化效果。
较佳的，所述步骤S2中“对TOF图像进行相位展开重建生成TOF上采样图像”具体为：基于TOF图像的像素误差和两帧RGB图像计算TOF图像每个像素的最大距离值，使用每个像素的最大距离值倍数对TOF图像进行相位展开重建，生成TOF上采样图像；TOF相机的像素通常较低，经过相位展开重建生成的TOF上采样图像具有与RGB图像相同的像素，以便后续将图像深度信息融合到RGB图像中。
较佳的，所述步骤S2中“两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像”具体为：识别两帧RGB图像具有独特的密集纹理和平坦非纹理区域的区别区域，以及两帧RGB图像中的一致区域和不一致区域；当感兴趣的区域被确定为区别区域和一致区域时，比较该区域在两帧RGB图像中的差异来估计区别和一致区域的每个像素的视差值；当确定感兴趣区域是区别区域和不一致区域时，则使用TOF上采样图像获得该区域估计区别和不一致区域的每个像素的视差值；在感兴趣的区域为区别区域和不一致区域，使用TOF上采样图像对该感兴趣区域进行补充完善，从而提高成像质量。
较佳的，所述步骤S3具体为：分析第一视差图像和第二视差图像以识别一致区域和不一致区域，该一致区域是指第一视差图像和第二视差图像中视差图像相对应的区域；使用第一视差图像和第二视差图像中的一致区域的视差值，重建TOF上采样图像来校正相应区域的深度，生成精细空间图像。
较佳的，所述步骤S1和步骤S2之间还包括双目匹配步骤，所述双目匹配步骤具体为：RGB模组分别拍摄两帧RGB图像，并利用RGB模组的内外参数进行图像预处理对齐；角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
为了实现上述目的，本发明公开了一种利用ToF提升RGB图像质量的装置，包括：信号控制器，所述信号控制器用于获取TOF图像和两帧不同的RGB图像，所述TOF图像和两帧不同的RGB图像为内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄获取；彩色图差异求解及精细空间信息计算模块，所述彩色图差异求解及精细空间信息计算模块对TOF图像进行相位展开重建生成TOF上采样图像、并对两帧RGB图像进行立体匹配生成第一视差图像和第二视差图像，基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；空间信息图计算模块，所述空间信息图计算模块用于对RGB图像和精细空间图像计算得出具有空间信息的精细图像。
与现有技术相比，本发明提供的利用ToF提升RGB图像质量的装置，信号控制器用于获取TOF图像和双RGB图像，彩色图差异求解及精细空间信息计算模块用于对TOF图像和两帧RGB图像进行计算生成精细空间图像，而空间信息图计算模块将RGB图像和精细空间图像融合生成具有空间信息的精细图像。根据本发明提供的利用ToF提升RGB图像质量的装置，能够实现前述的利用ToF提升RGB图像质量的方法，对双RGB图像和TOF图像的深度信息相互补，提升RGB图像中深度信息的准确度，进而可以基于精确深度信息对RGB图像进行虚化，尤其是边缘及细小物体能够被准确虚化，从而提升RGB图像的虚化效果。
较佳的，所述利用ToF提升RGB图像质量的装置还包括双目匹配模块，所述双目匹配模块利用RGB模组的内外参数对两帧RGB图像进行图像预处理对齐，并角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
较佳的，所述利用ToF提升RGB图像质量的装置还包括模组内参及外参校准模块，所述模组内参及外参校准模块用于在进行图像采集之前，分别获取RGB模组和ToF模组的内参，并就两者之间的外部参数进行校准。
较佳的，所述利用ToF提升RGB图像质量的装置还包括两个RGB模组和一个TOF模组，两个RGB模组和一个TOF模组设置于同一平面内并朝向同一方向；两个所述RGB模组和一个TOF模组分别拍摄以得到两帧不同的RGB图像和一帧TOF图像。
较佳的，所述利用ToF提升RGB图像质量的装置还包括一个RGB模组和一个TOF模组，一个RGB模组和一个TOF模组设置于同一平面内并朝向同一方向；所述TOF模组拍摄得到一帧TOF图像，所述RGB模组连续拍摄得到两帧不同的RGB图像。
附图说明
图1a、图1b、图1c为双RGB模组和ToF模组在移动设备上的应用示例图。
图2a和图2b为单RGB模组和ToF模组在移动设备上的应用示例图。
图3为本发明利用ToF提升RGB图像质量的方法的流程示意图。
图4为本发明利用ToF提升RGB图像质量的方法另一实施例的流程示意图。
图5为TOF图像的相位展开和视差图像生成的流程示意图。
图6为本发明利用ToF提升RGB图像质量的装置的结构示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明提供了一种利用ToF提升RGB图像质量的方法和可以实现该方法的装置。以下结合说明书附图1a-图6对该利用ToF提升RGB图像质量的方法和可以实现该方法的装置进行详细说明。
如图1a、图1b、图1c、图2a、图2b所示，本发明提供的一种利用ToF提升RGB图像质量的方法和装置，为基于移动设备上的RGB模组和TOF模组获取的双RGB图像和TOF图像进行计算得出具有空间信息的精细图像，进一步可以基于精细图像的空间信息对精细图像进行虚化处理。其中，本发明提供的利用ToF提升RGB图像质量的方法和装置中，仅要求用于获取RGB图像和TOF图像的RGB模组和TOF模组处于同一平面内、朝向同一方向，对RGB模组和TOF模组的相对位置没有限制；RGB模组的数量可以为两个，亦可以为一个。
如图2所示，本发明公开的一种利用ToF提升RGB图像质量的方法，包括步骤：S1.获取内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄的TOF图像和两帧不同的RGB图像；S2.对TOF图像进行相位展开重建生成TOF上采样图像；两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像；S3.基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；S4.基于两帧RGB图像和精细空间图像计算得出具有空间信息的精细图像。
与现有技术相比，本发明提供的利用ToF提升RGB图像质量的方法，两帧不同的RGB图像通过立体匹配生成第一视差图像和第二视差图像，并基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像，进而计算得出具有空间信息的精细图像。根据本发明提供的利用ToF提升RGB图像质量的方法，双RGB图像和TOF图像的深度信息相互补，提升RGB图像中深度信息的准确度，进而可以基于精确深度信息对RGB图像进行虚化，尤其是边缘及细小物体能够被准确虚化，从而提升RGB图像的虚化效果。
结合图3-图6所示，对本发明提供的利用ToF提升RGB图像质量的方法进行更为具体的说明：
移动设备于同一平面内、朝同一方向设置有TOF模组和RGB模组，其中TOF模组的数量可以为一个，RGB模组的数量为一个或两个；TOF模组和RGB模组先行进行模组内参和外参校准，具体在步骤S1之前，TOF模组和RGB模组分别拍摄图像分别获取RGB模组和ToF模组的内参，并就两者之间的外部参数进行校准。为实现该校准步骤，如图6所示，本发明提供的利用ToF提升RGB图像质量的装置包括模组内参及外参校准模块，所述模组内参及外参校准模块用于在进行图像采集之前，分别获取RGB模组和ToF模组的内参，并就两者之间的外部参数进行校准。具体在实践中，该模组内参及外参校准模块可以为利用张正友标定法实现参数的标定，其对于本领域技术人员为公知常识，在此不再加以详细说明。
本发明公开的一种利用ToF提升RGB图像质量的方法中，步骤S1为：获取内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄的TOF图像和两帧不同的RGB图像。为实现该校准步骤，本发明提供的利用ToF提升RGB图像质量的装置还包括信号控制器，所述信号控制器用于获取TOF图像和两帧不同的RGB图像，所述TOF图像和两帧不同的RGB图像为内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄获取。在一较佳实施例中，信号控制器还可以控制TOF模组和RGB模组同步拍摄。具体在实践中，信号控制器分别与RGB模组和ToF模组相连接，利用I2C控制两模组的同步拍摄；ToF模组设置为获取被摄场景中物体反射的测量光，并生成相应的相位数据；RGB模组则同步生成相应RGB图像数据，其中信号控制器被设置分别自TOF传感器和RGB传感器接收相位数据和RGB图像数据，并为所获取的相位数据和RGB图像数据建立相互对应；将所获取的对应的相位数据和RGB图像数据传输给系统芯片内进行计算。
可以理解的，当RGB模组为两个时，位于平面上朝同一方向的一个TOF模组和两个RGB模组同步拍摄即可获取一帧TOF图像和两帧不同的RGB图像；当RGB模组为一个时，位于平面上朝同一方向的一个TOF模组和一个RGB模组同步拍摄时，TOF图像拍摄获取一帧TOF图像，RGB模组连续拍摄获取两帧RGB图像，由于移动设备在连续拍摄两帧RGB图像的过程中不可避免地发生轻微的抖动位移，基于该抖动位移使得拍摄出的两帧RGB图像有些微差异，基于该些微差作为后续计算的基础。
较佳的，本发明公开的一种利用ToF提升RGB图像质量的方法，于步骤S1之后、步骤S2之前，还包括双目匹配步骤，所述双目匹配步骤具体为：RGB模组分别拍摄两帧RGB图像，并利用RGB模组的内外参数进行图像预处理对齐；角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。为实现该步骤，如图6所示，本发明提供的利用ToF提升RGB图像质量的装置还包括双目匹配模块，所述双目匹配模块利用RGB模组的内外参数对两帧RGB图像进行图像预处理对齐，并角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
本发明公开的一种利用ToF提升RGB图像质量的方法中，步骤S2为：对TOF图像进行相位展开重建生成TOF上采样图像；两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像。结合图5所示，对于“对TOF图像进行相位展开重建生成TOF上采样图像”，具体为：基于TOF图像的像素误差和两帧RGB图像计算TOF图像每个像素的最大距离值，使用每个像素的最大距离值倍数对TOF图像进行相位展开重建，生成TOF上采样图像；TOF相机的像素通常较低，经过相位展开重建生成的TOF上采样图像具有与RGB图像相同的像素，以便后续将图像深度信息融合到RGB图像中。结合图5所示，对于步骤S2中“两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像”，具体为：识别两帧RGB图像具有独特的密集纹理和平坦非纹理区域的区别区域，以及两帧RGB图像中的一致区域和不一致区域；当感兴趣的区域被确定为区别区域和一致区域时，比较该区域在两帧RGB图像中的差异来估计区别和一致区域的每个像素的视差值；当确定感兴趣区域是区别区域和不一致区域时，则使用TOF上采样图像获得该区域估计区别和不一致区域的每个像素的视差值；在感兴趣的区域为区别区域和不一致区域，使用TOF上采样图像对该感兴趣区域进行补充完善，从而提高成像质量。
本发明公开的一种利用ToF提升RGB图像质量的方法中，步骤S3为：基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像。具体的，所述步骤S3具体为：分析第一视差图像和第二视差图像以识别一致区域和不一致区域，该一致区域是指第一视差图像和第二视差图像中视差图像相对应的区域；使用第一视差图像和第二视差图像中的一致区域的视差值，重建TOF上采样图像来校正相应区域的深度，生成精细空间图像。
可以理解的，步骤S3生成的生成精细空间图像，包含立体空间信息，可以以该立体空间信息为基础对一定深度处的像素进行虚化，由于立体空间信息精确使得生成的虚化图像比较精细、尤其是边缘及细小物体能够被准确虚化，从而提升RGB图像的虚化效果。
为实现步骤S2和步骤S3，如图6所示，本发明提供的利用ToF提升RGB图像质量的装置，还包括彩色图差异求解及精细空间信息计算模块。所述彩色图差异求解及精细空间信息计算模块对TOF图像进行相位展开重建生成TOF上采样图像、并对两帧RGB图像进行立体匹配生成第一视差图像和第二视差图像，基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像。具体在实践中，该彩色图差异求解及精细空间信息计算模块可以为集成于移动设备的系统芯片内的GPU。将上述算法以程序的方式写入系统芯片内以使得GPU按照上述的步骤进行计算生成精细空间图像。
S4.基于两帧RGB图像和精细空间图像计算得出具有空间信息的精细图像。为实现步骤S4，本发明提供的利用ToF提升RGB图像质量的装置，还包括空间信息图计算模块，所述空间信息图计算模块用于对RGB图像和精细空间图像计算得出具有空间信息的精细图像。
综合上述内容，本发明公开了一种利用ToF提升RGB图像质量的装置，包括：信号控制器，所述信号控制器用于获取TOF图像和两帧不同的RGB图像，所述TOF图像和两帧不同的RGB图像为内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄获取；彩色图差异求解及精细空间信息计算模块，所述彩色图差异求解及精细空间信息计算模块对TOF图像进行相位展开重建生成TOF上采样图像、并对两帧RGB图像进行立体匹配生成第一视差图像和第二视差图像，基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；空间信息图计算模块，所述空间信息图计算模块用于对RGB图像和精细空间图像计算得出具有空间信息的精细图像。
在一较佳实施例中，为实现TOF模组和RGB模组的内外参校准，本发明提供的利用ToF提升RGB图像质量的装置还包括模组内参及外参校准模块，所述模组内参及外参校准模块用于在进行图像采集之前，分别获取RGB模组和ToF模组的内参，并就两者之间的外部参数进行校准。
在另一较佳实施例中，为实现双目匹配步骤，本发明提供的利用ToF提升RGB图像质量的装置还包括双目匹配模块，所述双目匹配模块利用RGB模组的内外参数对两帧RGB图像进行图像预处理对齐，并角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
与现有技术相比，本发明提供的利用ToF提升RGB图像质量的装置，信号控制器用于获取TOF图像和双RGB图像，彩色图差异求解及精细空间信息计算模块用于对TOF图像和两帧RGB图像进行计算生成精细空间图像，而空间信息图计算模块将RGB图像和精细空间图像融合生成具有空间信息的精细图像。根据本发明提供的利用ToF提升RGB图像质量的装置，能够实现前述的利用ToF提升RGB图像质量的方法，对双RGB图像和TOF图像的深度信息相互补，提升RGB图像中深度信息的准确度，进而可以基于精确深度信息对RGB图像进行虚化，尤其是边缘及细小物体能够被准确虚化，从而提升RGB图像的虚化效果。
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种利用ToF提升RGB图像质量的方法，其特征在于，包括步骤：
S1.获取内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄的TOF图像和两帧不同的RGB图像；
S2.对TOF图像进行相位展开重建生成TOF上采样图像；两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像；
S3.基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；
S4.基于两帧RGB图像和精细空间图像计算得出具有空间信息的精细图像。
2.如权利要求1所述的一种利用ToF提升RGB图像质量的方法，其特征在于，所述步骤S2中“对TOF图像进行相位展开重建生成TOF上采样图像”具体为：基于TOF图像的像素误差和两帧RGB图像计算TOF图像每个像素的最大距离值，使用每个像素的最大距离值倍数对TOF图像进行相位展开重建，生成TOF上采样图像。
3.如权利要求1所述的一种利用ToF提升RGB图像质量的方法，其特征在于，所述步骤S2中“两帧RGB图像通过立体匹配生成第一视差图像和第二视差图像”具体为：识别两帧RGB图像具有独特的密集纹理和平坦非纹理区域的区别区域，以及两帧RGB图像中的一致区域和不一致区域；当感兴趣的区域被确定为区别区域和一致区域时，比较该区域在两帧RGB图像中的差异来估计区别和一致区域的每个像素的视差值；当确定感兴趣区域是区别区域和不一致区域时，则使用TOF上采样图像获得该区域估计区别和不一致区域的每个像素的视差值。
4.如权利要求1所述的一种利用ToF提升RGB图像质量的方法，其特征在于，所述步骤S3具体为：分析第一视差图像和第二视差图像以识别一致区域和不一致区域，该一致区域是指第一视差图像和第二视差图像中视差图像相对应的区域；使用第一视差图像和第二视差图像中的一致区域的视差值，重建TOF上采样图像来校正相应区域的深度，生成精细空间图像。
5.如权利要求1所述的一种利用ToF提升RGB图像质量的方法，其特征在于，所述步骤S1和步骤S2之间还包括双目匹配步骤，所述双目匹配步骤具体为：RGB模组分别拍摄两帧RGB图像，并利用RGB模组的内外参数进行图像预处理对齐；角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
6.一种利用ToF提升RGB图像质量的装置，其特征在于，包括：
信号控制器，用于获取TOF图像和两帧不同的RGB图像，所述TOF图像和两帧不同的RGB图像为内外参数相对标定的TOF模组和RGB模组于同一平面上沿同一方向同步拍摄获取；
彩色图差异求解及精细空间信息计算模块，所述彩色图差异求解及精细空间信息计算模块对TOF图像进行相位展开重建生成TOF上采样图像、并对两帧RGB图像进行立体匹配生成第一视差图像和第二视差图像，基于第一视差图像、第二视差图像及TOF上采样图像生成精细空间图像；
空间信息图计算模块，所述空间信息图计算模块用于对RGB图像和精细空间图像计算得出具有空间信息的精细图像。
7.如权利要求6所述的利用ToF提升RGB图像质量的装置，其特征在于，所述利用ToF提升RGB图像质量的装置还包括双目匹配模块，所述双目匹配模块利用RGB模组的内外参数对两帧RGB图像进行图像预处理对齐，并角点检测获取初始特征角点，使用二次角点检测进行特征角点的筛选，进行归一化相关图像匹配，得到相对应的图像匹配点对。
8.如权利要求6所述的利用ToF提升RGB图像质量的装置，其特征在于，所述利用ToF提升RGB图像质量的装置还包括模组内参及外参校准模块，所述模组内参及外参校准模块用于在进行图像采集之前，分别获取RGB模组和ToF模组的内参，并就两者之间的外部参数进行校准。
9.如权利要求6所述的利用ToF提升RGB图像质量的装置，其特征在于，所述利用ToF提升RGB图像质量的装置还包括两个RGB模组和一个TOF模组，两个RGB模组和一个TOF模组设置于同一平面内并朝向同一方向；两个所述RGB模组和一个TOF模组分别拍摄以得到两帧不同的RGB图像和一帧TOF图像。
10.如权利要求6所述的利用ToF提升RGB图像质量的装置，其特征在于，所述利用ToF提升RGB图像质量的装置还包括一个RGB模组和一个TOF模组，一个RGB模组和一个TOF模组设置于同一平面内并朝向同一方向；所述TOF模组拍摄得到一帧TOF图像，所述RGB模组连续拍摄得到两帧不同的RGB图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910848341.7A CN110827230A (zh) | 2019-09-09 | 2019-09-09 | 一种利用tof提升rgb图像质量的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910848341.7A CN110827230A (zh) | 2019-09-09 | 2019-09-09 | 一种利用tof提升rgb图像质量的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827230A true CN110827230A (zh) | 2020-02-21 |
Family
ID=69547968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910848341.7A Pending CN110827230A (zh) | 2019-09-09 | 2019-09-09 | 一种利用tof提升rgb图像质量的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827230A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022252696A1 (zh) * | 2021-05-31 | 2022-12-08 | 上海集成电路制造创新中心有限公司 | 相机对焦方法及相机对焦系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023563A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Depth Sensor Data with Real-Time Processing of Scene Sensor Data |
| CN109741405A (zh) * | 2019-01-21 | 2019-05-10 | 同济大学 | 一种基于对偶结构光rgb-d相机的深度信息采集系统 |
| CN109816731A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
| CN110009672A (zh) * | 2019-03-29 | 2019-07-12 | 香港光云科技有限公司 | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 |
-
2019
- 2019-09-09 CN CN201910848341.7A patent/CN110827230A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023563A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Depth Sensor Data with Real-Time Processing of Scene Sensor Data |
| CN109816731A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
| CN109741405A (zh) * | 2019-01-21 | 2019-05-10 | 同济大学 | 一种基于对偶结构光rgb-d相机的深度信息采集系统 |
| CN110009672A (zh) * | 2019-03-29 | 2019-07-12 | 香港光云科技有限公司 | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022252696A1 (zh) * | 2021-05-31 | 2022-12-08 | 上海集成电路制造创新中心有限公司 | 相机对焦方法及相机对焦系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11570423B2 (en) | System and methods for calibration of an array camera | |
| CN109813251B (zh) | 用于三维测量的方法、装置以及系统 | |
| EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
| USRE47925E1 (en) | Method and multi-camera portable device for producing stereo images | |
| CN112396562B (zh) | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 | |
| CN109035309A (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
| CN110009672A (zh) | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 | |
| CN108510540B (zh) | 立体视觉摄像机及其高度获取方法 | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| CN113822942B (zh) | 一种基于二维码的单目摄像头测量物体尺寸的方法 | |
| CN102997891A (zh) | 场景深度的测量装置和方法 | |
| KR20220012375A (ko) | 어라운드뷰 제공 장치 및 방법 | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| EP4242609A1 (en) | Temperature measurement method, apparatus, and system, storage medium, and program product | |
| Wang et al. | Depth from semi-calibrated stereo and defocus | |
| CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| US20220329771A1 (en) | Method of pixel-by-pixel registration of an event camera to a frame camera | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN110827230A (zh) | 一种利用tof提升rgb图像质量的方法和装置 | |
| CN108307179A (zh) | 一种3d立体成像的方法 | |
| CN116843759A (zh) | 双目摄像头的标定验证方法、系统、计算机设备及介质 | |
| EP2866446B1 (en) | Method and multi-camera portable device for producing stereo images | |
| CN116704111A (zh) | 图像处理方法和设备 | |
| CN109658459A (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
| RJ01 | Rejection of invention patent application after publication |