CN110602474B - 一种图像视差的确定方法、装置及设备 - Google Patents

一种图像视差的确定方法、装置及设备 Download PDF

Info

Publication number
CN110602474B
CN110602474B CN201810505818.7A CN201810505818A CN110602474B CN 110602474 B CN110602474 B CN 110602474B CN 201810505818 A CN201810505818 A CN 201810505818A CN 110602474 B CN110602474 B CN 110602474B
Authority
CN
China
Prior art keywords
camera
images
image
parallax
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810505818.7A
Other languages
English (en)
Other versions
CN110602474A (zh
Inventor
张奎
杨平
熊江
谢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810505818.7A priority Critical patent/CN110602474B/zh
Publication of CN110602474A publication Critical patent/CN110602474A/zh
Application granted granted Critical
Publication of CN110602474B publication Critical patent/CN110602474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像视差的确定方法、装置及设备，方法包括：利用预先获取的相机参数，对多张待处理图像进行处理，得到多对双目图像；确定该多对双目图像的视差图、以及视差图之间的变换关系；根据该变换关系，对所确定的视差图进行融合，得到融合视差图；即使一个相机采集的图像中存在遮挡，但其他不存在遮挡的图像之间的视差图弥补了视差缺失，融合视差图中包含各张视差图像的信息，提高了所确定的视差准确度。

Description

一种图像视差的确定方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种图像视差的确定方法、装置及设备。
背景技术
多目相机，可以同时采集同一场景的多张图像，增大了视角范围。通常情况下，需要计算多目相机所采集的多张图像之间的视差。
计算多目相机所采集图像之间的视差，一般包括：确定多目相机中的多对双目相机，计算每对双目相机所采集图像之间的视差。但是这种方案中，如果一个相机采集的图像中存在遮挡，则该遮挡区域对应的视差缺失，进而无法准确地确定包含该相机的双目相机所采集图像之间的视差。
发明内容
本发明实施例的目的在于提供一种图像视差的确定方法、装置及设备，以提高所确定的视差准确度。
为达到上述目的，本申请实施例提供了一种图像视差的确定方法，包括：
获取N张待处理图像，所述N大于2；
利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像；
确定所述多对双目图像的视差图、以及视差图之间的变换关系；
根据所述变换关系，对所确定的视差图进行融合，得到融合视差图。
可选的，所述获取N张待处理图像，可以包括：
获取多目相机的采集的N张图像，作为待处理图像；其中，所述多目相机包含帧同步的N个单目相机，所述N个单目相机的相机坐标系平行。
可选的，所述利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像，可以包括：
利用畸变参数，对所述N张待处理图像进行去畸变处理，得到去畸变图像；
根据相机参数中的旋转平移关系，将所述去畸变图像进行旋转变换，得到多对双目图像。
可选的，确定所述多对双目图像的视差图之间的变换关系，可以包括：
确定每张视差图的三维点云，所述三维点云包括视差图像素点在相机坐标系中的三维坐标值；
根据所述三维点云之间的变换关系，确定双目图像的视差图之间的变换关系。
可选的，所述确定每张视差图的三维点云，可以包括：
根据采集双目图像的双目相机之间的基线距和焦距、以及视差图中心像素点的二维坐标值，确定视差图中像素点在相机坐标系中的三维坐标值。
可选的，所述根据所述变换关系，对所确定的视差图进行融合，得到融合视差图，可以包括：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
可选的，在根据所述变换关系，对所确定的视差图进行融合，得到融合视差图之后，还可以包括：
确定所述融合视差图中视差值为0的空洞点；
利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
可选的，所述确定所述多对双目图像的视差图，可以包括：
针对每对双目图像，确定该对双目图像的初始视差图，并对所述初始视差图进行优化处理，得到优化视差图；其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理；
确定视差图之间的变换关系，包括：确定优化视差图之间的变换关系；
所述根据所述变换关系，对所确定的视差图进行融合，得到融合视差图，包括：根据所述变换关系，对得到的优化视差图进行融合，得到融合视差图。
可选的，所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
可选的，所述获取N张待处理图像，可以包括：
获取三目相机采集的三张待处理图像；其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像；
所述利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像，可以包括：
利用所述左相机与所述中相机的相机参数，对所述左图像和所述中图像进行处理，得到第一对双目图像；
利用所述中相机与所述右相机的相机参数，对所述中图像和所述右图像进行处理，得到第二对双目图像。
为达到上述目的，本申请实施例还提供了一种图像视差的确定装置，包括：
获取模块，用于获取N张待处理图像，所述N大于2；
处理模块，用于利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像；
第一确定模块，用于确定所述多对双目图像的视差图；
第二确定模块，用于确定视差图之间的变换关系；
融合模块，用于根据所述变换关系，对所确定的视差图进行融合，得到融合视差图。
可选的，所述获取模块，具体可以用于：
获取多目相机的采集的N张图像，作为待处理图像；其中，所述多目相机包含帧同步的N个单目相机，所述N个单目相机的相机坐标系平行。
可选的，所述处理模块，具体可以用于：
利用畸变参数，对所述N张待处理图像进行去畸变处理，得到去畸变图像；
根据相机参数中的旋转平移关系，将所述去畸变图像进行旋转变换，得到多对双目图像。
可选的，所述第二确定模块，可以包括：
第一确定子模块，用于确定每张视差图的三维点云，所述三维点云包括视差图像素点在相机坐标系中的三维坐标值；
第二确定子模块，用于根据所述三维点云之间的变换关系，确定双目图像的视差图之间的变换关系。
可选的，所述第一确定子模块，具体可以用于：根据采集双目图像的双目相机之间的基线距和焦距、以及视差图中心像素点的二维坐标值，确定视差图中像素点在相机坐标系中的三维坐标值。
可选的，所述融合模块，具体可以用于：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
可选的，所述装置还可以包括：
第三确定模块，用于确定所述融合视差图中视差值为0的空洞点；
填充模块，用于利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
可选的，所述第一确定模块，具体可以用于：针对每对双目图像，确定该对双目图像的初始视差图，并对所述初始视差图进行优化处理，得到优化视差图；其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理；
所述第二确定模块，具体可以用于：确定优化视差图之间的变换关系；
所述融合模块，具体可以用于：根据所述变换关系，对得到的优化视差图进行融合，得到融合视差图。
可选的，所述插值处理可以包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
可选的，所述获取模块，具体可以用于：
获取三目相机采集的三张待处理图像；其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像；
所述处理模块，具体可以用于：
利用所述左相机与所述中相机的相机参数，对所述左图像和所述中图像进行处理，得到第一对双目图像；
利用所述中相机与所述右相机的相机参数，对所述中图像和所述右图像进行处理，得到第二对双目图像。
本申请实施例还提供了一种图像视差的确定系统，包括：多目相机以及上述任一种图像视差的确定装置；其中，
所述多目相机，用于采集N张待处理图像，所述N大于2。
本申请实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种图像视差的确定方法。
为达到上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像视差的确定方法。
应用本申请实施例，利用预先获取的相机参数，对多张待处理图像进行处理，得到多对双目图像；确定该多对双目图像的视差图、以及视差图之间的变换关系；根据该变换关系，对所确定的视差图进行融合，得到融合视差图；即使一个相机采集的图像中存在遮挡，但其他不存在遮挡的图像之间的视差图弥补了视差缺失，融合视差图中包含各张视差图像的信息，提高了所确定的视差准确度。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的图像视差的确定方法的第一种流程示意图；
图1b为本申请实施例的一种应用场景示意图；
图2为本申请实施例提供的图像视差的确定方法的第二种流程示意图；
图3为本申请实施例提供的一种图像视差的确定装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决上述技术问题，本申请实施例提供了一种图像视差的确定方法、装置及设备。该方法及装置可以应用于具有图像处理功能的各种电子设备，比如手机、电脑等等，或者也可以应用于具有图像处理功能的相机，具体不做限定。
下面首先对本申请实施例提供的一种图像视差的确定方法进行详细说明。
图1a为本申请实施例提供的图像视差的确定方法的第一种流程示意图，包括：
S101：获取N张待处理图像，N大于2。
待处理图像即为需要确定视差的多张图像。举例来说，可以获取多目相机的采集的N张图像，作为待处理图像；其中，该多目相机包含帧同步的N个单目相机，N个单目相机的相机坐标系平行。本申请实施例的执行主体可以为该多目相机，也可以为与该多目相机通信连接的电子设备。
作为一种实施方式，该多目相机可以为三目相机，该三目相机可以如图1b所示，包括左相机、中相机和右相机，这三个相机的镜头参数、传感器参数可以相同，这三个相机之间可以达到帧同步。具体的，这三个相机可以使用同步电源，以达到帧同步，该同步电源可以为频率固定的交流电，比如将220V/50HZ的交流电进行整型，得到50HZ的方波，利用这三个相机采集图像时，这三个相机与该方波同频，便可以获取这三个相机同步采集的图像。
图1b中，PC通过交换机及网线获取这三个相机同步采集的图像，PC可以作为本申请实施例的执行主体。或者，相机内部可以设置FPGA(Field－Programmable Gate Array，现场可编程门阵列)芯片，PC通过该FPGA芯片获取这三个相机同步采集的图像，这样不需要设置交换机及网线。
这三个相机可以水平放置，便得三个相机中传感器平面平等，而且三个相机的相机坐标系平行。这三个相机之间的基线距可以相同，比如，左相机和中相机的基线距为12cm，中相机与右相机的基线距也为12cm。
或者，该多目相机也可以为四目相机，这样，S101中获取到四张待处理图像，本实施例中并不对多目相机中相机的数量及相机的排列方式进行限定，也不对N进行限定。
S102：利用预先获取的相机参数，对该N张待处理图像进行处理，得到多对双目图像。
以三目相机为例进行说明，将左相机采集的图像称为左图像，将中相机采集的图像称为中图像，将右相机采集的图像称为右图像。可以利用左相机与中相机的相机参数，对左图像和中图像进行处理，得到第一对双目图像；利用中相机与右相机的相机参数，对中图像和右图像进行处理，得到第二对双目图像。
以第一对双目图像为例来说，可以利用左相机与中相机的畸变参数，对左图像与中图像进行去畸变处理，得到两张去畸变图像；根据左相机与中相机的相机参数中的旋转平移关系，将这两张去畸变图像进行旋转变换，得到第一对双目图像。
具体来说，预先可以通过相机标定方法，比如张氏标定法，得到左相机与中相机的相机参数，相机参数包括内参、外参和畸变参数。以左相机来例进行说明，假设左相机采集到的图像为Il d，将该图像进行去畸变处理后得到的去畸变图像为Il ud，Il ud中每个像素点的坐标值为(u，v)；假设左相机的内参为Al，根据该内参可以得到左相机传感器坐标系的坐标值
Figure BDA0001671411330000081
假设左相机的畸变参数D＝(k1，k2，p1，p2)，可以得到左相机传感器坐标系中的畸变点
Figure BDA0001671411330000082
其中r＝x2+y2；根据内参Al可以得到畸变点
Figure BDA0001671411330000083
对应于
Figure BDA0001671411330000084
中的点为
Figure BDA0001671411330000085
这样，便可以对左相机进行畸变校正，类似的，可以对中相机、右相机进行畸变校正，也就是对S101中获取的N张待处理图像进行去畸变处理，得到去畸变图像。对各相机进行畸变校正的方式类似，不再赘述。
假设左相机对应的去畸变图像为Il ud，中相机对应的去畸变图像为Im ud，右相机对应的去畸变图像为Ir ud；根据左相机与中相机的相机参数中的旋转平移关系，对Il ud及Im ud进行旋转变换，得到第一对双目图像；根据中相机与右相机的相机参数中的旋转平移关系，对Im ud及Ir ud进行旋转变换，得到第二对双目图像。下面以第一对双目图像为例进行说明：
作为一种实施方式，将一对双目相机采集的两张图像分别进行旋转变换，这样，相比于只将一个相机采集的一张图像进行旋转变换，旋转幅度较小，进而使得重投影畸变较小且重投影至像平面的投影面积较大。这里所说的旋转变换可以包含两部分，一部分为了消除双目相机坐标系之间的旋转关系，另一部分为了消除双目相机两个相机世界坐标系之间在垂直和深度方向的平移关系。
假设左相机与中相机的外参中包含旋转关系Rlm和平移关系Tlm，Rlm对应的向量为omlm，则中相机旋转向量rm＝-omlm/2，左相机旋转向量rl＝rm T，也就是说，左相机和中相机各旋转Rlm的一半，这样，便消除了左中相机坐标系之间的旋转关系，左中相机还存在平移量Tlm＝radrigues(rm)×Tlm，其中radrigues表示罗德里格变换。
可以理解，双目图像的坐标系中一般只存在X轴的平移量，也就是将左中相机的X轴同时旋转至与Tlm重合，具体的，旋转角度
Figure BDA0001671411330000091
u＝(1,0,0)；旋转轴为：
Figure BDA0001671411330000092
最终的旋转向量r＝ωθ。
也就是说，为了消除左中相机坐标系之间的旋转和平移，
Figure BDA0001671411330000093
分别需要经过R1lm＝radrigues(rlr)，R2lm＝radrigues(rmr)的旋转变换。类似的，为了消除中右相机坐标系之间的旋转和平移，
Figure BDA0001671411330000094
分别需要经过R1mr和R2mr的旋转变换。
“根据中相机与右相机的相机参数中的旋转平移关系，对Im ud及Ir ud进行旋转变换，得到第二对双目图像”的过程与“根据左相机与中相机的相机参数中的旋转平移关系，对Il ud及Im ud进行旋转变换，得到第一对双目图像”的过程类似，不再赘述。
经过上述两部分的旋转变换，假设得到左中相机对应的第一对双目图像为
Figure BDA0001671411330000101
假设得到中右相机对应的第二对双目图像为
Figure BDA0001671411330000102
本实施例中，双目图像可以理解为满足双目成像条件的图像。举例来说，该双目成像条件可以为：在两个相机的传感器坐标系中，x1y1平面与x2y2平面共面，且X轴共线、Y轴平行；在两个相机的世界坐标系中，X轴共线，YZ轴平行。
S103：确定该多对双目图像的视差图、以及视差图之间的变换关系。
作为一种实施方式，可以利用SGM(semi-global matching，半全局匹配)算法，确定多对双目图像的视差图。
本实施方式中，可以对原始的SGM算法进行改进，使用census特征和sobel梯度的加权和作为匹配特征，并且通过SIMD(Single Instruction Multiple Data，单指令流多数据流)指令实现改进后的SGM算法，这样，可以提高处理效率。
或者，作为另一种实施方式，将利用SGM算法或改进后的SGM算法得到的视差图作为初始视差图，再对初始视差图进行优化处理，得到优化视差图，之后确定优化视差图之间的变换关系。
具体的，优化处理可以包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理。
所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
下面举一个具体的例子，介绍上述各项优化处理：
一、针对初始视差图中的每个像素点，利用该像素点在视差搜索范围内的匹配代价曲线、以及亚像素点插值算法，比如等角插值算法或二项式插值算法，对该像素点进行插值处理，得到该像素点的亚像素视差，这样，可以提高视差图的精度。
针对一个像素点来说，假设该像素点在视差取值为d时的匹配代价为c1，该像素点在视差取值为d-1时的匹配代价为c0，该像素点在视差取值为d+1时的匹配代价为c2，设ld＝c0-c1，rd＝c2-c1，则：
1)如果ld＞rd，则
Figure BDA0001671411330000111
2)如果ld≤rd，则
Figure BDA0001671411330000112
对该像素点进行插值处理后得到的视差值为dnew＝d+dm。
二、利用加权中值滤波算法(Weighted Median Filter)对视差图中的误匹配点进行剔除。加权中值滤波算法相较于传统中值滤波算法，能够保留视差图中的细小物体，且不会使视差图边缘出现严重形变。
具体的，对于视差图中每一像素点p，在邻域N(p)内构建视差直方图h(p,d)，以左中双目的左图像的视差图DL为例，即：
Figure BDA0001671411330000113
其中，q表示像素点p邻域N(p)内的像素点；当DL(q)-d为0时f(DL(q)-d)为1，当DL(q)-d不为0时f(DL(q)-d)为0；权值w(p,q)可以使用双边滤波器或引导滤波器(GuidedFilter)中的权值计算方法。
上式只是以DL为例进行说明，上式中的DL可以替换为其他视差图。统计h(p,d)的累计直方图，取中值作为该像素点的处理结果。
三、利用双目图像左右视差图的一致性(left-right Consistency)来去除视差图中的误匹配点。
左右视差图的一致性定义如下，对于左视差图DL中一个正确匹配的像素点p，其视差为d，则右视差图DR中的匹配像素点p-d，其视差也应该为d，即DL(p)＝DR(p-d)＝d。
四、利用区域滤波算法，去除视差图中不连续的小区域噪声斑块。
对于不连续的小区域噪声斑块来说，该噪声斑块的区域视差具有连续性，也就是相邻像素视差差异d_diff满足d_diff<maxDiff，而且该噪声斑块的像素点数量小于预设阈值，该预设阈值可以为给定的场景中有效目标所拥有的最小像素点数量。
上述maxDiff可以预先设定，比如可以为两个相邻像素点在图像中属于同一物体或者说视差连续时，所能容忍的最大视差差异。
上述区域滤波算法是指，参考四领域连通域，以视差连续性作为区域生长条件，对视差图像进行分割，以每一区域的像素点数量作为该区域面积，对面积小于设定阈值的区域对应的像素点视差置为无效值。
经过上述四步优化处理后，得到优化视差图。该优化处理为可选步骤，如果执行优化处理的步骤，则下面内容中的视差图为优化视差图。
假设通过左中相机得到基于左图像Il d的视差图为Dlm，通过中右相机得到基于中图像的视差图为Dmr，确定Dlm与Dmr的变换关系。
作为一种实施方式，可以确定每张视差图的三维点云，所述三维点云包括视差图像素点在相机世界坐标系中的三维坐标值；根据所述三维点云之间的变换关系，确定双目图像的视差图之间的变换关系。
可以理解，通过视差图可以得到深度信息，比如利用如下算式，计算双目相机的深度信息：
Figure BDA0001671411330000121
其中，Z表示深度信息，B一般称为双目相机的基线(baseline)，f表示双目相机的焦距，d表示视差。这样，便可以得到视差图中像素点在自身图像坐标系的三维坐标值(u,v,d)，假设视差图Dmr中像素点在自身图像坐标系的三维坐标值为(um,vm,dm)，假设视差图Dmr中像素点在其相机世界坐标系的三维坐标值为(Xm,Ym,Zm)，则：
Figure BDA0001671411330000131
其中，Bmr为中右相机的基线距，fmr为中右相机的焦距，(umr，vmr)为视差图Dmr中心像素点的二维坐标值，这些参数可以预先通过相机标定获得。视差图中每个像素点在相机坐标系的三维坐标值构成三维点云，将视差图Dmr的三维点云记为(Xm,Ym,Zm)，将与Il的视差图Dlm的三维点云记为(Xl,Yl,Zl)。
如上所述，假设得到左中相机对应的第一对双目图像为
Figure BDA0001671411330000132
Figure BDA0001671411330000133
假设得到中右相机对应的第二对双目图像为
Figure BDA0001671411330000134
Figure BDA0001671411330000135
因此，
Figure BDA00016714113300001311
的视差图Dmr的三维点云(Xm,Ym,Zm)与Il的视差图Dlm的三维点云(Xl,Yl,Zl)之间的旋转关系
Figure BDA0001671411330000136
之间的平移关系
Figure BDA0001671411330000137
将(Xl,Yl,Zl)按照该旋转关系R和平移关系旋转到中图像
Figure BDA00016714113300001310
的相机三维坐标系，得到三维点云(X′mr,Y′mr,Z′mr)：
Figure BDA0001671411330000138
假设视差图Dlm变换至视差图Dmr的坐标系下得到新的视差图为D′mr(u′mr,v′mr,d′mr)，根据上述中右相机的基线距Bmr，中右相机的焦距fmr，可以得到
Figure BDA0001671411330000139
通过上述变换，也就得到Dlm与Dmr的变换关系。
S104：根据该变换关系，对所确定的视差图进行融合，得到融合视差图。
作为一种实施方式，S104可以包括：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
延续上述例子，得到两张视差图Dlm和Dmr，假设Dlm为待变换视差图，Dmr为对照视差图；S103中已得到Dlm与Dmr的变换关系，利用该变换关系，对Dlm进行变换，得到变换视差图Dmr’，将Dmr’与Dmr进行融合。可以理解，Dmr’中的像素点与Dmr中的像素点之间存在对应关系，将每对存在对应关系的像素点进行融合。
假设Dmr’中的一个像素点与Dmr中的一个像素点之间存在对应关系，Dmr’中像素点的视差值记作Dmr’(u，v)，Dmr中像素点的视差值记作Dmr(u，v)；在Dmr’(u，v)与Dmr(u，v)均不为0的情况下，计算
Figure BDA0001671411330000141
如果s<τ，则这两个像素点融合后的视差值为
Figure BDA0001671411330000142
其中τ为预设阈值，比如τ可以为1.15；如果s≥τ，则DF(u,v)＝Dmr(u,v)。
如果Dmr’(u，v)的视差值为0且Dmr(u，v)视差值不为0，则这两个像素点融合后的视差值为Dmr(u，v)；如果Dmr’(u，v)的视差值不为0且Dmr(u，v)视差值为0，则这两个像素点融合后的视差值为Dmr’(u，v)。
作为一种实施方式，在得到融合视差图之后，还可以包括：确定所述融合视差图中视差值为0的空洞点；利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
或者，也可以理解为对得到的融合视差图进行滤波处理，滤波策略为：针对融合视差图DF中任一像素点，判断该像素点的视差值DF(u，v)是否为0，如果不为0，则视差值不变，如果为0，表示该像素点为空洞点，则重新计算空洞点的视差值：
Figure BDA0001671411330000151
可以利用该式，重复计算该像素点的视差值，比如可以重复三次，将第三次计算得到的视差值作为空洞点的视差值，也就是对空洞点进行填充。
应用本申请图1a所示实施例，利用预先获取的相机参数，对多张待处理图像进行处理，得到多对双目图像；确定该多对双目图像的视差图、以及视差图之间的变换关系；根据该变换关系，对所确定的视差图进行融合，得到融合视差图；即使一个相机采集的图像中存在遮挡，但其他不存在遮挡的图像之间的视差图弥补了视差缺失，融合视差图中包含各张视差图像的信息，提高了所确定的视差准确度。
图2为本申请实施例提供的图像视差的确定方法的第二种流程示意图，包括：
S201：获取三目相机采集的三张待处理图像。
其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像。左相机、中相机和右相机之间满足帧同步，且这三个相机的相机坐标系平行。
S202：利用左相机与中相机的相机参数，对左图像和中图像进行处理，得到第一对双目图像；利用中相机与右相机的相机参数，对中图像和右图像进行处理，得到第二对双目图像。
具体的，可以利用畸变参数，对左图像和中图像进行去畸变处理，得到两张去畸变图像；根据左相机与中相机的相机参数中的旋转平移关系，将这两张去畸变图像进行旋转变换，得到第一对双目图像；利用畸变参数，对中图像和右图像进行去畸变处理，得到两张去畸变图像；根据中相机与右相机的相机参数中的旋转平移关系，将这两张去畸变图像进行旋转变换，得到第二对双目图像。
S203：针对每对双目图像，确定该对双目图像的初始视差图，并对该初始视差图进行优化处理，得到优化视差图。
其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理。
所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
S204：确定每张优化视差图的三维点云，该三维点云包括优化视差图像素点在相机坐标系中的三维坐标值；根据该三维点云之间的变换关系，确定双目图像的优化视差图之间的变换关系。
S205：根据该变换关系，对所确定的优化视差图进行融合，得到融合视差图。
具体的，可以在所确定的优化视差图中，选择待变换视差图及对照视差图；利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
S206：确定该融合视差图中视差值为0的空洞点；利用该空洞点的相邻像素点的视差值，填充该空洞点的视差值。
应用本申请图2所示实施例，利用预先获取的相机参数，对多张待处理图像进行处理，得到多对双目图像；确定该多对双目图像的视差图、以及视差图之间的变换关系；根据该变换关系，对所确定的视差图进行融合，得到融合视差图；即使一个相机采集的图像中存在遮挡，但其他不存在遮挡的图像之间的视差图弥补了视差缺失，融合视差图中包含各张视差图像的信息，提高了所确定的视差准确度。
与上述方法实施例相对应，本申请实施例还提供了一种图像视差的确定装置，如图3所示，包括：
获取模块301，用于获取N张待处理图像，所述N大于2；
处理模块302，用于利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像；
第一确定模块303，用于确定所述多对双目图像的视差图；
第二确定模块304，用于确定视差图之间的变换关系；
融合模块305，用于根据所述变换关系，对所确定的视差图进行融合，得到融合视差图。
作为一种实施方式，获取模块301，具体可以用于：
获取多目相机的采集的N张图像，作为待处理图像；其中，所述多目相机包含帧同步的N个单目相机，所述N个单目相机的相机坐标系平行。
作为一种实施方式，处理模块302，具体可以用于：
利用畸变参数，对所述N张待处理图像进行去畸变处理，得到去畸变图像；
根据相机参数中的旋转平移关系，将所述去畸变图像进行旋转变换，得到多对双目图像。
作为一种实施方式，第二确定模块304，可以包括：第一确定子模块和第二确定子模块(图中未示出)，其中，
第一确定子模块，用于确定每张视差图的三维点云，所述三维点云包括视差图像素点在相机坐标系中的三维坐标值；
第二确定子模块，用于根据所述三维点云之间的变换关系，确定双目图像的视差图之间的变换关系。
作为一种实施方式，第一确定子模块，具体可以用于：根据采集双目图像的双目相机之间的基线距和焦距、以及视差图中心像素点的二维坐标值，确定视差图中像素点在相机坐标系中的三维坐标值。
作为一种实施方式，融合模块305，具体可以用于：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
作为一种实施方式，所述装置还可以包括：第三确定模块和填充模块(图中未示出)，其中，
第三确定模块，用于确定所述融合视差图中视差值为0的空洞点；
填充模块，用于利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
作为一种实施方式，第一确定模块303，具体可以用于：针对每对双目图像，确定该对双目图像的初始视差图，并对所述初始视差图进行优化处理，得到优化视差图；其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理；
第二确定模块304，具体可以用于：确定优化视差图之间的变换关系；
融合模块305，具体可以用于：根据所述变换关系，对得到的优化视差图进行融合，得到融合视差图。
作为一种实施方式，所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
作为一种实施方式，获取模块301，具体可以用于：
获取三目相机采集的三张待处理图像；其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像；
处理模块302，具体可以用于：
利用所述左相机与所述中相机的相机参数，对所述左图像和所述中图像进行处理，得到第一对双目图像；
利用所述中相机与所述右相机的相机参数，对所述中图像和所述右图像进行处理，得到第二对双目图像。
应用本申请图3所示实施例，利用预先获取的相机参数，对多张待处理图像进行处理，得到多对双目图像；确定该多对双目图像的视差图、以及视差图之间的变换关系；根据该变换关系，对所确定的视差图进行融合，得到融合视差图；即使一个相机采集的图像中存在遮挡，但其他不存在遮挡的图像之间的视差图弥补了视差缺失，融合视差图中包含各张视差图像的信息，提高了所确定的视差准确度。
本申请实施例还提供了一种图像视差的确定系统，包括，多目相机，以及上述任一种图像视差的确定装置，其中：
多目相机，用于采集N张待处理图像，N大于2，将这N张待处理图像发送给上述图像视差的确定装置中的获取模块。
本申请实施例还提供了一种电子设备，如图4所示，包括处理器401和存储器402，
存储器402，用于存放计算机程序；
处理器401，用于执行存储器402上所存放的程序时，实现上述任一种图像视差的确定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像视差的确定方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图3所示的图像视差的确定装置实施例、图4所示的电子设备实施例、图像视差的确定系统实施例、以及上述计算机可读存储介质实施例而言，由于其基本相似于图1a-2所示的图像视差的确定方法实施例，所以描述的比较简单，相关之处参见图1a-2所示的图像视差的确定方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

1.一种图像视差的确定方法，其特征在于，包括：
获取N张待处理图像，所述N大于2；
利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像；
确定所述多对双目图像的视差图、以及视差图之间的变换关系；
根据所述变换关系，对所确定的视差图进行融合，得到融合视差图；
其中，确定所述多对双目图像的视差图之间的变换关系，包括：
根据每张视差图中像素点在自身图像坐标系的三维坐标值、采集双目图像的双目相机之间的基线距和焦距、以及视差图中心像素点的二维坐标值，确定视差图中像素点在相机坐标系中的三维坐标值，得到每张视差图的三维点云，所述三维点云包括视差图像素点在相机坐标系中的三维坐标值；
根据所述三维点云之间的变换关系，确定双目图像的视差图之间的变换关系；
所述根据所述变换关系，对所确定的视差图进行融合，得到融合视差图，包括：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
2.根据权利要求1所述的方法，其特征在于，所述获取N张待处理图像，包括：
获取多目相机的采集的N张图像，作为待处理图像；其中，所述多目相机包含帧同步的N个单目相机，所述N个单目相机的相机坐标系平行。
3.根据权利要求1所述的方法，其特征在于，所述利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像，包括：
利用畸变参数，对所述N张待处理图像进行去畸变处理，得到去畸变图像；
根据相机参数中的旋转平移关系，将所述去畸变图像进行旋转变换，得到多对双目图像。
4.根据权利要求1所述的方法，其特征在于，在根据所述变换关系，对所确定的视差图进行融合，得到融合视差图之后，还包括：
确定所述融合视差图中视差值为0的空洞点；
利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
5.根据权利要求1所述的方法，其特征在于，所述确定所述多对双目图像的视差图，包括：
针对每对双目图像，确定该对双目图像的初始视差图，并对所述初始视差图进行优化处理，得到优化视差图；其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理；
确定视差图之间的变换关系，包括：确定优化视差图之间的变换关系；
所述根据所述变换关系，对所确定的视差图进行融合，得到融合视差图，包括：根据所述变换关系，对得到的优化视差图进行融合，得到融合视差图。
6.根据权利要求5所述的方法，其特征在于，所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
7.根据权利要求1所述的方法，其特征在于，所述获取N张待处理图像，包括：
获取三目相机采集的三张待处理图像；其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像；
所述利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像，包括：
利用所述左相机与所述中相机的相机参数，对所述左图像和所述中图像进行处理，得到第一对双目图像；
利用所述中相机与所述右相机的相机参数，对所述中图像和所述右图像进行处理，得到第二对双目图像。
8.一种图像视差的确定装置，其特征在于，包括：
获取模块，用于获取N张待处理图像，所述N大于2；
处理模块，用于利用预先获取的相机参数，对所述N张待处理图像进行处理，得到多对双目图像；
第一确定模块，用于确定所述多对双目图像的视差图；
第二确定模块，用于确定视差图之间的变换关系；
融合模块，用于根据所述变换关系，对所确定的视差图进行融合，得到融合视差图；
所述第二确定模块，包括：
第一确定子模块，用于确定每张视差图的三维点云，所述三维点云包括视差图像素点在相机坐标系中的三维坐标值；
第二确定子模块，用于根据每张视差图中像素点在自身图像坐标系的三维坐标值、采集双目图像的双目相机之间的基线距和焦距、以及视差图中心像素点的二维坐标值，确定视差图中像素点在相机坐标系中的三维坐标值，得到双目图像的视差图之间的变换关系；
所述融合模块，具体用于：
在所确定的视差图中，选择待变换视差图及对照视差图；
利用所述待变换视差图与所述对照视差图之间的变换关系，对所述待变换视差图进行变换，得到变换视差图；
将所述变换视差图中像素点的视差值与所述对照视差图中像素点的视差值进行融合，得到融合视差图。
9.根据权利要求8所述的装置，其特征在于，所述获取模块，具体用于：
获取多目相机的采集的N张图像，作为待处理图像；其中，所述多目相机包含帧同步的N个单目相机，所述N个单目相机的相机坐标系平行。
10.根据权利要求8所述的装置，其特征在于，所述处理模块，具体用于：
利用畸变参数，对所述N张待处理图像进行去畸变处理，得到去畸变图像；
根据相机参数中的旋转平移关系，将所述去畸变图像进行旋转变换，得到多对双目图像。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于确定所述融合视差图中视差值为0的空洞点；
填充模块，用于利用所述空洞点的相邻像素点的视差值，填充所述空洞点的视差值。
12.根据权利要求8所述的装置，其特征在于，所述第一确定模块，具体用于：针对每对双目图像，确定该对双目图像的初始视差图，并对所述初始视差图进行优化处理，得到优化视差图；其中，所述优化处理，包括以下一项或多项处理：插值处理、滤波处理、验证像素点左右一致性处理、降噪处理；
所述第二确定模块，具体用于：确定优化视差图之间的变换关系；
所述融合模块，具体用于：根据所述变换关系，对得到的优化视差图进行融合，得到融合视差图。
13.根据权利要求12所述的装置，其特征在于，所述插值处理包括：利用像素点的匹配代价曲线、以及亚像素点插值算法，对视差图进行插值处理；
所述滤波处理包括：利用加权中值滤波算法，对视差图进行滤波处理；
所述验证像素点左右一致性处理包括：验证视差图中像素点的左右一致性，根据验证结果，去除视差图中的误匹配像素点；
所述降噪处理包括：利用区域滤波算法，确定视差图中的区域面积，若区域面积小于预设阈值，则将该区域面积中包含像素点的视差值置为无效值。
14.根据权利要求13所述的装置，其特征在于，所述获取模块，具体用于：
获取三目相机采集的三张待处理图像；其中，所述三目相机包含左相机、中相机和右相机，所述三张待处理图像包括左图像、中图像和右图像；
所述处理模块，具体用于：
利用所述左相机与所述中相机的相机参数，对所述左图像和所述中图像进行处理，得到第一对双目图像；
利用所述中相机与所述右相机的相机参数，对所述中图像和所述右图像进行处理，得到第二对双目图像。
15.一种图像视差的确定系统，其特征在于，包括：多目相机以及如权利要求8-14中任一项所述的装置；其中，
所述多目相机，用于采集N张待处理图像，所述N大于2。
CN201810505818.7A 2018-05-24 2018-05-24 一种图像视差的确定方法、装置及设备 Active CN110602474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810505818.7A CN110602474B (zh) 2018-05-24 2018-05-24 一种图像视差的确定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810505818.7A CN110602474B (zh) 2018-05-24 2018-05-24 一种图像视差的确定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110602474A CN110602474A (zh) 2019-12-20
CN110602474B true CN110602474B (zh) 2022-07-05

Family

ID=68848576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810505818.7A Active CN110602474B (zh) 2018-05-24 2018-05-24 一种图像视差的确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110602474B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN112347973A (zh) * 2020-11-19 2021-02-09 武汉光庭信息技术股份有限公司 一种基于双目高速相机的前车状态估算方法及系统
CN112598610A (zh) * 2020-12-11 2021-04-02 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN114051128B (zh) * 2021-11-11 2023-09-05 北京奇艺世纪科技有限公司 一种2d视频转3d视频的方法、装置、设备及介质
CN114897665A (zh) * 2022-04-01 2022-08-12 中国科学院自动化研究所 可配置实时视差点云计算装置及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置
CN107610070B (zh) * 2017-09-29 2020-12-01 深圳市佳创视讯技术股份有限公司 基于三摄像采集的自由立体匹配方法

Also Published As

Publication number Publication date
CN110602474A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN106780590B (zh) 一种深度图的获取方法及系统
US10559090B2 (en) Method and apparatus for calculating dual-camera relative position, and device
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN107564091A (zh) 一种基于快速对应点搜索的三维重建方法及装置
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
JP2015135661A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN111415310A (zh) 一种图像处理方法及装置、存储介质
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN114782636A (zh) 三维重建方法、装置及系统
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
US20140205182A1 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
CN111105370A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN108269278B (zh) 一种场景建模的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant