CN111369425B - 图像处理方法、装置、电子设备和计算机可读介质 - Google Patents
图像处理方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN111369425B CN111369425B CN202010123714.7A CN202010123714A CN111369425B CN 111369425 B CN111369425 B CN 111369425B CN 202010123714 A CN202010123714 A CN 202010123714A CN 111369425 B CN111369425 B CN 111369425B
- Authority
- CN
- China
- Prior art keywords
- cost
- cube
- cost cube
- processed
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims description 71
- 230000002776 aggregation Effects 0.000 claims description 62
- 238000004220 aggregation Methods 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 31
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 239000010931 gold Substances 0.000 description 3
- 229910052737 gold Inorganic materials 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取多个待处理图像；并对多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；代价立方体金字塔中包括多个尺度依次降低的代价立方体，代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体；并基于重构代价立方体确定待处理图像中像素点的视差值，本申请缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种图像处理方法、装置、电子设备和计算机可读介质。
背景技术
针对双摄终端设备，立体匹配算法是双摄大光圈虚化算法中的重要组成部分，能够通过双目视觉原理准确的恢复场景深度。目前立体匹配算法的发展较为成熟，有质量好但很慢的全局立体匹配算法，也有质量稍差但速度很快的局部立体匹配算法，还有在质量和性能上有所平衡的半全局立体匹配算法。但是，这些算法的计算量太复杂。而且计算量大的同时，对于内存的消耗需求也高，不同性能平台的性能影响也大，大大影响了该算法在多平台或高中低端平台的普及和应用。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备和计算机可读介质，以缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
第一方面，本发明实施例提供了一种图像处理方法，包括：获取多个待处理图像；并对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值。
进一步地，优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体包括：对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果；对所述代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果；对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
进一步地，对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果包括：通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到所述代价聚合计算结果。
进一步地，通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算包括：利用公式对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的代价值，C(ui,vj,d)表示代价立方体中坐标为(ui,vj,d)像素点的Census相似度，d为预设视差范围内的视差值。
进一步地，对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体包括：通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
进一步地，通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体包括：利用公式对所述目标降尺度采样结果中的像素点的匹配代价值进行优化，P1和P2分别表示边缘和平滑系数，k表示视差范围中最小视差到最大视差之间的值，Lr(u,v,d)表示优化之后的匹配代价值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,d)的代价优化值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,k)的代价优化值。
进一步地，对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔包括：通过公式对所述匹配像素点进行代价计算，得到第一代价立方体；其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值，CCensus(u,v,d)表示代价立方体中坐标为(u,v,d)像素点的Census相似度，Il，Ir分别表示所述多个待处理图像，u和v分别表示待处理图像的行列坐标，C(u,v,d)表示匹配代价值；对所述第一代价立方体进行降尺度处理，得到第二代价立方体；并基于所述第一代价立方体和所述第二代价立方体确定所述代价立方体金字塔，其中，所述第二代价立方体为所述代价立方体金字塔中最小尺度的代价立方体。
进一步地，所述方法还包括：在对所述多个待处理图像中的匹配像素点进行代价计算之前，在所述待处理图像的像素点中确定匹配像素点，其中，所述匹配像素点中任意两个相邻像素点之间的距离为预设距离。
进一步地，基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体包括：将所述目标代价立方体作为初始代价立方体，并执行以下步骤，直至得到所述重构代价立方体：对所述初始代价立方体进行上采样处理，得到上采样结果；对所述上采样结果进行代价聚合计算，得到聚合计算结果；将所述聚合计算结果作为所述初始代价立方体；反复执行上述步骤，直至对所述代价立方体金字塔中的各个代价立方体进行上采样结束之后，将最后一次上采样结果确定为所述重构代价立方体，其中，所述重构代价立方体的尺度与待处理图像的尺度相同。
进一步地，基于所述重构代价立方体确定所述待处理图像中像素点的视差值包括：通过公式d*＝argmind(C(u,v,d))确定所述待处理图像中每个像素点的最终视差值，其中，d*为最终视差值，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值。
进一步地，所述方法还包括：基于所述待处理图像中像素点的视差值确定所述待处理图像中像素点的深度信息。
进一步地，所述方法还包括：在对所述多个待处理图像中的匹配像素点进行代价计算之前，采用高斯滤波算法和/或直方图均衡化算法对所述多个待处理图像中的每个待处理图像进行预处理。
第二方面，本发明实施例提供了一种图像处理装置，包括：获取单元，用于获取多个待处理图像；计算单元，用于对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；优化单元，用于优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；重构单元，用于基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法的步骤。
在本发明实施例中，首先，获取多个待处理图像；并对多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字；然后，优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体；并基于重构代价立方体确定待处理图像中像素点的视差值。通过上述描述可知，在本申请中，将立体匹配算法的多个步骤放到不同分辨率下进行计算，先得到代价立方体金字塔，并优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体的方式，实现了从高分辨率到低分辨率的处理，再基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体的方式，实现了从低分辨率到高分辨率的处理，最终形成对称金字塔结构，通过上述处理方式能够降低计算复杂度，提高算法性能，进而缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种电子设备的示意图；
图2是根据本发明实施例的一种图像处理方法的流程图；
图3是根据本发明实施例的另一种图像处理方法的流程图；
图4是根据本发明实施例的一种匹配像素点的选择示意图；
图5是根据本发明实施例的一种代价立方体的结构示意图；
图6是根据本发明实施例的另一种代价立方体的结构示意图；
图7是根据本发明实施例的一种代价立方体金字塔的结构示意图；
图8是根据本发明实施例的一种图像处理装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110用于进行采集待识别图像，其中，摄像机所采集的数据经过所述图像处理方法得到待处理图像中像素点的视差值。
实施例2：
根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取多个待处理图像；并对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值。
在本实施例中，多个待处理图像为终端设备的摄像装置采集到的图像，其中，该摄像装置可以为终端设备的双摄像装置，还可以为三摄像装置，本申请对此不做具体限定。也就是说，多个待处理图像可以为两个，也可以为三个，还可以大于三个，其中，多个待处理图像的图像大小相同。
在获取到多个待处理图像之后，就可以对多个待处理图像中的匹配像素点进行代价计算，其中，代价计算是指在预设视差范围内的每个视差下计算匹配像素点的匹配代价值。其中，匹配像素点为多个待处理图像中的部分像素点，具体选择过程将在下述实施例中进行介绍。
在对多个待处理图像中的匹配像素点进行代价计算之后，得到代价立方体金字塔，其中，在该代价立方体金字塔中包括多个代价立方体，且多个代价立方体的尺度依次降低。
步骤S204，优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体。
在得到代价立方体金字塔之后，就可以在代价立方体金字塔中确定尺度最小的代价立方体，并优化该代价立方体中像素点的匹配代价值，从而得到目标代价立方体，其中，目标代价立方体的尺度小于最小尺度的代价立方体的尺度。
步骤S206，基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值。
在本发明实施例中，首先，获取多个待处理图像；并对多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字；然后，优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体；并基于重构代价立方体确定待处理图像中像素点的视差值。通过上述描述可知，在本申请中，将立体匹配算法的多个步骤放到不同分辨率下进行计算，先得到代价立方体金字塔，并优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体的方式，实现了从高分辨率到低分辨率的处理，再基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体的方式，实现了从低分辨率到高分辨率的处理，最终形成对称金字塔结构，通过上述处理方式能够降低计算复杂度，提高算法性能，进而缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
在本实施例的一个可选实施方式中，在对所述多个待处理图像中的匹配像素点进行代价计算之前，还可以采用高斯滤波算法和/或直方图均衡化算法对所述多个待处理图像中的每个待处理图像进行预处理。
具体地，图像预处理主要是对多个待处理图像的质量进一步优化，降低输入图像质量的噪声和增强图像的细节信息。在本申请中，可以采用高斯滤波和直方图均衡化的方式对多个待处理图像进行图像预处理。
在对多个待处理图像进行图像预处理之后，就可以对多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔。
在一个可选的实施方式中，步骤S202，对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔包括如下步骤：
步骤S2021，在所述待处理图像的像素点中确定匹配像素点，其中，所述匹配像素点中任意两个相邻像素点之间的距离为预设距离。
在立体匹配算法中，根据逐个像素相似度计算立体匹配代价，会造成很多的噪声和误匹配，基于区域结构或图像块的代价值噪声小，误匹配率低。因此为了提高精度，同时降低计算量。本申请采用尺度代价立方体的方式来计算代价立方体，也即是通过等距离间隔采样的方式(r表示预设采样间隔)，计算立体匹配代价值，同时用采样点周围的邻域像素点来描述采样点。这样既提高了像素点代价值的质量，又降低了计算量。
如图3所示，首先，可以确定预设采样间隔r，其中，该预设采样间隔r即为上述所描述的预设距离。如图3所示，黑色的点即为选择出的匹配像素点。
步骤S2022，对多个待处理图像中的匹配像素点进行代价计算，得到第一代价立方体。在如图4所示的代价立方体金字塔中，第一代价立方体可以为图4中，1/r尺度的代价立方体。
在本申请中，可以通过公式对所述匹配像素点进行代价计算，得到第一代价立方体：其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值，CCensus(u,v,d)表示代价立方体中坐标为(u,v,d)像素点的Census相似度，Il，Ir分别表示所述多个待处理图像，u和v分别表示待处理图像的行列坐标，C(u,v,d)表示匹配代价值。
步骤S2023，对所述第一代价立方体进行降尺度处理，得到第二代价立方体；并基于所述第一代价立方体和所述第二代价立方体确定所述代价立方体金字塔，其中，所述第二代价立方体为所述代价立方体金字塔中最小尺度的代价立方体。
在代价计算过程中，通过采样降尺度的方式，得到了1/r尺度的代价立方体。但是，代价聚合和代价优化都是基于代价立方体中每一个像素点的匹配代价值进行优化。所以计算量仍然很庞大，同时为了保证代价聚合的质量，这里再次对1/r尺度的代价立方体建立2层金字塔，即图4中的1/2r尺度的代价立方体，然后在1/2r尺度的代价立方体上完成匹配代价值的优化，其中，多尺度代价立方体金字塔示意图如图5所示。
在本申请中，在得到第二代价立方体之后，该第二代价立方体即为代价立方体金字塔中最小尺度的代价立方体。如图4所示，在对多个待处理图像进行图像预处理之后，对图像预处理之后的待处理图像中匹配像素点进行代价计算，得到1/r尺度的代价立方体(即，第一代价立方体)，然后，对1/r尺度的代价立方体进行降尺度处理，得到1/2r尺度的代价立方体(即，第二代价立方体)。从而，基于图像预处理之后的待处理图像、1/r尺度的代价立方体和1/2r尺度的代价立方体构建代价立方体金字塔。
在得到代价立方体金字塔之后，就可以优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体。例如，优化如图4所示的1/2r尺度的代价立方体的像素点的匹配代价值，得到1/4r尺度的代价立方体(即，目标代价立方体)。
在一个可选的实施方式中，步骤S204，优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体包括如下过程：
(1)、对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果；
(2)、对所述代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果；
(3)、对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
具体地，在本申请中，可以通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到所述代价聚合计算结果，其中，邻域代价平均算法的具体计算过程描述如下：
利用公式对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的代价值，C(ui,vj,d)表示代价立方体中坐标为(ui,vj,d)像素点的Census相似度，d为预设视差范围内的视差值。
在按照上述所描述的算法对代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果之后，就可以对代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果。例如，假设，代价聚合计算结果的尺度为1/2r，那么目标降尺度采样结果的尺度可以为1/4r。在得到目标降尺度采样结果之后，就可以对目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
可选地，在本申请中，可以通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
代价聚合计算的目的是降低代价立方体中的代价值不确定性，提高其精度，但是该方法只是利用了局部相关性。为了提高代价立方体精度，进一步扩大单点像素代价值接受更多邻域像素或全图像素的影响，需要进行代价值的优化。而代价值的优化则是通过更大范围或者全局图像信息对某一像素点的代价值进行优化。此处采用多方向扫描线优化算法(例如，4方向扫描线优化算法(Scanline Optimization，SO))进行全局优化，其计算公式如下：
利用公式对所述目标降尺度采样结果中的像素点的匹配代价值进行优化，P1和P2分别表示边缘和平滑系数，k表示视差范围中最小视差到最大视差之间的值，Lr(u,v,d)表示优化之后的匹配代价值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,d)的代价优化值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,k)的代价优化值。
一般情况下，想要某一像素点与全局像素点发生联系，需要多次的遍历和迭代才能保证。这样的遍历和迭代就非常的耗时。而且，代价优化本身就是一个非线性的优化过程，已经比较耗时。因此，本申请采用多尺度的方式，在1/4r尺度的代价立方体上进行代价值优化，在不降低精度的同时，降低代价优化速度，降尺度代价立方体示意图如图6所示，分别为1/2r尺度的代价立方体和1/4r尺度的代价立方体。
在本申请中，在优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体之后，就可以基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体。
在一个可选的实施方式中，步骤S206基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体可以描述为如下过程：
将所述目标代价立方体作为初始代价立方体，并执行以下步骤，直至得到所述重构代价立方体：
首先，对所述初始代价立方体进行上采样处理，得到上采样结果；
然后，对所述上采样结果进行代价聚合计算，得到聚合计算结果；
接下来，将所述聚合计算结果作为所述初始代价立方体；反复执行上述步骤，直至对所述代价立方体金字塔中的各个代价立方体进行上采样结束之后，将最后一次上采样结果确定为所述重构代价立方体，其中，所述重构代价立方体的尺度与待处理图像的尺度相同。
在按照上述所描述的过程对代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值进行优化以后，代价立方体中的代价值基本得到优化，也完成了某一像素分别与局部邻域像素和全局像素的相关性结合。接下来，需要将1/(4r)尺度的代价立方体通过金字塔重建的方式重建回原图尺寸。但是，这里不能直接使用简单的上采样，因为简单的上采样会产生很多的噪声，同时影响视差边缘。因此，这里再次采用多分辨率代价聚合的方式，结合金字塔上采样，完成全尺寸的代价立方体重建。
如图7所示，首先，将1/(4r)尺度的代价立方体(即，目标代价立方体作)为初始代价立方体；然后，对1/(4r)尺度的代价立方体进行上采样处理，得到上采样结果A1(即，1/(2r)尺度的代价立方体)；接下来，对上采样结果进行代价聚合计算，得到聚合计算结果B1。之后，对1/(2r)尺度的代价立方体进行上采样处理，得到上采样结果A2(即，1/(r)尺度的代价立方体)；接下来，对上采样结果进行代价聚合计算，得到聚合计算结果B2。接下来，对1/(r)尺度的代价立方体进行上采样处理，得到上采样结果A3(即，1/(1)尺度的代价立方体)，其中，该上采样结果A3确定为所述重构代价立方体。
需要说明的是，在上述上采样过程中，采用代价聚合来保证代价值不会被影响，这里的代价聚合采用邻域代价求和的方式。计算公式如下：
式中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的代价值。
在本申请中，在得到与所述待处理图像的尺度相同的重构代价立方体之后，就可以基于所述重构代价立方体确定所述待处理图像中像素点的视差值，并基于所述待处理图像中像素点的视差值确定所述待处理图像中像素点的深度信息，其中，基于所述重构代价立方体确定所述待处理图像中像素点的视差值包括：
通过公式d*＝argmind(C(u,v,d))确定所述待处理图像中每个像素点的最终视差值，其中，d*为最终视差值，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值。
具体地，视差计算是指根据匹配代价计算、匹配代价聚合和匹配代价优化得到的代价立方体，为每一个像素找到最终视差值的过程。本申请采用(Winner-Take-All，WTA)对比每一个像素点所有的匹配代价值，匹配代价值最小的视差值就是该像素点的最终视差值。
通过上述描述可知，在本申请中，将立体匹配算法的多个步骤放到不同分辨率下进行计算，先从高分辨率到低分辨率，再从低分辨率到高分辨率，最终形成对称金字塔结构，通过上述处理方式能够降低计算复杂度，提高算法性能，进而缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
本申请所提出的方法，能够降低立体匹配算法复杂度；降低立体匹配算法内存占用；提高立体匹配算法在不同平台上的性能；能够承担多尺度或大尺度的输入图像进行高速立体匹配算法运行。
实施例三：
本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。
图8是根据本发明实施例的一种图像处理装置的示意图，如图8所示，该图像处理装置主要包括获取单元10，计算单元20，优化单,30和重构单元40，其中：
获取单元10，用于获取多个待处理图像；
计算单元20，用于对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；
优化单元30，用于优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；
重构单元40，用于基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值。
在本发明实施例中，首先，获取多个待处理图像；并对多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字；然后，优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体；并基于重构代价立方体确定待处理图像中像素点的视差值。通过上述描述可知，在本申请中，将立体匹配算法的多个步骤放到不同分辨率下进行计算，先得到代价立方体金字塔，并优化代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体的方式，实现了从高分辨率到低分辨率的处理，再基于目标代价立方体进行代价立方体重构，得到与待处理图像的尺度相同的重构代价立方体的方式，实现了从低分辨率到高分辨率的处理，最终形成对称金字塔结构，通过上述处理方式能够降低计算复杂度，提高算法性能，进而缓解由于传统立体匹配算法计算量大导致内存消耗较大的技术问题。
可选地，优化单元用于：对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果；对所述代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果；对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
可选地，优化单元还用于：通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到所述代价聚合计算结果。
可选地，优化单元用于：利用公式对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的代价值，C(ui,vj,d)表示代价立方体中坐标为(ui,vj,d)像素点的Census相似度，d为预设视差范围内的视差值。
可选地，优化单元用于：通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
可选地，优化单元用于：利用公式对所述目标降尺度采样结果中的像素点的匹配代价值进行优化，P1和P2分别表示边缘和平滑系数，k表示视差范围中最小视差到最大视差之间的值，Lr(u,v,d)表示优化之后的匹配代价值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,d)的代价优化值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,k)的代价优化值。
可选地，计算单元用于：通过公式对所述匹配像素点进行代价计算，得到第一代价立方体；其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值，CCensus(u,v,d)表示代价立方体中坐标为(u,v,d)像素点的Census相似度，Il，Ir分别表示所述多个待处理图像，u和v分别表示待处理图像的行列坐标，C(u,v,d)表示匹配代价值；对所述第一代价立方体进行降尺度处理，得到第二代价立方体；并基于所述第一代价立方体和所述第二代价立方体确定所述代价立方体金字塔，其中，所述第二代价立方体为所述代价立方体金字塔中最小尺度的代价立方体。
可选地，该装置还用于：在对所述多个待处理图像中的匹配像素点进行代价计算之前，在所述待处理图像的像素点中确定匹配像素点，其中，所述匹配像素点中任意两个相邻像素点之间的距离为预设距离。
可选地，重构单元用于：将所述目标代价立方体作为初始代价立方体，并执行以下步骤，直至得到所述重构代价立方体：对所述初始代价立方体进行上采样处理，得到上采样结果；对所述上采样结果进行代价聚合计算，得到聚合计算结果；将所述聚合计算结果作为所述初始代价立方体；反复执行上述步骤，直至对所述代价立方体金字塔中的各个代价立方体进行上采样结束之后，将最后一次上采样结果确定为所述重构代价立方体，其中，所述重构代价立方体的尺度与待处理图像的尺度相同。
可选地，重构单元还用于：通过公式d*＝argmind(C(u,v,d))确定所述待处理图像中每个像素点的最终视差值，其中，d*为最终视差值，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值。
可选地，该装置还用于：基于所述待处理图像中像素点的视差值确定所述待处理图像中像素点的深度信息。
可选地，该装置还用于：在对所述多个待处理图像中的匹配像素点进行代价计算之前，采用高斯滤波算法和/或直方图均衡化算法对所述多个待处理图像中的每个待处理图像进行预处理。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
获取多个待处理图像；并对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；所述匹配代价值基于匹配像素点的行列坐标和Census相似度确定；
优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；
基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值；
其中，优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体包括：
对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果；
对所述代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果；
对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体；
其中，基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体包括：
将所述目标代价立方体作为初始代价立方体，并执行以下步骤，直至得到所述重构代价立方体：
对所述初始代价立方体进行上采样处理，得到上采样结果；
对所述上采样结果进行代价聚合计算，得到聚合计算结果；
将所述聚合计算结果作为所述初始代价立方体；反复执行上述步骤，直至对所述代价立方体金字塔中的各个代价立方体进行上采样结束之后，将最后一次上采样结果确定为所述重构代价立方体，其中，所述重构代价立方体的尺度与待处理图像的尺度相同。
2.根据权利要求1所述的方法，其特征在于，对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果包括：
通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到所述代价聚合计算结果。
3.根据权利要求2所述的方法，其特征在于，通过邻域代价平均算法对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算包括：
利用公式对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的代价值，C(ui,vj,d)表示代价立方体中坐标为(ui,vj,d)像素点的Census相似度，d为预设视差范围内的视差值。
4.根据权利要求1所述的方法，其特征在于，对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体包括：
通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体。
5.根据权利要求4所述的方法，其特征在于，通过多方向扫描线优化算法对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体包括：
利用公式对所述目标降尺度采样结果中的像素点的匹配代价值进行优化，P1和P2分别表示边缘和平滑系数，k表示视差范围中最小视差到最大视差之间的值，Lr(u,v,d)表示优化之后的匹配代价值，Lr(ui,vj,d)表示在方向r上坐标为(ui,vj,d)的代价优化值。
6.根据权利要求1所述的方法，其特征在于，对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔包括：
通过公式对所述匹配像素点进行代价计算，得到第一代价立方体；其中，w表示像素点的邻域像素，||w||表示邻域像素中像素点个数，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值，CCensus(u,v,d)表示代价立方体中坐标为(u,v,d)像素点的Census相似度，Il，Ir分别表示所述多个待处理图像，u和v分别表示待处理图像的行列坐标，C(u,v,d)表示匹配代价值；
对所述第一代价立方体进行降尺度处理，得到第二代价立方体；并基于所述第一代价立方体和所述第二代价立方体确定所述代价立方体金字塔，其中，所述第二代价立方体为所述代价立方体金字塔中最小尺度的代价立方体。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在对所述多个待处理图像中的匹配像素点进行代价计算之前，在所述待处理图像的像素点中确定匹配像素点，其中，所述匹配像素点中任意两个相邻像素点之间的距离为预设距离。
8.根据权利要求1所述的方法，其特征在于，基于所述重构代价立方体确定所述待处理图像中像素点的视差值包括：
通过公式d*＝argmind(C(u,v,d))确定所述待处理图像中每个像素点的最终视差值，其中，d*为最终视差值，C(u,v,d)表示在代价立方体中坐标为(u,v,d)像素点的匹配代价值。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述待处理图像中像素点的视差值确定所述待处理图像中像素点的深度信息。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在对所述多个待处理图像中的匹配像素点进行代价计算之前，采用高斯滤波算法和/或直方图均衡化算法对所述多个待处理图像中的每个待处理图像进行预处理。
11.一种图像处理装置，其特征在于，包括：
获取单元，用于获取多个待处理图像；
计算单元，用于对所述多个待处理图像中的匹配像素点进行代价计算，得到代价立方体金字塔；所述代价立方体金字塔中包括多个尺度依次降低的代价立方体，所述代价立方体表示匹配像素点在预设视差范围内每个视差下的匹配代价值；所述匹配代价值基于匹配像素点的行列坐标和Census相似度确定；
优化单元，用于优化所述代价立方体金字塔中最小尺度的代价立方体的像素点的匹配代价值，得到目标代价立方体；
重构单元，用于基于所述目标代价立方体进行代价立方体重构，得到与所述待处理图像的尺度相同的重构代价立方体；并基于所述重构代价立方体确定所述待处理图像中像素点的视差值；
其中，所述优化单元，用于对所述代价立方体金字塔中尺度最小的代价立方体的像素点进行代价聚合计算，得到代价聚合计算结果；对所述代价聚合计算结果进行降尺度采样，得到目标降尺度采样结果；对所述目标降尺度采样结果中各个像素点的匹配代价值进行优化，得到所述目标代价立方体；
其中，所述重构单元，用于将所述目标代价立方体作为初始代价立方体，并执行以下步骤，直至得到所述重构代价立方体：对所述初始代价立方体进行上采样处理，得到上采样结果；对所述上采样结果进行代价聚合计算，得到聚合计算结果；将所述聚合计算结果作为所述初始代价立方体；反复执行上述步骤，直至对所述代价立方体金字塔中的各个代价立方体进行上采样结束之后，将最后一次上采样结果确定为所述重构代价立方体，其中，所述重构代价立方体的尺度与待处理图像的尺度相同。
12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至10中任一项所述的方法的步骤。
13.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123714.7A CN111369425B (zh) | 2020-02-20 | 2020-02-20 | 图像处理方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123714.7A CN111369425B (zh) | 2020-02-20 | 2020-02-20 | 图像处理方法、装置、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369425A CN111369425A (zh) | 2020-07-03 |
| CN111369425B true CN111369425B (zh) | 2024-05-14 |
Family
ID=71209615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010123714.7A Active CN111369425B (zh) | 2020-02-20 | 2020-02-20 | 图像处理方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369425B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258759B (zh) * | 2023-05-15 | 2023-09-22 | 北京爱芯科技有限公司 | 一种立体匹配方法、装置和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
| CN108230235A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 一种视差图生成系统、方法及存储介质 |
| CN108292441A (zh) * | 2015-12-04 | 2018-07-17 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和控制视觉系统的方法 |
| CN109191513A (zh) * | 2018-08-28 | 2019-01-11 | 江苏久创电气科技有限公司 | 基于全局优化的电力设备立体匹配方法 |
| CN109887021A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于跨尺度的随机游走立体匹配方法 |
| CN109978934A (zh) * | 2019-03-04 | 2019-07-05 | 北京大学深圳研究生院 | 一种基于匹配代价加权的双目视觉立体匹配方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137132A1 (en) * | 2017-01-24 | 2018-08-02 | SZ DJI Technology Co., Ltd. | Method and system for feature tracking using image pyramids |
-
2020
- 2020-02-20 CN CN202010123714.7A patent/CN111369425B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108292441A (zh) * | 2015-12-04 | 2018-07-17 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和控制视觉系统的方法 |
| CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
| CN108230235A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 一种视差图生成系统、方法及存储介质 |
| CN109191513A (zh) * | 2018-08-28 | 2019-01-11 | 江苏久创电气科技有限公司 | 基于全局优化的电力设备立体匹配方法 |
| CN109887021A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于跨尺度的随机游走立体匹配方法 |
| CN109978934A (zh) * | 2019-03-04 | 2019-07-05 | 北京大学深圳研究生院 | 一种基于匹配代价加权的双目视觉立体匹配方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JiaRen Chang, YongSheng Chen.Pyramid Stereo Matching Network.《2018 IEEE_CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》.2018,全文. * |
| 姚莉等.基于金字塔变换跨尺度代价聚合的立体匹配.《系统仿真学报》.2016,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369425A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| EP3528209A1 (en) | Method and device for determining external parameter of stereoscopic camera | |
| US11151780B2 (en) | Lighting estimation using an input image and depth map | |
| US20130083966A1 (en) | Match, Expand, and Filter Technique for Multi-View Stereopsis | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| Zhong et al. | High-resolution depth maps imaging via attention-based hierarchical multi-modal fusion | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111274999B (zh) | 数据处理、图像处理方法、装置及电子设备 | |
| CN110998671B (zh) | 三维重建方法、装置、系统和存储介质 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN113554742A (zh) | 一种三维图像的重建方法、装置、设备及存储介质 | |
| Zhu et al. | Stereo matching algorithm with guided filter and modified dynamic programming | |
| CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
| CN112907569A (zh) | 头部图像区域的分割方法、装置、电子设备和存储介质 | |
| CN111369425B (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| Bahat et al. | Neural volume super-resolution | |
| CN112907517B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN115439423B (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
| Yu et al. | Intensity guided depth upsampling using edge sparsity and super-weighted $ l_0 $ gradient minimization | |
| Chen et al. | Depth-guided deep filtering network for efficient single image bokeh rendering | |
| CN115375740A (zh) | 位姿确定方法和三维模型的生成方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |