CN107770512B - 通过匹配立体图像而产生视差图的系统和方法 - Google Patents

通过匹配立体图像而产生视差图的系统和方法 Download PDF

Info

Publication number
CN107770512B
CN107770512B CN201611078378.9A CN201611078378A CN107770512B CN 107770512 B CN107770512 B CN 107770512B CN 201611078378 A CN201611078378 A CN 201611078378A CN 107770512 B CN107770512 B CN 107770512B
Authority
CN
China
Prior art keywords
value
pixel
disparity
accumulated
accumulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611078378.9A
Other languages
English (en)
Other versions
CN107770512A (zh
Inventor
朴敏雨
李元锡
朴正弼
郑根熩
郑淳基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Cooperation Foundation of KNU
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp, Industry Academic Cooperation Foundation of KNU filed Critical Hyundai Motor Co
Publication of CN107770512A publication Critical patent/CN107770512A/zh
Application granted granted Critical
Publication of CN107770512B publication Critical patent/CN107770512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种通过匹配立体图像而产生视差图的系统和方法。用于产生视差图的系统包括：图像获取器，其获取左图像和右图像；匹配成本计算器，其计算左图像和右图像的多个像素的每一个的匹配成本；累加及求和计算器，其基于计算的匹配成本而计算像素的一个的累加值，并且计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；视差值求取器，其基于计算出的松弛累加值而求取每个像素的视差值；以及视差图产生器，其基于求取的视差值而产生视差图。

Description

通过匹配立体图像而产生视差图的系统和方法
相关申请的交叉引用
本申请要求2016年8月22日向韩国知识产权局所提出的韩国专利申请第10-2016-0106266号的权益，并通过引用将其全文纳入本文。
技术领域
本发明涉及一种通过匹配立体图像而产生视差图的系统和方法。
背景技术
匹配立体图像的技术被广泛用于识别车辆周围的情况，包括基于三维(3D)信息的对象(例如，车辆、行人等)的检测、可行驶区域的计算等。为了利用匹配车辆环境中的立体图像的技术，需要匹配立体图像的结果具有高可靠性。
由于基于全局匹配的匹配立体图像的算法可以计算具有高质量的3D信息，但是具有高计算复杂性，所以需要较低计算成本的基于局部匹配的匹配立体图像的算法被应用至车辆环境。但是，局部匹配方法具有以下缺点：其不会对较宽区域(例如，道路表面)执行精确密集的匹配。
近年来，已经基于半全局匹配方法进行了研究，所述半全局匹配方法相比于计算成本而言具有高质量。但是，通常使用的半全局匹配方法会假设不适合于车辆环境的3D地理元素。因此，具有这样的问题：在匹配质量和计算成本方面会发生性能变差。具体而言，难以匹配相对于摄像机的图像平面(例如，道路表面)明显倾斜的表面，并且难以在车辆行驶时经常发生的恶劣天气情况(例如，雨雪天气)下正确地执行立体匹配。
因此，需要研发这样的系统和方法：即使在恶劣天气情况下，也可以通过匹配立体图像来产生良好的视差图。
发明内容
本发明的一个方面提供了一种用于产生视差图的方法，该方法即使在恶劣的天气条件下也能够执行立体图像的匹配。
根据本发明的示例性实施方案，用于产生视差图的系统包括：图像获取器，其获取左图像和右图像；匹配成本计算器，其计算左图像和右图像的多个像素的每一个的匹配成本；累加及求和计算器，其基于计算的匹配成本而计算像素的一个的累加值，并且计算松弛(relaxation)累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；视差值求取器，其基于计算出的松弛累加值而求取每个像素的视差值；以及视差图产生器，其基于求取的视差值而产生视差图。
匹配成本计算器可以通过比较左图像和右图像的地面图像来计算匹配成本，并且可以通过比较左图像和右图像的地面之上的图像来计算匹配成本。
当累加及求和计算器沿竖直方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器可以计算当前累加值；当累加及求和计算器沿水平方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器可以计算当前累加值。
累加及求和计算器可以计算重复的松弛累加值，该重复的松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的松弛累加值相乘而得到的值的平均值，并且视差值求取器可以基于重复的松弛累加值而求取每个像素的视差值。
视差值求取器可以求取使得计算出的累加值变为最小的视差值作为一个像素的视差值。
该系统可以进一步包括棒状像素应用器(stixel applier)，该棒状像素应用器将沿竖直方向或水平方向具有相同视差值的像素分组，以配置棒状像素，并且当配置为沿相同方向位于同一线上并且具有相同的视差值的多个棒状像素之间的像素距离为预设像素值或更小时，所述棒状像素应用器将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
根据本发明的另一个示例性实施方案，用于产生视差图的方法可以包括：获取左图像和右图像；计算左图像和右图像的多个像素的每一个的匹配成本；基于计算出的匹配成本来计算像素中的一个像素的累加值；计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；基于计算出的松弛累加值而求取每个像素的视差值；基于求取的视差值而产生视差图。
在匹配成本的计算中，可以通过比较左图像和右图像的地面图像来计算匹配成本，并且可以通过比较左图像和右图像的地面之上的图像来计算匹配成本。
在累加值的计算中，当沿竖直方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值；以及当沿水平方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值。
该方法可以进一步包括：在松弛累加值的计算之后，计算重复的松弛累加值，所述重复的松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的松弛累加值相乘而得到的值的平均值，其中，在每个像素的视差值的求取中，基于重复的松弛累加值而求取每个像素的视差值。
在每个像素的视差值的求取中，可以求取使得计算出的累加值变为最小的视差值作为一个像素的视差值。
该方法可以进一步包括：将沿竖直方向或水平方向具有相同视差值的像素分组，以配置棒状像素，并且当配置为沿相同方向位于同一线上并且具有相同视差值的多个棒状像素之间的像素距离为预设像素值或更小时，将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
包含由处理器执行的程序指令的非易失性计算机可读介质可以包括：获取左图像和右图像的程序指令；计算左图像和右图像的多个像素的每一个的匹配成本的程序指令；基于计算出的匹配成本来计算像素中的一个像素的累加值的程序指令；计算松弛累加值的程序指令，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；基于计算出的松弛累加值而求取每个像素的视差值的程序指令；基于求取的视差值而产生视差图的程序指令。
附图说明
下文通过结合附图所呈现的详细描述将会使本公开的以上和其它目的、特征以及优点更加明显，在这些附图中：
图1为根据本发明的示例性实施方案的用于产生视差图的系统的框图。
图2A为示出了根据本发明的示例性实施方案的沿竖直方向从上到下的累加及求和匹配成本的过程的示意图。
图2B为示出了根据本发明的示例性实施方案的沿竖直方向从下到上的累加及求和匹配成本的过程的示意图。
图3A为示出了根据本发明的示例性实施方案的沿水平方向从左到右的累加及求和匹配成本的过程的示意图。
图3B为示出了根据本发明的示例性实施方案的沿水平方向从右到左的累加及求和匹配成本的过程的示意图。
图4示出了根据本发明的示例性实施方案的松弛累加及求和匹配成本的过程的示意图。
图5A为示出了根据本发明的示例性实施方案的每个像素的匹配成本的匹配成本图。
图5B为示出了根据本发明的示例性实施方案的在从左方向到右方向执行一次累加及求和的情况下的每个像素的累加值的累加值图。
图5C为示出了根据本发明的示例性实施方案的在从左方向到右方向执行两次累加及求和的情况下的每个像素的累加值的累加值图。
图5D为示出了根据本发明的示例性实施方案的在从左方向到右方向执行三次累加及求和的情况下的每个像素的累加值的累加值图。
图6A为根据本发明的示例性实施方案的累加值图，从所述累加值图中求取相应方向的累加值的平均值。
图6B为根据本发明的示例性实施方案的累加值图，在所述累加值图中，在图6A的累加值图中执行一次松弛累加及求和。
图6C为根据本发明的示例性实施方案的累加值图，在所述累加值图中，在图6B的累加值图中再一次执行松弛累加及求和计算。
图7A为示出了根据本发明的示例性实施方案的在视差值为0时的松弛累加值的累加值图。
图7B为示出了根据本发明的示例性实施方案的在视差值为1时的松弛累加值的累加值图。
图7C为示出了根据本发明的示例性实施方案的在视差值为9时的松弛累加值的累加值图。
图8为根据本发明的另一个示例性实施方案的用于产生视差图的系统的框图。
图9为根据本发明的示例性实施方案的应用了棒状像素(stixel)的视差图。
图10为示出了根据本发明的示例性实施方案的用于产生视差图的方法的流程图。
图11为示出了根据本发明的另一个示例性实施方案的用于产生视差图的方法的流程图。
图12A为由根据本发明的示例性实施方案的图像获取器所获取的左图像。
图12B为由根据本发明的示例性实施方案的图像获取器所获取的右图像。
图13为根据相关技术的用于匹配立体图像的方法、使用图12A的左图像和图12B的右图像而产生的视差图。
图14为根据本发明的示例性实施方案、使用图12A的左图像和图12B的右图像而产生的视差图。
图15为示出了执行根据本发明的示例性实施方案的用于产生视差图的方法的计算系统的框图。
附图标记
110：图像获取器
120：匹配成本计算器
130：累加及求和计算器
140：视差值求取器
150：视差图产生器
210：图像获取器
220：匹配成本计算器
230：累加及求和计算器
240：视差值求取器
260：棒状像素应用器
250：视差图产生器
1100：处理器
1300：存储器
1400：用户接口输入装置
1500：用户接口输出装置
1600：存储区
1700：网络接口。
具体实施方式
应当理解，本文所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
本文所使用的术语仅用于描述具体实施方案的目的，并非旨在限制本发明。正如本文所使用的，单数形式“一”、“一个”和“所述”旨在也包括复数形式，除非在上下文另有清楚说明。还将理解当在本说明书中使用术语“包含”和/或“包括”时，指明存在所述特征、整体、步骤、操作、元件和/或组件，但是不排除存在或加入一种或多种其他的特征、整体、步骤、操作、元件、组件和/或其群体。正如本文所使用的，术语“和/或”包括一种或多种相关列举项目的任何和所有组合。在整个说明书中，除非明确地相反描述，词语“包括”应被理解为暗示包含所述元件但是不排除任何其它元件。另外，说明书中描述的术语“单元”、“器”、“件”和“模块”表示执行至少一个功能和操作的单元，并且可以通过硬件或软件及其组合来实现。
此外，本发明的控制逻辑可以在包括通过处理器、控制器等执行的可执行程序指令的计算机可读介质上体现为非易失性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读介质也可以分布于网络联接的计算机系统，使得采用分布的方式来存储和执行计算机可读介质，例如，通过远程信息处理服务器或控制器局域网络(CAN)。
下文将参考示意性附图来对本公开的一些示例性实施方案进行详细的描述。应当注意的是，在对所附附图的每一个中的部件给出的附图标记中，相同的部件即使示出于不同的附图中，也将由相同的附图标记来表示。另外，在描述本发明的示例性实施方案中，在公知的结构或功能可能会不必要地模糊对本发明的示例性实施方案的理解的情况下，将不会详细地描述所述公知的结构或功能。
图1为根据本发明的示例性实施方案的用于产生视差图的系统的框图。
参考图1，用于产生视差图的系统100可以包括：图像获取器110、匹配成本计算器120、累加及求和计算器130、视差值求取器140以及视差图产生器150。图像获取器110可以为摄像机或图像接收器。另外，匹配成本计算器120、累加及求和计算器130、视差值求取器140和视差图产生器150可以为一个或多个控制器，该控制器将用于执行各个功能的处理器合并，并且可以分别实现为非易失性计算机可读介质。
但是，示出于图1的部件不是必须的部件。因此，用于产生视差图的系统100也可以实现为具有比图1示出的部件更多或更少的部件。
图像获取器110可以获取左图像和右图像。图像获取器110可以为对图像进行拍照的摄像机，并且也可以为从摄像机接收图像的图像接收器。在图像获取器110为摄像机的情况下，图像获取器110可以为在水平方向上彼此间隔开的两个摄像机。另外，在图像获取器110为图像接收器的情况下，对接收到的图像进行拍照的摄像机可以为在水平方向上彼此间隔开的两个摄像机。
照此，即使在水平方向上彼此分开的两个摄像机沿相同的方向对图像进行拍照，由各个相机获取的图像也由于两个相机的间隔开的距离而有所不同，根据本发明的用于产生视差图的系统100基于上述不同而产生视差图。
匹配成本计算器120可以计算左图像和右图像的每个像素的匹配成本。根据本发明，匹配成本计算器120可以使用基于地面来匹配立体图像的算法。基于地面来匹配立体图像的算法为这样的算法：其通过比较左图像和右图像的地面图像来计算匹配成本，并且通过比较左图像和右图像的地面之上的图像来计算匹配成本。根据基于地面来匹配立体图像的算法，由于地面视差标签和对象视差标签被计算为彼此分开，所以相比于根据相关技术的半全局方法，视差图可以产生为相对于地面更具有鲁棒性。
累加及求和计算器130可以基于计算出的匹配成本来计算每个像素的累加值，基于像素周围的累加值来计算松弛(relaxation)累加及求和，从而计算每个像素的松弛累加值。
首先，将参考附图2A至3B来描述通过累加及求和计算器130而沿竖直方向和水平方向计算累加值的方法。
图2A为示出了根据本发明的示例性实施方案的沿竖直方向从上到下的累加及求和匹配成本的过程的示意图。图2B为示出了根据本发明的示例性实施方案的沿竖直方向从下到上的累加及求和匹配成本的过程的示意图。
图3A为示出了根据本发明的示例性实施方案的沿水平方向从左到右的累加及求和匹配成本的过程的示意图。图3B为示出了根据本发明的示例性实施方案的沿水平方向从右到左的累加及求和匹配成本的过程的示意图。
在沿竖直方向来对匹配成本进行累加及求和的情况下，通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器130可以计算当前累加值。
这可以由以下等式1表示。
[等式1]
LR(p，d)＝C(p，d)+min(LR(p-r，d)，LR(p-r，d-1)+p1，LR(p-r，d+1)+p1，min(LR(p-r，i)+p2))
表达式LR(p,d)为累加值，p1为第一累加恒定值，p2为第二累加恒定值，C(p,d)为匹配成本，p为像素坐标，d为视差值，r为累加及求和的方向。
图2A示出了从上方向至下方向的累加及求和匹配成本的过程，图2B示出了从下方向至上方向的累加及求和匹配成本的过程。
如图2A和图2B所示，通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器130可以计算当前累加值。
累加恒定值为与前一方向的累加值或视差值周围方向的累加值相加的任意恒定值，并且对所述累加恒定值进行求和，从而可以加强垂直连接性。
另外，在沿水平方向对匹配成本进行累加及求和的情况下，通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器130可以计算当前累加值。
这可以由以下等式2来表示。
[等式2]
LR(p，d)＝C(p，d)+min(LR(p-r，d)，min(LR(p-r，i)+p2
表达式LR(p,d)为累加值，p1为第一累加恒定值，p2为第二累加恒定值，C(p,d)为匹配成本，p为像素坐标，d为视差值，r为累加及求和的方向。
图3A示出了从左方向到右方向的累加及求和匹配成本的过程，图3B示出了从右方向到左方向的累加及求和匹配成本的过程。
如图3A和图3B所示，通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和，累加及求和计算器130可以计算当前累加值。
不同于沿竖直方向的累加及求和，当执行沿水平方向的累加及求和时，仅使用第二累加恒定值，并且将累加恒定值进行求和，从而可以加强水平连接性。
累加及求和计算器130可以基于如上所述沿竖直方向和水平方向而累加及求和的累加值来执行松弛累加及求和计算。松弛累加及求和计算为基于当前像素周围的累加值的累加及求和计算，并且可以通过执行松弛累加及求和计算而增加当前像素与周围像素之间的关系。下文中，将参考图4和等式3来对用于执行松弛累加和求和计算的方法进行描述。
图4为示出了根据本发明的示例性实施方案的松弛累加及求和匹配成本的过程的示意图。
累加及求和计算器130可以将当前像素的视差值和当前像素的周围像素的视差值之间的关系因数与当前像素的累加值相乘，并且计算相乘值的平均值来作为松弛累加值。另外，累加及求和计算器130可以基于计算出的松弛累加值而重复松弛累加及求和。也就是说，累加及求和计算器130可以将当前像素的视差值和当前像素的周围像素的视差值之间的关系因数与当前像素的松弛累加值相乘，并且计算相乘值的平均值来作为松弛重复的松弛累加值。这里，关系因数为(当前像素的估计视差-周围像素的估计视差)/(允许视差范围的总和)。
这可以由以下等式3来表示。
[等式3]
Figure BDA0001166476740000081
表达式Lr n(p，d)为第n个重复的累加值，n(r)为当前像素的包围值的数目，q(p,p-r)为当前像素的视差值与周围像素的视差值之间的关系因数，r为累加及求和的方向，d为视差值，p-r为沿r方向的当前像素的前一值。
累加值(Lr n(p，d))的初始值为匹配成本(Lr 0(p,d)＝C(p，d))，通过将当前像素的视差值和周围像素的视差值之间的关系因数与匹配成本相乘，并且将相乘值除以包围累加值的数目而得到的值为松弛累加值。
通过代替计算为累加值(Lr n(p，d))的松弛累加值，累加及求和计算器130可以执行重复的松弛累加及求和计算。
视差值求取器140可以基于计算出的累加值而求取每个像素的视差值。视差值求取器140可以求取使得计算出的累加值变得最小的视差值作为当前像素的视差值。在等式3中包括作为视差值的d，并且视差值求取器140求取使得累加值最小的d作为当前像素的视差值。
视差图产生器150可以基于求取的视差值而产生视差图。也就是说，视差值求取器140可以求取图像的所有像素的视差值，示出了每个像素的视差值的图像变为视差图。
下文中，将参考图5A至7C来描述基于通过匹配成本计算器120计算的匹配成本来计算累加值并且求取视差值的过程的示例。
图5A为示出了根据本发明的示例性实施方案的每个像素的匹配成本的匹配成本图。图5B为根据本发明的示例性实施方案的累加值图，其示出了从左方向到右方向执行一次累加及求和的情况下的每个像素的累加值。图5C为根据本发明的示例性实施方案的累加值图，其示出了从左方向到右方向执行两次累加及求和的情况下的每个像素的累加值。图5D为根据本发明的示例性实施方案的累加值图，其示出了从左方向到右方向执行三次累加及求和的情况下的每个像素的累加值。
图6A为根据本发明的示例性实施方案的累加值图，从该累加值图中求取各个方向的累加值的平均值。图6B为根据本发明的示例性实施方案的累加值图，在该累加值图中，在图6A的累加值图中执行一次松弛累加及求和。图6C为根据本发明的示例性实施方案的累加值图，在该累加值图中，在图6B的累加值图中再一次执行松弛累加及求和。
图7A为根据本发明的示例性实施方案的累加值图，该累加值图示出了视差值为0时的松弛累加值。图7B为根据本发明的示例性实施方案的累加值图，该累加值图示出了视差值为1时的松弛累加值。图7C为根据本发明的示例性实施方案的累加值图，该累加值图示出了视差值为9时的松弛累加值。
参考图5A，视差为1时的匹配成本在所有像素中为1。累加及求和计算器130执行对各个方向的累加及求和计算。图5B至图5D示出了沿水平方向从左到右执行累加及求和计算的过程。
如上所述，由于累加值的初始值等于匹配成本，所以图5B中的最左列的像素的累加值为1。
累加及求和计算器130可以使用等式2来计算第二列的累加值。通过将第二累加恒定值与所有视差标签的前一方向的累加值中的最小值相加得到的值、1(其为当前视差标签的前一方向的累加值中的最小值)、以及1(其为当前匹配成本)进行求和，累加及求和计算器130求取如图5C所示的累加值2。
累加及求和计算器130可以再次使用等式2来计算第三列的累加值。通过将第二累加恒定值与所有视差标签的前一方向的累加值中的最小值相加得到的值、2(其为当前视差标签的前一方向的累加值中的最小值)、以及1(其为当前匹配成本)进行求和，累加及求和计算器130求取如图5D所示的累加值3。
累加及求和计算器130可以使用上述方法来计算所有方向的累加值和松弛累加值。图6A示出了使用上述方法而由累加及求和计算器130来计算的累加值。
也就是说，累加及求和计算器130使用等式3而将中间像素(其为图6A的当前像素)的当前累加值相乘，并且通过将相乘值除以包围累加值的数目而求取图6B中的松弛累加值。
累加及求和计算器130可以使用等式3而对求取的松弛累加值再次执行松弛累加及求和计算。图6C中示出了再次执行松弛累加及求和计算而得到的结果，并且累加及求和计算器130可能执行松弛累加及求和计算的次数不限于上述说明。
视差值求取器140可以求取使得由累加及求和计算器130计算出的松弛累加值变为最小的视差值作为当前像素的视差值。
图7A示出了视差值为0时的松弛累加值，图7B示出了视差值为1时的松弛累加值，图7C示出了视差值为9时的松弛累加值。参考图7A至图7C，视差值为9时的松弛累加值为3，其为最小值，并且视差值求取器140可以求取出视差值为9。
此外，根据本发明的另一个示例性实施方案，应用了棒状像素(stixel)，以增加像素的相关性，从而可以去除可能在视差图上显现的空洞并且产生具有加强的连接性的视差图。
图8为根据本发明的另一个示例性实施方案的用于产生视差图的系统的框图。
参考图8，根据本发明的另一个示例性实施方案的用于产生视差图的系统200可以包括：图像获取器210、匹配成本计算器220、累加及求和计算器230、视差值求取器240、视差图产生器250以及棒状像素应用器260。
但是，示出于图8的部件不是必须的部件。因此，用于产生视差图的系统200也可以实现为具有比图8示出的部件更多或更少的部件。
由于图像获取器210、匹配成本计算器220、累加及求和计算器230、视差值求取器240以及视差图产生器250与参考图1所描述的相同，所以将对省略对它们的描述。
棒状像素应用器260可以对沿竖直方向或水平方向具有相同视差值的像素进行分组，以配置棒状像素。在配置为沿相同方向位于同一线上并且具有相同视差值的多个棒状像素之间的像素距离为预设像素值或更小的情况下，棒状像素应用器260可以将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
棒状像素应用器260可以将沿竖直方向或水平方向具有相同视差值的像素绑定为一组，以配置棒状像素。如果正常求取了视差值，则地面图像沿水平方向具有相同的视差值，并且包括一个棒状像素。
但是，由于在恶劣的天气下难以正常求取视差值，所以地面图像的一部分沿水平方向具有相同的视差值，而地面图像的其它部分具有不同的视差值。因此，地面图像可以不包括一个棒状像素。
在配置为沿相同方向位于同一线上并且具有相同视差值的多个棒状像素之间的像素距离为预设像素值或更小的情况下，棒状像素应用器260可以将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
在多个棒状像素配置为沿相同方向位于同一线上并且多个棒状像素之间间隔开的距离较小的情况下，可以认为具有不同视差值并且位于多个棒状像素之间的像素由于恶劣天气而具有错误的视差值。通过反映上述方面，棒状像素应用器260可以执行修正，其中，具有错误视差值的像素的视差值被改变为多个棒状像素的视差值。
图9为根据本发明的示例性实施方案的应用了棒状像素的视差图。
如上所述，当通过应用棒状像素而修正视差值时，多个棒状像素之间的像素具有与多个棒状像素相同的视差值。因此，多个棒状像素可以包括一个如图9所示的棒状像素。
在下文中，将参考图10对基于上述配置的产生视差图的方法进行描述。
图10为示出了根据本发明的示例性实施方案的用于产生视差图的方法的流程图。
参考图10，根据本发明的示例性实施方案的用于产生视差图的方法可以包括：获取左图像和右图像的操作(S110)；计算左图像和右图像的匹配成本的操作(S120)；基于匹配成本而对每个像素计算累加值的操作(S130)；基于每个像素的累加值而计算松弛累加值的操作(S140)；基于松弛累加值而求取每个像素的视差值的操作(S150)，以及基于视差值而产生视差图的操作(S160)。
下文中将详细描述所述操作S110至S160。
在操作S110，图像获取器110可以获得左图像和右图像。左图像和右图像是由两个摄像机分别拍照的图像，所述两个摄像机沿水平方向彼此间隔开。图像获取器110可以作为摄像机而直接地获得图像，并且图像获取器110可以作为图像接收器而从摄像机接收图像。
在操作S120，匹配成本计算器120可以根据基于地面来匹配立体图像的算法而计算左图像和右图像的每个像素的匹配成本。如上所述，匹配成本计算器120可以通过比较左图像和右图像的地面图像来计算匹配成本，并且可以通过比较左图像和右图像的地面之上的图像来计算匹配成本。
在操作S130，累加及求和计算器130可以基于匹配成本来计算每个像素的累加值。如上所述，累加及求和计算器130可以沿竖直方向和水平方向来计算累加值。
在操作S140，累加及求和计算器130可以基于累加值来执行松弛累加及求和计算，以计算松弛累加值。累加及求和计算器130可以计算松弛累加值(其为通过将当前像素的视差值和周围像素的视差值之间的每个关系因数与当前像素的累加值相乘而得到的值的平均值)，并且由于以上描述了用于计算累加值的具体方法，所以将省略对其的描述。另外，累加及求和计算器130可以基于计算出的松弛累加值而重复地计算松弛累加值。
在操作S150，视差值求取器140可以基于松弛累加值而求取每个像素的视差值。视差值求取器140可以求取使得计算出的松弛累加值变为最小的视差值作为当前像素的视差值。
在操作S160，视差图产生器150可以基于求取的视差值而产生视差图。示出了每个像素的视差值的图像变为视差图。
在下文中，将参考图11对根据本发明的另一个示例性实施方案的用于产生视差图的方法进行描述。
图11为示出了根据本发明的另一个示例性实施方案的用于产生视差图的方法的流程图。
参考图11，根据本发明的另一个示例性实施方案的用于产生视差图的方法可以包括：获取左图像和右图像的操作(S210)；计算左图像和右图像的匹配成本的操作(S220)；基于匹配成本而对每个像素计算累加值的操作(S230)；基于每个像素的累加值而计算松弛累加值的操作(S240)；基于累加值而求取每个像素的视差值的操作(S250)；通过应用棒状像素而修正视差值的操作(S260)，以及基于视差值而产生视差图的操作(S270)。
由于操作S210至S250和S270与上述操作S110至S160相同，所以将省略对其的描述。
在操作S260，棒状像素应用器260可以将沿竖直方向或水平方向具有相同视差值的像素进行分组，以配置棒状像素。在配置为沿相同方向位于同一线上并且具有相同视差值的多个棒状像素之间的像素距离为预设像素值或更小的情况下，可以执行修正，在该修正中，将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
通过加入操作S260，使用在恶劣天气环境中拍照的图像的视差图中发生的空洞被移除，从而可以获得具有加强连接性的视差图。
图12A为根据本发明的示例性实施方案的通过图像获取器获得的左图像。图12B为根据本发明的示例性实施方案的通过图像获取器获得的右图像。
图13为根据现有技术的用于匹配立体图像的方法、通过使用图12A的左图像和图12B的右图像而产生的视差图。图14为根据本发明的示例性实施方案、通过使用图12A的左图像和图12B的右图像而产生的视差图。
图12A和12B示出了可以由根据本发明的用于产生视差图的系统100或200的图像获取器而获得的左图像和右图像。参考图12A和图12B，可以确定出图像的天气为潮湿的恶劣天气。
根据相关技术(基于局部匹配的图像匹配、基于半全局匹配的图像匹配等)的用于匹配立体图像的方法，可以确定出在视差图中求取了错误的视差值，如图13所示，从而导致了空洞。
但是，在通过上述的根据本发明的配置和方法而产生视差图的情况下，可以确定出视差被一致地表示为与道路表面水平，并且视差被表示为垂直于对象，如图14所示，从而即使在恶劣天气下也可以产生良好的视差图。
图15为示出了根据本发明的示例性实施方案的执行用于产生视差图的方法的计算系统的框图。
参考图15，计算系统1000可以包括通过总线1200连接的至少一个处理器1100、存储器1300、用户接口输入装置1400、用户接口输出装置1500、存储区1600以及网络接口1700。
处理器1100可以为中央处理单元(CPU)或半导体装置，其执行存储于存储器1300和/或存储区1600中的指令的处理。存储器1300和存储区1600可以包括各种易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。
因此，结合本说明书中所公开的示例性实施方案描述的方法或算法中的操作可以直接实施为由处理器1100执行的硬件、软件模块或其组合。软件模块可以位于存储介质(即，存储器1300和/或存储区1600)，例如，随机存取存储器(RAM)内存、闪存、只读存储器(ROM)内存、可擦除可编程只读存储器(EPROM)内存、电可擦除可编程只读存储器(EEPROM)内存、寄存器、硬盘、可移动盘或光盘-只读存储器(CD-ROM)。说明性的存储介质可以联接到处理器1100，并且处理器1100可以从存储介质读取信息并将信息写入存储介质。可选地，存储介质还可以与处理器1100集成。处理器和存储介质还可以位于专用集成电路(ASIC)。ASIC还可以位于用户终端内。可选地，处理器和存储介质还可以作为独立的组件而位于用户终端内。
在如上所述的用于产生视差图的系统和方法中，上述示例性实施方案的配置和方法不受限制性地应用。也就是说，各个示例性实施方案的全部或部分可以配置为彼此选择性地组合，使得它们可以进行各种变型。
如上所述，根据本发明的示例性实施方案，可以提供用于生成视差图的方法，该方法即使在恶劣的天气条件下也能够良好地执行立体图像的匹配。
此外，可以从本发明获得的效果不受到上文所述效果的限制。也就是说，本发明所属领域的技术人员从下面的描述中可以明显地理解未提及的其他效果。
在上文中，尽管已经参考示例性实施方案和附图描述了本发明，但本发明不限于此，而是可以由本发明所属领域的技术人员进行各种修改和改变，而不脱离所附权利要求中要求保护的本发明的精神和范围。

Claims (10)

1.一种用于产生视差图的系统，所述系统包括：
图像获取器，其获取左图像和右图像；
匹配成本计算器，其计算左图像和右图像的多个像素的每一个的匹配成本；
累加及求和计算器，其基于计算的匹配成本而计算像素的一个的累加值，并且计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
视差值求取器，其基于计算出的松弛累加值而求取每个像素的视差值；
视差图产生器，其基于求取的视差值而产生视差图，
其中，匹配成本计算器通过比较左图像和右图像的地面图像来计算匹配成本，并且通过比较左图像和右图像的地面之上的图像来计算匹配成本。
2.根据权利要求1所述的用于产生视差图的系统，其中，当累加及求和计算器沿竖直方向对匹配成本进行累加及求和时，累加及求和计算器通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值；
当累加及求和计算器沿水平方向对匹配成本进行累加及求和时，累加及求和计算器通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值。
3.一种用于产生视差图的系统，所述系统包括：
图像获取器，其获取左图像和右图像；
匹配成本计算器，其计算左图像和右图像的多个像素的每一个的匹配成本；
累加及求和计算器，其基于计算的匹配成本而计算像素的一个的累加值，并且计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
视差值求取器，其基于计算出的松弛累加值而求取每个像素的视差值；
视差图产生器，其基于求取的视差值而产生视差图，
其中，累加及求和计算器计算重复的松弛累加值，该重复的松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的松弛累加值相乘而得到的值的平均值，
视差值求取器基于重复的松弛累加值而求取每个像素的视差值。
4.根据权利要求3所述的用于产生视差图的系统，其中，视差值求取器求取使得计算出的累加值变为最小值的视差值来作为一个像素的视差值。
5.一种用于产生视差图的系统，所述系统包括：
图像获取器，其获取左图像和右图像；
匹配成本计算器，其计算左图像和右图像的多个像素的每一个的匹配成本；
累加及求和计算器，其基于计算的匹配成本而计算像素的一个的累加值，并且计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
视差值求取器，其基于计算出的松弛累加值而求取每个像素的视差值；
视差图产生器，其基于求取的视差值而产生视差图；以及
棒状像素应用器，其将沿竖直方向或水平方向具有相同视差值的像素分组，以配置棒状像素，并且当配置为沿相同方向位于同一线上并且具有相同的视差值的多个棒状像素之间的像素距离为预设像素值或更小时，所述棒状像素应用器将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
6.一种用于产生视差图的方法，该方法包括：
由图像获取器来获取左图像和右图像；
由匹配成本计算器来计算左图像和右图像的多个像素的每一个的匹配成本；
基于计算出的匹配成本，由累加及求和计算器来计算像素中的一个像素的累加值；
由累加及求和计算器来计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
基于计算出的松弛累加值，由视差值求取器来求取每个像素的视差值；
基于求取的视差值，由视差图产生器来产生视差图，
其中，在匹配成本的计算中，通过比较左图像和右图像的地面图像来计算匹配成本，并且通过比较左图像和右图像的地面之上的图像来计算匹配成本。
7.根据权利要求6所述的用于产生视差图的方法，其中，在累加值的计算中，当沿竖直方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第一累加恒定值与视差值周围方向的累加值相加而得到的值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值；
当沿水平方向对匹配成本进行累加及求和时，通过将相应视差的前一方向的累加值中的最小值、通过将第二累加恒定值与前一方向的累加值的最小值相加而得到的值、以及当前匹配成本进行求和来计算当前累加值。
8.一种用于产生视差图的方法，该方法包括：
由图像获取器来获取左图像和右图像；
由匹配成本计算器来计算左图像和右图像的多个像素的每一个的匹配成本；
基于计算出的匹配成本，由累加及求和计算器来计算像素中的一个像素的累加值；
由累加及求和计算器来计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
基于计算出的松弛累加值，由视差值求取器来求取每个像素的视差值；
基于求取的视差值，由视差图产生器来产生视差图，以及
在松弛累加值的计算之后，计算重复的松弛累加值，所述重复的松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的松弛累加值相乘而得到的值的平均值，
其中，在每个像素的视差值的求取中，基于重复的松弛累加值而求取每个像素的视差值。
9.根据权利要求8所述的用于产生视差图的方法，其中，在每个像素的视差值的求取中，求取使得计算出的累加值变为最小的视差值来作为一个像素的视差值。
10.一种用于产生视差图的方法，该方法包括：
由图像获取器来获取左图像和右图像；
由匹配成本计算器来计算左图像和右图像的多个像素的每一个的匹配成本；
基于计算出的匹配成本，由累加及求和计算器来计算像素中的一个像素的累加值；
由累加及求和计算器来计算松弛累加值，所述松弛累加值为通过将一个像素的视差值和这一个像素的周围像素的视差值之间的每个关系因数与这一个像素的累加值相乘而得到的值的平均值；
基于计算出的松弛累加值，由视差值求取器来求取每个像素的视差值；
基于求取的视差值，由视差图产生器来产生视差图，以及
将沿竖直方向或水平方向具有相同视差值的像素分组，以配置棒状像素，并且当配置为沿相同方向位于同一线上并且具有相同的视差值的多个棒状像素之间的像素距离为预设像素值或更小时，将位于多个棒状像素之间的像素的视差值改变为多个棒状像素的视差值。
CN201611078378.9A 2016-08-22 2016-11-30 通过匹配立体图像而产生视差图的系统和方法 Active CN107770512B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160106266A KR101856344B1 (ko) 2016-08-22 2016-08-22 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법
KR10-2016-0106266 2016-08-22

Publications (2)

Publication Number Publication Date
CN107770512A CN107770512A (zh) 2018-03-06
CN107770512B true CN107770512B (zh) 2020-11-06

Family

ID=61082623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078378.9A Active CN107770512B (zh) 2016-08-22 2016-11-30 通过匹配立体图像而产生视差图的系统和方法

Country Status (4)

Country Link
US (1) US10171795B2 (zh)
KR (1) KR101856344B1 (zh)
CN (1) CN107770512B (zh)
DE (1) DE102016123168A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
DE102019211582A1 (de) * 2019-08-01 2021-02-04 Robert Bosch Gmbh Verfahren zum Erstellen einer Höhenkarte

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020025075A1 (en) * 2000-07-19 2002-02-28 Hong Jeong System for matching stereo image in real time
JP2010152456A (ja) * 2008-12-24 2010-07-08 Ricoh Co Ltd 画像処理装置及び画像処理方法、並びに当該画像処理方法を用いたプログラム
CN102447917A (zh) * 2010-10-08 2012-05-09 三星电子株式会社 立体图像匹配方法及其设备
CN103366354A (zh) * 2012-03-27 2013-10-23 富士通株式会社 用于立体匹配的方法和系统
US20140153784A1 (en) * 2012-10-18 2014-06-05 Thomson Licensing Spatio-temporal confidence maps
CN104915941A (zh) * 2014-03-11 2015-09-16 株式会社理光 计算视差的方法和装置
CN104952064A (zh) * 2014-03-27 2015-09-30 株式会社理光 视差值计算装置、物体识别系统、视差值计算方法
US20150296202A1 (en) * 2014-04-11 2015-10-15 Wei Zhong Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN105578169A (zh) * 2014-09-17 2016-05-11 株式会社理光 信息处理系统和信息处理方法
US20160150210A1 (en) * 2014-11-20 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for matching stereo images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938195B1 (ko) 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
JP5682065B2 (ja) 2011-03-02 2015-03-11 独立行政法人産業技術総合研究所 ステレオ画像処理装置及びステレオ画像処理方法
KR20150053438A (ko) 2013-11-08 2015-05-18 한국전자통신연구원 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
JP6377970B2 (ja) * 2014-06-12 2018-08-22 トヨタ自動車株式会社 視差画像生成装置及び視差画像生成方法
KR101734912B1 (ko) 2015-03-02 2017-05-12 주식회사 엘엠에스 방열 시트
US10321112B2 (en) * 2016-07-18 2019-06-11 Samsung Electronics Co., Ltd. Stereo matching system and method of operating thereof

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020025075A1 (en) * 2000-07-19 2002-02-28 Hong Jeong System for matching stereo image in real time
JP2010152456A (ja) * 2008-12-24 2010-07-08 Ricoh Co Ltd 画像処理装置及び画像処理方法、並びに当該画像処理方法を用いたプログラム
CN102447917A (zh) * 2010-10-08 2012-05-09 三星电子株式会社 立体图像匹配方法及其设备
CN103366354A (zh) * 2012-03-27 2013-10-23 富士通株式会社 用于立体匹配的方法和系统
US20140153784A1 (en) * 2012-10-18 2014-06-05 Thomson Licensing Spatio-temporal confidence maps
CN104915941A (zh) * 2014-03-11 2015-09-16 株式会社理光 计算视差的方法和装置
CN104952064A (zh) * 2014-03-27 2015-09-30 株式会社理光 视差值计算装置、物体识别系统、视差值计算方法
US20150296202A1 (en) * 2014-04-11 2015-10-15 Wei Zhong Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN105578169A (zh) * 2014-09-17 2016-05-11 株式会社理光 信息处理系统和信息处理方法
US20160150210A1 (en) * 2014-11-20 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for matching stereo images

Also Published As

Publication number Publication date
US20180054609A1 (en) 2018-02-22
US10171795B2 (en) 2019-01-01
CN107770512A (zh) 2018-03-06
KR101856344B1 (ko) 2018-06-25
DE102016123168A1 (de) 2018-02-22
KR20180021549A (ko) 2018-03-05

Similar Documents

Publication Publication Date Title
JP6946298B2 (ja) 画像ベースの車両位置特定のためのシステム及び方法
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
US10268901B2 (en) Quasi-parametric optical flow estimation
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
JP6601935B2 (ja) 繰り返し補間及びワーピングにより奥行マップを生成するシステム及び方法
EP1852673B1 (en) Object recognizing apparatus and object recognizing method using epipolar geometry
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
US9014463B2 (en) System for real-time stereo matching
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
US10489926B2 (en) Image processing device, image processing method, and program
US20170161912A1 (en) Egomotion estimation system and method
EP3293700A1 (en) 3d reconstruction for vehicle
CN107770512B (zh) 通过匹配立体图像而产生视差图的系统和方法
CN105389790B (zh) 为立体匹配校正插值系数的装置、方法和计算机可读介质
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
Gehrig et al. Priors for stereo vision under adverse weather conditions
Chumerin et al. Ground plane estimation based on dense stereo disparity
CN113710986A (zh) 图像处理装置和图像处理方法
JP2017084259A (ja) 対応点探索方法、および距離測定装置
Ma et al. Disparity estimation based on fusion of vision and LiDAR
Gehrig et al. Exploiting traffic scene disparity statistics for stereo vision
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체
CN113763560B (zh) 点云数据的生成方法、系统、设备及计算机可读存储介质
JP2016163252A (ja) 視差画像生成装置
CN117475103A (zh) 一种更新3d模型的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant