CN116362971A - 用于生成后拼接全景视图的系统和方法 - Google Patents

用于生成后拼接全景视图的系统和方法 Download PDF

Info

Publication number
CN116362971A
CN116362971A CN202310363786.2A CN202310363786A CN116362971A CN 116362971 A CN116362971 A CN 116362971A CN 202310363786 A CN202310363786 A CN 202310363786A CN 116362971 A CN116362971 A CN 116362971A
Authority
CN
China
Prior art keywords
image
transformed
slot
seam
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310363786.2A
Other languages
English (en)
Inventor
J·S-A·潘
V·V·阿皮亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN116362971A publication Critical patent/CN116362971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)

Abstract

本申请公开了用于生成后拼接全景视图的系统和方法。在所描述的示例中，后拼接全景视图(RSVP)系统包括至少一个处理器和存储软件指令的存储器，该软件指令在由至少一个处理器执行时使RSVP系统计算(404)由安装在车辆后部的立体相机捕获的左中心后方图像和右中心后方图像的视差图，将右后方图像、左后方图像、参考中心后方图像和视差图变换(402)为虚拟世界视图，右后方图像和左后方图像由安装在车辆上的相应右相机和左相机捕获，基于变换后的视差图计算(406)最佳左缝和最佳右缝，并且基于相应的最佳缝拼接(408)变换后的图像以生成全景图。

Description

用于生成后拼接全景视图的系统和方法
本申请是于2018年1月4日提交的名称为“用于后视图可视化的后拼接全景视图”的中国专利申请201880013567.9的分案申请。
技术领域
本发明总体涉及车辆中的后视图可视化。
背景技术
在大多数当前的车辆中，在驾驶员可用的车辆的侧面和后面可用的视场(FOV)限于在侧视镜和后视镜中可以看到的视场。然而，常规三镜系统存在安全问题，因为驾驶员需要将注意力转移到观察每个镜子以获得后视FOV的完全可视化，这转移了车辆前方场景的注意力。相机监控系统(CMS)正变得越来越可用，但这些系统只是简单地用相机替换镜子，因此仍需要驾驶员在显示器之间转移注意力，随后在精神上将整个后FOV的聚合视图拼接在一起。此外，当侧视镜/相机的角度被调整到包括车辆侧面的典型位置时，盲点仍然位于侧面FOV的外侧，由于驾驶员必须回头看以检查这些盲点，因此造成额外的安全隐患。
发明内容
在一个方面，后拼接全景视图(RSVP)系统包括至少一个处理器，以及存储软件指令的存储器，该软件指令在由至少一个处理器执行时使RSVP系统计算左中心后方图像和右中心后方图像的视差图，左中心后方图像和右中心后方图像由安装在车辆后部的立体相机捕获，使用虚拟相机参数将右后方图像、左后方图像、左中心后方图像和右中心后方图像的参考中心后方图像以及视差图变换为虚拟世界视图，右后方图像由安装在车辆右侧的右相机捕获并且左后方图像由安装在车辆左侧的左相机捕获，基于变换后的视差图计算变换后的左后方图像和变换后的参考中心后方图像之间的最佳左缝，基于变换后的视差图计算变换后的右后方图像和变换后的参考中心后方图像之间的最佳右缝，并且基于最佳左缝拼接变换后的左后方图像和变换后的参考中心后方图像并且基于最佳右缝拼接变换后的右后方图像和变换后的参考中心后方图像，以生成全景图。
在一个方面，一种用于生成后拼接全景视图的方法包括计算左中心后方图像和右中心后方图像的视差图，左中心后方图像由安装在车辆后部的立体相机捕获，使用虚拟相机参数将右后方图像、左后方图像、左中心后方图像和右中心后方图像中的一个的参考中心后方图像以及视差图变换为虚拟世界视图，右后方图像由安装在车辆右侧的右相机捕获并且左后方图像由安装在车辆左侧的左相机捕获，基于变换后的视差图计算变换后的左后方图像和变换后的参考中心后方图像之间的最佳左缝，基于变换后的视差图计算变换后的右后方图像和变换后的参考中心后方图像之间的最佳右缝，并且基于最佳左缝拼接变换后的左后方图像和变换后的参考中心后方图像并且基于最佳右缝拼接变换后的右后方图像和变换后的参考中心后方图像，以生成全景图。
附图说明
图1为包括后拼接全景视图(RSVP)系统的示例车辆的俯视图。
图2为图1的RSVP系统的简化框图。
图3描绘了围绕图1的车辆的三个校准图表的示例布置。
图4为用于生成可以由图2的RSVP系统实现的后拼接全景视图的方法的流程图。
图5为一组示例捕获图像。
图6为将右镜图像投影到虚拟显示表面上的示例可视化。
图7为用于计算投影变换的方法的流程图。
图8为示出与全景图中的左图像、中心图像和右图像对应的区域的示例。
图9示出图5的变换后的图像。
图10为用于找到用于将两个图像拼接在一起的最小成本缝的方法的流程图。
图11为用于时间平滑以确定最终缝的方法的流程图。
图12示出位移阈值可以如何影响选择最终缝的方式的示例。
图13为用于确定重叠区域中的最小成本缝的方法的流程图。
图14为混合查找表(LUT)的示例。
图15示出盲区的示例。
图16为一个盲区中的对象的示例。
图17为可以在图2的RSVP系统中使用的片上系统(SOC)的简化框图。
具体实施方式
为了一致性，各附图中的相同元件由相同的附图标记表示。
实施例涉及生成车辆的后视场(FOV)的单个后视拼接全景图，该全景图至少为三个镜子可以提供的FOV。全景图可以在单个显示器上呈现给车辆的驾驶员，因此消除了驾驶员在三个镜子之间转移注意力的需要。使用四个相机：在车辆的每侧有一个相机，以取代典型的外部侧装镜，以及在车辆后部的一对立体相机，以取代典型的中心内后视镜。侧相机可以定位成减小由典型侧镜定位引起的典型盲点的范围。来自两侧相机的图像与来自立体对的参考相机的图像融合或拼接，以生成车辆的后FOV的无缝全景图。
为了将侧图像和后图像拼接在一起以形成无缝全景图，将图像变换到相同的可视化坐标系中。因此，基于系统校准参数独立地变换图像，使得每个图像看起来好像用位于车辆的上方和前方的面向后方的相同虚拟相机捕获。
在图像被变换之后，变换后的图像在边界处被拼接在一起，该边界被选择以最小化对象表示中的视觉失真效果和不连续性。使用来自立体相机对的深度信息确定用于融合图像的最佳边界或缝。此外，可以对缝选择应用时间平滑以平滑缝随时间变化的过渡。在一些实施例中，使用计算出的最佳缝线生成单个混合查找表(LUT)，该LUT指定用于将图像拼接在一起以形成全景图的权重。
车辆上的相机配置可在车辆后保险杠的任一角点(corner)处产生盲区。如果对象紧挨着保险杠，则对象可能只在一个相机的FOV中。在这种情况下，图像的拼接可以完全从所得到的全景图中移除对象，或者对象可以呈现幻影，即以小偏移复制。在一些实施例中，使用另一传感器模态来检测盲区中对象的存在。如果检测到对象，则缝选择被偏置以包括存在对象的更多图像，使得对象的至少一些将在全景图中可见。
图1为包括后拼接全景视图(RSVP)系统的实施例的示例车辆100的俯视图。RSVP系统(未具体示出)联接到安装在车辆100上的不同位置处的四个相机102、104、106、108。RSVP系统包括硬件和软件以接收由相机捕获的视频流并处理视频流以生成向车辆100的驾驶员显示的后视全景图。
相机102和108安装在车辆100的相对侧以替换侧视镜，并且相机104和106为安装在车辆100后部的立体对，以捕获通常通过中心内后视镜看到的视图。因此，相机102捕获右镜图像，本文可以称为Rmirror，相机108捕获左镜图像，本文可以称为Lmirror，相机104捕获右立体图像，本文可以称为Rstereo，并且相机106捕获左立体图像，本文可以称为Lstereo。相机102、104、106、108被定位成使得每个相机具有相应的后视场(FOV)角。可以使用任何合适的FOV角。在一些实施例中，FOV角在50至60度的范围内。
如本文更详细描述的，输出全景图为来自相机102、108的图像和来自立体相机104、106的参考相机的图像的组合。本文描述了假设参考相机为左立体相机106的实施例。其中，参考相机为右立体相机104的实施例是可能的。此外，来自相机104、106的深度信息用于确定缝线以用于拼接来自相机102、106、108的图像以形成全景图。
图2为包括在图1的车辆100中的示例RSVP系统202的简化框图。RSVP系统202包括联接到相机102-108和显示装置208以及存储器206的片上系统(SOC)204。SOC 204可以为适合于实时图像生成的任何SOC。合适的SOC的一些示例为可从德州仪器公司(TexasInstruments Incorporated)获得的TDA2x和TDA3x SOC系列。存储器206可以为存储器技术(诸如随机存取存储器、只读存储器和/或闪存)的任何合适组合。
存储器206存储可以在SOC 204的一个或多个处理器上执行的RSVP系统202的可执行软件指令。可执行软件指令包括如本文所述的后视全景图像生成的实施例的指令。显示装置208被配置为向驾驶员显示后视全景图。例如，显示装置208可以安装在典型的内部中心后视镜的位置。
为了从三个图像生成全景图，需要提供图像的每个相机102、106、108的外在参数，即相机位置和取向。如本文中更详细描述的，使用外在参数来变换每个图像以便看起来好像图像由具有任意位置和取向的虚拟相机捕获。该虚拟相机被认为是生成的全景图的捕获装置。基于图表的校准过程可以离线执行，例如在工厂中执行，以确定三个相机102、106、108中的每个的外在参数。
参考图3，在一些实施例中，为了执行校准，具有已知尺寸和相对位置的一组三个校准图表300、302、304被放置成与车辆100周围的地平面共面。车辆100与校准图表300-304对准，使得每个相机102-108可看到一个完整的正方形图案。确定相应相机图像中每个图表的八个角点像素(即特征像素)的位置提供了与已知世界坐标的充分对应，以校准相机，因为每个捕获图像中的每个角点都具有在图像平面中的相关联的二维(2D)坐标和真实世界三维(3D)坐标。在2016年10月14日提交的专利申请公开号US2017/0124710中描述了用于在图像中找到角点像素的示例技术，该申请通过引用并入本文。
在一些实施例中，由于需要左立体相机和右立体相机之间的距离或基线，因此对所有四个相机执行校准。在一些实施例中，立体相机对可以在固定组件中预校准，并且基线是已知的。在这样的实施例中，不对右立体相机执行校准。
使用这些对应关系，可以使用直接线性变换来估算从相机图像平面到世界坐标的单应性(homography)。此外，将单应性矩阵投影在正交子空间上提供了世界坐标系中相机的外在姿态。因为图表上的像素是用物理尺寸测量，所以在相机的姿态估算中转换相同的物理解释。在一些实施例中，应用附加非线性优化以改进估算。例如，可以使用已知的文伯格-马夸特(Levenberg-Marquardt)方法的实施例。
图4为用于生成可以在诸如图2的SOC 204上实现的后拼接全景视图的方法的流程图。基于来自立体相机104、106的左立体图像和右立体图像来生成404视差图。可以使用任何合适的技术来生成视差图。
使用相应相机的内在和外在参数将来自每个相机102、106、108的后视角的车辆100的后方场景的图像变换402到虚拟世界视图。该变换假设车辆100周围的虚拟世界由位于车辆后面一定距离的平坦表面表示，并且将来自每个相机的适当FOV投影到平坦表面上。更具体地，该变换包括使用虚拟相机参数将每个图像像素投影到车辆100后面的平坦表面上以将图像投影到虚拟相机图像中。此外，将应用于来自左立体相机106的图像的相同变换应用于视差图以获得视差的虚拟相机“视图”。下文参考图5-图9更详细地描述图像变换。
通常，可以基于车辆确定虚拟相机参数。需要与物理相机在同一坐标系中的位置和视角。例如，虚拟相机位置可以固定在左相机和右相机的中间像素上方0.5米并向前移动0.5米处，使得虚拟相机位置具有从车辆前方观察的视角。虚拟相机与水平地平面的角度也可以固定在-30度。虚拟相机角度和位置可以是允许车辆的驾驶员改变虚拟相机参数以匹配观看需求(非常类似于调整物理后视镜)的用户参数。
然后执行缝检测406以确定最佳边界，相邻图像将沿着该最佳边界被组合。使用变换后的图像和变换后的视差图来执行缝检测。缝检测的结果为具有权重的与输出全景图相同大小的混合查找表(LUT)，其中，该权重指定用于在缝处组合图像以生成全景图的阿尔法混合系数。下文参考图10-图14更详细地描述了缝检测和LUT生成。
然后通过将LUT中的权重应用于图像，将图像拼接408在一起以形成输出全景图。下文更详细地描述图像的拼接。
现在更详细地描述变换、缝检测和拼接。图5示出来自右相机、立体相机对和左相机(诸如相机102-108)的一组示例捕获图像502-508，以及从右相机、左立体相机和左相机的图像生成的全景图510。下文基于该组示例图像描述变换、缝检测和拼接。来自左相机和右相机的图像在本文中可以分别称为Lmirror和Rmirror，并且来自立体相机对的图像在本文中可以称为Lstereo和Rstereo。
如上所述，全景图被投影在车辆后面的虚拟平坦表面上。因此，可以为图像Lmirror、Lstereo和Rmirror中的每个计算单个投影变换。每个投影变换根据在校准期间针对对应相机估算的内在和外在参数进行计算。对相应图像应用每个投影变换以获得变换后的图像L'mirror、L'stereo和R'mirror。针对Lstereo计算的投影变换也用于变换视差图D以生成变换后的视差图D'。图6为将右镜图像502投影到虚拟显示表面510上的示例可视化。
图7为用于计算图像的投影变换的方法的流程图。该方法可以作为工厂校准的一部分来执行，因为图像的投影变换基于物理相机外在参数、平坦表面与相机的距离以及虚拟相机的位置，所有这些在物理相机已校准之后都是已知的。最初，确定700变换后的图像的区域中心。基于全景图的已知尺寸w×h和左相机投影到全景图的左三分之一、左立体相机投影到全景图的中心以及右相机投影到全景图的右三分之一的近似约束，可以确定与图像对应的区域的中心像素(xrc，yrc)。
接下来，在变换后的图像中选择702与中心像素(xrc，yrc)的小偏移Δ0ffset处的四个非共线像素。选择像素使得没有三个像素共线。可以使用Δoffset的任何合适的值。通常，最终投影变换随着距中心像素的距离的增加而改善。因此，Δoffset的最大可能值是可取的。例如，对于1920×480全景图，Δoffset的值可以为240。图8为示出与1920×480的全景图中的左图像、中心图像和右图像对应的区域的简单示例。示出每个区域的中心像素和四个非共线像素。
再次参考图7，使用虚拟相机参数将四个像素投影704到世界坐标中。然后将世界像素投影706为图像像素。虚拟相机的位置和取向是已知的，并且平坦表面的位置是已知的。该信息用于将虚拟相机图像中的四个像素投影到平坦表面或世界。此外，基于相机校准，平坦表面上的像素如何映射到输入相机图像也是已知的。因此，虚拟相机图像的最终输出上的四个像素与输入图像中的四个像素之间存在关系。然后计算708将图像像素映射到变换后的像素的投影变换矩阵。给定四个像素从输出图像到输入图像的对应关系，可以用四组像素对应关系生成投影变换矩阵。
图9示出对应于图5的相应图像502、504、508的变换后的图像以及每个变换后的图像中的感兴趣FOV 902、904、908。通过沿着通过场景检测确定的缝拼接来组合FOV 902、904、908以形成全景图。图9还示出为立体图像504、506生成的视差图700和变换后的视差图906。
因为全景图基本上为在平坦表面上的具有预定深度的投影，所以如果选择缝使得缝在表面距离处经过对象，则这些对象在输出全景图中无缝地拼接。因此，在从每个捕获图像投影到虚拟表面的过程中，位于虚拟表面上并被相邻相机捕获的世界位置将投影回虚拟视图中的相同世界位置并因此看起来对准。立体信息可以用于定位靠近投影表面的世界空间中的像素，从而可以计算延伸穿过其对应图像像素的缝。
图10为用于找到用于将两个图像拼接在一起的最小成本缝的方法的流程图。该方法可以用于找到用于拼接左相机图像和左立体图像的最小成本缝以及用于拼接左立体图像和右相机图像的最小成本缝。在重叠区域中执行对最小成本缝的搜索。左相机图像和左立体图像之间以及左立体图像和右相机图像之间的重叠区域可以被确定为RSVP系统的校准的一部分。
在该方法中，确定两个候选缝，通过将平坦表面视差与变换后的视差图匹配而找到最小成本缝，并且通过将地平面视差与变换后的视差图匹配而找到最小成本缝。选择两个缝中具有最小成本的缝作为最终缝用于拼接。沿地平面的缝被认为允许没有重要对象位于平坦表面深度的情况，即，投影表面视差与变换后的视差图之间存在匹配不足的情况。
最初，计算1000世界视差图Dw。因此，使用像素相对于立体相机的已知位置来计算虚拟平坦表面上的每个像素的视差。视差值可以计算如下。等式
Z＝B*f/d
可以用来计算给定立体图像的深度，其中，B为两个相机之间的距离，f为相机焦距，d为视差，以及Z为给定位置的深度。该等式用于估算立体相机图像中的位置的深度。为了计算平坦表面上的视差，平坦表面被限定在距立体相机的特定的已知深度处，即，预定拼接图像所处的距离。因此，可以通过下式计算视差值
d＝B*f/Z
其中，Z为已知的，并且d为未知的。
然后通过比较Dw和变换后的视差图D’中的对应视差值来计算1002世界视差差异图DΔ。具体地，可以根据下式通过取Dw和D’中的对应视差值之间的差的大小来计算DΔ
DΔ＝|D’-DW|。
如参考图13更详细描述的，候选缝的成本由DΔ中的一组像素视差来定义。
然后确定1004在重叠区域中的最小成本世界缝smin,w。因此，搜索重叠区域中的候选缝以找到具有如通过世界视差差异图DΔ中的对应的一组像素视差来确定的最小成本的缝。缝s由重叠区域中从全景图的顶部到底部的线性路径中的一组像素指定。因此，缝在全景图中每行包括一个像素。参考图13描述用于找到最小成本缝的方法。
然后通过比较预定地平面视差图DG和变换后的视差图D’中的对应视差值来计算1006地平面视差差异图DΔ。具体地，可以根据下式通过取DG和D’中的对应视差值之间的差异的大小来计算DΔ
DΔ＝|D’-DG|。
如参考图13更详细描述的，候选缝的成本由DΔ中的一组像素视差来定义。
然后确定1008重叠区域中的最小成本地平面缝smin,G。因此，搜索重叠区域中的候选缝以找到具有如通过世界视差差异图DΔ中的一组对应像素视差所确定的最小成本的缝。参考图13描述用于找到最小成本缝的方法。
从地平面缝smin,G和世界缝smin,w选择1010总体最小成本缝Smin，因此根据下式选择具有最低成本的缝作为总体最小成本缝
smin＝min(smin,w,smin,G)。
然后将时间平滑应用1012到最小成本缝smin以确定最终缝st。参考图11描述用于时间平滑的方法。应用时间平滑，因为如果针对每个全景图独立地计算新缝，则在连续全景图之间的拼接边界中可能存在大的跳跃和抖动，这可能使车辆的驾驶员分散注意力并使其失去方向感。为了保持时间一致性，考虑先前全景图中的缝位置以及缝移动的最小距离阈值pmin和最大距离阈值pmax。最小距离阈值Pmin用于避免抖动，并且最大距离阈值Pmax用于避免从先前全景图中的缝到当前全景图的缝的大跳跃。可以使用任何合适的Pmin和pmax值。在一些实施例中，根据经验选择值。
图11为用于确定最终缝st的时间平滑的方法的流程图。首先，确定1100最小成本缝smin中的所有像素是否在前一缝st-1的pmin像素内。如果所有像素都在pmin像素内，则将最终缝st设置1102为前一缝st-1。否则，确定1104最小成本缝smin中的任何像素远离前一缝st-1是否大于pmax像素。如果没有像素远离前一缝st-1大于Pmax像素，则将最终缝st设置1106为最小成本缝smin。
否则，缩放(scale)1108最小成本缝smin，使得最小成本缝Smin和前一缝st-1之间的最大像素位移为Pmax，以确定最终缝st。更具体地，考虑包括每个缝的像素：
Figure BDA0004165941680000091
Figure BDA0004165941680000092
Figure BDA0004165941680000093
其中，hRSVP为全景图的高度，那么最终缝st的x坐标可以根据下式通过缩放最小成本缝Smin来计算
Δx1＝|x1，min-x1，t-1|
Figure BDA0004165941680000094
Figure BDA0004165941680000095
Figure BDA0004165941680000096
图12示出位移阈值可以如何影响选择最终缝st的方式的示例。如左边的示例所示，当最小成本缝smin的所有像素都在前一缝st-1的pmin像素内时，则前一缝用于拼接以最小化抖动，即st＝st-1。如右边的示例所示，当最小成本缝隙smin中的像素远离前一缝st-1超出pmax像素时，最小成本缝隙smin被缩放以避免从前一缝st-1到最低成本缝smin的大跳跃。
图13为用于确定重叠区域中的最小成本缝的方法的流程图。该方法可以用于在世界中(即在平坦表面上)找到最小成本缝，以及在地平面上找到最小成本缝。该方法的输入为视差差异图DΔ，其可以为地平面视差图DG与变换后的视差图D’之间的视差差异图或世界视差差异图DΔ与变换后的视差图D’之间的视差差异图。
最初，计算1300重叠区域中的竖直候选缝的成本。因此，从重叠区域中的预定竖直缝开始，自前一竖直缝以预定步长(例如，16个像素)计算重叠区域内的竖直缝的成本。可以使用任何合适的步长，并且可以选择该步长以获得最佳计算性能。例如，预定竖直缝可以位于重叠区域的左侧。确定预定竖直缝的成本，然后确定预定竖直缝右侧16个像素的竖直缝的成本，然后确定预定竖直缝右侧32个像素的竖直缝的成本等。从候选竖直缝中选择1302最佳竖直候选缝，即具有最小成本的竖直缝。
然后计算1304在重叠区域内所选择的最佳竖直候选缝的小邻域(例如，±16个像素)内的候选缝的成本。可以使用任何合适的邻域尺寸。在一些实施例中，邻域位于所选竖直候选缝的任一侧上的竖直缝之间。对于小邻域顶部的每个像素，计算从该像素到邻域中的每个底部像素的缝的成本。选择1306小邻域中的具有最小成本的缝作为最小成本缝。
可以将候选缝s＝{(xi，yi)}的成本计算为与候选缝s中的像素对应的视差差异图DΔ中的视差值的总和，其通过变换后的视差图D’中的有效对应视差值的数量来归一化。因此，可以通过下式计算具有离散化像素
Figure BDA0004165941680000101
的候选缝的成本cs
Figure BDA0004165941680000102
其中，|D’(s)>0|为在D’中具有有效视差值的候选缝s中的像素的数量，并且hRSVP为以像素为单位的全景图的高度。
在一些实施例中，在成本计算中施加约束以仅允许具有小于阈值视差值Δw的视差估算的表面像素来贡献成本。可以使用任何合适的Δw值。在一些实施例中，该值凭经验确定，并且可以取决于拼接精度要求。在没有这种约束的情况下，缝选择将偏向于沿地平面选择缝，因为在大多数车辆操作情形中地面为主要特征。使用阈值视差值Δw，可以通过下式计算候选缝s的成本cs
Figure BDA0004165941680000111
在为两个重叠区域中的每个重叠区域选择最终缝st之后，使用指定用于组合图像对的阿尔法混合系数的权重来计算与全景图相同大小的单个混合LUT。在一些实施例中，计算阿尔法值，使得对于最终缝st中的每个像素，每个阿尔法值为0.5，并且在缝st周围的预定混合宽度上，阿尔法值从1到0线性减小。可以凭经验确定合适的混合宽度。也可以使用其他合适的阿尔法值。
可以使用单个混合LUT，因为左缝总是落在全景图的左半部分中，而右缝总是落在全景图的右半部分中。因此，可以在这些假设下生成混合LUT，并且可以相对于要组合的每对图像的左图像来定义权重。图14为混合LUT的示例，其中，两个缝线上的每个像素处的权重为0.5。线1400、1402指示缝位置。
鉴于混合LUT通过下式表示
{Wij，i∈{1，...，hRSVP}，j∈{1，...，wRSVP}}，
其中，wRSVP为以像素为单位的全景图的宽度，可以根据以下等式针对全景图RSVP的左半部分和右半部分分别执行图像的拼接以形成全景图：
对于
Figure BDA0004165941680000112
和/>
Figure BDA0004165941680000113
对于/>
Figure BDA0004165941680000114
和/>
Figure BDA0004165941680000115
RSVP(i，j)＝WijL′stereo(i，j)+(1-Wij)L′mirror(i，j)。
相机配置消除了传统后视镜配置产生的传统盲点，但是如上所述，可能在车辆的后保险杠的任一角点处产生盲区。如果对象在一个盲区中，则上文描述的方法可能选择在所显示的全景图中完全消除对象的缝，因为这些区域中的对象可能仅出现在一个图像中。盲区的位置通常由图16的左侧示例中的表演者描绘。盲区可以在本文中被称为b11、b12、b21和b22，如图15的右侧示例中所示。
在一些实施例中，用于对象检测的模态(诸如雷达、光雷达、超声波、计算机视觉等)将关于这些盲区中存在对象的信息提供给图10的方法的缝发现。更具体地，如果在盲区中检测到对象，则对应于包含检测到的对象的图像的最终缝被偏置以确保对象的至少一些将在全景图中可见。该偏置可以如下执行。如果在b11或b22中检测到对象，则朝向全景图的中心偏置最终缝。如果在b12中检测到对象，则朝向全景图的左侧偏置最终缝。如果在b21中检测到对象，则朝向全景图的右侧偏置最终缝。可以使用任何合适的偏置。在一些实施例中，偏置被设置成使得前一的缝位置移动到重叠区域的相应边缘，使得如果检测到任何对象，则新缝将不会从边缘明显移动。
图16为盲区b11中的对象的示例。右镜图像Rmirror捕获站在区域b11中的人，该人在左立体图像Lstereo中不可见。如全景图1600中所示，可以拼接图像以使得人不可见。如全景图1602中所示，如果对象检测模态检测到人，则Rmirror和Lstereo之间的缝可以远离人朝向全景图的中心偏置，使得人的至少一些在全景图中可见。
图17为可以用作图2的SOC 204的示例多处理器片上系统(SOC)1700的高级框图。特别地，示例SOC 1700为可从德州仪器公司获得的TDA3X SOC的实施例。本文提供了SOC1700的部件的高级描述。可以在M.Mody等人20117年12月16日至19日在印度班加罗尔的《20117年IEEE第22届高性能计算国际会议论文集》第4176-463页的“TF TDA3X平台上的高性能前置相机ADAS应用”(M.Mody,et al.,"High Performance Front Camera ADASApplications on TFs TDA3X Platform,"Proceedings of 20117IEEE 22ndInternational Conference on High Performance Computing,December 16-19,20117,Bangalore,India,pp.4176-463)和在2014年10月德州仪器的SPRT704A第1-6页的“用于高级驾驶员辅助系统(ADAS)的TDA3x SOC处理器技术简介”("TDA3x SOC Processors forAdvanced Driver Assist Systems(ADAS)Technical Brief,"Texas Instruments,SPRT704A,October,2014,pp.1-6)中找到对示例部件的更详细描述，其通过引用并入本文。
SOC 1700包括经由高速互连件1722联接的双通用处理器(GPP)1702、双数字信号处理器(DSP)1704、视觉处理器1706和图像信号处理器(ISP)1724。SOC 1700进一步包括直接存储器存取(DMA)部件1708、联接到外部相机1724的相机捕获部件1710、显示管理部件1714、片上随机存取(RAM)存储器1716(例如计算机可读介质)，以及各种输入/输出(I/O)外围设备1720，所有这些均经由互连件1722联接到处理器。此外，SOC 1700包括安全部件1718，该安全部件1718包括安全相关功能以使得能够符合汽车安全要求。这样的功能可以包括支持数据的CRC(循环冗余校验)、用于漂移检测的时钟比较器、错误信令、窗口看门狗定时器，以及针对损坏和故障的SOC的自测试。实现如本文所述的后视全景图像生成的实施例的软件指令可以存储在存储器1716中，并且可以在SOC 1700的一个或多个可编程处理器上执行。
其他实施例
可以设计不脱离本文描述的范围的其他实施例。
例如，本文已经描述了这样的实施例，其中，校准图表由位于较大黑色正方形的中心的白色正方形组成，该黑色正方形位于较大的白色正方形的中心。但是使用其他合适的校准图表的实施例是可能的。其他合适的校准图表的一些示例可以在上文引用的专利申请公开号US2017/0124710中找到。
在另一示例中，本文已经描述了虚拟世界视图被假设为平坦表面的实施例。但是使用其他世界表示(诸如圆柱形表面)的实施例是可能的。
在另一示例中，本文已经描述了混合宽度是预定的实施例。但是可以基于场景的知识动态地改变混合宽度的实施例是可能的。
在另一示例中，用于生成全景图的视差图为针对前一对立体图像计算的视差图的实施例是可能的。
在另一示例中，本文已经描述了成本计算被偏置为相对于地面缝更偏袒于表面缝的实施例。但是成本计算被偏置以选择地面缝的实施例是可能的。
在另一示例中，虚拟相机位置可以在车辆操作期间由车辆驾驶员改变以使用操纵杆或其他输入机构调整最终全景图的实施例是可能的。在这样的实施例中，响应于虚拟相机位置的改变而改变投影变换参数。
在另一示例中，本文已经描述了使用粗到细搜索来定位重叠区域中的最小成本缝的实施例。但是使用其他搜索方法(诸如搜索重叠区域中的所有可能的缝)的实施例是可能的。
在另一示例中，本文已经描述了与全景图相同大小的单个混合LUT被计算并用于将三个图像拼接在一起的实施例。但是生成两个混合LUT(针对每个重叠区域生成一个混合LUT)的实施例是可能的。在这样的实施例中，可以将不在重叠区域中的图像中的像素复制到输出全景图，并且将混合LUT应用于相应重叠区域中的像素。
实现本文描述的全部或部分方法的软件指令可以最初存储在计算机可读介质中，并由一个或多个处理器加载和执行。在一些情况下，软件指令可以经由可移除计算机可读介质、经由来自另一数字系统上的计算机可读介质的传输路径等来分发。计算机可读介质的示例包括不可写存储介质(诸如只读存储器装置)、可写存储介质(诸如磁盘、闪存、存储器)或其组合。
尽管本文可以以按顺序的方式呈现和描述方法步骤，但是附图中示出的和/或本文描述的步骤中的一个或多个步骤可以同时执行、可以组合执行和/或可以以与在附图中示出和/或本文描述的顺序不同的顺序执行。因此，实施例不限于附图中示出和/或本文描述的步骤的特定顺序。
在本说明书中，术语“联接”及其派生词意指间接、直接、光学和/或无线电连接。例如，如果一个装置联接到另一个装置，则该连接可以通过直接电连接、通过经由其他装置和连接的间接电连接、通过光学电连接和/或通过无线电连接。
在所描述的实施例中可以进行修改，并且在权利要求的范围内，其他实施例也是可能的。

Claims (40)

1.一种方法，其包括：
通过至少一个处理器，接收第一图像和第二图像；
通过所述至少一个处理器，计算所述第一图像和所述第二图像的视差图；
通过所述至少一个处理器，接收第三图像；
通过所述至少一个处理器，接收第四图像；
通过所述至少一个处理器，变换所述第三图像、所述第四图像、所述第一图像或所述第二图像的参考图像以及所述视差图，以生成变换后的第三图像、变换后的第四图像、变换后的参考图像以及变换后的视差图；
通过所述至少一个处理器，根据所述变换后的视差图，计算所述变换后的第三图像和所述变换后的第四图像之间的左缝；
通过所述至少一个处理器，根据所述变换后的视差图，计算所述变换后的第三图像和所述变换后的参考图像之间的右缝；以及
通过所述至少一个处理器，根据所述变换后的第四图像、所述变换后的参考图像、所述左缝、所述变换后的第三图像和所述右缝，生成全景图。
2.根据权利要求1所述的方法，其中生成所述全景图包括：
根据所述左缝拼接所述变换后的第四图像和所述变换后的参考图像；以及
基于所述右缝拼接所述变换后的第三图像和所述变换后的参考图像，以生成所述全景图。
3.根据权利要求1所述的方法，其中接收所述第一图像和所述第二图像包括从安装在车辆后部的立体相机接收左中心图像和右中心后方图像，其中接收所述第三图像包括从安装在所述车辆右侧的右相机接收右后方图像，并且其中接收所述第四图像进一步包括从安装在所述车辆左侧的左相机接收左后方图像。
4.根据权利要求1所述的方法，其中计算所述左缝进一步包括：
计算世界视差图；
根据所述世界视差图和所述变换后的视差图计算世界视差差异图；
根据所述世界视差差异图，计算所述变换后的第四图像和所述变换后的参考图像之间重叠区域中的候选缝的成本；以及
搜索所述候选缝以寻找第一低成本缝。
5.根据权利要求4所述的方法，其中根据所述世界视差差异图中的对应于所述候选缝中的像素的视差值的总和，通过所述变换后的视差图中的有效对应视差值的数量进行归一化，来执行计算所述候选缝的所述成本。
6.根据权利要求4所述的方法，其中计算所述左缝进一步包括：
根据地平面视差图和所述变换后的视差图计算地平面视差差异图；
计算所述变换后的第四图像和所述变换后的参考图像之间的重叠区域中的候选缝的第二成本；
搜索所述候选缝的第二成本，以寻找第二低成本缝；以及
将所述左缝设置为所述第一低成本缝和所述第二低成本缝中的较小者。
7.根据权利要求1所述的方法，进一步包括向所述左缝和所述右缝应用时间平滑，其中应用时间平滑进一步包括：
在确定所述左缝中的所有像素都在前一左缝的最小距离阈值内时，将所述左缝设置为所述前一左缝；
在确定所述右缝中的所有像素都在前一右缝的最小距离阈值内时，将所述右缝设置为所述前一右缝；
在确定所述左缝中的任何像素远离所述前一左缝大于最大距离阈值时，缩放所述左缝，使得所述左缝与所述前一左缝之间的最大像素位移不再大于所述最大距离阈值；并且
在确定所述右缝中的任何像素远离所述前一右缝大于所述最大距离阈值时，缩放所述右缝，使得所述左缝和所述左缝之间的最大像素位移不再大于所述最大距离阈值。
8.根据权利要求1所述的方法，其中拼接所述变换后的第四图像进一步包括：
计算混合查找表即混合LUT，所述混合LUT包括用于组合所述变换后的第四图像和所述变换后的参考图像的阿尔法混合系数；以及
使用所述混合LUT拼接所述变换后的第四图像和所述变换后的参考图像。
9.根据权利要求1所述的方法，进一步包括在确定盲区中存在对象时，偏置所述左缝或所述右缝。
10.根据权利要求1所述的方法，进一步包括通过显示装置显示所述全景图。
11.一种车辆，包括：
立体相机，其被配置为获得第一图像和第二图像；
第一相机，其被配置为获得第三图像；
第二相机，其被配置为获得第四图像；以及
至少一个处理器，其联接到所述立体相机、所述第一相机和所述第二相机，所述至少一个处理器被配置为：
从所述第一相机接收所述第一图像和所述第二图像；
计算所述第一图像和所述第二图像的视差图；
从所述第一相机接收所述第三图像；
从所述第二相机接收所述第四图像；
变换所述第三图像、所述第四图像、所述第一图像或所述第二图像的参考图像以及所述视差图，以生成变换后的第三图像、变换后的第四图像、变换后的参考图像以及变换后的视差图；
根据所述变换后的视差图，计算所述变换后的第三图像和所述变换后的第四图像之间的左缝；
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的参考图像之间的右缝；以及
根据所述变换后的第四图像、所述变换后的参考图像、所述左缝、所述变换后的第三图像和所述右缝，生成全景图。
12.根据权利要求11所述的车辆，进一步包括联接到所述至少一个处理器的显示装置，所述显示装置被配置为显示所述全景图。
13.根据权利要求11所述的车辆，其中生成所述全景图包括：
根据所述左缝拼接所述变换后的第四图像和所述变换后的参考图像；以及
基于所述右缝拼接所述变换后的第三图像和所述变换后的参考图像，以生成所述全景图。
14.根据权利要求11所述的车辆，其中所述立体相机安装在所述车辆的后部，所述第一相机安装在所述车辆的右侧，并且所述第二相机安装在所述车辆的左侧。
15.根据权利要求11所述的车辆，其中计算所述左缝进一步包括：
计算世界视差图；
根据所述世界视差图和所述变换后的视差图计算世界视差差异图；
根据所述世界视差差异图，计算所述变换后的第四图像和所述变换后的参考图像之间重叠区域中的候选缝的成本；以及
搜索所述候选缝以寻找第一低成本缝。
16.根据权利要求15所述的车辆，其中根据所述世界视差差异图中的对应于所述候选缝中的像素的视差值的总和，通过所述变换后的视差图中的有效对应视差值的数量进行归一化，来执行计算所述候选缝的所述成本。
17.根据权利要求15所述的车辆，其中计算所述左缝进一步包括：
根据地平面视差图和所述变换后的视差图计算地平面视差差异图；
计算所述变换后的第四图像和所述变换后的参考图像之间的重叠区域中的候选缝的第二成本；
搜索所述候选缝的第二成本，以寻找第二低成本缝；以及
将所述左缝设置为所述第一低成本缝和所述第二低成本缝中的较小者。
18.根据权利要求11所述的车辆，其中所述至少一个处理器进一步被配置为向所述左缝和所述右缝应用时间平滑，应用时间平滑包括：
在确定所述左缝中的所有像素都在前一左缝的最小距离阈值内时，将所述左缝设置为所述前一左缝；
在确定所述右缝中的所有像素都在前一右缝的最小距离阈值内时，将所述右缝设置为所述前一右缝；
在确定所述左缝中的任何像素远离所述前一左缝大于最大距离阈值时，缩放所述左缝，使得所述左缝与所述前一左缝之间的最大像素位移不再大于所述最大距离阈值；并且
在确定所述右缝中的任何像素远离所述前一右缝大于所述最大距离阈值时，缩放所述右缝，使得所述左缝和所述左缝之间的最大像素位移不再大于所述最大距离阈值。
19.根据权利要求11所述的车辆，其中拼接所述变换后的第四图像进一步包括：
计算混合查找表即混合LUT，所述混合LUT包括用于组合所述变换后的第四图像和所述变换后的参考图像的阿尔法混合系数；以及
使用所述混合LUT拼接所述变换后的第四图像和所述变换后的参考图像。
20.根据权利要求11所述的车辆，进一步包括在确定盲区中存在对象时，偏置所述左缝或所述右缝。
21.一种装置，其被配置为：
接收第一图像和第二图像；
计算所述第一图像和所述第二图像的视差图；
接收第三图像；
接收第四图像；
变换所述第三图像、所述第四图像、所述第一图像或所述第二图像的参考图像以及所述视差图，以生成变换后的第三图像、变换后的第四图像、变换后的参考图像以及变换后的视差图；以及
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的第四图像之间的缝。
22.根据权利要求21所述的装置，其中所述缝是第一缝，所述装置进一步被配置为：
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的参考图像之间的第二缝；以及
根据所述变换后的第四图像、所述变换后的参考图像、所述第一缝、所述变换后的第三图像和所述第二缝，生成全景图。
23.根据权利要求22所述的装置，其中生成所述全景图包括：
根据所述第一缝拼接所述变换后的第四图像和所述变换后的参考图像；以及
基于所述第二缝拼接所述变换后的第三图像和所述变换后的参考图像，以生成所述全景图。
24.根据权利要求22所述的装置，其中拼接所述变换后的第四图像进一步包括：
计算混合查找表即混合LUT，所述混合LUT包括用于组合所述变换后的第四图像和所述变换后的参考图像的阿尔法混合系数；以及
使用所述混合LUT拼接所述变换后的第四图像和所述变换后的参考图像。
25.根据权利要求21所述的装置，其中计算所述缝进一步包括：
计算世界视差图；
根据所述世界视差图和所述变换后的视差图计算世界视差差异图；
根据所述世界视差差异图，计算所述变换后的第四图像和所述变换后的参考图像之间重叠区域中的候选缝的成本；以及
搜索所述候选缝以寻找第一低成本缝。
26.根据权利要求25所述的装置，其中计算所述缝进一步包括：
根据地平面视差图和所述变换后的视差图计算地平面视差差异图；
计算所述变换后的第四图像和所述变换后的参考图像之间的重叠区域中的候选缝的第二成本；
搜索所述候选缝的第二成本，以寻找第二低成本缝；以及
将所述缝设置为所述第一低成本缝和所述第二低成本缝中的较小者。
27.根据权利要求21所述的装置，其中所述装置进一步被配置为向所述缝应用时间平滑，应用时间平滑包括：
在确定所述缝中的所有像素都在前一缝的最小距离阈值内时，将所述缝设置为所述前一缝；以及
在确定所述缝中的任何像素远离所述前一缝大于最大距离阈值时，缩放所述缝，使得所述缝与所述前一缝之间的最大像素位移不再大于所述最大距离阈值。
28.一种方法，其包括：
通过装置，接收第一图像和第二图像；
通过所述装置，计算所述第一图像和所述第二图像的视差图；
通过所述装置，接收第三图像；
通过所述装置，接收第四图像；
通过所述装置，变换所述第三图像、所述第四图像、所述第一图像或所述第二图像的参考图像以及所述视差图，以生成变换后的第三图像、变换后的第四图像、变换后的参考图像以及变换后的视差图；以及
通过所述装置，根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的第四图像之间的缝。
29.根据权利要求28所述的方法，其中所述缝是第一缝，所述方法进一步包括：
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的参考图像之间的第二缝；以及
根据所述变换后的第四图像、所述变换后的参考图像、所述第一缝、所述变换后的第三图像和所述第二缝，生成全景图。
30.根据权利要求29所述的方法，其中生成所述全景图包括：
根据所述第一缝拼接所述变换后的第四图像和所述变换后的参考图像；以及
基于所述第二缝拼接所述变换后的第三图像和所述变换后的参考图像，以生成所述全景图。
31.根据权利要求30所述的方法，其中计算所述缝进一步包括：
计算世界视差图；
根据所述世界视差图和所述变换后的视差图计算世界视差差异图；
根据所述世界视差差异图，计算所述变换后的第四图像和所述变换后的参考图像之间重叠区域中的候选缝的成本；以及
搜索所述候选缝以寻找第一低成本缝。
32.根据权利要求31所述的方法，其中计算所述缝进一步包括：
根据地平面视差图和所述变换后的视差图计算地平面视差差异图；
计算所述变换后的第四图像和所述变换后的参考图像之间的重叠区域中的候选缝的第二成本；
搜索所述候选缝的第二成本，以寻找第二低成本缝；以及
将所述缝设置为所述第一低成本缝和所述第二低成本缝中的较小者。
33.根据权利要求28所述的方法，进一步包括向所述缝应用时间平滑，应用时间平滑包括：
在确定所述缝中的所有像素都在前一缝的最小距离阈值内时，将所述缝设置为所述前一缝；以及
在确定所述缝中的任何像素远离所述前一缝大于最大距离阈值时，缩放所述缝，使得所述缝与所述前一缝之间的最大像素位移不再大于所述最大距离阈值。
34.一种非暂时性计算机可读存储介质，其存储指令，所述指令用于由至少一个处理器执行以使所述至少一个处理器：
接收第一图像和第二图像；
计算所述第一图像和所述第二图像的视差图；
接收第三图像；
接收第四图像；
变换所述第三图像、所述第四图像、所述第一图像或所述第二图像的参考图像以及所述视差图，以生成变换后的第三图像、变换后的第四图像、变换后的参考图像以及变换后的视差图；以及
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的第四图像之间的缝。
35.根据权利要求34所述的非暂时性计算机可读存储介质，其中所述缝是第一缝，所述指令进一步包括用于以下的指令：
根据所述变换后的视差图，计算所述变换后的第三图像与所述变换后的参考图像之间的第二缝；以及
根据所述变换后的第四图像、所述变换后的参考图像、所述第一缝、所述变换后的第三图像和所述第二缝，生成全景图。
36.根据权利要求35所述的非暂时性计算机可读存储介质，其中生成所述全景图包括：
根据所述第一缝拼接所述变换后的第四图像和所述变换后的参考图像；以及
基于所述第二缝拼接所述变换后的第三图像和所述变换后的参考图像，以生成所述全景图。
37.根据权利要求36所述的非暂时性计算机可读存储介质，其中拼接所述变换后的第四图像进一步包括：
计算混合查找表即混合LUT，所述混合LUT包括用于组合所述变换后的第四图像和所述变换后的参考图像的阿尔法混合系数；以及
使用所述混合LUT拼接所述变换后的第四图像和所述变换后的参考图像。
38.根据权利要求34所述的非暂时性计算机可读存储介质，其中计算所述缝进一步包括：
计算世界视差图；
根据所述世界视差图和所述变换后的视差图计算世界视差差异图；
根据所述世界视差差异图，计算所述变换后的第四图像和所述变换后的参考图像之间重叠区域中的候选缝的成本；以及
搜索所述候选缝以寻找第一低成本缝。
39.根据权利要求38所述的非暂时性计算机可读存储介质，其中计算所述缝进一步包括：
根据地平面视差图和所述变换后的视差图计算地平面视差差异图；
计算所述变换后的第四图像和所述变换后的参考图像之间的重叠区域中的候选缝的第二成本；
搜索所述候选缝的第二成本，以寻找第二低成本缝；以及
将所述缝设置为所述第一低成本缝和所述第二低成本缝中的较小者。
40.根据权利要求34所述的非暂时性计算机可读存储介质，其中所述指令包括向所述缝应用时间平滑的进一步指令，应用时间平滑包括：
在确定所述缝中的所有像素都在前一缝的最小距离阈值内时，将所述缝设置为所述前一缝；以及
在确定所述缝中的任何像素远离所述前一缝大于最大距离阈值时，缩放所述缝，使得所述缝与所述前一缝之间的最大像素位移不再大于所述最大距离阈值。
CN202310363786.2A 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法 Pending CN116362971A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762442315P 2017-01-04 2017-01-04
US62/442,315 2017-01-04
US15/661,844 US10313584B2 (en) 2017-01-04 2017-07-27 Rear-stitched view panorama for rear-view visualization
US15/661,844 2017-07-27
CN201880013567.9A CN110337386B (zh) 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法
PCT/US2018/012390 WO2018129191A1 (en) 2017-01-04 2018-01-04 Rear-stitched view panorama for rear-view visualization

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880013567.9A Division CN110337386B (zh) 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法

Publications (1)

Publication Number Publication Date
CN116362971A true CN116362971A (zh) 2023-06-30

Family

ID=62711392

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880013567.9A Active CN110337386B (zh) 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法
CN202310363786.2A Pending CN116362971A (zh) 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880013567.9A Active CN110337386B (zh) 2017-01-04 2018-01-04 用于生成后拼接全景视图的系统和方法

Country Status (5)

Country Link
US (3) US10313584B2 (zh)
EP (1) EP3565739B1 (zh)
JP (2) JP7054293B2 (zh)
CN (2) CN110337386B (zh)
WO (1) WO2018129191A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354547B1 (en) * 2016-07-29 2019-07-16 Relay Cars LLC Apparatus and method for virtual test drive for virtual reality applications in head mounted displays
US10321052B2 (en) * 2017-04-28 2019-06-11 Advanced Micro Devices, Inc. Method and apparatus of seam finding
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
DE102018201217A1 (de) * 2018-01-26 2019-08-01 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US10755007B2 (en) * 2018-05-17 2020-08-25 Toyota Jidosha Kabushiki Kaisha Mixed reality simulation system for testing vehicle control system designs
CN109278644A (zh) * 2018-07-27 2019-01-29 惠州市德赛西威汽车电子股份有限公司 一种基于高清摄像头的智能电子后视镜及其图像采集方法
EP3606032B1 (en) * 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
CN109743539B (zh) * 2018-12-07 2020-05-29 吉林大学 一种视野可调节的全景行车辅助装置及其调节方法
CN109509153A (zh) * 2019-01-24 2019-03-22 北京大椽科技有限公司 一种拖挂车图像的全景拼接方法及系统
WO2020169693A1 (en) 2019-02-19 2020-08-27 Orlaco Products B.V. Mirror replacement system with dynamic stitching
US11457193B2 (en) * 2019-04-12 2022-09-27 Intel Corporation Pre-stitching tuning automation for panoramic VR applications
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11341607B2 (en) * 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN112449175B (zh) * 2019-08-29 2022-05-17 浙江宇视科技有限公司 一种图像拼接测试方法、装置、设备和存储介质
JP7442029B2 (ja) * 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
US11505123B2 (en) * 2019-12-02 2022-11-22 Magna Electronics Inc. Vehicular camera monitoring system with stereographic display
CN111062873B (zh) * 2019-12-17 2021-09-24 大连理工大学 一种基于多对双目相机的视差图像拼接与可视化方法
CN111340077B (zh) * 2020-02-18 2024-04-12 平安科技（深圳）有限公司 基于注意力机制的视差图获取方法和装置
KR20210147405A (ko) * 2020-05-28 2021-12-07 삼성전자주식회사 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
US11481884B2 (en) 2020-06-04 2022-10-25 Nuro, Inc. Image quality enhancement for autonomous vehicle remote operations
CN111882484B (zh) * 2020-06-16 2024-04-16 河北汉光重工有限责任公司 一种潜水成像系统高速无缝图像拼接中伺服控制方法
CN111959417B (zh) * 2020-08-31 2022-03-08 安徽江淮汽车集团股份有限公司 汽车全景影像显示控制方法、装置、设备及存储介质
CN112308987B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112738382B (zh) * 2021-01-25 2022-07-12 广州敏视数码科技有限公司 一种车辆车头与车身全景环视图像拼接方法
CN112907704B (zh) * 2021-02-04 2024-04-12 浙江大华技术股份有限公司 一种图像融合方法、计算机设备以及装置
CN112995523B (zh) * 2021-04-30 2021-07-30 武汉特斯雷信息技术有限公司 一种在线自助业务环境检测方法及系统
CN113645395A (zh) * 2021-10-19 2021-11-12 江苏日盈电子股份有限公司 车载360°全景可视摄像头及其应用
KR102656128B1 (ko) * 2022-08-18 2024-04-09 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289321A (en) 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
US6717610B1 (en) * 1998-11-25 2004-04-06 Donnelly Corporation Wide angle image capture system for vehicle
JP5083443B2 (ja) 2001-03-28 2012-11-28 パナソニック株式会社 運転支援装置および方法、ならびに演算装置
EP1779295A4 (en) 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2008077628A (ja) 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
DE102007044535B4 (de) * 2007-09-18 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
JP2009098085A (ja) * 2007-10-19 2009-05-07 Suzuki Motor Corp 車両用物体検知装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US8633810B2 (en) 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
EP2431226B1 (de) * 2010-09-17 2016-07-27 SMR Patents S.à.r.l. Rückblickeinrichtung für ein Kraftfahrzeug
US8471908B2 (en) * 2010-10-18 2013-06-25 GM Global Technology Operations LLC Three-dimensional mirror display system for a vehicle and method
JP5682788B2 (ja) 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
JP2013228896A (ja) 2012-04-26 2013-11-07 Sony Corp 画像処理装置、画像処理方法、プログラム
US20140009569A1 (en) * 2012-07-05 2014-01-09 Shih-Yao Chen Panogramic Camera System for Vehicle Event Data Recorder
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9533618B2 (en) 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US20150296140A1 (en) * 2014-04-11 2015-10-15 Grey Matter Fusion, Inc. Panoramic view blind spot eliminator system and method
JP6589313B2 (ja) * 2014-04-11 2019-10-16 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
US10099615B2 (en) * 2014-09-29 2018-10-16 Ambarella, Inc. All-round view monitoring system for a motor vehicle
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US20160165211A1 (en) * 2014-12-08 2016-06-09 Board Of Trustees Of The University Of Alabama Automotive imaging system
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US10368602B2 (en) * 2015-04-27 2019-08-06 Intelligent Cranium Helmets, LLC Protective helmet
US20170091559A1 (en) * 2015-09-29 2017-03-30 Valeo North America, Inc. Camera monitor system for a vehicle
US10438081B2 (en) 2015-10-30 2019-10-08 Texas Instruments Incorporated Automatic feature point detection for calibration of multi-camera systems
WO2017130640A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6735474B2 (ja) * 2016-02-29 2020-08-05 パナソニックＩｐマネジメント株式会社 撮像装置
KR101856344B1 (ko) * 2016-08-22 2018-06-25 현대자동차주식회사 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법

Also Published As

Publication number Publication date
EP3565739A1 (en) 2019-11-13
US10313584B2 (en) 2019-06-04
JP2020507837A (ja) 2020-03-12
CN110337386B (zh) 2023-04-28
US10674079B2 (en) 2020-06-02
CN110337386A (zh) 2019-10-15
JP2022095776A (ja) 2022-06-28
EP3565739B1 (en) 2023-08-16
US11102405B2 (en) 2021-08-24
EP3565739A4 (en) 2019-12-25
JP7054293B2 (ja) 2022-04-13
US20180191954A1 (en) 2018-07-05
JP7448921B2 (ja) 2024-03-13
WO2018129191A1 (en) 2018-07-12
US20190253625A1 (en) 2019-08-15
US20200260006A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
CN110337386B (zh) 用于生成后拼接全景视图的系统和方法
US8345961B2 (en) Image stitching method and apparatus
US9386300B2 (en) Portable device and method for controlling the same
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US9424650B2 (en) Sensor fusion for depth estimation
US20210082086A1 (en) Depth-based image stitching for handling parallax
JP2612097B2 (ja) ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
JP2010531490A (ja) 画像のステレオ・マッチングのためのシステム及び方法
US20100245544A1 (en) Imaging apparatus, imaging control method, and recording medium
Zhou et al. A two-step calibration method of lenslet-based light field cameras
JP4679293B2 (ja) 車載パノラマカメラシステム
JP2017535755A (ja) 動画カメラフォーカス用途における距離測定デバイス
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
EP3189493B1 (en) Depth map based perspective correction in digital photos
Deschenes et al. An unified approach for a simultaneous and cooperative estimation of defocus blur and spatial shifts
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
Fleck et al. Graph cut based panoramic 3D modeling and ground truth comparison with a mobile platform–The Wägele
Zhang et al. A setup for panoramic stereo imaging
Rukkanchanunt et al. Full thermal panorama from a long wavelength infrared and visible camera system
CN116485907A (zh) 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统
Amjadi Comparing of radial and tangencial geometric for cylindric panorama
Hansard et al. Alignment of Time-of-Flight and Stereoscopic Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination