CN108604366A - 使用预定视点查找表的环绕视图的三维渲染 - Google Patents

使用预定视点查找表的环绕视图的三维渲染 Download PDF

Info

Publication number
CN108604366A
CN108604366A CN201780010016.2A CN201780010016A CN108604366A CN 108604366 A CN108604366 A CN 108604366A CN 201780010016 A CN201780010016 A CN 201780010016A CN 108604366 A CN108604366 A CN 108604366A
Authority
CN
China
Prior art keywords
distortion
vehicle
camera
image
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780010016.2A
Other languages
English (en)
Other versions
CN108604366B (zh
Inventor
V·V·阿普拉
S·史韦林格帕
B·R·加戴维
H·哈里亚尼
S·达布拉
M·曼格拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN108604366A publication Critical patent/CN108604366A/zh
Application granted granted Critical
Publication of CN108604366B publication Critical patent/CN108604366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

在所描述的用于在单个显示屏上显示环绕视图的方法的示例中，可从对应的多个相机接收特定时间的多个图像帧(711至714)。可选择对应于预定的第一虚拟视点的视点扭曲图(706)。视点扭曲图针对显示屏中的每个输出像素位置限定在多个图像帧中的源像素位置。扭曲图被离线预定(704)并被存储用于以后使用。通过根据视点扭曲图从多个图像帧选择输出图像的每个像素的像素数据来合成显示屏的输出图像(707)。合成图像随后被显示在显示屏上(710)。

Description

使用预定视点查找表的环绕视图的三维渲染
技术领域
本发明总体涉及三维(3D)环绕视图(3D SRV)的图像系统，并且更具体地涉及使用预定视点查找表来渲染3D SRV。
背景技术
一类被称为高级驾驶员辅助系统(ADAS)的新的嵌入式安全系统已被引入到汽车中，以减少人类操作错误。此类系统可提供例如面向后视的相机、电子稳定性控制以及基于视觉的行人检测系统的功能性。这些系统中的许多系统依赖于计算机视觉处理来检测一个或多个相机的视场中的物体。例如，参见2013年10月发表的“Making Cars Safer ThroughTechnology Innovation”。
汽车环绕视图相机系统为新兴的汽车ADAS技术，该技术通过允许驾驶员查看车辆的360度周围环境的自上向下的视图来辅助他/她安全地停车。此系统通常包含围绕车辆安装的四到六个广角(鱼眼镜头)相机，每个相机面朝不同的方向。从这些相机输入，在停车期间实时地合成车辆的周围环境的复合视图并向驾驶员示出。
发明内容
在所描述的用于在单个显示屏上显示环绕视图的方法的示例中，可从对应的多个相机接收特定时间的多个图像帧。可选择对应于预定的第一虚拟视点的视点扭曲图。视点扭曲图针对显示屏中的每个输出像素位置限定在多个图像帧中的源像素位置。扭曲图被离线预定并被存储用于以后使用。通过根据视点扭曲图从多个图像帧选择输出图像的每个像素的像素数据，针对显示屏合成输出图像。合成图像随后被显示显示屏上。
附图说明
图1为说明用于产生二维环绕视图的过程的图解流程图。
图2为用于使用在环绕视图系统中的示例三维(3D)碗状网格的图示。
图3说明覆在图2的3D碗状网格上的示例场景。
图4说明使用图2的3D碗状网格针对虚拟视点产生的3D环绕视图(SRV)图像。
图5说明用于形成图4的3D SRV图像的光线跟踪过程。
图6说明如何可以离线方式执行图5的一部分光线跟踪过程。
图7为说明用于使用预定视点查找表来形成3D SRV的过程的图解流程图。
图8为更详细地说明图7的过程的流程图。
图9为配备有3D SRV系统的示例车辆的图示。
图10为3D SRV系统的实施方案的示例框图。
具体实施方式
为了一致性相同的附图标记指示各图中的相同元件。
因为大部分视觉显示系统为二维(2D)的，所以通过投影在2D显示器上来表示三维(3D)世界是渲染人类可视化的图形的重要部分。若干应用在图形处理单元(GPU)的帮助下在2D显示器上渲染3D图形，图形处理单元是被设计用于各种3D图形功能的专用图形核心。许多此类新兴应用中的一个为具有安装在汽车上的广角鱼眼镜头相机的3D环绕视图。环绕视图相机方案可根据围绕汽车安装的多个鱼眼镜头相机产生复合3D环绕视图图像。实时地从各视点表示3D世界通常通过图形处理器来处理。
本文中将描述使用具有预定的视点查找表的2D扭曲硬件加速器在2D显示器上渲染3D表示的替代方法。此替代方法适合于具有平缓变化表面的3D世界表示。汽车3D环绕视图为一种此类应用，其中世界通过平滑表面表示。如下文所描述，该方法的示例实施方案可应用到3D环绕视图相机方案。然而，所述技术可应用到可使用来自多个视点的平滑表面渲染的任何应用，例如医学成像、具有多个相机的安全系统，以及工业应用。
图1为说明用于产生2D环绕视图的过程的图解流程图。将在描述更加复杂的过程或产生3D环绕视图之前简要地描述用于产生2D环绕视图的过程。2D环绕视图从表现出直接位于车辆上方直视向下的视点产生复合图像。本质上，提供在车辆周围的临近区域的虚拟俯视图。
也被称为“环视”或“环绕视觉监视系统”的汽车环绕视图是提供驾驶员环绕车辆的区域的360度视图的新兴的汽车ADAS技术。环绕视图系统一般包含围绕车辆安装的四至六个鱼眼相机。例如，相机集合100包含在前保险杠处的一个相机、在后保险杠处的另一个相机以及在每个侧视镜下的一个相机。通过每个相机产生的图像可被提供到图像信号处理系统(ISP)102，图像信号处理系统(ISP)102包含用于存储来自每个相机的一个或多个图像数据帧的存储器电路。例如，通过每个相机捕获的鱼眼图像111至114可概念地围绕车辆110被布置。在此展示中，成比例的模型车辆(具有安装在其上的四个相机)被定位在表示停车场的立体模型中。
例如在以下申请中描述从多个鱼眼镜头相机产生环绕视图的一般过程：VikramAppia等人在2015年10月提交的“Surround view camera system for ADAS on TI’s TDAxSoCs”，其通过引用并入本文中。基础环绕视图相机方案通常包含两个关键的算法组成部分，这些算法组成部分为：几何对准；和复合视图合成。几何对准校正输入视频帧的鱼眼畸变并且将输入视频帧转换成普通的鸟瞰透视。合成算法在几何校正之后产生复合环绕视图。为了产生无缝拼接的环绕视图输出，可需要被称为“光度对准”的另一关键算法。光度对准校正在相邻视图之间的亮度和颜色不匹配，以实现无缝接合。光度校正被描述在名称为“Method,Apparatus and System for Processing a Display from a Surround ViewCamera Solution”的编号为US 2015/0254825的专利申请公开案中，其通过引用被并入本文中。
相机系统校准为环绕视图相机系统的重要组成部分。此步骤包含鱼眼镜头畸变校正(LDC)和透视变换两者。对于鱼眼畸变校正，径向畸变模型可被用来通过施加径向畸变函数的逆变换来从原始输入帧去除鱼眼。在LDC之后，可估计四个外部校准矩阵，每个相机一个矩阵，用于变换四个输入的LDC校正的帧，使得所有的输入视图在单个世界坐标系中恰当地对齐。可使用基于图表的校准方法。图表的内容被设计用于便于算法准确地并且可靠地寻找并且匹配特征。一个特定的图表设计被图示在126、127处。还可使用其它图表，例如在2015年10月30日提交的名称为“Feature Point Detection for on-line Surround ViewCalibration”的编号为US 62/249,031的临时专利申请中描述的图表，该申请通过引用并入本文中。在3D SRV校准的此示例中，图表可被置于平地上，这在大部分汽车中为方便的。然而，如果需要，图表也被放置在不同朝向处。
在环绕视图相机的校准期间，可围绕车辆放置四个校准图表。每个图表应被置于两个相邻相机的共同视场(FOV)中，即，每对相邻相机应“看见”一个共同图表。(在相邻相机中具有一个共同图表为理想的，但在每个相机图像中的单个图表为最低要求。)例如，图表图像127和128为由两个不同相机采用的相同图表的视图。在这之后，来自每个相机的帧被同时捕获，如通过鱼眼图像111至114所图示。
由于不同的场景照明、相机自动曝光(AE)以及自动白平衡(AWB)，通过不同相机捕获的同一目标的颜色和亮度可完全不同。因此，拼接的复合图像可在两个相邻视图(即，相机输入)之间具有明显的光度差。环绕视图系统的光度对准的目标是匹配不同视图的整体亮度和颜色，使得复合视图呈现为如同其由置于车辆上方的单个相机拍摄一般。为了实现该目标，针对每个视图设计全局颜色和亮度校正函数，使得相邻视图的重叠区域中的差异最小化。
假设恰当的几何对准已施加到输入帧，则可使用例如数字信号处理器(DSP)130来产生复合环绕视图132。复合环绕视图使用来自相机集100的全部四个输入帧的数据。重叠区域为帧中的来自相同物理世界但通过两个相邻相机捕获的部分，即O{m,n}，其中m＝l,2,3,4，并且n＝(m+1)mod 4。O{m,n}是指在视图m和视图n之间的重叠区域，并且n为视图m在顺时针次序上的相邻视图。在O{m,n}中的每个位置处，两个像素为可用的，这些像素为：来自视图m的图像数据；以及其来自视图n的空间对应。
在相机系统已被校准之后，环绕视图合成“Synthesis”功能从四个鱼眼相机100接收输入视频流并且产生复合的2D环绕视图132。如上文所描述，LDC模块120可对来自四个鱼眼相机100中的每个相机的图像帧执行鱼眼校正、透视扭曲、对准，以及双线性/双三次插值。LDC模块120可为例如硬件加速器(HWA)模块。在下文描述HWA LDC的示例。DSP模块130执行拼接并且可将例如车辆图像134的车辆的图像叠加在最终的复合输出图像132上。
合成使用在几何LUT中编码的映射来产生拼接的输出图像。在输出帧的重叠区域中，其中需要来自两个相邻输入帧的图像数据，每个输出像素映射到在两个输入图像中的像素位置。在重叠区域中，来自两个相邻图像的图像数据可被混合，或者可执行二元判定以使用来自两个图像中的一个的数据。在此示例中，示出使用标准阿尔法混合(alpha-blending)技术的结果。例如，在复合环绕视图132中，图表图像133为来自两个不同相机的图表图像127和128的混合版本。
3D SRV功能的概述
图2为用于使用在环绕视图系统中的示例三维(3D)碗状网格200的图示。对于3DSRV图像，车辆周围的世界可用碗的形状表示。由于缺少场景的全部深度，碗为针对车辆周围的世界的形状的合理假设。此碗可为任何平缓变化的表面。在此特定表示中，使用碗200，所述碗在靠近车辆的区域中为平坦的201且在远离车辆的区域中为弯曲的，如在202、203处相应地针对正面和背面指示。在此示例中，碗可在每一侧上仅略微向上弯曲，如在204处指示。在其它实施方案中可使用其它碗形状。
图3图示覆在图2的3D碗状网格200上的示例场景。在此示例中，车辆的图像325叠附在网格200上的场景上方。车辆图像325可用于表示例如其上安装有相机集的车辆的位置。在此示例中，四个校准场(包含可见的校准场326、327以及328)围绕车辆325布置。
图4图示使用图2的3D碗状网格200针对虚拟视点产生的3D环绕视图图像。在此示例中，虚拟视点在车辆图像325上方且略微在车辆图像后方，而通过车辆图像325表示的成比例的模型车辆位于图1使用的相同的停车场立体模型中。在此示例中，图像的上部部分402从碗状网格200的升高部分202得到，而下部部分401从碗状网格200的平坦部分201得到。
如下文所描述，虚拟视点的集合可被预定义并且随后例如以每秒30帧顺序地被调用，以实时地产生环绕通过车辆图像325表示的车辆的附近区域的视频图像。虚拟视点的选择可响应于来自驾驶员的提示。例如，从前进变为倒退可改变视点以看向车辆的后方。例如，转方向盘可使得视点在行进方向上摇摆。例如，视点可以低速摇摆至更靠近车辆，且以较高速度摇摆至更远离车辆。以此方式，车辆的驾驶员可被提供显示环绕车辆的附近区域的实时视频图像以辅助停车。
图5说明用于形成图4的3D SRV图像的光线跟踪过程。此示例表示类似于碗状网格200(图2)的碗状网格的部分500的横截面视图。碗状网格500可包含类似于平坦部分201和升高部分202(图2)的平坦部分501和升高部分502。具有鱼眼镜头512的相机511可被安装在实际车辆的前部上，如上文所描述。具有用于3D SRV输出图像的图像平面522的虚拟视点521可被限定在例如实际车辆位置上方，如上文所描述。
在先前系统中，可提供图形处理器，该图形处理器存储世界的整个3D表示，并且通过将3D点投影到显示器上来将每个点映射在输出显示平面522上，例如在531、532处图示的示例光线。相机的初始校准513将世界位置到鱼眼相机中的像素的映射提供到世界。图形处理器由此具有每个世界位置到显示屏以及到输入相机的映射，并且(针对输出显示屏中的每一位置利用此信息)图形处理器渲染针对所选视点输出的3D环绕视图。
然而，用于实时地渲染图像的光线跟踪需要增加图像系统的成本并且可消耗大量的功率的强大的图形处理器。在示例实施方案中，某一过程将光线跟踪和渲染图像的过程分成用于预先选定的视点的集合的两个单独的操作。这允许离线执行光线跟踪的计算密集型任务并且结果被存储用于在实时图像渲染期间使用。
图6说明可如何以离线方式执行图5的光线跟踪过程的一部分以创建视点查找表(LUT)的集合。随后，在实时图像渲染期间，本文中描述的过程可利用2D扭曲硬件加速器(HWA)，该2D扭曲硬件加速器(HWA)可与镜头畸变校正(LDC)处理模块(例如LDC 120(图1))包含在一起。2D扭曲加速器通过利用预定视点LUT将输出图像中的块映射到输入图像中的块来执行从输出到输入的映射。
此示例表示类似于碗状网格200(图2)的碗状网格的部分500的横截面视图。碗状网格500可包含类似于平坦部分201和升高部分202(图2)的平坦部分501和升高部分502。具有鱼眼镜头512的相机511可安装在实际车辆的前部上，如上文所描述。
具有用于3D SRV输出图像的图像平面622的虚拟视点621可被预先限定在实际车辆位置上方，例如上文所描述。如上文所描述，视点的集合可被预定义并且离线地被准备。
在输出图像平面622上的位置到由相机511提供的输入图像的映射包括离线地投射来自输出图像平面622中的2D位置的光线，并且识别光线与3D世界相交的位置。光线631、632为示例；例如，光线631与3D世界的平坦部分501相交且光线632与3D世界的升高部分502相交。离线光线投射操作用3D世界(碗状)网格500的X、Y以及Z坐标产生在虚拟视图平面622上的每个2D点的映射。在3D世界中的位置被识别之后，在自动校准过程642中产生的相机校准矩阵可被用于将3D位置映射到来自相机511的输入图像中的2D位置。针对2D图像平面622中的每个位置执行使用此方法的映射。硬件加速器所需的2D扭曲表为从输出图像平面622到来自相机511的输入图像的此类映射的子采样阵列。
可通过用不同的虚拟相机视点循环通过一系列此类映射并以视频帧速率产生每个映射的2D输出来实现3D环绕视图。如上文所描述，每个环绕视图可为例如合并来自四个广角鱼眼相机的四个图像的拼接的图像。
因为光线投射的任务是昂贵的操作，所以映射可离线地执行以产生映射的查找表(LUT)，查找表(LUT)随后可被存储用于以后再使用，如在641处指示。所存储的LUT随后可在运行时间期间被再使用，如在643处指示。如果安装的相机的物理位置不改变，则校准矩阵也保持不变。因此，虚拟相机位置转变可被预定义并且HWA LUT映射可被离线产生并且开始被存储。
预定义LUT产生可进一步被分成两个功能块。虚拟2D相机输出平面映射到3D世界(碗状)映射的可被单独地存储在例如计算机的离线工具中。从3D世界(碗状)到输入相机的映射可通过作为图像系统的部分的处理器在车上进行。
出于两个原因，这是映射功能的有效分割。虚拟视图到3D世界映射与相机朝向无关，因此每当相机移动时，例如在车辆的制造期间或在车辆的使用寿命期间，不需要针对每个车辆重新产生此映射。最昂贵的光线投射操作可被离线执行。
通过将这些虚拟相机转变与相机校准分开，相同的网格可被再用于各种相机配置。例如，可未必用于环绕视图的不同的汽车模型和不同的多相机渲染应用可配有相同的网格。
还可离线产生来自给定视点的更加复杂但静止的吉普车/汽车图像的图片图像。对于每个视点，可获取从相同的虚拟相机位置观察的汽车的一个这种2D图片。此类映射的整个序列与相关联的汽车图像可被传递到在线校准过程。
图7为说明用于使用预定视点查找表来形成3D SRV的过程的图片流程图。如上文所描述，用于预定虚拟视点的集合的映射表可离线地被准备并被存储在车辆上用于以后使用。在车辆的操作期间，可从通过安装在车辆的外周上的鱼眼相机接收到的实时相机馈送渲染围绕车辆的3D环境。可通过渲染来自各种虚拟视点的场景来实现世界的3D可视化。
如上文所描述，各自包含从虚拟视图2D位置到世界视图网格X、Y、Z位置的对应的视点查找表(LUT)的集合可被离线准备且存储在车辆上。在车辆的操作期间，特定的视点可响应于例如驾驶员输入而被选择。对于每个选定的虚拟视点，可选择对应的视点LUT，如在700处指示。可通过自动化校准过程使用置于车辆周围的地面上的校准图表来产生相机校准参数702，如上文所描述。这可在例如车辆组装好之后进行，并且其为相机设置特定的。
选定视点LUT 700和相机校准参数随后可被馈送到处理器，例如数字信号处理器(DSP)，如在704处指示。对于四个鱼眼相机中的每一个，DSP结合相机校准参数将每个选定视点LUT转换成用于每个虚拟视图的HWA LUT。这些校准的视点LUT随后被存储在可由扭曲HWA 706存取的存储器模块中，并且随后在车辆以实时模式操作时，顺序地由DSP 707再用于接拼接和混合。
在其上安装有相机的车辆的操作期间，从具有安装在车辆的前部、后部以及每一侧视镜上的鱼眼镜头的四个相机接收在30fps(帧每秒)处的稳定视频流。对应于一个帧的四个图像的示例集合通过图像711至714被说明。
为了处理每个帧，扭曲HWA 706从存储装置存取对应于当前选定的虚拟视点的校准的视点LUT，并且使用校准的视点LUT来对四个输入图像中的每个图像执行扭曲操作以形成四个虚拟渲染的视图。对于此示例系统，对于每一帧以30fps的速率重复此过程。
如上文所描述，随后可通过DSP过程707执行2D拼接和混合过程以形成最后的复合3D SRV，复合3D SRV可被显示在对车辆的驾驶员可见的显示屏上。例如可通过执行DSP过程704的相同的DSP处理器执行或通过不同的DSP执行DSP过程707。对应于当前选定的虚拟视点的模型车辆图像还可从预处理的车辆图像708的库被选择并且被覆在复合3D SRV上以形成最终3D SRV显示图像，如在710处说明。
如上文所描述，选定的虚拟视点可响应于来自驾驶员的提示，例如车辆运动的方向和速度，以从车辆外部的虚拟视点形成围绕车辆的附近区域的实际30fps视频3D环绕视图。
图8为更详细地说明图7的过程的流程图。此数据流可在以下子模块下被分类：捕获和处理801、校准802、2D图像扭曲803以及合成器804。现将更详细地描述每个子模块。
捕获和处理
捕获和处理块801包含用于从多个相机捕获视频的模块，例如围绕车辆的外周放置并且耦合到捕获块815的相机811至814。捕获块815的输出贯穿此文档被称为“多个视频通道”。如果需要块817可以使用已知的或以后产生的图像处理方法来执行颜色校正操作(例如从拜耳格式到YUV420格式的转换、颜色色调映射、噪声滤波器、伽马校正等)。块816可使用已知的或以后开发的技术来执行对视频传感器的自动曝光控制和白平衡以实现最佳图像质量。块818同步所有的相机811至814以确保从传感器捕获的每个帧在相同时间段中。
在本文中描述的特定实施方案中，使用四个相机。本文中描述的相同原理可被扩展到在其它实施方案中的N个相机，其中N可大于或小于四。
校准器
校准器子块802采用通过上文描述的自动校准过程产生的相机校准矩阵821，并且结合世界到视图网格822产生2D扭曲HWA LUT。如上文所描述，世界视图网格822可被离线产生825并被存储用于以后由校准器功能823使用。
对于每个预定义虚拟视点，校准器模块823读取相关联的3D碗状网格表822、说明相机校准参数821并且针对四个通道中的每个通道产生2D网格查找表。
这通常为一次性操作，并且在系统起动时进行，例如当系统在组装过程期间置于车辆中时等。每当感测到安装在车辆上的相机中的一个的位置变化时，可重复此过程。在一些实施方案中，例如，每当车辆起动时，可重复校准过程823。
图像扭曲
图像扭曲模块803可使用镜头畸变校正(LDC)硬件加速器(HWA)和通过校准器823产生的2D网格查找表来扭曲通过捕获和处理子块801提供的输入视频帧。用于渲染图像的2D扭曲操作比在先前系统中用于渲染图像的3D光线投射过程执行起来容易得多。因此，鱼眼畸变校正和视点扭曲可都在单个操作中使用预定视点LUT来执行。
在此示例中，扭曲HWA 803为被配置为根据图像扭曲算法或查找表将数据片从一个帧缓冲器移动到另一个的功能模块。镜头畸变校正模块的一般操作为已知的。例如，2D扭曲HWA模块被包含在可从德州仪器公司(TI)获得的TDA3x SoC内。TDA3x SoC基于包含TI的定点和浮点双TMS320C66x代的DSP核心、完全可编程视觉AccelerationPac(EVE)以及双 核心，连同图像信号处理器(ISP)的异构可扩展架构。TDA3x SoC还集成包含用于基于LVDS的环绕视图系统的显示器、CAN以及多相机接口(平行和串行两者)的外围主机。
图像扭曲模块803接收用于所有视频通道和所有视点的2D网格表并对它们进行存储，并且维持在给定虚拟视点与相关联的2D网格表的集合连同元数据以及其对应的虚拟视点之间的关系，元数据例如每个通道的视频帧的输出大小、处理参数(例如块宽度/高度)等。
每当图像扭曲模块803接收选择新视点的命令时，图像扭曲模块可确定选定视点需要哪个相机通道。这可例如在产生视点网格时在离线过程中被确定。例如，如果SRV输出正在看向车辆的后部以放大到急停视图，那么可不需要前部相机。
每当图像扭曲模块803接收选择视点的命令时，图像扭曲模块803针对给定视点检索所需的2D网格查找表、建立所需的处理参数，并且针对每个通道关联合适的网格表。接收到的2D网格表可被存储在非易失性存储器中，使得该网格表在车辆首次起动时为可获得的。在另一实施方案中，2D网格表可被存储在易失性存储器中并且随后将需要每当系统接通时进行重新加载。
扭曲模块803顺序地处理来自每个通道的一个视频帧。在每个通道被处理之前，扭曲HWA被配置以相关联的处理参数。每个输入帧被处理为集合；集合包含来自被同步的每个通道的一个帧。当以捕获的帧速率改变视点时，这引起无闪烁/伪像转变。
针对给定视点的所产生的输出可被提供到合成器块804。
为了使系统起动(启动)时间最小化，网格表可一次性被产生且可将网格表存储在非易失性存储器中，且校准过程可对于随后的起动/启动被绕过。在下一系统起动/启动时，可从非易失性存储器读取网格表并且如上文所描述来处理视频帧。
合成器
合成器模块804负责包含来自每个视频通道的一个帧的复合视频帧的产生。取决于虚拟视点，复合参数可改变。此模块类似于上文关于图1描述的合成块。替代于鱼眼输入图像，合成器块804接收每个相机图像的扭曲HWA803修改的输出。
合成块可拼接并且混合对应于相邻相机的图像，如上文所描述。混合线位置将基于虚拟视图的位置来变化，并且此信息还被编码在离线产生的到视图网格的世界中。合成块以视频帧速率即30fps被调用，并且产生在30fps处的拼接的输出图像。
显示器子系统805可接收从合成器804输出的视频流，并将该视频流显示在连接的显示器单元(例如，LCD、监视器或TV)上以供车辆的驾驶员观看。该系统可被配置为还显示元数据，例如检测到的物体、行人以及警告。
在此示例中，捕获和处理子系统801、扭曲HWA 803以及显示器系统805可由图像处理单元831托管，所述图像处理单元可为例如高性能RISC(精简指令集计算)处理器和相关联的存储器。校准器823和合成器804可由例如DSP(数字信号处理器)和相关联的存储器托管。在其它实施方案中，各种子系统可由处理器的不同配置托管/控制。
系统示例
图9为配备有如本文中描述的3D SRV系统的示例车辆900的图示。此示例具有四个相机，所述相机为：前部相机911、乘客侧相机912、后部相机913以及驾驶员侧相机914。侧面相机912、914可被安装在例如后视镜中。车辆900包含ADAS，该ADAS使用相机911至914来在驾驶员可观看的显示器装置920上提供3D SRV，如本文中所描述。
ADAS可被耦合到在车辆900内的控制系统，该控制系统进而被耦合到例如发动机、转向和/或制动系统。控制系统可使用通过图像处理系统1330处理的图像数据来执行各种类型的ADAS功能。
ADAS技术的演进包括若干创新领域。两个重要的相关趋势包含缩小个别的组件(例如传感器、相机以及电子装置)、以及将专用功能集成到更综合的系统中。这些趋势为互补的，因为需要更小、更廉价的组件来以较低代价构建更大的系统。例如，起车道保持辅助作用的相同的前部相机还可提供信息以检测在汽车前方的物体、阅读交通标志或应用制动以避免碰撞。然而，执行更加复杂的ADAS功能需要：来自更多相机和来自例如超声波、LIDAR以及雷达等其它传感器的输入；以及来自那些不同的传感器元件的数据的融合。融合还实现克服个别传感器方案的缺点，并且可提供某一程度的冗余。
图10为可被包含在车辆(例如车辆900，参考图9)中的3D SRV系统1000的实施方案的示例方块图。显示器系统805可被安装在车辆900内，或可为远程的。对于远程实施方案，可例如在显示器系统与ADAS之间建立无线链路，如本文中所说明。
如在1022处说明，ADAS 1000可基于SoC装置，例如可从德州仪器公司(TI)获得的那些装置，例如可经扩大以包含本文中描述的技术的实施方案的TDA3x和TDA3x装置家族。TI已将外设的集合完全集成到TDAxx方案中，以简化设计并使空间最小化，因此促进传感器融合，如图10中示出。通信接口，尤其是用于如环绕视图和备用相机等基于相机的系统的通信接口，可得益于TI最新一代的FPD-Link III SerDes家族，例如SerDes模块1021，所述FPD-Link III SerDes家族使用单个同轴电缆来帮助减少将远程ADAS卫星连接到中央处理模块的努力。减少的接线努力和由于较小的连接器和高度集成的组件导致的较小模块帮助确保ADAS的不断增长的数目的传感器模块不会以较高的额外成本和重量加重新汽车的负担。例如，参见Hannes Estl在2015年8月发表的“Paving the way to self-driving carswith advanced driver assistance systems”。
其它实施例
本文中说明具有四个相机的车辆，但其它实施方案可包含更多或更少的相机。
上文已描述30fps的视频帧速率，但其它实施方案可使用更快或更慢的帧速率。然而，更快的帧速率可需要更加广泛的处理功能。
在本文中已参考ADAS描述示例实施方案，但除了ADAS之外的计算机视觉应用可得益于示例实施方案，例如汽车、工业应用、高性能计算、机器人以及无人机。
在本文中说明汽车900，但其它实施方案可被置于其它类型的车辆(例如卡车、火车、飞机以及无人机)中并用于辅助或完全控制车辆的操作。
本文中已描述具有在车上的驾驶员的常规车辆，但其它实施方案可在其中“驾驶员”远离车辆的车辆中实施，例如可从远程站点控制的自主车辆。
如本文中所使用，术语“车辆”还可适用于其它类型的装置(例如机器人、工业装置以及医疗装置)，其中实时地对来自多个相机的图像进行低成本、低功率处理以形成虚拟视点为有益的。
本文中描述的技术可被实施在硬件、软件、固件或其任何组合中。如果被实施在软件中，那么软件可被执行在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)的一个或多个处理器中。执行所述技术的软件可初始地被存储在计算机可读媒介中，例如压缩光盘(CD)、磁盘、磁带、文件、存储器或任何其它计算机可读存储装置，并且随后被加载并运行在处理器中。在一些情况下，还可在计算机程序产品中出售软件，该计算机程序产品包含计算机可读媒介和用于计算机可读媒介的包装材料。在一些情况下，软件指令可经由可拆卸计算机可读介质(例如、软盘、光盘、闪存存储器、USB密钥)、经由来自另一数字系统上的计算机可读媒体的传输路径等来分布。
在不偏离所描述的功能性的情况下，数字系统中的组件可以不同的名称提及，和/或可以本文中未示出的方式组合。在此描述中，术语“耦合”及其派生词意指间接的、直接的、光学的和/或无线电气连接。因此，如果第一装置耦合到第二装置，那么连接可以是通过直接的电气连接、通过经由其它装置和连接的间接的电气连接、通过光学电气连接、和/或通过无线电气连接进行。
尽管方法步骤可在本文中以顺序方式被呈现和描述，但所示出和描述的步骤中的一个或多个可被省略、重复、同时执行，和/或以与在图中示出和/或本文中描述的次序不同的次序执行。因此，示例实施方案并不限于在图中示出和/或本文中描述的步骤的特定排序。
在权利要求书的范围内，在所描述的实施例中修改是可能的，并且其它实施例是可能的。

Claims (20)

1.一种用于在单个显示屏上显示环绕视图的方法，所述方法包括：
从对应的多个相机接收特定时间的多个图像帧；
选择对应于预定的第一虚拟视点的第一扭曲图，其中所述扭曲图针对所述显示屏中的每个输出像素位置限定在所述多个图像帧中的源像素位置，其中所述第一扭曲图被预定并被存储用于以后使用；
根据所述第一扭曲图通过从所述多个图像帧选择输出图像的每个像素的像素数据来合成所述显示屏的所述输出图像；以及
在所述显示屏上显示所述输出图像。
2.根据权利要求1所述的方法，所述方法还包括以顺序方式选择多个预定扭曲图中的对应于多个不同预定虚拟视点的不同扭曲图，以在所述显示屏上产生视频序列。
3.根据权利要求1所述的方法，其中所述多个相机安装在车辆上，并且其中所述第一扭曲图使用在测试台中的多个测试相机产生。
4.根据权利要求3所述的方法，其中所述第一扭曲图与校准参数结合以说明在离线设置过程期间在所述多个相机与所述多个测试相机中的对应的测试相机之间的位置的差异。
5.根据权利要求3所述的方法，所述方法还包括结合第一原始扭曲图与校准参数以说明在所述多个相机与所述多个测试相机中的使用安装在所述车辆上的处理模块来形成所述第一扭曲图的对应的测试相机之间的位置的差异。
6.根据权利要求5所述的方法，其中所述第一扭曲图被存储在位于所述车辆上的非易失性存储器中。
7.根据权利要求1所述的方法，其中所述多个相机被安装在车辆上，所述方法还包括选择第一车辆图像并将所述第一车辆图像叠加在所述输出图像上，其中所述第一车辆图像先前对应于所述第一视点从模型车辆被获得，并且被存储用于以后使用。
8.根据权利要求1所述的方法，其中合成所述输出图像通过使用所述第一扭曲图来扭曲每个图像帧以校正镜头畸变来渲染对应于所述多个相机中的每个相机的单独的虚拟视图；并且还包括拼接并混合所述单独的虚拟视图中的两个或更多的虚拟视图以形成所述输出图像。
9.一种用于在单个显示屏上显示环绕视图的方法，所述方法包括：
限定表示三维即3D视图的视图表面；
将多个测试相机定位在从所述视图表面捕获图像的位置中；
针对第一虚拟视点产生第一扭曲图包括投射来自输出帧中的对应于所述第一虚拟视点的二维即2D像素位置的光线以与所述视图表面相交、以及将该光线映射到所述多个测试相机中的一个测试相机中的对应的像素位置，并针对所述输出帧的每个2D像素位置重复投射光线以及映射该光线的步骤；以及
存储所述第一扭曲图用于以后使用。
10.根据权利要求9所述的方法，所述方法还包括产生对应于多个虚拟视点的多个扭曲图并且存储所述多个扭曲图用于以后使用。
11.根据权利要求10所述的方法，其中所述多个相机被定位用于安装在车辆上，所述方法还包括：
从所述多个虚拟视点获取模型车辆的多个车辆图像；以及
存储所述多个车辆图像用于以后与所述多个扭曲图中的对应的扭曲图一起使用。
12.根据权利要求9所述的方法，所述方法还包括：
将所述多个扭曲图存储在第一车辆上的处理系统中；
确定安装在所述第一车辆上的多个实时相机的相机校准参数的集合以说明在所述多个实时相机与所述多个测试相机中的对应的测试相机之间的位置差异；
使用所述相机校准参数的集合来更新所述多个扭曲图以形成多个校准的扭曲图；以及
将校准的扭曲图的集合存储在所述车辆的所述处理系统中用于以后使用。
13.一种3D环绕视图系统，所述系统包括：
车辆；
安装在所述车辆上的多个相机；
显示屏，所述显示屏被安装在所述车辆上以用于由所述车辆的驾驶员观看；
被耦合以从所述多个相机接收特定时间的多个图像帧的图像处理系统，所述图像处理系统具有被耦合以将输出图像提供到所述显示屏的输出，其中所述图像处理系统被配置为选择对应于预定的第一虚拟视点的第一扭曲图，其中所述扭曲图针对所述显示屏中的每个输出像素位置限定在所述多个图像帧中的源像素位置，其中所述第一扭曲图被预定并被存储用于以后使用；并且被配置为通过使用所述第一扭曲图来扭曲每个图像帧以校正镜头畸变从而形成对应于每个图像帧的单独的虚拟视图来合成所述显示屏的所述输出图像。
14.根据权利要求13所述的系统，其中所述图像处理系统还被配置为拼接并混合所述单独的虚拟视图中的两个或更多的虚拟视图，以形成所述输出图像。
15.根据权利要求13所述的系统，其中图像处理系统还被配置为以顺序方式选择多个预定扭曲图中的对应于多个不同预定虚拟视点的不同的预定扭曲图，以在所述显示屏上产生视频序列。
16.根据权利要求13所述的系统，其中使用在测试台中的多个测试相机产生所述第一扭曲图。
17.根据权利要求16所述的系统，其中结合所述第一扭曲图和校准参数以说明在离线设置过程期间在所述多个相机与所述多个测试相机中的对应的测试相机之间的位置的差异。
18.根据权利要求16所述的系统，其中所述图像处理系统还被配置以结合第一原始扭曲图与校准参数，以说明在所述多个相机与所述多个测试相机中的使用安装在所述车辆上的处理模块来形成所述第一扭曲图的对应的测试相机之间的位置的差异。
19.根据权利要求18所述的系统，其中所述第一扭曲图被存储在位于所述车辆上的非易失性存储器中。
20.根据权利要求13所述的系统，其中所述图像处理系统还被配置为选择第一车辆图像并且将所述第一车辆图像叠加在所述输出图像上，其中所述第一车辆图像先前对应于所述第一视点从模型车辆被获得，并且被存储用于以后使用。
CN201780010016.2A 2016-01-06 2017-01-06 使用预定视点查找表的环绕视图的三维渲染 Active CN108604366B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662275631P 2016-01-06 2016-01-06
US62/275,631 2016-01-06
US15/298,214 US10523865B2 (en) 2016-01-06 2016-10-19 Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US15/298,214 2016-10-19
PCT/US2017/012585 WO2017120506A1 (en) 2016-01-06 2017-01-06 Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Publications (2)

Publication Number Publication Date
CN108604366A true CN108604366A (zh) 2018-09-28
CN108604366B CN108604366B (zh) 2023-12-15

Family

ID=59235936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010016.2A Active CN108604366B (zh) 2016-01-06 2017-01-06 使用预定视点查找表的环绕视图的三维渲染

Country Status (5)

Country Link
US (2) US10523865B2 (zh)
EP (1) EP3400578B1 (zh)
JP (2) JP2019503007A (zh)
CN (1) CN108604366B (zh)
WO (1) WO2017120506A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327877A (zh) * 2018-12-17 2020-06-23 现代自动车株式会社 车辆及控制车辆图像的方法
CN111367291A (zh) * 2020-03-19 2020-07-03 深圳国信泰富科技有限公司 一种自越障机器人及控制方法
CN111464749A (zh) * 2020-05-07 2020-07-28 广州酷狗计算机科技有限公司 进行图像合成的方法、装置、设备及存储介质
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN109690628B (zh) * 2016-07-14 2023-08-22 Lg伊诺特有限公司 图像处理设备
US10911745B2 (en) 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
JP6699567B2 (ja) * 2017-01-17 2020-05-27 トヨタ自動車株式会社 撮像装置
EP3561774A4 (en) * 2017-01-23 2019-11-20 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR GENERATING AN IMAGE TO INDICATE AN OBJECT ON THE PERIPHERY OF A VEHICLE
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6941472B2 (ja) * 2017-04-26 2021-09-29 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
CN109547766B (zh) * 2017-08-03 2020-08-14 杭州海康威视数字技术股份有限公司 一种全景图像生成方法及装置
US10475154B2 (en) * 2017-08-11 2019-11-12 Caterpillar Inc. Machine surround view system and method for generating 3-dimensional composite surround view using same
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
CN110786004B (zh) * 2017-08-25 2021-08-31 本田技研工业株式会社 显示控制装置、显示控制方法及存储介质
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP6874850B2 (ja) * 2017-10-06 2021-05-19 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
DE112017008125T5 (de) * 2017-10-13 2020-07-16 Mitsubishi Electric Corporation Bild-Synthesevorrichtung und Bild-Syntheseverfahren
US20190130526A1 (en) * 2017-10-27 2019-05-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Metadata based quality enhancement post-video warping
US10417911B2 (en) 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US11057573B2 (en) 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing
US10944950B2 (en) * 2017-12-21 2021-03-09 Texas Instruments Incorporated Transmitting functional safety statistics via transmitted video
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
DE102018102560A1 (de) 2018-02-06 2019-08-08 Connaught Electronics Ltd. Verfahren zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs und Fahrerassistenzsystem
DE102018203968A1 (de) * 2018-03-15 2019-09-19 Conti Temic Microelectronic Gmbh Zweiwege-Sensorsystem für Kraftfahrzeuge
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
CN112840633A (zh) * 2018-07-31 2021-05-25 3M创新有限公司 交通工具辅助系统
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
WO2020071849A1 (ko) * 2018-10-04 2020-04-09 고려대학교 산학협력단 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
JP7503542B2 (ja) 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
DE102018131104A1 (de) 2018-12-06 2020-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, Computerprogrammprodukt, Fernsteuereinrichtung und Fahrerassistenzsystem für ein Kraftfahrzeug
CN113170047B (zh) * 2018-12-13 2023-06-30 索尼集团公司 控制装置、控制方法和控制程序
US20190141310A1 (en) * 2018-12-28 2019-05-09 Intel Corporation Real-time, three-dimensional vehicle display
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
EP3818339B1 (en) * 2019-02-04 2024-02-21 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
US11050932B2 (en) 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
US11341607B2 (en) 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN112116530B (zh) * 2019-06-19 2023-08-18 杭州海康威视数字技术股份有限公司 鱼眼图像畸变矫正方法、装置和虚拟显示系统
US11380046B2 (en) * 2019-07-23 2022-07-05 Texas Instruments Incorporated Surround view
US11140364B2 (en) 2019-09-09 2021-10-05 Texas Instruments Incorporated Sensor fusion based perceptually enhanced surround view
DE102019126814A1 (de) * 2019-10-07 2021-04-08 Connaught Electronics Ltd. Elektronische Steuereinheit
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
JP7442029B2 (ja) * 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
JP7458741B2 (ja) * 2019-10-21 2024-04-01 キヤノン株式会社 ロボット制御装置及びその制御方法及びプログラム
KR102634606B1 (ko) * 2019-10-24 2024-02-13 현대모비스 주식회사 자동차용 센서 통합 모듈
KR102599558B1 (ko) * 2019-10-24 2023-11-08 현대모비스 주식회사 자동차용 센서 통합 모듈
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN113065999B (zh) * 2019-12-16 2023-03-10 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置、图像处理设备及存储介质
US11170464B2 (en) * 2020-01-03 2021-11-09 Texas Instruments Incorporated Low latency streaming remapping engine
WO2021163300A1 (en) * 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
JP7238868B2 (ja) * 2020-08-20 2023-03-14 トヨタ自動車株式会社 ドライバ支援システム
CN114466176B (zh) * 2020-11-09 2024-06-11 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
US20220212599A1 (en) * 2021-01-05 2022-07-07 Magna Electronics Inc. Vehicular trailer angle detection system for fifth-wheel trailers
US11593996B2 (en) 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
DE102021112646A1 (de) 2021-05-17 2022-11-17 Connaught Electronics Ltd. Erzeugen eines zusammengefügten bildes aus kameradaten
EP4095745B1 (en) * 2021-05-24 2023-06-28 Axis AB An image processor and a method therein for providing a target image
US20230031023A1 (en) * 2021-07-29 2023-02-02 Qualcomm Incorporated Multiple camera system
US12120288B2 (en) 2021-11-30 2024-10-15 Texas Instruments Incorporated Fail safe surround view
DE102022120236B3 (de) * 2022-08-11 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
US20060120620A1 (en) * 2004-12-07 2006-06-08 Silicon Optix Inc. Dynamic warp map generation system and method
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
CN102450007A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像处理设备、电子设备和图像处理方法
US20140098229A1 (en) * 2012-10-05 2014-04-10 Magna Electronics Inc. Multi-camera image stitching calibration system
CN103770706A (zh) * 2012-10-19 2014-05-07 通用汽车环球科技运作有限责任公司 动态后视镜显示特征

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
US20020180727A1 (en) * 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
JP4927512B2 (ja) * 2006-12-05 2012-05-09 株式会社日立製作所 画像生成装置
US8525825B2 (en) * 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
RU2010134021A (ru) 2010-08-17 2012-02-27 Общество с ограниченной ответственностью "Интеллектуальные системы" (RU) Транспортная видеосистема кругового обзора и способ получения виртуального вида сверху
JP5716389B2 (ja) * 2010-12-24 2015-05-13 日産自動車株式会社 車両用表示装置
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101209072B1 (ko) 2011-12-08 2012-12-06 아진산업(주) 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP5959264B2 (ja) * 2012-03-29 2016-08-02 三菱電機株式会社 画像処理装置及び方法、並びにコンピュータプログラム
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
US10210399B2 (en) * 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US9621798B2 (en) * 2014-07-07 2017-04-11 GM Global Technology Operations LLC Grid-based image resolution enhancement for video processing module
US9727055B2 (en) * 2015-03-31 2017-08-08 Alcatel-Lucent Usa Inc. System and method for video processing and presentation
JP6582557B2 (ja) * 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
US10187590B2 (en) * 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
US20060120620A1 (en) * 2004-12-07 2006-06-08 Silicon Optix Inc. Dynamic warp map generation system and method
CN102450007A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像处理设备、电子设备和图像处理方法
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
US20140098229A1 (en) * 2012-10-05 2014-04-10 Magna Electronics Inc. Multi-camera image stitching calibration system
US20170332052A1 (en) * 2012-10-05 2017-11-16 Magna Electronics Inc. Multi-camera image stitching calibration system
CN103770706A (zh) * 2012-10-19 2014-05-07 通用汽车环球科技运作有限责任公司 动态后视镜显示特征

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327877A (zh) * 2018-12-17 2020-06-23 现代自动车株式会社 车辆及控制车辆图像的方法
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111532257B (zh) * 2019-04-22 2021-11-16 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111367291A (zh) * 2020-03-19 2020-07-03 深圳国信泰富科技有限公司 一种自越障机器人及控制方法
CN111367291B (zh) * 2020-03-19 2023-07-21 深圳国信泰富科技有限公司 一种自越障机器人及控制方法
CN111464749A (zh) * 2020-05-07 2020-07-28 广州酷狗计算机科技有限公司 进行图像合成的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2019503007A (ja) 2019-01-31
US10523865B2 (en) 2019-12-31
US20200195846A1 (en) 2020-06-18
EP3400578B1 (en) 2021-12-01
JP2022110079A (ja) 2022-07-28
CN108604366B (zh) 2023-12-15
EP3400578A1 (en) 2018-11-14
JP7397262B2 (ja) 2023-12-13
US11303806B2 (en) 2022-04-12
US20170195564A1 (en) 2017-07-06
EP3400578A4 (en) 2019-01-16
WO2017120506A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
CN108604366A (zh) 使用预定视点查找表的环绕视图的三维渲染
US11285873B2 (en) Method for generating surround view images derived from image data captured by cameras of a vehicular surround view vision system
EP3565739B1 (en) Rear-stitched view panorama for rear-view visualization
CN109691079A (zh) 成像装置和电子设备
CN111062873A (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
AU2018225269B2 (en) Method, system and apparatus for visual effects
US20120050464A1 (en) Method and system for enhancing 3d effects for 3d video rendering
US11341607B2 (en) Enhanced rendering of surround view images
CN112224132A (zh) 一种车用全景环视障碍物预警方法
CN114339185A (zh) 用于车辆相机图像的图像彩色化
JP7074546B2 (ja) 画像処理装置および方法
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
US12080075B2 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
Lo et al. Embedded system implementation for vehicle around view monitoring
US11858420B2 (en) Below vehicle rendering for surround view systems
JPWO2020022373A1 (ja) 運転支援装置および運転支援方法、プログラム
CN117173014B (zh) 一种在bev图像中合成3d目标的方法及装置
KR102567149B1 (ko) 차량 주변 영상을 생성하기 위한 장치 및 방법
CN117237237B (zh) 一种车载360度全景影像的光度均衡方法及装置
US12096119B2 (en) Local compute camera calibration
TW202414333A (zh) 車輛環景影像顯示方法
CN118350986A (zh) 一种基于多车动态拼接的车辆全景盲区透视方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant