CN114423646A - 基于传感器融合的感知增强环绕视图 - Google Patents

基于传感器融合的感知增强环绕视图 Download PDF

Info

Publication number
CN114423646A
CN114423646A CN202080062849.5A CN202080062849A CN114423646A CN 114423646 A CN114423646 A CN 114423646A CN 202080062849 A CN202080062849 A CN 202080062849A CN 114423646 A CN114423646 A CN 114423646A
Authority
CN
China
Prior art keywords
vehicle
image
camera
region
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080062849.5A
Other languages
English (en)
Inventor
沙尚克·达布拉尔
艾什瓦尔雅·杜贝
马丁·弗里茨·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN114423646A publication Critical patent/CN114423646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

技术包含：获得交通工具(402)的第一位置，所述交通工具(402)具有安置于所述交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于所述交通工具(402)定位于何处的物理相机位姿相关联；由第一相机捕获第一区域(404)的第一图像；当捕获到所述第一图像时，使所述第一图像与所述交通工具(402)的所述第一位置相关联；在一方向上移动所述交通工具使得所述第一区域(404)不再位于所述第一相机的视域内；获得所述交通工具的第二位置；基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。

Description

基于传感器融合的感知增强环绕视图
背景技术
越来越多的交通工具，例如汽车、飞机、机器人等，装备有多个外部相机以向交通工具的操作者提供交通工具周围的区域的外部视图。这些外部视图通常用于例如在倒车或停车时帮助操纵交通工具。多个相机视图可拼接在一起以形成交通工具周围的外部环绕视图。然而，不在此类系统的任何相机的视域内的区域的外部视图可能不可用。另外，产生这些多相机视图需要多个相机，一或多个相机发生故障可阻碍此类系统的操作。因此，期望具有一种用于基于传感器融合的感知增强环绕视图的经改进技术。
发明内容
本公开涉及一种方法，所述方法包含：获得交通工具的第一位置，所述交通工具具有安置于所述交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；由第一相机捕获第一区域的第一图像；当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内；获得所述交通工具的第二位置；基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
本公开的另一方面涉及一种非暂时性程序存储装置，其包含存储在其上的指令，所述指令致使一或多个处理器进行以下操作：获得交通工具的第一位置，所述交通工具具有安置于所述交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；从第一相机接收第一区域的第一图像；当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；在已在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内之后获得所述交通工具的第二位置；基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
本公开的另一方面涉及一种用于呈现交通工具周围的视图的系统，所述系统包含：一或多个相机，其安置于所述交通工具周围，其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；存储器；及一或多个处理器，其可操作地耦合到所述存储器及所述一或多个相机，其中所述一或多个处理器经配置以执行非暂时性指令，其致使一或多个处理器进行以下操作：获得所述交通工具的第一位置；由第一相机捕获第一区域的第一图像；当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；在已在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内之后获得所述交通工具的第二位置；基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
应理解，虽然本文中的技术在可见光相机且使用碗形确定物理及虚拟相机的位姿的上下文中论述，但本公开中的任何内容绝不意在将这些技术限于用于确定位姿的此类传感器及技术。而是，本文中论述的技术很容易适用于广泛范围的传感器装置，包含不可见光或电磁传感器，包含能够跨广泛范围的电磁频率捕获图像的红外、近红外、或相机。本文论述的技术还进一步适用于确定物理及虚拟相机的位姿的其它方式。
附图说明
针对各个实例的详细描述，现将参考附图，其中：
图1A及1B是说明根据本公开的方面的用于产生2D环绕视图的技术的图。
图2是根据本公开的方面的用于环绕视图系统中的实例三维(3D)碗状网格的说明。
图3说明根据本公开的方面的用于将虚拟相机映射到物理相机的光线跟踪过程。
图4A及4B说明根据本公开的方面的时间映射的实例效果。
图5是说明根据本公开的方面的用于增强环绕视图的技术的流程图。
图6说明根据本公开的方面的交通工具的位姿的实例变化。
图7是根据本公开的方面的系统的实施例的框图。
图8是根据本公开的方面的计算装置的实施例的框图。
具体实施方式
图1A是说明根据本公开的方面的用于产生3D环绕视图的技术的图。用于产生3D环绕视图的过程会产生来自一视点的复合图像，所述视点在交通工具向下直视时看起来定位在正上方。本质上，提供交通工具周围的附近的虚拟顶视图。
交通工具环绕视图系统通常包含安装在交通工具110周围的四到六个鱼眼相机。举例来说，相机组包含在交通工具110前方的一个相机、在交通工具110后方的另一相机及在交通工具110的每一侧上的一个相机。由每一相机产生的图像可提供到图像信号处理系统(ISP)，所述图像信号处理系统包含用于存储来自每一相机的图像数据的一或多个帧的存储器电路。例如，由每一相机捕获到的鱼眼图像111到114可在概念上布置于交通工具110周围。
从多个鱼眼透镜相机产生环绕视图的通用过程描述于：通过引用方式并入本文中的维克拉姆·阿皮亚(Vikram Appia)等人的2015年10月的“用于TI的TDAx SoC上的ADAS的环绕视图相机系统(Surround view camera system for ADAS on TI's TDAx SoCs)”。基本环绕视图相机解决方案通常包含两个关键算法组件：几何对齐及复合视图合成。几何对齐校正输入视频帧的鱼眼失真且将其转换成常见的鸟瞰视角。合成算法在几何校正之后产生复合环绕视图。为了产生无缝拼接的环绕视图输出，可能需要称为“光度对齐”的另一关键算法。光度对齐校正邻近视图之间的亮度及色彩失配以实现无缝拼接。光度校正详细描述于例如2015年3月09日申请的标题为“用于根据环绕视图相机解决方案处理显示的方法、设备及系统(Method,Apparatus and System for Processing a Display From aSurround View Camera Solution)”美国专利申请案14/642,510中，所述美国专利申请案通过引用方式并入本文中。
相机系统校准可包含鱼眼透镜失真校正(LDC)及视角变换两者。针对鱼眼失真校正，径向失真模型可用于通过应用径向失真函数的逆变换从原始输入帧移除鱼眼。在LDC之后，四个外部校准矩阵(每一相机一个)可经估计以变换四个输入的经LDC校正的帧使得所有输入视图都正确配准于单个世界坐标系中。可使用基于图表的校准方法。图表的内容经设计以促进算法准确且可靠地找到并匹配特征。基于图表的校准详细论述于例如2016年10月14日申请的标题为“用于多相机系统的校准的自动特征点检测(Automatic FeaturePoint Detection for Calibration of Multi-Camera Systems)”美国专利申请案15/294,369中，所述美国专利申请案通过引用方式并入本文中。
假设正确几何对齐已经应用到输入帧，则图1B的复合环绕视图132可使用例如数字信号处理器(DSP)产生。复合环绕视图使用来自来自一组相机的全部四个输入帧的数据。重叠区是来自相同物理世界但由两个邻近相机捕获到的帧的部分，即，O{m,n}，其中m＝1、2、3、4，且n＝(m+1)mod 4。O{m,n}是指视图m与视图n之间的重叠区，且n是视图m按顺时针顺序的相邻视图。在O{m,n}中的每一位置中，存在两个可用像素，即，来自视图m的图像数据及来自视图n的其空间对应部分。
经校准相机系统产生环绕视图合成函数，其从四个鱼眼相机接收输入视频流并创建复合3D环绕视图132。LDC模块可对来自四个鱼眼相机中的每一者的图像帧执行鱼眼校正、透视扭曲、对齐及双线性/双三次插值。例如，LDC模块可为硬件加速器(HWA)模块，且可作为DSP模块或图形处理单元(GPU)的部分并入。DSP模块还可对最终复合输出图像132执行拼接且可将交通工具的图像(例如交通工具图像134)叠加于最终复合输出图像132上。
此合成使用编码于几何LUT中的映射创建经拼接输出图像。在输出帧的重叠区中，在需要来自两个邻近输入帧的图像数据的情况下，每一输出像素映射到两个输入图像中的像素位置。在重叠区中，可混合来自两个邻近图像的图像数据，或可执行二元决策以使用来自两个图像中的一者的数据。
没有可用图像数据的区可在经拼接输出图像中导致孔洞。举例来说，交通工具下方的区通常不会直接成像且在经拼接输出图像中可看起来是空白区或黑色区。通常，此空白区由交通工具的叠加图像填充，例如交通工具图像134。在其中相机将被停用的情况中，通常由那个相机成像的对应区在经拼接输出图像中可看起来是空白区或黑色区。
图2是根据本公开的方面的用于环绕视图系统中的实例三维(3D)碗状网格200的说明。针对3D图像，交通工具周围的世界可以碗的形状表示。由于缺少完整的场景深度，碗是交通工具周围的世界的形状的合理假设。此碗可为任何平滑变化的表面。在此特定表示中，使用碗200，其在汽车附近的区中是平坦的201且远离汽车弯曲，如在前部及背部的202、203处分别指示。在此实例中，碗可在每一侧上仅向上略弯曲，如在204处指示。可对于其它实施例使用其它碗形状。
例如经拼接输出图像的图像可例如通过图形处理单元(GPU)或图像处理器叠加到3D碗状网格200上，且一组虚拟视点或虚拟相机可与来自相机的用于创建经拼接输出图像及虚拟视点的映射一起定义。
图3说明根据本公开的方面的用于将虚拟相机映射到物理相机的光线跟踪过程300。此实例表示类似于图2的碗状网格200的碗状网格的部分302的横截面图。碗状网格302可包含类似于图2的平坦部分201及凸起部分202的平坦部分304及凸起部分306。具有鱼眼透镜310的相机308可安装于实际交通工具的前方，如上文更详细描述。输出图像的虚拟视点312可定义为例如在实际交通工具位置上方。
相机的初始校准可用于将经成像区中的位置映射(如投影到碗状网格302上)提供到具有鱼眼透镜310的相机308的像素。此映射可例如在校准阶段期间准备且例如存储于查找表中。如上文论述，虚拟视点312可定义于与硬件相机308分离的位置处。虚拟视点312的映射可通过从虚拟视点图像平面314中的虚拟视点312位置投射光线并识别光线与碗状网格302相交的位置来定义。光线316、318是实例。例如，光线316与碗状网格302的平坦部分302相交，且光线318与碗状网格302的凸起部分306相交。光线投射操作产生虚拟视点图像平面314上的每个2D点与碗状网格302的对应坐标的映射。接着，虚拟视点312可见的区与由相机308可见的区之间的映射可使用相机308与碗状网格302之间的映射连同虚拟视点312与碗状网格302之间的映射一起产生。
根据本论述的方面，虚拟视点312可见的区可包含相机308不可见的区。在此类情况中，虚拟视点的映射可基于多个相机与碗状网格302之间的映射。应注意，因为虚拟视点可随意放置且不限于交通工具及周围区域的标准正上方视图。举例来说，虚拟视点可定义为在交通工具上方且略靠后以便为视图提供更多3D感觉。另外，在某些情况中，视点可例如由用户动态移动。在此类情况中，映射可动态地重新计算或基于多个经定义位置的一组经重新计算映射。在某些情况中，交通工具上的任何相机当前不可见的区可能先前已由交通工具上的一或多个相机成像。可使用能够提供区的图像的时间相机。时间相机可显示区的图像，即使交通工具上的相机无法直接对所述区进行成像。区的这些图像可在先前时间点捕获到且可用于提供区的图像，从而为虚拟相机视点提供时间维度。
图4A及4B说明根据本公开的方面的时间映射的实例效果。图4A说明用于呈现交通工具下方的视图的第一实例，且图4B说明用于呈现其中相机停用的视图的第二实例。如此实例中展示，针对移动中的交通工具，交通工具上的相机在当前时间点(例如t1)不可见的区可能是交通工具上的相机在先前时间点(例如t0)可见的。在图4A中，在时间t0具有指向行进方向(在此处为向前)的相机的汽车402A能够对汽车402A前方的区404(包含参考区406)进行成像。在时间t1，汽车402B已向前行进足够远使得汽车402B现在在先前成像的区404及参考区406上方。应注意，为了清楚起见，所提供的实例涉及具有前向相机且向前移动的交通工具。然而，所属领域的一般技术人员应理解，可使用对应于行进方向的其它相机，例如用于倒车的后向相机。
在图4B中，同样在时间t0具有指向行进方向(在此处为向前)上相机的汽车410A能够对汽车410A前方的区412(包含参考区414)进行成像，区412对应于汽车410B的右侧相机的视域。在时间t1，汽车410B已向前行进足够远使得区412现在应在汽车410B的右侧相机的视域内。在此情况中，右方相机416被停用且没有从右侧相机接收到图像。虽然参考区414无法直接由汽车410B上的相机在时间t1成像，但参考区414先前在先前时间点(例如t0)成像。因此，时间维度可添加到在虚拟视点与一或多个相机视图之间的映射。
根据本公开的方面，一或多个历史缓冲器可经提供以存储由定位在交通工具周围的一或多个相机捕获到的图像。举例来说，单独历史缓冲器可经提供用于每一相机，或中央历史缓冲器可经提供用于一些或全部相机。在某些情况中，历史缓冲器可足够大以缓冲由历史缓冲器支持的一或多个相机的设置时间帧及/或距离的图像。此历史缓冲器可用于以类似于虚拟相机的现场相机图像的方式提供时间相机的图像。
图5是说明根据本公开的方面的用于增强环绕视图的技术的流程图500。在步骤502，所述方法通过获得交通工具的第一位置开始，所述交通工具具有安置于交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于交通工具定位于何处的物理相机位姿相关联。一般来说，交通工具包含经配置以捕获交通工具周围的区域的图像的一或多个相机，例如交通工具前方、右侧、左侧及背部的相机。每一相机与指示相机的位置及方向的物理位姿相关联。在某些情况中，位置信息可通过任何已知技术获得，例如通过使用全球定位系统(GPS)坐标。在某些情况中，这些GPS坐标可由额外传感器增补，例如加速度计或其它惰性传感器。在步骤504，方法包含由第一相机捕获第一区域的第一图像。举例来说，安置在交通工具周围的相机可捕获交通工具周围的区域的图像流。在某些情况中，这些相机中的一或多者可为鱼眼相机且已经校准使得来自多个相机的图像可拼接在一起以产生交通工具的环绕视图。举例来说，图像可投影到碗状网格，且一或多个虚拟相机可用于产生交通工具的环绕视图。
在步骤506，方法包含当捕获到第一图像时，使第一图像与交通工具的第一位置相关联。举例来说，因为图像由相机捕获，因此图像与交通工具的当前位置相关联。这些捕获到的图像及相关联位置可存储于图像或时间缓冲器中。时间缓冲器可为由一或多个相机共享的单个时间缓冲器，或可提供用于相机的多个时间缓冲器，例如用于每一相机的时间缓冲器。多个时间缓冲器可互连。在某些情况中，时间缓冲器中的图像可按时间顺序存储，且所存储的图像可基于与图像相关联的交通工具的位置与和已经存储于时间缓冲器中的另一图像相关联的交通工具的位置之间的一或多个阈值距离。在某些情况中，存储于时间缓冲器中的多个图像可用于呈现单个图像的部分以进行显示。举例来说，鱼眼相机的分辨率可能在一定距离内相对快速地下降。为了缓解此降低的分辨率，多个所存储的图像可经组合以呈现单个图像。作为更特定实例，因为图像与相关联位置一起存储，因此当显示交通工具下方的视图时，例如交通工具下方的区的第一个三分之一的第一部分可使用从到区的那第一个三分之一的第一距离捕获到的时间图像显示。区的第二个三分之一可使用从到第二个三分之一的第二距离捕获到的第二时间图像显示，所述第二距离邻近区的第一个三分之一但就在其之后。区的第三个三分之一可类似地使用从到第三个三分之一的第三距离捕获到的第三时间图像显示，所述第三距离邻近区的第二个三分之一但就在其之后。
在某些情况中，图像可基于交通工具行进方向存储于时间缓冲器中。举例来说，如果交通工具正基本上在前向方向上行进，那么来自前向相机的图像可存储于时间缓冲器中，而不存储来自后向相机的图像。相反，如果交通工具正基本上在后向方向上行进，那么来自后向相机的图像可存储于时间缓冲器中，而不存储来自前向相机的图像。在某些情况中，图像可基于与时间缓冲器中的图像相关联的交通工具的位置与交通工具的当前位置之间的最大距离从时间缓冲器移除。
在步骤508，方法包含在一方向上移动交通工具使得第一区域不再位于第一相机的视域内。在第一实例中，可移动交通工具使得第一区域基本上在交通工具下方。在第二实例中，可在一方向上移动交通工具使得第一区域基本上不在第一相机的视域中，但在第二相机的预期视域中。在此第二实例中，第二相机停用或以其它方式不可用，且因此，第一区域不能被第二相机看到。在某些情况中，可能的是，第二相机可完全由虚拟相机取代。举例来说，交通工具可包含用于捕获一区域的视图的前向相机及后向相机以及用于提供交通工具的左侧及右侧的视图的时间虚拟相机。在某些情况中，时间相机的视图中的视角或区域可相较于第二相机的预期视域进行调整，因为另一相机的图像质量可例如由于透镜失真、鱼眼透镜等而在由另一相机成像的区的边缘处更加受限，且由时间虚拟相机提供的视图可具有降低的分辨率、成像的区、及/或范围。调整时间相机的视图中的视角或区域有助于减少降低的成像质量的影响。在步骤510，获得交通工具的第二位置。
在步骤512，方法包含基于第一相机的物理相机位姿及交通工具的第二位置确定时间相机位姿。举例来说，如下文进一步论述，时间相机位姿可基于第一相机的预校准的物理相机位姿及交通工具位姿的变化。存储于时间缓冲器中的图像可例如基于交通工具的当前位置以及交通工具的当前位置与和所选择的图像相关联的交通工具的位置之间的阈值距离进行选择。
在步骤514，方法包含基于虚拟相机位姿及第一图像呈现第一区域的视图。在某些情况中，从时间缓冲器选择的图像可投影到碗状网格。来自时间相机的视图可确定为时间图像，且此时间图像可呈现到例如交通工具内的显示器。在某些情况中，从时间缓冲器选择且投影到碗状网格的图像可拼接在一起以形成复合时间图像。来自时间相机的视图可是基于复合时间图像。
为了帮助产生先前由交通工具上的相机成像的区的合成历史视图，可确定时间相机的位姿。在某些情况中，与交通工具位姿的变化相关的信息可使用GPS与惰性测量单元(IMU)的组合获得。举例来说，GPS位置信息可由扩增GPS提供且与由加速度计或另一惰性传感器提供的旋转/平移信息组合以确定交通工具在特定时间的位姿。此位姿信息可与存储于历史缓冲器中的图像相关联。
图6说明根据本公开的方面的交通工具的位姿600的实例变化。一般来说，位姿是指实际或虚拟对象关于坐标系的位置及定向且以M矩阵的形式描述。在此实例中，在时间t0具有第一位姿的交通工具602A在时间t1移动成第二位姿，其中交通工具602B具有第二位姿，其在多个维度方面不同于第一位姿。为了处置交通工具的位姿变化，时间相机的位姿可是基于交通工具的位姿关于先前时间的变化。交通工具的位姿的此变化可通过ΔM描述且可是基于交通工具的位置、旋转及/或平移的变化。因此，时间相机的位姿可通过公式
Figure BDA0003536244630000081
描述，其中FC表示前向相机在特定时间点的位姿，且W表示在特定时间点的世界坐标系，例如碗状网格的坐标，且其中
Figure BDA0003536244630000082
由ΔM提供，且
Figure BDA0003536244630000083
通过相机校准提供。一旦确定时间相机的相对位姿，相对位姿就可使用存储于历史缓冲器中的对应图像用作虚拟相机的位姿。
从历史缓冲区中不一致地选择图像可能会导致与时间一致性、闪烁或其它伪影有关的问题。为了帮助确定来自历史缓冲器的正确图像以用于时间相机，可使用距离阈值。在某些情况中，可定义来自用于时间相机的相机的阈值距离。举例来说，与交通工具的前向相机的位置相距五米的阈值距离可经定义以与时间相机一起使用。在某些情况中，历史缓冲器中的图像可按时间顺序布置。当从历史缓冲器选择图像时，每一图像的位姿的平移组件可从最早的开始检查以确定图像是否是从大于阈值距离的距离拍摄。如果图像并非从大于阈值距离的距离拍摄，那么检查下一图像直到具有大于阈值距离的距离的第一图像被找到。可选择具有大于阈值距离的距离的第一图像作为与时间相机一起使用的图像。
为了帮助维持图像一致性，在某些情况中，可基于交通工具的方向变化移除存储于时间缓冲器中的图像。举例来说，如果反向行驶的交通工具停止且接着开始在前向方向上移动，那么可移除存储于后向相机的时间缓冲器中的图像，且来自前向相机的新图像可存储于时间缓冲器中。此帮助保存存储于当前时间缓冲器中的图像，因为对象可能已在交通工具在另一方向上移动时移位。类似地，如果交通工具已保持静止达某阈值时间量，那么可清除时间缓冲器，因为对象可能已移位。为了向交通工具操作者传达这种情况，可降低模型(例如图1的交通工具图像134)的透明度以使模型在使时间缓冲器无效时更不透明。当图像存储于时间缓冲器中时可增加模型的透明度以使模型更透明以产生由时间相机成像的区的视图。
根据本公开的方面，缓冲器优化方案可用于限制存储于历史缓冲器中的图像的数目。有可能不需要将每个可能图像帧存储于历史缓冲器中(例如，如果交通工具正缓慢行进)，且可快速填充历史缓冲器。为了帮助减小需要被存储的图像的数目，来自相机的图像可以离散距离频率阈值存储到历史中。举例来说，在距离频率阈值被设置为十厘米的情况下，如果与图像相关联的平移与最近存储的图像相距大于十厘米，那么来自相机的图像可仅存储于历史缓冲器中。
在某些情况中，还可设置用于存储图像的最大距离。举例来说，图像缓冲器可经配置以存储超过最小阈值距离的最大阈值距离(例如五米)的图像。接着，可计算由图像缓冲器支持的每相机的最大图像数目及适当地设定图像缓冲器的大小。举例来说，在图像缓冲器经配置以存储与5米的最大阈值距离相关联的图像的情况下(其中图像之间的最小阈值距离是十厘米)，则每相机的可存储于历史缓冲器中的最大图像数目是50个图像。
图7是根据本公开的方面的系统700的实施例的框图。此实例系统700包含多个相机，例如放置在交通工具外围周围且耦合到捕获块710的相机700到708。如果需要的话，块712可使用已知或稍后开发的图像处理方法执行色彩校正操作(例如从拜耳(Bayer)格式到YUV420格式的转换、色调映射、噪声滤波、伽马校正等)。块714可执行视频传感器及白平衡的自动曝光控制以使用已知或稍后开发的技术实现最优图像质量。块716使所有相机700到708都同步以确保从传感器捕获到的每一帧都在相同时段中。在某些情况中，由位置子系统726提供的位置信息可与由相机捕获到的同步帧相关联。位置子系统可包括例如GPS传感器以及其它传感器，例如惰性或加速度传感器。同步帧可存储于时间缓冲器732中。缓冲器管理器736可管理存储于时间缓冲器732中的图像，例如通过执行阈值化以确定是否存储特定图像、基于交通工具行进的距离及方向、静止时间量等移除图像、及管理从哪个相机将图像存储到时间缓冲器732中。在某些情况中，时间缓冲器可经优化以仅存储来自前向及后向相机的图像。
由校准器724产生的映射查找表可由扭曲模块728用于基于虚拟及时间相机将由相机702到708直接提供的输入视频帧与存储于时间缓冲器732中的图像一起扭曲。因此，鱼眼失真校正及视点扭曲两者都可使用预定视点映射在单个操作中执行。
合成器模块730负责产生包含来自每一视频通道的一个帧的复合视频帧。复合参数可取决于虚拟视点而改变。此模块类似于上文关于图1描述的合成块。代替鱼眼输入图像，合成器模块730从扭曲模块728接收每一相机图像的经扭曲修改的输出。
合成器块730可拼接并混合对应于邻近相机及时间相机的图像。混合位置将基于虚拟视图的位置改变，且此信息还可编码在离线产生的世界到视图网格中。
显示子系统734可从合成器730接收视频流输出且在经连接显示器单元上显示相同内容以由交通工具的驾驶员观看，例如LCD、监视器、TV等。系统可经配置以还显示元数据此检测到的对象、行人、警报等。
在本文中描述的特定实施方案中，使用四个相机。在其它实施例中，本文中公开的相同原理可扩展到N个相机，其中N可大于或小于四。
相机校准映射数据718可通过与世界到视图网格组合的校准程序产生且存储于3d碗状网格表720中。如上文更详细描述，世界视图网格720可离线722产生且经存储以稍后供校准器模块724使用。
针对每一预定义虚拟视点，校准器模块724读取相关联3D碗状网格表720、解释相机校准参数718且产生用于四个通道中的每一者的2D网格查找表。例如，此通常是一次性操作且在系统起始时完成，例如当系统在组装过程期间放置于交通工具中时。无论何时感测到安装于交通工具上的相机中的一者的位置变化，都可重复此过程。因此，可针对时间相机的每一帧产生3D碗状网格表720，因为时间相机的校准在交通工具移动时改变每一帧。在一些实施例中，例如，每当启动交通工具时，都可重复校准过程。
在某些情况中，从相机捕获到的图像数据对于结合时间缓冲器一起使用可能是无效的。举例来说，在例如汽车的交通工具正在拥堵交通中行进的情况下，从相机捕获到的图像可包含其它交通工具的图像。作为实例，此类图像将不适于与显示交通工具下方的区的图像的时间相机一起使用。在此类情况中，时间相机可例如通过在捕获到的图像包含使其无法用于时间相机时使交通工具的模型不透明来停用。一旦捕获到不包含此类对象的图像且将其存储于时间缓冲器中，就可增加模型的透明度以使模型更透明。捕获到的图像中的对象可使用任何已知技术来检测及识别。
如图8中说明，装置800包含处理元件，例如含有一或多个硬件处理器的处理器805，其中每一硬件处理器可具有单个或多个处理器核心。处理器的实例包含(但不限于)中央处理单元(CPU)或微处理器。尽管图8中未说明，但组成处理器805的处理元件还可包含一或多个其它类型的硬件处理组件，例如图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)及/或数字信号处理器(DSP)。在某些情况中，处理器805可经配置以执行结合图7的模块710到716、724到730描述的任务。
图8说明存储器810可操作且通信地耦合到处理器805。存储器810可为经配置以存储各种类型的数据的非暂时性计算机可读存储媒体。举例来说，存储器810可包含一或多个易失性装置，例如随机存取存储器(RAM)。在某些情况中，图7的时间缓冲器730可为存储器810的部分。非易失性存储装置820可包含经设计以在断电或关闭操作之后维持数据达一持续时间的一或多个磁盘驱动器、光学驱动器、固态驱动器(SSD)、磁带驱动器、快闪存储器、电可编程只读存储器(EEPROM)及/或任何其它类型存储器。非易失性存储装置820还可用于存储在执行程序时加载到RAM中的此类程序。
所属领域的一般技术人员意识到，软件程序可以各种计算语言开发、编码及编译以用于各种软件平台及/或操作系统中且随后由处理器805加载并执行。在一个实施例中，软件程序的编译过程可将以编程语言编写的程序代码变换成另一计算机语言使得处理器805能够执行编程代码。举例来说，软件程序的编译过程可产生可执行程序，其向处理器805提供经编码指令(例如，机器代码指令)以实现具体的、非通用的特定计算功能。
在编译过程之后，接着，经编码指令可作为计算机可执行指令或过程步骤从存储装置820、从存储器810加载到处理器805及/或嵌入于处理器805内(例如，经由高速缓存或板载ROM)。处理器805可经配置以执行所存储指令或过程步骤以便执行指令或过程步骤来将计算装置变换成非通用的、特定的经专门编程的机器或设备。例如由存储装置820存储的数据的所存储数据可在计算机可执行指令或过程步骤执行期间由处理器805存取以指示计算装置800内的一或多个组件。存储装置820可经分区或分割成可由不同软件程序存取的多个区段。举例来说，存储装置820可包含出于特定目的标示的区段，例如存储用于更新计算装置800的软件的程序指令或数据。在一个实施例中，将更新的软件包含计算装置的ROM或固件。在某些情况中，计算装置800可包含多个操作系统。举例来说，计算装置800可包含用于正常操作的通用操作系统。计算装置800还可包含用于执行特定任务的另一操作系统，例如引导加载程序，所述特定任务例如更新并恢复通用操作系统且允许在通过通用操作系统通常不可用的级别下存取计算装置800。通用操作系统及另一操作系统两者可出于特定目的存取所标示的存储装置820的区段。
一或多个通信接口可包含无线电通信接口以对接一或多个无线电通信装置。在某些情况中，耦合到处理器的元件可包含于与处理器共享的硬件上。举例来说，通信接口825、存储装置820及存储器810可与例如数字无线电的其它元件一起包含于单个芯片或封装中，例如包含于单芯片系统(SOC)中。计算装置还可包含未展示的输入及/或输出装置，其实例包含传感器、相机、人类输入装置，例如鼠标、键盘、触摸屏、监测器、显示器屏幕、触觉或运动产生器、扬声器、灯等。例如来自雷达装置830的经处理输入可经由通信接口825从计算装置800输出到一或多个其它装置。
上文论述意在说明本公开的原理及各个实施方案。一旦完全了解上文公开内容，所属领域的技术人员就将明白众多变化及修改。希望所附权利要求书被解译为包含所有此类变化及修改。
虽然已在本文中描述具有板载驱动器的常规交通工具，但其它实施例可实施于其中“驱动器”远离交通工具的交通工具中，例如可从远程位点控制的自主交通工具。
如本文中使用，术语“交通工具”还可应用到其它类型的装置，例如机器人、工业装置、医疗装置等，其中来自用于实时形成虚拟视点的多个相机的图像的低成本低功率处理是有益的。
本公开中描述的技术可实施于硬件、软件、固件或其任何组合中。如果实施于软件中，那么软件可执行于一或多个处理器中，例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等。执行技术的软件最初可存储于例如光盘(CD)、磁盘、磁带、文件、存储器或任何其它计算机可读存储装置的计算机可读媒体中且接着在处理器中执行。在一些情况中，软件还可以计算机程序产品进行售卖，计算机程序产品包含计算机可读媒体及用于计算机可读媒体的封装材料。在一些情况中，软件指令可经由可装卸式计算机可读媒体(例如，软盘、光盘、快闪存储器、USB密钥)分布、从另一数字系统上的计算机可读媒体经由传输路径等分布。
在此描述中，术语“耦合(couple/couples)意味着间接或直接有线或无线连接。因此，如果第一装置耦合到第二装置，那么那个连接可通过直接连接或通过经由其它装置及连接通过间接连接。
在所描述实施例中，修改是可能的，且在权利要求书的范围内，其它实施例是可能的。

Claims (20)

1.一种方法，其包括：
获得交通工具的第一位置，所述交通工具具有安置于所述交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；
由第一相机捕获第一区域的第一图像；
当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；
在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内；
获得所述交通工具的第二位置；
基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及
基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
2.根据权利要求1所述的方法，其中移动所述交通工具包括在所述方向上移动所述交通工具使得所述第一区域在所述交通工具下方，且其中呈现所述视图包括呈现所述交通工具下方的所述第一区域。
3.根据权利要求1所述的方法，其进一步包括：
将所述第一区域的所述第一图像存储于图像缓冲器中，其中所述图像缓冲器中的图像按时间顺序存储，且其中呈现所述视图是基于存储于所述图像缓冲器中的所述图像。
4.根据权利要求3所述的方法，其进一步包括：
由所述第一相机捕获与所述第一区域至少部分重叠的第二区域的第二图像；及
将所述第二图像存储于所述图像缓冲器中。
5.根据权利要求4所述的方法，其中与所述第二图像相关联的所述交通工具的第三位置与所述第一区域相距至少最小阈值距离；且
基于所述第三位置与所述第一区域相距至少所述最小阈值距离的所述确定存储所述第二图像。
6.根据权利要求3所述的方法，其中呈现所述视图包括重复以下步骤：
从所述图像缓冲器选取候选图像；及
确定所述交通工具的当前位置与和经选取候选图像相关联的所述交通工具的所述位置之间的距离；
如果所述距离大于或等于最小阈值距离，那么选择所述经选取候选图像；及
基于所选择的候选图像呈现所述视图。
7.根据权利要求3所述的方法，其进一步包括：
基于与所述候选图像相关联的所述交通工具的所述位置及所述交通工具的所述当前位置高于最大距离阈值的确定，从所述图像缓冲器删除过期图像。
8.根据权利要求1所述的方法，其进一步包括：由第二相机捕获所述第一区域的第二图像；且其中呈现所述第一区域的所述视图进一步是基于所述第一区域的所述第二图像。
9.一种非暂时性程序存储装置，其包括存储在其上的指令，所述指令致使一或多个处理器进行以下操作：
获得交通工具的第一位置，所述交通工具具有安置于所述交通工具周围的一或多个相机，且其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；
从第一相机接收第一区域的第一图像；
当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；
在已在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内之后获得所述交通工具的第二位置；
基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及
基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
10.根据权利要求9所述的非暂时性程序存储装置，其中当所述交通工具在所述方向上移动使得所述第一区域在所述交通工具下方时，呈现所述视图包括呈现所述交通工具下方的所述第一区域。
11.根据权利要求9所述的非暂时性程序存储装置，其中所存储指令进一步致使一或多个处理器进行以下操作：
将所述第一区域的所述第一图像存储于图像缓冲器中，其中所述图像缓冲器中的图像按时间顺序存储，且其中呈现所述视图是基于存储于所述图像缓冲器中的所述图像。
12.根据权利要求11所述的非暂时性程序存储装置，其中所述所存储指令进一步致使一或多个处理器进行以下操作：
从所述第一相机接收与所述第一区域至少部分重叠的第二区域的第二图像；及
将所述第二图像存储于所述图像缓冲器中。
13.根据权利要求12所述的非暂时性程序存储装置，其中所述所存储指令进一步致使一或多个处理器进行以下操作：
获得与所述第二图像相关联的所述交通工具的第三位置；
确定所述交通工具的所述第三位置与所述第一区域相距至少最小阈值距离；及
基于所述第三位置与所述第一区域相距至少所述最小阈值距离的所述确定存储所述第二图像。
14.根据权利要求11所述的非暂时性程序存储装置，其中用于呈现所述视图的所述所存储指令进一步致使一或多个处理器重复以下步骤：
从所述图像缓冲器选取候选图像；及
确定所述交通工具的当前位置与和经选取候选图像相关联的所述交通工具的所述位置之间的距离；
如果所述距离大于或等于最小阈值距离，那么选择所述经选取候选图像；及
基于所选择的候选图像呈现所述视图。
15.根据权利要求11所述的非暂时性程序存储装置，其中所述所存储指令进一步致使一或多个处理器进行以下操作：
基于与所述候选图像相关联的所述交通工具的所述位置及所述交通工具的所述当前位置高于最大距离阈值的确定，从所述图像缓冲器删除过期图像。
16.根据权利要求9所述的非暂时性程序存储装置，其中所述所存储指令进一步致使一或多个处理器进行以下操作：
由第二相机捕获所述第一区域的第二图像；且其中呈现所述第一区域的所述视图进一步是基于所述第一区域的所述第二图像。
17.一种用于呈现交通工具周围的视图的系统，所述系统包括：
一或多个相机，其安置于所述交通工具周围，其中每一相机与指示每一相机相对于所述交通工具定位于何处的物理相机位姿相关联；
存储器；及
一或多个处理器，其可操作地耦合到所述存储器及所述一或多个相机，其中所述一或多个处理器经配置以执行非暂时性指令，所述指令致使一或多个处理器进行以下操作：
获得所述交通工具的第一位置；
由第一相机捕获第一区域的第一图像；
当捕获到所述第一图像时，使所述第一图像与所述交通工具的所述第一位置相关联；
在已在一方向上移动所述交通工具使得所述第一区域不再位于所述第一相机的视域内之后获得所述交通工具的第二位置；
基于所述第一相机的所述物理相机位姿及所述交通工具的所述第二位置确定时间相机位姿；及
基于所述时间相机位姿及所述第一图像呈现所述第一区域的视图。
18.根据权利要求17所述的系统，其中当所述交通工具在所述方向上移动使得所述第一区域在所述交通工具下方时，呈现所述视图包括呈现所述交通工具下方的所述第一区域。
19.根据权利要求17所述的系统，其中所述非暂时性指令进一步致使所述一或多个处理器进行以下操作：
将所述第一区域的所述第一图像存储于图像缓冲器中，其中所述图像缓冲器中的图像按时间顺序存储，且其中呈现所述视图是基于存储于所述图像缓冲器中的所述图像。
20.根据权利要求19所述的系统，其中所述非暂时性指令进一步致使所述一或多个处理器进行以下操作：
从所述第一相机接收与所述第一区域至少部分重叠的第二区域的第二图像；及
将所述第二图像存储于所述图像缓冲器中。
CN202080062849.5A 2019-09-09 2020-09-08 基于传感器融合的感知增强环绕视图 Pending CN114423646A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962897581P 2019-09-09 2019-09-09
US62/897,581 2019-09-09
US16/690,906 2019-11-21
US16/690,906 US11140364B2 (en) 2019-09-09 2019-11-21 Sensor fusion based perceptually enhanced surround view
PCT/US2020/049639 WO2021050405A1 (en) 2019-09-09 2020-09-08 Sensor fusion based perceptually enhanced surround view

Publications (1)

Publication Number Publication Date
CN114423646A true CN114423646A (zh) 2022-04-29

Family

ID=74180594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080062849.5A Pending CN114423646A (zh) 2019-09-09 2020-09-08 基于传感器融合的感知增强环绕视图

Country Status (5)

Country Link
US (3) US11140364B2 (zh)
EP (1) EP4028288A4 (zh)
JP (1) JP2022547531A (zh)
CN (1) CN114423646A (zh)
WO (1) WO2021050405A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
US11341607B2 (en) * 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN114323020B (zh) * 2021-12-06 2024-02-06 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
WO2024096900A1 (en) * 2022-10-30 2024-05-10 Atieva, Inc. Visual representation and control enabled by remote computation and rendering

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013541915A (ja) 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US10210399B2 (en) 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
US9533618B2 (en) 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US10438081B2 (en) 2015-10-30 2019-10-08 Texas Instruments Incorporated Automatic feature point detection for calibration of multi-camera systems
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10922559B2 (en) 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US10982968B2 (en) * 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation

Also Published As

Publication number Publication date
JP2022547531A (ja) 2022-11-14
WO2021050405A1 (en) 2021-03-18
EP4028288A4 (en) 2022-12-14
US20210092327A1 (en) 2021-03-25
US10897600B1 (en) 2021-01-19
US11528453B2 (en) 2022-12-13
EP4028288A1 (en) 2022-07-20
US11140364B2 (en) 2021-10-05
US20210075959A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7397262B2 (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
US9633266B2 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
US11420559B2 (en) Apparatus and method for generating a composite image from images showing adjacent or overlapping regions external to a vehicle
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
US20200086791A1 (en) Apparatus and method for displaying information
US20120293659A1 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
WO2017018400A1 (ja) 車両用表示装置
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
JP5299296B2 (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
CN111095921B (zh) 显示控制装置
CN112215747A (zh) 无车底盲区的车载全景图的生成方法、装置及存储介质
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP7029350B2 (ja) 画像処理装置および画像処理方法
JP6785480B2 (ja) 画像合成装置、及び、制御方法
US11858420B2 (en) Below vehicle rendering for surround view systems
US20230191998A1 (en) Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle
JP2024088276A (ja) 表示制御装置及び画像表示装置
KR101750161B1 (ko) 관심영역 이미지 패치 관리 시스템 및 방법
CN117830089A (zh) 环视拼接视图生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination