CN113646769A - 用于图像归一化的系统和方法 - Google Patents

用于图像归一化的系统和方法 Download PDF

Info

Publication number
CN113646769A
CN113646769A CN201980092105.5A CN201980092105A CN113646769A CN 113646769 A CN113646769 A CN 113646769A CN 201980092105 A CN201980092105 A CN 201980092105A CN 113646769 A CN113646769 A CN 113646769A
Authority
CN
China
Prior art keywords
image
virtual image
vehicle
information
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980092105.5A
Other languages
English (en)
Inventor
田村一树
清水宏明
M·普洛斯曼斯
F·韦尔比斯特
L·范古尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Catholique de Louvain UCL
Toyota Motor Europe NV SA
Original Assignee
Universite Catholique de Louvain UCL
Toyota Motor Europe NV SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Catholique de Louvain UCL, Toyota Motor Europe NV SA filed Critical Universite Catholique de Louvain UCL
Publication of CN113646769A publication Critical patent/CN113646769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Abstract

提供了一种用于生成用于车辆的虚拟图像视图的系统。该系统包括：一个或多个图像捕获装置，其被配置为捕获车辆附近的图像数据以及提供标识一个或多个相应的图像捕获装置的标识符，其中，图像数据至少部分地由第一视点参数定义；存储装置，其被配置为存储包含与虚拟化视点和多个图像捕获装置有关的转换信息的多个虚拟化记录；以及处理装置。处理装置被配置为接收所捕获的图像数据；基于与由存储装置存储的虚拟化记录相关联的转换信息来将所捕获的图像数据的第一视点参数转换为虚拟视点参数，以产生虚拟图像视图，其中，虚拟化记录是至少基于标识符来标识的；以及基于虚拟图像视图来执行至少一个驾驶员辅助和/或自动驾驶功能。

Description

用于图像归一化的系统和方法
技术领域
本公开涉及用于汽车驾驶员辅助的系统和方法，并且更特别地，涉及从安装的车载相机获得的一个或多个图像的虚拟化。
背景技术
装备有一个或多个相机的车辆近年来已经变得更常见。这些相机已经出于各种原因而被引入，例如，视觉反馈、停车辅助、碰撞避免、交通指南等，并且已经变为用于自主驾驶和自动驾驶辅助的重要输入模态。
这些相机通常呈现由例如针孔和鱼眼透镜模型所描述的不同特性(例如，光学特性)，以及特定车辆上的不同安装位置。
针对汽车或自动化应用设计和开发的软件通常期望来自预定义视点的图像，该预定义视点是针对安装在车辆中的一个或多个相机来假定的，并且当由该一个或多个相机提供的视点不在假定的规格内时，性能可能降低或甚至停止。
一些现有系统实现了用于改进识别准确度和稳健性的相机设备。车辆的制造商使用用于将信号与跟车辆的驾驶状态有关的数据组合的前置相机设备和装置。更进一步地，用于将图像信号与导航设备输出组合的装置也已经实现。
US 2016/360104公开了用于生成来自鱼眼相机的组合视图的系统和方法。
发明内容
本发明人已经认识到，对于多个车辆模型的大量生产，由于针对每个特定和不同车辆类型的相机设置的(多个)视角的差异具有不同的几何形状，所以出现了许多问题。由于在生产过程期间的安装约束和/或限制，因此这也可能导致视点差异。
这些问题对处理系统的影响对于传统的相机设置(例如，针孔)可能是复杂的，但是对于鱼眼相机，该影响可能甚至更显著。
根据本公开的实施例，提供了一种用于产生用于车辆的虚拟图像视图的系统。系统包括：一个或多个图像捕获装置，其被配置为捕获车辆附近的图像数据以及提供标识一个或多个相应的图像捕获装置的标识符，图像数据至少部分地由第一视点参数来定义；存储装置，其被配置为存储包含与虚拟化视点和多个图像捕获装置有关的转换信息的多个虚拟化记录；以及处理装置。处理装置被配置为接收所捕获的图像数据，基于与由存储装置存储的虚拟化记录相关联的转换信息来将所捕获的图像数据的第一视点参数转换为虚拟视点参数，以产生虚拟图像视图，其中，虚拟化记录是至少基于标识符来标识的，以及基于虚拟图像视图来执行至少一个驾驶员辅助和/或自动驾驶功能。
通过提供此类系统，与车辆周围的一个或多个所捕获的图像和/或场景相关联的数据可以被虚拟化和归一化到由特定处理应用期望的视图。例如，在鱼眼相机在第一车辆模型的一侧提供并且针孔相机在第二车辆模型的一侧提供的情况下，安装在第一和第二车辆上的单个处理应用可接收几乎相同的虚拟化视图而不管在相机类型、相机安装角度、相机位置等上的差异。因此，一个处理应用可以跨一整套大量生产模型来实现。
另外，由于可能存在相机之间的个体差异，因此可以通过视点参数虚拟化的方式将这些差异有效地呈现给处理应用而不被察觉。
转换信息可包括以下各项中的至少一项：失真补偿信息、图像校正信息、图像折射信息、和旋转信息。
每个虚拟化视点可以由分辨率和视场中的至少一个以及针孔模型、鱼眼模型、圆柱模型、球形模型、和直线模型中的至少一个来定义。
存储装置可包括用于标识链接到虚拟图像视图的处理应用的装置。
存储装置可包括将相机标识符与用于生成该处理应用所要求的虚拟图像视图的转换信息链接在一起的查找表。
转换信息可包括用于所标识的图像捕获装置的校准参数，并且处理装置可以被配置为验证针对一个或多个图像捕获装置中的每一个的校准参数。
处理应用可包括以下中的至少一个：对象检测和跟踪应用、和车道标识符应用。
根据进一步的实施例，提供了一种包括上文所描述的系统的车辆。
根据更进一步的实施例，提供了一种用于生成用于车辆的虚拟图像视图的方法。方法包括：接收由至少一个图像捕获装置从车辆的周围环境捕获的图像数据，图像数据至少部分地由第一视点参数定义；接收标识提供图像数据的一个或多个图像捕获装置的标识符；确定包含与虚拟化视点和多个图像捕获装置有关的转换信息的虚拟化记录，其中，虚拟化记录是至少基于标识符来确定的；基于与所确定的虚拟化记录相关联的转换信息来将所捕获的图像数据的第一视点参数转换为虚拟视点参数，以产生虚拟图像视图；以及基于虚拟图像视图来执行至少一个驾驶员辅助和/或自动驾驶功能。
转换信息可包括以下各项中的至少一项：失真补偿信息、图像校正信息、图像折射信息、和旋转信息。
每个虚拟化视点可以由分辨率和视场中的至少一个以及针孔模型、鱼眼模型、圆柱模型、球形模型、和直线模型中的至少一个来定义。
确定可包括标识链接到虚拟图像视图的处理应用。
确定可包括搜索查找表，查找表包括将相机标识符与用于生成处理应用所要求的虚拟图像视图的转换信息链接在一起的信息。
转换信息可包括用于所标识的图像捕获装置的校准参数，并且方法还包括：验证针对一个或多个图像捕获装置中的每一个的校准参数。
处理应用可包括以下中的至少一个：对象检测和跟踪应用、以及车道标识符应用。
应预期到，除非另外矛盾，否则，可以进行上文所描述的元素和说明书内的元素的组合。
将理解到，前述总体描述和以下详细描述二者仅是示例性和解释性的，而不是对如所要求保护的本公开的限制。
并入本说明书中并且构成其一部分的附图示出了本公开的实施例，并且连同说明书用于解释其原理。
附图说明
图1示出了根据本公开的实施例的车辆的示例性图像虚拟化系统的示意图；
图2A示出了从安装在车辆上的第一相机捕获的示例性图像；
图2B示出了根据本公开的实施例归一化的所捕获的图像；
图3A示出了与一个或多个相机设置相关联的信息和相关联的数据的逻辑分组；
图3B示出了与变换信息和处理应用有关的示例性数据图；以及
图4是根据本公开的实施例的突出显示示例性处理方法的流程图。
具体实施方式
现在将详细参考本公开的示例性实施例，其示例被示出在附图中。只要可能，相同附图标记在整个附图中将用于指代相同或者相似部分。
图1示出了车辆的示例性图像归一化系统的示意图。驾驶员辅助系统1可包括处理装置，诸如电子控制单元(ECU)10、一个或多个相机15、一个或多个传感器20、系统控制器32、和显示器25等等。
对应于位置提供装置的全球定位系统(GPS)17也被提供用于提供关于车辆的位置的地图数据(例如，诸如坐标的位置信息)和关于车辆附近的特征(例如，调节指示器、交通信号、驶出车道等)的特征信息。
图像捕获装置15可包括例如一个或多个相机和/或被配置为从车辆周围的区域(例如，在车辆的前面、两侧、和后面)获得光学数据的其他适合的设备。图像捕获装置15可以被配置为处理从车辆的周围环境获得的光学数据和输出发送数据的信号。此类图像捕获装置15在本领域中是已知的，并且本领域技术人员将理解到，在不脱离本公开的范围的情况下，任何此类图像捕获装置15可以在本系统中实现。例如，图像捕获装置15可包括针孔相机、鱼眼相机、圆柱相机、球形相机等。
图像捕获装置15可被定位在车辆上的不同位置处以便提供车辆的周围环境的足够的视场4(例如，覆盖车辆周围差不多360度的前和侧视图)。例如，一个或多个图像捕获装置15可被定位在挡风玻璃后面、在前保险杠、侧视镜、后视镜、后窗、后保险杠、和/或车辆上的任何其他适合的安装位置上以便提供周围对象的视场4，包括存在于目前驾驶的汽车道上的其他车辆。
根据一些实施例，出于美学原因，可能希望使车辆上的图像捕获装置15的可见性最小化，并且本领域技术人员将理解：找到适于实现该目标同时还提供车辆周围的足够的视场的安装位置是合理的考虑。进一步地，本领域技术人员将认识到，取决于车辆设计，图像捕获装置15的布置可以跨模型变化，并且取决于每个图像捕获装置15的布置，输出数据可以具有例如旋转、失真、折射等的不同初始参数。
当引用如本文所使用的视场时，术语“足够的”应当意味着这样的视场，该视场提供具有在足够大的距离处提供图像数据的能力的图像捕获装置15，以便在自主驾驶场景中向ECU 10提供足够的时间以响应于图像捕获装置15的视场中的对象和其他特征(例如，车道线210、车辆250、道路状况200等)的存在。例如，车辆的右边或左边的“足够的”视场将包括紧邻车辆的车道或远离车辆的两个或两个以上车道以及在那些车道中行进/属于那些车道的任何其他车辆和车道标记的视图。
除了使能由ECU 10对图像捕获装置15的标识的标识符之外，图像捕获装置15可被配置为向ECU 10提供关于车辆的周围环境的数据。图像捕获装置15可经由有线连接、无线连接、或用于向ECU 10传送数据的其他适合的方法向ECU 10提供此类数据。例如，图像捕获装置15可包括用于向ECU 10发送数据的无线通信装置(例如，IEEE 802.11兼容的Wi-Fi硬件、蓝牙等)和/或可使用来自图像捕获装置15的数据的其他设备。
可替代地或者另外，例如出于安全目的，可以提供有线连接。此类有线连接可以被提供例如以在无线连接应当例如由于干扰或收发机异常而停止运行时提供失效保护。
针对图像捕获装置15的标识符可包括例如一个或多个数位(digit)、数字、和/或字母，并且可以例如对于图像捕获装置是唯一的。可替代地，标识符可以更一般地用于标识相机的位置和类型。例如，标识符的一个或多个数位可指示/对应于相机的类型(例如，鱼眼、圆柱等)，而一个或多个数位可指示车辆上的安装位置、和/或其被安装在其上的车辆模型。本领域技术人员将理解到，可以针对标识符实现各种方案，并且任何此类方案旨在落在本公开的范围内。
如上所述，在车辆上安置/安装的各种图像捕获装置15可不仅通过类型和安置位置变化，而且还通过各种视点参数变化，诸如，例如，旋转、分辨率、失真、投影模型、视场等。针对每个图像捕获装置15的视点参数可以因此存储在表中，并且由例如标识符引用。例如，某些图像捕获装置15可以以1024×768像素的分辨率捕获图像数据，而其他可以以全1080p(即，1900×1080像素)捕获。处理应用可以期望800×600像素的图像分辨率，并且因此，希望转换每个图像捕获装置15的每个数据集，其可以被转换为针对该特定处理应用的800×600的分辨率。
图2A和图2B分别示出了从安装在车辆上的第一相机捕获的示例性图像和根据本公开的实施例归一化的所捕获的图像。图3A和图3B突出显示了根据本公开的实施例的与一个或多个相机设置相关联的信息和相关联的数据(例如，视点参数)的逻辑分组和与变换信息和处理应用有关的示例性数据图。
如图所示，许多相机设置161-16i可以存在于任何特定车辆模型上，以及跨车辆模型变化。因此，表80可以被提供用于将相机设置/标识符16与其固有视点参数链接在一起，并且随后将针对此类相机设置16x的转换参数与处理应用90链接在一起，从而允许将图像捕获装置15中的图像输出数据转换为由处理应用期望的视点参数。
例如，如在图2A处所示，所安装的图像捕获装置输出具有第一视点参数的“非虚拟化”视图，该第一视点参数包括例如旋转和透镜失真(例如，由鱼眼透镜引起的)。对象或车道线检测应用可以请求来自图像捕获装置的视图。因此，基于应用，ECU 10可以基于图像捕获装置的标识符来检查查找表。
采取第一视点参数和相机设置16，基于针对相机的标识符，可以从数据库获得用于将第一视点参数转换为虚拟视点参数的转换信息。此类转换信息可指示例如在图2B处所示的虚拟化视图中产生的补偿旋转和失真值。该虚拟化视图可以然后由对象检测应用用于期望的目的。
根据图2A和图2B处所示的示例，针对图2A(例如，鱼眼投影模型)的图像数据的第一视点参数可以由以下四个表定义：
338.1759919 0 644.4998055
0 338.1759919 403.6153106
0 0 1
表1-相机矩阵(3×3矩阵)
-0.006448210017 0.06115093356 -0.01489872136
表2-径向失真
-0.3047415517 0.7943601275 -0.5254755698
0.9319508488 0.3625064463 0.007529406374
0.1964693416 -0.4874228803 -0.850775372
表3-旋转矩阵
-0.9463271281 0.7095791917 0.9865831897
表4-平移矩阵
根据本公开的实施例，以上第一视点参数可以然后被转换为直线圆柱虚拟视点参数(如图2B处所示)，例如，以促进对象检测。对经虚拟视点参数虚拟化的图像的转换可以基于处理应用90和相机标识符使用来自查找表80的转换信息执行。所产生的经转换的虚拟视点参数在以下4个表中展示：
368.2736511 0 640
0 368.2736511 403
0 0 1
表5–经转换的相机矩阵(3×3)
0 0 0
表6–经转换的径向失真
0.01249270748 0.04229977313 -0.9990268549
0.9999219729 -0.0007382465767 0.0124726821
-0.0002099510197 -0.9991046853 -0.04230563897
表7–经转换的旋转矩阵
-0.9463271281 0.7095791917 0.9865831897
表8–经转换的平移向量
出于进一步描述以上所示的表的目的，假定针孔相机是安装在车辆上的原始投影模型相机。针对针孔相机模型，场景中的3D点M可以与其在图像中的投影m有关以使得：
Figure BDA0003210641770000081
其中：
M＝(X Y Z)T是场景的3D点M，m＝(x y)T是其在相机图像中的投影，≈表示高达非零标量倍数的等式。
K是3×3校准矩阵，R是表示相机的取向的3×3旋转矩阵，t是表示相机的位置的平移向量t＝(tx ty tz)T。
在该实施例中，可以假定长宽比是1并且倾斜是0。校准矩阵K可以被表达为：
Figure BDA0003210641770000091
其中：f是焦距(以像素为单位)，并且p＝(px py)T是相机的主点。考虑对应于点M但是以附加到相机的坐标系(相机坐标系)表达的点Q＝RT(M-t)；q是点Q的“归一化”投影，
Figure BDA0003210641770000092
那么，
Figure BDA0003210641770000093
或m＝f.q+p (3)
针对鱼眼相机，图像投影依据角度而不是归一化坐标来公式化：
Figure BDA0003210641770000094
为了在相机模型中引入径向失真，等式(3)可被改写为：
Figure BDA0003210641770000095
或m＝f.D(q)+p (4)
失真函数D()在其被转换为图像坐标之前径向置换经归一化的投影：
D(q)＝d*q,d＝1+κ1θ2，+κ2θ4+κ3θ6(+...)
其中，κ1，κ2，κ3，……是定义相机的图像中的径向失真的参数。针对该特定示例，以上前三个表包含3个参数以描述径向失真，但是应当注意，公式不限于3个参数。
针对虚拟相机，模型投影可以被选择为简单得多(例如，径向失真被消除)，并且更直观的图像表示可以针对给定计算机视觉算法来定义。针对以上第四个到第六个表，数据由示例性等距矩形圆柱投影模型使用。公式(3)适用，其中，q被定义为：
Figure BDA0003210641770000096
根据一些实施例，第一视点参数和输出图像数据可以促进关于相关联的图像捕获装置15的校准是否正确的确定。
例如，校准可以基于车辆的周围结构的先验已知信息，例如，1)形状和/或轮廓；和2)关于周围场景的信息(例如，道路结构、平行线、地图信息等)，使用单个图像来检查。因此，图像数据输出的投影约束可以与第一视点参数(即，期望由相机15提供的第一视点参数)相比较以确定实际数据和参数是否对应，并且从而确定相机15是否被校准。
可替代地或者另外，跨图像的序列的特征跟踪也可以根据运动给出关于结构的上下文中的三维结构的信息。使用这些三维结构，校准可以以与上文所描述的方式类似的方式检查。
根据另一示例，由于车辆通常包括安装在其上的超过一个图像捕获装置15(例如，两个、四个、六个、八个相机等)，因此各种图像捕获装置15之间的任何重叠可以进一步依据特征对应跟踪和/或三角测量来被利用以检查周围的3D结构(如上所述，使用SfM)。因此，校准可以基于与跨重叠的相机视图的实际参数相比较的期望的第一视点参数来检查。
根据一些实施例，用于生成来自图像捕获装置15的虚拟图像视图的系统可以假定图像捕获装置15和其相关联的输出图像数据被正确校准。因此，可以不执行自动校准检查，以及图像数据根据本文所描述的技术虚拟化/归一化。
一个或多个传感器20可以被配置为向ECU 10发送与车辆的状态有关的状态信息。例如，车辆的状态可包括车辆行进的速度、车辆行进的方向、车辆经历和/或已经经历的方向变化、方向盘的位置、车辆已经行进的距离等。
因此，一个或多个传感器20可包括例如方向盘位置传感器、车辆速度传感器、偏航率传感器等等。类似于图像捕获装置15，此类传感器可以被配置为无线地和/或通过线向ECU 10提供此类状态信息，并且还可以包括持续时间信息。与状态信息相关联的持续时间信息可以由ECU 10跟踪。
ECU 10可包括被如下配置的任何适合的设备：操纵数据、执行计算、执行用于决策制定的代码，以使得将信息显示给车辆的操作者，和/或使得控制系统控制器32以在车辆的一个或多个系统上采取动作(例如，转向、制动等)，以便执行本公开的实施例。例如，ECU 10可包括各种模拟和/或数字电路，并且可包括集成电路，诸如RISC处理器、i386处理器、ASIC处理器等。通常，现代车辆中的机载计算机包括此类处理器，并且本领域技术人员将理解到，本ECU 10可以由此类机载计算机包括，或者可被分离地提供。本领域技术人员还将理解到，本文所描述的示例性电路和处理器不旨在是限制性的，并且可以实现任何适合的设备。
ECU 10可被链接到与车辆相关联的一个或多个数据库和/或其他存储器(例如，RAM、ROM等)以便使能车辆相关数据以及可以在车辆功能(诸如对象检测和识别)的处理期间使用的值(例如，视点参数转换表、处理应用、相机标识符等)的存储。本领域技术人员将认识到，本文关于任何此类数据库和/或存储器所讨论的信息不旨在是限制性的。
ECU 10可以被配置为从图像捕获装置15接收数据以便提供与本公开相关联的功能。例如，ECU 10可以同时从一个或多个图像捕获装置15和一个或多个传感器接收具有第一视点参数的图像数据(例如，流数据)。
ECU 10还可被配置为从GPS 17接收数据，数据包括与车辆的位置附近的特征有关的位置信息和地图信息。位置信息可包括例如使能固定/确定车辆在地图上的位置的全球坐标、指示车辆当前行进的链路(即，当前链路)的当前和下一链路信息以及可能的未来行进路径(即，下一链路)，以及关于这些当前和下一链路的信息(例如，控制进入的高速公路、城市区域等等)等。
在地图信息中包括的特征可包括例如车道线210、驶出车道、条件指示符(例如，激活时间、禁止时间、天气条件、季节性等)、地形等。本领域技术人员将认识到，更多或更少特征可以根据期望存在于地图信息中，细节的等级取决于例如地图信息提供者等等。本领域技术人员还将认识到，GPS 17可以形成ECU 10的一部分，可以与ECU 10分离，或者GPS 17和ECU 10之间的任何等级的组合可以被实现而不脱离本公开的范围。
ECU 10可被链接到一个或多个接口，例如网络接口，其可以被配置为无线地和/或通过线接收由图像捕获装置15、GPS 17、传感器20等等所提供的数据和信息。进一步地，虽然GPS 17被描述为存在于车辆上，但是本领域技术人员将理解到，包括车道线210、驶出车道等的特征的某些地图数据可以被远程地存储和例如经由4G发送到GPS 17和/或ECU 10，以使得最新的信息是可用的。
根据一些实施例，车辆可包括一个或多个系统控制器32，该一个或多个系统控制器32可被配置为从ECU 10接收信息和/或命令，并且执行那些命令以控制各种车辆系统(例如，转向、制动、加速器等)。此类设备可被配置为主动操纵车辆的控制系统32，例如，以操作转向系统、制动系统、加速系统等。
此类设备可包括一个或多个伺服电机、致动器等，其可以从车辆的一个或多个系统(例如ECU 10)接收指令。基于这些指令，车辆可以由操作者控制、由ECU 10与系统控制32组合起来控制、或两者同时控制(例如，在紧急停车情况中提供转向和制动辅助的系统控制器32)。
显示器25可被配置为显示由ECU 10向车辆的驾驶员提供的信息。图2示出了提供可以使车辆的驾驶员感兴趣的信息的示例性显示器25。如在图2处所示，除了当前显示给驾驶员的信息外，有效速度限制也在显示器25上。
显示器25可以是用于向车辆的驾驶员提供可见和/或听觉信息的任何适合的设备。例如，显示器25可包括平视显示器(例如，在驾驶员前面的挡风玻璃上)、监视器、装在仪表盘上的显示器等。
图4是根据本公开的实施例的突出显示示例性处理方法的流程图400。ECU 10可从一个或多个图像捕获装置15接收图像数据以及与提供图像数据的图像捕获装置15相关联的标识符(步骤405)。此类图像数据可包括车辆的周围环境，例如，车道线210、道路状况200、和其他车辆250。图像数据可以具有视频、静态、或混合形式。例如，视频的一个或多个帧可以结合周期性静止照片提供，例如，其中，特定交通场景变得复杂。
在接收图像数据时，ECU 10可检查图像数据以确定数据从其接收的图像捕获装置15是否被适当校准(步骤415)。如上所述，此类校准检查可以是可选的，并且根据一些实施例，可不执行此类校准检查。
在此类校准检查被执行的情况下，并且当ECU 10确定校准问题可能存在时(步骤415：否)，车辆的操作者可以被通知(例如，经由显示器25)校准问题在一个或多个图像捕获装置15中存在(步骤415)。基于相机标识符，向操作者指示图像捕获装置15中的哪一个具有校准问题可以是可能的，并且因此可以促进校准问题的校正/修复。
根据一些实施例，对于图像捕获装置15和/或ECU 10而言经由接口(例如，显示器25)提供关于例如与校准有关的诊断的附加信息用于帮助诊断和校正例如制造商认证的修复设施处的校准问题是可能的。
在校准(在执行的情况下)的验证之后，ECU 10可以然后使用在步骤405处由提供图像数据的图像捕获装置15所提供的相机标识符，来确定来自相关联的图像捕获装置15的图像数据的第一视点参数(即，默认输出参数)，以及用于将第一视点参数转换为虚拟化集合的虚拟化视点参数(步骤415)。例如，使用图2A和图2B作为示例，在相机已经被标识为根据图2A提供第一视点参数(例如，鱼眼，20度旋转、外围设备失真)之后，使用/期望具有特定视点参数的视图来标识处理应用(例如，车道线跟踪应用)。基于存储在数据库/查找表中的对应关系，用于将所标识的相机的原始输出图像转换为处理应用的期望视点参数的虚拟化参数可被标识并且提供给ECU 10。
在标识与所标识的相机15和处理应用相关联的转换信息之后，通过将转换信息应用到从相机15输出的图像数据，图像数据(即，相机15的原始输出)可被转换为虚拟化视点(例如，如在图2B处所示)(步骤425)。
本领域技术人员将理解到，将转换信息应用到相机输出图像数据很好理解并且不需要详细解释。然而，出于示例的目的，可以注意，在第一视点参数包括30度的旋转参数的情况下，例如，转换信息可以指示-30度、或390度的旋转例如被应用到输出图像数据以产生虚拟视点。此类转换的一个示例可以在上文中关于图2A和图2B和针对表1-8的相关描述而被看到。
根据一些实施例，查找表80中的附加转换信息可包括用于通过处理应用90将先前处理的图像的投影模型转换为不同的期望投影模型的转换信息。例如，在具有直线圆柱的投影模型的图像被接收，但是处理应用90期望正交投影模型(例如，针对鸟眼车道线检测应用)的情况下，除了如上所讨论的其他转换，查找表80可包括被配置为将直线圆柱的投影模型转换为正交投影模型的转换信息。换句话说，甚至在图像尚未由相机直接提供的情况下(例如，在软件处理期间的某个地方，图像已经被转换，并且然后随后以其转换的格式提供)，图像仍然可以从其目前投影模型转换为期望投影模型。
类似地，在具有直接来自相机的针孔、鱼眼等投影模型的图像被接收，但是处理应用90期望正交投影的情况下，查找表80可以提供转换信息以做出期望的转换。
根据一些示例的此类转换信息，旋转向量可以被配置为被应用到直线图像信息以产生直线圆柱的“归一化”图像。
在虚拟视点已经通过将转换信息应用到图像数据而被实现之后，虚拟视点可被提供到用于进行处理的处理应用，以及最终的控制操作(步骤430)。例如，在考虑图2B的虚拟视点的情况下，ECU 10可以评估来自传感器20的输入，并且使用例如系统控制器32使得各种转向控制的操作将车辆维持在所标识的车道线210内。本领域技术人员将认识到，其他控件诸如例如加速器、制动器等也可以由系统控制器32操作作为来自ECU 10的命令的结果以引起车辆行进的修改。
基于本公开的实施例，实现跨多个车辆设计的处理应用变得可能，车辆设计具有安装在各种位置处的各种图像捕获装置，并且提供车辆的周围环境的各种原始图像数据视图。这至少是因为原始图像数据视图的第一视点参数可以从任何车辆、任何安装位置和任何类型的相机被转换成具有由处理应用所期望的特性参数的虚拟视点。因此，针对每个车辆设计和相机布置重新开发处理应用90变得不必要。
贯穿说明书(包括权利要求)，除非另作说明，否则，术语“包括一个”应当被理解为与“包括至少一个”同义。另外，除非另作说明，否则，说明书(包括权利要求)中阐述的任何范围应当被理解为包括其端值。针对所描述的元素的特定值应当被理解为在本领域技术人员已知的被接受的制造或工业公差内，并且术语“基本上”和/或“近似地”和/或“一般地”的任何使用应当被理解为意味着落入此类被接受的公差内。
在引用国家、国际、或其他标准体的任何标准(例如，ISO等)的情况下，此类引用旨在指代截至本说明书的优先权日期，如由国家或者国际标准所定义的标准。对此类标准的任何后续实质性改变不旨在修改本公开和/或权利要求的范围和/或定义。
尽管本公开在此已经参考特定实施例描述，但是应理解到，这些实施例仅示出本公开的原理和应用。
应预期到，说明书和示例仅被认为是示例性的，其中，本公开的真实范围由以下权利要求指示。

Claims (15)

1.一种用于生成用于车辆的虚拟图像视图的系统，包括：
一个或多个图像捕获装置，其被配置为捕获车辆附近的图像数据以及提供标识一个或多个相应的图像捕获装置的标识符，其中，所述图像数据至少部分地由第一视点参数来定义；
存储装置，其被配置为存储包含与虚拟化视点和多个图像捕获装置有关的转换信息的多个虚拟化记录；以及
处理装置，其被配置为：
接收所捕获的图像数据；
基于与由所述存储装置存储的虚拟化记录相关联的转换信息来将所捕获的图像数据的所述第一视点参数转换为虚拟视点参数，以产生所述虚拟图像视图，其中，所述虚拟化记录是至少基于所述标识符来标识的；
基于所述虚拟图像视图来执行至少一个驾驶员辅助和/或自动驾驶功能。
2.根据权利要求1所述的用于生成用于车辆的虚拟图像视图的系统，其中，所述转换信息包括以下中的至少一个：失真补偿信息、图像校正信息、图像折射信息、和旋转信息。
3.根据权利要求1至2中的任一项所述的用于生成虚拟图像视图的系统，其中，每个虚拟化视点由以下定义：
分辨率和视场中的至少一个；以及
针孔模型、鱼眼模型、圆柱模型、球形模型、和直线模型中的至少一个。
4.根据权利要求1至3中的任一项所述的用于生成虚拟图像视图的系统，其中，所述存储装置包括：用于标识链接到虚拟图像视图的处理应用的装置。
5.根据权利要求4所述的用于生成虚拟图像视图的系统，其中，所述存储装置包括：将相机标识符与用于生成所述处理应用所要求的虚拟图像视图的转换信息链接在一起的查找表。
6.根据权利要求1至5中的任一项所述的用于生成虚拟图像视图的系统，其中，所述转换信息包括用于所标识的图像捕获装置的校准参数，并且其中，所述处理装置被配置为验证针对所述一个或多个图像捕获装置中的每一个的校准参数。
7.根据权利要求5至6中的任一项所述的用于生成虚拟图像视图的系统，其中，所述处理应用包括以下中的至少一个：对象检测和跟踪应用、以及车道标识符应用。
8.一种车辆，包括根据权利要求1至7中的任一项所述的系统。
9.一种用于生成用于车辆的虚拟图像视图的方法，包括：
接收由至少一个图像捕获装置从所述车辆的周围环境捕获的图像数据，所述图像数据至少部分地由第一视点参数定义；
接收标识提供所述图像数据的一个或多个图像捕获装置的标识符；
确定包含与虚拟化视点和多个图像捕获装置有关的转换信息的虚拟化记录，其中，所述虚拟化记录是至少基于所述标识符来确定的；
基于与所确定的虚拟化记录相关联的转换信息来将所捕获的图像数据的所述第一视点参数转换为虚拟视点参数，以产生所述虚拟图像视图；以及
基于所述虚拟图像视图来执行至少一个驾驶员辅助和/或自动驾驶功能。
10.根据权利要求9所述的用于生成用于车辆的虚拟图像视图的方法，其中，所述转换信息包括以下中的至少一个：失真补偿信息、图像校正信息、图像折射信息、和旋转信息。
11.根据权利要求9至10中的任一项所述的用于生成虚拟图像视图的方法，其中，每个虚拟化视点由以下定义：
分辨率和视场中的至少一个；以及
针孔模型、鱼眼模型、圆柱模型、球形模型、和直线模型中的至少一个。
12.根据权利要求9至11中的任一项所述的用于生成虚拟图像视图的方法，其中，所述确定包括标识链接到虚拟图像视图的处理应用。
13.根据权利要求12所述的用于生成虚拟图像视图的方法，其中，所述确定包括搜索查找表，所述查找表包括将相机标识符与用于生成所述处理应用所要求的虚拟图像视图的转换信息链接在一起的信息。
14.根据权利要求9至14中的任一项所述的用于生成虚拟图像视图的方法，其中，所述转换信息包括用于所标识的图像捕获装置的校准参数，并且所述方法还包括：验证针对所述一个或多个图像捕获装置中的每一个的校准参数。
15.根据权利要求13至14中的任一项所述的用于生成虚拟图像视图的方法，其中，所述处理应用包括以下中的至少一个：对象检测和跟踪应用、以及车道标识符应用。
CN201980092105.5A 2019-02-15 2019-02-15 用于图像归一化的系统和方法 Pending CN113646769A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/053885 WO2020164744A1 (en) 2019-02-15 2019-02-15 Systems and methods for image normalization

Publications (1)

Publication Number Publication Date
CN113646769A true CN113646769A (zh) 2021-11-12

Family

ID=65685291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092105.5A Pending CN113646769A (zh) 2019-02-15 2019-02-15 用于图像归一化的系统和方法

Country Status (5)

Country Link
US (1) US20220132049A1 (zh)
EP (1) EP3924866A1 (zh)
JP (1) JP7316620B2 (zh)
CN (1) CN113646769A (zh)
WO (1) WO2020164744A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532165B2 (en) * 2020-02-26 2022-12-20 GM Global Technology Operations LLC Natural surround view
US11593996B2 (en) * 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104424A1 (en) * 2012-10-11 2014-04-17 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20170136948A1 (en) * 2015-11-12 2017-05-18 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
US20170334356A1 (en) * 2016-05-18 2017-11-23 Fujitsu Ten Limited Image generation apparatus
CN107818581A (zh) * 2016-09-08 2018-03-20 爱信精机株式会社 车辆的图像处理系统
CN109204305A (zh) * 2017-07-03 2019-01-15 大众汽车有限公司 丰富视野方法、观察员车辆和对象中使用的设备和机动车

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5105481B2 (ja) 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
US10210597B2 (en) * 2013-12-19 2019-02-19 Intel Corporation Bowl-shaped imaging system
EP3123732A4 (en) 2014-03-25 2018-01-24 6115187 Canada Inc. d/b/a Immervision, Inc. Automated definition of system behavior or user experience by recording, sharing, and processing information associated with wide-angle image
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US10453173B2 (en) 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
WO2017122552A1 (ja) 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
US10269092B2 (en) 2016-06-17 2019-04-23 Nec Corporation Image processing device, image processing method, and storage medium
US10846831B2 (en) * 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104424A1 (en) * 2012-10-11 2014-04-17 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20170136948A1 (en) * 2015-11-12 2017-05-18 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
US20170334356A1 (en) * 2016-05-18 2017-11-23 Fujitsu Ten Limited Image generation apparatus
CN107818581A (zh) * 2016-09-08 2018-03-20 爱信精机株式会社 车辆的图像处理系统
CN109204305A (zh) * 2017-07-03 2019-01-15 大众汽车有限公司 丰富视野方法、观察员车辆和对象中使用的设备和机动车

Also Published As

Publication number Publication date
US20220132049A1 (en) 2022-04-28
EP3924866A1 (en) 2021-12-22
JP2022522638A (ja) 2022-04-20
JP7316620B2 (ja) 2023-07-28
WO2020164744A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111532257B (zh) 用于补偿交通工具校准误差的方法和系统
CN110278405B (zh) 一种自动驾驶车辆的侧向图像处理方法、装置和系统
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
US20200402246A1 (en) Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2016129552A1 (ja) カメラパラメータ調整装置
CN112172778A (zh) 车辆姿势确定
JP2019526105A5 (zh)
CN104517096A (zh) 环景监视系统的图像处理方法和系统
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
CN114283202A (zh) 交通相机校准
JP7316620B2 (ja) 画像正規化のためのシステムと方法
US20240056694A1 (en) Imaging device, image processing method, and image processing program
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
CN210139817U (zh) 汽车增强现实显示系统及汽车
US20230245468A1 (en) Image processing device, mobile object control device, image processing method, and storage medium
CN115705716A (zh) 基于捕捉的图像数据生成虚拟图像
US20210357667A1 (en) Methods and Systems for Measuring and Mapping Traffic Signals
JP6209921B2 (ja) 予測進路提示システム
JP6020736B2 (ja) 予測進路提示装置及び予測進路提示方法
US20240037781A1 (en) Electronic device for identifying position of external object associated with image by using information of camera and method thereof
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
WO2022075039A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
US20210097710A1 (en) Operating a motor vehicle with stereo camera and lidar
KR20240016886A (ko) 카메라의 정보를 이용하여 이미지와 관련된 외부 객체의위치를 식별하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination