CN115705716A - 基于捕捉的图像数据生成虚拟图像 - Google Patents

基于捕捉的图像数据生成虚拟图像 Download PDF

Info

Publication number
CN115705716A
CN115705716A CN202210575167.5A CN202210575167A CN115705716A CN 115705716 A CN115705716 A CN 115705716A CN 202210575167 A CN202210575167 A CN 202210575167A CN 115705716 A CN115705716 A CN 115705716A
Authority
CN
China
Prior art keywords
controller
camera
virtual
input image
angle index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210575167.5A
Other languages
English (en)
Inventor
M·斯拉茨基
A·沙鲁莫夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115705716A publication Critical patent/CN115705716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明描述了用于基于输入图像生成虚拟相机的虚拟视图的系统和方法。一种用于基于输入图像生成虚拟相机的虚拟视图的系统可以包括捕捉设备，该捕捉设备包括物理摄像机和深度传感器。该系统还可以包括：控制器，配置为：确定捕捉设备的实际姿态；确定用于显示虚拟视图的虚拟摄像机的所需姿态；定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何；以及基于捕捉设备的实际姿态、输入图像和虚拟摄像机的所需姿态之间的对极关系根据虚拟摄像机的所需姿态来为虚拟摄像机生成描绘输入图像内的对象的虚拟图像。

Description

基于捕捉的图像数据生成虚拟图像
技术领域
本技术领域总体上涉及基于捕捉的图像数据生成虚拟视图。尤其是，该描述涉及虚拟视图的视角变化。
背景技术
现代运载工具通常配备有一个或多个光学摄像机，该光学摄像机配置为向运载工具的乘员提供图像数据。例如，图像数据显示了运载工具周围环境的预定视角。
在某些情况下，运载工具操作者可能想要改变由光学摄像机提供的图像数据的视角。为此，采用了虚拟摄像机，并且对由一个或多个物理摄像机捕捉到的图像数据进行修改，以从另一个所需的视角显示捕捉到的场景。修改后的图像数据可以称为虚拟图像或输出图像。可以根据乘员的愿望来改变虚拟场景上的所需视角。可以基于从不同视角捕捉到的多个图像来生成虚拟场景。然而，对来自位于不同位置的图像源的图像数据进行融合可能会在虚拟图像中产生不希望有的伪像。
发明内容
提供了一种用于基于输入图像生成虚拟摄像机的虚拟视图的方法。该方法可以包括：由控制器确定捕捉设备的实际姿态；由控制器确定用于显示虚拟视图的虚拟摄像机的所需姿态；由控制器定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何(epipolar geometry)；以及由控制器基于捕捉设备的实际姿态、输入图像和虚拟摄像机的所需姿态之间的对极关系根据虚拟摄像机的所需姿态来为虚拟摄像机生成描绘输入图像内的对象的虚拟图像，其中基于对应于捕捉设备的实际姿态和虚拟摄像机的所需姿态的最小匹配角度指数来选择对应于输入图像的至少一个像素。
在其他特征中，该方法包括：通过具有同一位置的深度传感器的物理摄像机来捕捉输入图像；其中由捕捉设备捕捉输入图像包括由物理摄像机捕捉输入图像；由深度传感器向输入图像的像素分配深度信息；其中由控制器确定捕捉设备的实际姿态包括由控制器确定物理摄像机的实际姿态；其中由控制器定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何包括由控制器定义物理摄像机的实际姿态和虚拟摄像机的所需姿态之间的对极几何；并且其中由控制器为虚拟摄像机生成输出图像包括：由控制器在对极坐标中对输入图像的像素的深度信息进行重新采样；由控制器识别物理摄像机的输入对极线上的目标像素；由控制器为虚拟摄像机的一条或多条输出对极线生成视差图；以及由控制器基于一条或多条输出对极线生成输出图像。
在其他特征中，该方法包括：由控制器基于至少一个最小匹配角度指数与相邻最小匹配角度指数的比较来单调化该至少一个最小匹配角度指数。
在其他特征中，单调化至少一个最小匹配角度指数还包括：将相邻最小匹配角度指数与至少一个最小匹配角度指数进行比较；确定相邻最小匹配角度指数和至少一个最小匹配角度指数之间的差是否大于差阈值；以及当差大于差阈值时，去除该至少一个最小匹配角度指数。
在其他特征中，该至少一个最小匹配角度指数对应于表示反向遮挡区域内的对象的像素。
在其他特征中，该最小匹配角度指数定义为
θv(θpi)＝argminθpi|θv(θpi)-θv|,
其中：
θv(θpi)是该最小匹配角度指数；
θv是从虚拟摄像机的中心延伸的轴和向量T之间的角度测量值；并且
θpi是第i个值的角度测量值，表示垂直于从物理摄像机的中心延伸的轴的向量之间的角度。
在其他特征中，该方法包括：由深度传感器向由物理摄像机捕捉到的每个像素分配深度信息。
在其他特征中，该方法包括：由深度传感器基于输入图像确定由物理摄像机捕捉到的每个像素的深度信息。
公开了一种用于基于输入图像生成虚拟摄像机的虚拟视图的系统。该系统可以包括：捕捉设备，包括物理摄像机和深度传感器，该捕捉设备配置成捕捉输入图像；以及控制器，配置为：确定捕捉设备的实际姿态；确定用于显示虚拟视图的虚拟摄像机的所需姿态；定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何；以及基于捕捉设备的实际姿态、输入图像和虚拟摄像机的所需姿态之间的对极关系根据虚拟摄像机的所需姿态来为虚拟摄像机生成描绘输入图像内的对象的虚拟图像，其中基于对应于捕捉设备的实际姿态和虚拟摄像机的所需姿态的最小匹配角度指数来选择对应于输入图像的至少一个像素。
在其他特征中，控制器配置为基于至少一个最小匹配角度指数与相邻最小匹配角度指数的比较来单调化该至少一个最小匹配角度指数。
在其他特征中，控制器配置为：将相邻最小匹配角度指数与至少一个最小匹配角度指数进行比较；确定相邻最小匹配角度指数和至少一个最小匹配角度指数之间的差是否大于差阈值；以及当差大于差阈值时，去除该至少一个最小匹配角度指数。
在其他特征中，至少一个最小匹配角度指数对应于表示反向遮挡区域内的对象的像素。
在其他特征中，最小匹配角度指数定义为
θv(θpi)＝argminθpi|θv(θpi)-θv|,
其中：
θv(θpi)是该最小匹配角度指数；
θv是从虚拟摄像机的中心延伸的轴和向量T之间的角度测量值；并且
θpi是第i个值的角度测量值，表示垂直于从物理摄像机的中心延伸的轴的向量之间的角度。
公开了一种包括用于基于输入图像生成虚拟摄像机的虚拟视图的系统的运载工具。该系统可以包括：捕捉设备，包括物理摄像机和深度传感器，该捕捉设备配置成捕捉输入图像；以及控制器，配置为：确定捕捉设备的实际姿态；确定用于显示虚拟视图的虚拟摄像机的所需姿态；定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何；以及基于捕捉设备的实际姿态、输入图像和虚拟摄像机的所需姿态之间的对极关系根据虚拟摄像机的所需姿态来为虚拟摄像机生成描绘输入图像内的对象的虚拟图像，其中基于对应于捕捉设备的实际姿态和虚拟摄像机的所需姿态的最小匹配角度指数来选择对应于输入图像的至少一个像素。
在其他特征中，控制器配置为基于至少一个最小匹配角度指数与相邻最小匹配角度指数的比较来单调化该至少一个最小匹配角度指数。
在其他特征中，控制器配置为：将相邻最小匹配角度指数与至少一个最小匹配角度指数进行比较；确定相邻最小匹配角度指数和至少一个最小匹配角度指数之间的差是否大于差阈值；以及当差大于差阈值时，去除该至少一个最小匹配角度指数。
在其他特征中，至少一个最小匹配角度指数对应于表示反向遮挡区域内的对象的像素。
在其他特征中，最小匹配角度指数定义为
θv(θpi)＝argminθpi|θv(θpi)-θv|,
其中：
θv(θpi)是该最小匹配角度指数；
θv是从虚拟摄像机的中心延伸的轴和向量T之间的角度测量值；并且
θpi是第i个值的角度测量值，表示垂直于从物理摄像机的中心延伸的轴的向量之间的角度。
附图说明
下文中将结合以下附图来描述示例性实施方式，在附图中相同的附图标记表示相同的元件，并且其中：
图1是包括配置为生成虚拟视图的控制器的运载工具的示意图；
图2是关于两个摄像机的对极几何原理的示意图；
图3是示出了用于生成虚拟视图的示例性方法的框图；
图4是从第一视角以及虚拟图像相对于捕捉设备的视角捕捉输入图像的捕捉设备的示意图；以及
图5是从第一视角以及虚拟图像相对于捕捉设备的视角捕捉输入图像的捕捉设备另一个示意图。
具体实施方式
如本文所述的，一种系统可以生成由物理摄像机捕捉的场景的虚拟视图，使得该虚拟视图显示出与物理摄像机捕捉的视角不同的视角。由于一些像素可能包括在反向遮挡区域内，所以该系统可以确定一个或多个像素以包括在虚拟视图内。例如，该系统可以确定对应于像素的最小匹配角度指数。该系统还将最小匹配角度指数与相邻最小匹配角度指数进行比较，以确定振荡行为。当最小匹配角度指数与相邻最小匹配角度指数之间的差大于差阈值时，该系统去除具有较大值的最小匹配角度指数。
参见图1，根据各种实施方式示出了运载工具10。运载工具10通常包括底盘12、主体14、前轮16和后轮18。主体14设置在底盘12上，并且基本上包围运载工具10的组件。主体14和底盘12可以共同形成框架。前轮16和后轮18各自在主体14的相应拐角附近可旋转地耦接至底盘12。
在各种实施方式中，运载工具10是自动驾驶运载工具。例如，自动驾驶运载工具是受自动控制以将乘客从一个地点运送到另一个地点的运载工具。运载工具10在所示的实施方式中描述为乘用车，但是应当理解的是，也可以采用包括摩托车、卡车、运动型多用途车(SUV)、房车(RV)、船舶、飞机等在内的任何其他交通工具。在一个示例性实施方式中，自动驾驶运载工具是二级或更高级别的自动化系统。二级自动化系统表示“部分自动化”。然而，在其他实施方式中，自动驾驶运载工具可以是所谓的三级、四级或五级自动化系统。三级自动化系统表示“有条件的自动化”。四级系统表示“高度自动化”，指的是自动驾驶系统即使在人类驾驶员没有对介入请求做出适当响应的情况下针对动态驾驶任务所有方面的驾驶模式专用性能。五级系统表示“完全自动化”，指的是自动驾驶系统在人类驾驶员可以驾驭的所有道路和环境条件下针对动态驾驶任务所有方面的全时段性能。
如图所示，运载工具10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34以及通信系统36。在各种实施方式中，推进系统20可以包括内燃机、诸如牵引马达的电机和/或燃料电池推进系统。传动系统22配置为根据可选择的速度比将动力从推进系统20传递到前轮16和后轮18。根据各种实施方式，传动系统22可以包括有级自动变速器、无级变速器或其他合适的变速器。制动系统26配置为向前轮16和后轮18提供制动扭矩。在各种实施方式中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机的再生制动系统和/或其他合适的制动系统。转向系统24对前轮16和后轮18的位置产生影响。尽管为了说明目的被描绘为包括方向盘，但是在本公开的范围内设想的一些实施方式中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测设备40a-140n，这些感测设备感测运载工具10的外部环境和/或内部环境的可观察条件。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学摄像头、热成像摄像头、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器装置42a-42n，该致动器装置控制一个或多个运载工具特征部，诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施方式中，运载工具特征部还可以包括内部和/或外部运载工具特征部，诸如但不限于车门、行李箱和车厢特征部(诸如空调系统、车载娱乐系统和照明系统等)。
通信系统36配置为与其他实体48(诸如但不限于其他运载工具(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备进行无线信息互传(参考图2进行了更详细的描述)。在一个示例性实施方式中，通信系统36是无线通信系统，配置为经由采用IEEE 802.11标准的无线局域网(WLAN)或者通过采用蜂窝数据通信进行通信。然而，附加的或备选的通信方法(诸如专用短程通信(DSRC)信道)也被认为在本公开的范围内。DSRC信道是指专门设计用于汽车的单向或双向短中程无线通信信道以及相应的一组协议和标准。
数据存储设备32存储用于自动控制运载工具10功能的数据。在各种实施方式中，数据存储设备32存储有可导航环境的定义地图。在各种实施方式中，定义的地图可以由远程系统预定义并从该远程系统获得(参考图2进行了更详细的描述)。例如，定义的地图可以由远程系统组装，并且可以传送给运载工具10(以无线和/或有线方式)并存储在数据存储设备32中。可以理解的是，数据存储设备32可以是控制器34的一部分、独立于控制器34或者是控制器34的一部分和独立系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或市场上可买到的处理器、中央处理器(CPU)、图形处理器(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组形式)、宏处理器、它们的任何组合或者通常是用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括在只读存储器(ROM)、随机存取存储器(RAM)和保持通电型存储器(KAM)中进行易失性和非易失性存储。KAM是持久或非易失性存储器，其可以用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以采用多种已知存储装置中的任何一种来实现，诸如可编程只读存储器(PROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存或能够存储数据(其中一些表示可执行指令，由控制器34在控制和执行运载工具10的功能时使用)的任何其他电性、磁性、光学或组合存储装置。
指令可以包括一个或多个单独的程序，每个程序包括一系列有序的用于实现逻辑功能的可执行指令。当由处理器34执行时，指令接收并处理来自传感器系统28的信号，执行逻辑、计算、方法和/或算法以自动控制运载工具10的组件，并向致动器系统30生成控制信号以基于逻辑、计算、方法和/或算法自动控制运载工具10的组件。尽管在图1中仅示出了一个控制器34，但是运载工具10的实施方式可以包括任意数量的控制器34，这些控制器经由任何合适的通信介质或通信介质的组合进行通信，并且协同处理传感器信号、执行逻辑、计算、方法和/或算法以及生成控制信号来自动控制运载工具10的特征部。
通常，根据一种实施方式，运载工具10包括控制器34，该控制器基于捕捉设备捕捉到的输入图像生成虚拟摄像机的虚拟视图。捕捉设备包括例如物理摄像机和深度传感器。感测设备40a至感测设备40n中的至少一个感测设备是光学摄像机，并且感测设备40a至感测设备40n中的至少一个感测设备是物理深度传感器(例如，激光雷达、雷达、超声波传感器等)。在一个或多个实施方式中，运载工具10可以生成由具有同一位置的或空间分离的深度传感器40b的物理摄像机40a捕捉到的场景的虚拟视图。
由物理摄像机40a(例如捕捉环境的彩色图像的光学摄像机)捕捉输入图像。物理摄像机40a设置在运载工具10处，使得该物理摄像机可以覆盖运载工具10周围环境的特定视野。将深度信息分配给输入图像的像素，以估计物理摄像机40a和由输入图像的像素表示的对象之间的距离。深度信息可以由密集或稀疏深度传感器或由配置为基于图像信息来确定深度的模块分配给输入图像的每个像素。
虚拟摄像机的所需观察位置和观察方向可以称为虚拟摄像机的所需视角。此外，可以给出虚拟摄像机的内在校准参数，以确定虚拟摄像机的视野、分辨率以及可选地或附加地其他参数。所需视角可以是由运载工具用户定义的视角。因此，运载工具的用户或乘员可以选择虚拟摄像机对运载工具周围环境的视角。
虚拟摄像机的所需姿态可以包括相对于参考点或参考帧的观察位置和观察方向，例如，虚拟摄像机相对于运载工具的观察位置和观察方向。所需姿态是用户希望虚拟摄像机位于的虚拟点，包括虚拟摄像机指向的方向。运载工具用户可以改变所需姿态，以从不同的观察位置和不同的观察方向生成运载工具10及其环境的虚拟视图。物理摄像机的实际姿态被确定为具有关于捕捉输入图像的视角的信息。
深度传感器40b可以是物理深度传感器或基于图像信息将深度信息分配给输入图像的像素或对象的模块(例如，虚拟深度传感器)。物理深度传感器的实例是超声波传感器、雷达传感器、激光雷达传感器等。这些传感器配置为确定相距输入图像内所示的物理对象的距离。然后，将由物理深度传感器确定的距离信息分配给输入图像的像素。虚拟深度传感器基于图像信息来确定或估计深度信息。为了针对虚拟摄像机的姿态生成适当的输出图像，如果虚拟深度传感器提供的深度信息是一致的，则这可能就足够了。
通常，深度传感器40b可以是稀疏深度传感器或密集深度传感器。稀疏深度传感器为输入图像的一些像素和区域提供深度信息，但不是为所有像素提供深度信息。稀疏深度传感器不提供连续的深度图。密集深度传感器为输入图像的每个像素提供深度信息。当深度传感器是密集深度传感器时，利用同一位置的深度传感器来将深度值重新投影到虚拟摄像机的图像上。
图1示出了运载工具10，该运载工具包括基于输入图像生成虚拟摄像机的虚拟视图的系统。该系统包括物理摄像机40a、深度传感器40b以及控制器34。在各种实施方式中，深度传感器40b可以与物理摄像机40a在同一位置。在另一示例性实施方式中，深度传感器40b可以在空间上与物理摄像机40a分离。控制器34可以基本上连续地和/或周期性地接收和分析来自物理摄像机40a和深度传感器40b的数据。为了方便起见，第一摄像机102可以指物理摄像机40a，而第二摄像机112可以指虚拟摄像机。
图2示出了关于具有摄像机中心C1的第一摄像机102和具有摄像机中心C2的第二摄像机112的对极几何原理。在第一摄像机102中定义第一对极线104。射线106限定了像素P(用110表示)在对极线104上的位置。同一像素P 110的位置也由从第二摄像机112的摄像机中心C2延伸到像素P的射线116限定在对极线114上。参考标记118是两个摄像机中心C1和C2之间的向量。给定向量118和对极线104上像素P的已知位置以及摄像机中心C1和像素P之间的距离，可以确定对极线114上像素P的位置。利用该基本原理，由第一摄像机102捕捉到的场景可以用于计算用第二摄像机112观察到的场景。第二摄像机112的虚拟位置可以变化。因此，当第二摄像机112的位置发生变化时，对极线114上的像素位置也发生变化。在本文所述的各种实施方式中，允许虚拟视图视角改变。这种虚拟视图视角变化可以有利地用于环绕视图生成和拖车(trailering)应用。当采用对极几何来生成虚拟视图时，尤其通过在生成第二摄像机112的虚拟视图时考虑像素P的深度(像素P和第一摄像机102的摄像机中心C1之间的距离)，考虑了运载工具环境的三维性质。
控制器34可以生成由具有同一位置的深度传感器(例如，深度传感器40b)的第一摄像机102捕捉到的场景的虚拟图像。如本文所采用的，虚拟图像可以定义为由控制器34生成的合成图像，使得虚拟图像描绘了由第一摄像机102从所需的观察位置和观察方向捕捉到的场景内描绘的一个或多个对象。控制器34可以接收来自第一摄像机的输入摄像机姿态数据和所需的姿态数据，即从虚拟摄像机的视角。控制器34还可以检索第一摄像机102的内在参数，该内在参数可以包括焦距、主点、失真模型等。输入摄像机姿态数据和所需的姿态数据用于定义第一摄像机和第二摄像机122之间的对极几何。
控制器34可以利用视点姿态数据和/或输入摄像机的内在校准参数来定义对极几何。控制器34可以接收包括输入图像和输入的深度信息的输入深度图。基于对极几何，在对极坐标中对输入深度图和输入图像进行重新采样。控制器34可以采用合适的方向成本函数来使每个输出像素最小化，并且针对每条输出对极线，控制器34沿着相应的输入对极线来识别目标像素。控制器34可以生成视差图，该视差图是生成虚拟图像的基础。
然而，输入图像内的一个或多个像素可能在反向遮挡区域内。图3是示出用于减轻由基于对极重投影生成的虚拟图像中的视角变化引起的反向遮挡的过程300的框图。过程300的步骤可以由控制器34执行。在步骤302，接收包括来自物理摄像机102的输入图像的深度信息的输入深度图，并且在步骤304，接收输入图像。在步骤306，获取视点姿势数据和/或深度传感器姿势的内在校准和对准参数。然后，视点姿态数据和/或深度传感器姿态数据的内在校准参数可以用于定义对极几何。
在步骤308，基于虚拟摄像机的视点姿态数据和深度传感器姿态数据来生成对极几何。例如，视点姿态数据和/或深度传感器姿态数据的内在校准和对准参数可以用于生成对极几何。在步骤308，可以在对极坐标中对输入图像数据和/或输入深度图数据进行重新采样。可以基于所生成的对极几何在对极坐标中对输入图像数据和/或输入深度图数据进行重新采样。
在步骤310，控制器34为每个像素计算匹配角度指数。可以基于等式1来计算匹配角度指数：
θv(θpi)＝∠(T,T+Rpi(θpi)) 等式1。
控制器34根据等式2确定匹配角度指数的最小值：
θv(θpi)＝arhminθpi|θv(θpi)-θv| 等式2。
参见图4和图5，θv是从虚拟摄像机的中心408延伸的轴(即，对极线)和向量T之间的角度测量值，θpi是表示垂直于从物理摄像机的中心404延伸的轴的向量402之间的角度的第i个值的角度测量值，向量T是物理摄像机的中心404和虚拟摄像机的中心408之间的已知向量406，Rpi是物理摄像机的中心404和相应的像素P1、P2或P3之间的第i个值的向量412。向量412表示物理摄像机的中心和由像素P1、P2或P3表示的物理摄像机捕捉的对象的对应部分之间的距离。
控制器34基于由物理摄像机和深度传感器捕捉的图像数据从虚拟摄像机的视角生成虚拟图像，即合成图像。参见图5，第一摄像机102捕捉显示对象502(例如，树)的图像。控制器34从虚拟摄像机的所需视角生成表示被捕捉对象502的虚拟图像。如图所示，由于反向遮挡，点P2和P3在物理摄像机的视野内，但是不在虚拟摄像机的视野内。基于虚拟摄像机的参照系，所生成的虚拟图像应该包括表示点P1的像素，因为点P1在物理摄像机和虚拟摄像机的视场内。
控制器34为捕捉到的图像内的每个像素计算和分类最小匹配角度指数。在步骤312，控制器34单调化(即，去除)对应于反向遮挡区域内的像素的最小匹配角度指数值。在一个示例性实施方式中，控制器34检测最小匹配角度指数的振荡行为，即相邻最小匹配角度指数值之间的差。例如，可以将每个最小匹配角度指数与相邻最小匹配角度指数进行比较，以确定每个值之间的差。如果相邻最小匹配角度指数之间的差大于差阈值，则具有较大值的最小匹配角度指数被去除(即被单调化)。
在步骤314，基于物理摄像机的输入图像生成虚拟图像。例如，基于对极几何，在对极坐标中对输入深度图和输入图像进行重新采样。然后，可以基于适当的对极计算来生成视差图，并且由控制器34根据该视差图生成虚拟图像。针对对应于反向遮挡区域内对象的各个部分的像素，选择对应于所计算的最小匹配角度指数的像素以包含在虚拟图像中。例如，由物理摄像机捕捉到的对应于所计算的最小匹配角度指数的像素(例如图5所示的点P1)被选择包括在虚拟图像中。
尽管在以上具体描述中已呈现了至少一个示例性实施方式，但应当理解的是，存在大量的变型形式。还应当理解，一个或多个示例性实施方式仅仅是实例，而并非旨在以任何方式限制本公开的范围、适用性或配置。相反，以上具体描述将为本领域的技术人员提供一种用于实现一个或多个示例性实施方式的便利路线图。应当理解的是，在不脱离所附权利要求书及其法律等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。
该详细描述在本质上仅是示例性的，而并非旨在限制本申请及用途。此外，目的不在于受前述技术领域、技术背景、发明内容或以下详细描述中提出的任何明确的或隐含的理论的约束。如本文所用，术语“模块”指的是任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器装置中的一个或任何组合，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享处理器、专用处理器或处理器组)和存储器、组合逻辑电路和/或提供所述功能的其他合适组件。
本文可以根据功能和/或逻辑块组件和各种处理步骤来描述本公开的实施方式。应当理解到的是，这些块组件可以由配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的一个实施方式可以采用各种集成电路组件(例如，存储元件、数字信号处理元件、逻辑元件或查找表等)，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解的是，本公开的实施方式可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施方式。

Claims (8)

1.一种用于基于输入图像生成虚拟摄像机的虚拟视图的方法，所述方法包括：
由控制器确定所述捕捉设备的实际姿态；
由所述控制器确定用于显示所述虚拟视图的所述虚拟摄像机的所需姿态；
由所述控制器定义所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态之间的对极几何；以及
由所述控制器基于所述捕捉设备的实际姿态、所述输入图像和所述虚拟摄像机的所需姿态之间的对极关系，根据所述虚拟摄像机的所需姿态来为所述虚拟摄像机生成描绘所述输入图像内的对象的虚拟图像，
其中基于对应于所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态的最小匹配角度指数来选择对应于所述输入图像的至少一个像素。
2.根据权利要求1所述的方法，包括：
通过具有同一位置的深度传感器的物理摄像机来捕捉所述输入图像；
其中由所述捕捉设备捕捉所述输入图像包括由所述物理摄像机捕捉输入图像；
由所述深度传感器向所述输入图像的像素分配深度信息；
其中由所述控制器确定所述捕捉设备的实际姿态包括由所述控制器确定所述物理摄像机的实际姿态；
其中由所述控制器定义所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态之间的对极几何包括由所述控制器定义所述物理摄像机的实际姿态和所述虚拟摄像机的所需姿态之间的所述对极几何；并且
其中由所述控制器为所述虚拟摄像机生成所述输出图像包括：
由所述控制器在对极坐标中对所述输入图像的像素的深度信息进行重新采样；
由所述控制器识别所述物理摄像机的输入对极线上的目标像素；
由所述控制器为所述虚拟摄像机的一条或多条输出对极线生成视差图；以及
由所述控制器基于所述一条或多条输出对极线生成所述输出图像。
3.根据权利要求2所述的方法，还包括：
由所述控制器基于至少一个最小匹配角度指数与相邻最小匹配角度指数的比较来单调化至少一个最小匹配角度指数。
4.根据权利要求3所述的方法，其中单调化至少一个最小匹配角度指数还包括：
将所述相邻最小匹配角度指数与所述至少一个最小匹配角度指数进行比较；
确定所述相邻最小匹配角度指数和所述至少一个最小匹配角度指数之间的差是否大于差阈值；以及
当所述差大于所述差阈值时，去除所述至少一个最小匹配角度指数。
5.根据权利要求4所述的方法，其中所述至少一个最小匹配角度指数对应于表示反向遮挡区域内的对象的像素。
6.根据权利要求3所述的方法，
其中所述最小匹配角度指数定义为
θv(θpi)＝argminθpi|θv(θpi)-θv|，
其中：
θv(θpi)是所述最小匹配角度指数；
θv是从所述虚拟摄像机的中心延伸的轴和向量T之间的角度测量值；并且
θpi是第i个值的角度测量值，表示垂直于从所述物理摄像机的中心延伸的轴的向量之间的角度。
7.根据权利要求2所述的方法，其中由所述深度传感器向所述输入图像的像素分配深度信息包括：
由所述深度传感器向由所述物理摄像机捕捉到的每个像素分配深度信息。
8.根据权利要求2所述的方法，其中由所述深度传感器向所述输入图像的像素分配深度信息包括：
由所述深度传感器基于所述输入图像确定由所述物理摄像机捕捉到的每个像素的深度信息。
CN202210575167.5A 2021-08-13 2022-05-25 基于捕捉的图像数据生成虚拟图像 Pending CN115705716A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/402,000 US11770495B2 (en) 2021-08-13 2021-08-13 Generating virtual images based on captured image data
US17/402,000 2021-08-13

Publications (1)

Publication Number Publication Date
CN115705716A true CN115705716A (zh) 2023-02-17

Family

ID=85040020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575167.5A Pending CN115705716A (zh) 2021-08-13 2022-05-25 基于捕捉的图像数据生成虚拟图像

Country Status (3)

Country Link
US (1) US11770495B2 (zh)
CN (1) CN115705716A (zh)
DE (1) DE102022111797A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230215026A1 (en) * 2022-01-03 2023-07-06 GM Global Technology Operations LLC On-vehicle spatial monitoring system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US8467596B2 (en) * 2011-08-30 2013-06-18 Seiko Epson Corporation Method and apparatus for object pose estimation
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
KR102085228B1 (ko) * 2014-03-27 2020-03-05 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US11189043B2 (en) * 2015-03-21 2021-11-30 Mine One Gmbh Image reconstruction for virtual 3D
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US11378523B1 (en) 2020-12-31 2022-07-05 Zoox, Inc. Imaging device blemish detection test enclosure
US11748936B2 (en) 2021-03-02 2023-09-05 GM Global Technology Operations LLC Using epipolar reprojection for virtual view perspective change

Also Published As

Publication number Publication date
US20230050264A1 (en) 2023-02-16
US11770495B2 (en) 2023-09-26
DE102022111797A1 (de) 2023-02-16

Similar Documents

Publication Publication Date Title
JP6213567B2 (ja) 予測進路提示装置及び予測進路提示方法
CN113409200B (zh) 用于车辆中图像去模糊的系统和方法
US11648932B2 (en) Periphery monitoring device
US10970812B2 (en) Image processing device
CN110717991A (zh) 用于车载增强虚拟现实系统的系统和方法
US10540807B2 (en) Image processing device
US20230256975A1 (en) Methods and systems for camera to ground alignment
JP2018133712A (ja) 周辺監視装置
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP7000383B2 (ja) 画像処理装置および画像処理方法
US20200084395A1 (en) Periphery monitoring device
CN115705716A (zh) 基于捕捉的图像数据生成虚拟图像
CN114063025A (zh) 动态激光雷达与相机的对准
US11748936B2 (en) Using epipolar reprojection for virtual view perspective change
CN116645415A (zh) 用于摄像机到地面的对准的方法和系统
US20210016704A1 (en) Steerable scanning and perception system with active illumination
US11691566B2 (en) Intelligent vehicle systems and control logic for surround view augmentation with object model recognition
CN113646769A (zh) 用于图像归一化的系统和方法
US20220284221A1 (en) Deep learning based parametrizable surround vision
US11683458B2 (en) Projecting multi-faceted image onto convex polyhedron based on wide-angle image
US20230215026A1 (en) On-vehicle spatial monitoring system
CN116645410A (zh) 用于摄像机到地面的对准的方法和系统
WO2022202780A1 (ja) 表示制御装置
US20240185618A1 (en) Image generation device, image generation method, and program
US20230306621A1 (en) Methods and systems for camera to lidar alignment using road poles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination