CN112825546A - 使用中间图像表面生成合成图像 - Google Patents

使用中间图像表面生成合成图像 Download PDF

Info

Publication number
CN112825546A
CN112825546A CN202011268618.8A CN202011268618A CN112825546A CN 112825546 A CN112825546 A CN 112825546A CN 202011268618 A CN202011268618 A CN 202011268618A CN 112825546 A CN112825546 A CN 112825546A
Authority
CN
China
Prior art keywords
image
images
intermediate image
image surface
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011268618.8A
Other languages
English (en)
Inventor
M.斯卢茨基
Y.格芬
L.斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112825546A publication Critical patent/CN112825546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

本发明涉及使用中间图像表面生成合成图像。具体地，一种用于处理图像的系统包括接收模块，其配置为接收由一个或多个成像设备生成的多个图像，所述多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像。该系统还包括图像分析模块，其配置为至少基于第一图像和第二图像在目标图像表面上生成合成图像。所述图像分析模块配置为执行包括以下的步骤：选择平面中间图像表面；将所述第一图像和第二图像投影到中间图像表面上；在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；以及将中间图像投影到目标图像表面上以生成合成图像。

Description

使用中间图像表面生成合成图像
技术领域
本公开涉及图像生成和处理的领域，更具体地，涉及用于使用中间流形生成来创建合成图像的系统和方法。
背景技术
现代车辆越来越多地配备有相机和/或其他成像设备和传感器，以促进车辆操作并增加安全性。相机可以包括在车辆中用于各种目的，比如增加可见度和驾驶员意识，辅助驾驶员并执行车辆控制功能。车辆的自主控制正变得越来越普遍，自主控制系统配备有使用相机和其他传感器(比如雷达传感器)识别环境物体和特征的能力。一些成像系统试图创建全景环绕图像，以向用户提供车辆周围区域的连续视图。车辆成像系统通常从不同的定向获取多个图像，并将图像投影到称为流形的拓扑表面上。该投影通常导致失真或其他图像伪影，应对其进行纠正或以其他方式解决以改善所得图像。
发明内容
在一示例性实施例中，一种用于处理图像的系统包括处理设备，其包括配置为接收由一个或多个成像设备生成的多个图像的接收模块，所述多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像。该系统还包括图像分析模块，其配置为至少基于第一图像和第二图像在目标图像表面上生成合成图像。所述图像分析模块配置为执行包括以下的步骤：选择平面中间图像表面；将所述第一图像和第二图像投影到中间图像表面上；在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；以及将中间图像投影到目标图像表面上以生成合成图像。该系统还包括输出模块，其配置为输出合成图像。
除了本文所述的一个或多个特征之外，中间图像表面包括至少一个平面表面。
除了本文所述的一个或多个特征之外，中间图像表面包括从第一成像设备的第一位置延伸到第二成像设备的第二位置的平面。
除了本文所述的一个或多个特征之外，第一成像设备和第二成像设备设置在车辆处并且由选定的距离分开，所述第一成像设备和第二成像设备具有重叠的视场。
除了本文所述的一个或多个特征之外，所述组合包括通过组合第一图像和第二图像的重叠区域以生成中间图像来拼接第一和第二图像。
除了本文所述的一个或多个特征之外，第一成像设备和第二成像设备具有非线性视场，并且所述投影到中间图像表面上包括执行球面投影以在中间图像表面上校正第一图像和第二图像。
除了本文所述的一个或多个特征之外，所述投影到中间图像表面上包括：计算第一图像和第二图像之间的一个或多个图像视差，并且执行第一图像和第二图像的基于视差的拼接。
除了本文所述的一个或多个特征之外，图像由设置在车辆上的一个或多个相机获取，并且目标图像表面选自地面平面表面和至少部分地围绕车辆的弯曲二维表面。
在一示例性实施例中，一种处理图像的方法包括通过接收模块接收多个图像，所述多个图像由一个或多个成像设备生成，多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像。该方法还包括通过图像分析模块至少基于第一图像和第二图像在目标图像表面上生成合成图像。生成合成图像包括：选择平面中间图像表面；将第一图像和第二图像投影到中间图像表面上；在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；以及将中间图像投影到目标图像表面上以生成合成图像。
除了本文所述的一个或多个特征之外，中间图像表面包括至少一个平面表面。
除了本文所述的一个或多个特征之外，中间图像表面包括从第一成像设备的第一位置延伸到第二成像设备的第二位置的平面。
除了本文所述的一个或多个特征之外，第一成像设备和第二成像设备设置在车辆处并且由选定的距离分开，所述第一成像设备和第二成像设备具有重叠的视场。
除了本文所述的一个或多个特征之外，所述组合包括通过组合第一图像和第二图像的重叠区域以生成中间图像来拼接第一和第二图像。
除了本文所述的一个或多个特征之外，第一成像设备和第二成像设备具有非线性视场，并且所述投影到中间图像表面上包括执行球面投影以在中间图像表面上校正第一图像和第二图像。
除了本文所述的一个或多个特征之外，所述投影到中间图像表面上包括：计算第一图像和第二图像之间的一个或多个图像视差，并且执行第一图像和第二图像的基于视差的拼接。
除了本文所述的一个或多个特征之外，图像由设置在车辆上的一个或多个相机获取，并且目标图像表面选自地面平面表面和至少部分地围绕车辆的弯曲二维表面。
在一示例性实施例中，一种车辆系统包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理设备。计算机可读指令控制处理设备执行包括以下的步骤：接收由一个或多个成像设备生成的多个图像，多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像；以及通过图像分析模块至少基于第一图像和第二图像在目标图像表面上生成合成图像。生成合成图像包括：选择平面中间图像表面；将第一图像和第二图像投影到中间图像表面上；在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；以及将中间图像投影到目标图像表面上以生成合成图像。
除了本文所述的一个或多个特征之外，中间图像表面包括至少一个平面表面。
除了本文所述的一个或多个特征之外，中间图像表面包括从第一成像设备的第一位置延伸到第二成像设备的第二位置的平面。
除了本文所述的一个或多个特征之外，图像由设置在车辆上的一个或多个相机获取，并且目标图像表面选自地面平面表面和至少部分地围绕车辆的弯曲二维表面。
当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式在下面的详细描述中出现，该详细描述参考附图，其中：
图1是根据示例性实施例的包括成像系统的各方面的机动车辆的俯视图；
图2描绘了根据示例性实施例的配置为执行图像处理的各方面的计算机系统；
图3示出了投影到平面目标图像表面上的图像的示例，并且示出了由于图像投影到平面目标图像表面上而可能出现的伪影；
图4描绘了根据示例性实施例的可以由图1的成像系统利用以生成合成图像的弯曲目标图像表面的示例；
图5是根据示例性实施例的描绘在目标图像表面上生成合成图像的方法的各方面的流程图；
图6描绘了根据示例性实施例的可由图1的成像系统利用以生成中间图像的中间图像表面的示例；
图7A和7B示出了由车辆成像设备拍摄的所获取图像的示例；
图8示出了所获取图像的球面图像校正的示例；
图9示出了图像的基于视差的拼接的示例；以及
图10描绘了图7A和7B的所获取图像的基于视差的拼接的示例。
具体实施方式
以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
根据一个或多个示例性实施例，本文描述了用于图像分析和生成的方法和系统。成像系统的实施例配置为从一个或多个相机(例如设置在车辆上或车辆中的相机)获取图像。图像被组合并投影到目标图像表面(例如目标流形)上以生成合成图像。目标图像表面可以是例如地面平面中的平面表面或至少部分地围绕车辆的弯曲表面(例如碗形表面)。
为了生成合成图像，将来自不同相机的图像(或者在旋转相机的情况下来自不同相机定向的图像)投影到与目标图像表面不同的中间图像表面(例如中间流形)上。在一实施例中，中间图像表面包括将图像投影到其上的一个或多个平面表面。作为投影到中间图像上的一部分，成像系统可以在需要时执行图像处理功能，比如在中间图像表面中对所获取图像(即投影到中间图像表面上的图像)进行拼接和校正。
本文描述的实施例具有许多优点。相对于现有技术和系统，成像系统提供了一种有效的方式来处理相机图像并生成投影的合成图像，其没有伪影或至少减少了伪影。例如，现代的环绕视图技术通常会产生由于相机之间的较大间隔(例如与到被成像物体的距离相当)而生成的图像伪影。本文描述的系统和方法提供了生成合成图像同时减轻伪影比如物体消除和重影的算法方法。
图1示出了机动车辆10的实施例，其包括至少部分地限定乘员室14的车身12。车身12还支撑包括发动机组件16的各种车辆子系统以及其他子系统以支持发动机组件16和其他车辆部件的功能，比如制动子系统、转向子系统、燃料喷射子系统、排气子系统等。
成像系统18的一个或多个方面可以结合到车辆10中或与之连接。成像系统18配置为从至少一个相机获取一个或多个图像，并且通过将一个或多个图像投影到目标表面上来处理它们，并输出投影图像，如本文进一步讨论。在一实施例中，成像系统18从相对于车辆10具有不同位置和/或定向的多个相机获取图像，处理图像并在目标图像表面上生成合成图像。在该实施例中，成像系统18可以执行各种图像处理功能以减少或消除伪影，比如比例差异、物体消除和重影。
在一实施例中，生成合成图像包括将一个或多个图像投影到中间图像表面(例如一个或多个平面)上并处理一个或多个图像以将图像拼接在一起和/或减少或消除伪影。作为该投影和处理的结果，创建中间图像，其然后被投影到目标图像表面上，比如弯曲(例如碗形)或平面(例如地面平面)表面。
该实施例中的成像系统18包括一个或多个光学相机20，其配置为拍摄图像，比如彩色(RGB)图像。图像可以是静止图像或视频图像。例如，图像分析系统18配置为生成全景或准全景环绕图像(例如描绘车辆10周围的区域的图像)。
附加设备或传感器可以包括在成像系统18中。例如，一个或多个雷达组件22可以包括在车辆10中。尽管本文结合光学相机描述了成像系统和方法，但它们可用于处理并生成其他类型的图像，比如红外、雷达和激光雷达图像。
相机20和/或雷达组件22与一个或多个处理设备通信，比如车载处理设备24和/或远程处理器26，比如在制图、车辆监视(例如车队监视)或成像系统中的处理器。车辆10还可以包括用户界面系统28，用于允许用户(例如驾驶员或乘客)输入数据、查看图像以及以其他方式与处理设备和/或图像分析系统18进行交互。
图2示出了计算机系统30的实施例的各方面，该计算机系统与成像系统18通信或是其的一部分并且可以执行本文描述的实施例的各个方面。计算机系统30包括至少一个处理设备32，其通常包括一个或多个处理器，用于执行本文所述的图像采集和分析方法的各方面。处理设备32可以例如作为车载处理器24集成到车辆10中，或者可以是与车辆10分离的处理设备，比如服务器、个人计算机或移动设备(例如智能手机或平板电脑)。例如，处理设备32可以是一个或多个发动机控制单元(ECU)、一个或多个车辆控制模块、云计算设备、车辆卫星通信系统和/或其他的一部分或与之通信。处理设备32可以配置为执行本文所述的图像处理方法，并且还可以执行与各种车辆子系统(例如作为自主或半自主车辆控制系统的一部分)的控制有关的功能。
计算机系统30的部件包括处理设备32(比如一个或多个处理器或处理单元)、系统存储器34和将包括系统存储器34的各种系统部件耦合到处理设备32的总线36。系统存储器34可以包括各种计算机系统可读介质。这样的介质可以是处理设备32可访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。
例如，系统存储器34包括非易失性存储器38，比如硬盘驱动器，并且还可以包括易失性存储器40，比如随机存取存储器(RAM)和/或高速缓冲存储器。计算机系统30可以进一步包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。
系统存储器34可包括具有一组(例如至少一个)程序模块的至少一个程序产品，程序模块配置为执行本文所述实施例的功能。例如，系统存储器34存储通常执行本文所述实施例的功能和/或方法的各种程序模块。可以包括接收模块42以执行与获取和处理来自相机的所接收图像和信息有关的功能，并且可以包括图像分析模块44以执行与如本文描述的图像处理有关的功能。系统存储器34还可存储各种数据结构46，比如数据文件或存储与成像和图像处理有关的数据的其他结构。这种数据结构的示例包括获取的相机模型、相机图像、中间图像和合成图像。如本文所用，术语“模块”是指处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
处理设备32还可与一个或多个外部设备48通信，比如键盘、指针设备和/或使处理设备32能够与一个或多个其他计算设备通信的任何设备(例如网卡、调制解调器等)。另外，处理设备32可以与一个或多个设备通信，比如用于图像分析的相机20和雷达组件22。处理设备32还可以与可以与图像分析结合使用的其他设备通信，比如全球定位系统(GPS)设备50和车辆控制设备或系统52(例如用于驾驶员辅助和/或自主车辆控制)。可以通过输入/输出(I/O)接口54与各种设备通信。
处理设备32还可以经由网络适配器58与一个或多个网络56通信，比如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如因特网)。应当理解，尽管未示出，但其他硬件和/或软件部件可以与计算机系统30结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动器阵列、RAID系统和数据档案存储系统等。
现代的环绕视图技术由于相机之间的较大间隔(相当于到成像物体的距离)而产生图像伪影。这些伪影包括物体失真、物体消除和重影。成像系统18配置为生成合成图像，其被投影到目标表面上以生成相对于车辆10的期望视图。目标表面的示例包括地面平面表面和弯曲表面。
成像系统18通过将所获取图像投影到中间图像表面上并且在中间图像表面上组合和处理投影图像以减少或消除图像伪影来生成合成图像(例如环绕视图或环绕图像)。中间图像表面上的处理和组合图像被称为“中间图像”。随后，中间图像被投影到目标表面上。
在一实施例中，中间图像表面和目标图像表面是被称为“流形”的虚拟表面。以下将各种表面称为图像流形或简称为流形；然而，应当理解，这些表面可以是虚拟表面或任何形式的拓扑。
环绕视图或环绕图像的示例包括顶视图图像(从车辆10上方的有利位置)和碗视图图像。顶视图(或鸟瞰图)环绕图像通常是通过拍摄多张图像(例如四张不同定向的图像)并将它们投影到地面平面上来生成的。碗视图成像是尝试通过投影在由相机图像构成的二维碗状流形上的图像模拟车辆周围环境的真实三维世界以“从外部”创建车辆10的视图。环绕视图可以是完整的环绕视图(即包含360度视图)或部分环绕视图(即包含小于360度)。
图像投影会导致各种图像伪影，从而使原始图像失真。例如，当将所获取图像投影到地面平面上时，会正确地显示地面平面中的物体，而该平面上方的物体会被涂抹和失真。此外，相机视场(FOV)相交的区域中的物体可能会显示为双重物体(称为“重影”)。
图3示出了相机拍摄的车辆物体62和人物体64的原始图像60以及由原始图像投影到位于地面表面(“地面平面”)上的平面流形上而生成的投影图像66的示例。如图所示，正确表示了地面平面中的物体，但地面平面上方的物体失真了。例如，人物体64和车辆物体62的脚通常正确地示出(被最小程度地失真或失真到可接受程度)。然而，人物体64在地面平面上方的部分被涂抹并失真。另外，如果将多个图像投影到地面平面上，则诸如人物体64之类的物体可以显示为双重图像(称为“重影”)。
当将图像投影到弯曲流形(比如碗视图流形)上时，也可能会引入诸如失真和重影之类的伪影。此外，无论是将来自不同视场(FOV)的多个图像投影到平面还是非平面流形上，来自重叠的共同FOV的图像中的物体都可能在投影图像中消失(称为“物体消除”)。相邻相机的共同FOV中的物体通常在外观(例如比例)上有所不同，这使图像拼接更加复杂。碗视图目标流形70的示例在图4中示出。在该示例中，所获取图像从选定的视角(例如由虚拟相机72的位置建立的视角)被投影到目标流形上。
图5描绘了生成合成图像的方法100的实施例。成像系统18或其他处理设备或系统可以用于执行方法100的各方面。结合框101-111讨论方法100。方法100不限于其中的步骤的数量或顺序，因为由框101-111表示的一些步骤可以以与下面描述的顺序不同的顺序执行，或者可以执行少于所有步骤。
结合成像系统18的各方面的示例和如图6所示的目标图像表面(即碗形目标流形70)的示例来讨论方法100。在该示例中，车辆10包括具有朝向行进方向T的定向和FOV的前相机20a、具有相对于方向T横向地指向的相应定向和FOV的右侧相机20b和左侧相机20c以及具有大致与方向T相反指向的定向和FOV的后相机20d。相机20a、20b、20c和/或2d可以旋转或固定，并且相邻的相机具有重叠的FOV。
再次参照图5，在框101，从不同的定向和/或位置获取原始图像。原始图像可能具有重叠的FOV，并且可能由不同的相机拍摄。如果原始图像是由旋转相机拍摄的，则可以通过与深度无关的变换来描述从旋转相机的不同定向捕获的两个图像的像素之间的映射。
例如，接收模块42从相机接收在相同或相似时间拍摄的图像。所获取图像集的示例包括由前相机20a拍摄的图像74a(图7A所示)和由右侧相机20b拍摄的图像74b(图7B所示)。可以看出，由于相机20a和20b的分离(例如约1-3米)，图像表现出强视差效果。例如，在图像中以不同的比例、位置和失真水平描绘了表示汽车的物体76(汽车物体76)。
在框102，获取相机对准和校准信息。可以基于每个相机的几何模型来获取这样的信息。
在框103，将所获取图像以及相机对准和校准信息输入到处理设备比如图像分析模块44。图像分析模块44生成一个或多个组合中间图像(也称为“拼接图像”)，其在一实施例中是通过以下执行的：将所获取图像旋转到共同对准，对图像进行处理以去除或减少伪影，然后通过混合图像的重叠区域来拼接图像。
框104-107表示用于生成中间图像的过程的实施例。在框104，旋转所获取图像，使得它们具有共同定向。例如，将图像旋转到规范定向，比如面向期望中间流形的定向。
图6示出了中间流形的示例，其是平面流形。在该示例中，存在四个相机20a、20b、20c和20d。选择四个中间平面流形，以使每个中间流形与两个相邻相机相交。在该示例中，中间流形表示为中间流形80a、80b、80c和80d。
在框105，旋转图像经由图像校正被投影到中间流形上。可以采用各种图像校正算法，比如平面校正、圆柱校正和极性校正。在一实施例中，如果相机是鱼眼相机，则可以执行对极球面校正以校正图像。
在框106，计算图像视差，并且基于视差对校正图像进行拼接或以其他方式组合(框107)，以在中间流形处生成没有伪影(比如重影和物体消除)的组合中间图像。图像视差的示例在图7A和7B中示出，其中汽车物体76位于不同的像素区域。
在框108，如果存在具有相同对准的多个拼接图像，则将多个拼接图像组合并投影到中间流形上以生成中间图像。
在框109，将中间图像投影到目标流形上以生成最终合成图像。该投影可以包括使用查找表(LUT)或其他合适信息的纹理映射。另外，原始所获取图像可以用于改善最终图像(例如确认图像物体被正确定位，并且没有物体被消除)。
在框110，最终合成图像被输出到用户、存储位置和/或其他处理设备或系统。例如，可以使用例如接口系统28将最终图像显示给驾驶员，或者其被发送到图像数据库、地图绘制系统或车辆监视系统。
在一实施例中，方法100用于生成多个中间流形的中间图像。例如，车辆可以包括具有各种位置和定向的多个相机。可以选择中间流形作为多个平面，以解决相邻相机之间的各种重叠图像。在一实施例中，平面流形的数量N被选择为等于车辆10上的相机数量(N个相机)。
如果存在多个中间流形，则可以针对每个中间流形重复由框101-108表示的阶段。然后可以将所得的中间图像进行组合，并作为单个最终合成图像投影到目标流形上。
图8描绘了可以作为方法100的一部分执行的校正过程的示例。在该示例中，映射到球面表面82和84的所获取图像被投影到平面86上。该平面可以是选定的中间流形，比如流形80a、80b、80c或80d。通常，校正图像包括沿着通过将球面表面82和84与平面86相交而生成的线对图像进行重采样。在一实施例中，校正具有对极约束，其中沿着对应于在所获取图像中的像素之间的匹配的对极线执行重采样。
图9描绘了所获取图像的基于视差的拼接的示例的各方面。在该示例中，获取物体O的两个图像，其中，第一图像IL是从左侧位置拍摄的，而第二图像IR是从右侧位置拍摄的。
在该示例中，物体O的位置在左侧图像IL和右侧图像IR之间存在视差d。视差是沿着对极线在左侧图像IL中的物体O上的点与右侧图像IR中的物体上的相同点之间的像素距离。
为了生成组合图像，使用采用视差(其在以下等式中用D表示)的加权混合方法对图像进行混合。例如，像素被重采样并给出加权纠正值C[i,k]以应用于物体中的每个像素，其中i是给定像素的行号，k是给定像素的列号。可以使用以下公式计算值C[i,k]：
Figure BDA0002776901910000111
其中，CL是左侧图像上的像素位置，CR是右侧图像上的像素位置，D是物体之间的视差，LR是混合图像IC上的左侧参考位置，而RL是混合图像的右侧参考位置。可以看出，尽管存在一些失真，但物体是整体表示的(没有双重或消失)。注意，上述等式可以被对称化为包括从图像的右侧开始(从右到左或R2L)的视差的估计以及从图像的左侧开始(从左到右或L2R)的视差的估计。
图10描绘了图像74a和74b的基于视差的拼接的示例。在该示例中，将图像投影到平行平面上，并对图像中的物体进行处理以生成纠正的权重图77，以被应用于每个像素。根据计算的权重将图像混合以生成组合中间图像78，然后可以将其投影到目标流形上。
尽管关于车辆成像系统描述了实施例，但它们不限于此并且可以与获取和处理相机图像的任何系统或设备结合使用。例如，实施例可以与安全相机、家庭监视相机以及合并静止和/或视频成像的任何其他系统结合使用。
本文使用的术语仅出于描述特定实施例的目的，并不旨在限制本公开。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还将理解的是，当在本说明书中使用术语“包括”及其变体时，其指定存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素部件和/或其组。
尽管已经参照示例性实施例描述了以上公开，但本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物代替其元件。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于处理图像的系统，包括：
处理设备，其包括配置为接收由一个或多个成像设备生成的多个图像的接收模块，所述多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像；
图像分析模块，其配置为至少基于第一图像和第二图像在目标图像表面上生成合成图像，所述图像分析模块配置为执行：
选择平面中间图像表面；
将所述第一图像和第二图像投影到中间图像表面上，并在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；
将中间图像投影到目标图像表面上以生成合成图像；以及
输出模块，其配置为输出合成图像。
2.根据权利要求1所述的系统，其中，所述中间图像表面包括至少一个平面表面。
3.根据权利要求2所述的系统，其中，所述中间图像表面包括从第一成像设备的第一位置延伸到第二成像设备的第二位置的平面。
4.根据权利要求3所述的系统，其中，所述第一成像设备和第二成像设备设置在车辆处并且由选定的距离分开，所述第一成像设备和第二成像设备具有重叠的视场。
5.一种处理图像的方法，包括：
通过接收模块接收多个图像，所述多个图像由一个或多个成像设备生成，多个图像包括从第一位置和定向获取的第一图像以及从第二位置和定向获取的第二图像；以及
通过图像分析模块至少基于第一图像和第二图像在目标图像表面上生成合成图像，其中，生成合成图像包括：
选择平面中间图像表面；
将所述第一图像和第二图像投影到中间图像表面上，并在中间图像表面处组合投影的第一图像和投影的第二图像以生成中间图像；以及
将中间图像投影到目标图像表面上以生成合成图像。
6.根据权利要求5所述的方法，其中，所述中间图像表面包括从第一成像设备的第一位置延伸到第二成像设备的第二位置的平面，所述第一成像设备和第二成像设备设置在车辆处并且由选定的距离分开，并且所述第一成像设备和第二成像设备具有重叠的视场。
7.根据权利要求6所述的方法，其中，所述组合包括通过组合所述第一图像和第二图像的重叠区域以生成所述中间图像来拼接第一和第二图像。
8.根据权利要求7所述的方法，其中，所述第一成像设备和第二成像设备具有非线性视场，并且所述投影到中间图像表面上包括执行球面投影以在中间图像表面上校正所述第一图像和第二图像。
9.根据权利要求8所述的方法，其中，所述投影到中间图像表面上包括：计算所述第一图像和第二图像之间的一个或多个图像视差，并且执行第一图像和第二图像的基于视差的拼接。
10.根据权利要求5所述的方法，其中，所述图像由设置在车辆上的一个或多个相机获取，并且所述目标图像表面选自地面平面表面和至少部分地围绕所述车辆的弯曲二维表面。
CN202011268618.8A 2019-11-21 2020-11-13 使用中间图像表面生成合成图像 Pending CN112825546A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/691,198 US20210158493A1 (en) 2019-11-21 2019-11-21 Generation of composite images using intermediate image surfaces
US16/691,198 2019-11-21

Publications (1)

Publication Number Publication Date
CN112825546A true CN112825546A (zh) 2021-05-21

Family

ID=75784340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268618.8A Pending CN112825546A (zh) 2019-11-21 2020-11-13 使用中间图像表面生成合成图像

Country Status (3)

Country Link
US (1) US20210158493A1 (zh)
CN (1) CN112825546A (zh)
DE (1) DE102020127000A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107660337A (zh) * 2015-06-02 2018-02-02 高通股份有限公司 用于从鱼眼摄像机产生组合视图的系统及方法
CN107967665A (zh) * 2016-10-20 2018-04-27 株式会社理光 图像处理方法和图像处理装置
CN109478318A (zh) * 2016-09-08 2019-03-15 三星电子株式会社 三百六十度视频拼接
CN110475107A (zh) * 2018-05-11 2019-11-19 福特全球技术公司 车辆全景可视摄像机投影的失真校正

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6816465B2 (ja) * 2016-11-16 2021-01-20 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107660337A (zh) * 2015-06-02 2018-02-02 高通股份有限公司 用于从鱼眼摄像机产生组合视图的系统及方法
CN109478318A (zh) * 2016-09-08 2019-03-15 三星电子株式会社 三百六十度视频拼接
CN107967665A (zh) * 2016-10-20 2018-04-27 株式会社理光 图像处理方法和图像处理装置
CN110475107A (zh) * 2018-05-11 2019-11-19 福特全球技术公司 车辆全景可视摄像机投影的失真校正

Also Published As

Publication number Publication date
DE102020127000A1 (de) 2021-05-27
US20210158493A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US11303806B2 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
CN112825546A (zh) 使用中间图像表面生成合成图像
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
CN110874817B (zh) 图像拼接方法和装置、车载图像处理装置、设备、介质
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
EP3326145B1 (en) Panel transform
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
EP3326146B1 (en) Rear cross traffic - quick looks
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
DE102020100230A1 (de) Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen
KR20200064014A (ko) 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법
US11380111B2 (en) Image colorization for vehicular camera images
CN107636723B (zh) 产生车辆的车辆周围环境的整体图像的方法及相应的设备
CN112308986B (zh) 车载图像拼接方法、系统以及装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
CN112698717B (zh) 一种局部图像的处理方法及装置、车载系统、存储介质
WO2024041933A1 (en) Method and device for generating an outsider perspective image and method of training a neural network
Chavan et al. Three dimensional surround view system
CN116416584A (zh) 用于其他交通参与方的参考值生成方法及设备
Chavan et al. Three dimensional vision system around vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210521