CN111406275A - 用于生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法、相机系统以及机动车辆 - Google Patents

用于生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法、相机系统以及机动车辆 Download PDF

Info

Publication number
CN111406275A
CN111406275A CN201880076412.XA CN201880076412A CN111406275A CN 111406275 A CN111406275 A CN 111406275A CN 201880076412 A CN201880076412 A CN 201880076412A CN 111406275 A CN111406275 A CN 111406275A
Authority
CN
China
Prior art keywords
camera
image
motor vehicle
specific
pixel density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880076412.XA
Other languages
English (en)
Other versions
CN111406275B (zh
Inventor
V.兹洛科利察
M.P.格里芬
B.M.T.迪根
B.德弗
J.马赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of CN111406275A publication Critical patent/CN111406275A/zh
Application granted granted Critical
Publication of CN111406275B publication Critical patent/CN111406275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于基于由至少两个车辆侧相机(5a、5b、5c、5d)捕获的至少部分重叠的原始图像(RC1、RC2、RC3、RC4)来生成具有示出机动车辆(1)和机动车辆(1)的环境区域(4)的预定义目标视图的输出图像的方法，包括以下步骤：‑指定相应的相机特定的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)，其中每个描述了由有助于生成输出图像的关联相机(5a至5d)捕获的原始图像(R1至R4)的多个像素的图像区域相关的分布，‑基于表示图像区域相关的滤波程度的特定于关联相机(5a至5d)的像素密度图(PDM1a至PDM2b)对原始图像(RC1至RC4)进行空间自适应滤波，‑在所述至少两个相机(5a至5d)的所述至少部分重叠的原始图像(RC1至RC4)中识别相互对应的图像区域(B1a、B1b、B2a、B2b、B3a、B3b、B4a、B4b)，‑基于特定于相应其他相机(5a至5d)的像素密度图(PDM1a至PDM2b)对一个相机(5a至5d)的原始图像(RC1至RC4)的图像区域(B1a至B4b)进行空间自适应滤波，以减小对应的图像区域(B1a至B4b)之间的清晰度差异，‑将滤波后的原始图像(RC1至RC4)重新映射到与目标视图对应的图像表面，以生成重新映射的滤波后的原始图像(R1、R2、R3、R4)，‑通过组合重新映射的滤波后的原始图像(R1至R4)来生成输出图像。此外，本发明还涉及相机系统(3)和机动车辆(1)。

Description

用于生成在预定目标视图中示出机动车辆和机动车辆的环境 区域的输出图像的方法、相机系统以及机动车辆
技术领域
本发明涉及一种用于基于由至少两个车辆侧相机捕获的至少部分重叠的原始图像来生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法。此外，本发明还涉及用于机动车辆的相机系统以及机动车辆。
背景技术
从现有技术中已经知道借助于车辆侧相机系统(例如环视相机系统)的相机来监测机动车辆的环境区域。由相机捕获的原始图像或输入图像可以在显示装置上显示给机动车辆的驾驶员，例如在机动车辆的乘员舱中的显示器上。其中，输出图像也越来越多地从不同相机的原始图像生成，其在预定目标视图中或从预定目标视角示出机动车辆以及环境区域。这种预定目标视图或目标视角可以是所谓的第三人观察或第三人视角，通过其，机动车辆的环境区域以及机动车辆本身从车辆外部的观察者(即所谓的虚拟相机)的视角示出在输出图像中。这样的第三人视角可以例如是顶视图。因此，从原始图像生成的输出图像是顶视图图像，也称为鸟瞰图表示，其对机动车辆的顶侧以及机动车辆周围的环境区域进行成像。
为了生成输出图像，将原始图像投影到目标表面，例如二维平面或曲面。随后，将原始图像组合并渲染到输出图像，以使输出图像似乎已由虚拟相机从任意可选择的目标视角捕获，因此具有任意可选择的显示区域或查看端口。除非另外说明，否则可以将原始图像组合并合并为类似马赛克的输出图像，这最终产生的印象是它会被在虚拟相机位置的单个真实相机捕获。利用为顶视图图像形式的输出图像，虚拟相机例如在车辆竖直轴线的方向上位于机动车辆正上方并平行于机动车辆，使得显示区域具有地下区域，例如道路区域。
为了在其中获得高质量输出图像，已由不同相机捕获但具有源自环境区域的相同三维内容的原始图像中的相互对应的图像区域应具有相似的特性。例如，它们应具有相似的亮度、颜色、分辨率、清晰度和噪声。如果不是这种情况并且例如将具有不同清晰度的图像区域进行组合或合并，则因此可能出现组合的输出图像具有带有明显清晰度差异和清晰度过渡的输出图像区域。这些清晰度差异降低了显示给驾驶员的输出图像的图像质量，特别是在机动车辆移动的情况下，并且可能给驾驶员带来烦恼。
发明内容
本发明的目的是提供一种解决方案，即如何能够以高质量生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像，以将它们显示给机动车辆的驾驶员。
根据本发明，该目的通过具有根据各个独立权利要求的特征的方法、相机系统以及机动车辆来解决。本发明的有利实施例是从属权利要求、说明书以及附图的主题。
根据用于基于由至少两个车辆侧相机捕获的至少部分重叠的原始图像来生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法的一方面，特别指定了相应的相机特定的像素密度图，其每个描述了由有助于生成输出图像的关联相机捕获的原始图像的多个像素的图像区域相关的分布。可以基于表示图像区域相关的滤波程度的特定于关联相机的像素密度图对原始图像进行空间自适应滤波。特别地，在所述至少两个相机的所述至少部分重叠的原始图像中识别相互对应的图像区域，对一个相机的原始图像的图像区域进行空间自适应滤波，这基于特定于相应其他相机的像素密度图进行，以减小相互对应的图像区域之间的清晰度差异，并且将滤波后的原始图像重新映射到与目标视图对应的图像表面，以生成重新映射的滤波后的原始图像。可以通过组合重新映射的滤波后的原始图像来生成输出图像。
特别优选地，在用于基于由至少两个车辆侧相机捕获的至少部分重叠的原始图像来生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法中，指定了相应的相机特定的像素密度图，其每个描述了由有助于生成输出图像的关联相机捕获的原始图像的多个像素的图像区域相关的分布。基于表示图像区域相关的滤波程度的特定于关联相机的像素密度图，对原始图像进行空间自适应滤波。此外，在所述至少两个相机的啊啊至少部分重叠的原始图像中识别相互对应的图像区域，基于特定于相应其他相机的像素密度图对一个相机的原始图像的图像区域进行空间自适应滤波，以减小相互对应的图像区域之间的清晰度差异，并且将滤波后的原始图像重新映射到与目标视图对应的图像表面，以生成重新映射的滤波后的原始图像。可以通过组合重新映射的滤波后的原始图像来生成输出图像。
换句话说，这意味着对于由第一相机捕获的至少一个第一原始图像，指定了第一像素密度图，其描述了由有助于生成输出图像的第一相机捕获的所述至少一个第一原始图像的多个像素的图像区域相关的分布。对于由不同于第一相机的第二相机捕获的至少一个第二原始图像，指定了第二像素密度图，其描述了由有助于生成输出图像的第二相机捕获的所述至少一个第二原始图像的多个像素的图像区域相关的分布。其中，基于第一像素密度图对所述至少一个第一原始图像进行空间自适应滤波，基于第二像素密度图对所述至少一个第二原始图像进行空间自适应滤波。此外，基于第二像素密度图对所述至少一个第一图像中的图像区域进行滤波，基于第一像素密度图对所述至少一个第二图像中的对应图像区域进行滤波。
该方法用于生成高质量输出图像，其以预定目标视图或从预定目标视角示出机动车辆和机动车辆周围的环境区域。输出图像可以视频序列(特别是实时视频)的形式在车辆侧显示装置上显示给机动车辆的驾驶员。输出图像例如由车辆侧图像处理装置基于由至少两个车辆侧相机捕获的原始图像或输入图像来生成。其中，将原始图像重新映射或投影到图像表面或目标表面，例如二维表面，并且将重新映射或投影的原始图像组合以生成输出图像。通过在车辆侧显示装置上显示输出图像，可以帮助驾驶员操纵机动车辆。驾驶员可以通过查看显示装置来捕获环境区域。环视相机系统和显示装置构成相机监测系统(CMS)。
特别地，基于车辆侧环视相机系统的至少四个相机的至少四个原始图像来生成输出图像。其中，相机特别设置在机动车辆的不同附接位置处，因此具有不同的视角或不同取向的检测范围。因此，不同的原始图像也示出了环境区域的不同局部区域。例如，可以通过前相机捕获来自机动车辆前方的环境区域的至少一个第一原始图像，可以通过乘客侧后视镜相机捕获来自乘客侧环境区域的至少一个第二图像，可以通过后相机捕获来自机动车辆后面的环境区域的至少一个第三图像，以及可以通过驾驶员侧后视镜相机捕获来自驾驶员侧环境区域的至少一个第四图像。优选地，输出图像是环境区域的顶视图图像或鸟瞰图表示。因此，预定目标视图优选地对应于顶视图。
为每个相机指定像素密度图，基于此对相应相机的原始图像进行空间自适应滤波。像素密度图可被一次确定，并且例如将其记录在用于图像处理装置的车辆侧存储装置中，图像处理装置可以基于关联的像素密度图对相机的原始图像进行空间自适应滤波。像素密度图对应于像素密度的空间分布，其描述了原始图像的许多像素或图像元素，它们有助于在输出图像内生成某些图像区域。某些图像区域对环境区域中的某些部分区域或所谓的感兴趣区域(ROI)进行成像。例如，可以通过将环境区域(例如地面或道路表面)划分为部分区域并且为每个部分区域确定度量来确定分布。其中，度量描述了原始图像和输出图像的图像元素的数量之间的比率，其用于表示输出图像中的相应部分区域。除非另有说明，划分环境区域，选择环境区域中的某个部分区域，并且确定像素密度。因此，确定该特定部分区域在原始图像和输出图像中分别占据多少像素。因此，像素密度图是用于测量原始图像与组合的输出图像的像素比的度量。一方面，像素密度图给出了输出图像中干扰信号的图像区域相关的严重性的指示，例如人工闪烁效果或混叠伪影(aliasing artefact)。另一方面，像素密度图给出了图像区域相关的子采样或上采样的量或幅度的指示。
由于像素密度图，可以识别图像区域，其经历明显的上采样幅度，从而在输出图像中引入模糊。为了确定相应的像素密度图，所确定的像素密度可以基于它们的幅度被分组为至少两个密度区域。换句话说，可以将具有预定值范围内的值的像素密度分配给密度区域。其中，可以规定，特别确定五个以上的密度区域或像素密度簇。因此，对应的图像元素数量比或对应的子采样率可以与每个密度区域关联。可以例如根据相机在机动车辆处的位置来确定像素密度图。即，环境区域的部分区域离相机越近，关联图像区域中的像素密度值越大。与较低像素密度关联的图像区域通常具有更多的空间模糊。
另外，在原始图像中确定相互对应的图像区域，其中每个具有相同的图像内容。除非另有说明，相互对应的图像区域示出环境区域的相同部分区域，但已被不同的相机捕获。相机特别地是广角相机并且具有广角镜头，例如鱼眼镜头。从而，两个相邻相机的捕获范围可以在某些区域中彼此重叠，使得相机捕获某些区域中的环境区域的相同部分区域。两个原始图像的这些相互对应的图像区域在将重新映射的原始图像组合到输出图像时重叠，因此在生成输出图像时都将它们都考虑在内。因此，相互对应的图像区域是重叠区域。其中，可能发生的是图像区域具有不同的清晰度。这可能是由于由两个相邻相机捕获的部分区域到相机的距离不同。由于这些重叠的图像区域具有不同的清晰度，因此所得的输出图像会具有为明显的清晰度差异和非协调清晰度过渡到所得的输出图像区域中的相邻输出图像区域的形式的干扰效果。因此，输出图像的图像质量劣化。
为了防止此，基于关联的像素密度图以及基于相应其他相邻原始图像的像素密度图，对相应原始图像进行空间自适应滤波。由于像素密度图中的像素密度值，具有高模糊度水平的那些图像区域可被特别简单且快速地识别并且相应地滤波。特别地，可以通过没有子采样的像素密度图来识别那些图像区域。仅在没有子采样或仅上采样的图像区域中，才期望由于重新映射，即透视投影，而在输出图像中引入额外的模糊。在那些图像区域中，可以应用清晰化，其中，然后使用关联相机及其相邻相机的像素密度值来定义滤波、峰值或模糊的量。从而，图像区域的不同清晰度可以彼此适应且清晰度差异可以减小。
总之，基于关联的和相邻的像素密度图，对相应原始图像进行空间自适应滤波。像素密度图可以指导要应用的空间自适应滤波。空间自适应滤波可以取决于相机关联的像素密度图以及共享相同重叠图像区域的相邻相机的像素密度图而用作空间平滑或模糊操作以及清晰化或峰值操作。特别地，可以形成用于减少干扰信号和峰值强度的空间低通滤波，以适应像素密度图，并且在两种情况下滤波都是空间适应的。由于基于关联相机和相邻相机的像素密度图对原始图像进行了空间自适应滤波，因此可以使模糊的图像区域清晰化，例如通过梯度峰化。此外，适当地，在另一原始图像中的相应重叠图像区域不能被足够清晰化的情况下，一个原始图像中的重叠图像区域可以在空间上被平滑。
然后将滤波后的原始图像重新映射到与目标视图或目标表面对应的图像表面。为了重新映射原始图像，执行原始图像的几何变换和原始图像像素的插值。然后，将那些重新映射的滤波后的原始图像合并以生成输出图像。由于预定目标视角特别地是第三人视角，其从车辆外部的观察者的角度示出了机动车辆以及机动车辆周围的环境区域，并且机动车辆本身不能被机动车辆侧相机捕获，插入了机动车辆模型以生成输出图像。
通过考虑相邻相机的像素密度图，可以在所得的输出图像中实现协调清晰度进步，因此可以生成降低在示出了环境区域中的相同部分区域的图像内容内的清晰度和模糊的干扰过渡的高质量输出图像，其可在显示装置上显示给机动车辆的驾驶员。
优选地，为每个相机确定每一个水平和每一个竖直像素密度图，以指示要滤波的原始图像的相应图像区域。这意味着通过关联相机的水平像素密度图和竖直像素密度图对相机的原始图像进行空间自适应滤波。另外，通过相邻相机的水平和竖直像素密度图对原始图像的对应图像区域进行空间自适应滤波。
在本发明的特别优选实施例中，对于每个相机，根据特定于关联相机的像素密度图并且根据特定于相应其他相机的像素密度图来定义相机特定的清晰度掩膜，其中根据捕获相应原始图像的相机的相应清晰度掩膜来对原始图像进行空间自适应滤波。可以规定，对于每个相机确定每一个水平和每一个竖直清晰度掩膜。可以根据特定于关联的以及特定于相应其他相机的水平像素密度图来确定水平清晰度掩膜。可以根据特定于关联的以及特定于相应其他相机的竖直像素密度图来确定竖直清晰度掩膜。
特别地，还根据关联相机的至少一个相机属性来定义相机特定的清晰度掩膜。优选地，将相应相机的镜头属性和/或相应相机的至少一个外在相机参数和/或相应相机的至少一个内在相机参数预定义为所述至少一个相机属性。所述至少一个相机属性也可以包括相机的预设，相机通过其已经执行了某些相机内部图像处理步骤。
换句话说，基于特定相机的像素密度图、相邻相机的像素密度图以及特定相机的所述至少一个相机属性，确定特定相机的相应清晰度掩膜。为了确定相机特定的清晰度掩膜，对于每个原始图像，首先可以基于相邻相机像素密度图在重叠区域中修改像素密度图，特别是竖直和水平像素密度图。此后，然后将获得的修改后的像素密度图与相机图像模型结合，该相机图像模型包括所述至少一个相机属性，例如，可能影响相机图像清晰度和清晰度的空间不连续性的光学器件和特定相机预设。清晰度掩膜是二维掩膜，通过该二维掩膜来预定义在各图像区域间变化的要执行的清晰化程度。其中，像素特别与清晰度掩膜中的每个元素关联，其中清晰度掩膜中的元素指定关联像素被滤波到什么程度。通过清晰度掩膜，可以考虑影响输出图像质量的相机属性，而这些属性可能不被像素密度图本身来考虑。
特别优选地，对于每个相机，根据相机特定的清晰度掩膜来确定用于对相应原始图像进行空间自适应滤波的相机特定的空间自适应滤波方案。因此，针对每个相机确定自适应滤波方案，这取决于相机特定的像素密度图、相邻相机(一个或多个)的像素密度图以及相机相关的属性，即相机特定的清晰度掩膜。以此方式可以产生高质量输出图像。
在本发明的发展中，对于在所述至少两个部分地重叠的原始图像中对对应的图像区域进行空间自适应滤波，第一原始图像中的图像区域的图像内容通过特定于捕获第一原始图像的相机的滤波方案而被清晰化，并且第二原始图像中的对应图像区域的图像内容被模糊或没有通过特定于捕获第二原始图像的相机的滤波方案而被滤波。特别地，基于相机特定的清晰度掩膜，将该原始图像识别为要清晰化的第一原始图像，其图像区域的清晰度比另一第二原始图像的图像区域的清晰度低。这种发展基于的认识是图像区域具有取决于环境区域的关联部分区域距离相机有多远的一定的清晰度差异。现在，为了防止所得的输出图像区域的图像质量由于该清晰度差异而降低，在生成输出图像之前减小该清晰度差异。除非另有说明，不同原始图像的图像区域的清晰度是协调的。至此，首先可以确定具有相同图像内容的相应图像区域的清晰度，从而确定重叠区域的清晰度。其中，一个原始图像中的图像区域具有低第一清晰度，该图像区域被清晰化，而另一个原始图像中的图像区域具有比第一清晰度高的第二清晰度，该图像区域被模糊或根本没有滤波。其中，特别是根据可基于相机特定的清晰度掩膜而被确定的清晰度差异来实现滤波方案的确定，从而确定清晰度适应度。
证明有利的是基于多尺度和多取向梯度方法来确定相机特定的空间自适应滤波方案。其中，可以规定，针对相应图像区域中的每个像素分别确定用于对相互对应的图像区域进行滤波的滤波方案的滤波特性和强度。使用多分辨率梯度方法，在要清晰化的原始图像的图像区域中，可以使梯度达到峰值或增强，而在要模糊的图像区域中，可以使梯度平滑。其中，针对重叠区域内的每个像素位置、对应的梯度幅度和每个相机图像确定滤波方案，以在重叠区域中实现清晰度适应的最佳程度。
在本发明的发展中，基于非抽取的小波变换来修改空间自适应滤波方案，其中，基于相机特定的清晰度掩膜自适应地修改小波系数。特别地，基于基于相机特定的清晰度掩膜而应用的转移色调映射功能来自适应地修改小波系数。因此，执行原始图像的基于小波的滤波。在最简单的情况下，色调映射功能或曲线可以具有固定的形状，并基于清晰度掩膜而被应用。有利地，色调映射曲线对于每个小波带具有不同的形状，并且可以基于对应的清晰度掩膜而被重新确定形状。
在基于小波变换的多尺度方法中，原始图像特别地首先被分解为多分辨率表示，其中在每个分辨率等级中，将原始图像进一步分解为不同的梯度取向带。基于转移色调映射函数或动态压缩函数自适应地确定小波系数，函数又根据相机特定的清晰度掩膜进行调适。最后，在对小波系数应用色调映射函数之后，应用小波逆变换以获得滤波后的原始图像，基于此可以生成目标视图的一部分。
证明有利的是，对于确定相机特定的空间自适应滤波方案，根据特定于关联相机的像素密度图并且根据特定于相应其他相机的像素密度图，针对小波变换的至少两个小波带定义至少两个相机特定的清晰度掩膜。例如，可以基于可用于水平取向的小波带的水平像素密度图来确定水平清晰度掩膜，并且可以基于可用于竖直取向的小波带的竖直像素密度图来确定竖直清晰度掩膜。
在本发明的实施例中，所述至少一个清晰度掩膜与小波带中的空间相邻区域统计量相结合。统计量分别涉及每个小波带中的空间相邻区域中的小波系数的相关性。另外，可以使用相同取向内的小波系数的尺度间相关性，以确定影响锥。该影响锥提供了每个取向上的小波系数如何通过尺度前进的信息。例如，如果该邻域内的相应小波系数的级数扩展通过许多分辨率尺度，则原始相机图像中的空间相邻位置将被视为包含重要特征。因此，该级数可用于估计绝对清晰度或估计清晰度增强将在视觉质量方面产生最大差异的地方。小波系数扩展的尺度越大，其就是越重要的特征。然后，证明有利的是，完全应用清晰度掩膜或使用最高级别的清晰度参数。相反，小级数对应于包括一些不应被放大的噪声的区域。这些空间相邻区域统计量与清晰度掩膜相结合有助于所应用的清晰度掩膜对空间局部小波系数邻域的更高水平的适应性，从而提供更准确的小波处理方案。
本发明还涉及一种用于机动车辆的相机系统，包括用于从机动车辆的环境区域捕获原始图像的至少两个相机以及适于执行根据本发明或其实施例的方法的图像处理装置。相机系统特别形成为环视相机系统，其包括用于捕获机动车辆前方的环境区域的前相机、用于捕获机动车辆后面的环境区域的后相机、以及用于捕获紧邻机动车辆的环境区域的两个后视镜相机。图像处理装置例如可以集成在车辆侧控制器中，并且形成为基于环视相机系统的原始图像或输入图像来生成输出图像。
根据本发明的机动车辆包括根据本发明的相机系统。机动车辆特别形成为乘用车。其中，相机尤其设置成分布在机动车辆处，从而可以监测机动车辆周围的环境区域。此外，机动车辆可以包括用于显示输出图像的显示装置，该显示装置例如设置在机动车辆的乘客舱中。
关于根据本发明的方法提出的优选实施例及其优点相应地适用于根据本发明的相机系统以及根据本发明的机动车辆。
对于“在……前面”、“在……后面”、“在……旁边”、“上方”、“左边”、“右边”、“侧面”等指示，规定了站在机动车辆前面并且沿机动车辆的纵向轴线的方向观看的观察者给出的位置和取向。
根据权利要求书、附图和附图说明，本发明的其他特征是显而易见的。在说明书中上面提到的特征和特征组合以及在下面附图说明中提到的和/或仅在附图中示出的特征和特征组合不仅可以在分别规定的组合中使用，而且可以在其他组合中或单独地使用而不脱离本发明的范围。因此，实施方式也应被认为是本发明所涵盖和公开的，其未在附图中明确示出并进行说明，而是由与所说明的实施方式分离的特征组合产生并可生成的。实施方式和特征组合也应被认为是公开的，因此不具有最初制定的独立权利要求的所有特征。此外，实施方式和特征组合应被认为是公开的，特别是通过以上阐述的实施方式，其超出或偏离权利要求的关系中阐述的特征组合。
附图说明
示出了：
图1是根据本发明的机动车辆的实施例的示意图；
图2a至2d是由机动车辆的四个相机从机动车辆的环境区域捕获的四个原始图像的示意图；
图3a是来自机动车辆的环境区域的重新映射的原始图像的示意图；
图3b是从重新映射的原始图像生成的顶视图图像的示意图；
图4是根据本发明的方法过程的实施例的示意图；
图5a、5b是机动车辆的后视镜(wing mirror)相机的水平和竖直像素密度图的示意图；以及
图6是后视镜相机的原始图像的示意图。
在附图中，相同以及功能相同的元件具有相同的附图标记。
具体实施方式
图1示出了机动车辆1，其在当前情况下形成为乘用车。在此，机动车辆1具有驾驶员辅助系统2，其可以辅助机动车辆1的驾驶员驾驶机动车辆1。驾驶员辅助系统2具有用于监测机动车辆1的环境区域4a、4b、4c、4d的环视相机系统3。目前，相机系统3包括设置在机动车辆1处的四个相机5a、5b、5c、5d。第一相机5a形成为前相机并且设置在机动车辆的前部区域6中。前相机5a适于从机动车辆1前方的环境区域4a捕获第一原始图像RC1(参见图2a)。第二相机5b形成为右后视镜相机并且设置在机动车辆1的右后视镜7处或代替其。右后视镜相机5b适于从环境区域4b向紧邻机动车辆1的右边捕获第二原始图像RC2(参见图2b)。第三相机5c形成为后相机并且设置在机动车辆1的后区域8中。后相机5c适于从机动车辆1后面的环境区域4c捕获第三原始图像RC3(参见图2c)。第四相机5d形成为左后视镜相机并且设置在机动车辆1的左后视镜9处或代替其。左后视镜相机5d适于从环境区域4d向紧邻机动车辆1的左边捕获第四原始图像RC4(参见图2d、图6)。其中，图2a、2b、2c、2d中所示的原始图像RC1、RC2、RC3、RC4被投影或重新映射到目标表面S，例如二维平面，以生成重新映射的原始图像R1、R2、R3、R4，如图3a所示。
另外，相机系统3具有图像处理装置10，其适于处理原始图像RC1、RC2、RC3、RC4，并通过组合重新映射的原始图像R1、R2、R3、R4来从原始图像RC1、RC2、RC3、RC4生成输出图像。输出图像在预定目标视图中表示机动车辆1和围绕机动车辆1的环境区域4。这样的目标视图可以是顶视图，使得顶视图图像可以生成为输出图像，其从观察者或机动车辆1上方的虚拟相机的角度示出了机动车辆1以及环境区域4。该输出图像可以显示在车辆侧显示装置11上。相机系统3和显示装置11因此形成相机监测系统形式的驾驶员辅助系统2，其通过以驾驶员可自由选择的任何期望的目标视图在显示装置11上显示机动车辆1的环境区域4来支持驾驶员。
其中，两个相邻相机5a、5b、5c、5d的原始图像RC1、RC2、RC3、RC4以及重新映射的原始图像R1、R2、R3、R4具有相互对应的图像区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b。例如，图像区域B1a位于已经由前相机5a捕获的第一重新映射的原始图像R1中。对应于图像区域B1a的图像区域B1b位于已经由右后视镜相机5b捕获的第二重新映射的原始图像R2中。图像区域B2a位于已经由右后视镜相机5b检测到的第二重新映射的原始图像R2中，并且对应的图像区域B2b位于已经由后相机5c捕获的第三重新映射的原始图像R3中等。这意味着相互对应的图像区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b分别具有相同的图像内容。这是由于两个相邻相机5a、5b、5c、5d的至少部分重叠的拍摄范围造成的。
特别地，在后视镜相机5b、5d的原始图像RC2、RC4和重新映射的原始图像R2、R4中，图像区域B1b、B2a、B3b、B4a模糊，因为这些图像区域B1b、B2a、B3b、B4a的图像内容在此源自于相机5b、5d的检测范围的边缘区域，并且还由于相机5b、5d的广角镜头而失真。如果现在将这些模糊的图像区域B1b、B2a、B3b、B4a与对应的但更清晰的图像区域B1a、B2b、B3a、B4b组合以生成输出图像，则在生成的输出图像中出现清晰可见的清晰度差异和不规则(erratic)的清晰度过渡。在图3b中，示例性地示出了顶视图图像T形式的输出图像。顶视图图像T从重新映射的原始图像R1、R2、R3、R4生成，从而插入机动车辆1的模型1'，因为机动车辆1本身无法被相机5a、5b、5c、5d检测到。由于不同清晰的对应图像区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b的组合，顶视图图像T包括具有清晰化差异的相应图像区域A1、A2、A3、A4。因此，图3b所示的顶视图图像T具有在顶视图图像T内具有明显的清晰度过渡形式的降低的图像质量。
为了至少减弱这种清晰可见的清晰度过渡并因此提高输出图像的图像质量，相机系统3的图像处理装置10设计为执行参考图4中的流程图12示意性地示出的方法。通过该方法，通过对要投影到目标表面S上的原始图像RC1、RC2、RC3、RC4进行空间自适应滤波并且通过将投影的滤波后的原始图像R1、R2、R3、R4插值到输出图像，可以在所得的输出图像中实现清晰度协调。
为此，在第一步骤13中，为每个相机5a至5d规定相机特定的像素密度图。相应的相机特定的像素密度图表示要在具有目标视图的输出图像中使用的原始图像RC1、RC2、RC3、RC4或对应重新映射的原始图像R1、R2、R3、R4中两个相邻像素位置之间的距离之比。由于在目标视图中该距离具有一定的参考值，因此在该特定位置处基于原始图像RC1、RC2、RC3、RC4中用于在具有目标视图的输出图像中生成像素的对应相邻像素的距离来计算像素密度图。取决于参考值，这对应于空间可变的子采样或上采样。在水平像素密度的情况下，该距离是沿水平方向的水平相邻距离，而在竖直像素密度的情况下，该距离是沿竖直方向的竖直相邻距离。借助于像素密度图，可以指定将要应用滤波的原始图像R1至R4的各图像区域或感兴趣区域(ROI)的位置以及要应用于这些图像区域的滤波的范围。
这里，特别地，针对每个相机5a至5d确定水平像素密度图和竖直像素密度图作为像素密度图。图5a示出了用于沿水平图像方向进行空间自适应滤波的水平像素密度图PDM1a、PDM2a，其中第一水平像素密度图PDM1a分配给左后视镜相机5d，而第二水平像素密度图PDM2a分配给右后视镜相机5b。图5b示出了用于沿竖直图像方向进行空间自适应滤波的竖直像素密度图PDM1b、PDM2b，其中第一竖直像素密度图PDM1b分配给左后视镜相机5d，第二竖直像素密度图PDM2b分配给右后视镜相机5b。为了清楚起见，在此未示出前相机5a和后相机5b的像素密度图。
在此，像素密度基于其值的大小在相应像素密度图PDM1a、PDM2a、PDM1b、PDM2b中的密度区域Z1、Z2、Z3、Z4、Z5中分组或聚类。因此，每个密度区域Z1、Z2、Z3、Z4、Z5分配给像素的某些对应的数字比率或对应的子采样比率。这里，在第一密度区域Z1中，具有最高值的像素密度被分组，其中密度值沿第五密度区域Z5的方向逐渐减小。因此，在第五密度区域Z5中，具有最低值的像素密度被分组。密度区域Z1、Z2、Z3、Z4、Z5可用于指定原始图像RC1、RC2、RC3、RC4中的干扰效果(所谓的假影)的严重性，其取决于因高度的纹理子采样(例如在碎石路面上)而在原始图像RC1、RC2、RC3、RC4中可出现的图像区域。像素密度越高，原始图像RC1、RC2、RC3、RC4中的属于密度区域Z1、Z2、Z3、Z4、Z5的图像区域中的干扰效果越强。
在第二步骤14中，彼此对应的图像区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b被识别，以便消除因不同清晰的对应重叠区域或图像区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b而导致的输出图像中的清晰化差异的问题。在第三步骤15中，为每个相机5a、5b、5c、5d确定相机特定的清晰度掩膜(sharpness masks)。清晰度掩膜是根据相应相机特定的像素密度图(此处仅示出了其中的像素密度图PDM1a、PDM2a、PDM1b、PDM2b)以及相邻相机5a、5b、5c、5d的像素密度图确定的。例如，基于前相机5a的像素密度图、右后视镜相机5b的像素密度图PDM2a、PDM2b以及左后视镜相机5d的像素密度图PDM1a、PDM1b来确定前相机5a的清晰度掩膜，特别是水平和竖直清晰度掩膜。基于右后视镜相机5b的像素密度图PDM2a、PDM2b、前相机5a的像素密度图以及后相机5c的像素密度图等来确定右后视镜相机5b的清晰度掩膜，特别是水平和竖直清晰度掩膜。此外，基于至少一个相机属性来确定相机特定的清晰度掩膜，所述相机属性例如相机镜头型号、相机5a、5b、5c、5d的图像传感器、相机设定、以及相应相机5a、5b、5c、5d的感兴趣图像区域的图像位置。因此，通过考虑借助于相机特定的清晰度掩膜来检测相应原始图像RC1、RC2、RC3、RC4的相机5a、5b、5c、5d的相机特性而独立地考虑每个相机图像RC1、RC2、RC3、RC4。借助于清晰度掩膜，可以逐像素地对原始图像RC1、RC2、RC3、RC4中的变形进行建模，所述变形例如由相机5a、5b、5c、5d的广角镜头引起。
基于图6中所示的左侧后视镜相机5d的原始图像RC4，可以看出原始图像RC4在图像中心M中最清晰，并且图像区(例如图像区域B3b、B4a)越远就越模糊。在此，该失真例如由左侧后视镜相机5d的鱼眼镜头形式的广角镜头引起。在第四步骤16中使用映射或描述原始图像RC4中的这种退化的相机特定的清晰度掩膜来确定用于原始图像RC1、RC2、RC3、RC4的滤波方案以进行空间自适应滤波。滤波方案特别是空间自适应滤波方案，其基于诸如小波的多尺度和多取向梯度方法。特别地，可以使用非抽取小波变换，其中通过专门设计的转移色调映射功能来自适应地修改小波系数。可以基于相机特定的清晰度掩膜来调整转移色调映射功能。
在第五步骤17中，使用所确定的滤波方案，基于相应相机5a、5b、5c、5d的清晰度掩膜对原始图像RC1、RC2、RC3、RC4进行空间自适应滤波。由此，基于关联相机5a、5b、5c、5d的清晰度掩膜对每个原始图像RC1、RC2、RC3、RC4进行滤波，特别是在水平和竖直方向上。基于前相机5a的清晰度掩膜对前相机5a的原始图像RC1进行滤波，基于右后视镜相机5b的清晰度掩膜对右后视镜相机5b的原始图像RC2进行滤波，基于后相机5c的清晰度掩膜对后相机5c的原始图像RC3进行滤波，以及基于左后视镜相机5d的清晰度掩膜对左后视镜相机5d的原始图像RC4进行滤波。特别地，清晰度掩膜用作引导图像，其可以例如在空间上限制滤波(例如低通滤波或梯度峰化)的滤波强度。例如，像素密度的值越高，可以选择越高的低通滤波强度，以减少干扰效果，其例如可以作为原始图像RC1、RC2、RC3、RC4中的闪烁效果发生。取决于相机特定或原始图像特定的清晰度掩膜并因此取决于原始图像RC1、RC2、RC3、RC4中干扰信号的图像区域相关严重性而进行的滤波防止在某些图像区域中以不必要的过强或过弱的方式对原始图像RC1、RC2、RC3、RC4进行滤波。
通过在对应的图像区域或重叠区域B1a和B1b、B2a和B2b、B3a和B3b、B4a和B4b中进行双重滤波，可以获得输出图像内从一个原始图像RC1、RC2、RC3、RC4到另一个原始图像RC1、RC2、RC3、RC4的更柔和的清晰度过渡。因此，可以借助于相应的清晰度掩膜来提供对于那些原始图像RC2、RC4的图像区域B1b、B2a、B3b、B4a的降低的滤波强度，其中图像区域B1b、B2a、B3b、B4a不如相应相邻的原始图像RC1、RC3的对应图像区域B1a、B2b、B3a、B4b清晰。例如，图像区域B1b、B2a、B3b、B4a由后视镜相机5b、5d检测，且由此比由前相机5a和后相机5c检测的图像区域B1a、B2b、B3a、B4b经受更大的失真。通过降低模糊不清的图像区域B1b、B2a、B3b、B4a中的滤波强度，这些区域被清晰化。这也称为“上采样”。相反，通过增加这些图像区域B1a、B2b、B3a、B4b的滤波强度，较清晰的图像区域B1a、B2b、B3a、B4b变得模糊。这也称为“下采样”。因此，相应像素密度图PDM1a、PDM1b、PDM2a、PDM2b既用于“上采样”又用于“下采样”。这防止原始图像RC1、RC2、RC3、RC4受到仅强或仅弱的滤波。
在第六步骤18中，然后将滤波后的原始图像RC1、RC2、RC3、RC4重新映射到图像表面S，以便生成重新映射的滤波后的原始图像R1、R2、R3、R4。在第七步骤19中，将那些重新映射的滤波后的原始图像R1、R2、R3、R4合并到输出图像，所述输出图像在预定目标视图(例如顶视图)中示出了机动车辆1和环境区域4。
总之，可以针对每个相机5a、5b、5c、5d单独确定像素密度图，特别是相应的竖直和水平像素密度图PDM1a、PDM1b、PDM2a、PDM2b，并且像素密度图PDM1a、PDM1b、PDM2a、PDM2b可以根据相邻像素密度图PDM1a、PDM1b、PDM2a、PDM2b被调整。基于此，可以根据相机设定和相应相机5a、5b、5c、5d的镜头安装为每个相机5a、5b、5c、5d确定二维空间清晰度掩膜，并且可以根据像素密度图PDM1a、PDM1b、PDM2a、PDM2b和清晰度掩膜为每个相机5a、5b、5c确定用于空间自适应滤波的特定滤波方案。这允许以协调清晰度并因此以高图像质量来确定输出图像。

Claims (14)

1.一种用于基于由至少两个车辆侧相机(5a、5b、5c、5d)捕获的至少部分重叠的原始图像(RC1、RC2、RC3、RC4)来生成具有示出机动车辆(1)和所述机动车辆(1)的环境区域(4)的预定义目标视图的输出图像的方法，包括以下步骤：
-指定相应的相机特定的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)，其每个描述了由有助于生成所述输出图像的关联相机(5a、5b、5c、5d)捕获的原始图像(RC1、RC2、RC3、RC4)的多个像素的图像区域相关的分布，
-基于表示图像区域相关的滤波程度的特定于关联相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)对原始图像(RC1、RC2、RC3、RC4)进行空间自适应滤波，
-在所述至少两个相机(5a、5b、5c、5d)的所述至少部分重叠的原始图像(RC1、RC2、RC3、RC4)中识别相互对应的图像区域(B1a、B1b、B2a、B2b、B3a、B3b、B4a、B4b)，
-对一个相机(5a、5b、5c、5d)的原始图像(RC1、RC2、RC3、RC4)的图像区域(B1a、B1b、B2a、B2b、B3a、B3b、B4a、B4b)进行空间自适应滤波，其基于特定于相应其他相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)进行，以减小对应的图像区域(B1a、B1b、B2a、B2b、B3a、B3b、B4a、B4b)之间的清晰度差异，
-将滤波后的原始图像(RC1、RC2、RC3、RC4)重新映射到与目标视图对应的图像表面，以生成重新映射的滤波后的原始图像(R1、R2、R3、R4)，
-通过组合重新映射的滤波后的原始图像(R1、R2、R3、R4)来生成所述输出图像。
2.根据权利要求1所述的方法，其特征在于，
对于每个相机(5a、5b、5c、5d)，确定水平和竖直像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)，以指示所述原始图像(RC1、RC2、RC3、RC4)的要被滤波的相应图像区域。
3.根据权利要求1或2所述的方法，其特征在于，
对于每个相机(5a、5b、5c、5d)，根据特定于关联相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)并且根据特定于相应其他相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)来定义相机特定的清晰度掩膜，其中，根据捕获相应原始图像(RC1、RC2、RC3、RC4)的相机(5a、5b、5c、5d)的相应清晰度掩膜来对原始图像(RC1、RC2、RC3、RC4)进行空间自适应滤波。
4.根据权利要求3所述的方法，其特征在于，
还根据关联相机(5a、5b、5c、5d)的至少一个相机属性来定义相机特定的清晰度掩膜。
5.根据权利要求4所述的方法，其特征在于，
作为所述至少一个相机属性，预定义相应相机(5a、5b、5c、5d)的镜头属性和/或相应相机(5a、5b、5c、5d)的至少一个外在相机参数和/或相应相机(5a、5b、5c、5d)的至少一个内在相机参数。
6.根据权利要求3至5中任一项所述的方法，其特征在于，
对于每个相机(5a、5b、5c、5d)，根据关联相机特定的清晰度掩膜来确定用于对相应原始图像(RC1、RC2、RC3、RC4)进行空间自适应滤波的相机特定的空间自适应滤波方案。
7.根据权利要求6所述的方法，其特征在于，
对于在所述至少两个至少部分重叠的原始图像(RC1、RC2、RC3、RC4)中对对应的图像区域(B1a、B1b、B2a、B2b、B3a、B3b、B4a、B4b)进行空间自适应滤波，所述原始图像(RC2、RC4)中的第一个中的图像区域(B1b、B2a、B3b、B4a)的图像内容通过特定于捕获第一原始图像(R2、R4)的相机(5b、5d)的滤波方案而被清晰化，并且所述原始图像(RC1、RC3)中的第二个中的对应图像区域(B1a、B2b、B3a、B4b)的图像内容被模糊或没有通过特定于捕获所述第二原始图像(RC1、RC3)的相机(5a、5c)的滤波方案而被滤波。
8.根据权利要求6或7所述的方法，其特征在于，
基于多尺度和多取向梯度方法来确定相机特定的空间自适应滤波方案。
9.根据权利要求8所述的方法，其特征在于，
基于非抽取的小波变换来确定所述空间自适应滤波方案，其中，基于相机特定的清晰度掩膜在空间上自适应地修改小波系数。
10.根据权利要求9所述的方法，其特征在于，
基于在相机特定的清晰度掩膜上对齐的转移色调映射功能来自适应地修改所述小波系数。
11.根据权利要求9或10所述的方法，其特征在于，
对于确定所述相机特定的空间自适应滤波方案，根据特定于关联相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)并且根据特定于相应其他相机(5a、5b、5c、5d)的像素密度图(PDM1a、PDM1b、PDM2a、PDM2b)，针对所述小波变换的至少两个小波带定义至少两个相机特定的清晰度掩膜。
12.根据权利要求9至11中任一项所述的方法，其特征在于，
所述至少一个清晰度掩膜与小波带中的空间相邻区域统计量相结合，其中，所述统计量分别描述每个小波带中的空间相邻区域中的小波系数的相关性。
13.一种用于机动车辆(1)的相机系统(3)，包括用于从所述机动车辆(1)的环境区域(4)捕获至少部分重叠的原始图像(RC1、RC2、RC3、RC4)的至少两个相机(5a、5b、5c、5d)、以及设计成执行根据前述权利要求中任一项所述的方法的图像处理装置(10)。
14.一种机动车辆(1)，包括根据权利要求13所述的相机系统(3)。
CN201880076412.XA 2017-10-10 2018-10-10 生成在预定目标视图中示出机动车辆及其环境区域的图像的方法、相机系统以及机动车辆 Active CN111406275B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017123452.7A DE102017123452A1 (de) 2017-10-10 2017-10-10 Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
DE102017123452.7 2017-10-10
PCT/EP2018/077588 WO2019072909A1 (en) 2017-10-10 2018-10-10 METHOD FOR GENERATING AN OUTPUT IMAGE REPRESENTING A MOTOR VEHICLE AND AN ENVIRONMENTAL AREA OF THE MOTOR VEHICLE IN A PREDETERMINED TARGET VIEW, A CAMERA SYSTEM, AND A MOTOR VEHICLE

Publications (2)

Publication Number Publication Date
CN111406275A true CN111406275A (zh) 2020-07-10
CN111406275B CN111406275B (zh) 2023-11-28

Family

ID=63840843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076412.XA Active CN111406275B (zh) 2017-10-10 2018-10-10 生成在预定目标视图中示出机动车辆及其环境区域的图像的方法、相机系统以及机动车辆

Country Status (7)

Country Link
US (1) US20200396394A1 (zh)
EP (1) EP3695374A1 (zh)
JP (1) JP7053816B2 (zh)
KR (1) KR102327762B1 (zh)
CN (1) CN111406275B (zh)
DE (1) DE102017123452A1 (zh)
WO (1) WO2019072909A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
CN112132751B (zh) * 2020-09-28 2023-02-07 广西信路威科技发展有限公司 基于频域变换的视频流车身全景图像拼接装置和方法
DE102022120236B3 (de) 2022-08-11 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142130A (zh) * 2011-04-11 2011-08-03 西安电子科技大学 基于小波域增强型图像掩膜的水印嵌入方法及装置
CN103914810A (zh) * 2013-01-07 2014-07-09 通用汽车环球科技运作有限责任公司 用于动态后视镜的图像超分辨率
WO2016012288A1 (en) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
CN107154022A (zh) * 2017-05-10 2017-09-12 北京理工大学 一种适用于拖车的动态全景拼接方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173552B2 (ja) * 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法
KR20110077693A (ko) * 2009-12-30 2011-07-07 주식회사 동부하이텍 이미지 처리 방법
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
ES2693497T3 (es) * 2015-06-15 2018-12-12 Coherent Synchro, S.L. Procedimiento, aparato e instalación para componer una señal de video
DE102016224905A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Fusionieren von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142130A (zh) * 2011-04-11 2011-08-03 西安电子科技大学 基于小波域增强型图像掩膜的水印嵌入方法及装置
CN103914810A (zh) * 2013-01-07 2014-07-09 通用汽车环球科技运作有限责任公司 用于动态后视镜的图像超分辨率
WO2016012288A1 (en) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
CN107154022A (zh) * 2017-05-10 2017-09-12 北京理工大学 一种适用于拖车的动态全景拼接方法

Also Published As

Publication number Publication date
JP2020537250A (ja) 2020-12-17
JP7053816B2 (ja) 2022-04-12
US20200396394A1 (en) 2020-12-17
EP3695374A1 (en) 2020-08-19
KR20200052357A (ko) 2020-05-14
CN111406275B (zh) 2023-11-28
DE102017123452A1 (de) 2019-04-11
KR102327762B1 (ko) 2021-11-17
WO2019072909A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN111406275B (zh) 生成在预定目标视图中示出机动车辆及其环境区域的图像的方法、相机系统以及机动车辆
US8421865B2 (en) Method for calibrating a vehicular camera system
DE102008031784B4 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
EP1975673A2 (en) Display for an automotive night vision system
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE112018000171T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
CN106462996A (zh) 无失真显示车辆周边环境的方法和装置
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013114996A1 (de) Bildsuperauflösung für dynamischen Rückspiegel
DE102021124986A1 (de) Bildeinfärbung für fahrzeugkamerabilder
CN108694708A (zh) 基于图像边缘提取的小波变换图像融合方法
JP2009515467A (ja) 画像の改善
DE102020109997A1 (de) System und Verfahren, um zuverlässige gestitchte Bilder zu machen
DE102013220013A1 (de) Abbildungsflächenmodellierung für die Kameramodellierung und für die Synthese virtueller Ansichten
WO2019057807A1 (en) HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE
CN116245722A (zh) 一种应用于重高型车辆的全景影像拼接系统及方法
CN110809780B (zh) 生成合并的视角观察图像的方法、相机系统以及机动车辆
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
WO2018060409A1 (en) Method for reducing disturbing signals in a top view image of a motor vehicle, computing device, driver assistance system as well as motor vehicle
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
US10614556B2 (en) Image processor and method for image processing
DE102018121280A1 (de) Graphikprozessor und Verfahren zum Filtern eines Ausgangsbildes zum Reduzieren eines Aliasing-Effekts
CN218877068U (zh) 具有图像合成功能的数字式后视镜、车机系统和车辆
DE102016112483A1 (de) Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant