CN107430764A - 图像合成装置和用于合成图像的方法 - Google Patents

图像合成装置和用于合成图像的方法 Download PDF

Info

Publication number
CN107430764A
CN107430764A CN201680019894.6A CN201680019894A CN107430764A CN 107430764 A CN107430764 A CN 107430764A CN 201680019894 A CN201680019894 A CN 201680019894A CN 107430764 A CN107430764 A CN 107430764A
Authority
CN
China
Prior art keywords
image
scene
video camera
assist system
drive assist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019894.6A
Other languages
English (en)
Other versions
CN107430764B (zh
Inventor
H·内梅特
M·哲埃里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Original Assignee
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH filed Critical Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Publication of CN107430764A publication Critical patent/CN107430764A/zh
Application granted granted Critical
Publication of CN107430764B publication Critical patent/CN107430764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

一种用于驾驶辅助系统的图像合成装置(100)，包括接收模块(110)和组合模块(120)。所述驾驶辅助系统包括配置成能从第一场景拍摄第一图像(211)的第一摄像机(201)和配置成能从第二场景拍摄第二图像(212)的第二摄像机(202)，其中，第一场景和第二场景在重叠区域中部分地重叠。接收模块(110)配置成：能从第一摄像机(201)接收第一图像(211)以及从第二摄像机(202)接收第二图像(212)。组合模块(120)配置成：能使用二元掩模(130)在重叠区域中组合第一图像(211)和第二图像(212)。

Description

图像合成装置和用于合成图像的方法
技术领域
本发明涉及一种图像合成装置和一种用于合成图像的方法，尤其涉及用于车辆中的环视系统的基于二元掩模的图像合成。
背景技术
用于乘用车的从鸟瞰图显示车辆的环视系统可从多个制造商获得。对于商用车也可获得几种解决方案，其中，多个摄像机通常用于覆盖车辆的各侧。这些多个摄像机可产生部分地重叠的视图，所述视图应当在重叠区域中组合(合成)以获得组合图像。否则的话，同一对象的两个单独的视图会使驾驶员困惑。
尽管形成车辆的鸟瞰图是通常的驾驶辅助应用，但是，在两个摄像机的视图要被组合起来的区域中，对象的可视性仍不是最佳的。由于摄像机图像到地面的投射，竖直对象在鸟瞰图图像中投影成使得它们看起来沿着远离摄像机(即，从摄像机地面点径向地)延伸的线。因此，在两个摄像机的视图相交的位置处，对象投影到另一摄像机可见的区域中。这可在鸟瞰图中导致对象的消失。
可获得的系统使用了不同的方法来将图像合成为单个鸟瞰图。一种简单的方式是通过直线分离图像的重叠部分，从而回避该问题，尽管代价是在对象穿过该线时在视图中产生突变。另一方式是允许图像重叠，但是围绕接合线应用不同类型的混合方法，以便获得从一个摄像机视图到另一摄像机视图的过渡。
传统的混合方法通过在重叠区域中添加不同视图的平滑变化的比例而从一个图像到另一图像形成梯度过渡来组合图像。该梯度混合区域可窄(产生急剧的过渡)或者可宽(产生缓慢的过渡)。对于窄混合区域，由于竖直图像在鸟瞰图中的投影，对象(例如障碍物)的大部分可能消失。另一方面，在宽混合的情况下，障碍物可能出现两次(重影)。
因此，需要这样一种图像合成装置，其能克服上述问题，且尤其能产生给予驾驶员对所绘制的场景的信心的组合图像。
发明内容
本发明通过提供根据权利要求1的图像合成装置、根据权利要求9的驾驶辅助系统以及根据权利要求13的合成图像的方法而解决上述问题。从属权利要求涉及独立权利要求的主题的特别有益的实施方式。
根据本发明，用于驾驶辅助系统的图像合成装置包括接收模块和组合模块，其中，驾驶辅助系统包括配置成能从第一场景拍摄第一图像的第一摄像机和配置成能从第二场景拍摄第二图像的第二摄像机，第一场景和第二场景可在重叠区域中至少部分地重叠。接收模块配置成能从第一摄像机接收第一图像以及从第二摄像机接收第二图像。组合模块配置成能在重叠区域中使用二元掩模组合第一图像和第二图像。
接收模块和组合模块应广义地理解成涉及能够提供相应功能的任何实体。尤其地，所述模块应在(例如驾驶辅助系统的)控制单元中实施，例如作为软件模块，以使控制单元能够提供所限定的功能。
二元掩模可限定识别出待掩蔽的部分的型式(其可被绘制为黑/白图片)。例如，如果二元掩模被示出为黑/白图片，且当将掩模应用于第一图像(例如“置于”第一图像之上)，则可从图像中切除或忽略白色部分，而黑色部分保持不变。此外，当将相同的二元掩模应用于第二图像时，可从图像中切除或忽略黑色部分，而白色部分保持不变。由于使用相同的掩模，且由于型式是互补的，所以两个掩蔽的图像可彼此组合而产生组合图像。
因此，与梯度掩模相反，基于二元掩模的掩模不添加图像部分(例如，像素值)，而是两个图像在相邻图像部分(或像素)中共存，且如随后将更详细地解释的那样，这提高了对象在重叠区域中的可视性。尤其地，在组合图像中减少了重影，且不产生突变。
因此，在另一实施例中，二元掩模包括具有第一组多个第一部分和第二组多个第二部分的型式，其中，组合模块配置成：能在第一部分中绘制第一图像的相应部分并在第二部分中绘制第二图像的相应部分。所产生的组合图像代表在重叠区域中第一图像和第二图像沿着至少一个方向的交替视图。每个部分可包括一个或多个像素，且图像的部分可理解为相应的像素值。在等价实施方式中，接收模块配置成能执行所描述的掩模，即，在第一图像中识别保持不变的第一部分，且将其余部分替换为来自第二图像的相应图像数据。将再次产生包括来自第一和第二图像的交替图像数据的图像，但是该过程由不同的组件(模块)来执行。
在又一实施例中，第一场景可邻近于车辆的第一侧，且第二场景可邻近于车辆的第二侧，其中，第二侧垂直于车辆的第一侧(或成任何其他角度)，且重叠区域可以是车辆的拐角区域。组合模块可配置成：能将第一图像和第二图像组合成第一场景和第二场景的鸟瞰图。两个摄像机也可沿着车辆的同一侧(例如，对于长车辆而言)布置。在这种情况下，重叠区域可以是与两个摄像机等距离间隔开(即，中间点周围)的区域，或者重叠区域是车辆的整侧。
另外，由二元掩模限定的型式可能是不均匀的，以实现第一和第二图像之间的平滑过渡。因此，在又一实施例中，当在组合图像中沿着一路径从第一场景至第二场景时，第一部分的密度与第二部分的密度相比减小。例如，当从第一场景转换至第二场景时，减小的密度可根据围绕车辆的拐角从0至90°的角度或离重叠区域的边缘的距离而单调地变化。在其他实施例中，当重叠区域较窄且图像数据之间的差异较小时，二元掩模可以是均匀的。
对于一些应用，有益的是将二元掩模与融合混合相组合，即，限定二元掩模的型式中的部分，其中，添加第一和第二图像的图像数据。因此，所产生的掩模是二元掩模和混合掩模的组合。因此，在又一实施例中，该型式还包括第三组多个融合部分，且组合模块还可配置成：能将第一图像的相应部分与第二图像的相应部分混合，且在相应的融合部分处绘制混合部分。例如，组合模块可以以预定比例(例如20：80或50：50或30：70或任何其他比例)在混合部分中添加第一图像的相应像素值与第二图像的像素值。
组合模块还可配置成：能组合来自两个以上摄像机的图像，且通过组合来自车辆的每侧的图像来生成车辆的环绕视图。此外，组合模块可通过组合来自至少三个摄像机的三个图像来生成半环绕视图，所述至少三个摄像机拍摄来自车辆的三侧的图像。
本发明还涉及一种驾驶辅助系统。该驾驶辅助系统包括如前所述的图像合成装置，此外还包括配置成能从第一场景拍摄第一图像的第一摄像机和配置成能从第二场景拍摄第二图像的第二摄像机，其中，第一场景和第二场景在重叠区域中部分地重叠。
该驾驶辅助系统还可包括显示器和控制单元，控制单元可配置成：能从图像合成装置接收组合图像，并通过将第一图像与第二图像和组合图像组合而形成鸟瞰图。显示器可配置成能向驾驶员显示所述鸟瞰图。该驾驶辅助系统还可包括两个以上的摄像机，从而如连同第一和第二图像所描述的那样，控制单元可通过两两地组合相邻图像来生成车辆的环绕视图或半环绕视图。
另外，当第一部分和/或第二部分中的全部或一些具有相同的尺寸时，该尺寸或第一和/或第二部分的数量可取决于显示器的分辨率。
本发明还涉及一种具有驾驶辅助系统的车辆，其中，第一摄像机和第二摄像机沿着车辆的一侧或在车辆的两个相邻侧上布置。第一和第二摄像机定位成能拍摄至少部分地重叠的图像。
本发明还涉及一种用于使用驾驶辅助系统来合成图像的方法，所述驾驶辅助系统具有第一摄像机和第二摄像机，其中，第一摄像机配置成能从第一场景拍摄第一图像，第二摄像机配置成能从第二场景拍摄第二图像，第一场景和第二场景在重叠区域中(部分地)重叠。该方法包括接收来自第一摄像机的第一图像和来自第二摄像机的第二图像，和在重叠区域中使用二元掩模组合第一图像和第二图像。
该方法也可在软件或计算机程序载体中实施。因此，本发明还涉及一种计算机程序载体，该计算机程序载体上存储有当计算机程序在计算机或处理器上执行时用于实施上述方法的程序代码。此外，先前关于图像合成装置或驾驶辅助系统所描述的所有功能可实现为另外的方法步骤，且可在软件或软件模块中实施。
附图说明
以下将仅通过示例并根据附图来描述本发明的各个实施例，在附图中：
图1绘制了根据本发明的一个实施例的图像合成装置；
图2示出了根据本发明的一个实施例的方法；
图3绘制了实施将两个输入图像组合成合成图像的方法的另一实施例；
图4根据实施例对传统的梯度混合与二元混合进行了比较；
图5绘制了用于二元掩模的不同的像素组合，以便实现从一个图像到另一图像的平滑过渡；
图6示出了如何从两个单独的摄像机视图来形成合成图像；以及
图7a、b示出了二元混合掩模和融合的二元混合掩模。
具体实施方式
图1绘制了用于驾驶辅助系统的图像合成装置100，其包括接收模块110和组合模块120。驾驶辅助系统包括配置成能从第一场景拍摄第一图像211的第一摄像机201和配置成能从第二场景拍摄第二图像212的第二摄像机202，其中，第一图像211和第二图像212在重叠区域中重叠。第一和第二图像211、212可部分地重叠(例如，车辆的拐角区域)或完全地重叠。如果第一和第二摄像机201、202从车辆的一侧、但是以不同的视角拍摄图片，从而从不同侧看到图像上的对象，就可能产生完全重叠。
接收模块110配置成能从第一摄像机201接收第一图像211以及从第二摄像机202接收第二图像212。组合模块120配置成能使用二元掩模130来在重叠区域中组合(合成)第一图像211和第二图像212。组合模块120还可适于将组合(合成)图像123输出至显示单元(未示出)。接收模块110和组合模块120都可在驾驶辅助系统的控制单元中实施。例如，接收模块可以是输入接口，且组合单元120可实施为软件模块。
图2示出了用于使用二元掩模130来合成图像的方法的一个实施例，且该方法可由如图1所示的图像合成装置来执行。因此，该方法包括以下步骤：接收S110来自第一摄像机201的第一图像211和来自第二摄像机202的第二图像212，和在重叠区域中使用二元掩模130组合S120第一图像211和第二图像212。
图3示出了本发明方法的具有其他可选步骤的另一实施例。在第一步骤S211中，第一图像211(图像1)由第一摄像机201拍摄，并由接收模块110接收。在步骤S212中，第二图像212(图像2)由第二摄像机202拍摄，并由接收模块110接收。
在步骤S111中通过第一掩模调制第一图像211，且在步骤S112中通过第二掩模调制第二图像212。两个图像都可包括多个像素，且图像数据是像素值(例如，亮度和/或颜色)。重叠区域绘制了同一场景，尽管两个摄像机示出了可能不同的视角。重叠区域也可以以多个像素为特征。当将二元掩模应用于该重叠区域时，重叠区域的像素被选择以绘制第一图像211或第二图像212，但不是两者或两者的融合。因此，第一和第二掩模可彼此互补，即，第一图像211的掩模(或调制)从来自第一图像211的多个像素中选择第一组像素，且第二图像212的掩模从来自第二图像212的多个像素中选择第二组像素(不同于第一组)。
随后，在步骤S120中，使用二元掩模来组合调制的第一图像和调制的第二图像，且最后，在步骤S130中，在例如驾驶辅助系统的显示器上显示合成图像123。
图4进一步示出了使用二元掩模对两个图像的组合与使用传统梯度混合对两个图像的组合(其在图4的左侧示出)的比较。在该传统方法中，组合第一图像211和第二图像212，以使得在组合图像223的左侧，绘制了第一图像211，其逐渐转换至组合图像223右侧的第二图像212。在该示例中，第一图像211被简单地绘制为黑色图像，而第二图像212被绘制为白色图像。应当理解，黑色/白色图像211、212仅出于简化目的而不是作为限制——在其他实施例中，第一和第二图像211、212可是任何带颜色的或灰度图像。
在图4的右侧，示出了二元混合。同样，使用二元掩模来组合作为黑色图像的第一图像211和作为白色图像的第二图像212，以生成合成图像123。同样，合成图像123在左侧示出了第一图像211，其逐步地转换至合成图像123右侧上的第二图像212。
对于实际情况而言，(黑色)第一图像211和(白色)第二图像212可替换为任何图像，从而在二元混合中，组合图像123中的任何黑色像素(点)都应替换为相应的第一图像的相应图像数据，且任何白色像素(点)都应替换为第二图像的相应图像数据。
传统梯度混合(左侧)广泛用于添加像素值的传统系统中。右侧的二元混合掩模产生两个图像的交替视图。这提供的优点是，支持人眼和大脑组合摄像机视图并过滤混合区域中较少相关和更相关的信息的能力。
图5示出了当从一个图像(例如，黑色图像)转换至另一个图像(例如，白色图像)时二元掩模130的更多细节。由于像素数不能连续变化，因此，当从第一图像转换至第二图像且使用二元掩模时不能实现连续修改。相反，调整逐步地进行。
详细地讲，图5绘制了用于从一个图像尽可能平滑地过渡到另一个图像的不同的像素组合。框盒中的一个方块可对应于一个像素，从而每个方形包括8×8＝64像素。百分比由框盒中的黑色像素的数量除以像素数(即64)来得出。例如，归属于31％的框盒包括总共64个像素的20个黑色像素。在该示例中，8×8像素部分包含4个相同的4×4型式，从而使过渡的可视性更好。应当理解，在该实施例中绘制的8×8像素组合仅仅是一个示例，在其他实施例中，其他数量的像素也是可能的。
因此，通过二元掩模130，第一图像211和第二图像212之间的插补可如下获得。在第一步骤中，当从第二图像212开始时，每个4×4型式分别包含一个黑色像素211a，从而意味着总图像的仅6％被第一图像211覆盖，而其余部分被第二图像212覆盖。在随后的步骤中，总图像的13％被第一图像211覆盖(即每个4×4型式中两个黑色像素)，而其余的像素被第二图像212覆盖。在每个随后的框盒中，在每个4×4型式中相应地添加一个附加的黑色像素211a，直到在每个4×4型式中相应地保留仅一个白色像素212a，且在最后，100％的像素绘制第一图像211。因此，该掩模130中的每个黑色部分131(像素)绘制第一图像数据，而该掩模130中的每个白色部分132(像素)绘制第二图像数据。因此，黑色像素的增加的比例实现了从第二图像212到第一图像211的插补(当黑色/白色部分替换为相应的图像数据时)。
因此，如图4的底部所绘制的所产生的图像123可通过从左侧到右侧排列如图5所示的顺序来实现，而黑色部分是与第一摄像机201相关联的相应像素，且白色部分是与第二摄像机202相关联的相应像素。同样，黑/白像素替换为第一/第二图像的实际图像数据。也可在图像140的整个高度上重复这些8×8像素排列。
图6示出了如何从两个完全重叠的、但显示不同视角的两个单独的摄像机视图来创建合成图像。合成图像总是部分地示出第一摄像机视图211并部分地示出第二摄像机视图212。根据两个图像211、212如何组合，对象可从一个或另一个摄像机透视地或从两个摄像机部分地看到。尤其地，图6绘制了一个示例，其中，第一摄像机201和第二摄像机202从不同的视角拍摄作为对象400的人。
在左侧，示出了两个图像211、212的梯度混合。将由第一摄像机210拍摄的第一图像211与由第二摄像机202拍摄的第二图像212组合。所产生的合成图像223示出了两个对象400a、400b，这两个对象400a、400b由于第一和第二摄像机201、202的不同视角而在不同方向上延伸。
为了组合这两个图像，应用掩模230，其限定由摄像机拍摄的图像之间的平滑过渡。通过与第二图像212(掩模230中的白色部分)相比以增加的比例添加第一图像211(掩模230中的黑色部分)的像素值来实现从第一图像211到第二图像212的过渡。因此，在合成图像223右侧中，示出了第二图像212(在该位置处简单地成白色)，其在合成图像223的左侧转换至第一图像211，在那个位置处再次是白色的。仅在两个图像的中间区域中，合成图像223示出灰色对象，其是第一图像211和第二图像212在该中间点的组合。
当考虑非黑/白图像，而是真实带颜色的或灰度图像时，传统的梯度混合产生两个褪色的(重影)对象400a、400b，如从图6左侧底部的图片240可见，其中，由第一摄像机201和第二摄像机202拍摄的对象是人。同样，对象400在第一图像211和第二图像212中以一角度出现与第一摄像机201和第二摄像机202在拍摄对象400时的不同拍摄角度(视角)有关。
在图6的右侧，第一图像211和第二图像212再次绘制了通过第一摄像机201和第二摄像机202从不同侧拍摄的对象400。然而，当组合第一图像211和第二图像时212时，应用二元掩模130来生成合成图像123。该二元掩模130实现了从右侧的第二图像212到左侧所绘制的第一图像211的变化。
与传统的梯度混合相比，如在图5中所描述的那样，使用二元掩模130在从右侧转换至左侧时产生离散的变化。因此，当使用二元掩模时，不将图像数据相加(例如对于给定的像素)，而是使组合图像123的每个像素都与第一图像或第二图像相关。这可通过将二元掩模130“置于”图像123上并将组合图像中的黑色像素替换为第一图像211的像素值以及将白色像素替换为第二图像212的相应像素值来实现。
与通过应用传统梯度混合而获得的图片240相比，根据本发明获得的图片140将对象绘制得更清晰且更锐，并避免了如图片240所示的重影表现。因此，二元混合可提高所得到的图像中对象的可视性。
图7a和7b示出了二元掩模的示例。
在图7a中，第一图像211和第二图像212将通过掩模130均匀地分布(例如，图5中的50％视图)。同样，黑色部分131将绘制第一图像211，而白色部分132可绘制第二图像212。因此，不存在第一图像211和第二图像212的融合，而是每个像素或每个像素部分将绘制第一图像211或第二图像212，而非两者(不实施融合)。
图7b绘制了将二元掩模与灰度掩模组合的二元掩模135的另一实施例。同样，在黑色部分131中可绘制第一图像211，且在白色部分132中可绘制第二图像212。灰度部分133将绘制第一图像和第二图像211、212的组合(即，图像数据在这些像素中相加)，即，灰色像素是将由根据预定灰度级组合两个图像而产生的合成图像的像素。例如，如果灰度为50％，则合成图像的像素将是两个图像中的像素的平均值。
例如，图7a、b所示的每个黑色、白色或灰色方块131、132、133可表示相应的第一和/或第二图像211，212的一个或更多个像素。例如，对于任何整数N，M＝1，2，3，4，5...而言，每个方块可对应于N×M个像素。这些数可基于用于向驾驶员显示合成图像的显示器的分辨率来选择。
还应理解，黑色和白色仅用于区分两个二元选项，即，将在这些部分插入或绘制第一图像的图像数据还是第二图像的图像数据。图7中所使用的黑色和/或白色与相应图像的实际颜色之间没有相关性。
可自由选择灰度方块中使用的特定比例。此外，还可实现其他灰度级。然而，即使实现了多灰度部分，仍然存在仅绘制第一图像211的像素和仅绘制第二图像212的其他像素。这提供的优点是，用户可更容易地识别合成图像中的对象，从而提高对象(例如车辆周围的人)的可视性。
用于商业车的传统环视系统不使用任何混合，或它们应用梯度混合来合成摄像机图像。这种方法的缺点是导致车辆周围的对象不正确的可视性。本发明提高了来自两个摄像机的图像被合成的区域中的对象的可视性。尤其地，图像合成中的像素的非相加性组合使得即使在混合区域中也实现了对象的最大可视性。
与传统混合方法相比，各种是实施例的有利方面可概括如下：
本发明的其他有利实施例涉及一种用于驾驶辅助系统的图像合成方法，该驾驶辅助系统包括：两个或更多个摄像机；图像合成装置，其特征在于，使用二元掩模将来自摄像机的场景的视图组合成一个视图。
该图像合成方法的特征还在于，掩模所具有的型式在多个图像被组合的区域中产生了多个摄像机视图的交替视图。
该图像合成方法的特征还在于，图像的像素也可组合。
本发明使得能够在鸟瞰图中来自一摄像机图像的像素即使在另一摄像机的区域也能被看出。两个视图在彼此中存在。以这种方式，即使在对象投射到另一摄像机视图的区域时，该对象也仍可见。该解决方案利用了人眼和大脑的从所见的视图过滤掉关联信息的特征。该方法使得驾驶员也能够容易地识别接合区域中的图像。
在此所描述的所有方法也可以是计算机实施的方法。本领域技术人员将易于理解的是，上述各种方法的步骤可通过被编程的计算机来实施。各个实施例也意图涵盖程序存储设备、例如数字数据存储介质，其是机器或计算机可读的以及编码机器可执行的或计算机可执行的程序指令，其中，该指令在计算机或处理器上执行时，实施上述方法的一些或所有步骤。
说明书和附图仅阐释了本公开的原理。因此，应当理解，本领域技术人员将能够想到各种布置，尽管这些布置在此未明确描述或示出，但是却能够体现本公开的原理且被包括在其范围内。
另外，尽管每个实施例可自行作为单独的示例，但是应当注意，在其他实施例中，所限定的特征可不同地组合，即，在一个实施例中描述的特定特征也可在其他实施例中实现。这种组合被本公开所涵盖，除非表示特定的组合并非期望的。
附图标记列表
100 图像合成装置
110 接收模块
120 组合模块
123 组合图像
130 二元掩模
131 第一部分/像素
132 第二部分/像素
133 融合部分/像素
135 融合二元掩模
140 通过二元掩模的组合图片
201 第一摄像机
202 第二摄像机
211 第一图像
211a 第一图像的像素
212 第二图像
212a 第二图像的像素
223 传统组合图像
230 梯度掩模
240 传统组合图片
400 对象

Claims (13)

1.一种图像合成装置(100)，其用于驾驶辅助系统，所述驾驶辅助系统包括配置成能从第一场景拍摄第一图像(211)的第一摄像机(201)和配置成能从第二场景拍摄第二图像(212)的第二摄像机(202)，其中，第一场景和第二场景在重叠区域中部分地重叠，所述图像合成装置(100)包括：
接收模块(110)，其配置成：能从第一摄像机(201)接收第一图像(211)以及从第二摄像机(202)接收第二图像(212)；和
组合模块(120)，其配置成：能在重叠区域中使用二元掩模(130)组合第一图像(211)和第二图像(212)。
2.根据权利要求1所述的图像合成装置(100)，第一场景邻近于车辆的第一侧，第二场景邻近于车辆的第二侧，第一侧和第二侧彼此垂直或者是车辆的同一侧，其中，组合模块(120)配置成：能将第一图像(211)和第二图像(212)组合成第一场景和第二场景的鸟瞰图。
3.根据权利要求1或2所述的图像合成装置(100)，其中，二元掩模(130)包括具有第一组多个第一部分(131)和第二组多个第二部分(132)的型式，组合模块(120)配置成：能在第一部分(131)中绘制第一图像(211)的相应部分并在第二部分(132)中绘制第二图像(212)的相应部分，以获得代表在重叠区域中第一图像(211)和第二图像(212)沿着至少一个方向的交替视图的组合图像(123)。
4.根据权利要求3所述的图像合成装置(100)，其中，当在组合图像(123)中沿着一路径从第一场景至第二场景时，第一部分(131)的密度与第二部分(132)的密度相比减小。
5.根据权利要求4所述的图像合成装置(100)，其中，当从第一场景转换至第二场景时，减小的密度根据围绕车辆的拐角从0至90°的角度或离重叠区域的边缘的距离而单调地变化。
6.根据权利要求3-5中任一项所述的图像合成装置(100)，其中，所述型式还包括第三组多个融合部分(133)，组合模块(120)还配置成：能将第一图像(211)的相应部分与第二图像(212)的相应部分混合，并在相应的融合部分(133)处绘制所得到的混合部分。
7.根据权利要求6所述的图像合成装置(100)，其中，组合模块(120)配置成：在混合部分中以预定比例添加第一图像(211)的相应像素值和第二图像(212)的像素值。
8.一种驾驶辅助系统，包括：
第一摄像机(201)，其配置成能从第一场景拍摄第一图像(211)；
第二摄像机(202)，其配置成能从第二场景拍摄第二图像(212)，其中，第一场景和第二场景在重叠区域中部分地重叠；和
根据前述权利要求中任一项所述的图像合成装置(100)。
9.根据权利要求8所述的驾驶辅助系统，其中，所述驾驶辅助系统还包括显示器和控制单元，控制单元配置成：能从图像合成装置(100)接收组合图像(123)，并通过将第一图像(211)与第二图像(212)和组合图像(123)组合而形成鸟瞰图；显示器配置成能显示所述鸟瞰图。
10.根据权利要求9所述的驾驶辅助系统，其中，当引用权利要求3时，二元掩模(130)中的第一部分和/或第二部分中的至少一部分具有一尺寸，其中，所述尺寸或第一和/或第二部分的数量取决于显示器的分辨率。
11.一种车辆，具有根据权利要求8-10中任一项所述的驾驶辅助系统，其中，第一摄像机(201)和第二摄像机(202)沿着车辆的一侧或车辆的两个相邻侧布置。
12.一种用于使用驾驶辅助系统来合成图像的方法，所述驾驶辅助系统具有第一摄像机(201)和第二摄像机(202)，其中，第一摄像机(201)配置成能从第一场景拍摄第一图像(211)，第二摄像机(202)配置成能从第二场景拍摄第二图像(212)，其中，第一场景和第二场景在重叠区域中部分地重叠，该方法包括：
接收(S110)来自第一摄像机(201)的第一图像(211)和来自第二摄像机(202)的第二图像(212)；和
在重叠区域中使用二元掩模(130)组合(S120)第一图像(211)和第二图像(212)。
13.一种计算机程序载体，其具有存储在其上的程序代码，以用于当计算机程序在计算机或处理器上执行时实施根据权利要求12所述的方法。
CN201680019894.6A 2015-03-30 2016-03-22 图像合成装置和用于合成图像的方法 Active CN107430764B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15161697.6 2015-03-30
EP15161697.6A EP3076363B1 (en) 2015-03-30 2015-03-30 Image synthesizer and a method for synthesizing an image
PCT/EP2016/056287 WO2016156118A1 (en) 2015-03-30 2016-03-22 Image synthesizer and a method for synthesizing an image

Publications (2)

Publication Number Publication Date
CN107430764A true CN107430764A (zh) 2017-12-01
CN107430764B CN107430764B (zh) 2020-11-27

Family

ID=52780939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019894.6A Active CN107430764B (zh) 2015-03-30 2016-03-22 图像合成装置和用于合成图像的方法

Country Status (6)

Country Link
US (1) US10552943B2 (zh)
EP (1) EP3076363B1 (zh)
CN (1) CN107430764B (zh)
CA (1) CA2981086C (zh)
MX (1) MX2017012384A (zh)
WO (1) WO2016156118A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185284A1 (zh) * 2020-03-17 2021-09-23 长沙智能驾驶研究院有限公司 一种全景鸟瞰图像生成方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240193958A1 (en) * 2022-12-09 2024-06-13 Lite-On Technology Corporation Processing method for vehicle surround view, vehicle surround view system and in-vehicle processing device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278463B1 (en) * 1999-04-08 2001-08-21 International Business Machines Corporation Digital image processing
JP2002354468A (ja) * 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
EP1775952A2 (en) * 2005-10-17 2007-04-18 Sanyo Electric Co., Ltd. Vehicle drive assistance system
CN102271966B (zh) * 2009-01-06 2014-04-30 株式会社伊美吉内柯斯特 周边影像生成方法及装置
CN103778614A (zh) * 2007-07-30 2014-05-07 杜比实验室特许公司 提高图像动态范围
EP2739050A1 (en) * 2011-07-26 2014-06-04 Aisin Seiki Kabushiki Kaisha Vehicle surroundings monitoring system
US20140314325A1 (en) * 2011-11-30 2014-10-23 Nokia Corporation Method and apparatus for image stitching

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024054B2 (en) * 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
US10497094B2 (en) * 2016-12-28 2019-12-03 Nokia Technologies Oy Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278463B1 (en) * 1999-04-08 2001-08-21 International Business Machines Corporation Digital image processing
JP2002354468A (ja) * 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
EP1775952A2 (en) * 2005-10-17 2007-04-18 Sanyo Electric Co., Ltd. Vehicle drive assistance system
CN103778614A (zh) * 2007-07-30 2014-05-07 杜比实验室特许公司 提高图像动态范围
CN102271966B (zh) * 2009-01-06 2014-04-30 株式会社伊美吉内柯斯特 周边影像生成方法及装置
EP2739050A1 (en) * 2011-07-26 2014-06-04 Aisin Seiki Kabushiki Kaisha Vehicle surroundings monitoring system
US20140314325A1 (en) * 2011-11-30 2014-10-23 Nokia Corporation Method and apparatus for image stitching

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S,SHERIF等: "Binary Image Synthesis Using Mixed Linear Integer Programming", 《IEEE TRANSACTIONS ON IMAGE PROCESSING : A PUBLICATION OF THE IEEE SIGNAL PROCESSING SOCIETY》 *
李自力 等: "序列图像合成中基于关键帧的动态掩模算法", 《华中理工大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185284A1 (zh) * 2020-03-17 2021-09-23 长沙智能驾驶研究院有限公司 一种全景鸟瞰图像生成方法

Also Published As

Publication number Publication date
US10552943B2 (en) 2020-02-04
CA2981086C (en) 2023-06-13
US20180089801A1 (en) 2018-03-29
WO2016156118A1 (en) 2016-10-06
CA2981086A1 (en) 2016-10-06
MX2017012384A (es) 2017-12-14
EP3076363B1 (en) 2019-09-25
CN107430764B (zh) 2020-11-27
EP3076363A1 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
EP2739050B1 (en) Vehicle surroundings monitoring system
US7092020B2 (en) Resizing images captured by an electronic still camera
WO2014069471A1 (ja) 画像処理システム及び画像処理方法
US20050008254A1 (en) Image generation from plurality of images
CN105765966A (zh) 碗形成像系统
WO2002089484A1 (fr) Procede et appareil de synthese et d'affichage d'images issues de cameras disposees dans un vehicule
CA2627999A1 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR100742728B1 (ko) 3차원 화상 표시장치
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
US20150109409A1 (en) Different-view image generating apparatus and different-view image generating method
CN104285434A (zh) 原生的三色图像和高动态范围图像
CN107430764A (zh) 图像合成装置和用于合成图像的方法
KR101535518B1 (ko) 차량 이미지를 생성하기 위한 이미지 처리 방법 및 이미지 처리 장치
US6765587B1 (en) Image processing apparatus
JP2009141490A (ja) 合成画像生成装置および合成画像生成方法
JP5021735B2 (ja) 映像処理装置、方法および記録媒体
US20220156894A1 (en) Modular inpainting method
CN101194301B (zh) 用于空间光调制显示系统中图像处理的设备和方法
US10614552B2 (en) Image synthesizer for a driver assisting system
JP2007149011A (ja) 車両周辺視認装置
CN103828355B (zh) 对视差图进行滤波的方法以及设备
US9736456B1 (en) Two dimensional to three dimensional video conversion
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
JP2004336567A (ja) 画像作成装置及び方法、立体画像表示システム並びにコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant