CN106464847A - 影像合成系统和用于其的影像合成装置与影像合成方法 - Google Patents

影像合成系统和用于其的影像合成装置与影像合成方法 Download PDF

Info

Publication number
CN106464847A
CN106464847A CN201580030864.0A CN201580030864A CN106464847A CN 106464847 A CN106464847 A CN 106464847A CN 201580030864 A CN201580030864 A CN 201580030864A CN 106464847 A CN106464847 A CN 106464847A
Authority
CN
China
Prior art keywords
image
video camera
concern object
concern
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580030864.0A
Other languages
English (en)
Other versions
CN106464847B (zh
Inventor
樋口晴彦
高野桥健太
中嶋满雄
坂庭秀纪
内田吉孝
中村浩之
小野崎胜夫
盐屋崇之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN106464847A publication Critical patent/CN106464847A/zh
Application granted granted Critical
Publication of CN106464847B publication Critical patent/CN106464847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/08—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

在形成虚拟空间将图像投影时，根据检测出的关注物体的位置决定投影条件来改善其观感。本发明的影像显示系统对装载于车辆的摄像机的影像进行影像变换处理而显示，所述影像显示系统包括：多个摄像机；根据上述多个摄像机、其他传感器、或经由网络获取的信息等检测上述车辆周围的关注物体的检测部；使用基于由上述检测部检测出的关注物体的位置信息确定的、虚拟投影面的形状、虚拟视点、合成方法，对由上述多个摄像机拍摄到的影像进行变形和合成的变形合成部；和显示由上述变形合成部进行变形和合成后的影像的显示部。

Description

影像合成系统和用于其的影像合成装置与影像合成方法
技术领域
本发明涉及将由1个以上的摄像机拍摄的影像变形和合成并将其显示于显示装置的影像合成装置、影像显示装置。
背景技术
已经提案有为了在车辆驾驶时驾驶者能够确认本车的周边情况，用设置于车辆的多个摄像机拍摄车辆的周围，在车内进行影像显示的系统，在已知的系统中，也包括通过将用设置于车辆的多个摄像机拍摄的影像适当地变形而合成，来显示从虚拟的视点看到的该车辆周围的影像的技术。
在这样的影像显示系统中，有在虚拟的空间上配置投影面来映射摄像机影像，制作出从虚拟的视点看到的影像并显示的方法。在这种情况下，一般来说，当在用摄像机拍摄到的被拍摄体与虚拟投影面之间发生形状差异时，与该差异相应地，变形合成的影像会看到失真。例如，用摄像机拍摄的被拍摄体为人或护栏那样的立体物，虚拟投影面为与地面的高度相等、与地面平行的平面的情况下，变形合成的影像中，该立体物被拉伸那样的影像会歪斜失真，用户难以据此把握状况。对于这一问题点，现有技术中关于变形合成的影像的生成方法，公开有各种技术。
例如在以下的专利文献1中公开有根据车辆的状态使虚拟投影面的形状和虚拟视点的位置和角度变化的技术。
现有技术文献
专利文献
专利文献1：日本特开2009-171537号公报
发明内容
发明要解决的课题
即，在上述的专利文献1中，虽然公开了通过对变化的车辆的状态和车辆周边物动态地改变虚拟投影面的形状，与驾驶场景一起使显示影像变化，但是没有公开在想要关注于特定的被拍摄体进行显示的情况下用于减轻该被拍摄体的失真的具体的方针策略，因此，留下了变形合成影像中被拍摄体失真显示的课题。
于是，本发明是为了解决上述现有技术的课题而达成的，目的在于提供一种即使在想要关注于特定的被拍摄体进行显示的情况下，也能够减轻该被拍摄体的失真，由此能够更自然地显示关注物体的图像的影像显示系统，和用于其的影像合成装置和影像合成方法。
用于解决课题的方法
为了达成上述目的，根据本发明，作为其一例，如以下权利要求记载的那样，首先提供一种影像显示系统，其包括：具有多个摄像机的摄像部；输入来自上述摄像部的多个摄像机的影像并将其合成的影像合成装置；和显示由上述影像合成装置合成的影像的影像显示部，其中，上述影像合成装置包括：基于上述来自摄像部的影像检测关注物体的检测部；将上述摄像部的多个摄像机所拍摄到的影像变形而合成的变形合成部；和至少控制上述检测部和上述变形合成部的动作的运算处理装置，上述运算处理装置，利用上述变形合成部，使用根据由上述检测部检测出的关于上述关注物体的信息确定的虚拟投影面、虚拟视点和合成方法，将由上述多个摄像机拍摄到的影像以减少该关注物体的失真的方式变形而合成，由此将其显示于上述影像显示部。
另外，为了达成上述目的，根据本发明，提供一种影像显示影像合成装置，其输入来自多个摄像机的影像并合成，并将合成后的影像显示于影像显示部，所述影像显示影像合成装置包括：基于上述来自摄像部的影像检测关注物体的检测部；将上述摄像部的多个摄像机所拍摄的影像变形而合成的变形合成部；和至少控制上述检测部和上述变形合成部的动作的运算处理装置，上述运算处理装置，利用上述变形合成部，使用根据由上述检测部检测出的关于上述关注物体的信息确定的虚拟投影面、虚拟视点和合成方法，将由上述多个摄像机拍摄到的影像以减少该关注物体的失真的方式变形而合成，由此将其显示于上述影像显示部。
而且，根据本发明，为了达成上述目的，提供一种影像显示影像合成方法，其输入来自多个摄像机的影像并合成，并将合成后的影像显示于影像显示部，其中使用根据由检测部检测出的关于关注物体的信息确定的虚拟投影面、虚拟视点和合成方法，将由多个摄像机拍摄到的影像以减少该关注物体的失真的方式变形合成，由此将其显示于上述影像显示部。
发明的效果
根据上述的本发明，发挥能够提供生成更自然地显示关注物体的图像的影像显示系统，进而能够提供用于其的影像合成装置和影像合成方法这一优异的效果。
附图说明
图1是表示本发明的一个实施例的影像合成装置和影像显示系统的结构的一例的框图。
图2是表示上述影像显示系统的车载摄像机的设置例的左侧视图、俯视图和表示车载摄像机的视角和拍摄范围的重叠区域的图。
图3是说明上述影像显示系统中，对从虚拟视点看拍摄摄像机影像的像素所看到的像素进行坐标变换的处理的图。
图4是上述影像显示系统中，设定虚拟投影面和虚拟视点的第1示意图的左侧视图和俯视图。
图5是表示上述图4(A)和(B)的拍摄摄像机的设定时从虚拟视点看到的影像的图。
图6是上述影像显示系统中，设定虚拟投影面和虚拟视点的第2示意图的左侧视图和俯视图。
图7是表示上述图6(A)和(B)的拍摄摄像机的设定时从虚拟视点看到的影像的图。
图8是表示上述图6(B)的条件的虚拟视点的可设定范围的图。
图9是表示对于上述图6(B)的关注物体的另一虚拟视点的设定的图。
图10是表示上述图9的设定时从虚拟视点看到的影像的图。
图11是说明上述图6(B)和图9的设定时的影像的合成方法的设定的图。
图12是在上述影像显示系统中，根据关注物体的位置确定虚拟投影面和虚拟视点的方法和确定拍摄摄像机影像的合成方法的处理流程图。
图13是用角度信息表示拍摄摄像机影像的重叠区域的一例的图。
图14是表示对于上述图13所示的角度的2个摄像机影像的混合率的变化的一例的图。
图15是表示对于上述图13所示的角度的2个摄像机影像的混合率的变化的另一例的图。
图16是表示本发明的另一实施例的影像合成装置和影像显示系统的结构(具有多个监视器)的框图。
图17是表示本发明的又一实施例的影像合成装置和影像显示系统的结构(具有多个照明)的框图。
图18是表示本发明的另一实施例的影像合成装置和影像显示系统的结构(具有多个扬声器)的框图。
具体实施方式
下面，参照附图，对本发明的实施例进行详细说明。
图1是表示本实施例的影像显示系统的整体结构的一例的框图。图中，影像显示系统基本上由影像合成装置100、包括用于拍摄被拍摄体的多个(n个)摄像机的摄像部110、和用于显示图像的监视器120构成。其中，所述结构中，用构成摄像部110的多个摄像机拍摄到的影像，在影像合成装置100中变形、合成，其影像被输出到监视器120上，这与一般的影像显示系统相同。
在此，首先对构成摄像部110的多个摄像机进行说明，本实施例中，如图2所示，共4台摄像机110-1～110-4例如设置于汽车300的前后和左右，以下对将本发明的影像显示系统应用于车辆的例子进行说明。但是，本发明并不限定于此，也能够适用于显示多个监视摄像机的摄影图像的其他系统。另外，图中的符号310表示地面。
再次回到图1，影像合成装置100包括解码部101、CPU(Central Control Unit：中央处理器)102、存储器103、检测部104、变形合成部105、编码部106、和总线107。以下，对各部的处理进行说明。
解码部101将从摄像部110的多个摄像机110-1～110-4输入来的影像信号转换为量子数据等图像的变形和合成所需的信息。
CPU102控制装置整体的动作，另外，基于由后述的检测部104检测出或判断的关注物体的位置，确定图像变换处理所需的虚拟投影面的形状和虚拟视点的合成方法。
存储器103中进行从与总线107连接的各部写入或读出影像合成所需的信息。另外，作为该存储器103中存储的信息，作为其一例，可以列举在从解码部101输入的实施图像变换前临时保存的图像数据、由检测部104检测出的关注物体的位置信息、和由变形合成部105变换而临时保持的图像数据等。另外，变形合成部105和检测部104有时也能够用软件实现。这种情况下由CPU102读出存储于未图示的存储部的程序到存储器103，CPU102按照程序进行运算，由此能够实现作为变形合成部105和检测部104的功能。
检测部104具有检测或判断摄像部110的各摄像机110-1～110-4拍摄的影像整体中的要关注显示的对象的位置、或一定的范围的功能。其中，在此，作为“关注物体”，包括例如步行者、本车以外行驶的车辆、护栏、建筑物那样的立体物，以及例如在交叉点右拐弯时的右前方、后退时的后方等被认为行驶上危险的一定的范围。
作为所述关注物体的检测或判断方法，例如除了上述的检测部104以外，也可以具有从经由解码部101输入的摄像机影像检测特征量，检测该检测部与摄像机位置的相对位置的特征量检测处理部，或者也可以同时利用1个以上的声纳、激光距离计等检测离本车的大致的方向和距离的距离测量部。或者，也可以包括获取GPS(Global PositioningSystem：全球定位系统)或ITS(Intelligent Transport System：智能交通系统)等的信息的通信处理部，根据该通信处理部的获取信息由该检测部判断本车与关注物体的相对位置。进而，在车辆的周围检测出多个物体的情况下，包括经由CAN(Controller AreaNetwork：控制器区域网络)得到的、获取车辆的行进方向、车速、转向角等车辆信息的CAN信息获取部，根据这些信息推测车辆移动的方向，将位于该方向的物体判断为碰撞可能性高的物体，由检测部104将其判断为关注物体。进而，在车辆的周围检测出多个物体的情况下，也可以将离车辆最近的物体作为关注物体生成影像。在此，作为检测或判断的信息，使用关注物体的本车或各摄像机的安装位置对应的俯视图上的相对位置等信息，特别是为了提高关注物体的图像变换精度，可以使用立体物的高度、立体形状等进一步的详细信息。通过这些方法关注于位于车辆的周边的物体和对车辆的行进成为障碍的物体，能够对用户给予适当的提示。上述的检测部104、特征量检测处理部、距离测量部、通信处理部、CAN信息获取部等关于获取关注物体的信息的方面是共通的，能够作为具有这些处理部的1个以上的功能的1个处理部(关注物体信息获取部)设置于影像合成装置100。
其中，在将能够获取关于关注物体的设备与影像合成装置100分体地设置于车辆的情况下，图像合成装置100通过设置与该设备进行通信来获取关于关注物体的信息的接口，即使不设置检测部104也能够实现同等的功能。
变形合成部105对从上述摄像部110的摄像机经由解码部101输入的各个图像实施变形处理和合成处理。其中，对于该变形处理和合成处理在后面参照图3进行说明。此时，在作为虚拟的投影面生成于三维空间的物面上，投影摄像部110的各摄像机110-1～110-4拍摄的图像，将它们变换为从虚拟的视点看时的图像，进而合成摄像机n个份的图像。像这样，当用变形合成部105对各摄像机110-1～110-4的图像进行变形时，变形后的图像具有一定的重叠区域，对于这些重叠区域通过后述的α混合进行混合合成处理。
编码部106将由上述的变形合成部105变形和合成后的图像转换为影像显示所需的形式的信息并输出到监视器120。
通过这样的方式，上述影像合成装置100能够根据二维的摄像机图像生成虚拟三维空间。此时，变形合成部105中，在虚拟地配置在三维空间上的投影面上投影图像，运算从虚拟地配置在该三维空间上的视点看到的图像。其中，这是将图像映射于虚拟三维空间，作为从虚拟视点看到的影像生成二维图像，但是本发明并不限定于此，变形合成部105也可以直接实施向三维空间的映射，或者也可以在向二维空间的映射中虚拟地实施与向三维空间的映射同等的处理。
作为在上述的存储器103中进行写入或读出的信息，除了上述的以外，也可以包括例如装载于车中的各摄像机110-1～110-4的三维空间坐标系上的安装信息(例如、坐标信息、角度信息)、透镜的失真系数、焦点距离、或摄像传感器的有效像素尺寸等信息，或者也可以为在上述变形合成部105中用向二维空间的映射虚拟地实现三维空间的映射时所需的信息。另外，关于透镜失真系数，可以包括表示与距离摄像机图像中心的距离相应的失真程度的系数、和表示透镜的入射角与被拍摄体的长度的关系的信息等。特别是在本实施例中，如后所述，摄像机110-1～110-4使用鱼眼透镜，该鱼眼透镜的周边部与中心部相比失真较大，所以在对其进行修正时需要上述失真系数。这些信息用于变形合成部105的图像的变形或图像的合成。
另外，上述的存储器103具有变形合成部105所用的关于虚拟投影面、虚拟视点、合成方法的信息。作为虚拟视点的信息，具有坐标信息(Xv、Yv、Zv)和相对于各轴的角度信息(αv、βv、γv)。另外作为虚拟投影面的信息，例如作为与地面平行且与地面相同高度的平面和球体的组合，具有球体的中心坐标和球体的半径。其中，该信息可以为更复杂的形状或多个形状的组合，或者可以为一般已知的三维物体的信息中使用的(Xt、Yt、Zt)所记述的信息。其中，作为关于合成方法的信息，作为重叠区域的合成方法，具有后述的关于α混合的信息。
接着，下面用上述的图3，对将本实施例的拍摄摄像机图像中的像素坐标变换为从虚拟视点看到的图像的像素的处理的一例进行说明。
图3中，将实际的车载摄像机(在此，代表性的用符号110表示)拍摄的图像201的像素，表示为摄像机110对应的摄像机坐标系Xr、Yr、Zr上的点Pr(xr、yr、zr)。其中，在此，关于摄像机坐标系，例如以相对于摄像机110的进深度方向为Zr，以拍摄的图像的水平方向为Xr，以垂直方向为Yr进行表示。该点Pr相对于空间内共通使用的World坐标系即Xw、Yw、Zw上的点Pw(xw、yw、zw)。该World坐标系上的点Pw相当于从配置于某个虚拟的位置的虚拟视点210拍摄时的图像211的像素在虚拟视点211对应的摄像机坐标系Xv、Yv、Zv的点Pv(xv、yv、zv)。即，为了生成从某个虚拟的位置看到的图像，进行如下的坐标变换。
实际的摄像机110对应的摄像机坐标系的点Pr与World坐标的点Pw的关系，用4×4的透视投影变换矩阵Mr，由以下的(式1)表示。
【式1】
另外，虚拟视点210对应的摄像机坐标系的点Pv与World坐标系的点Pw的关系，用透视投影变换矩阵Mv，由以下的(式2)表示。
【式2】
其中，Mp、Mv如以下的(式3)所示，包含3×3的旋转矩阵R和3×1的平移矩阵T。
【式3】
使用上述的(式1)和(式2)时，实际摄像机坐标系的点Pr与虚拟视点坐标的点Pv的关系用以下的(式4)求取，即，能够通过根据由实际的摄像机拍摄的像素值计算想要生成的虚拟视点的像素值。
【式4】
使用World坐标系上的摄像机的设置位置和设置角度、以及作为摄像机的内部参数的焦点距离、传感器的有效像素尺寸等信息，计算将Mv和Mr的逆矩阵相乘而得的4×4矩阵。即，通过使用这些式子，变形合成部105将实际的摄像机110的图像变换为从配置于某个位置的虚拟视点看到的图像。
接着，在以下叙述的实施例中，如上所述，对使用4台车载摄像机110-1～110-4的情况进行了叙述，但是本发明并不限定于此，实际摄像机110也可以仅为1个。例如在使用鱼眼透镜作为该摄像机110的情况下，根据目的有时能够用1个摄像机涵盖所需的视角。因此，以下的实施例也能够应用于摄像机为1个的情况。
在此，再次回到上述的图2，作为本实施例的摄像机的设置的一例，表示了将上述图1的摄像部110的摄像机110-1～110-4装载于车辆300的状态，更详细地说，图3(A)表示车辆的左侧视图，图2(B)表示俯视(顶视)图。即，在地面310上有车辆300，该4台摄像机110-1、110-2、110-3、110-4以在车辆300的前后和左右分别具有规定的俯角朝向下方向的方式设置，各摄像机分别在其拍摄范围中具有与相邻的摄像机的拍摄范围之间具有一定的重叠区域的视角。
进而，图2(C)中图示了上述各摄像机110-1、110-2、110-3、110-4的拍摄范围。图中，摄像机110-1、110-2、110-3、110-4的拍摄范围分别用斜线区域311、312、313、314表示，可知各自具有重叠的区域321、322、323、324。以下基于图2(A)～(B)所示的摄像机设置条件对本实施例进行说明。
首先，参照图4(A)和(B)和图5，对设定了没有考虑物体的失真的虚拟投影面、虚拟视点的情况的变换图像的课题进行说明。
其中，上述的图4(A)和(B)是表示设定于本实施例的车辆周边的虚拟投影面和虚拟视点的例子的示意图。与上述的图2(A)和(B)相比，在车辆300的左前方，例如存在像立柱那样的立体物即关注物体401。另外，配置有与地面310相同高度且与地面平行的平面412和远离关注物体401的位置的由虚拟的球面411构成的虚拟投影面，上述平面412和球面411沿圆413交叉。即，如图所示，在从车辆300的后方俯视车体和车辆的前方那样的设置位置和设置角度，设定虚拟视点。其中，球面411并不需要为严密的球体，可以为设计成投影到虚拟投影面的影像能够被自然地看到的任意的曲线的旋转体、和其他的曲面。
图5是从用上述图4(A)和(B)设定的虚拟视点414，看将在上述图4(A)和(B)中设定的虚拟投影面411、412投影了摄像机110-1的影像的状态(以下称为虚拟投影状态)的情况的变换图像。其中，以下对用摄像机110-1拍摄的映于车辆300的左前方的关注物体401的图像的变换进行叙述，但该关注物体401的位置可以为车辆300的周围的任意位置，进行拍摄的摄像机也不限定于110-1，可以为其他的110-2、110-3、110-4的任意者。
摄像机110-1拍摄的影像，被投影到上述图4(A)和(B)所示的作为虚拟投影面的球面411、和平面412上。即，关注物体401投影于连结摄像机110-1和关注物体401的直线的延长线与虚拟投影面的交点415。
图5是从虚拟视点看的情况的图像，该图像中包括关注物体401、投影到作为球面的虚拟投影面411的区域、投影到作为平面的虚拟投影面412的区域、以及球面与平面的投影面的边界413。在所述从虚拟视点看的情况的图像中，相对于平面的虚拟投影面412，地面310等平的东西位于与平面的投影面相同的位置，所以在上述区域412上能够形成的正常的、有远近感的没有失真的图像，但是作为立柱等立体物的关注物体401在平面投影面412的部分中作为面被投影，所以变成丧失了其立体感的失真的图像。
另外，对于作为球面的虚拟投影面411的区域也同样，关注物体401被投影到位置的不同的(即、错位的)球面投影面411上，所以从虚拟视点413看到的像，变成倾斜歪倒那样的失真的图像。
本发明为了消除上述失真的发明，以下参照图6(A)和(B)、以及图7，对本实施例中减轻上述失真的变换图像的生成进行说明。
图6(A)和(B)是表示本实施例的设定于车辆300的周边的虚拟投影面和虚拟视点的一例的示意图，这些图中也与上述图3(A)和(B)同样，在车辆300的左前方具有作为立体物(立柱)的关注物体401。其中，该设定中，虚拟的球面投影面411相比上述的图4(A)和(B)所示的球面投影面，配置在更靠近关注物体401的位置。另外，虚拟视点414设定于比上述图4(A)和(B)的虚拟视点更低的部位、且为从右后方俯视车辆300的车体和其左前方那样的设置位置和设置角度。
图7是在上述图6(A)和(B)中设定的虚拟投影面411、412上投影摄像机110-1的影像，从用上述图6(A)和(B)设定的虚拟视点414看的情况的变换图像。在这种情况下，根据图7可知，关注物体401的像中的投影到平面投影面412上的面积小，另外，球面投影面411与关注物体401的位置之差(位置偏差)小，因此，影像上的失真少。
另外，关于将连结实际摄像机110-1和关注物体401的线延长而与虚拟投影面411相交的点415，以连结该交点415和实际摄像机110-1的线，与连结该交点415和虚拟视点414的线的角度差成为规定值以下的方式设定虚拟视点414。
作为结果，根据图7可知，与上述图5所示的变换图像相比，关注物体的像401的立体感丧失那样的失真减轻，而且倾斜歪倒那样的失真也少。
以上，如上述图4～图7所示，与车辆300周围的距离感和关注物体401的外形，根据虚拟投影面411和虚拟视点414的设定会大幅改变。即，为了失真少地看到立柱等关注物体401的像，需要使虚拟投影面411的三维中的面靠近该关注物体401，另外，连结虚拟视点414和关注物体401的线，与连结实际摄像机110-1和关注物体401的直线之间，需要将其角度差设定得较小。
接着，下面用图8表示根据上述的观点确定上述图6B的虚拟视点414的方法的一例。
如图所示，首先，根据关注物体401上的点求取向实际摄像机110-1的向量801，在相对于该向量位于规定的角度范围802的内侧(箭头803)，设定该虚拟视点414。由此，连结实际摄像机110-1和关注物体401的直线，与连结虚拟视点414和关注物体401的线，比规定角度小，能够减轻合成影像的失真。作为例子，将连结图6B的虚拟视点414和关注物体401的线与图8的向量801所成的角度(劣角)设为Δθ，将关注物体401与点415的距离设为D时，考虑从连结虚拟视点414和关注物体401的线与虚拟投影面411的交点至点415的距离、即在虚拟视点414生成合成影像时的关注物体401的偏差量。为了简化说明该偏差量能够用D×Δθ近似，当将合成影像中的允许偏差量设为E时，能取Δθ的范围为Δθ＜E/D，如果在该Δθ的范围内设定虚拟视点414，就能够将合成影像的失真抑制到允许范围内。
其中，通过在变形合成部105根据关注物体401与点415的距离D生成的图像的失真比1像素小那样的Δθ的位置设定虚拟视点414，能够合成如下图像，即以在显示上与从向量801上的虚拟视点看到的合成影像同等的失真显示关注物体401的图像。
另外，允许偏差量E能够在工厂出厂时等设定，或由用户设定。通过将其预先存储于存储器103或影像合成装置100所具有的未图示的存储部中，即使在实际摄像机110-1和关注物体401的距离D变化的情况下，能够将虚拟视点414设定在适当的位置。
另外，在上述的图6(B)所示的关注物体401那样，该关注物体401位于多个摄像机的视角重叠的区域内的情况下，例如如图9和图10所示，能够以根据另一摄像机110-2的影像进行图像变换的方式确定虚拟投影面411和虚拟视点414。其中，在这种情况下，与上述图6(A)和(B)同样，虚拟投影面411与关注物体401的表面之间的最小距离设定为规定值以下，另外，关于虚拟视点414的位置和角度，在上述图9的例子中，只要与连结左部摄像机110-2和关注物体401的线的角度差较小那样设定即可。在关注物体401位于重叠区域的情况下，关于是根据连结摄像机110-1和关注物体401的线求取虚拟视点414的位置，还是根据连结摄像机110-2和关注物体401的线求取，以摄像机110-1和摄像机110-2中能够分辨率较高地拍摄关注物体401的那个为优先，基于关注物体成像的像素数来选择。但是，除此以外，可以选择这些摄像机与关注物体的距离较小的那个，也可以选择更靠近车辆的行进方向的那个。
上述图7和图10分别表示了基于用前部摄像机110-1和左部摄像机110-2拍摄的图像变换的图像的例子，而关于在用装置内的上述变形合成部105(参照上述图1)对来自各摄像机的图像进行α混合时采用哪个图像，例如能够用下面列举的条件进行判断。
例如在车辆以比较低速在交叉点左拐弯那样的状况下，推测有想要将行进方向上有碰撞可能性的左方较大范围地进行影像显示的要求，在这种情况下，设定上述图6(B)所示那样的虚拟视点414，将左方向较大范围地显示。或者，在车辆以比较高速直行，推测有将碰撞可能性高的前方较大范围地进行影像显示的要求的情况下，设定上述图9所示那样的虚拟视点414，将前方向较大范围地显示。
接着，图11(A)和(B)表示上述的图6B和图9所示的条件下的、混合合成时的接缝的设定例。另外，在任一种情况下，都在上述图2(C)所示的重叠区域321的α混合合成中，实施使映到关注物体401的部分从各摄像机影像的接缝偏离那样的设定。另外，图中的例子中，将用粗的虚线1101和1102表示的直线作为合成时的接缝，以该线为界区分各影像。图11(A)中，如使用图8的上述，为了减小合成影像的关注物体401的失真，虚拟视点414以从连结前部摄像机110-1和关注物体401的线成为规定角度的方式设置。此时，关注物体401的合成图像使用前部摄像机110-1的拍摄图像，所以分隔的虚线1101设定在比关注物体401靠左部摄像机110-2一侧。同样，图11(B)中，为了减小合成图像的失真，根据关注物体401的位置设置虚拟视点414，合成图像使用左部摄像机110-2的拍摄图像，分隔的虚线1102设定在比关注物体靠前部摄像机110-1一侧。即，重叠区域321的混合位置，基于关注物体401的位置、拍摄关注物体401的摄像机的位置、和虚拟视点414的位置的关系确定，在虚拟视点401的位置配置成在从连结前部摄像机110-1和关注物体401的直线的规定角度内的情况下，使用由前部摄像机110-1拍摄到的关注物体401的影像，将混合位置设定在左部摄像机110-2一侧，在虚拟视点401的位置配置成在从连结左部摄像机110-2和关注物体401的直线的规定角度内的情况下，使用由左部摄像机110-2拍摄到的关注物体401的影像，将混合位置设定在前部摄像机110-1一侧。在此设定的虚线1101和1102，可以与关注物体401的位置无关地根据摄像机110-1或摄像机110-2的视角静态地确定，如果关注物体401的形状或大小已知，也可以设定在不盖到关注物体的全景那样的位置。另外，本发明并不限定于此，可以以该线为界在一定的范围内使α值分阶段地变化，或者不是粗虚线1101和线1102那样的直线，而是由任意的曲线构成。例如在关注物体401比重叠区域321大，不依赖于混合合成时的接缝的设定位置在关注物体401上包含接缝的情况下，检测其，根据需要在关注物体401上设置混合合成时的接缝，以该接缝为界在一定的范围内使α值变化地进行合成。而且，在通过CAN等能够知道车辆的行进方向的情况下，例如在图11(A)的情况下车辆也直行的情况下将混合位置设定在前部摄像机110-1一侧，在图11(B)的情况下车辆也左拐弯的情况下将混合位置设定在左部摄像机110-2一侧。这是因为，例如在图11(A)中车辆直行的情况下关注物体401相对地看向车辆的左后方移动，所以如果将混合位置设定在1101则需要将拍摄关注物体401的摄像机从前部摄像机110-1切换到左部摄像机110-2。因此，如果一开始就将用左部摄像机110-2拍摄到的关注物体401用于合成就不需要切换摄像机，能够减少关注物体401从合成图像消失的可能性。
另外，本实施例中，为了削减计算量，表示了以单纯的平面和球面表现虚拟投影面的例子，但本发明并不限定于此，也可以例如根据用上述的图1所示的检测部104检测的信息的精度进行基于特征量的统计学的聚类(Clustering)处理，由此与地面(道路)310一起包括建筑物、墙壁、护栏、天空等，考虑它们的空间上的位置关系和立体形状，在空间上配置物体(对象)，于此合成影像。由此，能够形成周围的更准确的三维投影，换言之，能够生成立体形状的失真更少的自然的影像。
接着，图12是表示本实施例的影像显示系统、特别是由影像合成装置100的CPU102执行的处理、即根据关注物体确定虚拟投影面的形状、虚拟视点的设置位置和设置角度、重叠区域的合成方法的动作的一例的流程图，以下按照在前头附加了S的步骤编号进行详细说明。
首先，当在步骤S1200中开始处理流程时，在S1201(图像识别部)中，在检测部104中检测或判断关注物体的位置，获取离本车或离适当的基准点的相对位置。其中，作为此处获取的信息，以俯视图上的关注物体(例如上述的例子中为立柱401)的位置、即地面310上的位置为必要信息，如上所述，一并获取关注物体是否为立体物的信息，进而也可以获取其详细的立体形状。
接着，在S1202中，根据获取的关注物体的位置确定正在拍摄物体的摄像机。该摄像机的确定，根据关注物体的位置、和摄像机的设置位置、设置角度、视角等求取。在根据这些条件确定了正在拍摄物体的摄像机有多个的情况下，判断为正在拍摄该关注物体的摄像机存在多个，关注物体存在于重叠区域。其中，也可以替代这些条件，例如根据图像识别的结果确定正在拍摄关注物体的该摄像机，或者根据关注物体与车辆的相对位置唯一确定拍摄摄像机那样简易的方式。关于是否有多个摄像机正在重叠地拍摄关注物体，用于后述的判断S1207中的判断条件。
接着，在S1203中，求取关注物体和拍摄摄像机的向量。该向量可以为不考虑俯视图上的高度的二维向量，也可以为包含高度的三维向量。其中，在求取该向量时，可以指定关注物体上的某1点，或者也可以为指定了关注物体上的多个点的多个向量的集合。
进而，在S1204中，基于上述的S1203中求得的向量，如上述图8所示，在与该向量具有一定以内的角度差的范围内确定虚拟视点位置。此时的角度范围，可以在World坐标上的三轴分别具有独立的值。之后，在S1205中，基于关注物体和本车的位置、或关注物体与基准点的距离，确定虚拟投影面的形状。例如，如果为上述图4(A)～图11(B)所示那样的平面和球面的虚拟投影面，则以关注物体与投影面的位置之差(位置偏差)变小的方式设定球体的中心坐标和半径。如上所述，可以与关注物体的立体形状匹配地具有复杂的投影面形状。
接着，在S1206中，对上述S1202中确定的拍摄摄像机是1个还是多个进行判断，基于其结果切换以后的处理。
首先，在判断为上述S1206中的判断结果为“位置位于摄像机影像的重叠区域”的情况下，在S1207中，在关注物体的位置和上述S1204与S1205中确定的虚拟视点和虚拟投影面的条件的基础上，进一步选定拍摄关注物体的多个摄像机中的哪个摄像机影像，确定重叠区域的合成方法。
另一方面，在判断为上述S1206中的判断结果为“位置不位于摄像机影像的重叠区域”的情况下，在S1208中，根据关注物体的位置、和上述S1204与S1205中确定的虚拟视点和虚拟投影面的条件，确定重叠区域的合成方法。
之后，接着上述的S1207或S1208，在S1209中，基于上述的至S1208确定的虚拟投影面、虚拟视点、重叠区域的合成方法，将各摄像机的图像变形合成，经由上述图1的编码部106影像输出到监视器120。
进而，参照图13、图14、图15对本实施例的重叠区域的合成方法的一例进行更具体的说明。
首先，在图13中，以用2根粗实线围成的重叠区域321为例，将该重叠区域用图中θ所示的角度记述，将θ＝0～θ＝θmax的范围内的混合率例如以图14或图15所示的例子那样设定。
这些设定中的图14所示的混合率的特性较为简单，所以其运算负荷较低，但在θ为θ_l和θ_h时，混合率急剧变化，因此，有可能影像的接缝的合成具有不协调感。
另一方面，图15所示的混合率的特性与上述图14的相比，较为复杂，但是θ的变化是连续的，因此，能够期待生成不协调感少的合成影像。另外，本发明中，混合率的特性并不限定于上述的图14或图15所示的例子。另外，图中的编码1401和1501表示摄像机110-1拍摄的图像的混合率，1402和1502表示摄像机110-2拍摄的图像的混合率。另外，图14中，在θ为θ_l和θ_h的范围内使混合率慢慢变化，在该范围内，将各影像的像素值加权平均。
而且，作为其他的变形例，生成使检测出的关注物体作为自然的像显示那样的合成影像，但是也可以例如在上述图1的系统图中，在监视器120上不仅显示映出关注物体的图像，而与通常状态的影像并排显示。例如将图4(B)的虚拟投影面和虚拟视点作为常规状态的条件，将图6(B)的虚拟投影面和虚拟视点设定为用于关注物体401的显示的条件，在变形合成部105中，分别生成常规状态的影像和用于关注物体的影像，将它们在显示画面中分割配置而合成，经由编码部105输出到监视器120。由此，驾驶者广范围地确认车辆周围的同时，能够将步行者、障碍物那样的关注物体作为失真少的影像把握。
而且，作为另一变形例，在车辆的周围检测出多个物体的情况下，可以对于检测出的关注物体401以外的物体(称为物体A)也使虚拟视点的位置变化以使其失真少。这是因为，关注物体401的失真由虚拟视点414和关注物体401与摄像机110所成角度决定，虚拟视点414与关注物体401的距离能够任意设定。具体来说，设连结虚拟视点414和关注物体401的直线为直线A，连结物体A和拍摄物体A的摄像机的直线为直线B，通过在直线A和直线B的最接近点附近、且在直线A上设定虚拟视点414，关注物体401为失真少的影像，对于物体A也能够合成失真较少的影像。
另外，在车辆的周围检测出3个以上的物体的情况下，可以以从多个物体中选择1个物体作为关注物体401同样的方法确定所有物体的优先度，以优先度最高的关注物体401和优先度第2高的物体A的失真少的方式用上述的方法确定虚拟视点414的位置。
另外，在车辆的周围检测出3个以上的物体的情况下，可以按每个物体虚设连结关注物体401以外的物体和拍摄该物体的摄像机的直线，在这些直线彼此的距离最小的位置附近、且在直线A上设定虚拟视点414。
通过如上所述设定虚拟视点414的位置，关注物体401以外的物体也能够合成失真少的影像，能够提高易用性。
以上对本发明的一个实施方式进行了详细说明，但本发明并不限定于上述实施例，作为另一实施例，例如图16所示，可以具有多个编码部1606和多个监视器1620，由此在各个监视器上有选择地显示影像。在这种情况下，根据监视器的设置位置和显示特性切换要显示的关注物体，在变形合成部105中与各个监视器匹配地设定虚拟投影面、虚拟视点、重叠区域的合成方法中的至少一者，在变形合成之后，分别独立地输出影像到监视器1620。由此，例如在导航画面上显示常规状态的影像，在HUD(Head Up Display：平视显示器)上显示从驾驶者无法看到的车辆周围的影像等，能够与监视器的特征匹配地显示更加自然的影像。
另外，作为另一实施例，如图17所示，还具有多个照明1721和控制该多个照明的亮灭的多个亮灭控制部1707，能够用影像和照明的亮灭两者来通知关注物体的位置。作为一例，在车厢内的前后左右等设置能够分别独立地亮灭的照明，例如在车辆的左后方存在危险物的情况下，在监视器120上显示关注于车辆的左后方的影像，同时使车辆的左后方附近的照明亮灭。由此，驾驶员能够更直观地把握危险物。
作为又一实施例，如图18所示，具有多个扬声器1821和控制该多个扬声器的鸣响的多个鸣响控制部1807，由此用影像和声音两者来通知关注物体的位置。作为一例，在车厢内的前后左右等设置能够分别独立地鸣响的扬声器，例如在车辆的左后方存在危险物的情况下，在监视器120上显示关注于车辆的左后方的影像，同时使车辆的左后方附近的扬声器输出警告音。由此，驾驶员能够更直观地把握危险物。
如上所述，本发明的实施方式是对装载于车辆的摄像机的影像进行影像变换处理而显示的影像显示系统，所述影像显示系统包括：多个摄像机；根据上述多个摄像机、其他传感器、或经由网络获取的信息等检测上述车辆周围的关注物体的检测部；使用根据由上述检测部检测出的关注物体的位置信息确定的、虚拟投影面的形状、虚拟视点、合成方法，对由上述多个摄像机拍摄到的影像进行变形和合成的变形合成部；和显示由上述变形合成部进行变形和合成后的影像的显示部。
另外，本发明的一个实施方式是对装载于车辆的摄像机的影像进行影像变换处理而显示影像变换处理后的影像的影像显示系统，其中，使用根据关注物体的位置信息确定的、虚拟投影面的形状、虚拟视点、合成方法，将由上述变形合成部对上述多个摄像机拍摄的影像进行变形和合成后的影像作为第1合成影像，将与上述第1合成影像不同的、以即使上述关注物体的位置信息改变虚拟视点也不变的状态对由上述多个摄像机拍摄到的影像进行变形和合成后的第2合成影像显示于上述显示部或与上述显示部不同的第2显示部。
另外，本发明的一个实施方式是对装载于车辆的摄像机的影像进行影像变换处理而显示影像变换处理后的影像的影像显示系统，其中，包括配置在车厢内的1个以上的照明和控制照明的亮灭的亮灭控制部，利用照明的亮灭的位置来通知由上述检测部检测出的关注物体的位置信息。
另外，本发明的一个实施方式是对装载于车辆的摄像机的影像进行影像变换处理而显示影像变换处理后的影像的影像显示系统，其中，包括配置在车厢内的1个以上的扬声器和控制扬声器的鸣响的鸣响控制部，利用扬声器的发声的位置来通知上述由检测部检测出的关注物体的位置信息。
另外，本发明并不限定于上述的实施例，也包括各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细说明系统整体的例子，并不限定于包括说明的全部结构。另外，能够将某实施例结构的一部分置换成其它的实施例的结构，另外，也能够对某实施例的结构添加其它的实施例的结构。另外，能够对各实施例结构的一部分追加、删除、置换其它的结构。
另外，上述的各结构、功能、处理部、处理单元等，它们的一部分或全部例如可以通过集成电路设计等而用硬件实现。此外，上述的各结构、功能，也可以通过处理器解释和执行实现各功能的程序以软件实现。实现各功能的程序(program)、表(table)、文件等信息，可存储在存储器、硬盘、SSD(Solid State Drive，固态硬盘)等记录装置中，或者IC卡、SD卡、DVD等记录介质中。
附图标记说明
100…影像合成装置、101…解码部、102…CPU(Central Control Unit：中央处理器)、103…存储器、104…检测部、105…变形合成部、106…编码部、107…总线、110…摄像部、110-1～110-4…摄像机、120…监视器、300…汽车。

Claims (15)

1.一种将从多个摄像机输入来的影像合成而输出至影像显示部的影像合成装置，其特征在于，包括：
获取关于关注物体的信息的关注物体信息获取部；和
将所述多个摄像机拍摄到的多个影像合成的合成部，
所述合成部合成的影像，是从基于所述关于关注物体的信息确定的虚拟视点看由所述多个摄像机拍摄到的影像被投影到虚拟投影面的虚拟投影状态所看到的影像。
2.如权利要求1所述的影像合成装置，其特征在于：
所述虚拟视点、所述关注物体和所述多个摄像机中的拍摄到所述关注物体的摄像机所成的角度小于规定角度。
3.如权利要求2所述的影像合成装置，其特征在于：
所述规定角度基于拍摄到所述关注物体的摄像机与所述关注物体的距离和投影到所述虚拟投影面的所述关注物体的影像中允许的允许偏差量来确定。
4.如权利要求1所述的影像合成装置，其特征在于：
所述虚拟投影面由平面和曲面构成，
所述合成部合成的影像，是从所述虚拟视点看基于所述关于关注物体的信息设定了所述平面的位置、所述曲面的中心位置和所述曲面的半径中的至少一者的所述虚拟投影状态所看到的影像。
5.如权利要求4所述的影像合成装置，其特征在于：
以将所述曲面配置成从所述关注物体的位置离开规定距离的方式设定所述曲面的中心位置和所述曲面的半径中的至少一者。
6.如权利要求1所述的影像合成装置，其特征在于：
所述合成部合成的影像，是从所述虚拟视点看在基于所述关于关注物体的信息确定的混合位置切换所述多个影像而投影到所述虚拟投影面的虚拟投影状态所看到的影像。
7.如权利要求6所述的影像合成装置，其特征在于：
在所述关注物体存在于所述重叠的区域的情况下，以所述关注物体和所述混合位置不重叠的方式确定所述混合位置。
8.如权利要求1所述的影像合成装置，其特征在于：
所述合成部合成的影像中，根据具有所述影像合成装置的车辆的速度的信息、转向角的信息或行进方向的信息推测的、存在于有与所述车辆碰撞的可能性的方向上的物体被设定为关注物体。
9.一种将从多个摄像机输入来的影像合成而输出至影像显示部的影像合成方法，其特征在于，包括：
获取关于关注物体的信息的关注物体信息获取步骤；和
将所述多个摄像机拍摄到的多个影像合成的合成步骤，所述合成步骤中合成的影像，是从基于所述关于关注物体的信息确定的虚拟视点看由所述多个摄像机拍摄到的影像被投影到虚拟投影面的虚拟投影状态所看到的影像。
10.如权利要求9所述的影像合成方法，其特征在于：
所述虚拟视点、所述关注物体和所述多个摄像机中的拍摄到所述关注物体的摄像机所成的角度小于规定角度。
11.如权利要求10所述的影像合成方法，其特征在于：
所述规定角度基于拍摄到所述关注物体的摄像机与所述关注物体的距离和投影到所述虚拟投影面的所述关注物体的影像中允许的允许偏差量确定。
12.如权利要求9所述的影像合成方法，其特征在于：
所述虚拟投影面由平面和曲面构成，
所述合成步骤中合成的影像，是从所述虚拟视点看基于所述关于关注物体的信息设定了所述平面的位置、所述曲面的中心位置和所述曲面的半径中的至少一者的所述虚拟投影状态所看到的影像。
13.如权利要求12所述的影像合成方法，其特征在于：
以将所述曲面配置成从所述关注物体的位置离开规定距离的方式设定所述曲面的中心位置和所述曲面的半径中的至少一者。
14.如权利要求9所述的影像合成方法，其特征在于：
所述合成步骤中合成的影像，是从所述虚拟视点看在基于所述关于关注物体的信息确定的混合位置切换所述多个影像而投影到所述虚拟投影面的虚拟投影状态所看到的影像。
15.一种影像合成系统，其包括：多个摄像机、将从所述多个摄像机输入来的影像合成的影像合成装置和显示所述影像合成装置所合成的影像的影像显示部，所述影像合成系统的特征在于：
所述影像合成装置包括：
获取关于关注物体的信息的关注物体信息获取部；和
将所述多个摄像机拍摄到的多个影像合成的合成部，
所述合成部合成的影像，是从基于所述关于关注物体的信息确定的虚拟视点看由所述多个摄像机拍摄到的影像被投影到虚拟投影面的虚拟投影状态所看到的影像。
CN201580030864.0A 2014-06-20 2015-06-15 影像合成系统和用于其的影像合成装置与影像合成方法 Active CN106464847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014127565 2014-06-20
JP2014-127565 2014-06-20
PCT/JP2015/067169 WO2015194501A1 (ja) 2014-06-20 2015-06-15 映像合成システムとそのための映像合成装置及び映像合成方法

Publications (2)

Publication Number Publication Date
CN106464847A true CN106464847A (zh) 2017-02-22
CN106464847B CN106464847B (zh) 2019-06-25

Family

ID=54935487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580030864.0A Active CN106464847B (zh) 2014-06-20 2015-06-15 影像合成系统和用于其的影像合成装置与影像合成方法

Country Status (5)

Country Link
US (1) US10449900B2 (zh)
EP (1) EP3160138B1 (zh)
JP (1) JP6311020B2 (zh)
CN (1) CN106464847B (zh)
WO (1) WO2015194501A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109761122A (zh) * 2017-11-09 2019-05-17 东芝电梯株式会社 电梯控制系统
CN110266926A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN110520904A (zh) * 2017-03-29 2019-11-29 乐天株式会社 显示控制装置、显示控制方法及程序
CN110832851A (zh) * 2017-06-30 2020-02-21 歌乐株式会社 图像处理装置、图像变换方法
CN110891168A (zh) * 2018-09-07 2020-03-17 佳能株式会社 信息处理装置、信息处理方法和存储介质
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法
CN112116530A (zh) * 2019-06-19 2020-12-22 杭州海康威视数字技术股份有限公司 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN115336247A (zh) * 2020-06-10 2022-11-11 Jvc建伍株式会社 影像处理装置以及影像处理系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
WO2017212720A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10607417B2 (en) * 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
WO2018020751A1 (ja) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6856999B2 (ja) * 2016-09-23 2021-04-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6501805B2 (ja) * 2017-01-04 2019-04-17 株式会社デンソーテン 画像処理装置および画像処理方法
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
DE102017201002A1 (de) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
CN108501949B (zh) * 2017-02-27 2022-11-22 松下电器（美国）知识产权公司 信息处理装置以及记录介质
JP6730613B2 (ja) 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US10836312B2 (en) * 2017-06-19 2020-11-17 Rom Acquisition Corporation Dynamic 360 degree view accident avoidance system
JP7039879B2 (ja) 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3701711B1 (en) * 2017-10-26 2023-07-26 Harman International Industries, Incorporated Surround view system and method thereof
CN109935107B (zh) * 2017-12-18 2023-07-14 姜鹏飞 一种提升交通通视范围的方法及装置
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
JP7024539B2 (ja) * 2018-03-22 2022-02-24 カシオ計算機株式会社 画像編集装置、画像編集方法、及びプログラム
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN112199016B (zh) * 2020-09-30 2023-02-21 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011597A1 (en) * 2001-07-12 2003-01-16 Nissan Motor Co., Ltd. Viewpoint converting apparatus, method, and program and vehicular image processing apparatus and method utilizing the viewpoint converting apparatus, method, and program
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
WO2013053589A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur darstellung eines fahrzeugumfeldes
CN103650485A (zh) * 2011-07-12 2014-03-19 日产自动车株式会社 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP5044204B2 (ja) 2006-12-18 2012-10-10 クラリオン株式会社 運転支援装置
US9126533B2 (en) * 2007-02-23 2015-09-08 Aisin Aw Co., Ltd. Driving support method and driving support device
JP5292874B2 (ja) 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5716389B2 (ja) * 2010-12-24 2015-05-13 日産自動車株式会社 車両用表示装置
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP6310652B2 (ja) 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011597A1 (en) * 2001-07-12 2003-01-16 Nissan Motor Co., Ltd. Viewpoint converting apparatus, method, and program and vehicular image processing apparatus and method utilizing the viewpoint converting apparatus, method, and program
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
CN103650485A (zh) * 2011-07-12 2014-03-19 日产自动车株式会社 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法
WO2013053589A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur darstellung eines fahrzeugumfeldes
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520904B (zh) * 2017-03-29 2023-07-25 乐天集团股份有限公司 显示控制装置、显示控制方法及程序
CN110520904A (zh) * 2017-03-29 2019-11-29 乐天株式会社 显示控制装置、显示控制方法及程序
CN110832851B (zh) * 2017-06-30 2021-06-15 歌乐株式会社 图像处理装置、图像变换方法
CN110832851A (zh) * 2017-06-30 2020-02-21 歌乐株式会社 图像处理装置、图像变换方法
CN109761122A (zh) * 2017-11-09 2019-05-17 东芝电梯株式会社 电梯控制系统
US11354849B2 (en) 2018-09-07 2022-06-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method and storage medium
CN110891168A (zh) * 2018-09-07 2020-03-17 佳能株式会社 信息处理装置、信息处理方法和存储介质
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法
CN112116530A (zh) * 2019-06-19 2020-12-22 杭州海康威视数字技术股份有限公司 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN112116530B (zh) * 2019-06-19 2023-08-18 杭州海康威视数字技术股份有限公司 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN110266926B (zh) * 2019-06-28 2021-08-17 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN110266926A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN115336247A (zh) * 2020-06-10 2022-11-11 Jvc建伍株式会社 影像处理装置以及影像处理系统
CN115336247B (zh) * 2020-06-10 2024-03-08 Jvc建伍株式会社 影像处理装置以及影像处理系统

Also Published As

Publication number Publication date
US20170096106A1 (en) 2017-04-06
JPWO2015194501A1 (ja) 2017-04-27
EP3160138A1 (en) 2017-04-26
CN106464847B (zh) 2019-06-25
EP3160138A4 (en) 2018-03-14
WO2015194501A1 (ja) 2015-12-23
US10449900B2 (en) 2019-10-22
JP6311020B2 (ja) 2018-04-11
EP3160138B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN106464847A (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
JP5072576B2 (ja) 画像表示方法および画像表示装置
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
CN103988499B (zh) 车辆周边监视装置
JP5208203B2 (ja) 死角表示装置
US9030524B2 (en) Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
JP5491235B2 (ja) カメラキャリブレーション装置
CN103778649B (zh) 用于相机建模和虚拟视图合成的成像表面建模
JP5444338B2 (ja) 車両周囲監視装置
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
TWI320756B (zh)
CN103854335B (zh) 一种行车记录仪全景视频生成方法
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN106908046A (zh) 测量子系统和测量系统
CN103770706A (zh) 动态后视镜显示特征
JP2011048829A (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
US20170116710A1 (en) Merging of Partial Images to Form an Image of Surroundings of a Mode of Transport
CN107465890A (zh) 车辆的图像处理装置
JP6910454B2 (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
CN107851304A (zh) 面板变换
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant