CN112351242A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN112351242A
CN112351242A CN202010781303.7A CN202010781303A CN112351242A CN 112351242 A CN112351242 A CN 112351242A CN 202010781303 A CN202010781303 A CN 202010781303A CN 112351242 A CN112351242 A CN 112351242A
Authority
CN
China
Prior art keywords
image
vehicle
camera
blind spot
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010781303.7A
Other languages
English (en)
Inventor
须田亮平
本田圭助
松崎千绘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Publication of CN112351242A publication Critical patent/CN112351242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

提供能够使由多个拍摄部件拍摄的图像的合成变得清晰的图像处理装置以及图像处理方法。具有：侧相机(110L、110R)，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的图像；鱼眼相机(120)，被安装于车辆的后部，提供包含以较宽的视场角拍摄的车辆后方的图像；窄角相机(130)，被安装于车辆的后部，提供包含以较窄的视场角拍摄的车辆后方的图像；以及合成部件，能够对侧相机(110)的图像的车体区域，合成与该车体区域对应的鱼眼相机(120)的图像和窄角相机(130)的图像。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及对由车载相机拍摄的图像进行处理的图像处理装置，特别是涉及对由侧相机拍摄的图像合成由后置相机拍摄的图像的方法。
背景技术
为了实现驾驶员的驾驶辅助、视觉辨认性的提高，将由车载相机拍摄的图像显示于显示器的CMS(相机监控系统(Camera Monitor System))被搭载于车辆。例如，作为侧镜的替代部件，侧相机被安装于车辆的侧部，由侧相机拍摄的车辆的侧部后方的图像被显示于显示器。有以下方法：在由侧相机拍摄的图像中，与光学式的侧镜的图像同样地包含本车的车体的一部分，但将由于该车体而成为盲点的区域与后置相机的图像进行合成，使得车体看起来透明(以后，将其称为透视影像(See-through view))。
专利文献1如图1所示，在对侧相机的图像和后置相机的图像进行合成时，对由右相机3R拍摄的右相机图像和右相机3R的基准车体掩蔽图像进行第一视野变换处理而生成视野变换图像R和视野变换后的车体掩蔽图像，对由后方相机3B拍摄的后方相机图像进行第二视野变换处理而生成视野变换图像BR，基于视野变换后的车体掩蔽图像的像素值，对视野变换图像R和视野变换图像BR进行合成。这样，对视野变换图像R的车体区域合成由后方相机3B拍摄的后方相机图像，生成对车体所导致的盲点进行补充完善的透视影像。另外，在专利文献1中，使用超声波或激光器等距离传感器算出本车后方的投影面的位置，利用该投影面进行图像的合成。
现有技术文献
专利文献
专利文献1：(日本)特开2015-74436号公报
发明内容
发明要解决的课题
以往的透视影像的生成方法的概略工序如图2所示。图2的(A)表示由侧相机拍摄车辆的侧部后方的图像，图2的(B)表示由鱼眼透镜的后置相机拍摄车辆的后方的图像，图2的(C)表示通过由后置相机拍摄的图像的辨识处理而检测后方车辆，算出到后方车辆位置的距离，图2的(D)表示按照所算出的距离而设置虚拟面(投影面)，且在虚拟面投影由后置相机拍摄的图像，图2的(E)表示侧相机的图像和被投影的图像的合成。
后置相机通常被安装于车辆后部，由后置相机拍摄的后方图像被利用于本车后退时的停车辅助或障碍物探测等。因此，后置相机使用视场角大的鱼眼透镜(例如，视场角为180度或其以上)，以使能够拍摄本车的后端附近的路面。另一方面，侧相机被安装于门镜附近的车辆侧部，其视场角比后置相机的视场角小(例如，90度以下)，以使能够拍摄到车辆的侧部后方的远方。
图3示意性地表示对于后置相机，使用了可视角S1大的鱼眼相机时的拍摄范围、和使用了可视角S2窄的窄角相机时的拍摄范围。P是为了生成透视影像而设定的投影面，由侧相机拍摄的图像以及由后置相机拍摄的图像被坐标变换，以使被投影至投影面P。投影面P根据后方车辆10的位置而动态地发生变化，若后方车辆10接近于本车M，则有在鱼眼相机中画质上升，另一方面，在窄角相机中盲点变大的趋势。
在对后置相机使用了鱼眼相机的情况下，由于视野范围宽而能够拍摄到车辆后端附近的正下的路面。也就是说，即使后方车辆10接近于本车M，也能够没有遗漏地拍摄后方车辆10，盲点(不能拍摄的范围)少。但是，由于视野范围宽而画质变低且像差大，所以若到后方车辆10为止的距离变大，则其图像变得不清晰且失真变大。相对于此，在对后置相机使用了窄角相机的情况下，由于视野范围窄而画质变高且像差小，所以即使到后方车辆10为止的距离大，其图像也清晰。但是，若后方车辆10接近于本车M，则不能由窄角相机拍摄的盲点变大。这样鱼眼相机和窄角相机各有长短。
图4的(A)是对后置相机使用鱼眼相机而生成了透视影像时的显示例。在该情况下，侧相机的图像的车体区域的透视部分、也就是说由鱼眼相机的图像合成的部分的画质降低。图4的(B)是对后置相机使用窄角相机而生成了透视影像时的显示例。在该情况下，透视部的画质良好，但若后方车辆10接近，则产生盲点区域BL。在图4的(B)中，示出后方车辆的上侧、侧部、下侧这3处的盲点区域BL。这样在以往的透视影像的生成中，有在对由侧相机拍摄的图像合成了由鱼眼相机或者窄角相机拍摄的图像时，不能得到清晰的图像这样的课题。
本发明解决这样的以往的课题，其目的在于，提供能够使由多个拍摄部件拍摄的图像的合成变得清晰的图像处理装置、图像处理方法以及图像处理程序。
用于解决课题的手段
本发明所涉及的图像处理装置具有：第一拍摄部件，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的第一图像；第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角拍摄的车辆后方的第二图像；第三拍摄部件，被安装于车辆的后部，提供包含以比第一视场角窄的第二视场角拍摄的车辆后方的第三图像；以及合成部件，能够对第一图像的车体区域，合成与该车体区域对应的第二图像和第三图像。
在一实施方式中，所述合成部件将第三图像的盲点区域以第二图像来补充完善。在一实施方式中，所述合成部件在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完善。在一实施方式中，所述合成部件在第三图像的盲点区域不满足所述预先决定的条件时，不将该盲点区域以第二图像来补充完善而对第一图像的车体区域仅合成第二图像。在一实施方式中，所述预先决定的条件规定产生盲点区域的位置、产生盲点区域的个数、产生盲点区域的大小、或者车辆到后方物体为止的距离。在一实施方式中，所述合成部件在第三图像的盲点区域仅在后方物体的下侧产生的情况下，将该盲点区域通过第二图像来补充完善。在一实施方式中，所述合成部件在第三图像的盲点区域在后方物体的下侧以外也产生的情况下，不将该盲点区域以第二图像来补充完善而对第一图像的车体区域仅合成第二图像。在一实施方式中，所述合成部件响应于第三图像的盲点区域的动态的变化而将该盲点区域以第二图像来补充完善，或者不以第二图像来补充完善而对第一图像的车体区域仅合成第二图像。在一实施方式中，所述合成部件在从使用了第二图像以及第三图像的合成迁移至使用了第二图像的合成时，对图像的合成进行控制，以使在第二图像和第三图像的重复区域中第二图像的透射率逐渐变大。在一实施方式中，图像处理装置还包含算出到后方物体为止的距离的算出部件，所述合成部件基于所述算出的距离而设定投影面，将第一图像、第二图像以及第三图像的坐标变换到被设定的投影面，对变换后的第一图像的车体区域合成被变换后的第二图像以及第三图像。在一实施方式中，所述算出部件根据对第二图像和第三图像进行立体视时的视差来算出到后方物体为止的距离。在一实施方式中，所述算出部件通过雷达或者LiDAR即激光雷达等距离传感器算出到后方物体为止的距离。在一实施方式中，第二图像能够作为在车辆后退时的后置影像用的图像被利用，第三图像能够作为室内镜用的图像被利用。在一实施方式中，图像处理装置还包含显示由所述合成部件合成的图像的显示部件。在一实施方式中，所述第二拍摄部件包含拍摄范围为广角的鱼眼透镜，所述第三拍摄部件包含与鱼眼透镜相比拍摄范围相对窄的窄角透镜。
本发明所涉及的图像处理方法用于图像处理装置，所述图像处理装置包含：第一拍摄部件，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的第一图像；第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角拍摄的车辆后方的第二图像；以及第三拍摄部件，被安装于车辆的后部，提供包含以比第一视场角窄的第二视场角拍摄的车辆后方的第三图像，所述图像处理方法包含：合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的第二图像以及第三图像。
在一实施方式中，所述合成步骤在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完善。在一实施方式中，所述合成步骤在第三图像的盲点区域不满足所述预先决定的条件时，不将该盲点区域以第二图像来补充完善而对第一图像的车体区域仅合成第二图像。
本发明所涉及的图像处理程序由图像处理装置执行，所述图像处理装置包含：第一拍摄部件，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的第一图像；第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角拍摄的车辆后方的第二图像；以及第三拍摄部件，被安装于车辆的后部，提供包含以比第一视场角窄的第二视场角拍摄的车辆后方的第三图像，图像处理程序包含：合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的第二图像以及第三图像。
在一实施方式中，所述合成步骤在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完善。在一实施方式中，所述合成步骤在第三图像的盲点区域不满足所述预先决定的条件时，不将该盲点区域以第二图像来补充完善而对第一图像的车体区域仅合成第二图像。
发明效果
根据本发明，通过能够将以第一视场角拍摄的第二图像和以比第一视场角窄的第二视场角拍摄的第三图像合成至第一图像的车体区域，从而能够将以第一视场角拍摄的图像和以第二视场角拍摄的图像的各自的优点(即，以第一视场角拍摄的图像的拍摄范围宽而不容易产生盲点，以第二视场角拍摄的图像的画质高)活用于合成图像，得到清晰的合成图像。
附图说明
图1是表示以往的对由侧相机拍摄的图像合成由后置相机拍摄的图像的例的图。
图2是说明以往的透视影像的生成方法的图。
图3是对后置相机使用了鱼眼相机和窄角相机时的视野范围的示意图。
图4的(A)是使用了鱼眼相机时的透视影像的显示例，图4的(B)是使用了窄角相机时的透视影像的显示例。
图5是表示本发明的实施例所涉及的图像处理装置的结构的框图。
图6是表示本发明的实施例所涉及的拍摄相机的安装例的俯视图。
图7是说明本发明的实施例所涉及的透视影像的生成动作的流程。
图8是表示本发明的实施例所涉及的以鱼眼相机的图像对窄角相机的图像的盲点区域进行补充完善，将其合成至侧相机的图像而生成透视影像的例的图。
图9是表示本发明的实施例所涉及的仅将鱼眼相机的图像合成至侧相机的图像而生成透视影像的例的图。
图10是说明本发明的变形例所涉及的窄角相机的图像和鱼眼相机的图像的合成方法的图。
标号说明
100：图像处理装置
110L、110R：拍摄相机(侧相机)
120：拍摄相机(鱼眼相机)
130：拍摄相机(窄角相机)
140：控制部
150：距离算出部
160：显示部
具体实施方式
本发明所涉及的图像处理装置具有对由被安装于移动体等的拍摄相机拍摄的图像进行合成的功能。被合成的图像被用于CMS(相机监控系统(CameraMonitor System))，被显示于显示器。在一个优选的方式中，图像处理装置对由侧相机拍摄的图像中包含的成为车体的盲点的区域合成由后置相机拍摄的图像，生成透视影像。
实施例
图5是表示本发明的实施例所涉及的图像处理装置的结构的框图。本实施例的图像处理装置100具备：多个拍摄相机110L、110R、120、130，被安装于车辆；控制部140，获取由这些拍摄相机拍摄的图像，进行包含图像处理等的各种控制；距离算出部150，算出本车到后方的对象物(例如，后方车辆等)为止的距离；以及显示部160，显示由控制部140图像处理后的图像。本实施例的图像处理装置还能够进行与被搭载于车辆的车载装置(例如，具备视听/导航功能等的电子装置)协作的动作。
图6是表示拍摄相机的安装例的车辆的俯视图。拍摄相机110～130例如包含CCD传感器或CMOS传感器等拍摄元件和拍摄透镜。拍摄相机110L、110R是替代侧镜的侧相机，分别被安装于车辆M的左右的侧镜内或者其附近，或者置换侧镜(以后，称为侧相机110L、110R)。侧相机110L、110R的拍摄透镜的视场角θ1、即拍摄范围例如为从光轴起90度或其以下。在被映射到光学式的侧镜的图像中，为了易于掌握车辆M与周边物体的位置关系而映射车体的侧部。因此，侧相机110L、110R的光轴被调整为，至少与光学式的侧镜同样地，车体的侧部的一部分被拍摄。
在车辆M的后部，安装两个拍摄相机120、130。拍摄相机120被安装于车辆M的后部的左右的大致中央，例如牌照或保险杠的高度附近。拍摄相机120是包含较宽的可视角的鱼眼透镜，其视场角θ2为约180度或比其大(以后，称为鱼眼相机)。鱼眼相机120对车辆M的后方以宽范围进行拍摄，被拍摄的图像包含车辆M的后端的路面。由鱼眼透镜120拍摄的图像在车辆M后退时(也就是说，档位为后退时)，在显示部160中作为后置影像而被显示。驾驶员一边对后置影像进行视觉辨认一边确认后方的障碍物，或进行停车。此外，由鱼眼相机120拍摄的图像如后述，还被利用于由侧相机110L、110R拍摄的图像的合成。
另一个拍摄相机130被安装于与车辆M的后部的鱼眼相机120大致相同的高度，且远离鱼眼相机120一定距离的位置。拍摄相机130包含与鱼眼透镜相比视场角更小的拍摄透镜，其视场角θ3为约90度或其以下(以下，称为窄角相机)。窄角相机130能够作为室内镜(room mirror)的替代而被利用，在该情况下，以与由室内镜映射的图像同样的拍摄范围对车辆M的后方进行拍摄。由窄角相机130拍摄的图像在车辆前进时等在显示部150中作为后置影像而被显示。此外，窄角相机130还与鱼眼相机120一起，被利用于由侧相机110L、110R拍摄的图像的合成。
控制部140获取由侧相机110L、110R、鱼眼相机120、窄角相机130拍摄的图像，对所获取的图像进行处理，使其显示于显示部160。控制部140基于由距离算出部150算出的到后方的对象物为止的距离而设定投影面P(参考图3)，在投影面P上，分别投影由安装位置或视场角不同的各相机110～130拍摄的图像，从而进行这些图像的坐标变换。控制部140在投影面P中，算出侧相机110L、110R、鱼眼相机120、窄角相机130的变换后的各图像的像素间的对应关系。在生成透视影像的情况下，控制部140在投影面P上的侧相机110L、110R的图像中，对与车体区域的图像对应的鱼眼相机120以及窄角相机130的图像进行识别或者提取，将识别或者提取的图像合成至车体区域。进而，控制部140根据侧相机的安装位置、光轴的方向、拍摄范围、车体形状等，算出在投影面P上的侧相机110L、110R的图像中，哪个区域与车体区域对应。
控制部140例如是用于进行图像处理的处理器，包含微型计算机、ROM/RAM等，在一个优选的例中，控制部140执行被储存于ROM/RAM的图像处理程序，从而控制硬件，进行生成透视影像或后置影像等图像所需的图像处理。
距离算出部150算出本车M到后方的对象物为止的距离。算出例如以一定周期来进行。对象物例如是在本车的后方行驶的后方车辆、或者存在于本车的后方的障碍物或道路等。距离的算出方法例如使用雷达或LiDAR即激光雷达那样的距离传感器来算出到对象物为止的距离，或者对鱼眼相机120和窄角相机130的两个图像进行立体视从而算出至对象物的距离。在后者的情况下，距离算出部150对被变换到投影面P的两个图像进行立体视，根据其启示而算出至对象物的距离。距离算出部150在每次算出距离时，将其提供给控制部140。控制部140基于从距离算出部150获取的距离而设定用于生成透视影像的投影面P。该投影面P的位置根据到对象物为止的距离而每次发生变化。
显示部160获取由控制部140处理的图像数据，对其进行显示。显示部160包含液晶显示器、有机EL显示器、投射装置(HUD)等显示介质中的一个或者多个。显示部160的安装位置没有被特别限定，但例如是仪表板内的液晶显示模块，或车载装置用的显示器，或对前挡玻璃等的投射图像。在一个优选的例中，显示部160对由侧镜110L、110R拍摄的车辆的侧部后方的图像进行显示(透视影像显示)，或对由鱼眼相机120拍摄的车辆的后方图像进行显示(后置影像显示)，或对由窄角相机130拍摄的车辆的后方图像进行显示(室内镜影像显示)。
接着，针对本实施例的透视影像的生成进行说明。图7是说明本实施例的透视影像的生成动作的流程。透视影像的生成对于侧相机110L、110R共通，因此，在此，针对侧相机110L进行说明。
控制部140获取由侧相机110L拍摄的图像、由鱼眼相机120拍摄的图像、以及由窄角相机130拍摄的图像(S100)。此外，距离算出部150算出车辆后方到对象物为止的距离(S110)，将所算出的距离提供给控制部140。
控制部140若从距离算出部150获取了距离，则基于距离而设定投影面P，在投影面P上，对由侧相机110L、鱼眼相机120以及窄角相机130拍摄的图像的坐标进行变换(S120)。
接着，控制部140在对侧相机110L的图像的车体区域合成窄角相机130的图像的情况下，判定是否在窄角相机130的图像中产生盲点(S130)。窄角相机130例如视场角θ3(或者拍摄范围)为约90度，被安装于车辆的保险杠附近，若从本车至后方物体的距离成为例如约1.4m左右，则会产生不能拍摄后方物体的整体的盲点。在投影面P中，控制部140算出侧镜110L的车体区域的坐标空间，若与该坐标空间对应的像素的全部能够由窄角相机130拍摄，则判定为没有产生盲点，若不能拍摄，则判定为产生盲点。
控制部140在应合成至车体区域的窄角相机130的图像中没有产生盲点的情况下，将窄角相机130的图像合成至侧镜110L的图像的车体区域(S150)。由于车体区域以窄角相机130的高画质的图像被合成，所以能够使透视影像更清晰地显示。
另一方面，在应合成的窄角相机130的图像中产生盲点的情况下，控制部140判定该盲点是否符合预先决定的条件(S160)。预先决定的条件是指，用于决定是否将窄角相机130的图像的盲点区域以鱼眼相机120的图像来补充完善的条件。例如，若盲点区域是比较不显眼的位置、大小、个数，即使将其以画质低的鱼眼相机120的图像来补充完善，也不会对图像的清晰度产生较大的影响。另一方面，在盲点区域与后方车辆的一部分重复，或尺寸相对大，或者产生了多个的情况下，若将其以鱼眼相机120的图像来补充完善，则反而图像变得不清晰。在该情况下，比起将盲点区域以鱼眼相机120的图像来补充完善，还不如不使用窄角相机130的图像，而仅使鱼眼相机120的图像合成而能够使合成图像变得清晰。
预先决定的条件也可以如上述那样规定产生盲点区域的位置、大小、个数，或者由于盲点区域的产生还是由距离算出部150算出的距离的函数，因此也可以将该距离设为条件。在该情况下，若本车至后方物体的距离为阈值以上则判定为符合条件，若小于其则判定为不符合条件。
控制部140在盲点符合预先决定的条件的情况下(S160)，将窄角相机130的盲点区域以鱼眼相机120所对应的图像来补充完善，将该补充完善后的窄角相机130的图像和鱼眼相机120的图像合成至侧相机110L的图像的车体区域(S170)。在投影面P中，已知窄角相机130和鱼眼相机120的像素的对应关系，所以与盲点区域对应的鱼眼相机130的图像被提取或者被切出，其被合成至盲点区域。
将盲点区域以鱼眼相机130的图像来补充完善的例如图8所示。在该例中，窄角相机的图像的盲点区域BL在后方车辆的下侧的不太显眼的部分产生。因此，控制部140判定为盲点区域符合条件，将与盲点区域BL对应的图像从鱼眼相机130提取或者切出，将其合成至盲点区域BL从而对盲点区域BL进行补充完善。并且，盲点区域BL被补充完善后的图像合成至侧相机110L的图像的车体区域，透视影像被生成。
透视影像的“Q”表示侧相机的车体区域的边界，“T”表示窄角相机130的图像和鱼眼相机120的图像的边界。该边界T处于后方车辆和路面间的附近，所以不太显眼。此外，由于对窄角相机120的图像进行合成，能够得到与侧相机110L的图像同程度的画质，且盲点区域通过鱼眼相机130的图像被补充完善，能够得到比较清晰的高画质的透视影像。
另一方面，在盲点不符合于预先决定的条件的情况下(S160)，控制部140不将窄角相机130的盲点区域以鱼眼相机120的图像来补充完善，仅将鱼眼相机120的图像合成至侧相机110L的图像的车体区域(S180)。该合成的情形如图9所示。在此，在窄角相机130的图像中，在后方车辆的下侧、侧部以及上侧的多个部位产生了盲点区域BL。此外，下侧的盲点区域较大，以至于与后方车辆的一部分重复。因此，控制部140判定为盲点区域不符合条件，不以鱼眼相机120的图像对盲点区域BL进行补充完善，而将鱼眼相机120的图像合成至侧相机110L的图像的车体区域，生成透视影像。在此应留意的是，在透视影像中盲点区域在出现之前被置换为鱼眼相机的图像。这样，由于使用鱼眼相机130的图像，有一些画质降低，但能够使在后方车辆接近后的透视影像中没有盲点区域的显示。
图7所示的步骤在车辆的行驶中(前进或后退)或者停车中被反复执行，透视影像被连续地生成。此外，若由距离算出部150算出的到后方物体为止的距离发生变化，则投影面P发生变化，根据此而盲点区域的产生动态地发生变化，应合成至侧相机的图像的车体区域的图像被适当切换为鱼眼相机120的图像以及/或者窄角相机130的图像。
这样根据本实施例，能够将具有室内镜的替代功能的窄角相机的图像和被利用于后置影像的鱼眼相机的图像合成至侧相机的图像，从而能够生成利用了窄角相机和鱼眼相机的长处的清晰的透视影像。
接着，针对本发明的变形例进行说明。如上述那样根据由距离算出部150算出的距离即投影面，在窄角相机130的图像中产生的盲点区域动态地发生变化，由此，用于合成的图像从窄角相机130和鱼眼相机120的图像，转移至仅鱼眼相机120的图像。为了使该转移时的图像的切换流畅，在变形例中，对两个图像的合成进行控制，以使在鱼眼相机120和窄角相机130重复的范围中，使鱼眼相机120的图像的透射率逐渐变高，或者在该判定中使窄角相机130的图像的透射率逐渐变低。
该图像合成的情形如图10所示。设为在时刻T1时，窄角相机130的盲点区域通过鱼眼相机120的图像被补充完善，在时刻T5时，盲点区域被置换为鱼眼相机120的图像。控制部140在时刻T2时，例如以7：3的比例对被透射的窄角相机的图像和鱼眼相机的图像进行合成，在时刻T3时，以5：5的比例进行合成，在时刻T4时，以3：7的比例进行合成。通过进行这样的合成，能够防止画质剧烈地发生变化。
以上，针对本发明的优选的实施方式进行详细叙述，但本发明并非限定于特定的实施方式，在权利要求书中记载的发明的主旨的范围中，能够进行各种变形、变更。

Claims (10)

1.一种图像处理装置，其中，具有：
第一拍摄部件，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的第一图像；
第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角拍摄的车辆后方的第二图像；
第三拍摄部件，被安装于车辆的后部，提供包含以比第一视场角窄的第二视场角拍摄的车辆后方的第三图像；以及
合成部件，能够对第一图像的车体区域，合成与该车体区域对应的第二图像和第三图像。
2.如权利要求1所述的图像处理装置，其中，
所述合成部件将第三图像的盲点区域以第二图像来补充完善。
3.如权利要求1所述的图像处理装置，其中，
所述合成部件在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完善。
4.如权利要求3所述的图像处理装置，其中，
所述合成部件在第三图像的盲点区域不满足所述预先决定的条件时，不将该盲点区域以第二图像来补充完善，而对第一图像的车体区域仅合成第二图像。
5.如权利要求3所述的图像处理装置，其中，
所述预先决定的条件规定产生盲点区域的位置。
6.如权利要求3所述的图像处理装置，其中，
所述预先决定的条件规定产生盲点区域的个数。
7.如权利要求3所述的图像处理装置，其中，
所述预先决定的条件规定产生盲点区域的大小。
8.如权利要求3所述的图像处理装置，其中，
所述预先决定的条件规定车辆到后方物体为止的距离。
9.如权利要求1所述的图像处理装置，其中，
所述合成部件在第三图像的盲点区域仅在后方物体的下侧产生的情况下，将该盲点区域通过第二图像来补充完善。
10.一种图像处理方法，用于图像处理装置，
所述图像处理装置包含：
第一拍摄部件，被安装于车辆的侧部，提供对包含车体区域的侧部后方进行拍摄的第一图像；
第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角拍摄的车辆后方的第二图像；以及
第三拍摄部件，被安装于车辆的后部，提供包含以比第一视场角窄的第二视场角拍摄的车辆后方的第三图像，
所述图像处理方法包括：
合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的第二图像以及第三图像。
CN202010781303.7A 2019-08-06 2020-08-06 图像处理装置以及图像处理方法 Pending CN112351242A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019144115A JP7280006B2 (ja) 2019-08-06 2019-08-06 画像処理装置、画像処理方法および画像処理プログラム
JP2019-144115 2019-08-06

Publications (1)

Publication Number Publication Date
CN112351242A true CN112351242A (zh) 2021-02-09

Family

ID=71943990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781303.7A Pending CN112351242A (zh) 2019-08-06 2020-08-06 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US11273763B2 (zh)
EP (1) EP3772719B1 (zh)
JP (1) JP7280006B2 (zh)
CN (1) CN112351242A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342024B2 (ja) * 2018-10-31 2023-09-11 ソニーグループ株式会社 撮影装置、制御方法、及び、プログラム
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US7806604B2 (en) 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
JP4731392B2 (ja) 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
JP2014236415A (ja) 2013-06-04 2014-12-15 日産自動車株式会社 車両表示装置
JP2015074436A (ja) * 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6392693B2 (ja) 2015-03-20 2018-09-19 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP7128625B2 (ja) * 2017-05-18 2022-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法

Also Published As

Publication number Publication date
US20210039554A1 (en) 2021-02-11
EP3772719B1 (en) 2022-10-05
US11273763B2 (en) 2022-03-15
JP7280006B2 (ja) 2023-05-23
EP3772719A1 (en) 2021-02-10
JP2021027469A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
US7365653B2 (en) Driving support system
JP5684144B2 (ja) 周辺映像生成方法および装置
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US8130270B2 (en) Vehicle-mounted image capturing apparatus
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
US20220210344A1 (en) Image display apparatus
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
CN112351242A (zh) 图像处理装置以及图像处理方法
JP5093611B2 (ja) 車両周辺確認装置
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2002374523A (ja) 監視システム
JP7263731B2 (ja) 画像処理装置
KR101510655B1 (ko) 주변 영상 생성 방법 및 장치
US11040661B2 (en) Image display apparatus
JP7000383B2 (ja) 画像処理装置および画像処理方法
US10933812B1 (en) Outside-vehicle environment monitoring apparatus
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP7301476B2 (ja) 画像処理装置
JP2022059143A (ja) 車両用複眼カメラ
EP3315366B1 (en) Imaging and display device for vehicle and recording medium
KR20180045792A (ko) 차량용 촬영 표시 장치 및 기록 매체
JP4285229B2 (ja) 車両用表示装置
JP2022029346A (ja) 画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination