CN106254763A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN106254763A
CN106254763A CN201610405518.2A CN201610405518A CN106254763A CN 106254763 A CN106254763 A CN 106254763A CN 201610405518 A CN201610405518 A CN 201610405518A CN 106254763 A CN106254763 A CN 106254763A
Authority
CN
China
Prior art keywords
image
vehicle
composograph
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610405518.2A
Other languages
English (en)
Other versions
CN106254763B (zh
Inventor
清幸荣
松山哲
森山亲
森山亲一
浅井五朗
奥田真佐人
里见洋平
志土地由香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Publication of CN106254763A publication Critical patent/CN106254763A/zh
Application granted granted Critical
Publication of CN106254763B publication Critical patent/CN106254763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理装置和图像处理方法。所述图像处理装置包括显示控制单元、模式指定单元和模式核对单元。所述显示控制单元基于从车载摄像机输入的图像来生成是从虚拟视点观看的车辆周围图像的合成图像，并在显示单元上显示所述合成图像。所述模式指定单元针对每个车载摄像机在各图像模式中指定要作为所述输入图像输出的图像模式。所述模式核对单元判定来自所述车载摄像机的所有图像模式响应是否与所述图像模式相匹配。当满足到合成图像的显示切换条件时，所述显示控制单元在显示单元上显示特定准备图像，并当所述模式核对单元判定所有所述图像模式响应与所述图像模式匹配时，所述显示控制单元在显示单元上显示所述合成图像而不是所述准备图像。

Description

图像处理装置和图像处理方法
技术领域
在此讨论的实施例涉及图像处理装置和图像处理方法。
背景技术
已开发一种装置，其通过组合从安装在车辆中的多个车载摄像机获得的摄像机图像，生成合成图像，并且在显示器上显示合成图像，合成图像指示从特定虚拟视点(例如从车辆的正上方以及从车辆的后方)查看的车辆周围状态。
例如，第2002-027446号日本特许专利公开披露一种技术，其指定每个车载摄像机的图像区域，并且每个车载摄像机分割摄像机图像中的指定图像区域以便输出。
但是，常规技术具有以下可能性：在获得所有指定图像数据片段之前，可能在显示器上显示非预期合成图像，该图像包括不同于指定图像区域的区域的图像数据。
因此，在实施例的一个方面，目标是提供能够防止显示非预期合成图像的图像处理装置和图像处理方法。
发明内容
根据一个实施例的一种图像处理装置包括显示控制单元、模式指定单元、以及模式核对单元。所述显示控制单元基于从多个车载摄像机的每一个输入的输入图像来生成是从虚拟视点观看的车辆周围图像的合成图像，并导致显示单元显示所述合成图像。所述模式指定单元针对每个车载摄像机在多个图像模式中指定要作为所述输入图像输出的图像模式。所述模式核对单元判定从所述车载摄像机发送的多个图像模式响应中的所有图像模式响应是否均与所述图像模式相匹配。当满足到合成图像的显示切换条件时，所述显示控制单元导致所述显示单元显示特定准备图像，并且当所述模式核对单元判定所有所述图像模式响应均与所述图像模式相匹配时，所述显示控制单元导致所述显示单元显示所述合成图像而不是所述准备图像。
根据该实施例的一个方面，能够防止显示非预期合成图像。
附图说明
当结合附图考虑时，通过参考以下详细描述，可以更好地理解以及更完整地了解本发明及其附带的许多优点，这些附图是：
图1是根据本实施例的图像处理系统的一个配置实例；
图2是车载摄像机的布置实例；
图3是示出切换要在显示单元上显示的屏幕的时间的顺序图；
图4是后方屏幕的一个实例；
图5是准备屏幕的一个实例；
图6是虚拟视点屏幕的一个实例；
图7是根据本实施例的图像处理系统的一个特定配置实例；
图8是示出由根据本实施例的图像处理装置执行的处理过程的流程图；
图9是备选虚拟视点屏幕的一个实例；以及
图10是布局图像的一个实例。
具体实施方式
现在将参考附图描述在本实施例中披露的图像处理装置和图像处理方法的一个实施例。要理解，本发明并不限于该实施例。
图1是根据本实施例的图像处理系统的一个配置实例。图2是车载摄像机的一个布置实例。
如图1中所示，根据本实施例的图像处理系统1包括图像捕获装置2、图像处理装置3、以及显示单元4。
图像捕获装置2包括前方摄像机2a、后方摄像机2b、右侧摄像机2c、以及左侧摄像机2d。如图2中所示，这些车载摄像机2a至2d分别布置在车辆100的前方、后方、右侧、以及左侧。
每个车载摄像机2a至2d包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)之类的图像捕获元件，并且使用图像捕获元件捕获车辆100的周围图像。更具体地说，车载摄像机2a至2d分别捕获车辆100的前方、后方、右侧和左侧的图像。
每个车载摄像机2a至2d包括广角镜头，例如鱼眼镜头。因此，每个车载摄像机2a至2d具有等于或大于180度的视角。因此，通过使用这些车载摄像机2a至2d，能够捕获车辆100的整个周围的图像。
通过输出线5，将由车载摄像机2a至2d捕获的图像输出到图像处理装置3。输出线5例如是国家电视系统委员会(NTSC)电缆。
例如，每个车载摄像机2a至2d的像素数是100万，这大于可以通过每个输出线5输出的最大像素数(例如30万)。因此，在图像处理系统1中，图像处理装置3(将在下面描述)针对每个车载摄像机2a至2d指定要输出到图像处理装置3的图像区域。然后，每个车载摄像机2a至2d分割捕获的图像中由图像处理装置3指定的图像区域，并且将图像输出到图像处理装置3。
通过通信线6指定图像区域。例如，通信线6是诸如控制器区域网络(CAN)之类的车辆局域网(LAN)总线。图像处理装置3还通过通信线6连接到显示单元4、未示出的各种电子控制单元(ECU)等。图像处理装置3能够将各种信息片段发送到显示单元4和ECU，并且从显示单元4和ECU接收各种信息片段。
以下，将由每个车载摄像机2a至2d捕获的图像(在被分割之前的图像)称为“摄像机图像”，并且将从每个车载摄像机2a至2d输出到图像处理装置3的图像(在被分割之后的图像)称为“输入图像”。
图像处理装置3通过针对从每个车载摄像机2a至2d输入的输入图像执行坐标转换过程，生成虚拟视点图像，其是从虚拟视点观看的车辆100的周围图像。
在坐标转换过程中，例如图像处理装置3在特定投影面上投影(映射)捕获的图像。在特定投影面上投影的输入图像中，虚拟视点图像是从虚拟视点观看的包括在预定视角内的区域的图像。
例如，图像处理装置3在其中储存表，该表指示包括在输入图像中的数据的位置与特定投影面的位置之间的对应关系。因此，通过使用该表，图像处理装置3能够在对应于特定投影面的位置上投影包括在输入图像中的数据。
例如，特定投影面具有基本半球形(例如碗形)，并且中心区域(例如碗底部)对应于车辆100的位置。例如，车辆100的位置外部(例如不包括碗底部的部分)对应于车辆100的周围区域。例如，特定投影面还可以是平面而不是曲面。
图像处理装置3通过将车辆图像(其是从虚拟视点观看的车辆100的图像)与生成的虚拟视点图像进行色度键控(chroma keying)来生成合成图像，并且在显示单元4上显示该合成图像。
显示单元4包括液晶显示器(LCD)，并且能够显示包括从图像处理装置3获得的合成图像的虚拟视点屏幕。例如，显示单元4可以是触摸面板型显示器。
当将要在显示单元4上显示的屏幕例如从后方屏幕等切换到虚拟视点屏幕时，图像处理装置3有时请求每个车载摄像机2a至2d切换要作为输入图像输出的图像区域，以便获得适合于生成虚拟视点图像的输入图像。
但是，从图像处理装置3请求每个车载摄像机2a至2d切换图像区域时，直到每个车载摄像机2a至2d输出切换之后的输入图像时，可能存在时间滞后。因此，当将显示立即从后方屏幕等切换到虚拟视点屏幕时，存在以下可能性：可能在显示单元4上显示非预期合成图像，该图像包括不同于所请求的输入图像的输入图像(换言之，切换之前的输入图像)。此外，因为用于切换输入图像的时间对于每个车载摄像机2a至2d而言有所不同，所以存在以下可能性：屏幕可能闪烁，因为单独切换输入图像，并且合成图像被频繁改变。
能够通过以下操作防止这种情况：首先指定每个车载摄像机2a至2d的图像区域，切换该图像区域，并且然后在已经过预定时间之后切换到虚拟视点屏幕。但是，即使在这种情况下，也难以应对其中发生非预期时间滞后的情况。此外，等待预先确定的统一时间段是低效的。
因此，在根据本实施例的图像处理装置3中，当将显示从后方屏幕等切换到虚拟视点屏幕时，在显示虚拟视点屏幕之前，在显示单元4上显示特定准备屏幕。然后，仅当通过通信线6从所有车载摄像机2a至2d接收对应于新指定的输入图像的输出响应时，图像处理装置3才导致显示单元4显示虚拟视点图像而不是准备屏幕。
现在将参考图3至图6描述这一点。图3是示出切换要在显示单元4上显示的屏幕的时间的顺序图。图4是后方屏幕的一个实例。图5是准备屏幕的一个实例。图6是虚拟视点屏幕的一个实例。作为一个实例，图3示出当将显示从后方屏幕切换到虚拟视点屏幕时的顺序图。
如图3中所示，前方摄像机2a、后方摄像机2b、右侧摄像机2c和左侧摄像机2d均将输入图像输出到图像处理装置，该输入图像通过分割摄像机图像中的特定区域而获得。在从车载摄像机2a至2d获得的输入图像中，图像处理装置3使用来自后方摄像机2b的输入图像生成后方屏幕，并且导致显示单元4显示该图像。如图4中所示，后方屏幕101是这样的屏幕：其包括作为来自后方摄像机2b的输入图像的后方图像111，并且不包括来自其它车载摄像机2a、2c和2d的输入图像。
图像处理装置3在其中存储表，该表指示要在显示单元4上显示的屏幕(后方屏幕101和虚拟视点屏幕103，将在下面描述)与要作为输入图像从摄像机图像分割的图像区域(以下，称为“图像模式”)之间的对应关系。每个车载摄像机2a至2d在其中存储表，该表指示要作为输入图像从摄像机图像分割的图像区域与图像模式之间的对应关系。
图像处理装置3通过通信线6，定期将对应于当前在显示单元4上显示的屏幕的图像模式发送到每个车载摄像机2a至2d。在从图像处理装置3接收图像模式时，每个车载摄像机2a至2d将对应于当前输出的输入图像的图像模式响应发送到图像处理装置3。
例如，当显示后方屏幕101时，图像处理装置3将对应于后方屏幕101的图像模式P1发送到每个车载摄像机2a至2d。当从对应于图像模式P1的图像区域(换言之，从对应于后方屏幕101的图像区域)分割输入图像时，已接收图像模式P1的每个车载摄像机2a至2d将图像模式响应P1A发送到图像处理装置3。
随后，当满足从后方屏幕101到虚拟视点屏幕的显示切换条件时，例如当用户执行到虚拟视点屏幕的切换操作时，图像处理装置3首先导致显示单元4显示准备屏幕。
如图5中所示，准备屏幕102是包括准备图像112的屏幕。准备图像112是黑色单色图像，并且预先存储在存储单元(未示出)中。
这样，因为单色图像相对不显眼，所以当将单色图像用于准备图像112时，不太可能吸引正在驾驶的用户的注意力，例如与当将包括字符、模式等的图像用于模式图像112时相比。具体地说，如在本实施例中，当使用黑色单色图像时，更不太可能吸引正在驾驶的用户的注意力。要注意的是，准备图像112还可以是黑色之外的单色图像。此外，准备图像112不一定需要是单色图像。
当满足从后方屏幕101到虚拟视点屏幕的显示切换条件时，图像处理装置3将对应于虚拟视点屏幕103的图像模式P2发送到每个车载摄像机2a至2d。
例如，如图6中所示，虚拟视点屏幕103是包括后方图像111和合成图像113的屏幕。合成图像113是通过将车辆图像116与虚拟视点图像115(基于来自每个车载摄像机2a至2d的输入图像而生成)进行色度键控而获得的图像。要注意的是，虚拟视点屏幕103不一定需要包括后方图像111。
在从图像处理装置3接收到图像模式P2时，每个车载摄像机2a至2d将要从摄像机屏幕分割的图像区域从对应于图像模式P1的区域切换到对应于图像模式P2的区域。每个车载摄像机2a至2d然后将从对应于图像模式P2的区域分割的输入图像输出到图像处理装置3。
每个车载摄像机2a至2d然后将对应于正在被输出的输入图像的图像模式响应P2A发送到图像处理装置3。当从车载摄像机2a至2d接收的所有图像模式响应P2A均与图像模式P2匹配时，图像处理装置3导致显示单元4显示虚拟视点屏幕103而不是准备屏幕102。
如上所述，当在满足显示切换条件时将显示切换到虚拟视点屏幕103的情况下，具有以下可能性：可能在显示单元4上显示包括非预期合成图像的虚拟视点屏幕103。但是，在根据本实施例的图像处理装置3中，在满足显示切换条件之后，在显示虚拟视点屏幕103之前，在显示单元4上显示准备屏幕102。因此，能够防止在显示单元4上显示包括非预期合成图像113的虚拟视点屏幕103。
接下来，将描述根据本实施例的车载摄像机2a至2d和图像处理装置3的特定配置和操作。首先，将参考图7描述车载摄像机2a至2d和图像处理装置3的特定配置。图7是根据本实施例的图像处理系统1的特定配置。在图7中，仅示出解释图像处理系统1的特性需要的构成元件，并且省略通用构成元件的描述。
如图7中所示，车载摄像机2a至2d分别包括接口(I/F)单元21a至21d和控制单元22a至22d。例如，每个接口单元21a至21d是用于CAN通信的接口，并且通过通信线6将不包括图像数据的各种类型数据发送到图像处理装置3以及从图像处理装置3接收不包括图像数据的各种类型数据。
例如，每个接口单元21a至21d通过通信线6从图像处理装置3接收图像模式，并且将图像模式传送给控制单元22a至22d中的对应一个。每个接口单元21a至21d还通过通信线6，将从控制单元22a至22d中的对应一个接收的图像模式响应发送到图像处理装置3。
控制单元22a至22d均分割摄像机图像中对应于所述图像模式的图像区域，并且通过对应一个输出线5，将图像区域输出到图像处理装置3作为输入图像。每个控制单元22a至22d还通过对应一个接口单元21a至21d和通信线6，将对应于从摄像机图像分割的图像区域的图像模式响应发送到图像处理装置3。
在车载摄像机2a至2d中，用于输出和发送输入图像和图像模式响应的时间并不同步。换言之，在不同时间从每个车载摄像机2a至2d输出和发送输入图像和图像模式响应。
图像处理装置3包括图像获得单元31、显示控制单元32、接口单元33、屏幕切换判定单元34、模式指定单元35、以及模式核对单元36。
图像获得单元31通过对应一个输出线5，从每个车载摄像机2a至2d获得输入图像。图像获得单元31还将获得的输入图像输出到显示控制单元32。
显示控制单元32通过使用输入图像生成各种图像，并且导致显示单元4显示至少一个所述图像。例如，显示控制单元32导致显示单元4使用后方图像111显示后方屏幕101(参见图4)，后方图像111是来自后方摄像机2b的输入图像。显示控制单元32还通过针对来自车载摄像机2a至2d的每个输入图像执行坐标转换过程和合成过程，生成合成图像113(参见图6)，并且导致显示单元4显示包括合成图像113的虚拟视点屏幕103。
基于来自屏幕切换判定单元34(将在下面描述)的信息，显示控制单元32判定要在显示单元4上显示的屏幕。例如，当屏幕切换判定单元34输出指示要在显示单元4上显示的屏幕是后方屏幕101的信息时，显示控制单元32导致显示单元4显示后方屏幕101。
当屏幕切换判定单元34输出指示要在显示单元4上显示的屏幕是虚拟视点屏幕103的信息时，显示控制单元32导致显示单元4显示准备屏幕112(参见图5)而不是虚拟视点屏幕103。当从模式核对单元36(将在下面描述)接收指示从车载摄像机2a至2d发送的所有图像模式响应均与图像模式匹配的通知时，显示控制单元32导致显示单元4显示虚拟视点屏幕103。
显示控制单元32还将指示当前在显示单元4上显示的屏幕类型的信息输出到模式指定单元35(将在下面描述)。例如，当在显示单元4上显示后方屏幕101时，显示控制单元32将指示当前在显示单元4上显示的屏幕是后方屏幕101的信息输出到模式指定单元35。
接口单元33例如是用于CAN通信的接口，并且通过通信线6将各种类型的数据发送到车载摄像机2a至2d和各种ECU以及从车载摄像机2a至2d和各种ECU接收各种类型的数据。
例如，接口单元33通过通信线6，从换档ECU 7接收指示车辆100的换档杆的当前位置的换档信息。接口单元33还通过通信线6，从车速ECU 8接收指示车辆100的当前速度的车速信息。接口单元33然后将接收的换档信息和车速信息传送给屏幕切换判定单元34。换档ECU 7和车速ECU 8分别包括接口单元71和81，并且通过相应的接口单元71和81以及通信线6，将各种类型的信息发送到图像处理装置3以及从图像处理装置3接收各种类型的信息。
接口单元33通过通信线6从车载摄像机2a至2d接收图像模式响应，并且将接收的图像模式响应提供给模式核对单元36。
屏幕切换判定单元34判定是否满足显示切换条件。例如，对应于用户通过屏幕切换开关9的输入操作，以及通过换档杆的位置、车辆100的车速等，选择要在显示单元4上显示的屏幕。例如，屏幕切换开关9的输入操作可以是显示单元4上的触摸操作。
例如，当通过屏幕切换开关9执行切换到虚拟视点屏幕103的输入操作时，屏幕切换判定单元34判定满足到虚拟视点屏幕103的显示切换条件。当从换档ECU 7获得的换档信息例如从“D”(前进)更改为“R”(倒车)时，或者当从车速ECU 8获得的车速信息例如更改为10km/h时，屏幕切换判定单元34判定满足到虚拟视点屏幕103的显示切换条件。
如果判定满足显示切换条件，则屏幕切换判定单元34将指示切换之后的显示屏幕类型的信息输出到显示控制单元32和模式指定单元35。
模式指定单元35指定每个车载摄像机2a至2d的图像模式。例如，当显示控制单元32输出指示当前显示的屏幕是后方屏幕101的信息时，模式指定单元35通过接口单元33和通信线6将图像模式P1(参见图3)发送到每个车载摄像机2a至2d。
当从屏幕切换判定单元34获得指示切换之后的显示屏幕类型的信息时，模式指定单元35执行用于判定是否需要切换图像模式的过程。
例如，当显示控制单元32输出指示当前显示的屏幕是后方屏幕101的信息时，并且当从屏幕切换判定单元34获得指示切换之后的显示屏幕是虚拟视点屏幕103的信息时，模式指定单元35判定需要切换图像模式(从P1到P2)。
如果判定需要切换图像模式，则模式指定单元35通过接口单元33和通信线6将切换之后的图像模式发送到每个车载摄像机2a至2d。模式指定单元35还将切换之后的图像模式发送到模式核对单元36。
另一方面，如果判定不需要切换图像模式，则模式指定单元35将判定结果输出到模式核对单元36。
如上所述，图像处理装置3在其中存储表，该表指示要在显示单元4上显示的屏幕与图像模式之间的对应关系，并且模式指定单元35通过使用该表执行判定。
模式核对单元36将通过接口单元33从车载摄像机2a至2d获得的图像模式响应与从模式指定单元35输出的图像模式进行核对。模式核对单元36然后判定从车载摄像机2a至2d发送的所有图像模式响应是否均与所述图像模式匹配。
如果判定从车载摄像机2a至2d发送的所有图像模式响应均与所述图像模式匹配，则模式核对单元36指示显示控制单元32在显示单元4上显示虚拟视点屏幕103。
如果来自至少一个车载摄像机2a至2d的图像模式响应与所述图像模式不匹配，则即使判定过程被重复预定次数，模式核对单元36也指示显示单元4显示以下信息：该信息指定车载摄像机2a至2d中输出与所述图像模式不匹配的图像模式响应的至少一个车载摄像机。模式核对单元36还指示显示单元4显示备选虚拟视点屏幕。
当从模式指定单元35接收指示不需要切换图像模式的信息时，模式核对单元36指示显示控制单元32在显示单元4上显示虚拟视频屏幕103，而不执行判定过程。
接下来，将参考图8描述根据本实施例的图像处理装置3的特定操作。图8是示出由根据本实施例的图像处理装置3执行的处理过程的流程图。图8示出将显示单元4上的显示屏幕切换到虚拟视点屏幕103或备选虚拟视点屏幕的处理过程。
如图8中所示，图像处理装置3判定是否满足显示切换条件(步骤S101)。如果判定满足显示切换条件(步骤S101：是)，则图像处理装置3导致显示单元4显示准备屏幕102(步骤S102)。如果不满足显示切换条件(步骤S101：否)，则图像处理装置3重复步骤S101的判定过程直到满足显示切换条件。
然后，图像处理装置3判定是否需要切换图像模式(步骤S103)。如果判定需要切换图像模式(步骤S103：是)，则图像处理装置3将切换之后的图像模式发送到每个车载摄像机2a至2d(步骤S104)。
图像处理装置3然后判定从车载摄像机2a至2d发送的所有图像模式响应是否均与在步骤S104发送的图像模式相匹配(步骤S105)。然后，如果判定所有图像模式响应均与图像模式匹配(步骤S105：是)，则图像处理装置3导致显示单元4显示虚拟视点屏幕103而不是准备屏幕102(步骤S106)，并且完成过程。
在步骤S103，如果判定不需要切换图像模式(步骤S103：否)，则图像处理装置3导致显示单元4显示虚拟视点屏幕103(步骤S106)，并且完成过程。
这样，如果满足到虚拟视点屏幕103的显示切换条件(步骤S101：是)，并且如果图像处理装置3判定不需要切换图像模式，换言之，如果在满足显示切换条件之后的图像模式与紧接满足显示切换条件之前的图像模式相同，则图像处理装置3导致显示单元4显示虚拟视点屏幕103，而不执行步骤S105的判定过程。因此，能够缩短准备屏幕102的显示时间，换言之，缩短在显示虚拟视点屏幕103之前的等待时间。
在步骤S105，如果来自至少一个车载摄像机2a至2d的图像模式响应与图像模式不匹配(步骤S105：否)，则图像处理装置3判定是否已将步骤S105的判定过程重复N次(N是大于0的整数)(步骤S107)。在该判定过程中，如果判定步骤S105的判定过程未被重复N次(步骤S107：否)，则图像处理装置3将过程返回到步骤S105。如果判定步骤S105的判定过程已被重复N次(步骤S107：是)，则图像处理装置3导致显示单元4显示备选虚拟视点屏幕而不是准备屏幕102(步骤S108)，并且完成过程。
现在将参考图9描述备选虚拟视点屏幕。图9是备选虚拟视点屏幕的一个实例。
如图9中所示，备选虚拟视点屏幕103X是这样的屏幕：其在虚拟视点屏幕103(参见图6)中包括备选合成图像113X而不是合成图像113。当模式核对单元36指示显示控制单元32在显示单元4上显示备选虚拟视点屏幕时，显示控制单元32使用特定备选图像117(而不是从车载摄像机2a至2d中输出与图像模式不匹配的图像模式响应的一个车载摄像机(在此，左侧摄像机2d)输入的输入图像)来生成备选合成图像113X。显示控制单元32然后导致显示单元4显示备选合成图像113X。
图像处理装置3将对应于每个车载摄像机2a至2d的备选图像117存储在存储单元(未示出)中。显示控制单元32通过从存储单元中提取对应于车载摄像机2a至2d中输出与图像模式不匹配的图像模式响应的一个车载摄像机的备选图像117，生成备选合成图像113X。
这样，如果从车载摄像机2a至2d中的至少一个获得的图像模式响应与图像模式不匹配，则根据本实施例的显示控制单元32使用特定备选图像117而不是从车载摄像机2a至2d中输出与图像模式不匹配的图像模式响应的一个车载摄像机输入的输入图像来生成备选合成图像113X。显示控制单元32然后导致显示单元4显示备选合成图像113X。因此，即使从车载摄像机2a至2d之一输入不同于指定的输入图像，也能够防止显示非预期合成图像，并且向用户呈现合成图像。
备选图像117可以是黑色单色图像。这样，通过使用单色图像，能够在虚拟视点图像115X中很容易地区分通过使用来自车载摄像机2a至2d的输入图像生成的部分与通过使用备选图像117生成的部分。具体地说，如本实施例那样，当将黑色单色图像用于备选图像117时，能够明确区分两者。要理解的是，备选图像117还可以是黑色之外的单色图像。此外，备选图像117不一定需要是单色图像。
备选合成图像113X包括备选图像117和输入图像的合成部分。例如，图9中所示的备选合成图像113X包括来自前方摄像机2a的输入图像和备选图像117的合成部分，以及来自后方摄像机2b的输入图像和备选图像117的合成部分。
显示控制单元32还可以使用备选图像117替换备选图像117和输入图像的合成部分。因此，能够在虚拟视点图像115X中明确区分仅通过使用来自每个车载摄像机2a至2d的输入图像生成的虚拟视点图像部分与通过使用备选图像117生成的部分之间的边界线。
显示控制单元32还可以通过以下操作生成备选合成图像113X：首先使用来自车载摄像机2a至2d的所有输入图像生成虚拟视点图像115X，并且使用备选图像117替换虚拟视点图像115X的一部分。
如上所述，根据本实施例的图像处理装置3包括显示控制单元32、模式指定单元35、以及模式核对单元36。显示控制单元32基于从车载摄像机2a至2d输入的输入图像，生成是从虚拟视点观看的车辆周围图像的合成图像113，并且显示控制单元32导致显示单元4显示合成图像113。模式指定单元35针对每个车载摄像机2a至2d在多个图像模式中指定要作为输入图像输出的图像模式。模式核对单元36判定从车载摄像机2a至2d发送的所有图像模式响应是否均与图像模式匹配。当满足到合成图像113的显示切换条件时，显示控制单元32导致显示单元4在显示合成图像113之前显示特定准备图像112。如果模式核对单元36判定所有图像模式响应均与图像模式匹配，则显示控制单元32导致显示单元4显示合成图像113而不是准备图像112。
因此，根据本实施例的图像处理装置3能够防止显示非预期合成图像。
在本实施例中，将单色图像用于准备图像112。但是，准备图像还可以是虚拟视点图像115的布局图像而不是单色图像。现在将参考图10描述这一点。图10是布局图像的一个实例。
如图10中所示，布局图像104是这样的图像：其包括指示后方图像111的显示区域的帧图像118、指示合成图像113的显示区域的帧图像119、以及车辆图像116。布局图像104不包括后方图像111和虚拟视点图像115。
这样，显示控制单元32还可以导致显示单元4显示布局图像104作为准备图像，布局图像104指示合成图像113在显示单元4的显示区域中的显示位置。因此，用户能够立即识别要切换的下一个屏幕。

Claims (8)

1.一种图像处理装置，包括：
显示控制单元，其基于从多个车载摄像机的每一个输入的输入图像来生成是从虚拟视点观看的车辆周围图像的合成图像，并导致显示单元显示所述合成图像；
模式指定单元，其针对每个所述车载摄像机在多个图像模式中指定要作为所述输入图像输出的图像模式；以及
模式核对单元，其判定从所述车载摄像机发送的多个图像模式响应中的所有图像模式响应是否均与所述图像模式相匹配；其中
当满足到所述合成图像的显示切换条件时，所述显示控制单元导致所述显示单元显示特定准备图像，并且当所述模式核对单元判定所有所述图像模式响应均与所述图像模式相匹配时，所述显示控制单元导致所述显示单元显示所述合成图像而不是所述准备图像。
2.根据权利要求1所述的图像处理装置，其中当在满足所述显示切换条件之后从所述模式指定单元发送到每个所述车载摄像机的所述图像模式与在满足所述显示切换条件之前的所述图像模式相同时，所述模式核对单元在不执行所述判定的情况下指示所述显示控制单元显示所述合成图像。
3.根据权利要求1所述的图像处理装置，其中当所述图像模式响应中的至少一个与所述图像模式不匹配时，所述显示控制单元使用特定备选图像来生成备选合成图像，而不是使用从所述车载摄像机中输出与所述图像模式不匹配的所述图像模式响应的一个所述车载摄像机输入的所述输入图像来生成备选合成图像，并且所述显示控制单元导致所述显示单元显示所述备选合成图像。
4.根据权利要求2所述的图像处理装置，其中当所述图像模式响应中的至少一个与所述图像模式不匹配时，所述显示控制单元使用特定备选图像来生成备选合成图像，而不是使用从所述车载摄像机中输出与所述图像模式不匹配的所述图像模式响应的一个所述车载摄像机输入的所述输入图像来生成备选合成图像，并且所述显示控制单元导致所述显示单元显示所述备选合成图像。
5.根据权利要求1至4中的任一项所述的图像处理装置，其中所述显示控制单元导致所述显示单元显示单色图像作为所述准备图像。
6.根据权利要求5所述的图像处理装置，其中所述显示控制单元导致所述显示单元显示黑色单色图像作为所述准备图像。
7.根据权利要求1至4中的任一项所述的图像处理装置，其中所述显示控制单元导致所述显示单元显示指示所述合成图像的显示位置的布局图像作为所述准备图像。
8.一种图像处理方法，包括：
基于从多个车载摄像机的每一个输入的输入图像来生成是从虚拟视点观看的车辆周围图像的合成图像；
在针对每个所述车载摄像机的多个图像模式中，指定要作为所述输入图像输出的图像模式；
判定从所述车载摄像机发送的多个图像模式响应中的所有图像模式响应是否均与所述图像模式相匹配；以及
当满足到所述合成图像的显示切换条件时，在所述显示单元上显示特定准备图像，并且当判定所有所述图像模式响应均与所述图像模式匹配时，在所述显示单元上显示所述合成图像而不是所述准备图像。
CN201610405518.2A 2015-06-10 2016-06-08 图像处理装置和图像处理方法 Active CN106254763B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-117401 2015-06-10
JP2015117401A JP6261542B2 (ja) 2015-06-10 2015-06-10 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN106254763A true CN106254763A (zh) 2016-12-21
CN106254763B CN106254763B (zh) 2019-04-23

Family

ID=56098096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610405518.2A Active CN106254763B (zh) 2015-06-10 2016-06-08 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10037595B2 (zh)
EP (1) EP3104599A1 (zh)
JP (1) JP6261542B2 (zh)
CN (1) CN106254763B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109941194A (zh) * 2017-12-20 2019-06-28 丰田自动车株式会社 图像显示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6626817B2 (ja) * 2016-11-30 2019-12-25 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP7168367B2 (ja) * 2018-07-25 2022-11-09 株式会社デンソーテン 事故通報装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1325802A (zh) * 2000-05-26 2001-12-12 松下电器产业株式会社 图像处理装置及监视系统
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆
JP2012214083A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN104512332A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 获取车辆的图像的方法和装置
JP2015074258A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269056B2 (ja) 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
WO2009141846A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1325802A (zh) * 2000-05-26 2001-12-12 松下电器产业株式会社 图像处理装置及监视系统
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
JP2012214083A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
JP2015074258A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置
CN104512332A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 获取车辆的图像的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109941194A (zh) * 2017-12-20 2019-06-28 丰田自动车株式会社 图像显示装置

Also Published As

Publication number Publication date
CN106254763B (zh) 2019-04-23
JP6261542B2 (ja) 2018-01-17
JP2017005497A (ja) 2017-01-05
US20160364842A1 (en) 2016-12-15
US10037595B2 (en) 2018-07-31
EP3104599A1 (en) 2016-12-14

Similar Documents

Publication Publication Date Title
US10917621B2 (en) Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium
JP6482696B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US10852127B2 (en) Image processing apparatus and method, data, and recording medium
CN109118515B (zh) 一种电力设备的视频跟踪方法及装置
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
JP5464279B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP6812203B2 (ja) 情報処理システム、情報処理方法、携帯投影端末
US9420263B2 (en) Information processor and information processing method
CN106254763A (zh) 图像处理装置和图像处理方法
JP5886242B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2014222825A (ja) 映像処理装置および映像処理方法
JP2017208616A (ja) 画像処理装置、画像処理方法、およびプログラム
CN110084765A (zh) 一种图像处理方法、图像处理装置及终端设备
CN108769636B (zh) 投影方法及装置、电子设备
CN106888353A (zh) 一种图像采集方法及设备
CN111050027B (zh) 镜头畸变补偿方法、装置、设备和存储介质
CN109889753B (zh) 双目摄像系统及其应用方法
CN112831982A (zh) 衣物颜色识别的处理方法、装置、设备及存储介质
KR101781158B1 (ko) 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법
CN111078085B (zh) 信息处理设备、信息处理设备的控制方法及存储介质
CN106161925A (zh) 图像获取装置及其复合式的图像处理方法
CN110992428A (zh) 一种摄像头一致性的智能检测方法和检测装置
CN111046704A (zh) 存储身份识别信息的方法和装置
JP7227717B2 (ja) 情報処理装置、方法、及びプログラム
CN109120886A (zh) 一种完整画面融合方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Japan Hyogo Prefecture

Patentee after: DENSO TEN LTD.

Patentee after: Toyota Motor Corp.

Address before: Japan Hyogo Prefecture

Patentee before: FUJITSU TEN Ltd.

Patentee before: Toyota Motor Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220121

Address after: Aichi Prefecture, Japan

Patentee after: DENSO Corp.

Patentee after: Toyota Motor Corp.

Address before: Japan Hyogo Prefecture

Patentee before: DENSO TEN LTD.

Patentee before: Toyota Motor Corp.