CN105472317A - 周边监视装置及周边监视系统 - Google Patents

周边监视装置及周边监视系统 Download PDF

Info

Publication number
CN105472317A
CN105472317A CN201510624448.5A CN201510624448A CN105472317A CN 105472317 A CN105472317 A CN 105472317A CN 201510624448 A CN201510624448 A CN 201510624448A CN 105472317 A CN105472317 A CN 105472317A
Authority
CN
China
Prior art keywords
view data
image
reference point
generating unit
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510624448.5A
Other languages
English (en)
Other versions
CN105472317B (zh
Inventor
渡边一矢
丸冈哲也
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105472317A publication Critical patent/CN105472317A/zh
Application granted granted Critical
Publication of CN105472317B publication Critical patent/CN105472317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种周边监视装置，包括：获取单元(512)，被配置为获取第一图像数据和第二图像数据，第一图像数据由设置在车辆本体(2)左侧的第一成像单元(16b)捕获，第二图像数据由设置在车辆本体右侧的第二成像单元(16d)捕获；以及输出单元(514)，被配置为组合第三图像数据和第四图像数据并输出组合后的图像数据，第三图像数据通过以使得包括在第一图像数据中的多个左参考点分别显示在预设位置处这样的方式旋转以及放大或缩小第一图像数据而产生，第四图像数据通过以使得包括在第二图像数据中的多个右参考点分别显示在预设位置处这样的方式旋转以及放大或缩小第二图像数据而产生。

Description

周边监视装置及周边监视系统
技术领域
本公开文本的实施例涉及一种周边监视装置及一种周边监视系统。
背景技术
在现有技术中，作为用于协助停放车辆的技术，公开有用于为驾驶员提供由安装在车辆中的多个摄像机捕获的车辆周边图像数据项的技术。这些摄像机捕获不同的周边图像，并且不同的周边图像被组合并显示在设置于驾驶员座位周围的显示器上，因此驾驶员能够认清周围环境。
处于车辆右侧的摄像机和处于车辆左侧的摄像机在横向上并不对称，并且这两个摄像机的附连位置不同，因此当由右侧摄像机捕获的图像数据和由左侧摄像机捕获的图像数据只是被组合和被显示时，这两个图像数据项之间会产生差异(discrepancy)。因此，提出用来矫正图像数据项之间的差异的技术。
现有技术的例子包括JP2003-95028A。
然而，与设置在后视镜或类似物上的摄像机的附连位置之间的不同有关的图像数据项之间的不同不仅仅影响包括在图像数据项的平面中的方向，而且也影响图像数据项的放大和缩小率。
发明内容
因此，存在对于能够显示让驾驶员轻易看到的图像数据的周边监视装置及周边监视系统的需求。
在一个例子中，根据本公开文本的一方案的周边监视装置包括：获取单元，被配置为获取第一图像数据和第二图像数据，所述第一图像数据由设置在车辆本体左侧的第一成像单元捕获，所述第二图像数据由设置在所述车辆本体右侧的第二成像单元捕获；以及输出单元，被配置为组合第三图像数据和第四图像数据并输出组合后的图像数据，所述第三图像数据通过以使得包括在所述第一图像数据中的多个第一参考点分别在预设的第一位置处显示这样的方式旋转以及放大或缩小所述第一图像数据而产生，所述第四图像数据通过以使得包括在所述第二图像数据中的多个第二参考点分别在预设的第二位置处显示这样的方式旋转以及放大或缩小所述第二图像数据而产生。由此，例如，显示的图像数据之间的偏离不会发生，并且因此能改进能见性，并能减少驾驶车辆时的负担。
在一个例子中，根据本公开文本的方案的周边监视装置可以进一步包括存储单元，被配置为存储第一角度信息和第二角度信息，所述第一角度信息用于基于设置在车辆本体左侧的所述第一成像单元的倾斜度来旋转所述第一图像数据，所述第二角度信息用于基于设置在该车体右侧的所述第二成像单元的倾斜度来旋转所述第二图像数据。所述输出单元可以组合所述第三图像数据和所述第四图像数据并输出所述组合后的图像数据，所述第三图像数据通过根据所述第一角度信息旋转以及放大或缩小所述第一图像数据而产生，所述第四图像数据通过根据所述第二角度信息旋转以及放大或缩小所述第二图像数据而产生。由此，例如，能根据存储在所述存储单元中的所述角度信息、通过执行旋转控制来避免显示的图像数据之间发生偏离。结果，能改进能见性，并能减少驾驶车辆时的负担。
在一个例子中，根据本公开文本的方案的周边监视装置可以进一步包括存储单元，被配置来存储第一范围指定信息和第二范围指定信息，所述第一范围指定信息用于基于与设置在该车辆本体中的所述第一成像单元相关的位置信息来放大或缩小所述第一图像数据，所述第二范围指定信息用于基于与设置在该车辆本体中的所述第二成像单元相关的位置信息来放大或缩小所述第二图像数据。所述输出单元可以组合所述第三图像数据和所述第四图像数据并输出所述组合后的图像数据，所述第三图像数据根据所述第一范围指定信息、通过旋转以及放大或缩小所述第一图像数据产生，所述第四图像数据根据所述第二范围指定信息、通过旋转以及放大或缩小所述第二图像数据产生。由此，例如，能根据存储在所述存储单元中的所述范围指定信息、通过执行放大或缩小控制来避免显示的图像数据之间发生偏离。结果，能改进能见性，并能减少驾驶车辆时的负担。
在一个例子中，在根据本公开文本的周边监视装置中，所述获取单元可以获取所述第一图像数据和所述第二图像数据，所述第一图像数据的成像范围包括作为多个左参考点的第一参考点、第二参考点和第三参考点，所述第二参考点在该车辆本体的前进方向与所述第一参考点分离，所述第三参考点在与该车辆本体的前进方向垂直的方向与所述第一参考点分离，所述第二图像数据的成像范围包括作为多个右参考点的第四参考点、第五参考点和第六参考点，所述第四参考点在该车辆本体的前进方向与所述第四参考点分离，所述第六参考点在与该车辆本体的前进方向垂直的方向与所述第四参考点分离。由于能使用所述第一到第六参考点作为参考点来放大或缩小所述图像数据项，因此所述图像数据项可以在一范围内合适地显示。结果，能改进能见性，并能减少驾驶车辆时的负担。
在一个例子中，在根据本公开文本的方案的周边监视装置中，当由所述第一成像单元和所述第二成像单元中每个的广角透镜导致的变形被矫正时，所述输出单元可以输出所述第三图像数据和所述第四图像数据，所述第三图像数据和所述第四图像数据通过以一变形矫正率执行变形矫正处理而产生，所述变形矫正率被设定为使得所述第一图像数据和所述第二图像数据中的每个的外部周边区域的变形保持在一定程度上不消除，从而显示该车辆本体的预定范围的外部环境。由于能通过以前述的变形矫正率执行该变形矫正处理来显示宽广范围的外部环境，因此能改进能见性并减少驾驶车辆中的负担。
附图说明
通过下文参考附图进行的详细描述，本公开文本的上述及附加的特征和特点将更为明了，其中：
图1为示出第一实施例中当车辆的车舱部分可见时的例子的透视图；
图2为示出第一实施例中车辆的例子的平面视图(鸟瞰视图)；
图3为示出第一实施例中成像单元的附连位置的例子的视图；
图4为示出第一实施例中车辆的周边监视系统的例子的框图；
图5为示出第一实施例中的周边监视ECU的配置的框图；
图6为示出假想旋转参考点和车辆之间的位置关系的视图，从而在该车辆出厂前设置角度信息。
图7为示出包括在由左后视镜的成像单元捕获的图像数据中的假想旋转参考点的例子的示意图；
图8为示出被旋转控制后的图像数据的示意图；
图9为示出假想放大及缩小参考点和车辆之间的位置关系的视图，从而在该车辆出厂之前设置范围指定信息；
图10为示出包括在图像数据中的放大和缩小参考点以及由该成像单元捕获的图像数据的变形的示意图；
图11为示出第一实施例中在显示设备上显示的屏幕的例子。
图12为示出第一实施例中在显示设备的显示区域中显示的图像数据的参考点之间的位置关系的示意图；
图13为示出第一实施例中由周边监视ECU的合成单元合成的图像数据的示意图；
图14为示出改型例子中由周边监视ECU的合成单元合成的图像数据的示意图；
图15为示出第一实施例中在车辆出厂之前由周边监视ECU执行的处理的顺序的流程图；
图16为示出第一实施例中由周边监视ECU执行的处理的顺序的流程图，从而在显示设备上显示图像；
图17A和图17B显示示出第二实施例中依赖于车辆的行驶情况切换将被显示的图像数据的示意图。
具体实施方式
以下将呈现本公开文本的例示性实施例。如下示出的每个实施例的配置以及由该配置产生的操作和结果(效果)仅为例示。本公开文本可以通过不同于这些实施例中公开的配置的配置来实现，并且可以通过基本配置取得各种效果(也包括次要效果)。
在将在下面描述的实施例中，车辆1可以为使用内燃发动机(发动机没有示出)作为驱动源的汽车(内燃发动机汽车)，使用电动机(电机没有示出)作为驱动源的汽车(电动汽车、燃料电池汽车等)，或者使用内燃发动机和电动机二者作为驱动源的汽车(混合动力汽车)。车辆1中可以安装各种传动装置，并且可以在车辆1中安装驱动内燃发动机或电动机所需的各种装置(系统、部件等)。驱动车辆1的车轮3的这些装置的类型、数量或布局可以被不同地设置。
第一实施例
如图1所示，在第一实施例中，车辆本体2形成乘坐者(没有示出)乘坐的车舱。转向单元4、加速单元5、制动单元6、传动单元7等被配置在车舱2a中同时邻近作为乘坐者的驾驶员的座位2b。在该实施例中，例如，转向单元4为从仪表盘(仪表面板)伸出的方向盘，加速单元5为位于驾驶员脚下的加速器踏板，制动单元6为位于驾驶员脚下的制动踏板，并且传动单元7为从控制台伸出的变速杆；然而，这些单元不限于该实施例中的这些部件。
显示设备(显示输出单元)8或者声音输出设备(声音输出单元)9被配置在车舱2a中。显示设备8为液晶显示器(LCD)、有机电致发光显示器(OLED)等。声音输出设备9为扩音器等。在该实施例中，例如，显示设备8被透明操作输入单元(例如，触摸面板)10覆盖。乘坐者等可以通过操作输入单元10来观看在显示设备8的显示屏幕上显示的视频(图像)。乘坐者等可以通过在操作输入单元10上以手指触摸、按压或者移动一位置来输入操作(指令)，而该位置对应于在显示设备8的显示屏幕上显示的视频(图像)。在该实施例中，例如，显示设备8、声音输出设备9、操作输入单元10等被设置在监视设备11中，监视设备11在车辆的宽度方向(横向方向)位于仪表盘的中间部分。监视设备11可以包括操作输入单元(没有示出)，例如开关、拨盘、操纵杆、按钮。不同于监视设备11的声音输出设备9的声音输出设备(没有示出)可以设置在车舱2a中的不同位置，或者可以从不同于监视设备11的声音输出设备9的其他声音输出设备输出声音。在该实施例中，例如，监视设备11充当导航系统或音频系统；然而，周边监视装置的监视设备可以被设置为独立于这些导航系统和音频系统。除了声音输出设备9，例如为蜂鸣器的声音输出单元可以被配置来输出警报声等。
如在图1和图2中示出的，在该实施例中，例如，车辆1为四轮车辆(四轮汽车)，并且包括两个右侧和左侧前轮3F和两个右侧和左侧后轮3R。例如，前轮3F的轮胎角度可以被转向单元(方向盘)4的操作而改变(前轮3F被转动)。转向系统12为电机驱动动力转向系统、线控转向(SBW)系统等。转向系统12补充了转向力，并且通过使用致动器12a施加力矩(辅助力矩)到转向单元4来转动前轮3F。转向系统12可以被配置来使前轮和后轮独立转向或者彼此关联转向。
在该实施例中，例如，如图2所示，多个(例如，在该实施例中为四个)成像单元16(16a到16d)被设置在车辆1(车辆本体2)中。每个成像单元16为内置有成像元件的数字摄像机，成像元件例如为电容耦合器件(CCD)或CMOS图像传感器(CIS)。每个成像单元16可以以预定的帧率输出图像数据(视频数据或帧数据)。每个成像单元16包括广角透镜，例如，其可以捕获水平方向上140°到220°的范围(视角)内的图像。
在该实施例中，例如，成像单元16a位于车辆本体2的前侧(车辆的纵向上的前侧)的端部(平面视图中的端部)2c，并且被设置在前格栅(frontgrill)等上。成像单元16b位于车辆本体2的左侧(车辆的宽度方向的左侧)的端部2d，并且被设置在左侧的后视镜(伸出部分)2g上。成像单元16c位于车辆本体2的后侧(车辆的纵向上的后侧)的端部2e，并且设置在后备箱门2h的下壁部中。成像单元16d位于车辆本体2的右侧(车辆的宽度方向的右侧)的端部2f，并且被设置在右侧的另一后视镜(伸出部分)2g上。由此，例如，显示设备8可以同时显示由成像单元16a捕获的前视图像；由成像单元16b捕获的左视图像；以及由成像单元16d捕获的右视图像。类似地，显示单元8可以同时显示由成像单元16c捕获的后视图像；由成像单元16b捕获的左视图像；以及由成像单元16d捕获的右视图像。当后视图像被显示时，右视图像和左视图像可以被省略。
图3为示出该实施例中成像单元16b的附连位置的例子。如在图3中所示，成像单元16b被设置在左后视镜(伸出部分)2g的底部。如图3所示，成像单元16b的光轴301被设置为面向下(例如，在竖直方向上或斜向下)。成像单元16b捕获被限定到140°到220°的视角的成像区域302的图像。由此，成像单元16b捕获邻近车辆1的左侧的路面的图像，其包括有车辆本体2的一部分的图像。基本上类似于成像单元16b，成像单元16d被设置在右后视镜(伸出部分)2g的底部，并且捕获邻近车辆1的右侧的路面的图像，其包括有车辆本体2的一部分的图像，并且因此，对它的描述将被省略。
由于右后视镜和左后视镜之间的不同，成像单元16b和16d在横向上不对称，并且成像单元16b和16d的安装位置彼此不同。安装位置之间的不同还包括左后视镜的成像单元16b和右后视镜的成像单元16d各自离路面的高度之间的不同。由于成像单元16采用广角透镜，因此当成像单元16离路面的高度稍微改变时，会产生成像范围或成像深度的不同。在该实施例中，驾驶员看到的图像数据被调节来避免图像数据被不自然地看到。
在该实施例中，例如，如图4中所示，在周边监视系统(周边监视装置)100中，除了周边监视电子控制单元(ECU)14、监视设备11等之外，制动系统18、转向角度传感器(角度传感器19)、加速器踏板传感器20、档位(shiftposition)传感器21、轮速传感器22、加速度传感器26等经由车载网络(电子通信线)23彼此电连接。例如，车载网络23为控制器局域网(CAN)。周边监视ECU14可以经由车载网络23通过传送控制信号来控制制动系统18等。周边监视ECU14可以经由车载网络23接收来自力矩传感器12b、制动踏板传感器18b、转向角度传感器(用于前轮3F)19、加速器踏板传感器20、档位传感器21、轮速传感器22、加速度传感器26等的检测结果，以及来自操作输入单元10等的指令信号(控制信号、操作信号、输入信号或数据)。
在该实施例中，两个加速度传感器26(26a和26b)被设置在车辆1中。在该实施例中，车辆1为安装有电子稳定控制(ESC)系统的车辆。已经安装在安装有ESC系统的车辆中的加速度传感器被用作加速度传感器(26a和26b)。该实施例不限于任何特定类型的加速度传感器，只要加速度传感器能检测车辆1在横向上的加速度，可以使用任何类型的加速度传感器。在该实施例中，计算纵向的加速度和横向的加速度。
例如，周边监视ECU14包括中央处理单元(CPU)14a；只读存储器(ROM)14b；随机存取存储器(RAM)14c；显示控制单元14d；声音控制单元14e；固态驱动(SSD)(其为闪存)14f；等。例如，CPU14a对在显示设备8上显示的图像执行图像处理，并且执行各种计算处理，例如计算车辆1的行驶路径和确定车辆1是否妨碍物体。CPU14a读取存储在(安装在)非易失性存储器件中的程序，并且根据程序执行计算处理，该非易失性存储器件例如为ROM14b。
RAM14c临时存储各种在由CPU14a执行的计算中使用的数据项。在周边监视ECU14所执行的计算处理之中，显示控制单元14d主要对由成像单元16获取的图像数据执行成像处理，对在显示设备8上显示的图像数据执行图像处理(例如，图像合成)等。在周边监视ECU14所执行的计算处理之中，声音控制单元14e主要执行对从声音输出设备9输出的声音数据的处理。SSD14f为非易失性可擦写存储单元，并且即使周边监视ECU14被关断，SSD14f也可以存储数据。CPU14a、ROM14b以及RAM14c可以集成在同一封装(package)中。周边监视ECU14可以被配置为使用另一种逻辑计算处理器，例如数字信号处理器(DSP)、逻辑电路等来代替CPU14a。硬盘驱动(HDD)可以被设置来代替SSD14f，并且SSD14f或者HDD可以与周边监视ECU14相独立地设置。
图5为示出该实施例中的周边监视ECU14的配置的框图。如在图5中所示，周边监视ECU14被配置为包括参数存储单元501和周边监视单元502。图4中的周边监视ECU14的CPU14a执行存储在ROM14b中的软件，使得周边监视单元502的每个部件被实现。
周边监视单元502通过执行存储在ROM(计算机可读存储介质)14b中的软件来实现设置单元511、获取单元512、图像处理单元513以及输出单元514。软件(程序)可以经由其他计算机可读存储介质提供。
设置单元511设置被用在处理图像数据中的参数，并且将参数存储在车辆1的参数存储单元501中。计算将被设置的参数的任何类型的技术都可以被使用。例如，每个成像单元16b和16d捕获图像，并且设置单元511基于捕获的图像数据中物体的位置来计算用于成像单元16b和16d的位置信息(至少包括角度)。设置单元511存储参数数据，参数数据是图像处理(例如，旋转控制或放大和缩小控制)所必须的并且基于在参数存储单元501中的用于成像单元16b和16d等的位置信息(至少包括角度)。在该实施例中，用于成像单元16a和16d的位置信息至少包括角度；然而，位置信息可以包括其他信息项(例如，成像单元16b和16d离路面的高度)。
参数存储单元501存储由设置单元511计算的参数。作为存储的参数，参数存储单元501存储基于设置在左后视镜2g中的成像单元16b的倾斜来旋转由成像单元16b捕捉的车辆1左侧的图像数据所需的角度信息和基于设置在右后视镜2g中的成像单元16d的倾斜来旋转由成像单元16d捕获的车辆1右侧的图像数据所需的角度信息。在该实施例中，图像数据被旋转的旋转角度被存储为角度信息；然而，计算该旋转角度所需的每个成像单元16b和16d的倾斜度可以被存储。
此外，参数存储单元501存储放大和缩小所捕获的左侧路面的图像信息所需的并基于由设置在车辆本体2中的成像单元16b捕获的范围(换句话说，基于离路面的高度和视角计算的信息)的范围指定信息，以及放大和缩小所捕获的右侧路面的图像信息所需的并基于由设置在车辆本体的成像单元16d捕获的范围(换句话说，基于离路面的高度和视角计算的信息)的范围指定信息。在该实施例中，参数存储单元501存储用于图像数据的放大和缩小率作为指定图像数据的范围的范围指定信息；然而，任何类型的信息都可以被存储为范围指定信息，只要待显示的图像数据的显示范围基于该信息被指定即可，并且例如，范围指定信息可以是每个成像单元16b和16d离路面的高度、每个成像单元的视角等。
获取单元512获取由成像单元捕获的图像数据项。获取单元512获取设置在车辆本体左侧上的成像单元16b捕获的图像数据，以及设置在车辆本体右侧上的成像单元16d获取的图像数据。
图像处理单元513包括旋转控制单元521；放大和缩小控制单元522；变形矫正单元524；以及合成单元523。图像处理单元513对由获取单元512捕获的图像数据执行图像处理，并且生成待在显示设备8上显示的图像数据。
根据存储在参数存储单元501中的角度信息，旋转控制单元521控制由成像单元16b捕获的图像数据和由设置在车辆本体2右侧的成像单元16d捕获的图像数据的旋转。
旋转控制中的旋转角度基于存储在参数存储单元501中的角度信息获得。下文中，存储在参数存储单元501中的角度信息将被描述。
在该实施例中，角度信息被以这样的方式设置，使得包括在图像数据中的假想参考点(下文中，其被称为旋转参考点)在合适的位置显示。
图6为示出假想参考点和车辆1之间的位置关系的视图，从而在车辆1出厂之前设置角度信息。在图6示出的例子中，假想旋转参考点601和602被用作参考位置，以获得用于旋转由车辆1的成像单元16b捕获的图像数据的角度信息。第一假想旋转参考点601位于在横向上从车辆本体2的前侧(车辆在纵向上的前侧)的端部(平面视图中的端部)2c朝向车辆本体2的左侧的延长线上，并且第一旋转参考点601位于后视镜2g的外侧的附近。第二假想旋转参考点602位于在横向上从车辆本体2的后侧(车辆在纵向上的后侧)的端部(平面视图中的端部)2e朝向车辆本体2的左侧的延长线上，并且第二旋转参考点602位于后视镜2g的外侧的附近。连接第一旋转参考点601和第二旋转参考点602的线平行于Z轴线，并且换句话说，平行于车辆2的前进方向。
图7为示出包括在由左视镜2g的成像单元16b捕获的图像数据中的假想旋转参考点601和602的例子的示意图。除了前轮3F和后轮3R，图7中示出的图像数据包括旋转参考点601和602。图7中示出的图像数据的中心位置701为成像单元16b的光轴和路面之间的交叉点。中心位置701具有坐标O(u0，v0)。
在图7中示出的例子中，u轴被定向在水平方向上，并且v轴被定向在竖直方向上。第一旋转参考点601由坐标a’(u1’，v1’)表示，并且第二旋转参考点602由坐标b’(u2’，v2’)表示(在前轮3F侧的第一旋转参考点601的x坐标u1’大于在后轮3R侧的第二旋转参考点602的x坐标u2’)。
在图7中示出的例子中，可以确定第一旋转参考点601和第二旋转参考点602在v轴方向上彼此偏离(倾斜)。即，当图7中示出的图像数据在A方向仅被旋转π/2时，图像数据的向上方向(v轴方向)和车辆1的前进方向之间的偏离产生。直线a’b’的倾斜需要被矫正以阻止该偏离的产生。
在该实施例中，参数存储单元501存储用于矫正直线a’b’的倾斜的角度信息。换句话说，旋转控制单元521移动包括在图像数据中的多个旋转参考点601和602到这样的位置：在此位置通过基于该角度信息控制图像数据的旋转来矫正倾斜(连接旋转参考点601和602的线平行于显示设备8的竖直方向)。
即，当旋转控制单元521执行旋转控制来在显示设备8上显示图像数据时，旋转控制单元521旋转图像数据π/2，并且基于成像单元16b的倾斜来矫正连接旋转参考点601和602的线的倾斜。换句话说，旋转控制单元521基于角度信息，以使得包括在图像数据中的多个旋转参考点被设置在预设位置这样的方式来控制图像数据的旋转。在该实施例中，在被旋转之后，旋转参考点601和602的位置以这样的方式设定：使得连接旋转参考点601和602的线在向上方向(在高度方向)平行于显示设备8的显示区域的轴线。在该实施例中，连接旋转参考点601和602的线平行于图像数据的竖直方向；然而，该实施例不限于它们之间平行，例如，连接旋转参考点601和602的线可以基本上平行于图像数据的竖直方向。下文中，将描述角度信息。
如上面所描述的，由于图像单元16b的倾斜，直线a’b’相对u轴倾斜。倾斜度δ1可以由式(1)表示。
δ1＝tan-1(v1’-v2’)/(u1’-u2’)…(1)
类似地，当图像被设置在右后视镜2g中的成像单元16d捕获时，由于成像单元16d倾斜，连接旋转参考点601和602的直线a’b’的倾斜度δ2可以由式(2)表示。位于右侧的旋转参考点分别具有坐标a”(u1”，v1”)和坐标b”(u2”，v2”)。
δ2＝tan-1(v1”-v2”)/(u1”-u2”)…(2)
当由成像单元16b和16d捕获的图像数据项在显示设备8上显示时，旋转控制单元521在考虑前述倾斜的同时控制图像数据项的旋转。在该实施例中，当图像数据项在显示设备8上显示时，由设置在后视镜2g上的成像单元16b和16d捕获的图像数据项的旋转以这样的方式被控制：使得车辆1的前进方向与显示设备8的向上方向对齐。此时，基于成像单元16b和16d的倾斜度δ1和δ2来执行矫正。
当旋转控制单元521控制由设置在左后视镜2g上的成像单元16b捕获的图像数据的旋转时，旋转控制单元521将图像数据旋转由表达式(3)表示的旋转角度θ1。
θ1＝-(π/2+δ1)…(3)
类似地，当旋转控制单元521控制由设置在右后视镜2g上的成像单元16d捕获的图像数据的旋转时，旋转控制单元521将图像数据旋转由表达式(4)表示的旋转角度θ2。
θ2＝-(π/2-δ2)…(4)
包括在图像数据中的每个像素的旋转控制相对于作为参考位置的中心位置701的坐标O(u0，v0)执行。具体地，当将像素旋转旋转角度θ1时，旋转控制单元521使用用于x坐标转换的表达式(5)和用于y坐标转换的表达式(6)。(u，v)为每个像素在旋转控制被执行前的坐标，并且(x，y)为每个像素在旋转控制被执行后的坐标。表达式(5)和(6)被用来控制由左后视镜2g的成像单元16b捕获的图像数据的旋转，并且类似地，由右后视镜2g的成像单元16d捕获的图像数据被控制旋转θ2而不是θ1，并且因此对它的描述将被省略。
x＝(u-u0)xcosθ1-(v-v0)xsinθ1…(5)
y＝(u-u0)xsinθ1+(v-v0)xcosθ1…(6)
图8为示出旋转控制后的图像数据的例子的示意图。如在图8中示出的，当图像数据被旋转π/2，并且进一步被旋转角度δ1时，连接旋转参考点601和602的线变为(基本上)平行于y轴(显示设备8的竖直方向)。
在该实施例中，参数存储单元501存储用于执行旋转控制的旋转角度θ1和θ2作为角度信息的项；然而，任何类型的角度信息都可以被存储，只要旋转控制单元521能基于该角度信息来矫正成像单元16b和16d的倾斜度即可，例如，直线a’b’和a”b”的倾斜度δ1和δ2可以存储作为角度信息项。
为了在显示设备8的预定区域中显示图像数据(换句话说，为了放大和缩小图像数据)，放大和缩小控制单元522基于存储在参数存储单元501中的范围指定信息，控制旋转控制后的图像数据的放大和缩小。在该实施例中，参数存储单元501存储用于图像数据的放大和缩小率作为范围指定信息。计算放大和缩小率的技术将被描述。
图9为示出假想放大和缩小参考点与车辆1之间的位置关系的视图，从而在车辆1出厂之前设置范围指定信息。在图9中示出的第一放大和缩小参考点901定位为作为当图像数据被放大和缩小时的参考点。在图9中示出的第二放大和缩小参考点902被设置到相对于第一假想放大和缩小参考点901处于车辆本体2的前进方向的一位置处以作为参考点，其位置在乘坐者希望在显示设备8上显示图像数据的范围的边界上。第三放大和缩小参考点903被设置到与相对于第一假想放大和缩小参考点901处于与车辆本体2的前进方向垂直的方向上的一位置处以作为参考点，该位置在乘坐者希望在显示设备8上显示图像数据的范围的边界上。
即，获取单元512获取来自左成像单元16b的图像数据，该图像数据的成像范围包括第一假想放大和缩小参考点；第二放大和缩小参考点，其在车辆本体2的前进方向与第一放大和缩小参考点相隔第一距离；以及第三放大和缩小参考点，其在与车辆本体2的前进方向垂直的方向上与第一放大和缩小参考点相隔第二距离。
设置单元511以这样的方式计算放大和缩小率：使得所捕获的图像数据中的第一放大和缩小参考点901被设置在处于显示设备8的显示区域的预定位置，并且图像数据中的第二放大和缩小参考点902和第三放大和缩小参考点903位于显示设备8的显示区域的外(最外)周上。
类似地，获取单元512从右成像单元16d获取图像数据，该图像数据的成像范围包括第四假想放大和缩小参考点；第五放大和缩小参考点，其在车辆本体2的前进方向上与第四放大和缩小参考点隔开第三距离；以及第六放大和缩小参考点，其在与车辆本体2的前进方向垂直的方向上与第四放大和缩小参考点隔开第四距离。类似地，设置单元511以这样的方式计算放大和缩小率：使得图像数据中的第五放大和缩小参考点与第六放大和缩小参考点位于显示设备8的显示区域的外(最外)周上。
在该实施例中，除了旋转、放大和缩小的处理，由广角透镜导致的变形也被矫正。
图10为示出包括在图像数据中的放大和缩小参考点以及由成像单元16b捕获的图像数据的变形的示意图。
带有小焦距的广角透镜被安装在每个成像单元16b和16d中，从而增加成像范围。当广角视野范围的图像被捕获时，图像数据的变形对应于广视角增加。
在该实施例中，变形矫正单元524矫正由成像单元16b和16d获取的图像数据项的变形。图10示出由变形矫正单元524矫正变形的图像数据。在图像单元的变形被矫正后，边界线1001变为图像数据的最外周。然而，当图像数据的变形被完全矫正时，虚线1002变为图像数据的最外周。
当图像数据的变形以这种方式被完全消除时，能见性得到改进，但是显示设备8的显示范围减小。由此，在该实施例中，变形矫正单元524以这样的方式矫正图像数据的变形：使得由广角透镜导致的变形保持在一定程度上不被消除。由于变形被矫正，第二放大和缩小参考点从坐标1021被矫正到坐标1012。
即，当变形矫正单元524矫正由每个成像单元16b和16d的广角透镜导致的变形时，变形矫正单元524以一变形矫正率执行变形矫正处理，该变形矫正率被设置为使得每个捕获的图像数据项的外周区域的变形保持在一定程度上不被消除，从而显示车辆本体2的外部环境的预定范围，并且车辆2的附近的图像基本上没有被变形。例如，显示设备8显示的预定范围被设置为当车辆本体2转弯时包括在前进方向上5m的距离；然而，显示的预定范围根据实施例被合适设置。
如图10所示，设置单元511以这样的方式计算放大和缩小率：使得第一放大和缩小参考点的坐标(x1，y1)1011在显示设备8上的预定位置显示，并且第二放大和缩小参考点的坐标(x2，y2)1012和第三放大和缩小参考点的坐标(x3，y3)1013设在显示区域1014的外周上。参数存储单元501存储计算得到的放大和缩小率点作为范围指定消息。范围指定消息以这样的方式设置：使得包括在图像数据中的多个放大和缩小参考点在预定位置(显示区域的外周和预定坐标)显示。合成单元523以这样的方式修整(trim)图像数据：使得用于图像数据的显示区域精确对齐显示区域1014。修整后的显示区域的尺寸可以被预先设定。
放大和缩小控制单元522根据存储在参数存储单元501中的放大和缩小率来控制图像数据的放大和缩小。换句话说，放大和缩小控制单元522以这样的方式控制图像数据的放大和缩小：使得包括在图像数据中的多个放大和缩小参考点在预定位置显示。然后，合成单元523以这样的方式修整放大或和缩小的图像数据：使得没有包括在显示设备8的显示区域中的范围被移除。
图11为示出该实施例中显示在显示设备8上的屏幕的例子的示意图。在图11中示出的例子中，多个由成像单元16捕获的图像数据项被分配给并显示在显示区域1100的区域中。由设置在左后视镜2g中的成像单元16b捕获的图像数据显示在显示区域1101中，并且由设置在右后视镜2g中的成像单元16d捕获的图像数据显示在显示区域1102中。由设置在车辆本体2的前侧的端部2c中的成像单元16a捕获的图像数据显示在显示区域1103中。
图12为示出该实施例中显示在显示设备8的显示区域1101中的图像数据的参考点之间的位置关系的示意图。如在图12中所示，由成像单元16b捕获的图像数据显示在显示设备8的显示区域1101中，其中坐标1201被设置作为原点。如图12中所示，设置单元511以这样的方式设置放大和缩小率：使得第一放大和缩小参考点在坐标(px，py)1211处显示，第二放大和缩小参考点在坐标1212处显示，第三放大和缩小参考点在坐标1213处显示。
下文给出的描述涉及设置单元511以使得图像数据在显示设备8上显示的方式来计算图像数据的放大和缩小率的技术。
在该实施例中，竖直方向(在Y方向)的放大和缩小率以及水平方向(在X方向)的放大和缩小率被分开计算。设置单元511使用表达式(7)计算竖直方向(在Y方向)的放大和缩小率ScaleY。在图10示出的图像数据中，第一放大和缩小参考点由坐标(x1，y1)1011表示，并且第二放大和缩小参考点由坐标(x2，y2)1012表示。
ScaleY＝py/(第一放大和缩小参考点与第二放大和缩小参考点在Y方
向上的距离)＝py/|y1-y2|…(7)
接下来，设置单元511使用表达式(8)计算水平方向(在X方向)的放大和缩小率ScaleX。在图10示出的图像数据中，第一放大和缩小参考点由坐标(x1，y1)1011表示，并且第三放大和缩小参考点由坐标(x3，y3)1013表示。
ScaleX＝px/(第一放大和缩小参考点与第三放大和缩小参考点在X方
向上的距离)＝px/|x1-x3|…(8)
放大和缩小控制单元522基于Y方向中的放大和缩小率ScaleY以及在X方向中的放大和缩小率ScaleX来执行放大和缩小控制并移动参考坐标。
表达式(9)被用于与放大和缩小控制关联的图像数据的x坐标的转换以及参考坐标的移动，并且表达式(10)被用于与此关联的y坐标的转换。包括在图像数据中的任意像素转换之前的坐标为(x，y)，并且转换之后的坐标为(x’，y’)。
x’＝(x-x1)xScaleX-(-px)...(9)
y’＝(y-y1)xScaleY-(-py)...(10)
使用表达式(9)和(10)来转换包括在图像数据中的每个像素，并且因此生成将在显示设备8上显示的图像数据。
在该实施例中，由设置在车辆本体2的前侧的端部2c中的成像单元16a捕获的图像数据被放大和缩小，并且被修整，从而在显示设备8的显示区域1103中显示图像，这没有被描述。
合成单元523通过合成由放大和缩小控制单元522处理的图像数据项等来产生将在显示设备8上显示的图像数据。
图13为示出由合成单元523合成的图像数据的示意图。如在图13中所示，包括在合成图像数据中的区域1301显示通过将由设置在左后视镜2g中的成像单元16b捕获的图像数据进行旋转、矫正其变形、放大和缩小而产生的结果。此外，区域1302显示将设置在右后视镜2g中的成像单元16d捕获的图像数据进行旋转、放大和缩小而产生的结果。此外，区域1303显示通过对设置在车辆本体2的前侧的端部2c中的成像单元16d捕获的图像进行处理而产生的结果。区域1304显示关于车辆本体2的倾斜等的信息。
在该实施例的显示设备8中，在区域1301中显示的图像数据和在区域1302中显示的图像数据呈现了通过对根据成像单元16b和16d的图像数据项进行旋转、矫正其变形、放大和缩小而产生的结果。
在该实施例中，获取单元512获取第一图像数据和第二图像数据。第一图像数据是由设置在车辆本体2的左侧上的成像单元16b捕获的图像数据，并且第一图像数据的成像范围包括左前轮和左后轮，该左后轮在车辆本体2的前进方向上的位置不同于左前轮。第二图像数据为由成像单元16d捕获的图像数据，并且第二图像数据的成像范围包括右前轮和右后轮，该右后轮在车辆本体2的前进方向上的位置不同于右前轮。
在该实施例中，周边监视ECU14根据每个图像数据项的情况，对由图像单元16b捕获的图像数据和由图像单元16d捕获的图像数据执行旋转、矫正其变形、放大和缩小以及修整的处理。由此，从输出单元514输出的图像数据、在区域1301中显示的左前轮1311和在区域1302中显示的右前轮1312在与车辆本体2的前进方向对应的高度(向上)方向上的显示设备8的轴线上具有基本上相同的坐标值(邻近坐标)。此外，从输出单元514输出的图像数据、在区域1301中显示的左后轮1313和在区域1302中显示的右后轮在与车辆本体2的前进方向对应的高度(向上)方向上的显示区域8的轴线上具有基本上相同的坐标值(邻近坐标)。
即，在现有技术中，当左成像单元和右成像单元16d在横向上不对称，并且左成像单元和右成像单元16d在车辆本体2的高度方向上的位置彼此不同时，即使左前轮和右前轮被调节以在高度(向上)方向上具有相同的坐标，也不容易将左后轮和右后轮的坐标调节为在高度方向具有相同的坐标。与之相反，在该实施例中，由成像单元16b和16d捕获的每个成像数据项根据每个图像数据项的情况被旋转、矫正变形以及放大和缩小，并且因此多个位置可以在高度(向上)方向上彼此对齐。
在图13示出的例子中，输出单元514输出图像数据，在该图像数据中，左前轮的后端部、右前轮的后端部、左后轮的前端部以及右后轮的前端部的位置被用作参考位置，并且这些参考位置被调节为具有相同的坐标值。然而，参考位置不限于在图13中示出的例子，例如，前轮和后轮两者的前端部的位置可以被用作参考位置，或者前轮和后轮两者的前端部的位置可以被用作参考位置。此外，前轮和后轮的中央位置，换句话说，前轮和后轮的轴线位置可被用作参考位置，并且可以被调节为具有相同的坐标。此外，这些参考位置不限于与车轮相关的位置，并且与车辆本体2的车门、方向指示灯相关的位置都可以被用作参考位置。车辆本体2的前端部和后端部的位置可以被用作参考位置，并且可以被调节为具有相同的坐标。
在该实施例中，车辆本体2的显示区域不限于图13中示出的例子。在图13中示出的例子中，显示设备8显示被修整从而包括车辆本体2的前端部和后轮的前端部的图像数据。然而，显示区域不限于该实施例中的这些，并且显示设备8可以显示被修整以包括车辆本体2的前端部和后端部的图像数据。在该情形下，车轮的位置可以被用作参考位置，或者车辆本体2的前端部和后端部的位置可以被用作参考位置。
在该实施例中，显示图像数据和各种信息项的组合；然而，显示模式不限于该实施例中的这些。例如，显示设备8可以仅显示旋转及放大或缩小由设置在左后视镜2g中的成像单元16b捕获的图像数据所得的结果以及旋转及放大或缩小由设置在后视镜2g中的成像单元16d捕获的图像数据所得的结果的组合。图14为示出该改型例中由合成单元523合成的图像数据的示意图。
另外在图14示出的例子中，在区域1401和1402中，左前轮1311和右前轮1312在显示区域8的高度(向上)方向的轴线上的基本上相同的坐标值(邻近坐标)处显示，并且左后轮1313和右后轮1314在显示区域8的高度(向上)方向的轴线上的基本上相同的坐标值(邻近坐标)处显示。由此，驾驶员可以避免考虑显示设备8上显示的屏幕是不自然的，并且因此能改进使用的容易度。
参考该实施例，图像数据项被多个成像单元16捕获，图像数据项被旋转以及放大或缩小，合成单元523合成图像数据项，然后输出单元514输出合成的图像数据。
换句话说，图像数据项被以这样的方式旋转以及放大或缩小：使得包括在图像数据项中的多个参考点在预定位置分别显示，并且输出单元514输出通过组合以此方式产生的多个图像数据项而产生的图像数据。
下文中，在车辆1出厂前由该实施例中的周边监视ECU14执行的处理将被描述。图15为示出该实施例中由周边监视ECU执行的该处理的顺序的流程图。
首先，车辆1的成像单元16捕获车辆1附近的图像(步骤1501)。获取单元512获取由成像单元16捕获的图像数据项。附近区域可以包括能作为参考点来指定成像单元16的倾斜度或位置的标记等。
设置单元511基于捕获的数据项来计算成像单元16b和16d的倾斜度，然后基于成像单元16b和16d的倾斜度，计算对应于由成像单元16b和16d捕获的图像数据项的多个旋转角度(步骤1502)。多个旋转角度为用于旋转由成像单元16b捕获的图像数据的旋转角度和用于旋转由成像单元16d捕获的图像数据的旋转角度。
此外，设置单元511基于包括在捕获的图像数据项中的参考点，计算用于在显示设备8的合适显示区域显示由成像单元16b和16d捕获的图像数据项的多个放大和缩小率(步骤1503)。多个放大和缩小率为用于放大或缩小由成像单元16b捕获的图像数据的放大和缩小率，以及用于放大或缩小由成像单元16d捕获的图像数据的放大和缩小率。
参数存储单元501存储由设置单元511计算的多个旋转角度(换句话说，角度信息)和多个放大和缩小率(换句话说，范围指定信息)(步骤S1504)。
由于这些参数甚至在车辆1出厂后也没有被改变，因此这些参数可以被用在稍后将介绍的图像处理中。在该实施例中，参数存储单元501存储用于旋转图形数据项的旋转角度；然而，参数存储单元501可以存储任何类型的信息，只要该信息可以被用来计算用于旋转图像数据项的旋转角度即可，例如，参数存储单元501可以存储关于成像单元16b和16d的位置信息等。
下文中，由该实施例中的周边监视ECU14执行从而在显示设备8上显示图像数据的处理将被描述。图16为示出该实施例中由周边监视ECU14执行的该处理的顺序的流程图。
首先，获取单元512获取由成像单元16捕获的图像数据项(步骤S1601)。
接下来，根据存储在参数存储单元501中的对应旋转角度，旋转控制单元521控制所获取的图像数据项之中由成像单元16b和16d捕获的多个图像数据项的旋转(步骤S1602)。
变形矫正单元524使用为每个成像单元分别设置的变形矫正率来矫正多个旋转控制后的图像数据项的变形(步骤S1603)。
此后，根据存储在参数存储单元501中的对应放大和缩小率，放大和缩小控制单元522控制多个旋转控制后的图像数据项的放大和缩小(步骤S1604)。
合成单元523以使得多个旋转控制后的并且放大和缩小的图像数据项在预设区域显示的方式执行修整，然后通过组合多个图像数据项来产生待在显示设备8上显示的图像数据(步骤S1605)。
接下来，输出单元514输出通过合成单元523组合有多个图像数据项的图像数据到显示设备8(步骤S1606)。
在该处理顺序之后，显示设备8可以显示由设置在后视镜2g中的成像单元16b和16d捕获的多个图像数据项，且在右侧和左侧上显示的图像数据之间没有偏差。
在该实施例中，由设置在后视镜2g中的成像单元16b和16d捕获的图像数据项被控制从而以对应的旋转角度旋转，并且被控制从而以对应的放大和缩小率放大和缩小，然后多个图像数据项被组合到一起。因此，能阻止将在显示设备8上显示的图像数据项的范围和位置之间的偏差。由此，能避免显示的图像数据项被不自然地看到，并且驾驶员可以容易地了解车辆1的附近环境。当驾驶员观看用于他们参考的显示设备8时，可以通过防止显示的图像数据项之间偏差的产生来改进驾驶员的能见性。结果，能减少驾驶车辆1的负担。
第二实施例
在第一实施例中，即使车辆1行驶，成像单元16b和16d也以预设的变形矫正率矫正。然而，假定有一种情况，驾驶员希望在更广的范围内显示图像数据，即使该图像数据在一定程度上变形。该情况的一个例子为车辆1在路外行驶的情形，并且由于与路上行驶相比，在该情形中视野场不好，所以显示设备8需要显示更宽范围中的图像数据。在第二实施例示出的例子中，显示设备8的显示范围根据情况而切换。在该实施例中，与第一实施例相同的部件将不再被描述。
图17A和17B为示出根据车辆1的行驶情况切换显示的图像数据的情形。在图17A和图17B示出的例子中，图17A示出当车辆1以路上模式行驶时产生的图像数据，并且图17B示出当车辆1以路外模式行驶时产生的图像数据。
虚线1701表示在车辆以图17A中示出的路上模式行驶的同时当图像数据的变形被完全矫正时的外周。在该实施例中，当变形矫正单元524矫正路上模式中的图像数据的变形时，边界线1702变为图像数据的最外周。被边界线1702界定的图像数据中的区域1703表示待在显示设备8上显示的范围。
虚线1701表示在车辆以图17B中示出的路外模式行驶的同时当图像数据被完全矫正时的外周。在该实施例中，当变形矫正单元524矫正路外模式中的图像数据的变形时，边界线1711变为图像数据的最外周。这样，图17B中示出的路外模式中的变形矫正率被设置为小于在图17A中示出的路上模式的变形矫正率。被边界线1711界定的图像数据中的区域1712表示待在显示设备8上显示的范围。图17B中的区域1712被设置为宽于图17A中的区域1703。与路上模式相比，在路外模式中，变形矫正率小且显示范围宽，因此大变形、宽范围的图像数据在显示设备8上显示。
由此，当驾驶员观看显示设备8作为他们的参考时，驾驶员可以在图17B所示的路外模式中认清宽范围的情况。路上模式和路外模式之间的切换可以根据驾驶员的操作完成，或者可以自动完成。
即，在路上模式中，能通过显示小变形、窄范围的图像数据来改进驾驶员的能见性，并且在路外模式中，能通过显示大变形、宽范围的图像数据来认清更宽范围的情况。这样，由于图像数据根据情况显示，因此能减少使车辆1转向时的负担。
下文中，公开了与前述实施例相关的补充说明。
补充说明1
一种周边监视装置包括：获取单元，被配置为获取第一图像数据和获取第二图像数据，所述第一图像数据由设置在车辆本体左侧上的第一成像单元捕获，并且所述第一图像数据的成像范围包括第一参考位置和在所述车辆本体的前进方向上与所述第一参考位置的位置不同的第二参考位置，所述第二图像数据由设置在该车辆本体右侧上的第二成像单元捕获，并且所述第二图像数据的成像范围包括第三参考位置和在所述车辆本体的所述前进方向上与所述第三参考位置的位置不同的第四参考位置；以及输出单元，被配置为当所述第一图像数据和所述第二图像数据被输出到显示设备时，以这样的方式放大或缩小所述第一图像数据和所述第二图像数据中的至少一个，使得包括在所述第一图像数据中待在所述显示设备上显示的所述第一参考位置和包括在所述第二图像数据中待在所述显示设备上显示的所述第三参考位置在所述显示设备的显示区域的对应于所述前进方向的第一方向上具有邻近的坐标，且包括在所述第一图像数据中的所述第二参考位置和包括在所述第二图像数据中的所述第四参考位置在所述第一方向具有邻近坐标，并且输出放大的或缩小的图像数据项。由此，例如，显示的右轮和左轮之间的偏差不会发生，并且因此能改进能见性，并减少驾驶车辆时的负担。
补充说明2
在该周边监视装置中，所述获取单元获取所述第一图像数据和所述第二图像数据。所述第一图像数据由设置在所述车辆本体左侧的第一成像单元捕获，并且所述第一图像数据的成像范围包括作为所述第一参考位置的所述车辆本体的左前轮以及作为所述第二参考位置的所述车辆本体的左后轮，所述第二参考位置在所述车辆本体的前进方向上与所述第一参考位置位于不同的位置。所述第二图像数据由设置在所述车辆本体右侧的第二成像单元捕获，并且所述第二图像数据的成像范围包括作为所述第三参考位置的右前轮以及作为所述第四参考位置的右后轮，所述第四参考位置在所述车辆本体的前进方向上与所述第三参考位置的位置不同。例如，显示的右轮和左轮之间没有发生偏差，并且因此能改进能见性，并能减少驾驶车辆时的负担。
在一个例子中，根据本公开文本另一个方面的周边监视系统包括：第一成像单元，其被设置在车辆本体左侧上并且捕获所述车辆本体左侧附近的图像；第二成像单元，其被设置在所述车辆本体右侧上并且捕获所述所述车辆本体的右侧附近的图像；获取单元，被配置为获取由所述第一成像单元捕获的第一图像数据和所述第二成像单元捕获的第二图像数据；以及显示单元，被配置为组合第三图像数据和第四图像数据并显示组合后的图像数据，所述第三图像数据通过以使得包括在所述第一图像数据中的多个第一参考点分别显示在预设的第一位置处这样的方式旋转以及放大或缩小所述第一图像数据而产生，所述第四图像数据通过以使得包括在所述第二图像数据中的多个第二参考点分别显示在预设的第二位置处这样的方式旋转以及放大或缩小所述第二图像数据而产生。由此，例如，显示的图像数据项之间不会发生偏差，并且因此能改进能见性，并能减少驾驶车辆时的负担。
本公开文本的若干实施例已经被描述，并且这些实施例作为例子呈现，并不意图来限制本公开文本的范围。新的实施例可以以其他各种形式实现，并且可以以各种形式作出省略、替换和改变，只要这些省略、替换和改变不脱离本公开文本的主旨。这些实施例和这些修改包括在本公开文本的范围和主旨中，并且包括在本公开文本的权利要求及其等同范围中。
本发明的理念、优选实施例和操作模式已经在前述说明书中描述。然而，意图保护的本发明不应被理解为受限于公开的特定实施例。此外，本文描述的这些实施例应被认为是例示性的而不是限制性的。变化和改变可以由其他人作出并等同采用，这没有偏离本发明的精神。由此，清楚的表明，这些变化、改变和等同变换将落入由权利要求限定的本发明的精神和范围并包含于其中。

Claims (5)

1.一种周边监视装置，包括：
获取单元(512)，被配置为获取第一图像数据和第二图像数据，所述第一图像数据由设置在车辆本体(2)的左侧上的第一成像单元(16b)捕获，所述第二图像数据由设置在所述车辆本体的右侧上的第二成像单元(16d)捕获；以及
输出单元(514)，被配置为组合第三图像数据和第四图像数据并输出组合后的图像数据，所述第三图像数据通过以使得包括在所述第一图像数据中的多个左参考点分别显示在预设位置处的方式旋转以及放大或缩小所述第一图像数据而产生，所述第四图像数据通过以使得包括在所述第二图像数据中的多个右参考点分别显示在预设位置处的方式旋转以及放大或缩小所述第二图像数据而产生。
2.根据权利要求1所述的周边监视装置，还包括：
存储单元(14c)，被配置为存储左角度信息和右角度信息，所述左角度信息用于基于设置在所述车辆本体的左侧上的所述第一成像单元的倾斜度来旋转所述第一图像数据，所述右角度信息用于基于设置在所述车辆本体的右侧上的所述第二成像单元的倾斜度来旋转所述第二图像数据，
其中所述输出单元组合通过根据所述左角度信息来旋转以及放大或缩小所述第一图像数据而产生的第三图像数据和通过根据所述右角度信息来旋转以及放大或缩小所述第二图像数据而产生的第四图像数据，并输出组合后的图像数据。
3.根据权利要求1或2所述的周边监视装置，还包括：
存储单元(14c)，被配置为存储左范围指定信息和右范围指定信息，所述左范围指定信息用于基于与设置在所述车辆本体中的所述第一成像单元相关的位置信息来放大或缩小所述第一图像数据，所述右范围指定信息用于基于与设置在所述车辆本体中的所述第二成像单元相关的位置信息来放大或缩小所述第二图像数据，
其中所述输出单元组合通过根据所述左范围指定信息来旋转所述第一图像数据以及放大或缩小所述第一图像数据而产生的第三图像数据和通过根据所述右范围指定信息来旋转所述第二图像数据以及放大或缩小所述第二图像数据而产生的第四图像数据，并输出组合后的图像数据。
4.根据权利要求1到3中任一项所述的周边监视装置，
所述获取单元获取成像范围包括作为多个左参考点的第一参考点、第二参考点和第三参考点的所述第一图像数据和成像范围包括作为多个右参考点的第四参考点、第五参考点和第六参考点的所述第二图像数据，其中所述第二参考点在所述车辆本体的前进方向与所述第一参考点分离，所述第三参考点在与所述车辆本体的前进方向垂直的方向与所述第一参考点分离，所述第四参考点在所述车辆本体的前进方向与所述第四参考点分离，所述第六参考点在与所述车辆本体的前进方向垂直的方向与所述第四参考点分离。
5.根据权利要求1到4中任一项所述的周边监视装置，
其中当由所述第一成像单元和所述第二成像单元中的每个的广角透镜导致的变形被矫正时，所述输出单元输出通过以一变形矫正率执行变形矫正处理而产生的所述第三图像数据和所述第四图像数据，所述变形矫正率被设定为使得所述第一图像数据和所述第二图像数据中的每个的外周区域中的变形保持在一定程度上不被消除，从而显示所述车辆本体的预定范围的外部环境。
CN201510624448.5A 2014-09-26 2015-09-25 周边监视装置及周边监视系统 Active CN105472317B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-197562 2014-09-26
JP2014197562A JP6467838B2 (ja) 2014-09-26 2014-09-26 周辺監視装置、及び周辺監視システム

Publications (2)

Publication Number Publication Date
CN105472317A true CN105472317A (zh) 2016-04-06
CN105472317B CN105472317B (zh) 2019-07-09

Family

ID=54014692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510624448.5A Active CN105472317B (zh) 2014-09-26 2015-09-25 周边监视装置及周边监视系统

Country Status (4)

Country Link
US (1) US9994157B2 (zh)
EP (1) EP3002727B1 (zh)
JP (1) JP6467838B2 (zh)
CN (1) CN105472317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554423A (zh) * 2016-06-30 2018-01-09 爱信精机株式会社 车辆周边监视装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139211B (zh) * 2015-09-29 2021-01-15 索尼公司 用于测量的装置和方法以及程序
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
US11400997B2 (en) * 2016-05-23 2022-08-02 Indian Motorcycle International, LLC Display systems and methods for a recreational vehicle
CN107424116B (zh) * 2017-07-03 2020-06-19 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法
JP2020036166A (ja) * 2018-08-29 2020-03-05 アルパイン株式会社 画像表示装置、画像表示方法
EP3848781B1 (en) * 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
CN113129224B (zh) 2019-12-31 2023-11-28 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003095028A (ja) * 2001-09-20 2003-04-03 Nippon Seiki Co Ltd 車両用監視装置
CN1533936A (zh) * 2003-04-02 2004-10-06 �����Զ�����ʽ���� 车辆图像显示设备及车辆图像显示方法
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
JP2014049848A (ja) * 2012-08-30 2014-03-17 Fujitsu Ten Ltd 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
JP5053043B2 (ja) * 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
JP2014127834A (ja) * 2012-12-26 2014-07-07 Clarion Co Ltd 車載カメラ用キャリブレーションシステム
EP2963922B1 (en) * 2013-02-28 2019-02-27 Aisin Seiki Kabushiki Kaisha Program and device for controlling vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003095028A (ja) * 2001-09-20 2003-04-03 Nippon Seiki Co Ltd 車両用監視装置
CN1533936A (zh) * 2003-04-02 2004-10-06 �����Զ�����ʽ���� 车辆图像显示设备及车辆图像显示方法
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
JP2014049848A (ja) * 2012-08-30 2014-03-17 Fujitsu Ten Ltd 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554423A (zh) * 2016-06-30 2018-01-09 爱信精机株式会社 车辆周边监视装置

Also Published As

Publication number Publication date
US20160090044A1 (en) 2016-03-31
EP3002727B1 (en) 2019-03-27
JP2016072703A (ja) 2016-05-09
JP6467838B2 (ja) 2019-02-13
CN105472317B (zh) 2019-07-09
US9994157B2 (en) 2018-06-12
EP3002727A1 (en) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105472317A (zh) 周边监视装置及周边监视系统
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP6946652B2 (ja) 駐車支援装置
JP4596978B2 (ja) 運転支援システム
JP6507626B2 (ja) 車両周辺監視装置
JP7039879B2 (ja) 表示制御装置
JP2012105158A (ja) 連結車両用鳥瞰図表示システム
JP6760122B2 (ja) 周辺監視装置
CN105009574A (zh) 周边监视装置及程序
JP2013253426A (ja) 自走式産業機械の表示装置
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
CN111095921B (zh) 显示控制装置
CN104956668A (zh) 图像处理装置以及图像处理方法
JP2012175314A (ja) 車両の運転支援装置
WO2019008824A1 (ja) 周辺監視装置
KR20100005971A (ko) 차량 전방위 감시 시스템
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP2009083744A (ja) 合成画像調整装置
WO2016088150A1 (ja) 車載用表示装置、車両及び表示方法
JP2011243010A (ja) 運転支援装置
JP2005193845A (ja) 車両用監視装置
JP2021111854A (ja) 車両用電子ミラーシステム
JP2010234856A (ja) 車載用表示装置
US20220086368A1 (en) Vehicular display system
JP7110592B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant