CN105291979B - 车辆用全景环视装置及具有该装置的车辆 - Google Patents

Abstract

本发明提供一种车辆用全景环视装置及具有该装置的车辆。本发明的车辆用全景环视装置包括：第一至第四摄像头，安装在车辆上；处理器，通过将来自所述第一至第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，并且通过将所述全景环视图像内的一部分区域投影到与所述第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像。由此，能够减小全景环视图像的失真。

Description

车辆用全景环视装置及具有该装置的车辆

技术领域

本发明涉及一种车辆用全景环视装置(apparatus for providing around view)及具有该装置的车辆，更详细地，涉及一种能够减小全景环视图像失真的车辆用全景环视装置及具有该装置的车辆。

背景技术

车辆是由所搭乘的使用者按照所需的方向使其移动的装置。作为代表性的可举例有汽车。

另外，为了使利用车辆的使用者方便，逐渐形成了将各种传感器和电子装置等设置在车辆上的趋势。特别地，正在开发出用于使使用者的驾驶更加便利的各种装置等，这些装置在车辆倒车或车辆停车(驻车)时提供由后方摄像头拍摄得到的图像等。

发明内容

本发明的目的在于提供一种能够减小全景环视图像失真的车辆用全景环视装置及具有该装置的车辆。

为了实现上述目的，本发明的车辆用全景环视装置包括：第一至第四摄像头，安装在车辆上；处理器，通过将来自所述第一至第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，并且通过将所述全景环视图像内的一部分区域投影到与所述第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像。

另外，为了实现上述目的，本发明的另一实施例的车辆用全景环视装置包括：第一至第四摄像头，安装在车辆上；处理器170，通过利用将来自所述第一至第四摄像头的各图像根据与第一立体形状相对应的第一比例因子来生成全景环视图像，并且通过将所述全景环视图像中一部分区域根据与不同于所述第一立体形状的第二立体形状相对应的第二比例因子，来生成一部分区域得到补正的全景环视图像。

另外，为了实现上述目的，本发明的实施例的车辆包括：转向驱动部，用于驱动转向装置；刹车驱动部，用于驱动制动装置；动力源驱动部，用于驱动动力源；第一至第四摄像头，安装在车辆上；处理器，通过将来自所述第一至第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，并且通过将所述全景环视图像内的一部分区域投影到与所述第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像。

根据本发明的实施例的车辆用全景环视装置及具有该装置的车辆，其包括：处理器，其通过将来自车辆上安装的第一至第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，并且通过将全景环视图像中一部分区域投影到与第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像。由此，能够减小全景环视图像的失真。

另外，本发明的实施例还具有超声波传感器，当基于超声波传感器检测出规定物体靠近车辆规定距离以内时，通过将全景环视图像内的包括物体的区域投影到第二立体投影面上，来生成一部分区域得到补正的全景环视图像。由此，能够生成更加准确的全景环视图像。

另外，可将全景环视图像内的与选择输入相对应的区域投影到第二立体投影面上，来生成一部分区域得到补正的全景环视图像。由此，能够增大使用者的利用便利性。

附图说明

图1是示出具有本发明的一实施例的环视摄像头的车辆的外观的示意图。

图2A是概略地示出车辆上贴附的环视摄像头的位置的示意图。

图2B是例示出基于图2A的环视摄像头拍摄得到的图像的全景环视图像。

图3A至图3B是例示出本发明的一实施例的车辆用全景环视装置的内部框图的多种例子的图。

图4A至图4B是例示出图3的处理器的内部框图的多种例子的图。

图5是例示出图4A至图4B的处理器检测对象的示意图。

图6是本发明的一实施例的车辆内部的框图的一例的图。

图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图。

图8A至图14C是在图7的动作方法的说明中作为参照的示意图。

具体实施方式

以下参照附图对本发明进行更详细的说明。

在以下说明中使用的针对结构要素的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予，其本身并不带有特别重要的含义或作用。因此，上述“模块”及“部”可相互混合使用。

本说明书中阐述的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行阐述。

另外，本说明书中阐述的车辆可以是将作为动力源而具有引擎的车辆、作为动力源而具有引擎和电动机的混合动力车辆、作为动力源而具有电动机的电动汽车等都包括的概念。

另外，本说明书中阐述的车辆用全景环视装置可以是具有多个摄像头，并通过组合由多个摄像头拍摄得到的多个图像来提供全景环视图像的装置。特别地，其可以是以车辆为基准而提供俯视(top view)或鸟瞰(bird eye view)的装置。以下，对本发明的多种实施例的车辆用全景环视装置及具有该装置的车辆进行阐述。

图1是示出具有本发明的一实施例的环视摄像头的车辆的外观的示意图。

参照附图，车辆200可具有：车轮103FR、103FL、103RL、…，其借助动力源来旋转；方向盘150，其用于调节车辆200的行驶方向；以及，多个环视摄像头195a、195b、195c、195d，其安装在车辆200上。另外，在附图中，为了说明上的便利而仅图示出左侧摄像头195a和前方摄像头195d。

当车辆的速度为规定速度以下或车辆倒车时，多个环视摄像头195a、195b、195c、195d被激活，由此能够分别获取拍摄图像。可在车辆用全景环视装置(图3A或图3B的100)中，对由多个摄像头获取的图像进行信号处理。

图2A是概略地示出车辆上贴附的环视摄像头的位置的示意图，图2B是例示出基于图2A的环视摄像头所拍摄的图像的全景环视图像。

首先，参照图2A，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。

特别地，左侧摄像头195a和右侧摄像头195c可分别配置于围绕左侧视镜的壳体和围绕右侧视镜的壳体内。

另外，后方摄像头195b和前方摄像头195d可分别配置于后备箱开关附近及标牌(emblem)或标牌附近。

多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像被传送至车辆200内的处理器(图3A或图3B的170)等，处理器(图3A或图3B的170)组合多个图像来生成全景环视图像。

图2B是例示出全景环视图像210的一例的图。全景环视图像210可具有：来自左侧摄像头195a的第一图像区域195ai；来自后方摄像头195b的第二图像区域195bi；来自右侧摄像头195c的第三图像区域195ci；来自前方摄像头195d的第四图像区域195di。

图3A至图3B是例示出本发明的一实施例的车辆用全景环视装置的内部框图的多种例子的图。

图3A至图3B的车辆用全景环视装置100可通过组合从多个摄像头195a、…、195d接收的多个图像来生成全景环视图像。

另外，车辆用全景环视装置100可基于从多个摄像头195a、…、195d接收的多个图像，对位于车辆附近的物体进行对象检测、确认及跟踪。

首先，参照图3A，图3A的车辆用全景环视装置100可具有：通信部120、接口部(interface)130、存储器140、处理器170、显示器180、音频输出部185、供电部190及多个摄像头195a、…、195e。除此之外，还可具有音频输入部(未图示)。

通信部120可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部120可以以无线方式与车辆驾驶者的移动终端进行数据交换。无线数据通信方式可包括蓝牙(Bluetooth)、直通互联(WiFi Direct)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。

通信部120可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。另外，车辆用全景环视装置100可将基于图像所确认的实时交通信息传送给移动终端600或服务器500。

另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和车辆用全景环视装置100可自动地或通过使用者运行应用来相互执行配对(pairing)。

接口部130可接收车辆相关数据，或是将处理器170所处理或生成的信号传送给外部。为此，接口部130可通过有线通信或无线通信方式，与车辆内部的电子控制单元(ECU)770、音频视频导航(Audio Video Navigation，AVN)装置400、传感器部760等执行数据通信。

接口部130可通过与AVN装置400的数据通信，接收与车辆行驶相关的地图(map)信息。

另外，接口部130可从ECU 770或传感器部760接收传感器信息。

其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。

另外，传感器信息之的与车辆相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等可命名为车辆行驶信息。

存储器140可储存用于处理器170的处理或控制的程序等，用于车辆用全景环视装置100整体的动作的多种数据。

音频输出部(未图示)将来自处理器170的电信号变换为音频信号并输出。为此，其可具有扬声器等。音频输出部(未图示)可输出与输入部110，即按键的动作对应的声音。

音频输入部(未图示)可输入使用者语音。为此，其可具有麦克风。所接收的语音可被变换为电信号并传送给处理器170。

处理器170用于控制车辆用全景环视装置100内的各单元的整体动作。

特别地，处理器可从多个摄像头195a、…、195d获取多个图像，并通过组合多个图像来生成全景环视图像。

另外，处理器170可执行基于计算机视觉(computer vision)的信号处理。例如，可基于多个图像或所生成的全景环视图像，执行针对车辆周边的视差(disparity)运算，基于所运算出的视差信息而在图像内执行对象检测，并在对象检测之后继续跟踪对象的移动。

特别地，处理器170在检测对象时，可执行车道线检测(Lane Detection)、周边车辆检测(Vehicle Detection)、行人检测(Pedestrian Detection)、道路面检测等。

此外，处理器170可执行针对检测出的周边车辆或行人的距离运算等。

另外，处理器170可通过接口部130从ECU 770或传感器部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。

显示器180可显示处理器170所生成的全景环视图像。另外，在显示全景环视图像时，还可提供多种使用者用户界面，并可具有可对提供的用户界面进行触摸输入的触摸传感器。

另外，显示器180可包括车辆内部前面的群集(cluster)或平视显示器(Head UpDisplay，HUD)。另外，在显示器180为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。

音频输出部185基于处理器170所处理的音频信号，将声音输出到外部。为此，音频输出部185可具有至少一个扬声器。

供电部190可通过处理器170的控制而供给各结构要素的动作所需的电源。特别地，供电部190可从车辆内部的电池等供给到电源。

多个摄像头195a、…、195d是用于提供全景环视图像的摄像头，其优选为是广角的摄像头。

另外，摄像头195e是安装于车室内部的摄像头，其可以是用于拍摄使用者，特别是拍摄驾驶者的摄像头。处理器170可基于来自室内摄像头195e的图像确认驾驶者位置，与驾驶者位置对应地设定出无法由车辆内的侧视镜或室内镜所确认的区域，为了拍摄无法进行确认的区域，翘动(tilting)摄像头中的至少一部分摄像头并使其以作为第一模式的盲点探测(Blind spot detection，BSD)模式进行动作。

接着，参照图3B，图3B的车辆用全景环视装置100与图3A的车辆用全景环视装置100类似，其区别在于还具有输入部110及超声波传感器部198。以下，仅对输入部110及超声波传感器部198进行说明。

输入部110可具有贴附于显示器180周边的多个按键或配置于显示器180上的触摸屏。可通过多个按键或触摸屏开启车辆用全景环视装置100的电源并使其进行动作。除此之外，其还可执行多种输入动作。

超声波传感器部198可具有多个超声波传感器。当在车辆内安装有多个超声波传感器时，可基于发送的超声波和接收的超声波之间的差异，执行针对车辆周边的物体检测。

另外，与图3B不同的是，可由激光雷达(Lidar)(未图示)来替代超声波传感器部198，或者可一同具有超声波传感器部198和激光雷达(Lidar)。

图4A至图4B例是示出图3的处理器的内部框图的多种例子的图，图5是例示出图4A至图4B的处理器中的对象检测的示意图。

首先，参照图4A，图4A是处理器170的内部框图的一例的图，车辆用全景环视装置100内的处理器170可具有：影像预处理部410、视差运算部420、对象检测部434、对象跟踪部440及应用部450。

影像预处理部(image preprocessor)410可从多个摄像头195a、…、195d接收多个图像或所生成的全景环视图像，并对其执行预处理(preprocessing)。

具体地，影像预处理部410可对多个图像或所生成的全景环视图像执行降噪(noise reduction)、矫正(rectification)、校准(calibration)、色彩增强(colorenhancement)、色彩空间转换(color space conversion；CSC)、插值(interpolation)、摄像头增益控制(camera gain control)等。由此，可获取与多个摄像头195a、…、195d所拍摄的多个图像或所生成的全景环视图像相比更清晰的图像。

视差运算部(disparity calculator)420接收影像预处理部410中被信号处理的多个图像或所生成的全景环视图像，对以规定时间内依次地接收的多个图像或所生成的全景环视图像执行立体匹配(stereo matching)，并获取与立体匹配对应的视差图(disparity map)。即，可获取针对车辆周边的视差信息。

此时，立体匹配可按照图像的像素单位或规定块单位执行。另外，视差图可表示的是用数值来表现出图像，即左、右图像的视差信息(binocular parallax information)的图(map)。

分割部(segmentation unit)432可基于来自视差运算部420的视差信息而执行图像内的分割(segment)及聚类(clustering)。

具体地，分割部432可基于视差信息，对于图像中的至少一个而分离出背景(background)和前景(foreground)。

例如，可将视差图内的视差信息为规定值以下的区域运算为背景，并去除相应部分。由此，可相对地分离出前景。

作为另一例，可将视差图内的视差信息为规定值以上的区域运算为前景，并提取相应部分。由此，可相对地分离出前景。

如上所述，根据基于图像所提取的视差信息而分离出前景和背景，使在随后的对象检测时，可缩短信号处理速度、信号处理量等。

接着，对象检测部(object detector)434可基于来自分割部432的图像分割而检测出对象。

即，对象检测部434可基于视差信息，对于图像中的至少一个检测出对象。

具体地，对象检测部434可对图像内的至少一个检测出对象。例如，可从通过图像分割而被分离的前景检测出对象。

接着，对象确认部(object verification unit)436对被分离的对象进行分类(classify)并确认(verify)。

为此，对象确认部436可使用利用神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(Histograms of Oriented Gradients，HOG)方法等。

另外，对象确认部436可通过比较存储器140中储存的对象和所检测出的对象来确认对象。

例如，对象确认部436可确认位于车辆周边的周边车辆、车道线、道路面、标识牌、危险地区、隧道等。

对象跟踪部(object tracking unit)440用于执行对被确认的对象的跟踪。例如，可对依次地获取的图像内的对象进行确认，对被确认的对象的移动或移动向量进行运算，并基于运算出的移动或移动向量而跟踪相应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道线、道路面、标识牌、危险地区等。

图4B是处理器的内部框图的另一例的图。

参照附图，图4B的处理器170的内部结构单元与图4A的处理器170相同，其区别在于信号处理顺序不同。以下仅对其区别进行阐述。

对象检测部434可接收多个图像或所生成的全景环视图像，并检测出多个图像或所生成的全景环视图像内的对象。与图4A不同的是，不是基于视差信息而对被分割的图像检测对象，而是可从多个图像或所生成的全景环视图像中直接检测出对象。

接着，对象确认部(object verification unit)436基于来自分割部432的图像分割及对象检测部434所检测出的对象，对被检测及分离的对象进行分类(classify)并确认(verify)。

为此，对象确认部436可使用利用神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(Histograms of Oriented Gradients，HOG)方法等。

图5是用于说明处理器170基于在第一帧及第二帧的区间内分别获取的图像来进行处理的动作方法的示意图。

参照图5，在第一帧及第二帧的区间内，多个摄像头195a、…、195d依次获取各个图像FR1a、FR1b。

处理器170内的视差运算部420接收影像预处理部410中被信号处理的图像FR1a、FR1b，对所接收的图像FR1a、FR1b执行立体匹配，从而获取视差图(disparity map)520。

视差图(disparity map)520是对图像FR1a、FR1b之间的视差进行了等级化(level)，其可被运算为是，视差等级越大，与车辆的距离越近，视差等级越小，与车辆的距离越远。

另外，当显示这样的视差图时，其可被显示为是，视差等级越大，具有越高的亮度，视差等级越小，具有越低的亮度。

在附图中例示出，在视差图520内，第一车道线至第四车道线528a、528b、528c、528d等各自具有相应的视差等级，施工地区522、第一前方车辆524、第二前方车辆526各自具有相应的视差等级。

分割部432、对象检测部434、对象确认部436基于视差图520，对图像FR1a、FR1b中的至少一个执行分割、对象检测及对象确认。

在附图中例示出，使用视差图520对第二图像FR1b执行对象检测及确认。

即，在图像530内，可对第一车道线至第四车道线528a、528b、528c、528d、施工地区522、第一前方车辆524、第二前方车辆526执行对象检测及确认。

另外，可通过持续地获取图像，使对象跟踪部440对被确认的对象执行跟踪。

图6是本发明的一实施例的车辆内部的框图的一例的图。

参照附图，车辆200可具有用于车辆控制的电子控制装置700。电子控制装置700可与AVN装置400进行数据交换。

电子控制装置700可具有输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、刹车驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部756、空调驱动部757、车窗驱动部758、安全气囊驱动部759、传感器部760、ECU 770、显示器780、音频输出部785、供电部790、多个摄像头795。

另外，ECU 770可以是包括处理器的概念。或者，除了ECU 770以外，还可具有用于对来自摄像头的图像进行信号处理的另外的处理器。

输入部710可具有配置于车辆200内部的多个按键或触摸屏。通过多个按键或触摸屏可执行多种输入动作。

通信部720可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部720可以以无线方式与车辆驾驶者的移动终端进行数据交换。无线数据通信方式可以有蓝牙(Bluetooth)、直通互联(WiFi Direct)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。

通信部120可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。

另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和电子控制装置700可自动地或通过使用者运行应用来相互执行配对。

存储器740可储存用于ECU 770的处理或控制的程序等，用于电子控制装置700整体的动作的多种数据。

灯驱动部751可控制车辆内部、外部配置的灯的开启/关闭。并且，可控制灯的光亮度、方向等。例如，可执行对方向指示灯、刹车灯等的控制。

转向驱动部752可执行对车辆200内的转向装置(steering apparatus)(未图示)的电子式控制。由此，可变更车辆的行进方向。

刹车驱动部753可执行对车辆200内的制动装置(brake apparatus)(未图示)的电子式控制。例如，通过控制车轮上配置的制动器的动作，可减小车辆200的速度。作为另一例，使分别配置于左轮和右轮上的制动器的动作相互不同，从而可将车辆200的行进方向调整为向左侧或向右侧。

动力源驱动部754可执行对车辆200内的动力源的电子式控制。

例如，当基于化石燃料的引擎(未图示)作为动力源时，动力源驱动部754可对引擎执行电子式控制。由此，可控制引擎的输出扭矩等。

作为另一例，当基于电力的电机(未图示)作为动力源时，动力源驱动部754可对电机执行控制。由此，可控制电机的旋转速度、扭矩等。

天窗驱动部755可执行对车辆200内的天窗装置(sunroof apparatus)(未图示)的电子式控制。例如，可控制开放或封闭天窗。

悬架驱动部756可执行车辆200内的悬架装置(suspension apparatus)(未图示)的电子式控制。例如，在道路面颠簸的情况下，可通过控制悬架装置以减小车辆200的震动。

空调驱动部757可执行对车辆200内的空调装置(air conditioner)(未图示)的电子式控制。例如，当车辆内部的温度高时，可通过驱动空调装置以向车辆内部供给冷气。

车窗驱动部758可执行对车辆200内的车窗装置(window apparatus)(未图示)的电子式控制。例如，可控制开放或封闭车辆的侧面的左、右车窗。

安全气囊驱动部759可执行对车辆200内的安全气囊装置(airbag apparatus)(未图示)的电子式控制。例如，当发生危险时，可控制安全气囊被弹出。

传感器部760用于检测与车辆100的行驶等相关的信号。为此，传感器部760可具有航向传感器(heading sensor)、偏航角传感器(yaw sensor)、陀螺仪传感器(gyrosensor)、定位模块(position module)、车辆前进/倒车传感器、车轮传感器(wheelsensor)、车速传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。

由此，传感器部760可获取关于车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息等的检测信号。

另外，传感器部760还可具有油门传感器、压力传感器、引擎转速传感器(enginespeed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(Throttle Position Sensor，TPS)、TDC传感器、曲柄角传感器(CAS)等。

ECU 770可控制电子控制装置700内的各单元的整体动作。

通过输入部710的输入，可执行特定动作，或是接收传感器部760中检测出的信号并传送给车辆用全景环视装置100，可从AVN装置400接收地图信息，并可控制各种驱动部751、752、753、754、755的动作。

并且，ECU 770可从通信部720接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。

另外，ECU 770可组合从多个摄像头795接收的多个图像并生成全景环视图像。特别地，当车辆的速度为规定速度以下或车辆倒车时，可生成全景环视图像。

显示器780可显示所生成的全景环视图像。特别地，除了全景环视图像以外，还可提供多种用户界面。

为了显示这种全景环视图像等，显示器780可包括车辆内部前面的群集(cluster)或平视显示器(Head Up Display，HUD)。另外，在显示器780为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。另外，显示器780可包括可进行输入的触摸屏。

音频输出部785用于将来自ECU 770的电信号变换为音频信号并输出。为此，其可具有扬声器等。音频输出部785可输出与输入部710，即按键的动作对应的声音。

供电部790可通过ECU 770的控制而供给各结构要素的动作所需的电源。特别地，供电部790可从车辆内部的电池(未图示)等供给到电源。

多个摄像头795用于提供全景环视图像，为此，如图2A所示，可具有四个摄像头。例如，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。多个摄像头795拍摄得到的多个图像被传送给ECU 770或另外的处理器(未图示)。

另外，当利用由多个环视摄像头195a、195b、195c、195d所分别拍摄的图像来生成合成的全景环视图像时，优选地提供图像内不存在失真且准确的倍数的全景环视图像。

但是，根据多个环视摄像头195a、195b、195c、195d在车辆内的配置，在一部分区域可能会发生与实际情况不同的失真的区域。在本发明中，提示出用于减小这种失真的方法。对此，参照图7以下进行详细的阐述。

图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图，图8A至图14C是在图7的动作方法的说明中作为参照的示意图。

首先，参照图7，车辆用全景环视装置100接收由多个环视摄像头195a、195b、195c、195d拍摄得到的图像(步骤S710)。

如图2所示，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。

特别地，左侧摄像头195a和右侧摄像头195c可分别配置于围绕左侧视镜的壳体和围绕右侧视镜的壳体内。

另外，后方摄像头195b和前方摄像头195d可分别配置于后备箱开关附近及标牌(emblem)或标牌附近。

由多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像可被传送给车辆200内的处理器170等。

接着，车辆用全景环视装置100的处理器170通过将所接收的各图像投影到第一立体投影面上来生成全景环视图像，并且将一部分区域投影到第二立体投影面上来生成全景环视图像(步骤S720)。然后，通过进行控制将所生成的全景环视图像显示于显示器180(步骤S730)。

为了利用由多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像，来提供以车辆为基准的俯视(top view)或鸟瞰(bird eye view)，处理器170可执行信号处理。

图8A是例示出作为第一立体投影面的椭圆形的立体投影面800的图。

为了提供俯视(top view)或鸟瞰(bird eye view)的功能，如图所示，处理器170可将各图像投影到如椭圆的立体投影面800上，利用与投影面相对应的比例因子(scalingfactor)来进行针对各图像内的区域的非线性缩放(scaling)。此外，可通过对进行了非线性缩放之后的各图像进行组合来生成全景环视图像。

图8B是例示出通过将各图像投影大搜如椭圆的立体投影面800上来合成的全景环视图像810。

参照附图，当利用如椭圆的立体投影面800来投影各图像时，以车辆图像210为基准处于规定距离以上的区域，其因过度缩放，特别是过度的比例缩小(scaling down)而可能会失真。

附图中例示出将车辆图像210附近的区域801和车辆图像210的外廓区域802以椭圆曲线809为基准加以区分的情况。

特别地，附图中例示出车辆图像210的外廓区域802中来自左侧摄像头的图像和来自后方摄像头的图像的临界区域815上可能会产生失真区域。

图像临界区域815因过度的比例缩小而可能会失真为比实际大小要小。特别地，与车辆图像210相比，其大小可能会较多地变小。当驾驶者或使用者通过显示器180来确认由这种方式所合成的全景环视图像810时，将会对远近感感到不谐调。

因此，处理器170对于这些区域优选地利用第一立体投影面和另一第二立体投影面来执行不同倍数的缩放。

图9A例示出将各图像投影到如椭圆的立体投影面中的作为上部区域的第一区域806，并且将各图像中的一部分区域投影到如圆锥体(cone)的立体投影面900中的作为下部区域的第二区域907。

如椭圆的立体投影面800的上部区域806和下部区域807可由第一曲线805所区分，如圆锥体的立体投影面900的上部区域906和下部区域907由第二曲线905所区分。

由此，对于如圆锥体的立体投影面900中的下部区域907，处理器170可执行与基于如椭圆的立体投影面800的缩放不同的倍数的缩放。

即，处理器170对于下部区域907可执行比例放大(scaling up)而不是比例缩小(scaling down)。由此，对于一部分区域，可生成与实际图像几近类似的无失真的全景环视图像。

特别地，与车辆图像相比，对于处于远距离的外廓区域，可生成无失真的全景环视图像。

图9B例示出失真区域被减小的全景环视图像210。

全景环视图像210可具有：来自左侧摄像头195a的第一图像区域195ai；来自后方摄像头195b的第二图像区域195bi；来自右侧摄像头195c的第三图像区域195ci；来自前方摄像头195d的第四图像区域195di。

另外，当接受到对显示器180上显示的全景环视图像内的规定区域的选择输入时，处理器170可通过将全景环视图像内的与选择输入相对应的区域投影到第二立体投影面上，来生成一部分区域被补正的全景环视图像。对此，参照图9C进行阐述。

图9C的(a)部分例示出在显示器180上显示有补正前全景环视图像810的状态下，通过触摸输入来选择补正前全景环视图像810内的外廓区域802。

在显示器180是可检测触摸输入的触摸屏或触摸显示器的情况下，处理器170可与所检测出的触摸输入相对应地改变对于相应区域的缩放。

即，处理器170可通过对相应区域进行控制来将其投影到第二立体投影面上。

此外，处理器170可通过将被选择区域投影到第二立体投影面上，来生成一部分区域得到补正的全景环视图像。

图9C的(b)部分是例示出将补正后的全景环视图像210显示到显示器180上的图。由此，对于使用者所需的区域，将生成执行了区域补正的全景环视图像并显示，从而增大使用者的利用便利性。

另外，处理器170可通过控制将一部分区域得到补正的全景环视图像显示于显示器180。此时，处理器170可通过控制，在显示器180上显示的一部分区域得到补正的全景环视图像上，以高亮方式显示一部分区域，或重叠显示与用于区分一部分区域的对象。

图9D例示出在一部分区域得到补正的全景环视图像210显示于显示器180的情况下，一部分区域970与其他区域不同地进行高亮显示。作为高亮显示的方法可执行有亮度改变、颜色改变等。由此，驾驶者或使用者可即刻识别出得到补正的区域。

另外，与图9A不同地，如图9E所示，可将各图像投影到如椭圆的立体投影面800中的作为下部面的第二区域807，并且将各图像中的一部分区域投影到如圆锥体的立体投影面900中的作为上部区域的第一区域906。

图10A至图11B是例示出基于第一立体投影面和第二立体投影面的防止一部分区域失真的多种例子的图。

首先，图10A例示出在左侧摄像头195a位于第一高度h1的状态下，对于与其相隔第一距离D1并具有第二高度h2的区域1015，当利用第一立体投影面1005进行投影时，将会发生失真。失真发生区域的高度可与h3对应。

在比左侧摄像头195a低的高度的区域1015中，当利用第一立体投影面1005进行投影时，将会发生失真。

由此，如图10B所示，对于具有第二高度h2的区域1015，处理器170可通过控制将其投影于抛物线形状的第二立体投影面1025，而不是投影于椭圆形的第一立体投影面1005。由此，对于区域1015将可生成失真被减小的全景环视图像。

附图中例示出第一立体投影面1005和第二立体投影面1025的突出区域的方向相互不同。

如上所述，处理器170可利用第一立体投影面和第二立体投影面之间的曲率相互不同、突出区域的方向在第一立体投影面和第二立体投影面之间相互不同或这两者的组合，来生成一部分区域得到补正的全景环视图像。

当车辆上安装的第一至第四摄像头195a、195b、195c、195d的高度越高时，补正前的一部分区域的大小比第一立体投影面越小，为了对其进行补正，处理器170可设定为将全景环视图像内的上述一部分区域的大小变大。由此，将可减小失真。

当基于第一立体投影面所生成的全景环视图像内包括有特定对象时，处理器170可通过将特定对象区域投影到第二立体投影面，来生成一部分区域得到补正的全景环视图像。

接着，图11A例示出在左侧摄像头195b位于第一高度h1的状态下，在与其相隔第一距离D1并具有第二高度h2的区域1015上存在有规定物体1100，当对于该区域1015利用第一立体投影面1005进行投影时，将会发生失真。失真发生区域的高度可与h3对应。

此时的规定物体1100可以是立柱、标识牌等。

在比左侧摄像头195b低的高度的区域1015中，当利用第一立体投影面1005进行投影时，将会发生失真。

由此，如图11B所示，对于具有第二高度h2的区域1015及规定物体1100，处理器170可通过控制将其投影到椭圆形的第一立体投影面1005、抛物线形状的第二立体投影面1025。由此，对于区域1015及物体1100将可生成失真被减小的全景环视图像。

处理器170可根据车辆的行驶方向来变更第二立体投影面内的至少一部分区域的大小及位置中的至少一个。对此参照图12A至图12C进行详细的阐述。

图12A例示出车辆200朝右侧逆时针方向进行倒车。其例示出的是，相比于第一时间点，在第二时间点朝右侧后方移动，相比于第二时间点，在第三时间点朝左侧后方移动。

在此情况下，处理器170可根据车辆的行驶方向来变更第二立体投影面内的至少一部分区域的大小及位置中的至少一个。

即，在第一时间点T1，与图12B或图9A时相同地，处理器170将来自多个摄像头195a、…、195d的各图像投影到如椭圆的立体投影面800中的作为上部区域的第一区域806，并且将各图像中的一部分区域投影到如圆锥体的立体投影面9000中的作为下部面的第二区域907。

接着，在第二时间点T2，由于车辆的方向朝右侧后方偏离，处理器170可将来自多个摄像头195a、…、195d的各图像投影到由如椭圆的立体投影面800中的曲线1205朝右侧移动而产生的右侧上部区域1206，其中，将各图像中的一部分区域投影于如圆锥体的立体投影面900中的左侧下部区域1217。

由此，将可生成与车辆行进方向对应的、失真被减小的全景环视图像。

接着，在第三时间点T3，与第一时间点T1时相同地，处理器170可将各图像投影到如椭圆的立体投影面800中的作为上部区域的第一区域806，并且将各图像中的一部分区域投影于如圆锥体的立体投影面9000中的作为下部面的第二区域907。

另外，处理器170可根据车辆的倾斜度来变更第一立体投影面及第二立体投影面中的至少一个的倾斜度及角度中的至少一个。对此参照图13A至图13B进行详细的阐述。

首先，图13A例示出车辆200位于上坡道路1300上。在此情况下，处理器170可使用与第一投影面1310类似但曲率不同的第二投影面1315，来在车辆后方的一定区域生成失真被减小的全景环视图像。除此之外，也可通过调整第二投影面1315的倾斜度或角度来生成全景环视图像。

另外，图13B例示出车辆200位于朝左侧倾斜的道路1310上。在此情况下，处理器170可使用与第一投影面1320类似但曲率不同的第二投影面1325，来在车辆左侧的一定区域生成失真被减小的全景环视图像。除此之外，也可通过调整第二投影面1325的倾斜度或角度来生成全景环视图像。

另外，在车辆200具有超声波传感器198的情况下，当基于超声波传感器198检测出规定物体靠近车辆至规定距离以内时，处理器170也可通过将全景环视图像内的包括物体的区域投影到第二立体投影面，来生成一部分区域得到补正的全景环视图像。对此参照图14A至图14C进行阐述。

图14A至图14C例示出利用车辆内的超声波传感器来生成全景环视图像。

图14A例示出车辆200具有用于检测规定物体靠近的多个超声波传感器198A、…、198j。

第一至第三超声波传感器198a、198b、198c可贴附于车辆前方区域，第四至第五超声波传感器198d、198e贴附于车辆前方两侧，第六至第七超声波传感器198f、198g贴附于车辆后方两侧，第八至第十超声波传感器198h、198i、198j贴附于车辆后方区域。

特别地，附图中例示出由第六超声波传感器198f检测出位于左侧后方的物体1100。

由此，当第六超声波传感器198f判断为规定距离以内存在有物体1100时，处理器170对于规定物体1100可通过控制将其投影到第二立体投影面，而不是投影到第一立体投影面上。

图14B例示出在左侧摄像头195b位于第一高度h1的状态下，在与其相隔第一距离D1并具有第二高度h2的区域1015上存在有规定物体1100，当对于该区域1015利用第一立体投影面1005进行投影时，将会发生失真。失真发生区域的高度可与h3对应。

此时的规定物体1100可以是立柱、标识牌等。

在比左侧摄像头195b低的高度的区域1015中，当利用第一立体投影面1005进行投影时，将会发生失真。

由此，如图14C所示，对于具有第二高度h2的区域1015及规定物体1100，处理器170可通过控制将其投影于抛物线形状的第二立体投影面1025。由此，对于区域1015及物体1100将可生成失真被减小的全景环视图像。

另外，本发明的车辆用全景环视装置及车辆的动作方法，其可由车辆用全景环视装置或车辆上具有的处理器可读取的记录媒介中以处理器可读取的代码来实现。处理器可读取的记录媒介包括用于储存可由处理器读取的数据的所有种类的记录装置。可由处理器读取的记录媒介的例有ROM、RAM、CD-ROM、磁带、软盘、光数据储存装置等，并且，还可包括以通过因特网的传输等载波的形态来实现。并且，可由处理器读取的记录媒介可离散于通过网络连接的计算机系统，并以离散方式储存有可由处理器读取的代码并执行。

并且，以上对本发明的优选实施例进行了图示及说明，但是本发明并不限定于上述特定的实施例，在不脱离本发明的权利要求书中限定的本发明的技术思想的范围内，

本发明所属的技术领域的一般技术人员可对其进行多种变形实施，并且，这种变形实施不应脱离本发明的技术思想或前景而将其单独地理解。

Claims (17)

1.一种车辆用全景环视装置，其特征在于，

包括：

第一摄像头至第四摄像头，安装在车辆上，以及

处理器，通过将来自所述第一摄像头至所述第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，并且通过将所述全景环视图像内的一部分区域投影到与所述第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像；

所述第一立体投影面和所述第二立体投影面的曲率相互不同，所述第一立体投影面和所述第二立体投影面的突出区域的方向相互不同，

所述处理器，将来自所述第一摄像头至所述第四摄像头的各图像投影到所述第一立体投影面中的第一区域，将各所述图像中的一部分区域投影到所述第二立体投影面中的第二区域，

所述处理器，将来自所述第一摄像头至第四摄像头的各图像根据与所述第一立体投影面对应的第一比例因子进行缩放，将各所述图像中的一部分区域根据与所述第二立体投影面对应的、不同于所述第一比例因子的第二比例因子进行缩放，来生成一部分区域得到补正的所述全景环视图像。

2.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述车辆用全景环视装置还包括安装在车辆上的至少一个超声波传感器；

所述处理器，在由所述超声波传感器检测出规定物体靠近所述车辆至规定距离以内时，通过将所述全景环视图像内的包括所述物体的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

3.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述处理器，当在利用所述第一立体投影面生成的全景环视图像内包含有特定对象时，通过将所述特定对象的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

4.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述处理器，根据所述车辆的行驶方向，变更所述第二立体投影面内的至少一部分区域的大小及位置中的至少一个。

5.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述处理器，根据所述车辆的倾斜度，变更所述第一立体投影面及所述第二立体投影面中的至少一个立体投影面的倾斜度及角度中至少一种。

6.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述处理器，根据所述车辆的倾斜度，还利用所述第一立体投影面及所述第二立体投影面之外的至少一个立体投影面，来生成一部分区域得到补正的所述全景环视图像。

7.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述车辆用全景环视装置还包括用于显示通过投影到所述第一立体投影面上生成的所述全景环视图像的显示器；

所述处理器，在接收到对所述显示器上显示的全景环视图像内的规定区域的选择输入时，通过将所述全景环视图像内的与所述选择输入对应的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

8.根据权利要求7所述的车辆用全景环视装置，其特征在于，

所述显示器包括用于触摸输入的触摸显示器；

所述选择输入是对所述触摸显示器的触摸输入。

9.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述车辆用全景环视装置还包括用于显示一部分区域得到补正的所述全景环视图像的显示器；

所述处理器，在所述显示器上显示的一部分区域得到补正的所述全景环视图像上，以高亮的方式显示所述一部分区域，或重叠显示用于区分所述一部分区域的对象。

10.根据权利要求1所述的车辆用全景环视装置，其特征在于，

所述处理器，以安装在所述车辆上的所述第一摄像头至所述第四摄像头的高度越高则使所述全景环视图像内的一部分区域的大小越大的方式进行设定。

11.一种车辆，其特征在于，包括：

转向驱动部，用于驱动转向装置，

刹车驱动部，用于驱动制动装置，

动力源驱动部，用于驱动动力源，

第一摄像头至第四摄像头，安装在车辆上，以及

处理器，通过将来自所述第一摄像头至所述第四摄像头的各图像投影到第一立体投影面上，来生成全景环视图像，通过将所述全景环视图像内的一部分区域投影到与所述第一立体投影面不同的第二立体投影面上，来生成一部分区域得到补正的全景环视图像；

所述第一立体投影面和所述第二立体投影面的曲率相互不同，所述第一立体投影面和所述第二立体投影面的突出区域的方向相互不同，

所述处理器，将来自所述第一摄像头至所述第四摄像头的各图像投影到所述第一立体投影面中的第一区域，将各所述图像中的一部分区域投影到所述第二立体投影面中的第二区域，

所述处理器，将来自所述第一摄像头至第四摄像头的各图像根据与所述第一立体投影面对应的第一比例因子进行缩放，将各所述图像中的一部分区域根据与所述第二立体投影面对应的、不同于所述第一比例因子的第二比例因子进行缩放，来生成一部分区域得到补正的所述全景环视图像。

12.根据权利要求11所述车辆，其特征在于，还具有：

所述车辆还包括安装在车辆上的至少一个超声波传感器；

所述处理器，在由所述超声波传感器检测出规定物体靠近所述车辆至规定距离以内时，通过将所述全景环视图像内的包括所述物体的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

13.根据权利要求11所述车辆，其特征在于，

所述处理器，当在利用所述第一立体投影面生成的全景环视图像内包含有特定对象时，通过将所述特定对象的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

14.根据权利要求11所述车辆，其特征在于，

所述处理器，根据所述车辆的行驶方向，变更所述第二立体投影面内的至少一部分区域的大小及位置中的至少一种。

15.根据权利要求11所述车辆，其特征在于，

所述处理器，根据所述车辆的倾斜度，变更所述第一立体投影面及所述第二立体投影面中的至少一个立体投影面的倾斜度及角度中至少一种，或者，根据所述车辆的倾斜度，还利用所述第一立体投影面及所述第二立体投影面之外的至少一个立体投影面，来生成一部分区域得到补正的所述全景环视图像。

16.根据权利要求11所述车辆，其特征在于，还具有：

所述车辆还包括用于显示通过投影到所述第一立体投影面上生成的所述全景环视图像的显示器；

所述处理器，在接收到对所述显示器上显示的全景环视图像内的规定区域的选择输入时，通过将所述全景环视图像内的与所述选择输入对应的区域投影到所述第二立体投影面上，来生成一部分区域得到补正的所述全景环视图像。

17.根据权利要求11所述车辆，其特征在于，还包括：

所述车辆用全景环视装置还包括用于显示一部分区域得到补正的所述全景环视图像的显示器；

所述处理器，在所述显示器上显示的一部分区域得到补正的所述全景环视图像上，以高亮的方式显示所述一部分区域，或重叠显示用于区分所述一部分区域的对象。