CN105313779A - 车辆用全景环视装置及具有该装置的车辆 - Google Patents

车辆用全景环视装置及具有该装置的车辆 Download PDF

Info

Publication number
CN105313779A
CN105313779A CN201510303112.9A CN201510303112A CN105313779A CN 105313779 A CN105313779 A CN 105313779A CN 201510303112 A CN201510303112 A CN 201510303112A CN 105313779 A CN105313779 A CN 105313779A
Authority
CN
China
Prior art keywords
camera
vehicle
image
around
panoramic looking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510303112.9A
Other languages
English (en)
Other versions
CN105313779B (zh
Inventor
白镒周
金成珉
金娟善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105313779A publication Critical patent/CN105313779A/zh
Application granted granted Critical
Publication of CN105313779B publication Critical patent/CN105313779B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Abstract

本发明提供一种车辆用全景环视装置及具有该装置的车辆。本发明的车辆用全景环视装置，其包括：第一至第四摄像头，安装于车辆上；存储器，其用于存储对于第一至第四摄像头各个的基准图像；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准图像和来自第一至第四摄像头的各拍摄图像的差分，计算对于第一至第四摄像头中的至少一部分的偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。由此，能够基于校准后的图像来提供准确的全景环视图像。

Description

车辆用全景环视装置及具有该装置的车辆
技术领域
本发明涉及一种车辆用全景环视装置及具有该装置的车辆，更详细地，涉及一种能够基于校准后的图像来提供准确的全景环视图像的车辆用全景环视装置及具有该装置的车辆。
背景技术
车辆是由所搭乘的使用者按照所需的方向使其移动的装置。作为代表性的可举例汽车。
另外，为了使利用车辆的使用者方便，逐渐形成了将各种传感器和电子装置等设置在车辆上的趋势。特别地，正在开发出用于使使用者的驾驶更加便利的各种装置等，这些装置在车辆倒车或车辆停车(驻车)时提供由后方照摄像头拍摄得到的图像等。
发明内容
本发明的目的在于提供一种利用能够基于校准后的图像来提供准确的全景环视图像的车辆用全景环视装置及具有该装置的车辆。
为了实现上述目的，本发明的车辆用全景环视装置，其包括：第一至第四摄像头，安装于车辆上；存储器，其用于存储对于第一至第四摄像头各个的基准图像；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准图像和来自第一至第四摄像头的各拍摄图像的差分，计算对于第一至第四摄像头中的至少一部分的偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。
另外，为了实现上述目的，本发明的另一实施例的车辆用全景环视装置，其包括：第一至第四摄像头，其安装于车辆并分别具有陀螺仪传感器；存储器，其用于存储对于第一至第四摄像头各个的基准位置信息；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准位置信息和与陀螺仪传感器所检测的值相对应的当前位置信息而计算偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。
另外，为了实现上述目的，本发明的实施例的车辆，其包括：用于驱动转向装置的转向驱动部；用于驱动制动器装置的刹车驱动部；用于驱动动力源的动力源驱动部；第一至第四摄像头，安装于车辆上；存储器，其用于存储对于第一至第四摄像头各个的基准图像；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准图像和来自第一至第四摄像头的各拍摄图像的差分，计算对于第一至第四摄像头中的至少一部分的偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。
另外，为了实现上述目的，本发明的另一实施例的车辆，其包括：用于驱动转向装置的转向驱动部；用于驱动制动器装置的刹车驱动部；用于驱动动力源的动力源驱动部；第一至第四摄像头，其安装于车辆并分别具有陀螺仪传感器；存储器，其用于存储对于第一至第四摄像头各个的基准位置信息；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准位置信息和与陀螺仪传感器所检测的值相对应的当前位置信息而计算偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。
根据本发明的实施例的车辆用全景环视装置及具有该装置的车辆，其具有：第一至第四摄像头，安装于车辆上；存储器，其用于存储对于第一至第四摄像头各个的基准图像；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准图像和来自第一至第四摄像头的各拍摄图像的差分，计算对于第一至第四摄像头中的至少一部分的偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。由此，能够基于校准后的图像来提供准确的全景环视图像。
特别地，在车辆启动时、操作车外后视镜时或者车辆行驶中冲击量在规定值以上的情况下，计算偏移信息并基于此生成全景环视图像，从而能够提供准确的全景环视图像。
另外，根据使用者的输入而改变补正的区域、补正的量或偏移信息中的至少一个，从而能够改善使用者的使用方便性。
另外，根据本发明的实施例的车辆用全景环视装置及具有该装置的车辆，其包括：第一至第四摄像头，其安装于车辆并分别具有陀螺仪传感器；存储器，其用于存储对于第一至第四摄像头各个的基准位置信息；处理器，其基于来自存储器的与第一至第四摄像头各个相对应的基准位置信息和与陀螺仪传感器所检测的值相对应的当前位置信息而计算偏移信息，利用偏移信息合成来自第一至第四摄像头的各个图像以生成全景环视图像。由此，能够基于校准后的图像来提供准确的全景环视图像。
附图说明
图1是示出具有本发明的一实施例的环视摄像头的车辆的外观的示意图。
图2A是概略地示出安装在车辆上的环视摄像头的位置的示意图。
图2B例示出基于图2A的环视摄像头拍摄得到的图像的全景环视图像。
图3A至图3B例示出本发明的一实施例的车辆用全景环视装置的内部框图的多个例子。
图4A至图4B例示出图3的处理器的内部框图的多个例子。
图5是例示出图4A至图4B的处理器进行对象检测的示意图。
图6是本发明的一实施例的车辆内部的框图的一个例子。
图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图。
图8A至图16C是在图7的动作方法的说明中作为参照的示意图。
具体实施方式
以下参照附图对本发明进行更详细的说明。
在以下说明中使用的针对结构要素的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予，其本身并不带有特别重要的含义或作用。因此，上述“模块”及“部”可相互混合使用。
本说明书中阐述的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行阐述。
另外，本说明书中阐述的车辆是具有电池的车辆，其可以是将作为动力源而具有引擎的车辆、作为动力源而具有引擎和电动机的混合动力车辆、作为动力源而具有电动机的电动汽车等都包括的概念。
另外，本说明书中阐述的车辆用全景环视装置可以是具有多个摄像头，并通过组合由多个摄像头拍摄得到的多个图像来提供全景环视图像的装置。特别地，其可以是以车辆为基准来提供俯视(topview)或鸟瞰(birdeyeview)的装置。以下，对本发明的多种实施例的车辆用全景环视装置及具有该装置的车辆进行阐述。
图1是示出具有本发明的一实施例的环视摄像头的车辆的外观的示意图。
参照附图，车辆200可具有：轮子103FR、103FL、103RL、…，其通过动力源进行旋转；方向盘150，其用于调节车辆200的行驶方向；以及，多个环视摄像头195a、195b、195c、195d，其安装于车辆200上。另外，在附图中，为了说明上的便利而仅图示出左侧摄像头195a和前方摄像头195d。
当车辆的速度为规定速度以下或车辆倒车时，多个环视摄像头195a、195b、195c、195d将被激活，并可分别获取拍摄图像。通过多个摄像头获取的图像可在车辆用全景环视装置(图3A或图3B的100)内进行信号处理。
图2A是概略地示出车辆上安装的环视摄像头的位置的示意图，图2B例示出基于图2A的环视摄像头拍摄得到的图像的全景环视图像。
首先，参照图2A，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。
特别地，左侧摄像头195a和右侧摄像头195c可分别配置于围绕左侧车外后视镜的壳体和围绕右侧车外后视镜的壳体内。
另外，后方摄像头195b和前方摄像头195d可分别配置于后备箱开关附近及标牌(emblem)或标牌附近。
由多个环视摄像头195a、195b、195c、195d拍摄得到的各个的多个图像传送给车辆200内的处理器(图3A或图3B的170)等，处理器(图3A或图3B的170)组合多个图像并生成全景环视图像。
图2B例示出全景环视图像210的一个例子。全景环视图像210可具有：来自左侧摄像头195a的第一图像区域195ai；来自后方摄像头195b的第二图像区域195bi；来自右侧摄像头195c的第三图像区域195ci；来自前方摄像头195d的第四图像区域195di。
图3A至图3B例示出本发明的一实施例的车辆用全景环视装置的内部框图的多个例子。
图3A至图3B的车辆用全景环视装置100可通过组合从多个摄像头195a、…、195d接收的多个图像来生成全景环视图像。
另外，车辆用全景环视装置100可基于从多个摄像头195a、…、195d接收的多个图像，对位于车辆附近的物体执行对象检测、确认及跟踪。
首先，参照图3A，图3A的车辆用全景环视装置100可具有：通信部120、接口部(interface)130、存储器140、处理器170、显示器180、音频输出部185、供电部190及多个摄像头195a、…、195e。除此之外，还可具有音频输入部(未图示)。
通信部120可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部120可以以无线方式与车辆驾驶者的移动终端进行数据交换。无线数据通信方式可以有蓝牙(Bluetooth)、直通互联(WiFiDirect)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。
通信部120可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(TransportProtocolExpertGroup，TPEG)信息。另外，车辆用全景环视装置100可将基于图像所确认的实时交通信息传送给移动终端600或服务器500。
另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和车辆用全景环视装置100可自动地或通过使用者运行应用(app)来相互执行配对(pairing)。
接口部130可接收车辆相关数据，或者将处理器170所处理或生成的信号传送给外部。为此，接口部130可通过有线通信或无线通信方式，与车辆内部的电子控制单元(ECU)770、音频视频导航(AudioVideoNavigation，AVN)装置400、传感器部760等执行数据通信。
接口部130可通过与AVN装置400的数据通信，接收与车辆行驶相关的地图(map)信息。
另外，接口部130可从ECU770或传感器部760接收传感器信息。
其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。
另外，传感器信息中的与车辆相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆斜率信息等可命名为车辆行驶信息。
存储器140可存储用于处理器170的处理或控制的程序等，用于车辆用全景环视装置100整体的动作的多种数据。
音频输出部(未图示)将来自处理器170的电信号变换为音频信号并输出。为此，其可具有扬声器等。音频输出部(未图示)可输出与输入部110，即按键的动作相对应的声音。
音频输入部(未图示)可输入使用者语音。为此，其可具有麦克风。所接收的语音可被变换为电信号并传送给处理器170。
处理器170用于控制车辆用全景环视装置100内的各单元的整体动作。
特别地，处理器可从多个摄像头195a、…、195d获取多个图像，组合多个图像并生成全景环视图像。
另外，处理器170可执行基于计算机视觉(computervision)的信号处理。例如，可基于多个图像或所生成的全景环视图像，执行针对车辆周边的视差(disparity)计算，基于所计算出的视差信息而在图像内执行对象检测，并在对象检测之后继续跟踪对象的移动。
特别地，处理器170在检测对象时，可执行车道线检测(LaneDetection)、周边车辆检测(VehicleDetection)、行人检测(PedestrianDetection)、道路面检测等。
此外，处理器170可执行针对检测出的周边车辆或行人的距离计算等。
另外，处理器170可通过接口部130从ECU770或传感器部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。
显示器180可显示处理器170所生成的全景环视图像。另外，在显示全景环视图像时，还可提供多种使用者用户界面，并可具有可对提供的用户界面进行触碰输入的触摸传感器。
另外，显示器180可包括车辆内部前面的群集(cluster)或平视显示器(HeadUpDisplay，HUD)。另外，在显示器180为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。
音频输出部185基于处理器170所处理的音频信号，将声音输出到外部。为此，音频输出部185可具有至少一个扬声器。
供电部190可通过处理器170的控制而供给各结构要素的动作所需的电源。特别地，供电部190可从车辆内部的电池等供给到电源。
多个摄像头195a、…、195d是用于提供全景环视图像的摄像头，其优选为是广角的摄像头。
另外，摄像头195e是安装于车室内部的摄像头，其可以是用于拍摄使用者，特别是拍摄驾驶者的摄像头。处理器170可基于来自车内摄像头195e的图像确认驾驶者位置，与驾驶者位置相对应地设定不能由车辆的车外后视镜或室内后视镜确认的区域，为了拍摄到不能确认的区域，使摄像头中的至少一部分摄像头倾斜(tilting)来以作为第一模式的盲点探测(Blindspotdetection，BSD)模式进行动作。
接着，参照图3B，图3B的车辆用全景环视装置100与图3A的车辆用全景环视装置100类似，其区别在于还具有输入部110及超声波传感器部198。以下，仅对输入部110及超声波传感器部198进行说明。
输入部110可具有安装于显示器180周边的多个按键或配置于显示器180上的触摸屏。可通过多个按键或触摸屏开启车辆用全景环视装置100的电源并使其进行动作。除此之外，其还可执行多种输入动作。
超声波传感器部198可具有多个超声波传感器。当在车辆内安装有多个超声波传感器时，可基于所发送的超声波和所接收的超声波之间的差分，执行针对车辆周边的物体检测。
另外，与图3B不同的是，可由激光雷达(Lidar)(未图示)来替代超声波传感器部198，或者可一同具有超声波传感器部198和激光雷达(Lidar)。
图4A至图4B例示出图3的处理器的内部框图的多个例子，图5是例示出图4A至图4B的处理器中的对象检测的示意图。
首先，参照图4A，图4A是处理器170的内部框图的一个例子，车辆用全景环视装置100内的处理器170可具有：影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用部450。
影像预处理部(imagepreprocessor)410可从多个摄像头195a、…、195d接收多个图像或所生成的全景环视图像，并对其执行预处理(preprocessing)。
具体地，影像预处理部410可对多个图像或所生成的全景环视图像执行降噪(noisereduction)、矫正(rectification)、校准(calibration)、色彩增强(colorenhancement)、色彩空间转换(colorspaceconversion；CSC)、插值(interpolation)、摄像头增益控制(cameragaincontrol)等。由此，可获取与多个摄像头195a、…、195d所拍摄的多个图像或所生成的全景环视图像相比更清晰的图像。
视差计算部(disparitycalculator)420接收影像预处理部410中被信号处理的多个图像或所生成的全景环视图像，对以规定时间内依次地接收的多个图像或所生成的全景环视图像执行立体匹配(stereomatching)，并获取与立体匹配相对应的视差图(disparitymap)。即，可获取针对车辆周边的视差信息。
此时，立体匹配可按照图像的像素单位或规定块单位执行。另外，视差图可表示的是用数值来表现出图像，即左、右图像的视差信息(binocularparallaxinformation)的图(map)。
分割部(segmentationunit)432可基于来自视差计算部420的视差信息而执行图像内的分割(segment)及聚类(clustering)。
具体地，分割部432可基于视差信息，对于图像中的至少一个而分离出背景(background)和前景(foreground)。
例如，可将视差图内的视差信息为规定值以下的区域计算为背景，并去除相应部分。由此，可相对地分离出前景。
作为另一个例子，可将视差图内的视差信息在规定值以上的区域计算为前景，并提取相应部分。由此，可相对地分离出前景。
如上所述，根据基于图像所提取的视差信息而分离出前景和背景，使在随后的对象检测时，可缩短信号处理速度、信号处理量等。
接着，对象检测部(objectdetector)434可基于来自分割部432的图像分割而检测出对象。
即，对象检测部434可基于视差信息，对于图像中的至少一个检测出对象。
具体地，对象检测部434可对图像中的至少一个检测出对象。例如，可从通过图像分割而被分离的前景检测出对象。
接着，对象确认部(objectverificationunit)436对被分离的对象进行分类(classify)并确认(verify)。
为此，对象确认部436可使用利用神经网络(neuralnetwork)的识别法、支持向量机(SupportVectorMachine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(HistogramsofOrientedGradients，HOG)方法等。
另外，对象确认部436可通过比较存储器140中存储的对象和所检测出的对象来确认对象。
例如，对象确认部436可确认位于车辆周边的周边车辆、车道线、道路面、标识牌、危险地区、隧道等。
对象跟踪部(objecttrackingunit)440用于执行对被确认的对象的跟踪。例如，可对依次地获取的图像内的对象进行确认，对被确认的对象的移动或移动向量进行计算，并基于计算出的移动或移动向量而跟踪相应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道线、道路面、标识牌、危险地区等。
图4B是处理器的内部框图的另一个例子。
参照附图，图4B的处理器170的内部结构单元与图4A的处理器170相同，其区别在于信号处理顺序不同。以下仅对其区别进行阐述。
对象检测部434可接收多个图像或所生成的全景环视图像，并检测出多个图像或所生成的全景环视图像内的对象。与图4A不同的是，不是基于视差信息而对被分割的图像检测对象，而是可从多个图像或所生成的全景环视图像中直接检测出对象。
接着，对象确认部(objectverificationunit)436基于来自分割部432的图像分割及对象检测部434所检测出的对象，对被检测及分离的对象进行分类(classify)并确认(verify)。
为此，对象确认部436可使用利用神经网络(neuralnetwork)的识别法、支持向量机(SupportVectorMachine，SVM)方法、由利用哈尔(Haar-like)特征的自适应增强(AdaBoost)进行识别的方法、梯度向量直方图(HistogramsofOrientedGradients，HOG)方法等。
图5是基于第一及第二帧区间中分别获取的图像，并为了说明图5的处理器170的动作方法而作为参照的示意图。
参照图5，在第一及第二帧区间期间，多个摄像头195a、…、195d依次地获取各个图像FR1a、FR1b。
处理器170内的视差计算部420接收影像预处理部410中被信号处理的图像FR1a、FR1b，对所接收的图像FR1a、FR1b执行立体匹配，从而获取视差图(disparitymap)520。
视差图(disparitymap)520是对图像FR1a、FR1b之间的视差进行了等级化(level)，其可被计算为是，视差等级越大，与车辆的距离越近，视差等级越小，与车辆的距离越远。
另外，当显示这样的视差图时，其可被显示为是，视差等级越大，具有越高的亮度，视差等级越小，具有越低的亮度。
在附图中例示出，在视差图520内，第一车道线至第四车道线528a、528b、528c、528d等各自具有相应的视差等级，施工地区522、第一前方车辆524、第二前方车辆526各自具有相应的视差等级。
分割部432、对象检测部434、对象确认部436基于视差图520，对图像FR1a、FR1b中的至少一个执行分割、对象检测及对象确认。
在附图中例示出，使用视差图520对第二图像FR1b执行对象检测及确认。
即，在图像530内，可对第一车道线至第四车道线528a、528b、528c、528d、施工地区522、第一前方车辆524、第二前方车辆526执行对象检测及确认。
另外，可通过持续地获取图像，使对象跟踪部440对被确认的对象执行跟踪。
图6是本发明的一实施例的车辆内部的框图的一个例子。
参照附图，车辆200可具有用于车辆控制的电子控制装置700。电子控制装置700可与AVN装置400进行数据交换。
电子控制装置700可具有输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、刹车驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部756、空调驱动部757、车窗驱动部758、安全气囊驱动部759、传感器部760、ECU770、显示器780、音频输出部785、供电部790、多个摄像头795。
另外，ECU770可以是包括处理器的概念。或者，除了ECU770以外，还可具有用于对来自摄像头的图像进行信号处理的另外的处理器。
输入部710可具有配置于车辆200内部的多个按键或触摸屏。通过多个按键或触摸屏可执行多种输入动作。
通信部720可以无线(wireless)方式与移动终端600或服务器500进行数据交换。特别地，通信部720可以以无线方式与车辆驾驶者的移动终端进行数据交换。无线数据通信方式可以有蓝牙(Bluetooth)、直通互联(WiFiDirect)、无线保真(WiFi)、汽车像素链(APiX)等多种数据通信方式。
通信部720可从移动终端600或服务器500接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(TransportProtocolExpertGroup，TPEG)信息。
另外，在使用者搭乘于车辆的情况下，使用者的移动终端600和电子控制装置700可自动地或通过使用者运行应用来相互执行配对。
存储器740可存储用于ECU770的处理或控制的程序等，用于电子控制装置700整体的动作的多种数据。
灯驱动部751可控制车辆内部、外部配置的灯的开启/关闭。并且，可控制灯的光亮度、方向等。例如，可执行对方向指示灯、刹车灯等的控制。
转向驱动部752可执行对车辆200内的转向装置(steeringapparatus)(未图示)的电子式控制。由此，可变更车辆的行进方向。
刹车驱动部753可执行对车辆200内的制动装置(brakeapparatus)(未图示)的电子式控制。例如，通过控制轮子上配置的制动器的动作，可减小车辆200的速度。作为另一个例子，使分别配置于左轮和右轮上的制动器的动作相互不同，从而可将车辆200的行进方向调整为向左侧或向右侧。
动力源驱动部754可执行对车辆200内的动力源的电子式控制。
例如，当基于化石燃料的引擎(未图示)作为动力源时，动力源驱动部754可对引擎执行电子式控制。由此，可控制引擎的输出扭矩等。
作为另一个例子，当基于电力的电机(未图示)作为动力源时，动力源驱动部754可对电机执行控制。由此，可控制电机的旋转速度、扭矩等。
天窗驱动部755可执行对车辆200内的天窗装置(sunroofapparatus)(未图示)的电子式控制。例如，可控制开放或封闭天窗。
悬架驱动部756可执行车辆200内的悬架装置(suspensionapparatus)(未图示)的电子式控制。例如，在道路面颠簸的情况下，可通过控制悬架装置以减小车辆200的震动。
空调驱动部757可执行对车辆200内的空调装置(airconditioner)(未图示)的电子式控制。例如，当车辆内部的温度高时，可通过驱动空调装置以向车辆内部供给冷气。
车窗驱动部758可执行对车辆200内的车窗装置(windowapparatus)(未图示)的电子式控制。例如，可控制开放或封闭车辆的侧面的左、右车窗。
安全气囊驱动部759可执行对车辆200内的安全气囊装置(airbagapparatus)(未图示)的电子式控制。例如，当发生危险时，可控制安全气囊被弹出。
传感器部760用于检测与车辆100的行驶等相关的信号。为此，传感器部760可具有航向传感器(headingsensor)、偏航角传感器(yawsensor)、陀螺仪传感器(gyrosensor)、定位模块(positionmodule)、车辆前进/倒车传感器、车轮传感器(wheelsensor)、车速传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。
由此，传感器部760可获取关于车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息等的检测信号。
另外，传感器部760还可具有油门传感器、压力传感器、引擎转速传感器(enginespeedsensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(ThrottlePositionSensor，TPS)、TDC传感器、曲柄角传感器(CAS)等。
ECU770可控制电子控制装置700内的各单元的整体动作。
通过输入部710的输入，可执行特定动作，或者接收传感器部760中检测出的信号并传送给车辆用全景环视装置100，可从AVN装置400接收地图信息，并可控制各种驱动部751、752、753、754、756的动作。
并且，ECU770可从通信部720接收天气预报、道路的交通状况信息，例如，可接收传输协议专家组(TransportProtocolExpertGroup，TPEG)信息。
另外，ECU770可组合从多个摄像头795接收的多个图像并生成全景环视图像。特别地，当车辆的速度为规定速度以下或车辆倒车时，可生成全景环视图像。
显示器780可显示所生成的全景环视图像。特别地，除了全景环视图像以外，还可提供多种用户界面。
为了显示这种全景环视图像等，显示器780可包括车辆内部前面的群集(cluster)或平视显示器(HeadUpDisplay，HUD)。另外，在显示器780为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。另外，显示器780可包括可进行输入的触摸屏。
音频输出部785用于将来自ECU770的电信号变换为音频信号并输出。为此，其可具有扬声器等。音频输出部785可输出与输入部710，即按键的动作相对应的声音。
供电部790可通过ECU770的控制而供给各结构要素的动作所需的电源。特别地，供电部790可从车辆内部的电池(未图示)等供给到电源。
多个摄像头795是为了提供全景环视图像而被使用，为此，如图2A所示，可具有四个摄像头。例如，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。多个摄像头795所拍摄的多个图像可传送给ECU770或另外的处理器(未图示)。
另外，在车辆行驶中或者车辆驻车时，多个环视摄像头195a、195b、195c、195d中的至少一个的位置可能会偏移。
例如，当车辆在行驶的过程中跨过减速带时，如果所产生的冲击量在规定值以上，多个环视摄像头195a、195b、195c、195d中的至少一个的位置可能会偏移。
作为另一个例子，在车辆驻车的状态下，因步行者或欲在旁边驻车的车辆，车外后视镜上配置的左侧摄像头195a和右侧摄像头195c中的至少一个的位置可能会偏移。
如上所述，在多个环视摄像头195a、195b、195c、195d中的至少一个的位置偏移的状态下，当处理器170合成各个摄像头拍摄得到的图像以生成全景环视图像时，在图像临界区域等中可能会产生边缘增加、乱码现象等。
本发明中为了防止这样的现象，将执行针对多个环视摄像头195a、195b、195c、195d的自动校准(autocalibration)。
例如，可将针对多个环视摄像头195a、195b、195c、195d的基准图像和所拍摄的图像进行比较，计算出偏移(offset)信息，并利用计算出的偏移信息来生成全景环视图像。对此，将参照图7至图14进行阐述。
作为另一个例子，可通过多个环视摄像头195a、195b、195c、195d内具有的陀螺仪传感器，基于基准位置信息和当前位置信息的差分而计算偏移信息，并利用计算出的偏移信息来生成全景环视图像。对此，将参照图15至图16C进行阐述。
图7是示出本发明的一实施例的车辆用全景环视装置的动作方法的流程图，图8A至图16C是在图7的动作方法的说明中作为参照的示意图。
首先，参照图7，车辆用全景环视装置100的处理器170接收由多个环视摄像头195a、195b、195c、195d拍摄得到的图像(步骤S710)。
如图2所示，多个环视摄像头195a、195b、195c、195d可分别配置于车辆的左侧、后方、右侧及前方。
特别地，左侧摄像头195a和右侧摄像头195c可分别配置于围绕左侧车外后视镜的壳体和围绕右侧车外后视镜的壳体内。
另外，后方摄像头195b和前方摄像头195d可分别配置于后备箱开关附近及标牌(emblem)或标牌附近。
由多个环视摄像头195a、195b、195c、195d拍摄得到的各个的多个图像可传送给车辆200内的处理器170等。
接着，车辆用全景环视装置100的处理器170从存储器140接收多个环视摄像头195a、195b、195c、195d的各基准图像(步骤S720)。
当接收由多个环视摄像头195a、195b、195c、195d拍摄得到的多个图像时，车辆用全景环视装置100的处理器170为了各图像校准，可向存储器140请求多个环视摄像头195a、195b、195c、195d传送拍摄得到的多个图像。
这样的图像校准可在车辆启动、操作车外后视镜或者车辆行驶的过程中的冲击量在规定值以上时执行。
存储器140可与基准图像传送请求相对应地传送基准图像。在车辆启动时的情况下，可传送与停车场相关的基准图像，在操作车外后视镜时或者车辆行驶中冲击量在规定值以上的情况下，可传送包括有车辆车体区域的基准图像或包括有车道线的图像等。
接着，车辆用全景环视装置100的处理器170基于拍摄图像和基准图像之间的差分来计算偏移信息(步骤S730)。
在基准图像和拍摄图像内包含有车辆的特征线(characterline)的情况下，处理器170可基于基准图像内的特征线和拍摄图像内的特征线之间的差分来计算偏移信息。
其中，车辆的特征线可以是包括机罩标牌(hoodemblem)、或者机罩边缘线(edgeline)等的概念。
另外，在基准图像和拍摄图像内包含有车辆外部的对象物的情况下，处理器170可基于基准图像内的对象物和拍摄图像内的对象物之间的差分来计算偏移信息。
其中，车辆外部对象物可包括停车场的车辆防跨带、立柱、或标识牌、信号灯、路灯中的至少一个。
另外，在偏移信息在规定值以上的情况下，处理器170可控制通过包括有显示器180或音频输出部185的输出部(未图示)来输出用于表示不能生成全景环视图像的提示消息。
另外，在车辆启动、操作车外后视镜或车辆行驶的过程中的冲击量在规定值以上的情况下，处理器170可计算偏移信息。
另外，处理器170可基于第一至第四摄像头195a、…、195d中第一摄像头的基准图像和来自第一摄像头195a的拍摄图像来计算第一偏移信息，并对第二至第四摄像头中的至少一部分摄像头利用所计算出的第一偏移信息。由此，当其他摄像头的位置偏移时，也能够简便地利用共同的偏移信息。
接着，车辆用全景环视装置100的处理器170可利用偏移信息来合成由多个环视摄像头195a、195b、195c、195d拍摄得到的图像，由此生成全景环视图像(步骤S740)。
处理器170可控制显示器180显示图像校准后的全景环视图像。
此时，处理器170进行如下控制：在显示器180上显示的全景环视图像上，区分显示基于偏移信息来补正的区域，或者显示所补正的量。由此，能够改善使用者的使用方便性。
另外，处理器170进行如下控制：在显示器180上一起显示利用偏移信息来生成的全景环视图像和未利用偏移信息来生成的第二全景环视图像。
另外，当在显示器180上显示的全景环视图像和第二全景环视图像中选择了全景环视图像时，处理器170可通过控制继续使用偏移信息来生成全景环视图像。由此，能够改善使用者的使用方便性。
另外，在显示器180上的全景环视图像上区分出基于偏移信息来补正的区域或显示出所补正的量的状态下，当发生使用者输入时，处理器170可与使用者输入相对应地控制改变所补正的区域、所补正的量或偏移信息中的至少一个。由此，能够改善使用者的使用方便性。
图8A至图8B例示出在多个环视摄像头195a、195b、195c、195d中右侧摄像头195c的位置偏移的情况下所生成的全景环视图像的一部分产生乱码的情况。
首先，图8A例示出多个环视摄像头195a、195b、195c、195d中右侧摄像头195c的位置偏移的情况。特别地，例示出其未朝向右侧面Lo1，而是朝向右侧后面Lo2。
如上所述，在右侧摄像头195c的位置偏移的情况下，当生成全景环视图像时，在各图像的临界区域附近可能会产生图像乱码现象等。
图8B的(a)部分例示出右侧摄像头195c的位置为正常情况下的全景环视图像210，图8B的(b)例示出右侧摄像头195c的位置朝右侧后面方向偏移的情况下的全景环视图像211。
图8B的(b)部分特别是例示出在后面摄像头195b图像和右侧摄像头195c图像之间的临界区域803产生图像乱码或边缘增加。当驾驶者观看这样的全景环视图像211时，在该临界区域803上会感觉到不自然。
本发明中为了改善这样的问题，例示出对基准图像和拍摄图像进行比较，或者利用陀螺仪传感器来比较摄像头的基准位置信息和当前位置信息。
图9A例示出右侧摄像头195c的位置为正常情况下所拍摄的图像和右侧摄像头195c的位置朝右侧后面方向偏移的情况下所拍摄的图像。
图9A的(a)部分例示出多个环视摄像头195a、195b、195c、195d分别获取拍摄图像910a、910b、910c、910d。
图9A的(b)部分例示出多个环视摄像头195a、195b、195c、195d分别获取拍摄图像910a、910b、911c、910d。
将图9A的(a)和(b)进行比较，可以确定随着右侧摄像头195c的位置朝右侧后面方向偏移，所拍摄的图像910c、911c将会产生差分。
处理器170可利用这样的差分来计算偏移信息。
即，如图9B所示，处理器170可从存储器140接收右侧摄像头的基准图像，例如，接收图9A的(a)部分的图像910c，并从右侧摄像头195c接收拍摄图像911c。
此外，处理器170可计算基准图像910c和拍摄图像911c之间的差分，并基于该差分来计算偏移信息。即，由于右侧摄像头195c朝右侧后面偏移，因而可对于所拍摄的图像计算出用于朝左侧前面方向进行部分补正的偏移信息。
另外，图9C例示出基准图像和拍摄图像的另一个例子。
图9C例示出基准图像920内包括有规定对象921的情况和右侧摄像头195c拍摄得到的图像925内的对象926朝右侧后面方向移动。
处理器170可计算基准图像920和拍摄图像925之间的差分，并基于该差分来计算偏移信息offset1。即，可基于对象921、926的位置差分，对于所拍摄的图像925计算出用于朝左侧前面方向进行部分补正的偏移信息offset1。
此外，处理器170可利用计算出的偏移信息offset1来对所拍摄的图像925进行校准。即，可控制为与基准图像920相同地进行校准。
图9D的(a)部分例示出在全景环视图像211内的后面摄像头195b图像和右侧摄像头195c图像之间的临界区域803产生图像乱码或边缘增加。
图9D的(b)部分例示出在处理器170中基于偏移信息而被校准的全景环视图像930。由此，将生成临界区域803上不存在有图像乱码现象等的自然的图像。由此，车辆用全景环视装置可基于校准后的图像来提供准确的全景环视图像。
另外，处理器170可对与第一摄像头相邻的第二摄像头及第三摄像头，利用计算出的第一偏移信息。
即，处理器170可进行如下控制：将计算出的偏移信息offset1利用于与右侧摄像头195c相邻的后方摄像头195b及前方摄像头105b并执行校准。
例如，处理器170也可将计算出的偏移信息offset1的一部分利用于由前方摄像头195d或后方摄像头195b拍摄得到的图像，来获取校准后的图像。此外，也可基于这样的图像而生成全景环视图像。
图10例示出基准图像和拍摄图像内包括有车辆的特征线。
参照附图，在右侧摄像头195c的基准图像1020和拍摄图像1025内可包含有车辆的特征线。例如，可包含有右侧车体的下端部。
附图中例示出对于右侧摄像头195c的基准图像1020内的车辆的特征线1021和拍摄图像1025内的车辆的特征线1026。
附图中例示出拍摄图像1025内的车辆的特征线1026朝右侧对角线方向倾斜。
处理器170基于基准图像1020内的车辆的特征线1021和拍摄图像1025内的车辆的特征线1026之间的差分来计算偏移信息offset2。即，可计算出右侧摄像头195c朝右侧后方偏移。
此外，处理器170可利用偏移信息offset2对拍摄得到的图像进行校准，以使图像朝左侧前方得到补正。
另外，与图10不同地，基准图像和拍摄图像内可包括有车辆外部的对象物，处理器170可基于基准图像内的对象物和拍摄图像内的对象物之间的差分来计算偏移信息。
其中，车辆外部对象物可包括停车场的车辆防跨带、立柱、或标识牌、信号灯、路灯中的至少一个。
另外，在偏移信息在规定值以上的情况下，处理器170可输出用于表示不能生成全景环视图像的提示消息。特别地，可通过显示器180或音频输出部185输出提示消息。
图11例示出用于表示不能生成全景环视图像的提示消息1112显示于显示器180。
除了用于表示不能生成全景环视图像的提示消息1112以外，处理器170还可控制一同输出位置偏移的摄像头信息1110和唤起注意消息1114。
另外，在车辆启动、操作车外后视镜或者车辆行驶的过程中的冲击量在规定值以上的情况下，处理器170可计算偏移信息。
图12例示出在车辆行驶中冲击量在规定值以上的情况下用于表示执行基于偏移信息的校准的消息1220显示于显示器180。
另外，除了用于表示执行基于偏移信息的校准的消息1220以外，处理器170还可通过控制一同输出用于表示车辆行驶中冲击量在规定值以上的消息1210。
另外，处理器170可进行如下控制：将全景环视图像和在全景环视图像上基于偏移信息得到补正的区域进行区分显示，或者显示所补正的量。
图13A是例示出在显示器180上一起显示校准后的全景环视图像930、用于表示基于偏移信息得到补正的区域的信息1311以及补正量信息1313的图。
由此，使用者可直观地得知因哪个摄像头部分偏移而执行了校准，并且所补正的量为多少。
另外，处理器170可根据使用者的输入来在生成全景环视图像时改变补正量。
图13B与图13A类似，但是其例示出在显示器180上还显示有补正量设定菜单1315和用于补正量设定的项目1316、1318。
通过选择项目1316，可生成并输出补正量增加的全景环视图像，通过选择项目1318，可生成并输出补正量减少的全景环视图像。
另外，处理器170可通过控制将利用偏移信息来生成的全景环视图像和未利用偏移信息来生成的第二全景环视图像一起显示于显示器180。
图14例示出在显示器180上一起显示出未利用偏移信息来生成的第二全景环视图像211和利用偏移信息来生成的全景环视图像930。
此时，处理器170可通过控制进而将用于表示第二全景环视图像211的信息1411和用于表示全景环视图像930的信息1413一起显示于显示器180。由此，使用者可确认出基于偏移信息的全景环视图像的生成。
另外，当在显示器180上显示的全景环视图像和第二全景环视图像中选择了全景环视图像时，处理器170可继续输出全景环视图像。此外，也可继续利用所生成的偏移信息来基于所拍摄的图像生成全景环视图像。
特别地，可适用所生成的偏移信息继续生成全景环视图像，直至车辆上施加的冲击量再次达到规定值以上，由此，能够继续向使用者提供准确的全景环视图像。
图16A例示出车辆内的各摄像头195a、195b、195c、195d分别具有陀螺仪传感器191a、191b、191c、191d，右侧摄像头195c的位置为正常的情况下的基准位置信息Lo1和右侧摄像头195c的位置朝右侧后面方向偏移的情况下的当前位置信息Lo2。
图16A的(a)部分例示出多个环视摄像头195a、195b、195c、195d分别具有陀螺仪传感器191a、191b、191c、191d。特别地，例示出右侧摄像头195c的位置为正常的情况。由此，处理器170接收与右侧摄像头195c相关的基准位置信息Lo1，并可控制将基准位置信息Lo1存储于存储器140。
图16A的(b)部分例示出随着多个环视摄像头195a、195b、195c、195d中右侧摄像头195c的位置朝右侧后面方向偏移而获取相对应的当前位置信息Lo2。
将图16A的(a)和部分(b)部分进行比较，可确定出随着右侧摄像头195c的位置朝右侧后面方向偏移，所获取的位置信息Lo1、Lo2将产生差分。
处理器170可利用这样的差分来计算偏移信息。
即，如图16B所示，处理器170可从存储器140接收与右侧摄像头相关的基准位置信息Pos_ref，并从右侧摄像头195c接收当前位置信息Pos。
此外，处理器170可预算基准位置信息Pos_ref和当前位置信息Pos之间的差分，并基于该差分来计算偏移信息。即，由于右侧摄像头195c朝右侧后面偏移，因而可对于所拍摄的图像计算出用于朝左侧前面方向进行部分补正的偏移信息。
此外，处理器170可利用计算出的偏移信息对右侧摄像头195c所拍摄的图像进行校准。即，可控制与基准位置信息相对应地进行校准。
图16C的(a)部分例示出在全景环视图像211内的后面摄像头195b图像和右侧摄像头195c图像之间的临界区域803产生图像乱码或边缘增加。
图16C的(b)部分例示出在处理器170中基于偏移信息而被校准的全景环视图像930。由此，将生成临界区域803上不存在有图像乱码现象等的自然的图像。由此，车辆用全景环视装置可基于校准后的图像来提供准确的全景环视图像。
另外，对于与第一摄像头相邻的第二摄像头及第三摄像头，处理器170可通过控制利用所计算出的第一偏移信息。
即，处理器170可控制将计算出的偏移信息利用于与右侧摄像头195c相邻的后方摄像头195b及前方摄像头105b并执行校准。
另外，利用陀螺仪传感器的方法中也可适用于提供上述图11至图14的多种用户界面UI。由此，能够改善使用者的使用方便性。
另外，本发明的车辆用全景环视装置及车辆的动作方法，其可由车辆用全景环视装置或车辆上具有的处理器可读取的记录媒介中以处理器可读取的代码来实现。处理器可读取的记录媒介包括用于存储可由处理器读取的数据的所有种类的记录装置。可由处理器读取的记录媒介的例有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且，还可包括以通过因特网的传输等载波的形态来实现。并且，可由处理器读取的记录媒介可离散于通过网络连接的计算机系统，并以离散方式存储有可由处理器读取的代码并执行。
并且，以上对本发明的优选实施例进行了图示及说明，但是本发明并不限定于上述特定的实施例，在不脱离本发明的权利要求书中限定的本发明的技术思想的范围内，本发明所属的技术领域的一般技术人员可对其进行多种变形实施，并且，这种变形实施不应脱离本发明的技术思想或前景而将其单独地理解。

Claims (19)

1.一种车辆用全景环视装置，其特征在于，
包括：
第一至第四摄像头，安装于车辆上；
存储器，用于存储所述第一至第四摄像头的各基准图像；
处理器，基于来自所述存储器的所述第一至第四相机摄像头的各所述基准图像与来自所述第一至第四相机摄像头的各拍摄图像之间的差分，来计算所述第一至第四相机摄像头中的至少一部分摄像头的偏移信息，并利用所述偏移信息合成来自所述第一至第四相机摄像头的各个图像来生成全景环视图像。
2.一种车辆用全景环视装置，其特征在于，
包括：
第一至第四摄像头，安装于车辆上，并且分别具有陀螺仪传感器；
存储器，用于存储所述第一至第四摄像头的各基准位置信息；
处理器，基于来自所述存储器的所述第一至第四相机摄像头的各基准位置信息以及与由所述陀螺仪传感器检测出的值相对应的当前位置信息，来计算偏移信息，并利用所述偏移信息合成来自所述第一至第四相机摄像头的各个图像来生成全景环视图像。
3.根据权利要求1所述的车辆用全景环视装置，其特征在于，
所述处理器，基于所述第一至第四摄像头中的第一摄像头的基准图像以及来自所述第一摄像头的拍摄图像来计算第一偏移信息；
所述处理器，将计算出的所述第一偏移信息利用于所述第二至第四摄像头中的至少一部分摄像头。
4.根据权利要求3所述的车辆用全景环视装置，其特征在于，
将计算出的所述第一偏移信息适用于与所述第一摄像头相邻的第二摄像头及第三摄像头。
5.根据权利要求1所述的车辆用全景环视装置，其特征在于，
所述基准图像和所述拍摄图像内分别包含有所述车辆的特征线；
所述处理器基于所述基准图像内的特征线和所述拍摄图像内的特征线之间的差分来计算所述偏移信息。
6.根据权利要求1所述的车辆用全景环视装置，其特征在于，
所述基准图像和所述拍摄图像内分别包含有所述车辆的外部的对象物；
所述处理器基于所述基准图像内的对象物和所述拍摄图像内的对象物之间的差分来计算所述偏移信息。
7.根据权利要求1或2所述的车辆用全景环视装置，其特征在于，
还包括输出部，该输出部在所述偏移信息在规定值以上时，输出用于表示不能生成所述全景环视图像的提示消息。
8.根据权利要求1或2所述的车辆用全景环视装置，其特征在于，
所述处理器，在车辆启动、操作车外后视镜或车辆行驶的过程中的冲击量在规定值以上的情况下，计算所述偏移信息。
9.根据权利要求1或2所述的车辆用全景环视装置，其特征在于，
还包括用于显示所述全景环视图像的显示器。
10.根据权利要求9所述的车辆用全景环视装置，其特征在于，
所述处理器，在所述显示器上显示的所述全景环视图像上，区分显示基于所述偏移信息来补正的区域，或者显示所补正的量。
11.根据权利要求1或2所述的车辆用全景环视装置，其特征在于，
还包括显示器，该显示器用于一起显示利用所述偏移信息来生成的所述全景环视图像和未利用所述偏移信息来生成的第二全景环视图像。
12.根据权利要求11所述的车辆用全景环视装置，其特征在于，
所述处理器，当在所述显示器上显示的所述全景环视图像和所述第二全景环视图像中选择了所述全景环视图像时，继续利用所述偏移信息来生成全景环视图像。
13.根据权利要求1或2所述的车辆用全景环视装置，其特征在于，
该车辆用全景环视装置还包括用于显示所述全景环视图像的显示器，所述处理器进行控制，以在该显示器所显示的所述全景环视图像上，区分显示基于所述偏移信息来补正的区域，或者显示所补正的量；
所述处理器根据使用者的输入来变更要补正的所述区域、要补正的所述量或所述偏移信息中的至少一个。
14.一种车辆，其特征在于，包括：
用于驱动转向装置的转向驱动部；
用于驱动制动器装置的刹车驱动部；
用于驱动动力源的动力源驱动部；
第一至第四摄像头，安装于车辆上；
存储器，用于存储所述第一至第四摄像头的各基准图像；
处理器，基于来自所述存储器的所述第一至第四相机摄像头的各所述基准图像与来自所述第一至第四相机摄像头的各拍摄图像之间的差分，来计算所述第一至第四相机摄像头中的至少一部分摄像头的偏移信息，并利用所述偏移信息合成来自所述第一至第四相机摄像头的各个图像来生成全景环视图像。
15.一种车辆，其特征在于，
包括：
用于驱动转向装置的转向驱动部；
用于驱动制动器装置的刹车驱动部；
用于驱动动力源的动力源驱动部；
第一至第四摄像头，安装于车辆上，并且分别具有陀螺仪传感器；
存储器，用于存储所述第一至第四摄像头的各基准位置信息；
处理器，基于来自所述存储器的所述第一至第四相机摄像头的各基准位置信息以及与由所述陀螺仪传感器检测出的值相对应的当前位置信息，来计算偏移信息，并利用所述偏移信息合成来自所述第一至第四相机摄像头的各个图像来生成全景环视图像。
16.根据权利要求14或15所述的车辆，其特征在于，
所述处理器，在车辆启动、操作车外后视镜或车辆行驶的过程中的冲击量在规定值以上的情况下，计算所述第一至第四摄像头中的至少一个的当前位置信息与存储在所述存储器中的所述基准位置信息之间的差分即所述偏移信息。
17.根据权利要求14或15所述的车辆，其特征在于，
还包括显示器，该显示器用于一起显示利用所述偏移信息来生成的所述全景环视图像和未利用所述偏移信息来生成的第二全景环视图像。
18.根据权利要求17所述的车辆，其特征在于，
所述处理器，当在所述显示器上显示的所述全景环视图像和所述第二全景环视图像中选择了所述全景环视图像时，继续利用所述偏移信息来生成全景环视图像。
19.根据权利要求14或15所述的车辆，其特征在于，
该车辆还包括显示器，该显示器用于将所述全景环视图像和在所述全景环视图像上基于所述偏移信息来补正的区域进行区分显示，或者用于显示所补正的量；
所述处理器根据使用者的输入来变更要补正的所述区域、要补正的所述量或所述偏移信息中的至少一个。
CN201510303112.9A 2014-06-10 2015-06-05 车辆用全景环视装置及具有该装置的车辆 Expired - Fee Related CN105313779B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140070320A KR101579100B1 (ko) 2014-06-10 2014-06-10 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR10-2014-0070320 2014-06-10

Publications (2)

Publication Number Publication Date
CN105313779A true CN105313779A (zh) 2016-02-10
CN105313779B CN105313779B (zh) 2018-05-11

Family

ID=53476677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510303112.9A Expired - Fee Related CN105313779B (zh) 2014-06-10 2015-06-05 车辆用全景环视装置及具有该装置的车辆

Country Status (4)

Country Link
US (1) US9840197B2 (zh)
EP (1) EP2955915B1 (zh)
KR (1) KR101579100B1 (zh)
CN (1) CN105313779B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101517A (zh) * 2016-08-25 2016-11-09 中国电建集团西北勘测设计研究院有限公司 一种车载全景相机系统及其操作方法
CN107264402A (zh) * 2016-04-04 2017-10-20 Lg电子株式会社 环视提供设备和包括其的车辆
CN107433906A (zh) * 2016-05-26 2017-12-05 德韧营运有限责任公司 多功能电子配件
CN108801133A (zh) * 2018-04-25 2018-11-13 上汽大众汽车有限公司 车身特征线位置落差的检测方法
CN109115203A (zh) * 2018-07-27 2019-01-01 武汉禾木林科技有限公司 一种基于通过全景技术实现导航服务的方法和系统
CN109842782A (zh) * 2017-11-29 2019-06-04 深圳市航盛电子股份有限公司 一种车辆辅助测试方法、测试设备以及存储介质
CN110300256A (zh) * 2018-03-22 2019-10-01 本田技研工业株式会社 拍摄装置和拍摄系统
CN110383831A (zh) * 2017-03-10 2019-10-25 株式会社多田野 作业车辆用的人员检测系统和具备该系统的作业车辆
CN110998650A (zh) * 2017-08-22 2020-04-10 Zf主动安全和电子美国有限责任公司 具有自动清洁机构的有源环视系统
CN111295876A (zh) * 2017-09-22 2020-06-16 Lg伊诺特有限公司 全景环视图像控制装置及其全景环视图像处理方法
CN113784875A (zh) * 2019-05-22 2021-12-10 Jvc建伍株式会社 相机位置检测装置、相机单元、相机位置检测方法以及程序
CN113934495A (zh) * 2021-10-14 2022-01-14 北京自如信息科技有限公司 一种移动端图像环视方法、系统和移动设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
KR101757201B1 (ko) * 2015-12-23 2017-07-12 에스엘 주식회사 주변 영상 모니터링 장치 및 방법
KR101875404B1 (ko) * 2016-05-04 2018-07-06 케이디지전자 주식회사 색온도 가변형 스마트 엘이디 가로등 시스템
WO2018012925A1 (ko) * 2016-07-14 2018-01-18 엘지이노텍(주) 이미지 생성 방법 및 생성 장치
KR20180008244A (ko) 2016-07-14 2018-01-24 엘지이노텍 주식회사 이미지 생성 방법 및 생성 장치
KR101923899B1 (ko) * 2017-01-09 2019-02-22 주식회사 엠씨넥스 타이어 압력 모니터링 정보를 이용한 차량용 어라운드뷰 캘리브레이션 장치 및 방법
JP6846230B2 (ja) * 2017-02-14 2021-03-24 日立Astemo株式会社 車載制御装置及び車載環境認識装置
KR101964864B1 (ko) * 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법
US11647284B2 (en) 2018-08-20 2023-05-09 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing system with image combination that implements signal level matching
CN109166078A (zh) * 2018-10-22 2019-01-08 广州微牌智能科技有限公司 环视图拼接方法、装置、环视系统、设备和存储介质
US10836353B2 (en) 2018-11-15 2020-11-17 Fotonation Limited Vehicle side view camera system with adjustable field of view
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
KR102355998B1 (ko) 2020-09-21 2022-02-07 제이씨현오토 주식회사 Svm 탑뷰 기반 시청각적 인체 및 장애물 감지 통합 표시시스템
KR102276674B1 (ko) * 2021-01-07 2021-07-12 김근형 항공기의 외부 전경 콘텐츠 생성 및 제공 장치
KR102365430B1 (ko) 2021-05-12 2022-02-24 제이씨현오토 주식회사 Svm 탑뷰 기반 시청각적 인체 및 장애물 감지 통합 표시시스템을 이용한 택배차량 관리 시스템
GB2609619A (en) * 2021-08-05 2023-02-15 Continental Automotive Gmbh A method for determining deviation in alignment of a camera in a vehicle
KR102336049B1 (ko) * 2021-09-03 2021-12-06 정태형 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
JP2010048803A (ja) * 2008-07-25 2010-03-04 Panasonic Electric Works Co Ltd 赤外線センサの製造方法、赤外線センサ
US20110018974A1 (en) * 2009-07-27 2011-01-27 Sen Wang Stereoscopic imaging using split complementary color filters
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置
CN102262780A (zh) * 2010-05-24 2011-11-30 现代自动车株式会社 用于照相机系统的图像校正方法
CN103024428A (zh) * 2012-12-04 2013-04-03 同致电子科技（厦门）有限公司 一种全景影像系统自动校正装置及校正方法
CN103109538A (zh) * 2010-09-22 2013-05-15 索尼公司 图像处理设备、成像设备、图像处理方法和程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925403B2 (en) 2003-09-15 2005-08-02 Eaton Corporation Method and system for calibrating a sensor
US7337650B1 (en) 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US7593627B2 (en) * 2006-08-18 2009-09-22 Sony Ericsson Mobile Communications Ab Angle correction for camera
JP4702340B2 (ja) 2007-09-04 2011-06-15 パナソニック株式会社 画像表示装置
KR101055001B1 (ko) 2008-11-11 2011-08-05 주식회사 현대오토넷 차선 이탈 경보 시스템용 카메라의 촬영각 오차 자동 보정 방법
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
JP5235823B2 (ja) * 2009-08-28 2013-07-10 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム
TW201226237A (en) 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
US9013579B2 (en) 2011-06-16 2015-04-21 Aisin Seiki Kabushiki Kaisha Vehicle surrounding-area monitoring apparatus
JP5709675B2 (ja) * 2011-07-07 2015-04-30 クラリオン株式会社 車両周囲画像撮像システム
WO2013130082A1 (en) 2012-03-01 2013-09-06 Geo Semiconductor Inc. Method and system for adaptive perspective correction of ultra wide-angle lens images
JP5820787B2 (ja) 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
KR101987634B1 (ko) 2012-09-10 2019-06-11 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20140048539A (ko) 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
US9981605B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) and vehicle dynamic

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置
JP2010048803A (ja) * 2008-07-25 2010-03-04 Panasonic Electric Works Co Ltd 赤外線センサの製造方法、赤外線センサ
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
US20110018974A1 (en) * 2009-07-27 2011-01-27 Sen Wang Stereoscopic imaging using split complementary color filters
CN102262780A (zh) * 2010-05-24 2011-11-30 现代自动车株式会社 用于照相机系统的图像校正方法
CN103109538A (zh) * 2010-09-22 2013-05-15 索尼公司 图像处理设备、成像设备、图像处理方法和程序
CN103024428A (zh) * 2012-12-04 2013-04-03 同致电子科技（厦门）有限公司 一种全景影像系统自动校正装置及校正方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107264402A (zh) * 2016-04-04 2017-10-20 Lg电子株式会社 环视提供设备和包括其的车辆
CN107264402B (zh) * 2016-04-04 2019-11-26 Lg电子株式会社 环视提供设备和包括其的车辆
CN107433906A (zh) * 2016-05-26 2017-12-05 德韧营运有限责任公司 多功能电子配件
CN106101517A (zh) * 2016-08-25 2016-11-09 中国电建集团西北勘测设计研究院有限公司 一种车载全景相机系统及其操作方法
CN110383831A (zh) * 2017-03-10 2019-10-25 株式会社多田野 作业车辆用的人员检测系统和具备该系统的作业车辆
CN110998650B (zh) * 2017-08-22 2023-08-29 Zf主动安全和电子美国有限责任公司 具有自动清洁机构的有源环视系统
CN110998650A (zh) * 2017-08-22 2020-04-10 Zf主动安全和电子美国有限责任公司 具有自动清洁机构的有源环视系统
CN111295876B (zh) * 2017-09-22 2022-01-28 Lg伊诺特有限公司 全景环视图像控制装置及其全景环视图像处理方法
US11546555B2 (en) 2017-09-22 2023-01-03 Lg Innotek Co., Ltd. Around-view image control device and around-view image processing method therefor
CN111295876A (zh) * 2017-09-22 2020-06-16 Lg伊诺特有限公司 全景环视图像控制装置及其全景环视图像处理方法
CN109842782A (zh) * 2017-11-29 2019-06-04 深圳市航盛电子股份有限公司 一种车辆辅助测试方法、测试设备以及存储介质
CN110300256A (zh) * 2018-03-22 2019-10-01 本田技研工业株式会社 拍摄装置和拍摄系统
CN108801133A (zh) * 2018-04-25 2018-11-13 上汽大众汽车有限公司 车身特征线位置落差的检测方法
CN108801133B (zh) * 2018-04-25 2020-03-10 上汽大众汽车有限公司 车身特征线位置落差的检测方法
CN109115203A (zh) * 2018-07-27 2019-01-01 武汉禾木林科技有限公司 一种基于通过全景技术实现导航服务的方法和系统
CN113784875A (zh) * 2019-05-22 2021-12-10 Jvc建伍株式会社 相机位置检测装置、相机单元、相机位置检测方法以及程序
CN113784875B (zh) * 2019-05-22 2023-10-27 Jvc建伍株式会社 相机位置检测装置和方法、相机单元以及存储介质
CN113934495A (zh) * 2021-10-14 2022-01-14 北京自如信息科技有限公司 一种移动端图像环视方法、系统和移动设备

Also Published As

Publication number Publication date
US20150353011A1 (en) 2015-12-10
KR20150141804A (ko) 2015-12-21
EP2955915A1 (en) 2015-12-16
KR101579100B1 (ko) 2015-12-22
US9840197B2 (en) 2017-12-12
EP2955915B1 (en) 2020-09-02
CN105313779B (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN105313779B (zh) 车辆用全景环视装置及具有该装置的车辆
CN105270261B (zh) 车辆用全景环视装置及具有该装置的车辆
CN105291979A (zh) 车辆用全景环视装置及具有该装置的车辆
CN105313894B (zh) 车辆充电辅助装置及具有该装置的车辆
US9736364B2 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US9352689B2 (en) Driver assistance apparatus capable of diagnosing vehicle parts and vehicle including the same
US9308917B2 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10782405B2 (en) Radar for vehicle and vehicle provided therewith
US20150341620A1 (en) Stereo camera and driver assistance apparatus and vehicle including the same
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6906052B2 (ja) 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20160018637A (ko) 차량 충전 보조장치 및 이를 구비한 차량
KR20230091870A (ko) 카메라 모듈, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 장치
JPWO2019155718A1 (ja) 認識装置と認識方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180511

Termination date: 20210605

CF01 Termination of patent right due to non-payment of annual fee