CN103854260A - 车辆的控制装置及控制方法 - Google Patents

车辆的控制装置及控制方法 Download PDF

Info

Publication number
CN103854260A
CN103854260A CN201310647854.4A CN201310647854A CN103854260A CN 103854260 A CN103854260 A CN 103854260A CN 201310647854 A CN201310647854 A CN 201310647854A CN 103854260 A CN103854260 A CN 103854260A
Authority
CN
China
Prior art keywords
mentioned
vehicle
region
overlapping region
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310647854.4A
Other languages
English (en)
Other versions
CN103854260B (zh
Inventor
榊原春树
山本欣司
平田诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN103854260A publication Critical patent/CN103854260A/zh
Application granted granted Critical
Publication of CN103854260B publication Critical patent/CN103854260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Abstract

本发明涉及对图像数据适当地进行亮度校正的车辆的控制装置及控制方法。实施方式的车辆的控制装置具有取得部及校正部。取得部取得由设在车辆的多个拍摄部拍摄上述车辆的外部环境而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠。在具有被拍摄区域重叠的重叠区域的两个图像信息中,在包含在一个图像信息中的第一重叠区域的位置比另一个图像信息中的第二重叠区域的位置更靠近图像信息的显示区域的中心的情况下,校正部对另一个图像信息进行校正,以使第一重叠区域的亮度与第二重叠区域的亮度相一致。

Description

车辆的控制装置及控制方法
技术领域
本发明的实施方式涉及车辆的控制装置及控制方法。
背景技术
以往,作为辅助车辆的停车的技术,提出了向驾驶员提供利用设在车辆的多个摄像机拍摄车辆的周边环境而取得的图像数据的技术。
在拍摄得到的多个图像数据中,除了摄像机的安装位置、方向及特性之外,亮度还根据上述摄像机的镜头的特性而有所差异。于是,提出了在向驾驶员提供时对图像数据进行亮度校正的技术。
现有技术文献
专利文献1:日本特开2007-141098号公报
发明内容
但是,在现有技术中,会发生摄像机的镜头的特性不明确的情况,还会发生很难适当地对向驾驶员提供的图像数据进行校正的情况。
作为一例,实施方式的车辆的控制装置具有取得部及校正部。取得部取得由设在车辆的多个拍摄部拍摄上述车辆的外部环境而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠。在具有被拍摄区域重叠的重叠区域的两个图像信息中,在包含在一个图像信息中的第一重叠区域的位置比另一个图像信息中的第二重叠区域的位置更靠近图像信息的显示区域的中心的情况下,校正部对另一个图像信息进行校正,以使第一重叠区域的亮度与第二重叠区域的亮度相一致。因此,作为一例,带来不管多个拍摄部的镜头特性如何都能适当地校正图像信息的效果。
作为一例,上述车辆的控制装置还具有生成部,上述生成部根据由校正部校正过的多个图像信息,生成从上方俯视车辆的外部环境的俯视映像。因此,作为一例,根据校正了亮度的多个图像信息,来生成俯视映像,从而带来能够向驾驶员提供可视性良好的俯视映像的效果。
作为一例,在上述车辆的控制装置中,由上述生成部生成的上述俯视映像以上述多个图像信息的每一个图像信息为单位被划分。因此,作为一例,带来能够向驾驶员提供能够识别拍摄部的差异的俯视映像的效果。
作为一例,在上述车辆的控制装置中,校正部进行进一步校正,以使校正后的第二重叠区域的亮度在第一重叠区域的亮度与校正前的第二重叠区域的亮度之间。因此,作为一例,带来能够抑制多个图像信息之间的亮度差异引起不适感的效果。
作为一例,在上述车辆的控制装置中,在从车辆的前端部拍摄前方向的外部环境的图像信息或从车辆的后端部拍摄后方向的外部环境的图像信息的第一被拍摄区域的一部分与从车辆的侧面部拍摄侧方向的图像信息的第二被拍摄区域重叠的情况下,校正部对拍摄侧方向的图像信息进行校正,使第一被拍摄区域的重叠区域的亮度与第二被拍摄区域的重叠区域的亮度相一致。因此,作为一例,带来能够根据车身适当地对基于车身的图像信息进行亮度校正的效果。
作为一例,在上述车辆的控制装置中,设在车辆的多个拍摄部具有相同的镜头特性。因此,作为一例,带来不管拍摄部的镜头特性如何都能够适当校正亮度的效果。
作为一例,在实施方式的车辆的控制方法中,具有取得步骤及校正步骤。在取得步骤中,取得由设在车辆的多个拍摄部拍摄上述车辆的外部环境而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠。在校正步骤中,在具有被拍摄区域重叠的重叠区域的两个图像信息中,在包含在一个图像信息中的第一重叠区域的位置比另一个图像信息中的第二重叠区域的位置更靠近图像信息的显示区域的中心的情况下,对另一个图像信息进行校正,使第一重叠区域的亮度与第二重叠区域的亮度相一致。因此,作为一例,带来不管多个拍摄部的镜头特性如何都能够适当校正图像信息的效果。
附图说明
图1为截取车辆的一部分表示的第一实施方式的车辆的一例的立体图。
图2为表示第一实施方式的车辆的一例的俯视图。
图3为表示第一实施方式的车辆的结构的一例的框图。
图4为表示由第一实施方式的车辆所具有的拍摄部拍摄而取得的被拍摄区域的图。
图5为表示在第一实施方式的停车辅助电子控制单元内实现的停车辅助部的结构的框图。
图6为表示由第一实施方式的图像处理部生成的俯视图像数据的一例的图。
图7为表示由第一实施方式的车辆的各拍摄部拍摄而取得的多个图像数据的重叠区域的例子的图。
图8为表示第一实施方式的校正表的生成概念的图。
图9为表示第一实施方式的停车辅助部的到显示装置显示为止的处理的流程的流程图。
图10为表示第一实施方式的停车辅助部的校正表生成处理流程的流程图。
图11为表示第二实施方式的停车辅助部显示在显示装置的俯视映像的例子的图。
图12为表示第二实施方式的停车辅助部的校正表生成处理流程的流程图。
具体实施方式
第一实施方式
在本实施方式中,例如,车辆1可以为以内燃机(引擎,未图示)为驱动源的汽车(内燃机汽车),可以为以电动机(马达,未图示)为驱动源的汽车(电动汽车、燃料电池汽车等),也可以为同时以内燃机和电动机为驱动源的汽车(混合动力汽车)。并且,车辆1可搭载各种变速装置,也可以搭载驱动内燃机或电动机的时所需的各种装置(系统、部件等)。并且,可多样地设定与车辆1的车轮3的驱动相关的装置的方式、数量及布置等。
如图1所示,车身2构成供乘员(未图示)乘坐的车室2a。在车室2a内,与作为乘员的驾驶员的座位2b相对置地设有转向部4、加速操作部5、制动操作部6及变速操作部7等。在本实施方式中,作为一例,转向部4为从仪表盘(仪表板)突出的方向盘,加速操作部5为位于驾驶员脚下的加速器踏板,制动操作部6为位于驾驶员脚下的制动踏板,变速操作部7为从中央控制台突出的变速杆,但并不局限于此。
并且,在车室2a内,设有显示装置(显示输出部)8或声音输出装置(声音输出部)9。例如,显示装置8为液晶显示器(LCD,liquid crystal display)或有机电致发光显示器(OELD,organic electroluminescent display)等。作为一例,声音输出装置9为扬声器。并且,在本实施方式中,作为一例,显示装置8由透明的操作输入部(例如,触控面板等)10覆盖。乘员等可经由操作输入部10,来确认显示在显示装置8的显示画面的映像(图像)。并且,在与显示在显示装置8的显示画面的映像(图像)相对应的位置,乘员等可通过用手指等来触摸、按压或移动的方式对操作输入部10进行操作,从而执行操作输入(指示输入)。并且,在本实施方式中,作为一例,显示装置8或声音输出装置9、操作输入部10等设在位于仪表盘的车辆宽度方向(左右方向)上的中央部的监控装置11。监控装置11可具有开关、拨号盘、操纵杆、按钮等操作输入部(未图示)。并且,可在与监控装置不同的车室2a内的其他位置设置声音输出装置(未图示),并从监控装置11的声音输出装置9和其他声音输出装置输出声音。并且,在本实施方式中,作为一例,监控装置虽然与导航系统或音频系统兼用,但也可以与这些系统分开地单独设置停车辅助装置用监控装置。并且,除了声音输出装置9之外,也可以构成为从蜂鸣器24(参照图3)等声音输出部输出警报音等。
并且,如图1及图2所示,在本实施方式中,作为一例,车辆1为四轮车(四轮汽车),具有左右两个前轮3F及左右两个后轮3R。进而,在本实施方式中,这四个车轮3构成为均可转向(可操舵)。具体而言,如图3所示,车辆1具有使前轮3F转向的前轮转向系统12及使后轮3R转向的后轮转向系统13。这些前轮转向系统2及后轮转向系统3由停车辅助电子控制单元(ECU,electronic control unit)14等电控制,从而分别使它们的促动器12a、13a工作。前轮转向系统12及后轮转向系统13例如为电动助力转向系统或线控转向(SBW,steer by wire)系统等。前轮转向系统12及后轮转向系统13借助促动器12a、13a向转向部4施加扭矩(辅助扭矩),来补充转向力或者使对应的车轮3(前轮3F或后轮3R)转向(自动转向)。促动器12a、13a可使一个车轮3转向,也可以使多个车轮3转向。并且,在本实施方式中,作为一例,两个前轮3F相互以同相(同相位、同转向方向、同转动方向)大致平行地转向,两个后轮3R相互以同相大致平行地转向。此外,可多样地设定驱动轮。
并且,在本实施方式中,作为一例,如图2所示,在车辆1(车身2)设有多个(在本实施方式中,作为一例,四个)拍摄部16(16a~16d)。例如,拍摄部16为内置有电荷耦合器件(CCD,charge coupIed device)或互补金属氧化物半导体图像传感器(CIS,CMOS image sensor)等拍摄元件的数字摄像机。拍摄部16可通过预定的帧率输出图像数据(视频数据、帧数据)。拍摄部16分别具有广角镜头,在水平方向上可拍摄150°~220°范围(视角)。并且,拍摄部16的光轴朝向下方(向斜下方)设定。因此,拍摄部16拍摄包括车辆1可移动的路面在内的车身2的周边的外部环境。
在本实施方式中,作为一例,拍摄部16a位于车身2的前侧(车辆前后方向的前方侧)的端部2c(俯视时的端部),设在前保险杠等。拍摄部16b位于车身2的左侧(车辆宽度方向的左侧)的端部2d,设在左侧的后视镜2g(突出部)。拍摄部16c位于车身2的后侧(车辆前后方向的后方侧)的端部2e,设在后背箱的门2h的下方的壁部。拍摄部16d位于车身2的右侧(车辆宽度方向的右侧)的端部2f,设在右侧的后视镜2g(突出部)。停车辅助电子控制单元14根据由多个拍摄部16取得的图像数据,执行运算处理或图像处理,并生成视角更广的图像或生成从上方俯视车辆1(车身2)的假想的俯视图像(平面图像)。
并且,在本实施方式中,作为一例,如图3所示,在停车辅助系统100中,停车辅助电子控制单元14、监控装置11、前轮转向系统12、后轮转向系统13、制动系统18、转向角传感器(角度传感器)19、加速度传感器20、位移传感器21、轮速传感器22等经由车内网络23(电信线路)电连接。作为一例,车内网络23由控制器局域网络(CAN,controller area network)构成。停车辅助电子控制单元14可通过车内网络23发出控制信号,来控制前轮转向系统12、后轮转向系统13及制动系统18等。并且,停车辅助电子控制单元14可经由车内网络23接收扭矩传感器12b、转向角传感器13b(后轮3R用)、制动传感器18b、转向角传感器19(前轮3F用)、加速度传感器20、位移传感器21、轮速传感器22等检测结果及操作输入部10等指示信号(控制信号、操作信号、输入信号及数据)。
作为一例,停车辅助电子控制单元14具有中央处理单元(CPU,centraIprocessing unit)14a或只读存储器(ROM,read only memory)14b、随机存取存储器(RAM,random access memory)14c、显示控制部14d、声音控制部14e、固态硬盘(SSD,solid state drive,闪存)14f等。例如,中央处理单元14a可执行与由显示装置8显示的图像相关的图像处理或车辆1的移动路径的运算、有无物体干扰的判断等各种运算处理。中央处理单元14a可读取存储(安装)在只读存储器14b等非易失性存储装置的程序,并按照该程序执行运算处理。随机存取存储器14c暂时存储利用于中央处理单元14a的运算的各种数据。并且,在停车辅助电子控制单元14的运算处理中,显示控制部14d主要执行利用由拍摄部16取得的图像数据的图像处理或由显示装置8显示的图像数据的图像处理(作为一例,合成等)等。并且,在停车辅助电子控制单元14的运算处理中,声音控制部14e主要执行由声音输出装置9输出的声音数据的处理。并且,固态硬盘14f为可擦写的非易失性存储部,即使在接通停车辅助电子控制单元14的电源的情况下,也可以存储数据。此外,中央处理单元14a、只读存储器14b、随机存取存储器14c等可集成在同一封装件内。并且,停车辅助电子控制单元14也可以利用数字信号处理(DSP,digital signal processor)等其他逻辑运算处理器或逻辑电路等代替中央处理单元14a。并且,可以设置硬盘驱动器(HDD,hard disk drive)来代替固态硬盘14f,固态硬盘14f或硬盘驱动器也可以与停车辅助电子控制单元14分开地单独设置。
制动系统18为抑制制动器的抱死的防抱死制动系统(ABS,anti-lockbrake system)、抑制拐弯时车辆1侧滑的电子稳定控制系统(ESC,electronicstability control)、增强制动力(执行制动辅助)的电动制动系统、电子线控制动(BBW,brake by wire)等。制动系统18经由促动器 18a向车轮3(车辆1)提供制动力。
转向角传感器19用于检测转向部4(在本实施方式中,作为一例,方向盘)的转向量(转动角度),作为一例,利用霍尔元件等构成。并且,转向角传感器13b用于检测后轮3R的转向量(转动角度),作为一例,利用霍尔元件等构成。停车辅助电子控制单元14从转向角传感器19、13b得到驾驶员转向时的转向部4的转向量或自动转向时的各车轮3的转向量等,来执行各种控制。此外,扭矩传感器12b检测驾驶员向转向部4提供的扭矩。
轮速传感器22用于检测车轮3的旋转量或每单位时间的转速,作为一例,利用霍尔元件等构成。停车辅助电子控制单元14根据从轮速传感器22取得的数据,来运算车辆1的移动量等,并执行各种控制。也有轮速传感器22设在制动系统18的情况。并且,制动系统18可从左右的车轮3的旋转差等检测制动器是否抱死、车轮3的空转、侧滑的预兆等,并执行各种控制。在轮速传感器22设在制动系统8的情况下,停车辅助电子控制单元14经由制动系统18取得数据。制动传感器18b用于检测制动踏板的操作量,停车辅助电子控制单元14经由制动系统18取得信息。例如,在自动转向中操作制动操作部6的情况下,停车辅助电子控制单元14可视为不适合自动转向的情况,从而中断或中止自动转向。
作为一例,位移传感器21为检测变速操作部7的可动部(杆、臂、按钮等)的位置的传感器(开关),利用位移传感器等构成。例如,停车辅助电子控制单元14或者在可动部设在倒档位置的情况下开始辅助控制,或者在从倒档变更为前进档的情况下结束辅助控制。
此外,上述各种传感器或促动器的结构、配置、电连接形态等只是一个例子,可多样地进行设定(变更)。
图4为表示车辆1所具有的拍摄部16拍摄而取得的被拍摄区域的图。如图4所示,可确认在由拍摄部16a~16d拍摄的被拍摄区域401~404一部分相重叠的情况。
具体而言,在前方向的被拍摄区域401与左方向的被拍摄区域402之间存在重叠区域411。并且,在左方向的被拍摄区域402与后方向的被拍摄区域403存在重叠区域412。并且,在后方向的被拍摄区域403与右方向的被拍摄区域404之间存在重叠区域413。并且,在右方向的被拍摄区域404与前方向的被拍摄区域401之间存在重叠区域414。
在本实施方式中,利用于拍摄部16a~16d的各镜头全部具有相同的镜头特性。由此,拍摄都16a~16d的视角、被拍摄区域401~404的面积等相同,同时从镜头中心到周边发生变化的光量也相同。
但是,有拍摄部16a拍摄而取得的图像数据的重叠区域411的亮度与拍摄部16b拍摄而取得的图像数据的重叠区域411的亮度不同的情况。于是,本实施方式的停车辅助电子控制单元14对由拍摄部16a~16d分别拍摄而取得的图像数据的亮度等进行校正之后,合成由拍摄部16a~16d分别拍摄而取得的图像数据,来生成用于向驾驶员提供的俯视图像数据。
图5为表示在停车辅助电子控制单元14内实现的停车辅助部500的结构的框图。图5所示的停车辅助部500内的各结构通过由图3的停车辅助电子控制单元14的中央处理单元14a执行存储在只读存储器14b内的软件来实现。
停车辅助部500通过执行存储在只读存储器14b内的软件,来实现图像取得部501、图像处理部502及显示处理部503。
然后,本实施方式的停车辅助部500在车辆1移动并停车时,通过俯视图像显示周围状況,来辅助通过驾驶员的转向而进行的停车。
图像取得部601取得由多个拍摄部16a~16d拍摄而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠。如上所述,本实施方式的图像取得部501取得的多个图像数据是由设在车辆1的多个拍摄部16a~16d将车辆1的外部环境作为被拍摄区域拍摄而取得的。
图像处理部502具有亮度校正表生成部511、亮度校正部512、俯视图像生成部513及动态范围校正部514,用于对图像取得部501取得的图像数据进行图像处理。
图6为表示由图像处理部502生成的俯视图像数据600的例子的图。图6所示的俯视图像数据600示出了表示车辆1的图标611及车辆1的外部环境。上述俯视图像数据600是图像处理部502将图像取得部501取得的多个图像数据合成而取得的。
在俯视图像数据600中,存在由多个拍摄部16a~16d拍摄的重叠的区域。例如,在本实施方式中,区域601成为由拍摄部16a及拍摄部16b拍摄的重叠区域的一部分。同样,区域602成为由拍摄部16a及拍摄部16d拍摄的重叠区域的一部分。区域603成为由拍摄部16b及拍摄部16c拍摄的重叠区域的一部分。区域604成为由拍摄部16c及拍摄部16d拍摄的重叠区域的一部分。在合成多个图像数据来生成俯视图像数据时,需要预先使与重叠区域601~604相对应的合成前的图像数据的区域的亮度一致。
于是,本实施方式的图像处理部502在合成前对图像取得部501取得的各图像数据的亮度进行校正。
图7为表示由作为车辆1的前置摄像机的拍摄部16a拍摄前方向而取得的图像数据(以下,也可以称为前置图像数据)711及由作为车辆1的侧置摄像机的拍摄部16b拍摄侧方向而取得的图像数据(以下,也可以称为侧置图像数据)712的重叠区域的例子。
图7的(1)部分所示的前置图像数据711成为从车辆1的前方侧的端部20拍摄外部环境而取得的图像数据。包含在前置图像数据711中的区域701与图6的重叠区域601相对应,区域702与图6的重叠区域602相对应。
图7的(2)部分所示的侧置图像数据712成为从车辆1的左侧的端部2d拍摄外部环境而取得的图像数据。并且,包含在侧置图像数据712的区域703与图6的重叠区域601相对应,区域704与图6的重叠区域603相对应。
若要生成俯视图像数据,需要合成前置图像数据711与侧置图像数据712,但即使前置图像数据711的区域701及侧置图像数据712的区域703从外部环境来看时表示相同的区域,也具有亮度不同的情况。图像处理部502需要对前置图像数据及侧置图像数据中的一个以上进行校正,以使区域701与区域703的亮度大致相同。
但是,在本实施方式中,拍摄部16a~16d为了拍摄而使用的镜头全部相同,并具有相同的特性。在可掌握利用于拍摄部16a~16d的镜头的特性的情况下,可根据镜头的特性对亮度进行校正。但是,具有镜头特性未公开摄像机制造商的情况。这种情况下,很难根据镜头特性适当地进行校正,例如,通过亮度的校正,也会导致显示比实际更亮等不适感强的映像的情况。
作为更为详细的例子,在来自任一拍摄部的被拍摄区域存在障碍物的情况,或从暗的车库内走出亮的场所时等,由多个拍摄部拍摄而取得的图像数据之间产生极端的亮度差的情况下,若根据多个图像数据的平均亮度对亮度进行插值,则在原本可视的其他区域发生曝光过度和曝光不足,从而具有可视性恶化的情况。
通常,镜头具有在中心部光量高而越靠周边光量越少的倾向。即,也有前置图像数据711的区域701与侧置图像数据712的区域703的亮度的差异是由镜头的位置差异引起的光量导致的可能性。并且,镜头的特性越靠近中心,精度就越高。
于是,在本实施方式中,在利用多个图像数据来进行使亮度一致的校正时,在多个图像数据中,重叠区域以靠近镜头中心(换句而言,图像数据的显示区域的中心)的一个图像数据的亮度为基准,对另一个图像数据进行校正。
在图7所示的例子中,从前置图像数据711的中心到区域702的距离721比从侧置图像数据712的中心到区域703的距离722更短。这种情况下,本实施方式的图像处理部502对侧置图像数据712的亮度进行校正,以使前置图像数据711的区域702的平均亮度与区域703的平均亮度大致相同。
此外,由作为车辆1的后置摄像机的拍摄部16c拍摄后方向而取得的图像数据(以下,也称为后置图像数据)与侧置图像数据之间也存在像前置图像数据与侧置图像数据一样的关系。于是,本实施方式的图像处理部502对侧置图像数据的亮度进行校正,以使后置图像数据的重叠区域的平均亮度与对应区域的平均亮度大致相同。
像这样,进行两侧置的图像数据的亮度的校正,以使前置图像数据与后置图像数据的亮度相一致,会让普通的车辆的车辆宽度比前后方向上的长度短,因此前置图像数据及后置图像数据的重叠区域相比侧置图像数据的重叠区域更靠近中心。
在本实施方式的图像处理部502中,生成用于对侧置图像数据的亮度进行校正的校正表。
返回到图5,亮度校正表生成部511生成用于根据前置图像数据及后置图像数据的亮度来对两个侧置图像数据的亮度进行校正的校正表。
图8为表示校正表的生成的概念的图。如图8所示,亮度校正表生成部511根据重叠有多个图像数据(后置图像数据与侧置图像数据或前置图像数据与侧置图像数据)的重叠区域601~604,生成校正表。首先,亮度校正表生成部511计算出与重叠区域601相对应的前置图像数据的区域的平均亮度及与重叠区域602相对应的前置图像数据的区域的平均亮度。同样,亮度校正表生成部511计算出与重叠区域603相对应的后置图像数据的区域的平均亮度及与重叠区域604相对应的后置图像数据的区域的平均亮度。
进而,亮度校正表生成部511计算出与重叠区域601相对应的第一(左侧的)侧置图像数据的区域的平均亮度及与重叠区域603相对应的第一(左侧的)侧置图像数据的区域的平均亮度。亮度校正表生成部511计算出与重叠区域602相对应的第二(右侧的)侧置图像数据的区域的平均亮度及与重叠区域604相对应的第二(右侧的)侧置图像数据的区域的平均亮度。
然后,亮度校正表生成部511在重叠区域601~604计算出图像数据之间的平均亮度的差分。由此,上述平均亮度的差分成为侧置图像数据的校正值。
然后,亮度校正表生成部511生成按计算出的平均亮度的差分校正重叠区域的中心的校正表。例如,亮度校正表生成部511按照以下方式生成校正表,即,在重叠区域602的平均亮度的差为“10”的情况下,以校正值“-10”校正重叠区域602的中心801,在重叠区域604的平均亮度的差为“-10”的情况下,以校正值“10”校正重叠区域604的中心802。然后,亮度校正表生成部511对校正表的中心801、802以外的各像素设定由利用上述中心801、802的各校正值进行线性插值的一次式得出的校正值。
亮度校正部512根据亮度校正表生成部511生成的校正表,对侧置图像数据的亮度进行校正。在具有被拍摄区域重叠的重叠区域的两个图像数据中,包含在前置图像数据或后置图像数据的重叠区域的位置相比侧置图像数据的重叠区域的位置更靠近显示区域的中心,因此,本实施方式的亮度校正部512对侧置图像数据进行校正,以使前置图像数据或后置图像数据的重叠区域的亮度与侧置图像数据的重叠区域的亮度相一致。
俯视图像生成部513根据由亮度校正部512校正后的多个图像数据、记录在(未图示)映射表的转换信息,生成从上方俯视车辆1的周围的外部环境的情况的俯视图像数据。
动态范围校正部514对俯视图像数据进行动态范围校正。
显示处理部503将由动态范围校正部514校正后的俯视图像数据显示在显示装置8。
接着,对本实施方式的停车辅助部500的到显示装置8显示为止的处理进行说明。图9为表示本实施方式的停车辅助部500的上述处理的流程的流程图。
首先,图像取得部501取得由拍摄部16a~16d拍摄而取得的多个图像数据(步骤S901)。
接着,亮度校正表生成部511根据取得的多个图像数据,生成用于对侧置图像数据进行校正的校正表(步骤S902)。
然后,亮度校正部512利用所生成的校正表,来对两个侧置图像数据进行校正(步骤S903)。
其后,俯视图像生成部513根据包含进行亮度校正后的侧置图像数据的多个图像数据生成俯视图像数据(步骤S904)。
其后,动态范围校正部514对俯视图像数据进行动态范围校正(步骤S905)。
然后,显示处理部503将校正动态范围后的俯视图像数据显示在显示装置8(步骤S906)。
通过上述处理流程,本实施方式的停车辅助部500可显示进行适当的亮度校正的俯视图像数据。
接着,对本实施方式的停车辅助部500的图9的步骤S902的校正表生成处理进行说明。图10为表示本实施方式的停车辅助部500的上述处理的流程的流程图。
首先,亮度校正表生成部511对图像取得部501取得的多个图像数据分别指定与俯视图像数据的重叠区域相对应的区域(步骤S1001)。
接着,亮度校正表生成部511对各图像数据,对与重叠区域相对应的每个区域分别计算出平均亮度(步骤S1002)。
然后,亮度校正表生成部511对应每个重叠区域计算出图像数据之间的亮度的差分(步骤S1003)。
接着,亮度校正表生成部511生成将计算出的差分作为校正表的重叠区域的中心位置的校正值进行线性插值的校正表(步骤S1004)。
利用通过上述处理流程生成的校正表,来校正侧置图像数据。
在本实施方式中,说明了在对重叠区域以外的区域的校正值进行插值时的线性插值的例子,但并不局限于线性插值,也可以使用利用样条曲线的插值等其他插值方法。
如上所述,本实施方式的车辆1根据重叠区域的位置来对由安装在上述车辆1的前后左右的四台拍摄部16a~16d拍摄而取得的图像数据进行亮度校正。由此,可抑制镜头的端部与中央部的亮度差。进而,可向驾驶员提供适当校正了亮度的俯视图像数据。
此时,停车辅助部500的图像处理部502对由相邻的拍摄部16a~16d拍摄而取得的图像数据重叠的区域进行校正,以使平均亮度大致相同,但并不局限于校正得大致相同。
第二实施方式
在第一实施方式中,对合成由拍摄部16拍摄而取得的图像数据来生成俯视图像数据的例子进行了说明。但是,在第一实施方式中,并不局限于合成拍摄而取得的图像数据来生成俯视图像数据,也可以将拍摄而取得的图像数据分别进行区分,并作为俯视的图像向驾驶员提供。
图11为表示本实施方式的停车辅助部500在显示装置8显示的俯视映像的例子的图。在图11所示的例子中,根据拍摄部16a~16d的差异,将车辆1的外部环境分割为四个区域1101~1104并显示。
即使在进行这种显示的情况下,如图4所示,拍摄部16a~16d的各被拍摄区域的一部分也重叠,因此,与第一实施方式相同地,可生成校正表,并进行侧置图像数据的亮度校正。通过接近图像数据之间的亮度,来向驾驶员提供舒适的映像。
进而,区分每个图像数据而显示,因此无需像第一实施方式一样校正到与侧置图像数据的重叠区域相对应的区域的亮度和与前置图像数据或后置图像数据的重叠区域相对应的区域的亮度大致相同的程度。于是,第二实施方式的停车辅助部500的亮度校正部512经校正使与重叠区域相对应的侧置图像数据的区域的校正后的平均亮度在与上述重叠区域相对应的前置图像数据(或后置图像数据)的区域的平均亮度与校正前的亮度之间。
具体而言,亮度校正表生成部511通过与第一实施方式相同的处理计算出校正值之后,乘以系数0.5。此外,在本实施方式中,例示了作为系数乘以0.5,但并不限制系数,该系数可以在0.1~0.9之间的范围内。然后,在乘以系数之后,进行与第一实施方式相同的处理,直到显示俯视映像为止。
在本实施方式中,一定程度上(系数0.5)调整亮度,来使图像数据之间的差异带来的不适感减少,并将亮度校正到大致相同的程度,从而抑制其他区域的曝光不足和曝光过度,并抑制可视性的下降。
接着,在本实施方式的停车辅助部500中,对通过第一实施方式所示的图9的步骤S902的校正表的生成处理进行说明。图12为表示本实施方式的停车辅助部500的上述处理的流程的流程图。此外,其他处理与第一实施方式相同,因此省略其说明。
首先,进行与图10的步骤S1001~步骤S1003相同的处理,对每个重叠区域分别计算出图像数据之间的亮度的差分(步骤S1201~步骤S1203)。
其次,亮度校正表生成部511将计算出重叠区域的每个亮度的差分乘以系数0.5(步骤S1204)。
然后,亮度校正表生成部511生成将乘以系数后的差分作为校正表的重叠区域的中心位置的校正值进行线性插值的校正表(步骤S1205)。
在第二实施方式中,在被拍摄区域重叠的图像数据之间,即使在上述区域的平均亮度存在极端的差的情况下,也可以乘以系数,从而限制校正值。像这样,抑制像第一实施方式一样校正得大致相同,来一定程度地抑制上述区域以外的差值部分的可视性降低。并且,在本实施方式中,可通过显示拍摄部16a~16d拍摄而取得的图像数据的边界,便于驾驶员确认不同的拍摄部16a~16d拍摄而取得的图像数据。进而,可通过边界区分,便于驾驶员确认拍摄部16a~16d的差异,因此,即使不校正到亮度大致相同的程度,也可以一定程度上抑制亮度的差异带来的不适感。
在上述实施方式中,在由拍摄部16a~16d拍摄而取得的多个图像数据中,被拍摄区域重叠的重叠区域以靠近镜头的中心的图像数据的亮度为基准,对其他图像数据的亮度进行校正。因此,即使未掌握拍摄部16a~16d的镜头特性,也可以对多个图像数据适当地进行亮度的校正。
以上,说明了本发明的实施方式,但这些实施方式只是例示性的,并没有限定发明的范围的意图。这些新的实施方式也能够以其他各种方式来实现,只要在不脱离发明的要旨的范围内,就能够进行各种省略、替代及变更。这些实施方式或其变形均属于发明的范围或要旨,并属于发明要求保护范围所记载的发明及与其均等的范围。

Claims (7)

1.一种车辆的控制装置,其特征在于,具有:
取得部,取得由设在车辆的多个拍摄部拍摄上述车辆的外部环境而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠;
校正部,在具有被拍摄区域重叠的重叠区域的两个图像信息中,在包含在一个图像信息中的第一重叠区域的位置比另一个图像信息中的第二重叠区域的位置更靠近图像信息的显示区域的中心的情况下,对上述另一个图像信息进行校正,以使上述第一重叠区域的亮度与上述第二重叠区域的亮度相一致。
2.根据权利要求1所述的车辆的控制装置,其特征在于,还具有生成部,上述生成部根据由上述校正部校正过的多个图像信息,生成从上方俯视上述车辆的外部环境的俯视映像。
3.根据权利要求2所述的车辆的控制装置,其特征在于,由上述生成部生成的上述俯视映像以上述多个图像信息的每一个图像信息为单位被划分。
4.根据权利要求3所述的车辆的控制装置,其特征在于,上述校正部进行进一步校正,以使校正后的上述第二重叠区域的亮度在上述第一重叠区域的亮度与校正前的上述第二重叠区域的亮度之间。
5.根据权利要求1至4中任一项所述的车辆的控制装置,其特征在于,在从上述车辆的前端部拍摄前方向的外部环境而取得的图像信息或从上述车辆的后端部拍摄后方向的外部环境而取得的图像信息的第一被拍摄区域的一部分与从上述车辆的侧面部拍摄侧方向而取得的图像信息的第二被拍摄区域重叠的情况下,上述校正部对拍摄上述侧方向而取得的图像信息进行校正,以使上述第一被拍摄区域的重叠区域的亮度与上述第二被拍摄区域的重叠区域的亮度相一致。
6.根据权利要求1至5中任一项所述的车辆的控制装置,其特征在于,设在上述车辆的上述多个拍摄部具有相同的镜头特性。
7.一种车辆的控制方法,其特征在于,具有:
取得步骤,取得由设在车辆的多个拍摄部拍摄上述车辆的外部环境而取得的多个图像信息,所述多个图像信息的被拍摄区域的一部分相重叠;
校正步骤,在具有被拍摄区域重叠的重叠区域的两个图像信息中,在包含在一个图像信息中的第一重叠区域的位置比另一个图像信息中的第二重叠区域的位置更靠近图像信息的显示区域的中心的情况下,对上述另一个图像信息进行校正,以使上述第一重叠区域的亮度与上述第二重叠区域的亮度相一致。
CN201310647854.4A 2012-12-04 2013-12-04 车辆的控制装置及控制方法 Active CN103854260B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-265799 2012-12-04
JP2012265799A JP6115104B2 (ja) 2012-12-04 2012-12-04 車両の制御装置、及び制御方法

Publications (2)

Publication Number Publication Date
CN103854260A true CN103854260A (zh) 2014-06-11
CN103854260B CN103854260B (zh) 2019-03-15

Family

ID=50861878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310647854.4A Active CN103854260B (zh) 2012-12-04 2013-12-04 车辆的控制装置及控制方法

Country Status (3)

Country Link
US (1) US9598105B2 (zh)
JP (1) JP6115104B2 (zh)
CN (1) CN103854260B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113402A (zh) * 2014-12-25 2017-08-29 株式会社电装 图像处理系统以及图像处理装置
CN108010005A (zh) * 2016-10-31 2018-05-08 比亚迪股份有限公司 调节图像亮度的方法、装置及车辆
CN110476420A (zh) * 2017-03-31 2019-11-19 马自达汽车株式会社 车辆用图像显示装置及图像处理方法
CN110517188A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置
CN110612235A (zh) * 2017-06-26 2019-12-24 金泰克斯公司 调光元件的光学特性的动态校准
CN111355942A (zh) * 2018-12-21 2020-06-30 瑞萨电子株式会社 半导体设备、图像处理系统、方法和计算机可读存储介质
CN111937380A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置
CN111937378A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573658B (zh) * 2015-01-09 2018-09-18 安徽清新互联信息科技有限公司 一种基于支持向量机的盲驾检测方法
JP6582557B2 (ja) 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
JP2018206323A (ja) * 2017-06-09 2018-12-27 アイシン精機株式会社 画像処理装置
US11215451B2 (en) * 2017-09-20 2022-01-04 Continental Automotive Systems, Inc. Trailer length detection system
DE102017218921A1 (de) * 2017-10-24 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
CN108550106B (zh) * 2018-03-30 2021-06-01 影石创新科技股份有限公司 一种全景图像的颜色校正方法、装置和电子设备
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
JP7384343B2 (ja) 2019-07-12 2023-11-21 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
EP4306363A1 (en) * 2022-07-15 2024-01-17 Ficosa Adas, S.L.U. System and method for providing a composite image of a vehicle and its surroundings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
WO2008118886A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital microscope slide scanning system and methods
US9495876B2 (en) * 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
JP2011057139A (ja) * 2009-09-11 2011-03-24 Denso Corp 運転支援装置
JP2011115404A (ja) * 2009-12-03 2011-06-16 Canon Inc X線画像合成装置、およびx線画像合成方法
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
US9363485B2 (en) * 2011-01-27 2016-06-07 Kyocera Corporation Vehicle driving assist device
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113402A (zh) * 2014-12-25 2017-08-29 株式会社电装 图像处理系统以及图像处理装置
CN107113402B (zh) * 2014-12-25 2019-10-25 株式会社电装 图像处理系统以及图像处理装置
CN108010005A (zh) * 2016-10-31 2018-05-08 比亚迪股份有限公司 调节图像亮度的方法、装置及车辆
CN110476420B (zh) * 2017-03-31 2021-05-04 马自达汽车株式会社 车辆用图像显示装置及图像处理方法
CN110476420A (zh) * 2017-03-31 2019-11-19 马自达汽车株式会社 车辆用图像显示装置及图像处理方法
CN110612235A (zh) * 2017-06-26 2019-12-24 金泰克斯公司 调光元件的光学特性的动态校准
CN110612235B (zh) * 2017-06-26 2023-01-17 金泰克斯公司 调光元件的光学特性的动态校准
CN111937380A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置
CN111937378A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置
CN111937380B (zh) * 2018-04-03 2022-07-01 株式会社爱信 图像处理装置
CN110517188A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置
CN110517188B (zh) * 2018-05-22 2024-02-23 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置
CN111355942A (zh) * 2018-12-21 2020-06-30 瑞萨电子株式会社 半导体设备、图像处理系统、方法和计算机可读存储介质

Also Published As

Publication number Publication date
US9598105B2 (en) 2017-03-21
JP2014110627A (ja) 2014-06-12
US20140160275A1 (en) 2014-06-12
JP6115104B2 (ja) 2017-04-19
CN103854260B (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN103854260A (zh) 车辆的控制装置及控制方法
JP6724425B2 (ja) 駐車支援装置
CN104015659A (zh) 停车支援装置、停车支援方法
JP7039879B2 (ja) 表示制御装置
CN105075247A (zh) 车辆的控制装置及程序
WO2014051125A1 (ja) 駐車支援装置、駐車支援方法およびプログラム
US11440475B2 (en) Periphery display control device
CN110877572A (zh) 周边监视装置
CN104773113A (zh) 周边监视装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
JP6760122B2 (ja) 周辺監視装置
CN107791951B (zh) 显示控制装置
WO2019058585A1 (ja) 表示制御装置
CN110997409B (zh) 周边监控装置
CN110884426A (zh) 显示控制装置
JP2022023870A (ja) 表示制御装置
CN110546047A (zh) 停车辅助装置
JP7367375B2 (ja) 特定領域検知装置
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP6610140B2 (ja) 周辺監視装置
JP6711151B2 (ja) 運転支援装置
JP7423970B2 (ja) 画像処理装置
JP7380058B2 (ja) 駐車支援装置
JP2019138655A (ja) 走行支援装置
WO2023085228A1 (ja) 駐車支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant