CN105196917B - 全景式监控影像装置及其工作方法 - Google Patents

全景式监控影像装置及其工作方法 Download PDF

Info

Publication number
CN105196917B
CN105196917B CN201410641588.9A CN201410641588A CN105196917B CN 105196917 B CN105196917 B CN 105196917B CN 201410641588 A CN201410641588 A CN 201410641588A CN 105196917 B CN105196917 B CN 105196917B
Authority
CN
China
Prior art keywords
image
panoramic view
brightness
view monitoring
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410641588.9A
Other languages
English (en)
Other versions
CN105196917A (zh
Inventor
李圣柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105196917A publication Critical patent/CN105196917A/zh
Application granted granted Critical
Publication of CN105196917B publication Critical patent/CN105196917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种全景式监控影像装置包括：多个摄像头，其设置于车辆；影像合成部，其从所述多个摄像头分别接收多个影像，合成所述多个影像生成全景式监控影像；亮度补正部，其接收所述全景式监控影像，基于所述全景式监控影像中各个区域的亮度均值及亮度方差补正所述全景式监控影像的亮度并输出；以及影像显示部，其显示亮度经过补正的所述全景式监控影像。本发明具有如下效果：第一，基于全景式监控影像补正亮度，可以快速处理亮度不协调的问题。第二，全景式监控影像内存在阴影或障碍物的情况下能够最小化亮度不协调的问题。第三，摄像头安装使用发生变更时无需调整共同拍摄范围。第四，最小化合成影像的亮度不协调的问题，能够提高感性品质。

Description

全景式监控影像装置及其工作方法
技术领域
本发明涉及一种显示车辆周边影像的车辆周边监控装置及其方法，尤其涉及补正全景式监控影像的亮度的全景式监控影像装置及其方法。
背景技术
目前随着车辆的高档化及多功能化，车辆普遍都设置有全景式监控影像(AroundView Monitering；AVM)系统。
全景式监控影像(Around View Monitor；AVM)系统是通过设置在车辆四周的摄像头获取车辆周边的影像，在驻车时驾驶员不必费力地查看后方或周边，通过设置在车里的显示装置便能够确认车辆周边的系统。并且全景式监控影像系统还通过合成上述周边影像，提供像从车辆上方观察般的全景(Around View)影像。驾驶员利用这种全景式监控影像系统，一眼就可了解车辆周边的状况，能够安全驻车或通过狭窄的道路。
但是，现有全景式监控影像系统是合成从多个摄像头接收到的多个影像显示全景式监控影像，因此各个影像的亮度差会产生不协调感。
全景式监控影像系统相关现有文献：公开号10-2013-0028230。
发明内容
技术问题
本发明为解决上述问题，目的在于提供一种补正全景式监控影像的亮度的全景式监控影像装置及其方法。
本发明的目的不限于以上提及的目的，本领域所属技术人员可通过以下记载明确理解未提及的其他目的。
技术方案
本发明为解决上述问题，根据本发明的实施例的全景式监控影像装置包括：多个摄像头，其设置于车辆；影像合成部，其从所述多个摄像头分别接收多个影像，合成所述多个影像生成全景式监控(around view)影像；亮度(luminance)补正部，其接收所述全景式监控影像，基于所述全景式监控影像中的各个区域的亮度平均值及亮度方差补正所述全景式监控影像的亮度并输出；以及影像显示部，其显示亮度经过补正的所述全景式监控影像。
其他实施例的具体内容参见具体说明及附图。
技术效果
根据本发明的实施例，具有如下一个以上的效果：
第一，基于全景式监控影像补正亮度，从而可以快速处理亮度不协调的问题。
第二，全景式监控影像内存在阴影或障碍物的情况下也能够最小化亮度不协调的问题。
第三，摄像头安装使用发生变更时无需调整共同拍摄范围。
第四，最小化合成影像的亮度不协调的问题，从而能够提高感性品质。
本发明的效果不限于以上提及的效果，本领域所属技术人员可通过本发明技术方案明确理解未提及的其他效果。
附图说明
图1为简要显示包含根据本发明实施例的AVM装置的车辆的示意图；
图2为显示根据本发明实施例的AVM装置的框图；
图3为说明根据本发明实施例的测定部的工作的参照示意图；
图4至图7为说明根据本发明实施例的算出部的工作的参照示意图；
图8为说明根据本发明实施例的适用部的工作的参照示意图；
图9为显示根据本发明实施例的AVM工作方法的流程图。
附图标记说明
100：AVM装置 110：第一摄像头
120：第二摄像头 130：第三摄像头
140：第四摄像头 150：影像合成部
151：查阅表(Look Up Table；LUT) 160：亮度补正部
170：影像显示部
具体实施方式
参照附图及与结合附图详细说明的下述实施例，本发明的优点及特征、以及达成其的方法将会明确。但是，本发明并非限定于以下公开的实施例，而是以互不相同的多种形态实现，本实施例仅使本发明的公开更加完整，是为了使本发明所属技术领域的普通技术人员能够容易理解本发明的范畴而提供的，本发明由技术方案的范畴所定义。另外，本说明书全文中同一附图标记指的是相同的构成要素。
说明书全文将各构成要素的名称区分为第一、第二等，其原因在于这些构成要素的名称相同，从而为加以区分，以下说明中并不限定于该顺序。
以下说明中车辆的左侧指的是车辆行驶方向的左侧，即驾驶席侧，车辆的右侧指的是车辆行驶方向的右侧，即副驾驶席侧。
图1为简要显示包含根据本发明实施例的AVM装置的车辆的示意图。
如图1所示，设置于车辆10的AVM装置100包括多个摄像头110、120、130、140。在此，为了获取车辆10前方、后方、左侧方、右侧方的影像，多个摄像头110、120、130、140优选的是四个。多个摄像头110、120、130、140设置于车辆10的外部接收车辆10的周边影像。在此，多个摄像头110、120、130、140优选的是视角为180度以上的超广角摄像头。
一方面，在本说明书中假设多个摄像头110、120、130、140为4个进行说明，但并不限定于此。
例如，第一摄像头110可设置于车辆10的前方获取车辆10的前方影像。优选的是第一摄像头110设置于前保险杠的一部位。
第二摄像头120可设置于车辆10的后方获取车辆10的后方影像。优选的是第二摄像头120设置于后保险杠的一部位、车号牌的上方或下方。
第三摄像头130可设置于车辆10的左侧方获取车辆10的左侧方影像。优选的是第三摄像头130设置于车辆10左侧后视镜的一部位或者前叶板的一部位。
第四摄像头140可设置于车辆10的右侧方获取车辆10的右侧方影像。优选的是第四摄像头140设置于车辆10右侧后视镜的一部位或者前叶板的一部位。
图2为显示根据本发明实施例的AVM装置的框图。
如图2所示，根据本发明实施例的AVM装置100包括多个摄像头110、120、130、140，以及处理器180、影像显示部170。
在此，处理器180包括影像合成部150及亮度补正部160。
第一摄像头110获取第一影像。第一摄像头110将获取到的第一影像传送给影像合成部150。在此，第一影像是拍摄车辆前方周边得到的影像。
第二摄像头120获取第二影像。第二摄像头120将获取的第二影像传送给影像合成部150。在此，第二影像是拍摄车辆后方周边得到的影像。
第三摄像头130获取第三影像。第三摄像头130将获取的第三影像传送给影像合成部150。在此，第三影像是拍摄车辆左侧方周边得到的影像。
第四摄像头140获取第四影像。第四摄像头140将获取的第四影像传送给影像合成部150。在此，第四影像是拍摄车辆右侧方周边得到的影像。
影像合成部150接收第一影像、第二影像、第三影像及第四影像。影像合成部150合成第一影像、第二影像、第三影像及第四影像生成全景式监控(around view)影像。例如全景式监控影像可以是俯视(top view)影像。在此，影像合成部150可以利用查阅表(Look UpTable)。查阅表是存储有合成影像的一个像素对应于四个原始影像(第一影像至第四影像)中的哪个像素的对应关系的表。
一方面，全景式监控影像可以包括第一信道、第二信道、第三信道以及第四信道。在此，第一信道是对应于第一影像的区域，相当于全景式监控影像中车辆的前方区域。第二信道是对应于第二影像的区域，相当于全景式监控影像中车辆的后方区域。第三信道是对应于第三影像的区域，相当于全景式监控影像中车辆的左侧方区域。第四信道是对应于第四影像的区域，相当于全景式监控影像中车辆的右侧方区域。
影像合成部150向亮度补正部160输出全景式监控影像。
亮度补正部160接收全景式监控影像。第一影像至第四影像是不同的摄像头在不同的光照状态下拍摄不同场景所得到的影像，具有不同的亮度。因此，合成第一影像至第四影像所生成的全景式监控影像具有不同的亮度。亮度补正部160基于全景式监控影像中各区域的亮度平均值及亮度方差补正亮度。
亮度补正部160接收全景式监控影像并进行处理，因此处理时间快。并且，不像现有AVM装置一样假设共同拍摄范围，因此无需根据摄像头的设置误差或设置规格的变化专门调整多个摄像头的共同拍摄范围。
亮度补正部160包括测定部162、算出部164及适用部166。
测定部162测定全景式监控影像中由于多个影像合成而产生的分界线的上部区域和下部区域的亮度平均值及亮度方差。
算出部164利用亮度平均值及亮度方差，根据第一算出方式或第二算出方式算出全景式监控影像的补正值。
一方面，算出部164可以对全景式监控影像中每预定数量的帧计算一次补正值。优选的是，算出部164对全景式监控影像中每六帧计算一次补正值。
适用部166将算出的亮度补正值适用到全景式监控影像中。
以下参照图4至图8详细说明测定部162、算出部164及适用部166。
亮度补正部160向影像显示部170输出亮度经过补正的全景式监控影像。
影像显示部170接收亮度经过补正的全景式监控影像并显示。影像显示部170可以具有至少一个用于显示全景式监控影像的显示器。一方面，显示全景式监控影像时还可以提供多种用户界面，并且还可以具备能够对提供的用户界面进行触摸输入的触摸传感器。另外，影像显示部170可以是设置在车辆上的影音导航(Audio Visual Navigation；AVN)系统。
处理器180控制AVM装置的各个模块并进行各种计算。处理器180可以判断全景式监控影像是否符合第一条件、第二条件及第三条件。
图3为说明根据本发明实施例的测定部的工作的参照示意图。
如图3所示，测定部162测定全景式监控影像的亮度平均值及亮度方差。
如上所述，全景式监控影像包括第一信道210、第二信道220、第三信道230及第四信道240。第一信道210是对应于第一影像的车辆前方影像。第二信道220是对应于第二影像的车辆后方影像。第三信道230是对应于第三影像的车辆的左侧方影像。第四信道240是对应于第四影像的车辆右侧方影像。
第一分界线315位于第一信道210与第三信道230之间。第二分界线335位于第一信道210与第四信道240之间。第三分界线355位于第二信道220与第三信道230之间。第四分界线375位于第二信道220与第四信道240之间。
全景式监控影像是从第一摄像头110接收到的第一影像、从第二摄像头120接收到的第二影像、从第三摄像头130接收到的第三影像及从第四摄像头140接收到的第四影像的合成影像，因此难免产生第一分界线315、第二分界线335、第三分界线355及第四分界线375。
测定部162测定由于合成多个所述影像(第一影像至第四影像)而生成的分界线(第一分界线至第四分界线)的上部区域和分界线(第一分界线至第四分界线)的下部区域的亮度平均值及亮度方差。即，测定部162测定第一分界线315的上部区域310(以下简称A区域)及第一分界线315的下部区域320(以下简称B区域)的亮度平均值及亮度方差。测定部162测定第二分界线335的上部区域330(以下简称C区域)及第二分界线335的下部区域340(以下简称D区域)的亮度平均值及亮度方差。测定部162测定第三分界线355的上部区域350(以下简称E区域)及第三分界线355的下部区域360(以下简称F区域)的亮度平均值及亮度方差。测定部162测定第四分界线375的上部区域370(以下简称G区域)及第四分界线375的下部区域380(以下简称H区域)的亮度平均值及亮度方差。
例如，测定部162测定的第一分界线的上部区域310的亮度平均值为178尼特(nit)、亮度方差为937。测定部162测定的第一分界线的下部区域320的亮度平均值为86尼特(nit)、亮度方差为4018。测定部162测定的第二分界线的上部区域330的亮度平均值为136尼特(nit)、亮度方差为83。测定部162测定的第二分界线的下部区域340的亮度平均值为77尼特(nit)、亮度方差为103。测定部162测定的第三分界线的上部区域350的亮度平均值为76尼特(nit)、亮度方差为2327。测定部162测定的第三分界线的下部区域360的亮度平均值为112尼特(nit)、亮度方差为1851。测定部162测定的第四分界线的上部区域370的亮度平均值为71尼特(nit)、亮度方差为59。测定部162测定的第四分界线的下部区域的亮度平均值为99尼特(nit)、亮度方差为1355。
图4至图7为说明根据本发明实施例的算出部的工作的参照示意图。
图4为说明第一条件下通过第一算出方式算出补正值的工作的参照示意图。
如图4所示，处理器180判断全景式监控影像是否符合第一条件。在此，第一条件可以是全景式监控影像中不包含预定大小的阴影或者除本车辆以外不包含预定大小的物体的情况。并且第一条件可以是各个信道间相邻区域的亮度方差为第一临界值以下，且亮度平均值的比率为第二临界值以下的情况。在此，第一临界值是亮度方差临界值，可以通过实验确定。例如，第一临界值为1600。第二临界值是亮的亮度平均值除以暗的亮度平均值所得出的比率，可以通过实验确定。例如，第二临界值为2。
当符合第一条件时，算出部164通过第一算出方式算出补正值。即，算出部164计算补正值使得相邻区域的亮度平均值一致。第一算出方式是，计算分界线(315、335、355或375)的上部区域(A区域、C区域、E区域或G区域)与下部区域(B区域、D区域、F区域或H区域)之间的算术平均值，用所述算术平均值减去所述上部区域(A区域、C区域、E区域或G区域)或者所述下部区域(B区域、D区域、F区域或H区域)的亮度平均值以算出补正值的方式。
例如，图4的全景式监控影像中第二分界线335的上部区域330(以下称为C区域)的亮度平均值为136、亮度方差为83。第二分界线335的下部区域340(以下称为D区域)的亮度平均值为77、亮度方差为103。
处理器180判断全景式监控影像是否符合第一条件。即，处理器180判断全景式监控影像中是否存在预定大小的阴影或除本车辆以外的预定大小的物体。
并且，处理器180判断C区域330的亮度方差及D区域的亮度方差是否为第一临界值1600以下。在本实施例中，C区域330的亮度方差为83，D区域340的亮度方差为103，因此均为第一临界值以下。
并且，处理器180判断亮度平均值的比率是否为第二临界值2以下。在本实施例中，C区域330的亮度平均值136除以D区域340的亮度平均值77得到的值小于2。从而图4的全景式监控影像中的C区域330及D区域340符合第一条件，补正值可通过第一算出方式算出。
算出部164计算补正值使得C区域330与D区域340的亮度平均值一致。即，算出部164算出C区域330的亮度平均值136及D区域340的亮度平均值77的算术平均值。算出部164从算术平均值减去C区域330的亮度平均值算出C区域330的补正值。算出部164从算术平均值减去D区域340的亮度平均值算出D区域340的补正值。
C区域330的补正值算出结果为(136+77)/2-136＝-29.5。D区域340的补正值算出结果为(136+77)/2-77＝29.5。
图5为说明第二条件下通过第一算出方式算出补正值的工作的参照示意图。
如图5所示，处理器180判断全景式监控影像是否符合第二条件。在此，第二条件可以是第一信道210至第四信道240中至少一个区域布满阴影，并且存在所述阴影的区域所对应的摄像头的增益(Gain)增大，相应区域的亮度上升的情况。并且，可以是各个信道的外部相邻区域的亮度方差为第一临界值以下且各个信道的外部相邻区域的亮度平均值差为第三临界值以下的情况。在此，第一临界值如上所述，第三临界值是预定信道的外部相邻区域之间的亮度平均值的差的绝对值，其可通过实验确定。例如，第三临界值为60。
当符合第二条件时，算出部164通过第一算出方式算出补正值。即，算出部164计算补正值使得相邻区域的亮度平均值一致。
例如，图5的全景式监控影像中第一分界线315的上部区域310(以下称为A区域)的亮度平均值为24、亮度方差为83。第一分界线315的下部区域320(以下称为B区域)的亮度平均值为118、亮度方差为3270。第三分界线355的上部区域350(以下称为E区域)的亮度平均值为72、亮度方差为1406。第三分界线355的下部区域360(以下称为F区域)的亮度平均值为19、亮度方差为548。
处理器180判断全景式监控影像是否符合第二条件。即，处理器180通过判断全景式监控影像中的第一信道210至第四信道240中是否至少有一个布满阴影的区域，以判断摄像头增益(Gain)是否增大。在本实施例中，第三信道230布满阴影，摄像头增益(Gain)增大。
并且，处理器180判断A区域310的亮度方差及F区域360的亮度方差是否为第一临界值1600以下。在本实施例中，A区域310的亮度方差为83，F区域360的亮度方差为548，均为第一临界值以下。
并且，处理器180判断各个信道的外部相邻区域的亮度平均值的差是否为第三临界值60以下。在本实施例中，A区域310的亮度平均值为24，F区域360的亮度平均值为19，因此A区域310的亮度平均值与F区域360亮度平均值的差的绝对值为5，小于第三临界值60。从而图5的全景式监控影像中的A区域310及F区域360符合第二条件，因此通过第一算出方式算出补正值。
算出部164计算B区域320的补正值使得A区域310与B区域320的亮度平均值一致。即，算出A区域310的亮度平均值24与B区域320的亮度平均值118的算术平均值。算出部164从算术平均值减去B区域320的亮度平均值算出B区域320的补正值。B区域320的补正值的算出结果为(24+118)/2-118＝-47。
并且，算出部164计算E区域350的补正值使得E区域350与F区域360的亮度平均值一致。即，算出E区域350的亮度平均值72与F区域360的亮度平均值19的算术平均值。算出部164从算术平均值减去E区域350的亮度平均值算出E区域350的补正值。E区域350的补正值算出结果为(72+19)/2-72＝-26.5。
图6为说明通过第二算出方式算出补正值的工作的参照示意图。
如图6所示，处理器180判断全景式监控影像是否符合第三条件。在此，第三条件可以是第一信道210至第四信道240中两个以上区域布满阴影或者除本车以外还有预定大小的物体的情况。当全景式监控影像符合第三条件时，算出部164通过第二算出方式算出补正值。在此，第二算出方式，是分别将分界线(315、335、355或375)的上部区域(A区域、C区域、E区域或G区域)以及下部区域(B区域、D区域、F区域或H区域)分割成多个区域，算出以所述分界线(315、335、355或375)为基准对称的分割区域间的算术平均值，从所述算术平均值减去所述分割区域的亮度平均值以算出补正值的方式。
处理器180将符合第三条件的区域(Region Of Interest；ROI)划分为多个子ROI。算出部164算出子ROI之间的补正值。
例如，图6的全景式监控影像中，阴影位于A区域310及B区域320。处理器180判断A区域310及B区域320符合第三条件。这种情况下，处理器180将A区域310及B区域320划分为多个子ROI。即，将A区域310划分为A1区域及A2区域。并且，将B区域320划分为B1区域及B2区域。这时，处理器180判断A1区域的亮度方差和B1区域的亮度方差是否为第一临界值以下。之后，处理器180判断A1区域的亮度平均值与B1区域的亮度平均值的比率是否为第二临界值以下。如果A1区域的亮度方差和B1区域的亮度方差为第一临界值以下，且A1区域的亮度平均值和B1区域的亮度平均值的比率为第二临界值以下时，算出A1区域及B1区域的补正值。这里算出补正值的方式等于利用亮度平均值的算术平均算出补正值的第一算出方式。同理，算出A2及B2的补正值。
如果A1区域的亮度方差和B1区域的亮度方差不是第一临界值以下，或者A1区域的亮度平均值及B1区域的亮度平均值的比率不是第二临界值以下，则通过第一算出方式算出补正值。即，对A区域310及B区域320(而不是A1区域及B1区域)，按照图4的说明以第一算出方式算出补正值。
一方面，本实施例中假设子ROI为两个进行了说明，但并不限定于此。
图7为说明根据本发明实施例的以第二算出方式计算补正值时的全景式监控影像的参照示意图。
图7中(a)显示只用第一算出方式进行亮度补正得到的全景式监控影像。图7中(b)显示利用第一算出方式及第二算出方式进行亮度补正得到的全景式监控影像。
如图7中(a)所示全景式监控影像中的车辆前方左侧部分，不需要亮度补正的部分也受到了亮度补正，从而输出的是不清楚的全景式监控影像。相反，如图7中(b)所示全景式监控影像中的车辆前方左侧部分，不需要亮度补正的部分没有受到亮度补正，从而输出的是比较优质的全景式监控影像。
图8为说明根据本发明实施例的适用部的工作的参照示意图。
如图8所示，适用部166将算出部164算出的补正值适用到全景式监控影像中。适用部166可以累积算出部164算出的多个补正值以算出累积平均值，并将所述累积平均值适用到全景式监控影像中。例如，适用部166在累积了算出部164依次算出的十个补正值的状态下计算所述十个补正值的累积平均值，可将所述累积平均值适用到全景式监控影像中。通过适用累积平均值，可以防止全景式监控影像中亮度补正值急剧变化时画面看似闪烁的问题。
适用部166将算出部164算出的各个补正值分别适用到第一信道210、第二信道220、第三信道230及第四信道240。
即，如数学式一所示，在第一信道210中适用部166根据像素x位置将A区域310的补正值与C区域330的补正值的加权平均值(Weighted Mean)作为补正值适用。
【数学式一】
如数学式二所示，在第二信道220中适用部166根据像素x位置将F区域360的补正值与H区域380的补正值的加权平均值(Weighted Mean)作为补正值适用。
【数学式二】
如数学式三所示，在第三信道230中适用部166根据像素y位置将B区域320的补正值与E区域350的补正值的加权平均值(Weighted Mean)作为补正值适用。
【数学式三】
如数学式四所示，在第四信道240中适用部166根据像素y位置将D区域340的补正值与G区域370的补正值的加权平均值(Weighted Mean)作为补正值适用。
【数学式四】
图9为显示根据本发明实施例的AVM工作方法的流程图。
如图9所示，在步骤S910中影像合成部150从第一摄像头110接收第一影像。在此，第一影像是拍摄车辆前方周边得到的影像。在步骤S910中影像合成部150从第二摄像头120接收第二影像。在此，第二影像是拍摄车辆后方周边得到的影像。在步骤S910中影像合成部150从第三摄像头130接收第三影像。在此，第三影像是拍摄车辆左侧方周边得到的影像。在步骤S910中影像合成部150从第四摄像头140接收第四影像。在此，第四影像是拍摄车辆右侧方周边得到的影像。
接收到第一影像、第二影像、第三影像及第四影像的状态下，在步骤S920中影像合成部150合成第一影像、第二影像、第三影像及第四影像生成全景式监控影像。这时全景式监控影像可以是俯视(Top View)影像。在此，影像合成部150可以利用查阅表(Look UpTable)。查阅表是存储有合成影像中的一个像素对应于四个原始影像(第一影像至第四影像)中的哪个像素的对应关系的表。
生成全景式监控影像的状态下，在步骤S930中，测定部162测定全景式监控影像中由于多个影像的合成而生成的各个分界线的上部区域和下部区域亮度平均值及亮度方差。
全景式监控影像包括第一信道210、第二信道220、第三信道230及第四信道240。第一信道210是对应于第一影像的车辆前方影像。第二信道220是对应于第二影像的车辆后方影像。第三信道230是对应于第三影像的车辆左侧方影像。第四信道240是对应于第四影像的车辆右侧方影像。
第一分界线315位于第一信道210与第三信道230之间。第二分界线335位于第一信道210与第四信道240之间。第三分界线355位于第二信道220与第三信道230之间。第四分界线375位于第二信道220与第四信道240之间。
全景式监控影像是从第一摄像头110接收到的第一影像、从第二摄像头120接收到的第二影像、从第三摄像头130接收到的第三影像及从第四摄像头140接收到的第四影像的合成影像，因此难免产生第一分界线315、第二分界线335、第三分界线355及第四分界线375。
测定部162测定由于合成多个所述影像(第一影像至第四影像)而生成的分界线(第一分界线至第四分界线)的上部区域和分界线(第一分界线至第四分界线)的下部区域的亮度平均值及亮度方差。即，测定部162测定第一分界线315的上部区域310(以下简称A区域)及第一分界线315的下部区域320(以下简称B区域)的亮度平均值及亮度方差。测定部162测定第二分界线335的上部区域330(以下简称C区域)及第二分界线335的下部区域340(以下简称D区域)的亮度平均值及亮度方差。测定部162测定第三分界线355的上部区域350(以下简称E区域)及第三分界线355的下部区域360(以下简称F区域)的亮度平均值及亮度方差。测定部162测定第四分界线375的上部区域370(以下简称G区域)及第四分界线375的下部区域380(以下简称H区域)的亮度平均值及亮度方差。
在已测定各个区域的亮度平均值及亮度方差的情况下，在步骤S940中处理器180判断所述各个区域(A区域至H区域)是否符合第一条件。在此，第一条件可以是全景式监控影像中不包含预定大小的阴影或者除本车辆以外不包含预定大小的物体的情况。并且第一条件可以是各个信道间相邻区域的亮度方差为第一临界值以下，且亮度平均值的比率为第二临界值以下的情况。在此，第一临界值是亮度方差临界值，可以通过实验确定。第二临界值是亮的亮度平均值除以暗的亮度平均值得出的比率，可以通过实验确定。
当预定区域符合第一条件时，在步骤S953中处理部180判断各个所述区域(A区域至H区域)是否符合第三条件。在此第三条件可以是第一信道210至第四信道中两个以上区域存在阴影或者除本车以外还有预定大小的物体的情况。
当预定区域符合第三条件时，算出部164通过第二算出方式算出补正值。通过第二算出方式算出补正值的详细说明与参照图6说明的内容相同。
当步骤S953中不符合第三条件时，在步骤S950中算出部164通过第一算出方式算出各个区域的补正值。即，算出部164计算补正值使得相邻区域的亮度平均值相同。在第一条件下通过第一算出方式算出补正值的详细说明与参照图4说明的内容相同。
当步骤S940中不符合第一条件时，在步骤S952中处理器180判断各个所述区域(A区域至H区域)是否符合第二条件。在此，第二条件可以是第一信道210至第四信道240中至少一个区域布满阴影，并且存在所述阴影区域所对应的摄像头的增益(Gain)增大，相应区域的亮度上升的情况。并且，可以是各个信道的外部相邻区域的亮度方差为第一临界值以下且各个信道的外部相邻区域的亮度平均值差为第三临界值以下的情况。在此，第一临界值如上所述，第三临界值是预定信道的外部相邻区域间亮度平均值的差的绝对值，可通过实验确定。
当预定区域符合第二条件时，在步骤S950中算出部164通过第一算出方式算出各个区域的补正值。在第二条件下通过第一算出方式算出补正值的详细说明与参照图5说明的内容相同。
通过第一算出方式或者第二算出方式算出补正值的状态下，在步骤S970中适用部166计算补正值的累积平均值。
之后在步骤S980中，适用部166将补正值分别适用到第一信道210、第二信道220、第三信道230及第四信道240。
以上说明了本发明优选的实施例，但本发明并不限定于上述特定的实施例，本发明所属领域的普通技术人员应该理解在不脱离本发明技术方案的范围内可对本发明进行多种变形，并且这种变形实施不应理解为脱离本发明的技术方案。

Claims (11)

1.一种全景式监控影像装置，其特征在于，包括：
多个摄像头，其设置于车辆；
影像合成部，其从所述多个摄像头分别接收多个影像，合成所述多个影像生成全景式监控影像；
亮度补正部，其接收所述全景式监控影像，基于所述全景式监控影像中各个区域的亮度平均值及亮度方差补正所述全景式监控影像的亮度并输出；以及
影像显示部，其显示亮度经过补正的所述全景式监控影像，
所述亮度补正部包括：
测定部，其测定所述全景式监控影像中由于所述多个影像的合成而产生的各分界线的上部区域和下部区域的亮度平均值及亮度方差；
算出部，其利用所述亮度平均值及亮度方差，根据第一算出方式或第二算出方式算出所述全景式监控影像的亮度补正值；以及
适用部，其将算出的所述亮度补正值适用到所述全景式监控影像，
所述适用部将所述算出部算出的多个补正值的累积平均值适用到所述全景式监控影像中，
所述第一算出方式是，算出所述上部区域和所述下部区域之间的算术平均值，并从所述算术平均值减去所述上部区域或所述下部区域的亮度平均值算出所述补正值，
所述第二算出方式是，分别将所述上部区域及所述下部区域分割成多个区域，算出以所述分界线为基准对称的分割的区域间的算术平均值，并从所述算术平均值减去分割的所述区域的亮度平均值算出所述补正值。
2.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述多个摄像头包括：
第一摄像头，其设置于所述车辆的前方；
第二摄像头，其设置于所述车辆的后方；
第三摄像头，其设置于所述车辆的左侧方；以及
第四摄像头，其设置于所述车辆的右侧方；
多个所述影像包括：
第一影像，其接收于所述第一摄像头；
第二影像，其接收于所述第二摄像头；
第三影像，其接收于所述第三摄像头；以及
第四影像，其接收于所述第四摄像头。
3.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述影像合成部利用查阅表合成各所述影像并以全景式监控影像输出。
4.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述算出部根据以所述全景式监控影像中的阴影或所述车辆以外的物体为基准区分的所述第一算出方式或所述第二算出方式算出所述补正值。
5.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述算出部对所述全景式监控影像每六帧计算一次补正值。
6.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述累积平均值是在所述补正值累积十次的状态下算出的。
7.根据权利要求1所述的全景式监控影像装置，其特征在于：
所述适用部将所述算出部算出的补正值分别适用到从设置在所述车辆的前方的第一摄像头接收到的第一影像、从设置在所述车辆的后方的第二摄像头接收到的第二影像、从设置在所述车辆的左侧方的第三摄像头接收到的第三影像及从设置在所述车辆的右侧方的第四摄像头接收到的第四影像。
8.一种全景式监控影像装置的工作方法，其特征在于，包括：
从设置于车辆的多个摄像头分别接收多个影像的步骤；
合成所述多个影像生成全景式监控影像的步骤；
测定所述全景式监控影像中各个区域的亮度平均值及亮度方差的步骤；
基于测定的所述亮度平均值及亮度方差算出所述全景式监控影像的亮度补正值的步骤；以及
将所述亮度补正值适用到全景式监控影像中的步骤，
测定各个区域的亮度平均值及亮度方差的所述步骤具体是，测定所述全景式监控影像中由于所述多个影像的合成而出现的各个分界线的上部区域和下部区域的亮度平均值及亮度方差，
算出所述全景式监控影像的亮度补正值的所述步骤具体是，根据以所述全景式监控影像中的阴影或所述车辆以外的物体为基准区分的第一算出方式或第二算出方式算出所述补正值，
将所述亮度补正值适用到全景式监控影像中的所述步骤具体是，将算出亮度补正值的所述步骤算出的多个补正值的累积平均值适用到所述全景式监控影像中，
所述第一算出方式是，算出所述上部区域和所述下部区域之间的算术平均值，并从所述算术平均值减去所述上部区域或所述下部区域的亮度平均值算出所述补正值，
所述第二算出方式是，分别将所述上部区域及所述下部区域分割成多个区域，算出以所述分界线为基准对称的分割的区域间的算术平均值，并从所述算术平均值减去所述分割的区域的亮度平均值算出所述补正值。
9.根据权利要求8所述的全景式监控影像装置的工作方法，其特征在于：
所述多个摄像头包括：
第一摄像头，其设置于所述车辆的前方；
第二摄像头，其设置于所述车辆的后方；
第三摄像头，其设置于所述车辆的左侧方；以及
第四摄像头，其设置于所述车辆的右侧方；
所述多个影像包括：
第一影像，其接收于所述第一摄像头；
第二影像，其接收于所述第二摄像头；
第三影像，其接收于所述第三摄像头；以及
第四影像，其接收于所述第四摄像头。
10.根据权利要求8所述的全景式监控影像装置的工作方法，其特征在于：
生成全景式监控影像的所述步骤具体是，利用查阅表合成各个所述影像，以生成全景式监控影像。
11.根据权利要求8所述的全景式监控影像装置的工作方法，其特征在于：
所述累积平均值是在所述补正值累积十次的状态下算出的。
CN201410641588.9A 2014-06-13 2014-11-07 全景式监控影像装置及其工作方法 Active CN105196917B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140072289A KR101610038B1 (ko) 2014-06-13 2014-06-13 Avm 장치 및 동작 방법
KR10-2014-0072289 2014-06-13

Publications (2)

Publication Number Publication Date
CN105196917A CN105196917A (zh) 2015-12-30
CN105196917B true CN105196917B (zh) 2018-03-20

Family

ID=54835460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410641588.9A Active CN105196917B (zh) 2014-06-13 2014-11-07 全景式监控影像装置及其工作方法

Country Status (3)

Country Link
US (1) US9669761B2 (zh)
KR (1) KR101610038B1 (zh)
CN (1) CN105196917B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법
JP6565795B2 (ja) * 2016-05-31 2019-08-28 株式会社デンソー 表示装置
EP3512195A1 (en) * 2016-09-08 2019-07-17 LG Innotek Co., Ltd. Method for displaying image in multi-view mode
WO2018048167A1 (ko) * 2016-09-08 2018-03-15 엘지이노텍(주) 다중 뷰 모드에서의 영상 디스플레이 방법
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
KR102508984B1 (ko) * 2017-09-22 2023-03-13 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
CN107745677A (zh) * 2017-09-30 2018-03-02 东南（福建）汽车工业有限公司 一种基于3d全景影像系统的4d车底透明系统的方法
FR3116351B1 (fr) * 2020-11-18 2023-06-16 Thales Sa Dispositif d'affichage tête haute porté et procédé d'affichage associé
FR3117256B1 (fr) * 2020-12-04 2022-12-16 Thales Sa Procédé de sécurisation d'un véhicule comprenant un afficheur, dispositif électronique de sécurisation et produit programme d'ordinateur associé
CN114007063A (zh) * 2021-10-29 2022-02-01 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的测试系统及方法
CN114429761B (zh) * 2022-04-01 2022-06-03 南京有物信息科技有限公司 适用于多终端的显示控制方法、装置及系统
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN117319805B (zh) * 2023-11-30 2024-03-01 广汽埃安新能源汽车股份有限公司 一种车辆全景图像的亮度补偿方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236603A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视方法
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法
JP2011250376A (ja) * 2010-05-31 2011-12-08 Clarion Co Ltd 車両周辺映像表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69523043T2 (de) * 1994-12-22 2002-06-20 Koninklijke Philips Electronics N.V., Eindhoven Zusammenstellung eines bildes aus teilbildern
EP0776570B1 (en) * 1995-06-16 2001-04-11 Koninklijke Philips Electronics N.V. Composing an image from sub-images
JP3233601B2 (ja) * 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
AU2003226047A1 (en) * 2002-04-10 2003-10-27 Pan-X Imaging, Inc. A digital imaging system
US20050025313A1 (en) * 2003-06-19 2005-02-03 Wachtel Robert A. Digital imaging system for creating a wide-angle image from multiple narrow angle images
JP4739122B2 (ja) * 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
JP4608509B2 (ja) * 2007-03-14 2011-01-12 セイコーエプソン株式会社 合成ルックアップテーブル作成装置、合成ルックアップテーブル作成方法および印刷装置
US20090179916A1 (en) * 2008-01-10 2009-07-16 Williams Steven A Method and apparatus for calibrating a video display overlay
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
KR20110088680A (ko) 2010-01-29 2011-08-04 (주) 에투시스템 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
KR101763775B1 (ko) 2011-09-09 2017-08-01 현대모비스 주식회사 Ａｖｍ시스템 정보와 ａｖｎ시스템 정보의 표시 방법
KR101683923B1 (ko) * 2011-10-14 2016-12-08 현대자동차주식회사 Ａｖｍ 영상 왜곡 자동 보정 방법
KR20130125111A (ko) 2012-05-08 2013-11-18 현대모비스 주식회사 어라운드뷰 시스템 및 그 영상 밝기 보정 방법
KR102062921B1 (ko) * 2013-05-14 2020-01-06 현대모비스 주식회사 다수 영상의 밝기 균일화 방법
KR101497933B1 (ko) * 2013-08-19 2015-03-03 현대모비스(주) 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236603A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视方法
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法
JP2011250376A (ja) * 2010-05-31 2011-12-08 Clarion Co Ltd 車両周辺映像表示装置

Also Published As

Publication number Publication date
KR101610038B1 (ko) 2016-04-07
KR20150143144A (ko) 2015-12-23
US9669761B2 (en) 2017-06-06
CN105196917A (zh) 2015-12-30
US20150360612A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
CN105196917B (zh) 全景式监控影像装置及其工作方法
US20210073942A1 (en) Image processing device, imaging system provided therewith, and calibration method
US11184531B2 (en) Dynamic image blending for multiple-camera vehicle systems
US10540791B2 (en) Image processing apparatus, and image processing method for performing scaling processing based on image characteristics
JP2016208307A (ja) 画像処理装置、その制御方法及びプログラム
US8462267B2 (en) Frame rate conversion apparatus and frame rate conversion method
US9756306B2 (en) Artifact reduction method and apparatus and image processing method and apparatus
JP2011250376A (ja) 車両周辺映像表示装置
JP2011250394A (ja) 画像処理装置及びその制御方法
US20230232103A1 (en) Image processing device, image display system, method, and program
JP2018093427A (ja) 車載用投影装置
US9613597B2 (en) Apparatus and method for image compositing based on detected presence or absence of base image
EP2897358B1 (en) Method and apparatus for de-interlacing video
US20060244844A1 (en) Image generating apparatus for vehicles and method of the same
CN109906602B (zh) 图像匹配方法及装置
US20120098942A1 (en) Frame Rate Conversion For Stereoscopic Video
WO2011155228A1 (ja) 画像表示装置
KR20160051129A (ko) 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
EP3089447A1 (en) Image processing device, warning apparatus, and image processing method
EP1903803A3 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
KR20130029962A (ko) 차량용 영상 표시 장치 및 차량용 카메라로부터 입력된 급격한 영상 변화 표시 방법
JP2012100066A (ja) 撮像装置
JP2011181019A (ja) 俯瞰画像生成装置
WO2016129241A1 (ja) 表示制御装置及び表示システム
JP6655973B2 (ja) 車載表示制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant