CN111937380A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN111937380A
CN111937380A CN201980024142.2A CN201980024142A CN111937380A CN 111937380 A CN111937380 A CN 111937380A CN 201980024142 A CN201980024142 A CN 201980024142A CN 111937380 A CN111937380 A CN 111937380A
Authority
CN
China
Prior art keywords
region
luminance
image
interest
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980024142.2A
Other languages
English (en)
Other versions
CN111937380B (zh
Inventor
山本欣司
渡边一矢
福岛逸子
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111937380A publication Critical patent/CN111937380A/zh
Application granted granted Critical
Publication of CN111937380B publication Critical patent/CN111937380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Abstract

图像处理装置具备：取得部，其取得多个图像信息；判定部，其在包含于车辆的侧方图像信息的车辆前方区域内的第一关注区域的亮度为第一规定值以上、且包含于侧方图像信息的车辆后方区域内的第二关注区域的亮度与第一关注区域的亮度之间的差为第二规定值以上时，判定为特定亮度状态；第一设定部，其在特定亮度状态时，根据车辆前方区域的亮度确定用来将第一关注区域的亮度变为第一目标亮度的第一校正值，根据拍摄车辆的后方而得的后方图像信息的亮度确定用来第二关注区域的亮度变为第二目标亮度的第二校正值；以及第二设定部，其基于第一校正值和第二校正值，设定用来校正第一关注区域和第二关注区域之间的区域的亮度的个别校正值。

Description

图像处理装置
技术领域
本发明的实施方式涉及图像处理装置。
背景技术
以往，公知有一种图像处理装置：通过设置在车辆上的多个拍摄部(照相机)，分别在不同方向上拍摄车辆周围的状况，对拍摄到的多个图像进行图像处理(例如视点转换)，并连接各图像而生成周边图像(例如俯视图像)。在这样的图像处理装置中，存在因为拍摄部的安装位置或摄影(拍摄)方向、拍摄时间段、有没有点亮前照灯、以及每个拍摄部的光圈调整程度差等而各拍摄部所拍摄到的图像的光亮度(亮度)产生偏差的情况。其结果，拼接生成出的周边图像的光亮度根据方向而不同，存在成为拼接位置的亮度差明显且有不协调感的图像的情况。由此，提出有基于多个图像的平均亮度校正整个画面的亮度、或计算前方图像的四个部位的亮度平均值并调整其他图像的亮度、以及使用前后图像的亮度平均值校正侧方图像的亮度等的技术。
专利文献1：日本专利第5464741号公报
专利文献2：日本专利第5684144号公报
专利文献3：日本专利第6115104号公报
发明内容
但是，各拍摄部在如上所述的拍摄时会分别进行光圈调整(增益调整)，基于车辆周围的状况，会在各拍摄图像存在被拍摄区域的光亮度(亮度)差异较大的情况。例如，在夜间，在车辆的周围存在街灯或其他车的照明等灯光的情况下，各拍摄部的光圈调整的差别不会极大。另一方面，在夜间，在车辆(本车)单独存在于没有照明的地方、且本车的前照灯点亮的情况下，车辆前方因为前照灯而被拍摄区域的整体足够明亮，因此光圈值变大，图像整体的亮度被降低。反过来，车辆侧方的因为车辆前方侧的前照灯而明亮的部分以外的部分非常暗。其结果，侧方图像的被拍摄区域整体来说被视为暗，光圈值变小，图像整体的亮度被提高。其结果，原本因为前照灯的影响而明亮的部分变得更亮。在这种状况下，如果如以往那样使用平均亮度等来生成拼接多个图像而成的周边图像，则侧方图像的前方部分的明亮部分以变暗的方式被校正，存在侧方(特别是侧方前方区域)的目视确认性下降的情况。因此，提供一种在拼接多个图像来显示周边图像的情况下，能够适当地判定车辆的周围的状况来适当地进行亮度校正，以使图像内容的识别变得容易的图像处理装置是有意义的。
本发明的实施方式所涉及的图像处理装置，例如，具备：取得部，其取得由设置在车辆上的多个拍摄部作为上述车辆的周边状况而拍摄到的多个图像信息；判定部，其在拍摄上述车辆的侧方而得的侧方图像信息中的、包含于上述侧方图像信息的车辆前方区域内的第一关注区域的亮度为第一规定值以上、且包含于上述侧方图像信息的车辆后方区域内的第二关注区域的亮度与上述第一关注区域的亮度之间的差为第二规定值以上时，判定为特定亮度状态；第一设定部，其在判定为上述特定亮度状态时，根据上述车辆前方区域的亮度确定用来将上述第一关注区域的亮度变为第一目标亮度的第一校正值，并且根据拍摄上述车辆的后方而得的后方图像信息的亮度确定用来将包含于上述车辆后方区域的第二关注区域的亮度变为第二目标亮度的第二校正值；以及第二设定部，其基于上述第一校正值和上述第二校正值，设定用来校正上述第一关注区域和上述第二关注区域之间的区域的亮度的个别校正值。根据该结构，例如，能够使用拍摄图像适当地判定车辆所在的状况为：本车周围黑暗、本车前方特别明亮(第一规定值以上的亮度)的特定亮度状态。其结果，根据车辆的当前的周围状况能够适当地实施亮度校正，在拼接多个图像来显示周边图像的情况下，能够提供可容易识别图像内容的图像。
本发明的实施方式所涉及的图像处理装置的上述第一设定部，例如，也可以在确定上述第一校正值时，将上述第一目标亮度定为上述第一关注区域的亮度。根据该结构，由于例如第一目标亮度直接利用拍摄部拍摄到的图像的亮度，因此易于使侧方图像的前方侧的图像内容维持拍摄时的内容，在拼接多个图像来生成周边图像的情况下，能够使图像内容的识别变得容易。
本发明的实施方式所涉及的图像处理装置的上述第一设定部，例如，也可以在确定上述第一校正值时，将上述第一关注区域移动到位于上述第一关注区域周边且亮度低于上述第一规定值的区域，并将该区域的亮度作为上述第一目标亮度。根据该结构，例如，在侧方图像信息的前方区域存在比第一规定值更亮的亮度的区域的情况下，由于基于在该明亮部分的周边且低于第一规定值的部分的亮度确定第一校正值，因此不实施对第一规定值以上的明亮区域的校正，而且对于除此之外的实施校正的侧方区域，能够抑制图像极端变暗。其结果，能够使拼接多个图像而成的周边图像的图像内容的识别变得容易。
本发明的实施方式所涉及的图像处理装置的上述第一设定部，例如，也可以在在确定上述第二校正值时，将上述第二目标亮度定为预先设定的规定的目标亮度。根据该结构，例如，在处于本车的周围黑暗、本车的前方特别明亮的特定亮度状态的情况下，也能够容易地确定本车后方的光亮度，因此能够容易地提高后方图像的图像内容的识别性。
本发明的实施方式所涉及的图像处理装置的上述判定部，例如，也可以将上述第一关注区域设定在上述侧方图像信息的上述车辆前方区域与拍摄上述车辆的前方而得的前方图像信息部分重复的第一重复区域内，将上述第二关注区域设定在上述侧方图像信息的上述车辆后方区域与上述后方图像信息部分重复的第二重复区域内。根据该结构，例如，在对多个图像实施亮度校正的情况下，在进行是否为特定亮度状态的判定处理时、和进行亮度校正处理时，能够利用共同的关注区域，有助于减轻图像处理的负荷。
附图说明
图1是表示能够搭载实施方式所涉及的图像处理装置的车辆的一个示例的示意性俯视图。
图2是包含实施方式所涉及的图像处理装置的图像处理系统的结构的例示性框图。
图3是实施方式所涉及的图像处理装置的CPU的结构的例示性框图。
图4是说明由各拍摄部拍摄的被拍摄区域和其重复区域的俯瞰性示意图。
图5是表示在实施方式所涉及的图像处理装置作为处理对象的源图像的亮度分布和关注区域(ROI：Region of Interest)的设定位置的一个示例的示意图。
图6是说明在实施方式所涉及的图像处理装置，在车辆周围的状态为通常亮度状态时使用固定的目标亮度进行亮度修正的情况下的处理的流程的一个示例的流程图。
图7是例示性地说明实施方式所涉及的图像处理装置的处理部分的图，是表示将车辆前方的被拍摄区域的关注区域的亮度校正到固定的目标亮度的、与该校正对应的直线内插算式的示意图。
图8是说明基于由图7的直线内插算式设定的亮度实施校正的情况的图，是表示车辆前方的被拍摄区域的校正前后的亮度状态的变化例的示意图。
图9是例示性地说明实施方式所涉及的图像处理装置的处理部分的图，是表示将车辆侧方的被拍摄区域的关注区域的亮度校正到固定的目标亮度的、与该校正对应的直线内插算式的示意图。
图10是表示在对车辆周围的被拍摄区域进行亮度校正的情况下生成的周边图像的亮度状态的一个示例的示意图。
图11是表示在实施方式所涉及的图像处理装置中，在进行亮度校正的情况下所使用的直线内插算式的斜率过大的示例的示意图。
图12是说明在图11的情况下，直线内插算式的斜率的校正例的示意图。
图13是表示在实施方式所涉及的图像处理装置中，在进行亮度校正时校正量过大的情况下，基于校正上限值限制校正量的示例的示意图。
图14是表示说明使用了γ曲线的系数的亮度的线性插值时的输入亮度和输出亮度的关系的一个示例的示意图。
图15是表示说明使用了γ曲线的系数的亮度的线性插值时的输入亮度和输出亮度的其他关系的示例的示意图。
图16是表示使用图14及图15的γ曲线的系数生成的线性插值算式的示意图。
图17是说明在实施方式所涉及的图像处理装置中，在车辆周围的状态为通常亮度状态时，使用规定的值(固定值)实施直线内插算式校正(提亮校正)，并实施亮度校正时的处理的流程的一个示例的流程图。
图18是说明进行图17所示的图像处理时，校正前的直线内插算式的示例的图，是说明使用一对关注区域的平均值确定车辆前方的被拍摄区域的关注区域的目标亮度的情况的示意图。
图19是表示基于规定的值(调整值)校正(提亮校正)图18所示的直线内插算式的示例的示意图。
图20是说明基于图19所示的校正后的直线内插算式进行前方的被拍摄区域的亮度设定以及基于相同的方法进行后方的被拍摄区域的亮度设定之后，进行侧方的被拍摄区域的亮度设定的示例的示意图。
图21是说明在实施方式所涉及的图像处理装置中，在实施车辆周围的状态是否为特定亮度状态的判定之后，实施亮度校正的情况下的处理的流程的一个示例的流程图。
图22是例示性表示在本实施方式所涉及的图像处理装置，在能够判定的特定亮度状态时的前方图像及后方图像的关注区域的亮度的示意图。
图23是例示性表示在本实施方式所涉及的图像处理装置，在能够判定的特定亮度状态时的左右的侧方图像的关注区域的亮度的示意图。
图24是说明在实施方式所涉及的图像处理装置中，车辆周围的状态为特定亮度状态时的亮度校正的一个示例的示意图。
具体实施方式
以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构，以及由该结构带来的作用，结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现，并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
图1是搭载本实施方式的图像处理装置的车辆10的示意性俯视图。车辆10，例如可以是以内燃机(发动机，未图示)为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达，未图示)为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是以上述两者为驱动源的汽车(混合动力汽车)。此外，车辆10能够搭载各种变速装置，并且能搭载用于驱动内燃机或电动机所需的各种装置(系统、零部件等)。此外，车辆10中与车轮12(前轮12F、后轮12R)的驱动相关的装置的方式、个数和布局等，能够进行各种设定。
如图1所示，在车辆10中，作为多个拍摄部14设置有例如四个拍摄部14a～14d。拍摄部14是例如内置有CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOS ImageSensor，CMOS图像传感器)等摄像元件的数字摄像头。拍摄部14能够以规定的帧率输出动态图像数据(拍摄图像数据、图像信息)。拍摄部14分别具有广角透镜或者鱼眼透镜，在水平方向上能够拍摄例如140°～220°的范围(被拍摄区域)。此外，拍摄部14的光轴设定为朝向斜下方。从而，拍摄部14依次拍摄包含车辆10能够在其上移动的路面及画在路面上的标志(包含箭头或区划线、表示停车空间的线、车道分界线等)或者物体(例如行人、车辆等)的车辆10外部的周边环境，并作为拍摄图像数据输出。
拍摄部14设置于车辆10的外周部。拍摄部14a设置在例如车辆10的前侧、即车辆前后方向的前方侧的车宽方向的大致中央的端部、例如前保险杠10a或前格栅等上，能够拍摄包含车辆10的前端部(例如前保险杠10a)的前方图像(前方的被拍摄区域)。此外，拍摄部14b设置在例如车辆10的左侧的端部、例如左侧的车门后视镜10b上，能够拍摄包含以车辆10的左侧方为中心的区域(例如从左前方到左后方的区域)的左侧方图像(左侧方的被拍摄区域)。此外，拍摄部14c设置在例如车辆10的右侧的端部、例如右侧的车门后视镜10c上，能够拍摄包含以车辆10的右侧方为中心的区域(例如从右前方到右后方的区域)的右侧方图像(右侧方的被拍摄区域)。此外，拍摄部14d设置在车辆10的后侧、即车辆前后方向的后方侧的车宽方向的大致中央的端部、例如后保险杠10d的上方位置上，能够拍摄包含车辆10的后端部(例如后保险杠10d)的后方图像(后方的被拍摄区域)。
本实施方式的图像处理装置基于由多个拍摄部14获得的拍摄图像数据来进行计算处理或者图像处理，由此，能够生成视角更广的图像，也能够生成从上方、前方、侧方等观察车辆10的虚拟图像(俯视图像(平面图像)或者侧视图像、正视图像等)。此外，在各拍摄部14拍摄的拍摄图像数据(图像)中，设置有相互重复的重复区域，以免在拼接图像时产生缺失区域。例如，拍摄部14a所拍摄到的拍摄图像数据的车宽方向左侧的端部区域和拍摄部14b所拍摄到的拍摄图像数据的车辆前后方向中的前方侧的端部区域重复。接着，实施拼接两个图像(合成)的处理。同样地，前方图像和右侧方图像、左侧方图像和后方图像、以及后方图像和右侧方图像也设置有重复区域，并实施拼接两个图像(合成)的处理。
图2是包含搭载于车辆10的图像处理装置的图像处理系统100的结构的例示性框图。在车辆10的车室内设置有显示装置16或声音输出装置18。显示装置16例如是LCD(Liquid Crystal Display，液晶显示器)或OELD(Organic ElectroLuminescent Display，有机电致发光显示器)等。声音输出装置18例如是扬声器。此外，显示装置16例如由触摸面板等透明的操作输入部20覆盖。乘车人员(例如，驾驶员)能够透过操作输入部20目视确认显示在显示装置16的显示画面上的图像。此外，乘车人员通过在与显示在显示装置16的显示画面上的图像对应的位置以手指等对操作输入部20进行触碰、按压或划动等来进行操作，能够实施操作输入。上述显示装置16、声音输出装置18、操作输入部20等设置在例如车辆10的前围板的车宽方向即左右方向的中央部的监控装置22上。监控装置22可以具有开关、旋钮、控制杆、按钮等的未图示的操作输入部。监控装置22例如可以兼用于导航系统或音响系统。
此外，如图2所示，图像处理系统100(图像处理装置)除了拍摄部14(14a～14d)和监控装置22之外，还包含ECU24(Electronic Control Unit，电子控制单元)。在图像处理系统100(图像处理装置)中，ECU24与监控装置22通过作为电信线路的车内网络26电连接。车内网络26例如构成为CAN(Controller Area Network，控制器区域网络)。ECU24通过车内网络26传送控制信号，由此能够实施各种系统的控制。此外，ECU24通过车内网络26，能够接收操作输入部20及各种开关的操作信号等、以及省略了图示的各种传感器的检测信号等。
ECU24将与基于从拍摄部14所取得的拍摄图像数据而生成出的周边图像或声音相关的数据发送至监控装置22。ECU24例如具有：CPU24a(Central Processing Unit，中央处理单元)、ROM24b(Read Only Memory，只读存储器)、RAM24c(Random Access Memory，随机存取存储器)、显示控制部24d、声音控制部24e、以及SSD24f(Solid State Drive，固态硬盘；Flash Memory，快闪存储器)等。
CPU24a读取在ROM24b等非易失性的存储装置中存储(安装)的程序，并按照该程序实施计算处理。ROM24b存储各程序及实施程序所需的参数等。CPU24a例如，包含如图3所示的各种模块，实施与在显示装置16显示的图像相关的处理。例如，作为处理的一个示例，CPU24a对拍摄部14拍摄到的拍摄图像数据实施校正处理、计算处理、以及图像处理等，生成拼接多个图像而成的周边图像(例如，俯视图像)。CPU24a的细节在后文详述。
RAM24c临时存储CPU24a上的计算所使用的各种数据。此外，显示控制部24d在ECU24上的计算处理中，主要实施在显示装置16显示的显示用图像的数据变换等。此外，声音控制部24e在ECU24上的计算处理中，主要实施在声音输出装置18输出的声音数据的处理。SSD24f是可擦写的非易失性存储装置，即使在ECU24的电源被断开的情况下也能够存储数据。此外，CPU24a、ROM24b、RAM24c等可以集成在同一个封装内。此外，ECU24也可以是使用DSP(Digital Signal Processor，数字信号处理器)等其他逻辑计算处理器或逻辑电路等来取代CPU24a的结构。此外，也可以设置HDD(Hard Disk Drive，硬盘驱动器)来代替SSD24f，并且SSD24f或HDD也可以与ECU24分开设置。
在本实施方式中，ECU24通过硬件与软件(控制程序)的协作，来管理在显示装置16显示的图像的图像生成处理。ECU24对拍摄部14拍摄到的拍摄图像数据(图像)实施图像处理，例如视点转换处理等，并在显示到显示装置16时，进行图像的亮度校正。在拼接前后左右的图像的情况下，ECU24能够抑制由亮度差导致的图像之间的连续性下降的不良，以及图像整体或局部变得过亮和反过来变得过暗的情形，能够抑制图像整体(通过拼接生成的周边图像、俯视图像)的目视确认性的下降。
图3是在ECU24所包含的CPU24a中，用来实现本实施方式的图像处理的结构的例示性框图。此外，在CPU24a中除了实施本实施方式的图像处理的结构以外，省略了图示。CPU24a具备用来实施包含上述那样的亮度校正的图像处理的各种模块。各种模块可以通过CPU24a读取安装并存储在ROM24b等存储装置的程序并将其运行来实现。例如，如图3所示，CPU24a具备：取得部28、关注区域设定部30、特定模式判定部31、第1设定部32(第一设定部)、以及第2设定部34(第二设定部)等。此外、第1设定部32包含固定值设定部32a、固定值加算设定部32b、以及特定模式校正部32c等。此外，第2设定部34包含线性插值部34a、斜率设定部34b、γ曲线系数计算部34c、以及亮度设定部34d等。
取得部28经由显示控制部24d取得各拍摄部14拍摄到的图像。各拍摄部14(14a～14d)能够拍摄如图4所示的被拍摄区域36。其中，各被拍摄区域36包含如上所述的分别与邻接的被拍摄区域36部分重叠的重复区域38。被拍摄区域36中的车辆10的前方的被拍摄区域36F的车宽方向左侧与车辆10的左侧方的被拍摄区域36SL的车辆前方侧之间形成重复区域38FL。被拍摄区域36中的被拍摄区域36SL的车辆后方侧与车辆10的后方的被拍摄区域36R的车宽方向左侧之间形成重复区域38RL。被拍摄区域36中的被拍摄区域36R的车宽方向右侧与车辆10的右侧方的被拍摄区域36SR的车辆后方侧之间形成重复区域38RR。还有，被拍摄区域36中的被拍摄区域36SR的车辆前方侧与被拍摄区域36F的车宽方向右侧之间形成重复区域38FR。各拍摄部14可以对拍摄到的拍摄图像数据按拍摄部14分别附加识别符号并输出至取得部28，也可以是，在取得部28侧对所取得的每个拍摄图像数据分别附加识别输出源的识别符号。
此外，在本实施方式中，例如，在着眼于被拍摄区域36F进行处理的情况下，存在将夹着车辆10而相互间隔开的一对被拍摄区域36(例如，被拍摄区域36F和被拍摄区域36R)中的一方(例如被拍摄区域36F)称为第一被拍摄区域的情况。此外，存在将与第一被拍摄区域邻接的一对被拍摄区域36(例如，被拍摄区域36SL和被拍摄区域36SR)中的一方称为第二被拍摄区域(例如，被拍摄区域36SL)的情况。并且，存在将第一被拍摄区域与第二被拍摄区域重叠的重复区域38(重复区域38FL)称为第一重复区域的情况。同样地，存在将与第一被拍摄区域邻接的一对被拍摄区域36(例如，被拍摄区域36SL和被拍摄区域36SR)中的另一方称为第三被拍摄区域(例如，被拍摄区域36SR)的情况。并且，存在将第一被拍摄区域与第三被拍摄区域重叠的重复区域38(重复区域38FR)称为第二重复区域的情况。此外，也可以将被拍摄区域36SL和被拍摄区域36SR作为夹着车辆10而相互间隔开的一对被拍摄区域36。在这种情况下，第二被拍摄区域为被拍摄区域36F和被拍摄区域36R中的某一方，另一方成为第三被拍摄区域。
如图5所示，关注区域设定部30对取得部28所取得的被拍摄区域36的每个重复区域38分别设定进行亮度调整时参照的关注区域40(40FL，40RL，40RR，40FR)。关注区域40是在车辆10的车宽方向和前后方向具有规定的长度的、例如为矩形的区域，关注区域40的亮度为关注区域40所包含的各像素的亮度的例如平均值。此外，在本实施方式中，在确定关注区域40的位置时，其位置为例如关注区域40的中心位置(车宽方向和前后方向的中心点)。
此外，各拍摄部14在拍摄时自动进行光圈调整(增益调整)，由此进行各被拍摄区域36的光亮度调整(亮度调整)。其结果，在被拍摄区域36中大量存在亮区域的情况下，光圈值增大，拍摄到光亮度被抑制的较暗的图像。反过来，在被拍摄区域36中大量存在暗区域的情况下，光圈值变小，拍摄到光亮度被提高的较亮的图像。因此，如图5所示，例如在重复区域38FL所包含的关注区域40FL中，存在与被拍摄区域36F侧的关注区域40FL对应的部分和与被拍摄区域36SL侧的关注区域40FL对应的部分的光亮度(亮度)不同的情况。例如，在图5中，在以0～255的256阶(“0”为暗，“255”为亮)表示亮度的情况下，对于重复区域38FL所包含的关注区域40FL，例如被拍摄区域36F侧的亮度为“250”即亮，被拍摄区域36SL侧的亮度为“100”即比被拍摄区域36F侧暗。此外，在图5中，标记为“100”等的数字表示亮度。此外，在其他图中，也存在标记在关注区域40中的数字表示亮度的情况。此外，关注区域设定部30也可以将关注区域40的设定位置设定为预先设定的位置，还可以根据被拍摄区域36的亮度分布变更设定位置。
特定模式判定部31判定车辆10周围的光亮度的状态是“通常亮度状态”还是“特定亮度状态”。“通常亮度状态”是指各图像之间的亮度不会产生较大差别的状态。例如，在车辆10周围明亮或者存在合适的照明等的灯光的情况下，由各拍摄部14拍摄的图像的亮度的差别不会太大。例如，如果是白天，由于存在阴影等，在各图像之间产生亮度差，不过，即使进行了光圈调整，在图像之间也不会产生较大亮度差。同样地，在夜间的情况下，在车辆10周围存在街灯或其他车的前照灯等灯光的情况下，即使进行了光圈调整，也不会产生各图像之间的亮度的较大差别。另一方面，“特定亮度状态”是指易于产生各图像之间的亮度的较大差别的状态。例如，在夜间等周围完全暗的状态时，在周围不存在街灯或其他车的照明的地方(例如，夜间的山里)，车辆10点亮前照灯且单独存在情况下，仅车辆10前方侧亮，车辆10后方侧暗，且其亮度差会非常大。
特定模式判定部31在车辆10的侧方图像(被拍摄区域36SL或被拍摄区域36SR的图像)的拍摄时的亮度满足至少两个条件的情况下，判定为是“特定亮度状态”。例如，特定模式判定部31，在拍摄车辆10的侧方而得的侧方图像信息(被拍摄区域36SL或被拍摄区域36SR的图像信息)中的、包含于侧方图像信息(例如，被拍摄区域36SL的图像信息)的车辆前方区域的第一关注区域(例如，关注区域40FL)的亮度为第一规定值(例如，预先设定的目标亮度)以上的情况下，判定为满足了第一条件。此外，在包含于车辆后方区域的第二关注区域(例如，关注区域40RL)的亮度与第一关注区域(例如，关注区域40FL)的亮度之差为第二规定值(例如，亮度差“100”)以上的情况下，判定为满足了第二条件。接着，特定模式判定部31在满足第一条件和第二条件的情况下，判定为车辆10周围的光亮度的状态是“特定亮度状态”。因此，特定模式判定部31在不满足第一条件和第二条件中的某一个的情况下，判定为车辆10周围的光亮度的状态是“通常亮度状态”。特定模式判定部31在实施车辆10周围的光亮度的状态是“特定亮度状态”还是“通常亮度状态”的判定时，参考在实施亮度校正时所参考的设定在重复区域38内的关注区域40。其结果，实现了处理对象范围(关注区域)的共同化，有助于减轻处理负荷。此外，在本实施方式的图像处理装置的情况下，基于是“通常亮度状态”还是“特定亮度状态”，选择后述的亮度校正的方法。关于使用了特定模式判定部31的控制如后所述。此外，即使判定为是“特定亮度状态”，也例如在点亮前照灯后出现了后续车等出现了新的灯光的情况下，会存在不再满足第二条件而切换到“通常亮度状态”的情况。在这种情况下，切换到与“通常亮度状态”对应的处理。
第1设定部32校正关注区域40的亮度。例如，考虑夹着车辆10而相互间隔开的一对被拍摄区域36(例如被拍摄区域36F和被拍摄区域36R)中的一方即第一被拍摄区域(例如被拍摄区域36F)。第1设定部32校正第一重复区域(例如重复区域38FL)所包含的第一关注区域(例如关注区域40FL)的亮度，所述第一重复区域是第一被拍摄区域(例如被拍摄区域36F)和与该第一被拍摄区域邻接的一对被拍摄区域36中的一方即第二被拍摄区域(例如被拍摄区域36SL)重叠出的。同样地，第1设定部32校正第二重复区域(例如重复区域38FR)所包含的第二关注区域(关注区域40FR)的亮度，所述第二重复区域是第一被拍摄区域(例如被拍摄区域36F)和与该第一被拍摄区域邻接的另一方的被拍摄区域36即第三被拍摄区域(例如被拍摄区域36SR)重叠出的。同样地，第1设定部32校正关注区域40RL及关注区域40RR的亮度。
在本实施方式的情况下，在第1设定部32校正关注区域40的亮度的情况下，例如能够基于多种方法实施。例如，固定值设定部32a以成为目标亮度的方式决定校正值，并进行亮度校正，所述目标亮度是作为规定的值而确定出的。固定值设定部32a例如使用以使关注区域40的亮度成为目标亮度(例如，256阶的”200”)的校正值来进行校正，所述目标亮度是预先通过实验等导出的、不管周围的明暗环境如何而目视确认性最好的亮度。
此外，包含于第1设定部32的固定值加算设定部32b，在计算出用于校正包含于被拍摄区域36的关注区域40的亮度的目标亮度的情况下，通过将作为规定的值而确定出的调整值加算到目标亮度，来对被拍摄区域36的亮度统一进行提亮校正。例如，对于被拍摄区域36F，在车宽方向左侧的关注区域40FL的亮度为“150”且车宽方向右侧的关注区域40FR的亮度为“100”的情况下，使用至少一方的亮度，确定目标亮度。例如，将关注区域40FL与关注区域40FR之间的平均亮度“125”作为目标亮度。在以该目标亮度进行校正的情况下，在判定为被拍摄区域36F整体的光亮度不足时，加上作为规定的值而确定出的调整值。例如，加上预先通过实验等确定出的调整值即“调整亮度值＝50”，将被拍摄区域36F整体的光亮度统一进行提亮。
此外，包含于第1设定部32的特定模式校正部32c，在由特定模式判定部31判定出车辆10周围的光亮度的状态是“特定亮度状态”的情况下，对于侧方图像以与固定值设定部32a和固定值加算设定部32b不同的方法，实施目标亮度的设定，以实施亮度校正。特定模式校正部32c，在车辆10周围的光亮度的状态是“特定亮度状态”的情况下，以不同的方法设定第一校正值和第二校正值，第一校正值用于将包含于侧方图像的车辆前方区域的第一关注区域(例如，关注区域40FL)的亮度变为第一目标亮度，第二校正值用于将包含于车辆后方区域的第二关注区域(例如，关注区域40RL)的亮度变为第二目标亮度。特定模式校正部32c，例如根据车辆前方区域的亮度确定第一校正值。作为一个示例，特定模式校正部32c将第一关注区域的当前的亮度设定为第一目标亮度，并确定第一校正值。此外在其他示例中，特定模式校正部32c将第一关注区域移动到位于第一关注区域周边且亮度低于第一规定值(例如，预先设定的目标亮度)的区域，将该区域的亮度设定为第一目标亮度，并确定第一校正值。此外，特定模式校正部32c根据拍摄车辆10后方而得的后方图像信息(被拍摄区域36R的图像信息)的亮度确定第二校正值。
基于固定值设定部32a、固定值加算设定部32b、以及特定模式校正部32c的校正的具体示例在后文详述。
第2设定部34基于邻接的关注区域40各自的校正值，设定它们之间的亮度。例如，在以被拍摄区域36F的车宽方向左侧的关注区域40FL为第一关注区域的情况下，例如将用于校正为由固定值设定部32a设定的固定的目标亮度的校正值称为第一校正值。同样地，在以被拍摄区域36F的车宽方向右侧的关注区域40FR为第二关注区域的情况下，例如将用于校正为由固定值设定部32a设定的固定的目标亮度的校正值称为第二校正值。在这种情况下，线性插值部34a使用第一校正值和第二校正值，生成用于进行线性插值的例如直线内插算式(连结第一校正值和第二校正值的直线)。接着，基于生成出的线性插值算式(例如直线内插算式)，校正两个关注区域40之间的区域的亮度。
在由线性插值部34a生成出的线性插值算式的斜率为规定的限制值以上的情况下，斜率设定部34b校正直线内插算式的斜率。例如，在邻接的关注区域40的一方的亮度大幅偏离由固定值设定部32a设定的目标亮度的情况下，线性插值部34a生成的直线内插算式的斜率变大。其结果，例如在关注区域40的周边的、比关注区域40暗的部分也可能会受到关注区域40的亮度校正的影响而被向更亮的方向校正。其结果，实施了所需程度以上的增加亮度校正，存在导致所谓“过白”的情况。斜率设定部34b基于预先设定的曲线校正由线性插值部34a生成出的线性插值算式的斜率。该曲线具备下述特性：例如，在线性插值算式的斜率小于限制值的情况下不校正，在斜率为规定以上的情况下对斜率进行减少校正。此外，该曲线还可以具备下述特性：在斜率为比限制值更大的界限值以上的情况下，使斜率成为预先设定的规定的值(固定值)。
作为一个示例，线性插值部34a以直线连接对邻接的两个关注区域40的校正值，从而生成直线内插算式。在这种情况下，基于校正值，在中间部分的亮度校正时，存在校正量过小导致图像的“过黑”，或反过来校正量过大导致图像的“过白”的情况。因此，γ曲线系数计算部34c计算出第一γ曲线的第一系数，所述第一γ曲线是对第一关注区域(例如，关注区域40FL)的亮度计算出的作为第一目标亮度的曲线算式。同样地，γ曲线系数计算部34c计算出第二γ曲线的第二系数，所述第二γ曲线是对第二关注区域(例如，关注区域40FR)的亮度计算出的作为第二目标亮度的曲线算式。接着，γ曲线系数计算部34c基于计算出的第一系数和第二系数生成线性插值算式(直线内插算式)，基于由该线性插值算式计算出的校正值(γ曲线系数)设定第一关注区域和第二关注区域之间的区域的亮度。在这种情况下，由于γ曲线算式是一定包含以256阶表示亮度的情况下的最低亮度值“0”和最高亮度值“255”的曲线，因此，通过使用γ曲线的系数，难以产生图像的过黑(过暗校正)或过白(过亮校正)。其结果，能够抑制过黑或过白等信息不足，能够生成易于识别的周边图像。
亮度设定部34d基于由线性插值部34a生成的线性插值算式(例如，直线内插算式)，设定用于校正第一关注区域(例如，关注区域40FL)和第二关注区域(例如，关注区域40FR)之间的区域的亮度的个别校正值。在由线性插值部34a生成的线性插值算式为针对车辆10前方的被拍摄区域36F的线性插值算式的情况下，亮度设定部34d基于该线性插值算式，对被拍摄区域36F中的车辆前后方向的区域也进行同样的亮度校正。因此，对于被拍摄区域36F，车辆前后方向的区域被以同样的校正值(校正量)实施亮度校正。
图3的CPU24a的结构只是一个示例，例如，可以构成为，在第1设定部32中，能够选择基于规定的值的校正(固定值设定部32a和固定值加算设定部32b)中的任一方。此外，在固定使用任一方的情况下，也可以是省略固定值设定部32a和固定值加算设定部32b中的任一方的结构。此外，在第2设定部34，在线性插值部34a仅基于关注区域40的校正值形成线性插值算式的情况下，也可以是省略γ曲线系数计算部34c的结构。
使用图6的流程图及图1～图5之外，还使用图7～图16说明上述结构的图像处理系统100(图像处理装置)的处理的一个示例。
使用图6的流程图，首先说明：在“通常亮度状态”的情况下，即在由各拍摄部14拍摄到的各图像之间的亮度不会产生较大差别的状态时，在固定值设定部32a将预先设定的目标亮度设定为规定的值的情况下实施的亮度校正。
首先，CPU24a判定是否为生成以车辆10为中心的俯视视角的周边图像的时机(S100)。在该判定中，CPU24a例如根据车辆10的操作状态(例如，在变速杆被移动到后退行驶的位置的情况等)，或在驾驶员经由操作输入部20等进行了要求显示的操作的情况下，判定为肯定判定。在CPU24a判定为生成周边图像的情况下(S100的”是”)，取得部28获得各拍摄部14拍摄的被拍摄区域36的图像(图像信息)(S102)。此外，在判定为不是生成周边图像的时机的情况下(S100的”否”)，暂时结束图6的流程。
接着，关注区域设定部30对所获得的各图像的被拍摄区域36进行关注区域40的设定(S104)。在各被拍摄区域36的关注区域40的亮度例如为如图5所示的情况下，固定值设定部32a对各关注区域40设定作为规定的值而确定出的目标亮度(例如，256阶的“200”)(S106)，并且设定用来校正关注区域40的亮度为目标亮度(例如“200”)的校正值(S108)。图7是校正车辆10前方的被拍摄区域36F的亮度的示例。是对被拍摄区域36F，车宽方向(X轴方向)左侧的关注区域40FL的亮度为256阶的“250”，车宽方向右侧的关注区域40FR的亮度为256阶的“150”的示例。与此相对的，在固定值设定部32a设定的目标亮度为256阶的“200”的情况下，在被拍摄区域36F中，作为亮度值M，将关注区域40FL的校正值设定为“-50”，将关注区域40FR的校正值设定为“+50”。
线性插值部34a使用第1设定部32设定的关注区域40FL的校正值(N＝-50)、和关注区域40FR的校正值(N＝+50)，生成直线内插算式42(42F)(S110)。其结果，关注区域40FL和关注区域40FR之间的车宽方向(X轴方向)的亮度校正量由直线内插算式42F表示。接着，亮度设定部34d基于由生成的直线内插算式42F计算出的校正值(个别校正值)，校正(设定)关注区域40FL和关注区域40FR之间的区域的亮度。同样地，在被拍摄区域36F中，使用同样的校正值设定(校正)车辆前后方向(Z轴方向)的区域的亮度(S112)。其结果，如图8所示，校正前的被拍摄区域36F的车宽方向左侧(关注区域40FL部分)的亮度以变暗的方式例如被从“250”校正到“200”，车宽方向右侧(关注区域40FR部分)的亮度以变亮的方式例如被从“150”校正到“200”。
CPU24a监视是否对整个画面已完成上述那样的校正处理(S114)。接着，在没有完成校正处理的情况下(S114的“否”)，返回S102，关注区域设定部30、第1设定部32、以及第2设定部34对被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR实施上述处理。
例如，关注区域设定部30、第1设定部32、以及第2设定部34对车辆10后方的被拍摄区域36R实施与上述相同的处理。其结果，校正前的被拍摄区域36R中以变亮的方式将车宽方向左侧(关注区域40RL部分)的亮度从“50”校正到“200”，以变亮的方式将车宽方向右侧(关注区域40RR部分)的亮度从“50”校正到“200”。
同样地，关注区域设定部30、第1设定部32、以及第2设定部34如图9所示，对车辆10的左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR进行同样的校正。例如，对被拍摄区域36SL而言，车辆前后方向(Z轴方向)的前方侧的关注区域40FL的亮度为256阶的“100”，后方侧的关注区域40RL的亮度为256阶的“50”。与此相对的，在固定值设定部32a设定的目标亮度为256阶的“200”的情况下，在第1设定部32中，作为亮度值M，将关注区域40FL的校正值设定为“+100”，将后方侧的关注区域40RL的校正值设定为“+150”。线性插值部34a使用第1设定部32设定的关注区域40FL的校正值(N＝+100)、和关注区域40RL的校正值(N＝+150)，生成直线内插算式42L。同样地，对被拍摄区域36SR而言，车辆前后方向(Z轴方向)的前方侧的关注区域40FR的亮度为256阶的“100”，后方侧的关注区域40RR的亮度为256阶的“50”。与此相对的，在固定值设定部32a设定的目标亮度为256阶的“200”的情况下，在第1设定部32中，作为亮度值M，将关注区域40FR的校正值设定为“+100”，将后方侧的关注区域40RR的校正值设定为“+150”。线性插值部34a使用第1设定部32设定的关注区域40FR的校正值(N＝+100)、和关注区域40RR的校正值(N＝+150)，生成直线内插算式42R。
其结果，被拍摄区域36SL中的关注区域40FL和关注区域40RL之间的车辆前后方向(Z轴方向)的亮度校正量由直线内插算式42L表示，被拍摄区域36SR中的关注区域40FR和关注区域40RR之间的车辆前后方向(Z轴方向)的亮度的个别校正量由直线内插算式42R表示。接着，亮度设定部34d基于直线内插算式42L，以相同的个别校正量校正关注区域40FL和关注区域40RL之间的区域的亮度、以及被拍摄区域36SL中的车宽方向(X轴方向)的区域的亮度。此外，亮度设定部34d基于直线内插算式42R，以相同的个别校正量校正关注区域40FR和关注区域40RR之间的区域的亮度、以及被拍摄区域36SR中的车宽方向(X轴方向)的区域的亮度。
CPU24a在完成整个图像(被拍摄区域36F、被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR的图像)的校正处理后(S114的“是”)，使显示控制部24d拼接各图像生成俯视视角的周边图像，并显示到显示装置16(S116)，在下一个处理周期内反复进行从S100开始的处理以进行周边图像的更新。在这种情况下，如图10所示，各关注区域40(40FL、40RL、40RR、40FR)的亮度成为256阶的“200”，能够生成无痕迹地拼接了各被拍摄区域36(36F、36SL、36R、36SR)的周边图像44。此外，由于各关注区域40之间的亮度也基于直线内插算式42校正，因此能够抑制过亮部分或过暗部分的生成，可在周边图像44的任一部分均容易地进行图像内容的识别。
然而，存在邻接的关注区域40的亮度差本来很大的情况。例如，如图11所示，在室外阳光很强情况下，有在车辆10的周围的一部分存在本车的深黑阴影46的情况。在这种情况下，存在没有包含在阴影46的关注区域40RL的亮度(例如，256阶的“180”)和包含在阴影46的关注区域40RR的亮度(例如，256阶的“操作输入部20”)之间亮度差大的情况。在这样的情况下，如果与上述的情况同样地，固定值设定部32a设定目标亮度为“200”，则对关注区域40RL的校正值成为“+20”，与之相对地，对关注区域40RR的校正值成为“+180”。其结果，如果线性插值部34a生成直线内插算式42，则如图11所示，存在生成斜率较大的直线内插算式42的情况。在这种情况下，在关注区域40RR的周边，比关注区域40RR亮的区域48也会受到关注区域40RR的亮度校正的影响而被向亮的方向校正。其结果，比关注区域40RR亮的区域48，会出现所谓“过白”的情况。因此，斜率设定部34b基于如图12所示的预先设定的曲线50，校正由线性插值部34a生成出的直线内插算式42的斜率。该曲线50，例如在直线内插算式42的斜率不到规定的限制值的情况下，作为“通常区”并不进行斜率校正，在斜率为规定的限制值以上的情况下，作为“限制区”对斜率进行减少校正。此外，曲线50在斜率为比限制值更大的规定的界限值以上的情况下，进行校正以使校正后的斜率成为预先设定的规定的值(固定值)。
在直线内插算式42的斜率为规定的限制值以上的情况下，由于基于曲线50校正该斜率，因此能够缓和对比关注区域40RR亮的区域48的亮度校正，能够抑制“过白”。此外，由于以界限值(固定值)校正斜率，因此不会产生在其之上的亮度增加。另外，在这种情况下，对于原来通过校正为亮来实现平滑的亮度变化的区域来说，由于对校正加以限制，所以亮度变化的平滑度会下降，但是能够抑制“过白”，有助于图像内容的识别性提高。此外，曲线50的形状、限制值、以及界限值(固定值)，能够预先通过实验等并考虑与周围的亮度的平衡等适当地决定。此外，也可以考虑与周围的亮度的平衡等，通过线性插值部34a计算曲线50。
此外，在其他实施方式中，在亮度设定部34d基于直线内插算式42设定用于校正关注区域40RL和关注区域40RR之间的区域的亮度校正值(个别校正值)的情况下，也可以对校正值加上限制。例如，如图13所示，对校正值设定校正上限值Max，根据直线内插算式42，随着亮度校正量增加，使设定的个别校正量向校正上限值Max收敛。在这种情况下，对比关注区域40RR亮的区域48的亮度校正被缓和，能够抑制“过白”。此外，校正上限值Max可以预先作为固定值设定，也可以根据计算出的直线内插算式42的斜率设定。
此外，如上所述，在基于由固定值设定部32a等设定出的目标亮度，以直线连结邻接的两个关注区域40的校正值而生成直线内插算式42的情况下，存在不增大处理负荷且能够进行亮度修正的优点。但在另一方面，基于校正值，在中间部分的亮度校正中，存在在校正量过小的情况下产生图像的“过黑”，反过来，在过大的情况下产生图像的“过白”的情况。因此，在本实施方式的情况下，在亮度校正时能够使用γ校正。例如，在车辆10前方的被拍摄区域36F中，考虑关注区域40FL(第一关注区域)和关注区域40FR(第二关注区域)。设关注区域40FL的亮度(区域内的平均亮度)为256阶的“150”，关注区域40FR的亮度为“100”，由固定值设定部32a设定出的目标亮度为256阶的“125”。在这种情况下，为了变成目标亮度，关注区域40FL需要“-25”的校正值，关注区域40FR需要“+25”的校正值。
因此，γ曲线系数计算部34c对于关注区域40FL，计算出如图14所示那样在横轴为输入亮度Y0，纵轴为输出亮度Y1L的情况下的第一γ曲线52L。在这种情况下，γ曲线系数计算部34c计算出通过最低值(最低亮度)的坐标p＝(0，0)、和最高值(最高亮度)的坐标q＝(255，255)，并且通过坐标r的三点的曲线(Y1L＝Y01/γ1)作为第一γ曲线52L，坐标r为输出亮度Y1L相对于输入亮度Y0“-25”的坐标。接着，γ曲线系数计算部34c计算出“γ1”作为第一系数。在这种情况下，第一γ曲线52L相对于输出亮度Y1L＝输入亮度Y0的直线54成为向下方凸出的曲线。同样地，如图15所示，γ曲线系数计算部34c对于关注区域40FR，计算出通过最低值(最低亮度)的坐标p＝(0，0)、最高值(最高亮度)的坐标q＝(255，255)，并且通过坐标s的三点的曲线(Y1R＝Y01/γ2)作为第二γ曲线52R，坐标s为输出亮度Y1R相对于输入亮度Y0“+25”的坐标。接着，γ曲线系数计算部34c计算出“γ2”作为第二系数。在这种情况下，第二γ曲线52R相对于输出亮度Y1R＝输入亮度Y0的直线54成为向上凸出的曲线。
线性插值部34a使用γ曲线系数计算部34c计算出的γ曲线系数γ1及γ2，生成直线内插算式56。图16是纵轴为γ曲线系数，横轴为车宽方向的亮度校正对象的位置坐标的图，是在以关注区域40FL的中心坐标为X1时γ曲线系数为“γ1”、在以关注区域40FR的中心坐标为X2时γ曲线系数为“γ2”的情况下的直线内插算式56(γ＝aX+b)。因此，亮度设定部34d基于直线内插算式56、计算出与关注区域40FL和关注区域40FR之间的位置的校正对象的位置相对应的γ曲线系数，在表示输入亮度Y0(源图像的亮度)和输出亮度Y1之间的关系的Y1＝Y01/γ，代入计算出的γ曲线系数和校正对象的位置的亮度(源图像的亮度值、即输入亮度Y0)。其结果，能够计算出一对的关注区域40之间的区域的校正后的亮度(输出亮度Y1)。通过在其他图像实施这样的校正，能够生成难以产生图像的过黑(过暗校正)或过白(过亮校正)的、能够抑制信息不足而易于识别的周边图像。
下面，对图像处理系统100(图像处理装置)的处理的其他示例，使用图17的流程图及图18～图20进行说明。
使用图17的流程图，说明如下情况：在“通常亮度状态”的情况下，即在由各拍摄部14拍摄到的各图像之间的亮度不会产生较大差别的状态时，由固定值加算设定部32b以规定的值进行线性插值算式的校正来实施亮度校正(亮度的提亮校正)。
首先，CPU24a判定是否为生成以车辆10为中心的俯视视角的周边图像的时机(S200)。在该判定中，CPU24a例如根据车辆10的操作状态(例如，在变速杆被移动到后退行驶的位置的情况等)，或在驾驶员经由操作输入部20等进行了要求显示的操作情况下，判定为肯定判定。在CPU24a判定为生成周边图像的情况下(S200的”是”)，取得部28获得各拍摄部14拍摄的被拍摄区域36的图像(图像信息)(S202)。此外，在判定为不是生成周边图像的时机的情况下(S200的“否”)，暂时结束图17的流程。
接着，关注区域设定部30对所获得的各图像的被拍摄区域36进行关注区域40的设定(S204)。接着，固定值加算设定部32b对例如车辆10前方的被拍摄区域36F，计算设定好的车宽方向的两个关注区域40(关注区域40FL和关注区域40FR)的亮度(关注区域40内的平均亮度)的平均值，作为被拍摄区域36F的目标亮度(S206)。例如，如图18所示，假设被拍摄区域36F的车宽方向(X轴方向)左侧的关注区域40FL的亮度为256阶的“150”，右侧的关注区域40FR的亮度为256阶的“100”。在这种情况下，固定值加算设定部32b将“125”设定为目标亮度，设定用来将关注区域40FL及关注区域40FR的亮度校正为目标亮度(例如“125”)的校正值(S208)。在图18的情况下，在被拍摄区域36F中，作为亮度值M，将关注区域40FL的校正值设定为“-25”，关注区域40FR的校正值设定为“+25”。
线性插值部34a使用第1设定部32设定出的关注区域40FL的校正值(N＝-25)、和关注区域40FR的校正值(N＝+25)，生成直线内插算式42(S210)。其结果，关注区域40FL和关注区域40FR之间的车宽方向(X轴方向)的亮度校正量由直线内插算式42F表示。
然而，在该示例的情况下，由包含于校正对象的被拍摄区域36的两个关注区域40(例如，关注区域40FL和关注区域40FR)的亮度的平均值来确定目标亮度，并生成直线内插算式42。因此，目标亮度过低，即，存在尽管实施了亮度校正处理，但是校正后的图像不够亮的情况。因此，固定值加算设定部32b在由直线内插算式42校正的亮度比预先设定的亮度(下限亮度)低，判定为需要增加调整的情况下(S212的“是”)，固定值加算设定部32b实施基于规定的值(调整值)的校正(S214)。例如，在S208设定出的校正值上加上预先设定的调整值(例如，调整亮度值＝50)。即，如图19所示，在成为由关注区域40FL的亮度和关注区域40FR的亮度的平均值确定的目标亮度(例如“125)”的校正值(“-25”和“+25”)上，分别加上调整亮度值＝50。换言之，使直线内插算式42直接向增加方向以亮度值+50的方式移动，来生成直线内插算式42a。亮度设定部34d基于直线内插算式42a，以同样的校正量设定(校正)关注区域40FL和关注区域40FR之间的区域的亮度、以及在被拍摄区域36F中的车辆前后方向(Z轴方向)的区域的亮度(S216)。在这种情况下，被拍摄区域36F的亮度一律被提亮“+50”，成为较亮的图像。此外，在S212中，在基于直线内插算式42校正的亮度为预先设定的亮度(下限亮度)以上的情况下，判定为不需要增加调整(S212的“否”)，跳过S214的处理。
第1设定部32监视车辆10前方的被拍摄区域36F及后方的被拍摄区域36R的亮度校正是否已完成(S218)，在没有完成的情况下(S218的”否”)，返回S204，实施同样的处理。另一方面，在已完成车辆10前方的被拍摄区域36F及后方的被拍摄区域36R的亮度校正的情况下(S218的“是”)，第1设定部32为了车辆10的侧方的被拍摄区域36SL及被拍摄区域36SR的亮度校正而进行关注区域40的设定(S220)。接着，第1设定部32将已经完成了亮度校正的被拍摄区域36F及被拍摄区域36R的关注区域40的亮度作为目标亮度，设定到被拍摄区域36SL及被拍摄区域36SR的关注区域40的亮度(S222)。
例如，如图20所示，在被拍摄区域36F的关注区域40FL的校正后的亮度为“175”、被拍摄区域36SL的关注区域40FL的校正前(拍摄时的亮度)为“100”的情况下，第1设定部32将被拍摄区域36SL的关注区域40FL的目标亮度设定为“175”(S222)。即，第1设定部32将“+75”作为被拍摄区域36SL的关注区域40FL的校正值设定(S224)。另一方面，在被拍摄区域36R的关注区域40RL的校正后的亮度为“100”、被拍摄区域36SL的关注区域40RL的校正前(拍摄时的亮度)为“50”的情况下，第1设定部32将被拍摄区域36SL的关注区域40RL的目标亮度设定为“100”(S222)。即，被拍摄区域36SL的关注区域40RL的校正值成为“+50”(S224)。
线性插值部34a使用第1设定部32设定出的关注区域40FL的校正值(N＝+75)、和关注区域40RL的校正值(N＝+50)，生成直线内插算式42L(S226)。其结果，关注区域40FL和关注区域40RL之间的车辆前后方向(Z轴方向)的亮度校正量由直线内插算式42L表示。接着，亮度设定部34d基于直线内插算式42L，以同样的校正量设定(校正)关注区域40FL和关注区域40RL之间的区域的亮度、及被拍摄区域36SL中的车宽方向(X轴方向)的区域的亮度(S228)。
第1设定部32监视车辆10的左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR的亮度校正是否已完成(S230)，在没有完成的情况下(S230的“否”)，返回S220，以相同的处理生成被拍摄区域36SR的直线内插算式42R、实施右侧方的亮度校正处理。另一方面，在已完成左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR的亮度校正的情况下(S230的“是”)，CPU24a使用显示控制部24d，拼接各图像生成俯视视角的周边图像，并显示到显示装置16(S232)，在下一个的处理周期内反复进行从S200开始的处理以进行周边图像的更新。在这种情况下，如图20所示，包含关注区域40FL的被拍摄区域36F和被拍摄区域36SL被统一成亮度“175”而无痕迹地拼接。同样地，包含关注区域40RL的被拍摄区域36SL和被拍摄区域36R被统一成亮度“100”而无痕迹地拼接。此外，包含关注区域40RR的被拍摄区域36R和被拍摄区域36SR被统一成亮度“100”而无痕迹地拼接。包含关注区域40FR的被拍摄区域36SR和被拍摄区域36F被统一成亮度“175”而无痕迹地拼接。即，生成的周边图像成为在各图像的拼接部分没有亮度差别而无痕迹地拼接的、没有不协调感的易于观察的图像。此外，由于各关注区域40之间的亮度也由直线内插算式42a、42L、42R校正，能够抑制过亮部分或过暗部分的生成，周边图像的任一部分均易于进行图像内容的识别。此外，在图17的处理中，也能够适用如上所述的线性插值算式的斜率的校正、或使用γ曲线系数的线性插值算式的计算，能够获得相同的效果。
下面，对图像处理系统100(图像处理装置)的处理的其他示例，使用图21的流程图及图22～图24进行说明。
使用图21的流程图说明：在包含车辆10周围的光亮度的状况是否为“特定亮度状态”的判定的情况下，即在由各拍摄部14拍摄到的各图像之间的亮度可能产生较大差别的情况下，进行的亮度校正处理。
首先，与其他校正处理的情况同样地，CPU24a判定是否为生成以车辆10为中心的俯视视角的周边图像的时机(S300)。在该判定中，CPU24a例如根据车辆10的操作状态(例如，在变速杆被移动到后退行驶的位置的情况等)，或在驾驶员经由操作输入部20等进行了要求显示的操作情况下，判定为肯定判定。在CPU24a判定为生成周边图像的情况下(S300的“是”)，取得部28获得各拍摄部14拍摄的被拍摄区域36的图像(图像信息)(S302)。此外，在判定为不是生成周边图像的时机的情况下(S300的“否”)，暂时结束图21的流程。
接着，关注区域设定部30对所获得的各图像的被拍摄区域36实施关注区域40的设定(S304)。接着，特定模式判定部31参照侧方图像信息(被拍摄区域36SL或被拍摄区域36SR)，执行车辆10周围的光亮度的状态是“通常亮度状态”还是“特定亮度状态”的判定(S306)。在特定模式判定部31的判定的结果为不是“特定亮度状态”的情况下(S306的“否”)，第1设定部32将亮度校正处理设定切换到与“通常亮度状态”对应的“通常模式设定”(S308)。另一方面，在特定模式判定部31的判定的结果为是“特定亮度状态”的情况下(S306的“是”)，第1设定部32将亮度校正处理设定切换到与“特定亮度状态”对应的“特定模式设定”(S310)。
在切换到“通常模式设定”的情况下，首先，对于车辆10前方的被拍摄区域36F，实施与采用图6的流程图说明的处理同样的处理。例如，固定值设定部32a对各关注区域40设定作为规定的值而确定出的目标亮度(例如，256阶的“200”)(S312)。接着，固定值设定部32a例如如图7所示那样设定用来校正关注区域40的亮度为目标亮度(例如“200”)的校正值(S314)。
接着，线性插值部34a使用第1设定部32设定的关注区域40FL的校正值(例如，N＝-50)、和关注区域40FR的校正值(例如，N＝+50)，生成直线内插算式42(42F)(S316)。其结果，被拍摄区域36F的关注区域40FL及关注区域40FR之间的车宽方向(X轴方向)的亮度校正量(个别校正值)由直线内插算式42F表示。接着，亮度设定部34d基于由生成的直线内插算式42F计算出的个别校正值，校正(设定)关注区域40FL及关注区域40FR之间的区域的亮度。同样地，在被拍摄区域36F中，使用同样的个别校正值设定(校正)车辆前后方向(Z轴方向)的区域的亮度(S318)。其结果，如图8所示，校正前的被拍摄区域36F的车宽方向左侧(关注区域40FL部分)的亮度以变暗的方式例如被从“250”校正到“200”，车宽方向右侧(关注区域40FR部分)的亮度以变亮的方式例如被从“150”校正到“200”。
在“通常模式设定”的情况下，CPU24a监视是否对整个画面已完成上述那样的校正处理(S320)。接着，在没有完成校正处理的情况下(S320的“否”)，返回S304，关注区域设定部30、第1设定部32、以及第2设定部34对被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR实施上述处理。
CPU24a在确认到已完成整个图像(被拍摄区域36F、被拍摄区域36R、被拍摄区域36SL、被拍摄区域36SR的图像)的校正处理后(S320的“是”)，生成周边图像。即，CPU24a使显示控制部24d拼接各图像来生成俯视视角的周边图像，并显示到显示装置16(S322)，在下一个处理周期内反复进行从S300开始的处理以进行周边图像的更新。在这种情况下，如图10所示，各关注区域40(40FL、40RL、40RR、40FR)的亮度成为256阶的“200”，能够生成无痕迹地实施了拼接各被拍摄区域36(36F、36SL、36R、36SR)的周边图像44。此外，由于各关注区域40之间的亮度也基于直线内插算式42校正，因此能够抑制过亮部分或过暗部分的生成，可在周边图像44的任一部分均容易地进行图像内容的识别。此外，“通常模式设定”的亮度校正也可以使用固定值加算设定部32b代替固定值设定部32a来实施。
另一方面，在S306，在由特定模式判定部31判定为当前的状态是“特定亮度状态”，并切换到“特定模式设定”的情况下(S310)，特定模式校正部32c对各图像实施用于特定模式的亮度设定。
图22是表示在判定为是“特定亮度状态”的情况下的车辆10前方的被拍摄区域36F及后方的被拍摄区域36R的拍摄时的亮度状态的示例的示意图。如上所述，例如，在夜间且没有周围灯光的状态下，在车辆10单独存在且前照灯点亮的情况下，仅车辆10前方侧非常明亮。因此，拍摄部14a在进行拍摄时进行光圈调整，拍摄到比实际的亮度较暗的图像。图22的情况是限制关注区域40FL的亮度为例如“120”、关注区域40FR的亮度为例如“130”的示例。此外，该示例中，对于从拍摄实质上漆黑的车辆10后方的拍摄部14d取得到的被拍摄区域36R，通过光圈调整，关注区域40RL的亮度被增加调整为“10”、关注区域40RR的亮度被增加调整为“20”。
特定模式校正部32c，在“特定模式设定”的情况下，对被拍摄区域36F实施与固定值设定部32a同样的亮度校正，对被拍摄区域36R实施与固定值设定部32a或固定值加算设定部32b同样的亮度校正。在图21的流程图所示的示例中，对以与固定值设定部32a同样的处理设定固定的目标亮度的示例进行说明。由此，特定模式校正部32c，首先，对关注区域40FL及关注区域40FR，与图7说明的情况同样地，设定目标亮度(例如，256阶的“150”)为规定的值(S312)，并且设定用来校正关注区域40FL及关注区域40FR的亮度为目标亮度(例如“150”)的校正值。在这种情况下，关注区域40FL的校正值设定为例如“N＝+30”，关注区域40FR的校正值设定为例如“N＝+20”(S314)。接着，线性插值部34a使用特定模式校正部32c设定的关注区域40FL的校正值(例如，N＝+30)，和关注区域40FR的校正值(例如N＝+20)，生成直线内插算式42(42F)(S316)。其结果，关注区域40FL和关注区域40FR之间的车宽方向(X轴方向)的亮度校正量由直线内插算式42F表示。接着，亮度设定部34d基于由生成的直线内插算式42F计算出的校正值，校正(设定)关注区域40FL及关注区域40FR之间的区域的亮度。此外，在被拍摄区域36F中，亮度设定部34d以同样的校正值校正(设定)车辆前后方向(Z轴方向)的区域的亮度(S318)。其结果，如图8所示，校正前的被拍摄区域36F的车宽方向左侧(关注区域40FL部分)的亮度以变亮的方式例如被从“120”校正到“150”，车宽方向右侧(关注区域40FR部分)的亮度以变亮的方式例如被从“130”校正到“150”。
在“特定模式设定”的情况下，CPU24a监视是否对整个画面已完成上述那样的校正处理(S320)。在这种情况下，CPU24a判定为没有完成校正处理(S320的“否”)，返回S304。接着，关注区域设定部30、第1设定部32、以及第2设定部34对被拍摄区域36R实施上述处理。其结果，以变亮的方式将被拍摄区域36R的车宽方向左侧(关注区域40RL的部分)的亮度从例如“车辆10”校正到“150”，以变亮的方式将车宽方向右侧(关注区域40RR的部分)的亮度从例如“20”校正到“150”。
接着，CPU24a根据S304～S318实施对车辆10的侧方的被拍摄区域36SL的亮度校正。图23是表示在判定为是“特定亮度状态”的情况下的、车辆10的侧方的被拍摄区域36SL及被拍摄区域36SR的拍摄时的亮度状态的示例的示意图。例如，在夜间没有灯光的状况、且在车辆10的前照灯点亮的情况下，仅被拍摄区域36SL的前方侧区域H非常明亮，其他的大部分非常黑暗。因此，拍摄部14b在进行拍摄时进行光圈调整，拍摄到调整为比实际的亮度亮的图像。在图23的情况下，包含于区域H的关注区域40FL及关注区域40FR被实施变得更亮的调整，例如为“255”，表示最高亮度值。此外，该示例中，车辆后方的关注区域40RL也被实施变亮校正，亮度被增加调整到例如“30”，关注区域40RR的亮度被增加调整到例如“20”。
在“特定模式设定”的情况下，对被拍摄区域36SL及被拍摄区域36SR，特定模式校正部32c根据该车辆前方区域的亮度来确定用来使前方侧的关注区域40(关注区域40FL及关注区域40FR)的亮度为目标亮度(第一目标亮度)的校正值(第一校正值)。例如，如图24所示，将被拍摄区域36SL的当前的前方侧的关注区域40FL的亮度(例如，“255”)直接设定为目标亮度(S312)。因此，关注区域40FL的校正值为“N＝+0”(S314)，不进行增减调整。
另一方面，特定模式校正部32c根据拍摄车辆的后方而得的被拍摄区域36R的后方图像信息的亮度来确定用来使包含于被拍摄区域36SL及被拍摄区域36SR的车辆后方区域的关注区域(关注区域40RL及40RR：第二关注区域)的亮度为目标亮度(第二目标亮度)的校正值(第二校正值)。如上所述，特定模式校正部32c对被拍摄范围36R实施了使其为作为规定的值而预先设定的目标亮度(例如“150”)的校正，因此，以使关注区域40RL及关注区域40RR成为同样的目标亮度“150”的方式，确定校正值(第二校正值)。由此，在图24的情况下，被拍摄区域36SL的关注区域40RL的校正值被设定为“N＝+120”(S314)。
接着，线性插值部34a使用特定模式校正部32c设定的关注区域40FL的校正值(例如，N＝+0)、和关注区域40RL的校正值(例如N＝+120)，生成直线内插算式42(42L)(S316)。其结果，关注区域40FL和关注区域40RL之间的车辆前后方向(Z轴方向)的亮度校正量由直线内插算式42L表示。接着，亮度设定部34d基于由生成的直线内插算式42L计算出的校正值，校正(设定)关注区域40FL和关注区域40RL之间的区域的亮度。此外，被拍摄区域36SL中，亮度设定部34d以同样的校正值设定(校正)车宽方向(X轴方向)的区域的亮度(S318)。如此，以使关注区域40FL的校正量为“N＝+0”、关注区域40RL的校正量为“+120”的直线内插算式42L，对被拍摄区域36SL的车辆前方区域实施亮度校正。其结果，基于明亮状态的校正量被抑制为较小。即，在仅使用固定值设定部32a或固定值加算设定部32b的亮度校正中，出现前照灯的影响的车辆10的左前方区域的亮度由于亮度校正而下降，存在图像内容的目视确认性下降的情况。另一方面，在本实施方式中，从被拍摄区域36SL的图像判定为是“特定亮度状态”，通过特定模式校正部32c的处理，能够确保车辆左前方区域的光亮度，并能够维持目视确认性。
特定模式校正部32c根据S304～S318与36SL同样地实施对被拍摄区域36SR的亮度校正。其结果，对被拍摄区域36SR，以使关注区域40FR的校正量为“N＝+0”、关注区域40RR的校正值的校正量为“+130”的直线内插算式42R，对被拍摄区域36SR的车辆前方区域实施亮度校正。其结果，基于明亮状态的校正量被抑制为较小。即，在仅使用固定值设定部32a或固定值加算设定部32b的亮度校正中，出现前照灯的影响的车辆10的右前方区域的亮度由于亮度校正而下降，存在图像内容的目视确认性下降的情况。另一方面，在本实施方式中，从被拍摄区域36SR的图像判定为“特定亮度状态”，基于特定模式校正部32c的处理，能够确保车辆右前方区域的光亮度，并能够维持目视确认性。
CPU24a在完成整个图像(被拍摄区域36F、被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR的图像)的校正处理后(S320的“是”)，使显示控制部24d拼接各图像生成俯视视角的周边图像，并显示到显示装置16(S322)，在下一个处理周期内反复进行上述从S300开始的处理以进行周边图像的更新。
如此，根据使用了特定模式校正部32c的亮度校正，即使在仅使用固定值设定部32a或固定值加算设定部32b进行亮度校正而会产生变得黑暗而目视确认性下降的区域的“特定亮度状态”的情况下，也能够抑制目视确认性的下降。此外，被拍摄区域36F与被拍摄区域36SL及被拍摄区域36SR的拼接部分，由于因前照灯的光而出现的高亮度部分，会产生亮度交界。另一方面，被拍摄区域36R与被拍摄区域36SL及被拍摄区域36SR的拼接部分，由于根据被拍摄区域36R的亮度进行亮度调整，得到无痕迹的拼接。其结果，作为周边图像整体，能够生成亮度大致平滑地变化的目视确认性良好的图像。
此外，在上述的示例中，特定模式校正部32c对被拍摄区域36SL及被拍摄区域36SR，将当前的前方侧的关注区域40FL及关注区域40FR的亮度(例如，“255”)直接设定为目标亮度，抑制了侧方图像的车辆前方部分的目视确认性的下降。在其他实施方式中，如图24所示，在确定关注区域40(关注区域40FL、40FR：第一关注区域)的校正值(第一校正值)时，也可以将第一关注区域移动到位于第一关注区域周边且亮度低于第一规定值(例如，被拍摄区域36F的目标亮度值即亮度“150”)的区域(位移区域40FLd及位移区域40FRd)，并将该位移区域40FLd及位移区域40FRd的亮度作为第一目标亮度。在这种情况下，移动后的区域(位移区域40FLd及位移区域40FRd)的校正值为“+0”。另一方面，由于被拍摄区域36SR的车辆后方侧大部分黑暗且没有亮度差，任一区域均可以视为例如与关注区域40RL同样的亮度，例如“30”。因此，对被拍摄区域36SL，能够得出位移区域40FLd(移动后的区域)的校正量为“N＝+0”，相对于位移区域40FLd的、车辆后方侧的关注区域的校正量为“+130”的直线内插算式42。其结果，与将关注区域40FL的亮度直接设定为目标亮度的情况同样地，拍摄时明亮的车辆前方侧区域的校正量被抑制为较小。即，能够减轻车辆前方侧区域的亮度的变化，并能够维持图像内容的目视确认性。此外，在这种情况下，不进行第一规定值以上的明亮区域的校正(残留明亮区域的同时)、且抑制变得极暗，能够进行侧方图像的整体的亮度校正。对于被拍摄区域36SR也同样。其结果，拼接多个图像而成的周边图像的图像内容的识别能够变得容易。
此外，示出了在切换到上述的“特定模式设定”进行被拍摄区域36R的亮度校正时，以成为预先设定的目标亮度(例如，“150”)的方式进行校正的情况。在其他示例中，也可以在被拍摄区域36R中求取关注区域40RL和关注区域40RR的亮度的平均值，并将该平均值作为目标亮度。在这种情况下，将车辆10的侧方的被拍摄区域36SL的关注区域40RL及被拍摄区域36SR的关注区域40RR的目标亮度设定为平均值。作为被拍摄区域36R、被拍摄区域36SL、被拍摄区域36SR的关注区域40RL及关注区域40RR的目标亮度，通过使用平均值，在拼接各被拍摄区域36的情况下，邻接被拍摄区域36之间的亮度差别被抑制，能够无痕迹地拼接。此外，由于实际是漆黑的区域的被拍摄区域36R等以接近实际的亮度的状态显示为较暗，因此虽然不会提高目视确认性，但是能够显示更接近现实的周边图像。此外，虽然对被拍摄区域36F也能够使用平均值，但是存在因前照灯的影响而被拍摄区域36F整体的亮度过亮的情况。因此，也可以根据被拍摄区域36F的亮度来决定是否使用平均值。
在上述的实施方式的说明中，不管车辆10周围状况如何，固定值设定部32a设定的目标亮度、或固定值加算设定部32b设定的调整值为规定的值。例如，由于夜间显示装置16的周围较暗，存在即使整体上降低显示到显示装置16的图像的亮度，也能够无不协调感地识别图像内容的情况。反过来，由于白天周围较亮，存在进一步提高显示装置16的亮度则更易于识别图像内容的情况。因此，在其他实施方式中，例如，也可以根据白天夜间等车辆10周围的光亮度状态、或者显示装置16的光亮度设定来变更规定的值。
此外，本实施方式的情况下，拍摄部14b固定于左车门后视镜10b，拍摄部14c固定于右车门后视镜10c。在这种情况下，通过使用在关闭车辆10的车门的状态时拍摄到的图像，能够正确地拼接拍摄部14a或拍摄部14d拍摄到的图像。因此，显示控制部24d在车门打开情况下，不能正确地拼接图像。由此，CPU24a在车门打开情况下，可以不实施上述的亮度校正处理，而生成作为参考的周边图像。
本实施方式的由CPU24a实施的用于图像处理的程序，可以构成为以可安装的形式或者可执行的形式的文件，存储于CD-ROM、软盘(FD，Flexible Disk)、CD-R、DVD(DigitalVersatile Disk，数字多功能光盘)等计算机可读取的存储介质上来提供。
进一步地，图像处理程序也可以构成为，存储于与互联网等网络连接的计算机上，以通过网络下载的方式来提供。此外，本实施方式实施的图像处理程序也可以构成为通过互联网等网络来提供或者发布。
以上说明了本发明的实施方式和变形例，但上述实施方式和变形例仅是作为示例提出的，其目的不在于限定本发明的范围。上述新颖的实施方式能够以其它各种方式来实施，在不脱离发明主旨的范围内，能够进行各种省略、置换、以及变更。上述实施方式和其变形例均包含于发明的范围和主旨，并且包含于权利要求中记载的发明和其等同范围内。
符号说明
10…车辆、14，14a，14b，14c，14d…拍摄部、16…显示装置、24…ECU、24a…CPU、24d…显示控制部、28…取得部、30…关注区域设定部、31…特定模式判定部、32…第1设定部(第一设定部)、32a…固定值设定部、32b…固定值加算设定部、32c…特定模式校正部、34…第2设定部(第二设定部)、34a…线性插值部、34b…斜率设定部、34c…γ曲线系数计算部、34d…亮度设定部、36，36F，36SL，36SR，36R…被拍摄区域、38，38FL，38FR，38RL，38RR…重复区域、40、40FL，40FR，40RL，40RR…关注区域、42，42a，42L，42R，56…直线内插算式、44…周边图像、50…曲线、52L…第一γ曲线、52R…第二γ曲线、54…直线、100…图像处理系统。

Claims (5)

1.一种图像处理装置，其特征在于，具备：
取得部，其取得由设置在车辆上的多个拍摄部作为所述车辆的周边状况而拍摄到的多个图像信息；
判定部，其在拍摄所述车辆的侧方而得的侧方图像信息中的、包含于所述侧方图像信息的车辆前方区域内的第一关注区域的亮度为第一规定值以上、且包含于所述侧方图像信息的车辆后方区域内的第二关注区域的亮度与所述第一关注区域的亮度之间的差为第二规定值以上时，判定为特定亮度状态；
第一设定部，其在判定为所述特定亮度状态时，根据所述车辆前方区域的亮度确定用来将所述第一关注区域的亮度变为第一目标亮度的第一校正值，并且根据拍摄所述车辆的后方而得的后方图像信息的亮度确定用来将包含于所述车辆后方区域的第二关注区域的亮度变为第二目标亮度的第二校正值；以及
第二设定部，其基于所述第一校正值和所述第二校正值，设定用来校正所述第一关注区域和所述第二关注区域之间的区域的亮度的个别校正值。
2.根据权利要求1所述的图像处理装置，其特征在于：
所述第一设定部在确定所述第一校正值时，将所述第一目标亮度定为所述第一关注区域的亮度。
3.根据权利要求1所述的图像处理装置，其特征在于：
所述第一设定部在确定所述第一校正值时，将所述第一关注区域移动到位于所述第一关注区域周边且亮度低于所述第一规定值的区域，并将该区域的亮度作为所述第一目标亮度。
4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于：
所述第一设定部在确定所述第二校正值时，将所述第二目标亮度定为预先设定的规定的目标亮度。
5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于：
所述判定部将所述第一关注区域设定在所述侧方图像信息的所述车辆前方区域与拍摄所述车辆的前方而得的前方图像信息部分重复的第一重复区域内，将所述第二关注区域设定在所述侧方图像信息的所述车辆后方区域与所述后方图像信息部分重复的第二重复区域内。
CN201980024142.2A 2018-04-03 2019-03-25 图像处理装置 Active CN111937380B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018071649A JP7047549B2 (ja) 2018-04-03 2018-04-03 画像処理装置
JP2018-071649 2018-04-03
PCT/JP2019/012545 WO2019194012A1 (ja) 2018-04-03 2019-03-25 画像処理装置

Publications (2)

Publication Number Publication Date
CN111937380A true CN111937380A (zh) 2020-11-13
CN111937380B CN111937380B (zh) 2022-07-01

Family

ID=68100705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024142.2A Active CN111937380B (zh) 2018-04-03 2019-03-25 图像处理装置

Country Status (4)

Country Link
US (1) US11082631B2 (zh)
JP (1) JP7047549B2 (zh)
CN (1) CN111937380B (zh)
WO (1) WO2019194012A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
JP7325308B2 (ja) * 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN114167849B (zh) * 2020-08-21 2023-12-08 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028521A (ja) * 2006-07-19 2008-02-07 Xanavi Informatics Corp 画像表示システム
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN101399909A (zh) * 2007-09-28 2009-04-01 奇景光电股份有限公司 适应性图像调整方法及使用该方法的图像处理装置
JP2009141490A (ja) * 2007-12-04 2009-06-25 Alpine Electronics Inc 合成画像生成装置および合成画像生成方法
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
US20120038794A1 (en) * 2010-08-16 2012-02-16 Fujitsu Semiconductor Limited Image processing apparatus, imaging apparatus and image processing method
CN102642501A (zh) * 2012-04-05 2012-08-22 深圳市汉华安道科技有限责任公司 车辆辅助系统中的图像处理方法及相应系统
US20120293660A1 (en) * 2010-01-29 2012-11-22 Fujitsu Limited Image processing device and image processing method
CN102857696A (zh) * 2009-08-18 2013-01-02 夏普株式会社 拍摄条件决定装置、拍摄条件决定方法和不均校正系统
JP2013029995A (ja) * 2011-07-28 2013-02-07 Clarion Co Ltd 撮像システム
CN103119924A (zh) * 2010-10-15 2013-05-22 夏普株式会社 图像处理装置、图像处理方法、图像处理程序、记录媒体
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法
JP2014228339A (ja) * 2013-05-21 2014-12-08 三菱電機株式会社 レーダ画像処理装置
CN105578021A (zh) * 2014-10-15 2016-05-11 上海弘视通信技术有限公司 双目相机的成像方法及其装置
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105933604A (zh) * 2016-05-20 2016-09-07 珠海市魅族科技有限公司 一种图像获取的方法及终端
CN106791475A (zh) * 2017-01-23 2017-05-31 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置
CN107682594A (zh) * 2016-08-01 2018-02-09 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP2011049735A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺画像提供装置
JP5464741B2 (ja) * 2010-01-29 2014-04-09 富士通テン株式会社 画像合成装置、及び、画像合成方法
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
EP2846532A1 (en) * 2013-09-06 2015-03-11 Application Solutions (Electronics and Vision) Limited System, device and method for displaying a harmonised combined image
JP2016109934A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 画像表示システム及びその制御方法、並びに、プログラム
JP2017220876A (ja) * 2016-06-10 2017-12-14 アイシン精機株式会社 周辺監視装置
DE112017008125T5 (de) * 2017-10-13 2020-07-16 Mitsubishi Electric Corporation Bild-Synthesevorrichtung und Bild-Syntheseverfahren
WO2019116463A1 (ja) * 2017-12-13 2019-06-20 Ｎｅｃディスプレイソリューションズ株式会社 画像表示装置、及び画像表示方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028521A (ja) * 2006-07-19 2008-02-07 Xanavi Informatics Corp 画像表示システム
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
EP2012271A2 (en) * 2007-07-02 2009-01-07 Nissan Motor Co., Ltd. Image processing system and method
CN101399909A (zh) * 2007-09-28 2009-04-01 奇景光电股份有限公司 适应性图像调整方法及使用该方法的图像处理装置
JP2009141490A (ja) * 2007-12-04 2009-06-25 Alpine Electronics Inc 合成画像生成装置および合成画像生成方法
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
CN102857696A (zh) * 2009-08-18 2013-01-02 夏普株式会社 拍摄条件决定装置、拍摄条件决定方法和不均校正系统
US20120293660A1 (en) * 2010-01-29 2012-11-22 Fujitsu Limited Image processing device and image processing method
US20120038794A1 (en) * 2010-08-16 2012-02-16 Fujitsu Semiconductor Limited Image processing apparatus, imaging apparatus and image processing method
CN103119924A (zh) * 2010-10-15 2013-05-22 夏普株式会社 图像处理装置、图像处理方法、图像处理程序、记录媒体
JP2013029995A (ja) * 2011-07-28 2013-02-07 Clarion Co Ltd 撮像システム
CN102642501A (zh) * 2012-04-05 2012-08-22 深圳市汉华安道科技有限责任公司 车辆辅助系统中的图像处理方法及相应系统
US20140160275A1 (en) * 2012-12-04 2014-06-12 Aisin Seiki Kabushiki Kaisha Vehicle control apparatus and vehicle control method
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法
JP2014228339A (ja) * 2013-05-21 2014-12-08 三菱電機株式会社 レーダ画像処理装置
CN105578021A (zh) * 2014-10-15 2016-05-11 上海弘视通信技术有限公司 双目相机的成像方法及其装置
CN105730336A (zh) * 2014-12-10 2016-07-06 比亚迪股份有限公司 倒车辅助装置及车辆
CN105933604A (zh) * 2016-05-20 2016-09-07 珠海市魅族科技有限公司 一种图像获取的方法及终端
CN107682594A (zh) * 2016-08-01 2018-02-09 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
CN106791475A (zh) * 2017-01-23 2017-05-31 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡玉: "车载图像系统中的全景影像的校正与拼接", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 *
胡玉: "车载图像系统中的全景影像的校正与拼接", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》, 15 September 2016 (2016-09-15) *

Also Published As

Publication number Publication date
JP7047549B2 (ja) 2022-04-05
CN111937380B (zh) 2022-07-01
WO2019194012A1 (ja) 2019-10-10
US20210160432A1 (en) 2021-05-27
US11082631B2 (en) 2021-08-03
JP2019186622A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
CN111937380B (zh) 图像处理装置
JP7106846B2 (ja) 周辺監視装置
US20200082185A1 (en) Periphery monitoring device
US20090009604A1 (en) Image processing system and method
JP7039879B2 (ja) 表示制御装置
US10848724B2 (en) Display control device
US20180359399A1 (en) Image processing device
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
WO2015151404A1 (ja) 後方状況表示装置、後方状況表示方法
US20180288371A1 (en) Assistance apparatus
US10821900B2 (en) Image processing device
JP7314518B2 (ja) 周辺監視装置
CN111937378B (zh) 图像处理装置
JP5716944B2 (ja) 車載カメラ装置
US20220408062A1 (en) Display control apparatus, display control method, and program
JP7013287B2 (ja) 画像処理装置
WO2020162498A1 (ja) 情報処理装置
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法
WO2020049806A1 (ja) 画像処理装置および画像処理方法
JP7110592B2 (ja) 画像処理装置
CN117774834A (zh) 车辆环景影像显示方法
JP2020119492A (ja) 画像合成装置、及び、制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220209

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant