CN111937378A - 图像处理装置 - Google Patents
图像处理装置 Download PDFInfo
- Publication number
- CN111937378A CN111937378A CN201980023640.5A CN201980023640A CN111937378A CN 111937378 A CN111937378 A CN 111937378A CN 201980023640 A CN201980023640 A CN 201980023640A CN 111937378 A CN111937378 A CN 111937378A
- Authority
- CN
- China
- Prior art keywords
- region
- luminance
- image
- correction value
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000012937 correction Methods 0.000 claims abstract description 218
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 235000019557 luminance Nutrition 0.000 description 261
- 238000010586 diagram Methods 0.000 description 23
- 230000002093 peripheral effect Effects 0.000 description 20
- 238000000034 method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/92—
-
- G06T5/94—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
一种图像处理装置,具备:取得部,其取得由设置在车辆上的多个拍摄部拍摄到的、被拍摄区域局部重复的多个图像信息;第一设定部,其基于规定的值设定第一校正值和第二校正值,第一校正值用于校正第一关注区域的亮度,第二校正值用于校正第二关注区域的亮度,第一关注区域包含于第一被拍摄区域与邻接的第二被拍摄区域重叠的第一重复区域,第一被拍摄区域是夹着车辆且相互间隔开的一对被拍摄区域中的一方,第二关注区域包含于第一被拍摄区域与邻接的第三被拍摄区域重叠的第二重复区域;以及第二设定部,其使用第一校正值和第二校正值,设定用于校正第一被拍摄区域中的第一关注区域和第二关注区域之间的区域的亮度的个别校正值。
Description
技术领域
本发明的实施方式涉及图像处理装置。
背景技术
以往,公知有一种图像处理装置:通过设置在车辆上的多个拍摄部(摄像头),分别在不同方向上拍摄车辆周围的状况,对拍摄到的多个图像进行图像处理(例如视点转换),并连接各图像而生成周边图像(例如俯视图像)。在这样的图像处理装置中,存在因为拍摄部的安装位置或摄影(拍摄)方向、拍摄时间段、有没有点亮前照灯、以及每个拍摄部的光圈调整程度差等而各拍摄部所拍摄出的图像的光亮度(亮度)产生偏差的情况。其结果,有时出现了拼接生成出的周边图像的光亮度根据方向而不同,拼接位置的亮度差明显,由此成为令人感到不协调感的图像的情况。由此,提出有基于多个图像的平均亮度校正整个画面的亮度、或计算前方图像的四个部位的亮度平均值并调整其他图像的亮度、以及使用前后图像的亮度平均值校正侧方图像的亮度等的技术。
专利文献1:日本专利第5464741号公报
专利文献2:日本专利第5684144号公报
专利文献3:日本专利第6115104号公报
发明内容
但是,在上述的技术中,在作为基准的图像过暗、或者反过来过亮的情况下,该影响会影响到其他图像的亮度校正量,例如,存在校正为整体过暗的图像、或者校正为整体过亮的图像的情况。无论在哪种情况下,存在本来应显示的图像内容(例如物体或区划线等)难以识别、或残留有不协调感而无法适当地显示周边图像的情况。因此,能够提供一种在显示拼接多个图像而成的周边图像的情况下也容易识别图像内容、并能够减轻拼接图像所带来的不协调感的图像处理装置是有意义的。
本发明的实施方式所涉及的图像处理装置,具备:取得部,其取得由设置在车辆上的多个拍摄部作为上述车辆的周边状况而拍摄到的、被拍摄区域局部重复的多个图像信息;第一设定部,其基于规定的值设定第一校正值和第二校正值,上述第一校正值用于校正第一关注区域的亮度,上述第二校正值用于校正第二关注区域的亮度,上述第一关注区域包含于第一被拍摄区域与第二被拍摄区域重叠的第一重复区域,上述第一被拍摄区域是夹着上述车辆且相互间隔开的一对上述被拍摄区域中的一方,上述第二被拍摄区域是与该第一被拍摄区域邻接的一对上述被拍摄区域中的一方,上述第二关注区域包含于上述第一被拍摄区域与第三被拍摄区域重叠的第二重复区域,上述第三被拍摄区域是与上述第一被拍摄区域邻接的另一方的上述被拍摄区域;以及第二设定部,其使用上述第一校正值和上述第二校正值,设定用于校正上述第一被拍摄区域中的上述第一关注区域和上述第二关注区域之间的区域的亮度的个别校正值。根据该结构,例如,与第一被拍摄区域拼接的第二被拍摄区域和第三被拍摄区域也基于规定的值同样地被校正。因此,第二被拍摄区域和第三被拍摄区域相对于第一被拍摄区域以相同的形态被亮度调整。其结果,第二被拍摄区域和第三被拍摄区域与第一被拍摄区域被无痕迹地拼接。此外,由于基于各重复部分的亮度校正值(第一校正值、第二校正值)设定第一重复部分和第二重复部分之间的亮度,因此它们之间的部分(中间部分)的亮度变化变得平滑,能够抑制极暗部分或极亮部分的产生。其结果,即使是拼接多个图像的情况,也能够生成易于识别的周边图像。
本发明的实施方式所涉及的图像处理装置的上述第一设定部,例如,也可以用使上述第一关注区域的亮度和上述第二关注区域的亮度成为目标亮度的上述第一校正值和上述第二校正值来进行校正,上述目标亮度是作为上述规定的值而确定的。根据该结构,例如使各图像拼接的重复区域的亮度变成预先确定的目标亮度,由此能够无痕迹地拼接各图像,并且各图像的中间部分的亮度以从目标亮度逐渐变化而再回到同样的目标亮度的方式变化。由此,能够抑制中间部分的亮度大幅偏离目标亮度。其结果,能够抑制被校正为过亮、或者反过来校正为过暗,能够生成整体来说易于识别的周边图像。
本发明的实施方式所涉及的图像处理装置的上述第一设定部,例如,也可以在基于上述第一关注区域的亮度和上述第二关注区域的亮度中的至少一方决定出的上述第一关注区域的第一校正值和上述第二关注区域的第二校正值上,分别加上作为上述规定的值而确定的调整值。根据该结构,例如在基于决定出的校正值(第一校正值或第二校正值)进行校正后的亮度过暗、图像整体变暗的情况下,使用作为规定的值的调整值,能够统一地增加亮度(提亮)。其结果,能够抑制周边图像整体来说变暗(过暗)的情形。
本发明的实施方式所涉及的图像处理装置的上述第二设定部,例如,在基于对上述第一校正值和上述第二校正值之间进行线性插值的插值算式计算上述个别校正值的情况下,设定为:上述插值算式的斜率越大,则越减少该斜率。根据该结构,例如能够抑制亮度被极大地修正,能够防止变得不合理地过亮或者过暗,能够生成易于识别的周边图像。
本发明的实施方式所涉及的图像处理装置的上述第二设定部,例如,也可以对上述个别校正值设定校正上限值,将上述个别校正值设定为随着亮度的校正量增加而使上述校正量向上述校正上限值收敛。根据该结构,例如能够抑制亮度被极大地修正,能够防止变得不合理地过亮或者过暗,能够生成易于识别的周边图像。
本发明的实施方式所涉及的图像处理装置的上述第二设定部,例如,也可以根据由包含上述第一校正值和上述第二校正值的直线内插算式计算出的校正值,设定上述个别校正值。根据该结构,能够减轻亮度校正处理的负荷。
本发明的实施方式所涉及的图像处理装置的上述第二设定部,例如,也可以根据由基于第一γ曲线的第一系数和第二γ曲线的第二系数的直线内插算式计算出的校正值,设定上述个别校正值,上述第一γ曲线是针对第一关注区域的亮度作为使其成为第一目标亮度的曲线算式而计算出的,上述第二γ曲线是针对第二关注区域的亮度作为使其成为第二目标亮度的曲线算式而计算出的。根据该结构,例如γ曲线算式是一定包含以256阶表示亮度的情况下的最低亮度值“0”和最高亮度值“255”的曲线,由此,通过使用γ曲线的系数,亮度校正被在最低亮度值和最高亮度值之间进行,能够抑制图像过黑(过暗校正)或过白(过亮校正)。其结果,能够抑制过黑及过白等信息不足,能够生成易于识别的周边图像。
附图说明
图1是表示能够搭载实施方式所涉及的图像处理装置的车辆的一个示例的示意性俯视图。
图2是包含实施方式所涉及的图像处理装置的图像处理系统的结构的例示性框图。
图3是实施方式所涉及的图像处理装置的CPU的结构的例示性框图。
图4是说明由各拍摄部拍摄的被拍摄区域和其重复区域的俯瞰性示意图。
图5是表示在实施方式所涉及的图像处理装置作为处理对象的源图像的亮度分布和关注区域(ROI:Region of Interest)的设定位置的一个示例的示意图。
图6是说明在实施方式所涉及的图像处理装置中,使用固定的目标亮度进行亮度修正的情况下的处理的流程的一个示例的流程图。
图7是例示性地说明实施方式所涉及的图像处理装置的处理部分的图,是表示将车辆前方的被拍摄区域的关注区域的亮度校正到固定的目标亮度的、与该校正对应的直线内插算式的示意图。
图8是说明基于由图7的直线内插算式设定的亮度实施校正的情况的图,是表示车辆前方的被拍摄区域的校正前后的亮度状态的变化例的示意图。
图9是例示性地说明实施方式所涉及的图像处理装置的处理部分的图,是表示将车辆的侧方的被拍摄区域的关注区域的亮度校正到固定的目标亮度的、与该校正对应的直线内插算式的示意图。
图10是表示在对车辆周围的被拍摄区域进行亮度校正的情况下生成的周边图像的亮度状态的一个示例的示意图。
图11是表示在实施方式所涉及的图像处理装置中,在进行亮度校正的情况下所使用的直线内插算式的斜率过大的示例的示意图。
图12是说明在图11的情况下,直线内插算式的斜率的校正例的示意图。
图13是表示在实施方式所涉及的图像处理装置中,在进行亮度校正时校正量过大的情况下,基于校正上限值限制校正量的示例的示意图。
图14是表示说明使用了γ曲线的系数的亮度的线性插值时的输入亮度和输出亮度的关系的一个示例的示意图。
图15是表示说明使用了γ曲线的系数的亮度的线性插值时的输入亮度和输出亮度的其他关系的示例的示意图。
图16是表示使用图14及图15的γ曲线的系数生成的线性插值算式的示意图。
图17是说明在实施方式所涉及的图像处理装置中,使用规定的值(固定值)进行直线内插算式的校正(提亮校正),并进行亮度校正时的处理的流程的一个示例的流程图。
图18是说明进行图17所示的图像处理时,校正前的直线内插算式的示例的图,是说明使用一对关注区域的平均值确定车辆前方的被拍摄区域的关注区域的目标亮度的情况的示意图。
图19是表示基于规定的值(调整值)校正(提亮校正)图18所示的直线内插算式的示例的示意图。
图20是说明基于图19所示的校正后的直线内插算式进行前方的被拍摄区域的亮度设定以及基于相同的方法进行后方的被拍摄区域的亮度设定之后,进行侧方的被拍摄区域的亮度设定的示例的示意图。
具体实施方式
以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构,以及由该结构带来的作用,结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现,并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
图1是搭载本实施方式的图像处理装置的车辆10的示意性俯视图。车辆10,例如可以是以内燃机(发动机,未图示)为驱动源的汽车(内燃机汽车),也可以是以电动机(马达,未图示)为驱动源的汽车(电动汽车、燃料电池汽车等),还可以是以上述两者为驱动源的汽车(混合动力汽车)。此外,车辆10能够搭载各种变速装置,并且能搭载用于驱动内燃机或电动机所需的各种装置(系统、零部件等)。此外,车辆10中与车轮12(前轮12F、后轮12R)的驱动相关的装置的方式、个数和布局等,能够进行各种设定。
如图1所示,在车辆10中,作为多个拍摄部14设置有例如四个拍摄部14a~14d。拍摄部14是例如内置有CCD(Charge Coupled Device,电荷耦合器件)或CIS(CMOS ImageSensor,CMOS图像传感器)等摄像元件的数字摄像头。拍摄部14能够以规定的帧率输出动态图像数据(拍摄图像数据、图像信息)。拍摄部14分别具有广角透镜或者鱼眼透镜,在水平方向上能够拍摄例如140°~220°的范围(被拍摄区域)。此外,拍摄部14的光轴设定为朝向斜下方。从而,拍摄部14依次拍摄包含车辆10能够在其上移动的路面及画在路面上的标志(包含箭头或区划线、表示停车空间的线、车道分界线等)或者物体(例如行人、车辆等)的车辆10外部的周边环境,并作为拍摄图像数据输出。
拍摄部14设置于车辆10的外周部。拍摄部14a设置在例如车辆10的前侧、即车辆前后方向的前方侧的车宽方向的大致中央的端部、例如前保险杠10a或前格栅等上,能够拍摄包含车辆10的前端部(例如前保险杠10a)的前方图像(前方的被拍摄区域)。此外,拍摄部14b设置在例如车辆10的左侧的端部、例如左侧的车门后视镜10b上,能够拍摄包含以车辆10的左侧方为中心的区域(例如从左前方到左后方的区域)的左侧方图像(左侧方的被拍摄区域)。此外,拍摄部14c设置在例如车辆10的右侧的端部、例如右侧的车门后视镜10c上,能够拍摄包含以车辆10的右侧方为中心的区域(例如从右前方到右后方的区域)的右侧方图像(右侧方的被拍摄区域)。此外,拍摄部14d设置在车辆10的后侧、即车辆前后方向的后方侧的车宽方向的大致中央的端部、例如后保险杠10d的上方位置上,能够拍摄包含车辆10的后端部(例如后保险杠10d)的后方图像(后方的被拍摄区域)。
本实施方式的图像处理装置基于由多个拍摄部14获得的拍摄图像数据来进行计算处理或者图像处理,由此,能够生成视角更广的图像,也能够生成从上方、前方、侧方等观察车辆10的虚拟图像(俯视图像(平面图像)或者侧视图像、正视图像等)。此外,在各拍摄部14拍摄的拍摄图像数据(图像)中,设置有相互重复的重复区域,以免在拼接图像时产生缺失区域。例如,拍摄部14a所拍摄到的拍摄图像数据的车宽方向左侧的端部区域和拍摄部14b所拍摄到的拍摄图像数据的车辆前后方向中的前方侧的端部区域重复。接着,实施拼接两个图像(合成)的处理。同样地,前方图像和右侧方图像、左侧方图像和后方图像、以及后方图像和右侧方图像也设置有重复区域,并实施拼接两个图像(合成)的处理。
图2是包含搭载于车辆10的图像处理装置的图像处理系统100的结构的例示性框图。在车辆10的车室内设置有显示装置16或声音输出装置18。显示装置16例如是LCD(Liquid Crystal Display,液晶显示器)或OELD(Organic ElectroLuminescent Display,有机电致发光显示器)等。声音输出装置18例如是扬声器。此外,显示装置16例如由触摸面板等透明的操作输入部20覆盖。乘车人员(例如,驾驶员)能够透过操作输入部20目视确认显示在显示装置16的显示画面上的图像。此外,乘车人员通过在与显示在显示装置16的显示画面上的图像对应的位置以手指等对操作输入部20进行触碰、按压或划动等来进行操作,能够实施操作输入。上述显示装置16、声音输出装置18、操作输入部20等设置在例如车辆10的前围板的车宽方向即左右方向的中央部的监控装置22上。监控装置22可以具有开关、旋钮、控制杆、按钮等的未图示的操作输入部。监控装置22例如可以兼用于导航系统或音响系统。
此外,如图2所示,图像处理系统100(图像处理装置)除了拍摄部14(14a~14d)和监控装置22之外,还包含ECU24(Electronic Control Unit,电子控制单元)。在图像处理系统100(图像处理装置)中,ECU24与监控装置22通过作为电信线路的车内网络26电连接。车内网络26例如构成为CAN(Controller Area Network,控制器区域网络)。ECU24通过车内网络26传送控制信号,由此能够实施各种系统的控制。此外,ECU24通过车内网络26,能够接收操作输入部20及各种开关的操作信号等、以及省略了图示的各种传感器的检测信号等。
ECU24将与基于从拍摄部14所取得的拍摄图像数据而生成出的周边图像或声音相关的数据发送至监控装置22。ECU24例如具有:CPU24a(Central Processing Unit,中央处理单元)、ROM24b(Read Only Memory,只读存储器)、RAM24c(Random Access Memory,随机存取存储器)、显示控制部24d、声音控制部24e、以及SSD24f(Solid State Drive,固态硬盘;Flash Memory,快闪存储器)等。
CPU24a读取在ROM24b等非易失性的存储装置中存储(安装)的程序,并按照该程序实施计算处理。ROM24b存储各程序及实施程序所需的参数等。CPU24a例如,包含如图3所示的各种模块,实施与在显示装置16显示的图像相关的处理。例如,作为处理的一个示例,CPU24a对拍摄部14拍摄到的拍摄图像数据实施校正处理、计算处理、以及图像处理等,生成拼接多个图像而成的周边图像(例如,俯视图像)。CPU24a的细节在后文详述。
RAM24c临时存储CPU24a上的计算所使用的各种数据。此外,显示控制部24d在ECU24上的计算处理中,主要实施在显示装置16显示的显示用图像的数据变换等。此外,声音控制部24e在ECU24上的计算处理中,主要实施在声音输出装置18输出的声音数据的处理。SSD24f是可擦写的非易失性存储装置,即使在ECU24的电源被断开的情况下也能够存储数据。此外,CPU24a、ROM24b、RAM24c等可以集成在同一个封装内。此外,ECU24也可以是使用DSP(Digital Signal Processor,数字信号处理器)等其他逻辑计算处理器或逻辑电路等来取代CPU24a的结构。此外,也可以设置HDD(Hard Disk Drive,硬盘驱动器)来代替SSD24f,并且SSD24f或HDD也可以与ECU24分开设置。
在本实施方式中,ECU24通过硬件与软件(控制程序)的协作,来管理在显示装置16显示的图像的图像生成处理。ECU24对拍摄部14拍摄到的拍摄图像数据(图像)实施图像处理,例如视点转换处理等,并在显示到显示装置16时,进行图像的亮度校正。在拼接前后左右的图像的情况下,ECU24能够抑制由亮度差导致的图像之间的连续性下降的不良,以及图像整体或局部变得过亮和反过来变得过暗的情形,能够抑制图像整体(通过拼接生成的周边图像、俯视图像)的目视确认性的下降。
图3是在ECU24所包含的CPU24a中,用来实现本实施方式的图像处理的结构的例示性框图。此外,在CPU24a中除了实施本实施方式的图像处理的结构以外,省略了图示。CPU24a具备用来实施包含上述那样的亮度校正的图像处理的各种模块。各种模块可以通过CPU24a读取安装并存储在ROM24b等存储装置的程序并将其运行来实现。例如,如图3所示,CPU24a具备:取得部28、关注区域设定部30、第1设定部32(第一设定部)、以及第2设定部34(第二设定部)等。此外,第1设定部32包含固定值设定部32a、以及固定值加算设定部32b等。此外,第2设定部34包含线性插值部34a、斜率设定部34b、γ曲线系数计算部34c、以及亮度设定部34d等。
取得部28经由显示控制部24d取得各拍摄部14拍摄到的图像。各拍摄部14(14a~14d)能够拍摄如图4所示的被拍摄区域36。其中,各被拍摄区域36包含如上所述的分别与邻接的被拍摄区域36部分重叠的重复区域38。被拍摄区域36中的车辆10的前方的被拍摄区域36F的车宽方向左侧与车辆10的左侧方的被拍摄区域36SL的车辆前方侧之间形成重复区域38FL。被拍摄区域36中的被拍摄区域36SL的车辆后方侧与车辆10的后方的被拍摄区域36R的车宽方向左侧之间形成重复区域38RL。被拍摄区域36中的被拍摄区域36R的车宽方向右侧与车辆10的右侧方的被拍摄区域36SR的车辆后方侧之间形成重复区域38RR。还有,被拍摄区域36中的被拍摄区域36SR的车辆前方侧与被拍摄区域36F的车宽方向右侧之间形成重复区域38FR。各拍摄部14可以对拍摄到的拍摄图像数据按拍摄部14分别附加识别符号并输出至取得部28,也可以是,在取得部28侧对所取得的每个拍摄图像数据分别附加识别输出源的识别符号。
此外,在本实施方式中,例如,在着眼于被拍摄区域36F进行处理的情况下,存在将夹着车辆10而相互间隔开的一对被拍摄区域36(例如,被拍摄区域36F和被拍摄区域36R)中的一方(例如被拍摄区域36F)称为第一被拍摄区域的情况。此外,存在将与第一被拍摄区域邻接的一对被拍摄区域36(例如,被拍摄区域36SL和被拍摄区域36SR)中的一方称为第二被拍摄区域(例如,被拍摄区域36SL)的情况。并且,存在将第一被拍摄区域与第二被拍摄区域重叠的重复区域38(重复区域38FL)称为第一重复区域的情况。同样地,存在将与第一被拍摄区域邻接的一对被拍摄区域36(例如,被拍摄区域36SL和被拍摄区域36SR)中的另一方称为第三被拍摄区域(例如,被拍摄区域36SR)的情况。并且,存在将第一被拍摄区域与第三被拍摄区域重叠的重复区域38(重复区域38FR)称为第二重复区域的情况。此外,也可以将被拍摄区域36SL和被拍摄区域36SR作为夹着车辆10而相互间隔开的一对被拍摄区域36。在这种情况下,第二被拍摄区域为被拍摄区域36F和被拍摄区域36R中的某一方,另一方成为第三被拍摄区域。
如图5所示,关注区域设定部30对取得部28所取得的被拍摄区域36的每个重复区域38分别设定进行亮度调整时参照的关注区域40(40FL,40RL,40RR,40FR)。关注区域40是在车辆10的车宽方向和前后方向具有规定的长度的、例如为矩形的区域,关注区域40的亮度为关注区域40所包含的各像素的亮度的例如平均值。此外,在本实施方式中,在确定关注区域40的位置时,其位置为例如关注区域40的中心位置(车宽方向和前后方向的中心点)。
此外,各拍摄部14在拍摄时自动进行光圈调整(增益调整),由此进行各被拍摄区域36的光亮度调整(亮度调整)。其结果,在被拍摄区域36中大量存在亮区域的情况下,光圈值增大,拍摄到光亮度被抑制的较暗的图像。反过来,在被拍摄区域36中大量存在暗区域的情况下,光圈值变小,拍摄到光亮度被提高的较亮的图像。因此,如图5所示,例如在重复区域38FL所包含的关注区域40FL中,存在与被拍摄区域36F侧的关注区域40FL对应的部分和与被拍摄区域36SL侧的关注区域40FL对应的部分的光亮度(亮度)不同的情况。例如,在图5中,在以0~255的256阶(“0”为暗,“255”为亮)表示亮度的情况下,对于重复区域38FL所包含的关注区域40FL,例如被拍摄区域36F侧的亮度为“250”即亮,被拍摄区域36SL侧的亮度为“100”即比被拍摄区域36F侧暗。此外,在图5中,标记为“100”等的数字表示亮度。此外,在其他图中,也存在标记在关注区域40中的数字表示亮度的情况。此外,关注区域设定部30也可以将关注区域40的设定位置设定为预先确定的位置,还可以根据被拍摄区域36的亮度分布变更设定位置。
第1设定部32基于规定的值校正关注区域40的亮度。例如,考虑夹着车辆10而相互间隔开的一对被拍摄区域36(例如被拍摄区域36F和被拍摄区域36R)中的一方即第一被拍摄区域(例如被拍摄区域36F)。第1设定部32校正第一重复区域(例如重复区域38FL)所包含的第一关注区域(例如关注区域40FL)的亮度,所述第一重复区域是第一被拍摄区域(例如被拍摄区域36F)和与该第一被拍摄区域邻接的一对被拍摄区域36中的一方即第二被拍摄区域(例如被拍摄区域36SL)重叠出的。同样地,第1设定部32校正第二重复区域(例如重复区域38FR)所包含的第二关注区域(关注区域40FR)的亮度,所述第二重复区域是第一被拍摄区域(例如被拍摄区域36F)和与该第一被拍摄区域邻接的另一方的被拍摄区域36即第三被拍摄区域(例如被拍摄区域36SR)重叠出的。同样地,第1设定部32校正关注区域40RL及关注区域40RR的亮度。
在本实施方式的情况下,在第1设定部32基于规定的值校正关注区域40的亮度时,例如能够基于两种方法实施。例如,固定值设定部32a以成为目标亮度的方式决定校正值,并进行亮度校正,所述目标亮度是作为规定的值而确定出的。固定值设定部32a例如使用以使关注区域40的亮度成为目标亮度(例如,256阶的”200”)的校正值来进行校正,所述目标亮度是预先通过实验等导出的、不管周围的明暗环境如何而目视确认性最好的亮度。
此外,包含于第1设定部32的固定值加算设定部32b,在计算出用于校正包含于被拍摄区域36的关注区域40的亮度的目标亮度的情况下,通过将作为规定的值而确定出的调整值加算到目标亮度,来对被拍摄区域36的亮度统一进行提亮校正。例如,对于被拍摄区域36F,在车宽方向左侧的关注区域40FL的亮度为“150”且车宽方向右侧的关注区域40FR的亮度为“100”的情况下,使用至少一方的亮度,确定目标亮度。例如,将关注区域40FL与关注区域40FR之间的平均亮度”125”作为目标亮度。在以该目标亮度进行校正的情况下,在判定为被拍摄区域36F整体的光亮度不足时,加上作为规定的值而确定出的调整值。例如,加上预先通过实验等确定出的调整值即“调整亮度值=50”,将被拍摄区域36F整体的光亮度统一进行提亮。此外,基于固定值设定部32a、固定值加算设定部32b的校正的具体示例在后文详述。
第2设定部34基于邻接的关注区域40各自的校正值,设定它们之间的亮度。例如,在以被拍摄区域36F的车宽方向左侧的关注区域40FL为第一关注区域的情况下,例如将用于校正为由固定值设定部32a设定的固定的目标亮度的校正值称为第一校正值。同样地,在以被拍摄区域36F的车宽方向右侧的关注区域40FR为第二关注区域的情况下,例如将用于校正为由固定值设定部32a设定的固定的目标亮度的校正值称为第二校正值。在这种情况下,线性插值部34a使用第一校正值和第二校正值,生成用于进行线性插值的例如直线内插算式(连结第一校正值和第二校正值的直线)。接着,基于生成出的线性插值算式(例如直线内插算式),校正两个关注区域40之间的区域的亮度。
在由线性插值部34a生成出的线性插值算式的斜率为规定的限制值以上的情况下,斜率设定部34b校正直线内插算式的斜率。例如,在邻接的关注区域40的一方的亮度大幅偏离由固定值设定部32a设定的目标亮度的情况下,线性插值部34a生成的直线内插算式的斜率变大。其结果,例如在关注区域40的周边的、比关注区域40暗的部分也可能会受到关注区域40的亮度校正的影响而被向更亮的方向校正。其结果,实施了所需程度以上的增加亮度校正,存在导致所谓”过白”的情况。斜率设定部34b基于预先设定的曲线校正由线性插值部34a生成出的线性插值算式的斜率。该曲线具备下述特性:例如,在线性插值算式的斜率小于限制值的情况下不校正,在斜率为规定以上的情况下对斜率进行减少校正。此外,该曲线还可以具备下述特性:在斜率为比限制值更大的界限值以上的情况下,使斜率成为预先设定的规定的值(固定值)。
作为一个示例,线性插值部34a以直线连接对邻接的两个关注区域40的校正值,从而生成直线内插算式。在这种情况下,基于校正值,在中间部分的亮度校正时,存在校正量过小导致图像的“过黑”,或反过来校正量过大导致图像的“过白”的情况。因此,γ曲线系数计算部34c计算出第一γ曲线的第一系数,所述第一γ曲线是对第一关注区域(例如,关注区域40FL)的亮度计算出的作为第一目标亮度的曲线算式。同样地,γ曲线系数计算部34c计算出第二γ曲线的第二系数,所述第二γ曲线是对第二关注区域(例如,关注区域40FR)的亮度计算出的作为第二目标亮度的曲线算式。接着,γ曲线系数计算部34c基于计算出的第一系数和第二系数生成线性插值算式(直线内插算式),基于由该线性插值算式计算出的校正值(γ曲线系数)设定第一关注区域和第二关注区域之间的区域的亮度。在这种情况下,由于γ曲线算式是一定包含以256阶表示亮度的情况下的最低亮度值“0”和最高亮度值“255”的曲线,因此,通过使用γ曲线的系数,难以产生图像的过黑(过暗校正)或过白(过亮校正)。其结果,能够抑制过黑或过白等信息不足,能够生成易于识别的周边图像。
亮度设定部34d基于由线性插值部34a生成的线性插值算式(例如,直线内插算式),设定用于校正第一关注区域(例如,关注区域40FL)和第二关注区域(例如,关注区域40FR)之间的区域的亮度的个别校正值。在由线性插值部34a生成的线性插值算式为针对车辆10的前方的被拍摄区域36F的线性插值算式的情况下,亮度设定部34d基于该线性插值算式,对被拍摄区域36F中的车辆前后方向的区域也进行同样的亮度校正。因此,对于被拍摄区域36F,车辆前后方向的区域被以同样的校正值(校正量)实施亮度校正。
图3的CPU24a的结构只是一个示例,例如,可以构成为,在第1设定部32中,能够选择基于规定的值的校正(固定值设定部32a和固定值加算设定部32b)中的任一方。此外,在固定使用任一方的情况下,也可以是省略固定值设定部32a和固定值加算设定部32b中的任一方的结构。此外,在第2设定部34,在线性插值部34a仅基于关注区域40的校正值形成线性插值算式的情况下,也可以是省略γ曲线系数计算部34c的结构。
使用图6的流程图及图1~图5之外,还使用图7~图16说明上述结构的图像处理系统100(图像处理装置)的处理的一个示例。
使用图6的流程图,对在固定值设定部32a将预先设定的目标亮度设定为规定的值的情况下实施的亮度校正进行说明。
首先,CPU24a判定是否为生成以车辆10为中心的俯视视角的周边图像的时机(S100)。在该判定中,CPU24a例如根据车辆10的操作状态(例如,在变速杆被移动到后退行驶的位置的情况等),或在驾驶员经由操作输入部20等进行了要求显示的操作的情况下,判定为肯定判定。在CPU24a判定为生成周边图像的情况下(S100的”是”),取得部28获得各拍摄部14拍摄的被拍摄区域36的图像(图像信息)(S102)。此外,在判定为不是生成周边图像的时机的情况下(S100的”否”),暂时结束图6的流程。
接着,关注区域设定部30对所获得的各图像的被拍摄区域36进行关注区域40的设定(S104)。在各被拍摄区域36的关注区域40的亮度例如为如图5所示的情况下,固定值设定部32a对各关注区域40设定作为规定的值而确定出的目标亮度(例如,256阶的“200”)(S106),并且设定用来校正关注区域40的亮度为目标亮度(例如“200”)的校正值(S108)。图7是校正车辆10的前方的被拍摄区域36F的亮度的示例。是对被拍摄区域36F,车宽方向(X轴方向)左侧的关注区域40FL的亮度为256阶的“250”,车宽方向右侧的关注区域40FR的亮度为256阶的“150”的示例。与此相对的,在固定值设定部32a设定的目标亮度为256阶的“200”的情况下,在被拍摄区域36F中,作为亮度值M,将关注区域40FL的校正值设定为“-50”,将关注区域40FR的校正值设定为“+50”。
线性插值部34a使用第1设定部32设定的关注区域40FL的校正值(N=-50)、和关注区域40FR的校正值(N=+50),生成直线内插算式42(42F)(S110)。其结果,关注区域40FL和关注区域40FR之间的车宽方向(X轴方向)的亮度校正量由直线内插算式42F表示。接着,亮度设定部34d基于由生成的直线内插算式42F计算出的校正值(个别校正值),校正(设定)关注区域40FL和关注区域40FR之间的区域的亮度。同样地,在被拍摄区域36F中,使用同样的校正值设定(校正)车辆前后方向(Z轴方向)的区域的亮度(S112)。其结果,如图8所示,校正前的被拍摄区域36F的车宽方向左侧(关注区域40FL部分)的亮度以变暗的方式例如被从“250”校正到“200”,车宽方向右侧(关注区域40FR部分)的亮度以变亮的方式例如被从“150”校正到“200”。
CPU24a监视是否对整个画面已完成上述那样的校正处理(S114)。接着,在没有完成校正处理的情况下(S114的“否”),返回S102,关注区域设定部30、第1设定部32、以及第2设定部34对被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR实施上述处理。
例如,关注区域设定部30、第1设定部32、以及第2设定部34对车辆10的后方的被拍摄区域36R实施与上述相同的处理。其结果,校正前的被拍摄区域36R中以变亮的方式将车宽方向左侧(关注区域40RL部分)的亮度从“50”校正到“200”,以变亮的方式将车宽方向右侧(关注区域40RR部分)的亮度从“50”校正到“200”。
同样地,关注区域设定部30、第1设定部32、以及第2设定部34如图9所示,对车辆10的左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR进行同样的校正。例如,对被拍摄区域36SL而言,车辆前后方向(Z轴方向)的前方侧的关注区域40FL的亮度为256阶的“100”,后方侧的关注区域40RL的亮度为256阶的“50”。与此相对的,在固定值设定部32a设定的目标亮度为256阶的“200”的情况下,在第1设定部32中,作为亮度值M,将关注区域40FL的校正值设定为“+100”,将后方侧的关注区域40RL的校正值设定为“+150”。线性插值部34a使用第1设定部32设定的关注区域40FL的校正值(N=+100)、和关注区域40RL的校正值(N=+150),生成直线内插算式42L。同样地,对被拍摄区域36SR而言,车辆前后方向(Z轴方向)的前方侧的关注区域40FR的亮度为256阶的“100”,后方侧的关注区域40RR的亮度为256阶的“50”。与此相对的,在固定值设定部32a设定的目标亮度为256阶的“200”的情况下,在第1设定部32中,作为亮度值M,将关注区域40FR的校正值设定为“+100”,将后方侧的关注区域40RR的校正值设定为“+150”。线性插值部34a使用第1设定部32设定的关注区域40FR的校正值(N=+100)、和关注区域40RR的校正值(N=+150),生成直线内插算式42R。
其结果,被拍摄区域36SL中的关注区域40FL和关注区域40RL之间的车辆前后方向(Z轴方向)的亮度校正量由直线内插算式42L表示,被拍摄区域36SR中的关注区域40FR和关注区域40RR之间的车辆前后方向(Z轴方向)的亮度的个别校正量由直线内插算式42R表示。接着,亮度设定部34d基于直线内插算式42L,以相同的个别校正量校正关注区域40FL和关注区域40RL之间的区域的亮度、以及被拍摄区域36SL中的车宽方向(X轴方向)的区域的亮度。此外,亮度设定部34d基于直线内插算式42R,以相同的个别校正量校正关注区域40FR和关注区域40RR之间的区域的亮度、以及被拍摄区域36SR中的车宽方向(X轴方向)的区域的亮度。
CPU24a在完成全部的图像(被拍摄区域36F、被拍摄区域36R、被拍摄区域36SL、以及被拍摄区域36SR的图像)的校正处理后(S114的“是”),使显示控制部24d拼接各图像生成俯视视角的周边图像,并显示到显示装置16(S116),在下一个处理周期内反复进行从S100开始的处理以进行周边图像的更新。在这种情况下,如图10所示,各关注区域40(40FL、40RL、40RR、40FR)的亮度成为256阶的“200”,能够生成无痕迹地拼接了各被拍摄区域36(36F、36SL、36R、36SR)的周边图像44。此外,由于各关注区域40之间的亮度也基于直线内插算式42校正,因此能够抑制过亮部分或过暗部分的生成,可在周边图像44的任一部分均容易地进行图像内容的识别。
然而,存在邻接的关注区域40的亮度差本来很大的情况。例如,如图11所示,在室外阳光很强情况下,有在车辆10的周围的一部分存在本车的深黑阴影46的情况。在这种情况下,存在没有包含在阴影46的关注区域40RL的亮度(例如,256阶的“180”)和包含在阴影46的关注区域40RR的亮度(例如,256阶的“操作输入部20”)之间亮度差大的情况。在这样的情况下,如果与上述的情况同样地,固定值设定部32a设定目标亮度为“200”,则对关注区域40RL的校正值成为“+20”,与之相对地,对关注区域40RR的校正值成为“+180”。其结果,如果线性插值部34a生成直线内插算式42,则如图11所示,存在生成斜率较大的直线内插算式42的情况。在这种情况下,在关注区域40RR的周边,比关注区域40RR亮的区域48也会受到关注区域40RR的亮度校正的影响而被向亮的方向校正。其结果,比关注区域40RR亮的区域48,会出现所谓“过白”的情况。因此,斜率设定部34b基于如图12所示的预先设定的曲线50,校正由线性插值部34a生成出的直线内插算式42的斜率。该曲线50,例如在直线内插算式42的斜率不到规定的限制值的情况下,作为“通常区”并不进行斜率校正,在斜率为规定的限制值以上的情况下,作为“限制区”对斜率进行减少校正。此外,曲线50在斜率为比限制值更大的规定的界限值以上的情况下,进行校正以使校正后的斜率成为预先设定的规定的值(固定值)。
在直线内插算式42的斜率为规定的限制值以上的情况下,由于基于曲线50校正该斜率,因此能够缓和对比关注区域40RR亮的区域48的亮度校正,能够抑制“过白”。此外,由于以界限值(固定值)校正斜率,因此不会产生在其之上的亮度增加。另外,在这种情况下,对于原来通过校正为亮来实现平滑的亮度变化的区域来说,由于对校正加以限制,所以亮度变化的平滑度会下降,但是能够抑制“过白”,有助于图像内容的识别性提高。此外,曲线50的形状、限制值、以及界限值(固定值),能够预先通过实验等并考虑与周围的亮度的平衡等适当地决定。此外,也可以考虑与周围的亮度的平衡等,通过线性插值部34a计算曲线50。
此外,在其他实施方式中,在亮度设定部34d基于直线内插算式42设定用于校正关注区域40RL和关注区域40RR之间的区域的亮度校正值(个别校正值)的情况下,也可以对校正值加上限制。例如,如图13所示,对校正值设定校正上限值Max,根据直线内插算式42,随着亮度校正量增加,使设定的个别校正量向校正上限值Max收敛。在这种情况下,对比关注区域40RR亮的区域48的亮度校正被缓和,能够抑制“过白”。此外,校正上限值Max可以预先作为固定值设定,也可以根据计算出的直线内插算式42的斜率设定。
此外,如上所述,在基于由固定值设定部32a等设定出的目标亮度,以直线连结邻接的两个关注区域40的校正值而生成直线内插算式42的情况下,存在不增大处理负荷且能够进行亮度修正的优点。但在另一方面,基于校正值,在中间部分的亮度校正中,存在在校正量过小的情况下产生图像的“过黑”,反过来,在过大的情况下产生图像的“过白”的情况。因此,在本实施方式的情况下,在亮度校正时能够使用γ校正。例如,在车辆10的前方的被拍摄区域36F中,考虑关注区域40FL(第一关注区域)和关注区域40FR(第二关注区域)。设关注区域40FL的亮度(区域内的平均亮度)为256阶的“150”,关注区域40FR的亮度为“100”,由固定值设定部32a设定出的目标亮度为256阶的“125”。在这种情况下,为了变成目标亮度,关注区域40FL需要“-25”的校正值,关注区域40FR需要“+25”的校正值。
因此,γ曲线系数计算部34c对于关注区域40FL,计算出如图14所示那样在横轴为输入亮度Y0,纵轴为输出亮度Y1L的情况下的第一γ曲线52L。在这种情况下,γ曲线系数计算部34c计算出通过最低值(最低亮度)的坐标p=(0,0)、和最高值(最高亮度)的坐标q=(255,255),并且通过坐标r的三点的曲线(Y1L=Y01/γ1)作为第一γ曲线52L,坐标r为输出亮度Y1L相对于输入亮度Y0“-25”的坐标。接着,γ曲线系数计算部34c计算出“γ1”作为第一系数。在这种情况下,第一γ曲线52L相对于输出亮度Y1L=输入亮度Y0的直线54成为向下方凸出的曲线。同样地,如图15所示,γ曲线系数计算部34c对于关注区域40FR,计算出通过最低值(最低亮度)的坐标p=(0,0)、最高值(最高亮度)的坐标q=(255,255),并且通过坐标s的三点的曲线(Y1R=Y01/γ2)作为第二γ曲线52R,坐标s为输出亮度Y1R相对于输入亮度Y0“+25”的坐标。接着,γ曲线系数计算部34c计算出“γ2”作为第二系数。在这种情况下,第二γ曲线52R相对于输出亮度Y1R=输入亮度Y0的直线54成为向上凸出的曲线。
线性插值部34a使用γ曲线系数计算部34c计算出的γ曲线系数γ1及γ2,生成直线内插算式56。图16是纵轴为γ曲线系数,横轴为车宽方向的亮度校正对象的位置坐标的图,是在以关注区域40FL的中心坐标为X1时γ曲线系数为“γ1”、在以关注区域40FR的中心坐标为X2时γ曲线系数为“γ2”的情况下的直线内插算式56(γ=aX+b)。因此,亮度设定部34d基于直线内插算式56、计算出与关注区域40FL和关注区域40FR之间的位置的校正对象的位置相对应的γ曲线系数,在表示输入亮度Y0(源图像的亮度)和输出亮度Y1之间的关系的Y1=Y01/γ,代入计算出的γ曲线系数和校正对象的位置的亮度(源图像的亮度值、即输入亮度Y0)。其结果,能够计算出一对的关注区域40之间的区域的校正后的亮度(输出亮度Y1)。通过在其他图像实施这样的校正,能够生成难以产生图像的过黑(过暗校正)或过白(过亮校正)的、能够抑制信息不足而易于识别的周边图像。
下面,对图像处理系统100(图像处理装置)的处理的其他示例,使用图17的流程图及图18~图20进行说明。
使用图17的流程图,对由固定值加算设定部32b以规定的值进行线性插值算式的校正来实施亮度校正(亮度的提亮校正)的情况进行说明。
首先,CPU24a判定是否为生成以车辆10为中心的俯视视角的周边图像的时机(S200)。在该判定中,CPU24a例如根据车辆10的操作状态(例如,在变速杆被移动到后退行驶的位置的情况等),或在驾驶员经由操作输入部20等进行了要求显示的操作情况下,判定为肯定判定。在CPU24a判定为生成周边图像的情况下(S200的”是”),取得部28获得各拍摄部14拍摄的被拍摄区域36的图像(图像信息)(S202)。此外,在判定为不是生成周边图像的时机的情况下(S200的“否”),暂时结束图17的流程。
接着,关注区域设定部30对所获得的各图像的被拍摄区域36进行关注区域40的设定(S204)。接着,固定值加算设定部32b对例如车辆10的前方的被拍摄区域36F,计算设定好的车宽方向的两个关注区域40(关注区域40FL和关注区域40FR)的亮度(关注区域40内的平均亮度)的平均值,作为被拍摄区域36F的目标亮度(S206)。例如,如图18所示,假设被拍摄区域36F的车宽方向(X轴方向)左侧的关注区域40FL的亮度为256阶的“150”,右侧的关注区域40FR的亮度为256阶的“100”。在这种情况下,固定值加算设定部32b将“125”设定为目标亮度,设定用来将关注区域40FL及关注区域40FR的亮度校正为目标亮度(例如“125”)的校正值(S208)。在图18的情况下,在被拍摄区域36F中,作为亮度值M,将关注区域40FL的校正值设定为“-25”,关注区域40FR的校正值设定为“+25”。
线性插值部34a使用第1设定部32设定出的关注区域40FL的校正值(N=-25)、和关注区域40FR的校正值(N=+25),生成直线内插算式42(S210)。其结果,关注区域40FL和关注区域40FR之间的车宽方向(X轴方向)的亮度校正量由直线内插算式42F表示。
然而,在该示例的情况下,由包含于校正对象的被拍摄区域36的两个关注区域40(例如,关注区域40FL和关注区域40FR)的亮度的平均值来确定目标亮度,并生成直线内插算式42。因此,目标亮度过低,即,存在尽管实施了亮度校正处理,但是校正后的图像不够亮的情况。因此,固定值加算设定部32b在由直线内插算式42校正的亮度比预先设定的亮度(下限亮度)低,判定为需要增加调整的情况下(S212的“是”),固定值加算设定部32b实施基于规定的值(调整值)的校正(S214)。例如,在S208设定出的校正值上加上预先确定的调整值(例如,调整亮度值=50)。即,如图19所示,在成为由关注区域40FL的亮度和关注区域40FR的亮度的平均值确定的目标亮度(例如“125)”的校正值(“-25”和“+25”)上,分别加上调整亮度值=50。换言之,使直线内插算式42直接向增加方向以亮度值+50的方式移动,来生成直线内插算式42a。亮度设定部34d基于直线内插算式42a,以同样的校正量设定(校正)关注区域40FL和关注区域40FR之间的区域的亮度、以及在被拍摄区域36F中的车辆前后方向(Z轴方向)的区域的亮度(S216)。在这种情况下,被拍摄区域36F的亮度一律被提亮“+50”,成为较亮的图像。此外,在S212中,在基于直线内插算式42校正的亮度为预先设定的亮度(下限亮度)以上的情况下,判定为不需要增加调整(S212的“否”),跳过S214的处理。
第1设定部32监视车辆10的前方的被拍摄区域36F及后方的被拍摄区域36R的亮度校正是否已完成(S218),在没有完成的情况下(S218的”否”),返回S204,实施同样的处理。另一方面,在已完成车辆10的前方的被拍摄区域36F及后方的被拍摄区域36R的亮度校正的情况下(S218的“是”),第1设定部32为了车辆10的侧方的被拍摄区域36SL及被拍摄区域36SR的亮度校正而进行关注区域40的设定(S220)。接着,第1设定部32将已经完成了亮度校正的被拍摄区域36F及被拍摄区域36R的关注区域40的亮度作为目标亮度,设定被拍摄区域36SL及被拍摄区域36SR的关注区域40的亮度(S222)。
例如,如图20所示,在被拍摄区域36F的关注区域40FL的校正后的亮度为“175”、被拍摄区域36SL的关注区域40FL的校正前(拍摄时的亮度)为“100”的情况下,第1设定部32将被拍摄区域36SL的关注区域40FL的目标亮度设定为“175”(S222)。即,第1设定部32将“+75”作为被拍摄区域36SL的关注区域40FL的校正值设定(S224)。另一方面,在被拍摄区域36R的关注区域40RL的校正后的亮度为“100”、被拍摄区域36SL的关注区域40RL的校正前(拍摄时的亮度)为“50”的情况下,第1设定部32将被拍摄区域36SL的关注区域40RL的目标亮度设定为“100”(S222)。即,被拍摄区域36SL的关注区域40RL的校正值成为“+50”(S224)。
线性插值部34a使用第1设定部32设定出的关注区域40FL的校正值(N=+75)、和关注区域40RL的校正值(N=+50),生成直线内插算式42L(S226)。其结果,关注区域40FL和关注区域40RL之间的车辆前后方向(Z轴方向)的亮度校正量由直线内插算式42L表示。接着,亮度设定部34d基于直线内插算式42L,以同样的校正量设定(校正)关注区域40FL和关注区域40RL之间的区域的亮度、及被拍摄区域36SL中的车宽方向(X轴方向)的区域的亮度(S228)。
第1设定部32监视车辆10的左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR的亮度校正是否已完成(S230),在没有完成的情况下(S230的“否”),返回S220,以相同的处理生成被拍摄区域36SR的直线内插算式42R、实施右侧方的亮度校正处理。另一方面,在已完成左侧方的被拍摄区域36SL及右侧方的被拍摄区域36SR的亮度校正的情况下(S230的“是”),CPU24a使用显示控制部24d,拼接各图像生成俯视视角的周边图像,并显示到显示装置16(S232),在下一个的处理周期内反复进行从S200开始的处理以进行周边图像的更新。在这种情况下,如图20所示,包含关注区域40FL的被拍摄区域36F和被拍摄区域36SL被统一成亮度“175”而无痕迹地拼接。同样地,包含关注区域40RL的被拍摄区域36SL和被拍摄区域36R被统一成亮度“100”而无痕迹地拼接。此外,包含关注区域40RR的被拍摄区域36R和被拍摄区域36SR被统一成亮度“100”而无痕迹地拼接。包含关注区域40FR的被拍摄区域36SR和被拍摄区域36F被统一成亮度“175”而无痕迹地拼接。即,生成的周边图像成为在各图像的拼接部分没有亮度差别而无痕迹地拼接的、没有不协调感的易于观察的图像。此外,由于各关注区域40之间的亮度也由直线内插算式42a、42L、42R校正,能够抑制过亮部分或过暗部分的生成,周边图像的任一部分均易于进行图像内容的识别。此外,在图17的处理中,也能够适用如上所述的线性插值算式的斜率的校正、或使用γ曲线系数的线性插值算式的计算,能够获得相同的效果。
在上述的实施方式的说明中,不管车辆10的周围状况如何,而固定值设定部32a设定的目标亮度和固定值加算设定部32b设定的调整值都为规定的值。例如,由于夜间显示装置16的周围较暗,存在即使整体上降低显示到显示装置16的图像的亮度,也能够无不协调感地识别图像内容的情况。反过来,由于白天周围较亮,存在进一步提高显示装置16的亮度能更易于识别图像内容的情况。因此,在其他实施方式中,例如,也可以根据白天夜间等车辆10的周围的光亮度状态、或者显示装置16的光亮度设定来变更规定的值。
此外,本实施方式的情况下,拍摄部14b固定于左车门后视镜10b,拍摄部14c固定于右车门后视镜10c。在这种情况下,通过使用在关闭车辆10的车门的状态时拍摄到的图像,能够正确地拼接拍摄部14a或拍摄部14d拍摄到的图像。因此,显示控制部24d在车门打开情况下,不能正确地拼接图像。由此,CPU24a在车门打开情况下,可以不实施上述的亮度校正处理,而生成作为参考的周边图像。
本实施方式的由CPU24a实施的用于图像处理的程序,可以构成为以可安装的形式或者可执行的形式的文件,存储于CD-ROM、软盘(FD,Flexible Disk)、CD-R、DVD(DigitalVersatile Disk,数字多功能光盘)等计算机可读取的存储介质上来提供。
进一步地,图像处理程序也可以构成为,存储于与互联网等网络连接的计算机上,以通过网络下载的方式来提供。此外,本实施方式实施的图像处理程序也可以构成为通过互联网等网络来提供或者发布。
以上说明了本发明的实施方式和变形例,但上述实施方式和变形例仅是作为示例提出的,其目的不在于限定本发明的范围。上述新颖的实施方式能够以其它各种方式来实施,在不脱离发明主旨的范围内,能够进行各种省略、置换、以及变更。上述实施方式和其变形例均包含于发明的范围和主旨,并且包含于权利要求中记载的发明和其等同范围内。
符号说明
10…车辆,14,14a,14b,14c,14d…拍摄部,16…显示装置,24…ECU,24a…CPU,24d…显示控制部,28…取得部,30…关注区域设定部,32…第1设定部(第一设定部),32a…固定值设定部,32b…固定值加算设定部,34…第2设定部(第二设定部),34a…线性插值部,34b…斜率设定部,34c…γ曲线系数计算部,34d…亮度设定部,36,36F,36SL,36SR,36R…被拍摄区域,38,38FL,38FR,38RL,38RR…重复区域,40,40FL,40FR,40RL,40RR…关注区域,42,42a,42L,42R,56…直线内插算式,44…周边图像,50…曲线,52L…第一γ曲线,52R…第二γ曲线,54…直线,100…图像处理系统。
Claims (7)
1.一种图像处理装置,其特征在于,具备:
取得部,其取得由设置在车辆上的多个拍摄部作为所述车辆的周边状况而拍摄到的、被拍摄区域局部重复的多个图像信息;
第一设定部,其基于规定的值设定第一校正值和第二校正值,所述第一校正值用于校正第一关注区域的亮度,所述第二校正值用于校正第二关注区域的亮度,所述第一关注区域包含于第一被拍摄区域与第二被拍摄区域重叠的第一重复区域,所述第一被拍摄区域是夹着所述车辆且相互间隔开的一对所述被拍摄区域中的一方,所述第二被拍摄区域是与该第一被拍摄区域邻接的一对所述被拍摄区域中的一方,所述第二关注区域包含于所述第一被拍摄区域与第三被拍摄区域重叠的第二重复区域,所述第三被拍摄区域是与所述第一被拍摄区域邻接的另一方的所述被拍摄区域;以及
第二设定部,其使用所述第一校正值和所述第二校正值,设定用于校正所述第一被拍摄区域中的所述第一关注区域和所述第二关注区域之间的区域的亮度的个别校正值。
2.根据权利要求1所述的图像处理装置,其特征在于:
所述第一设定部用使所述第一关注区域的亮度和所述第二关注区域的亮度成为目标亮度的所述第一校正值和所述第二校正值来进行校正,所述目标亮度是作为所述规定的值而确定的。
3.根据权利要求1所述的图像处理装置,其特征在于:
所述第一设定部在基于所述第一关注区域的亮度和所述第二关注区域的亮度中的至少一方决定出的所述第一关注区域的第一校正值和所述第二关注区域的第二校正值上,分别加上作为所述规定的值而确定的调整值。
4.根据权利要求1至3中任一项所述的图像处理装置,其特征在于:
所述第二设定部在基于对所述第一校正值和所述第二校正值之间进行线性插值的插值算式计算所述个别校正值的情况下,设定为:所述插值算式的斜率越大,则越减少该斜率。
5.根据权利要求1至3中任一项所述的图像处理装置,其特征在于:
所述第二设定部对所述个别校正值设定校正上限值,将所述个别校正值设定为随着亮度的校正量增加而使所述校正量向所述校正上限值收敛。
6.根据权利要求1至5中任一项所述的图像处理装置,其特征在于:
所述第二设定部根据由包含所述第一校正值和所述第二校正值的直线内插算式计算出的校正值,设定所述个别校正值。
7.根据权利要求1至4中任一项所述的图像处理装置,其特征在于:
所述第二设定部根据由基于第一γ曲线的第一系数和第二γ曲线的第二系数的直线内插算式计算出的校正值,设定所述个别校正值,所述第一γ曲线是针对第一关注区域的亮度作为使其成为第一目标亮度的曲线算式而计算出的,所述第二γ曲线是针对第二关注区域的亮度作为使其成为第二目标亮度的曲线算式而计算出的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071529A JP7183562B2 (ja) | 2018-04-03 | 2018-04-03 | 画像処理装置 |
JP2018-071529 | 2018-04-03 | ||
PCT/JP2019/012578 WO2019194014A1 (ja) | 2018-04-03 | 2019-03-25 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111937378A true CN111937378A (zh) | 2020-11-13 |
CN111937378B CN111937378B (zh) | 2022-04-12 |
Family
ID=68100623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980023640.5A Active CN111937378B (zh) | 2018-04-03 | 2019-03-25 | 图像处理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11523053B2 (zh) |
JP (1) | JP7183562B2 (zh) |
CN (1) | CN111937378B (zh) |
WO (1) | WO2019194014A1 (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007141098A (ja) * | 2005-11-21 | 2007-06-07 | Nissan Motor Co Ltd | 画像処理装置及び画像処理方法 |
JP2007323587A (ja) * | 2006-06-05 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成装置および画像合成方法 |
JP2008028521A (ja) * | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | 画像表示システム |
CN101340566A (zh) * | 2007-07-02 | 2009-01-07 | 日产自动车株式会社 | 图像处理系统和方法 |
US20090022388A1 (en) * | 2006-02-28 | 2009-01-22 | Nicola Dioguardi | Method and apparatus for analyzing clusters of objects |
JP2009141490A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 合成画像生成装置および合成画像生成方法 |
US20100091231A1 (en) * | 2008-10-14 | 2010-04-15 | Seiko Epson Corporation | Liquid crystal display device and electronic apparatus |
CN102104779A (zh) * | 2011-03-11 | 2011-06-22 | 深圳市融创天下科技发展有限公司 | 一种1/4亚像素插值方法及装置 |
CN103854260A (zh) * | 2012-12-04 | 2014-06-11 | 爱信精机株式会社 | 车辆的控制装置及控制方法 |
CN103891294A (zh) * | 2011-04-28 | 2014-06-25 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置与方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4862321B2 (ja) * | 2005-08-30 | 2012-01-25 | ソニー株式会社 | 車載カメラ装置 |
JP2007274377A (ja) | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
JP4818862B2 (ja) * | 2006-09-25 | 2011-11-16 | パナソニック株式会社 | 合成映像表示装置 |
KR100966288B1 (ko) | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | 주변 영상 생성 방법 및 장치 |
WO2011093354A1 (ja) | 2010-01-29 | 2011-08-04 | 富士通テン株式会社 | 画像処理装置、および画像処理方法 |
JP5464741B2 (ja) | 2010-01-29 | 2014-04-09 | 富士通テン株式会社 | 画像合成装置、及び、画像合成方法 |
-
2018
- 2018-04-03 JP JP2018071529A patent/JP7183562B2/ja active Active
-
2019
- 2019-03-25 CN CN201980023640.5A patent/CN111937378B/zh active Active
- 2019-03-25 WO PCT/JP2019/012578 patent/WO2019194014A1/ja active Application Filing
- 2019-03-25 US US17/044,446 patent/US11523053B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007141098A (ja) * | 2005-11-21 | 2007-06-07 | Nissan Motor Co Ltd | 画像処理装置及び画像処理方法 |
US20090022388A1 (en) * | 2006-02-28 | 2009-01-22 | Nicola Dioguardi | Method and apparatus for analyzing clusters of objects |
JP2007323587A (ja) * | 2006-06-05 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成装置および画像合成方法 |
JP2008028521A (ja) * | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | 画像表示システム |
CN101340566A (zh) * | 2007-07-02 | 2009-01-07 | 日产自动车株式会社 | 图像处理系统和方法 |
JP2009141490A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 合成画像生成装置および合成画像生成方法 |
US20100091231A1 (en) * | 2008-10-14 | 2010-04-15 | Seiko Epson Corporation | Liquid crystal display device and electronic apparatus |
CN102104779A (zh) * | 2011-03-11 | 2011-06-22 | 深圳市融创天下科技发展有限公司 | 一种1/4亚像素插值方法及装置 |
CN103891294A (zh) * | 2011-04-28 | 2014-06-25 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置与方法 |
CN103854260A (zh) * | 2012-12-04 | 2014-06-11 | 爱信精机株式会社 | 车辆的控制装置及控制方法 |
Non-Patent Citations (1)
Title |
---|
胡玉: "车载图像系统中的全景影像的校正与拼接", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
JP2019186620A (ja) | 2019-10-24 |
JP7183562B2 (ja) | 2022-12-06 |
CN111937378B (zh) | 2022-04-12 |
WO2019194014A1 (ja) | 2019-10-10 |
US11523053B2 (en) | 2022-12-06 |
US20210105402A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111937380B (zh) | 图像处理装置 | |
US9598105B2 (en) | Vehicle control apparatus and vehicle control method | |
JP7106846B2 (ja) | 周辺監視装置 | |
WO2014068856A1 (ja) | 画像生成装置、および画像生成プログラム製品 | |
US20090009604A1 (en) | Image processing system and method | |
US20200082185A1 (en) | Periphery monitoring device | |
JP7039879B2 (ja) | 表示制御装置 | |
JP6958163B2 (ja) | 表示制御装置 | |
US20160090044A1 (en) | Periphery monitoring apparatus and periphery monitoring system | |
US11258953B2 (en) | Image processing device | |
US20180359398A1 (en) | Image processing device | |
US20180288371A1 (en) | Assistance apparatus | |
CN110087022B (zh) | 图像处理装置 | |
CN111937378B (zh) | 图像处理装置 | |
JP7314518B2 (ja) | 周辺監視装置 | |
JP7013287B2 (ja) | 画像処理装置 | |
JP7110592B2 (ja) | 画像処理装置 | |
CN114208161A (zh) | 图像处理装置和图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220216 Address after: Aichi Applicant after: AISIN Co.,Ltd. Address before: Aichi Applicant before: AISIN SEIKI Kabushiki Kaisha |
|
GR01 | Patent grant | ||
GR01 | Patent grant |