CN114097216A - 图像处理装置和图像处理程序 - Google Patents
图像处理装置和图像处理程序 Download PDFInfo
- Publication number
- CN114097216A CN114097216A CN202080050288.7A CN202080050288A CN114097216A CN 114097216 A CN114097216 A CN 114097216A CN 202080050288 A CN202080050288 A CN 202080050288A CN 114097216 A CN114097216 A CN 114097216A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- camera
- vehicle
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 238000012937 correction Methods 0.000 claims abstract description 30
- 239000013589 supplement Substances 0.000 claims abstract description 22
- 230000035945 sensitivity Effects 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 34
- 230000006835 compression Effects 0.000 description 22
- 238000007906 compression Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G06T5/90—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
一种包括以下的图像处理装置的图像处理装置，该图像处理装置包括：获取部，其获取由多个图像捕获装置捕获为单独的段的各个图像的信息，并且获取各个图像的属性信息，该多个图像捕获装置中的每一个捕获能够补充车辆的驾驶员的视场的特定视角；计算部，其根据由获取部获取的属性信息来计算用于对准各个图像捕获装置的动态范围的各个校正值；图像合并部，其基于由计算部计算的各个校正值和各个图像信息的属性信息，将各个图像信息合并成具有单个动态范围的图像；以及输出部，其将由图像合并部合并的图像信息输出至显示装置。
Description
技术领域
本公开内容涉及用于合并分段捕获的车辆周围图像的图像处理装置和图像处理程序。
背景技术
日本专利申请特开(JP-A)第2017-175480号描述了合并交叠图像，并且特别地，JP-A第2017-175480号的段落0066描述了在内部后视镜上显示结果。然而，没有提及动态范围，并且仍然存在与高光和阴影剪切有关的问题。
JP-A第2012-6551号描述了显示单元和图像生成单元。显示单元能够选择性地显示由前置摄像装置、左侧摄像装置、右侧摄像装置和后置摄像装置捕获的图像，并且图像生成单元通过执行视点转换来生成环视图像(就好像从上方俯视车辆一样)。在显示单元上显示环视图像。
发明内容
技术问题
然而，例如，现有技术仅调整到特定亮度(luminance)，并且不能够在针对单独的成像区域以适当曝光分别捕获各个图像时反映所有信息。因此，当图像被配置成单个图像时，图像之间的动态范围的差异可能生成看起来不自然的图像，并且可能导致对象(例如，在行进期间出现的障碍物)被误判(包括被忽视)。
特别地，JP-A第2012-6551号描述了与合成环视视图有关的技术。然而，没有提及以例如在生成环视视图时考虑由各个摄像头捕获的图像的对比度的方式进行合并。
本公开内容的目的是获得一种图像处理装置和图像处理程序，其能够在合并各个图像的信息时基于多个图像的图像捕获参数等来生成看起来自然的图像，并且能够表达宽动态范围。
问题的解决方案
本公开内容的一方面的图像处理装置包括：获取部，其获取由多个图像捕获装置捕获为单独的段的各个图像的信息，并且获取各个图像的属性信息，该多个图像捕获装置中的每一个捕获能够补充车辆的驾驶员的视场的特定视角；计算部，其根据由获取部获取的属性信息来计算用于对准各个图像捕获装置的动态范围的各个校正值；图像合并部，其基于由计算部计算的各个校正值和各个图像信息的属性信息，将各个图像信息合并成具有单个动态范围的图像；以及输出部，其将由图像合并部合并的图像信息输出至显示装置。
在本公开内容的一方面，由图像合并部合并的图像的动态范围具有与图像捕获装置中的任一个的动态范围相比更宽的高动态范围。
在本公开内容的一方面，还包括调整部，该调整部将由图像合并部合并的图像信息调整为适合显示装置的规格的动态范围。
在本公开内容的一方面，属性信息包括捕获各个图像时的图像捕获参数，该图像捕获参数包括灵敏度、曝光时间和光圈。
在本公开内容的一方面，属性信息是从各个图像信息的交叠图像捕获区域获得的关于各个捕获图像的个体间差异信息。
在本公开内容的以上方面，可以使用多个图像的信息的属性信息来获得用于对准多个图像的信息的动态范围的校正值。属性信息的示例包括捕获时的图像捕获参数，该图像捕获参数包括灵敏度、曝光时间和光圈，该图像捕获参数可以与捕获图像信息一起获取。
使用校正值和图像捕获参数(例如坐标)合并多个图像的信息以生成单个图像的信息。这使得能够获得看起来自然的图像，从而使得能够防止对对象的误判等。
注意，属性信息可以是从各个图像信息的交叠图像捕获区域获得的关于各个捕获图像的个体间差异信息。
注意，由于合成图像信息具有高动态范围(HDR)，因此可以执行由调整部进行的调整——例如通过色调映射进行的调整，以将高动态范围压缩为适合装置的规格(动态范围)。
注意，尽管作为特定视角的示例给出了补充车辆的后方视野的视角，但是特定视角不限于后方视野，并且例如可以是当从上方俯视(所谓的环视)时补充车辆周围环境的视角。
在本公开内容的一方面，多个图像捕获装置中的每一个被安装至车辆并且包括RH摄像头、LH摄像头以及RR摄像头，RH摄像头在从车辆向右和向后的方向上捕获，LH摄像头在从车辆向左和向后的方向上捕获，RR摄像头在从车辆向后的方向上捕获。图像捕获装置中的每一个具有用于图像捕获的限定视角，使得由各个图像捕获装置捕获的图像信息至少部分地交叠。
在本公开内容的一方面，显示装置是代替用于检查车辆的后方的镜而安装的监视器。
车辆的后方的视野中的盲点比前方的视野中的盲点多。因此，例如，特别是由于周围环境的明度(brightness)(亮度)的差异，在诸如内部后视镜或侧镜的镜表面上的图像中可能忽略障碍物。
本公开内容的以上方面使得能够消除驾驶车辆时后方的视场中的盲点，并且也可以防止车辆倒车时对障碍物的误判(包括忽略)，从而实现安全行驶。
在本公开内容的一方面，显示装置是存储装置，其执行与预定时间间隔对应的捕获图像信息的循环存储，使得来自旧时间间隔的捕获图像信息被删除并且来自最近时间间隔的捕获图像信息被存储。
在本公开内容的以上方面，从输出部输出的图像信息例如可以应用为来自记录涉及车辆的碰撞前后的行车记录仪的图像。即，可以利用本公开内容的具有看起来自然的边界等的广角图像作为分析材料，以准确地找出涉及车辆的碰撞的原因。
本公开内容的另一方面的图像处理程序使计算机作为以上图像处理装置中的任一个进行操作。
发明的有益效果
如上所说明的，本公开内容表现出以下有益效果：使得能够在合并各个图像的信息时基于多个图像的图像捕获参数等来生成看起来自然的图像，并且使得能够表达宽动态范围。
附图说明
[图1A]图1A是示出根据示例性实施方式的车辆的平面图。
[图1B]图1B是图1A中示出的车辆的侧视图。
[图2]图2是示出从后座椅中央朝向前座椅观看的根据示例性实施方式的车辆的舱室内部的示意图。
[图3]图3是示出根据示例性实施方式的用于合并图像的图像处理装置的示意图。
[图4]图4是示出根据示例性实施方式的由图像处理装置进行的处理流程的控制流程图。
[图5]图5示出了通过对由各个摄像头捕获的图像的简单合并而获得的图像。
[图6]图6示出了通过使图5中示出的图像经受高动态范围处理而获得的图像。
[图7]图7示出了当图6中示出的图像在显示装置上按原样显示时的图像(具有高光剪切)。
[图8]图8示出了当图6中示出的图像在显示装置上按原样显示时的图像(具有阴影剪切)。
[图9]图9示出了当图6中示出的图像在经受单个动态范围压缩之后在显示装置上显示时的图像。
[图10]图10示出了图6中示出的图像在经受局部色调压缩之后在显示装置上显示时的图像。
具体实施方式
图1A是示出根据示例性实施方式的车辆10的平面图，并且图1B是示出车辆10的侧视图。
如图1A所示，右摄像装置适配器12附接至车辆10相对于前进方向的右侧面。光轴朝向车辆10的右后方延伸的RH摄像头14附接至右摄像装置适配器12。RH摄像头14捕获图1A中由单点划线R包围的区域AR。
此外，如图1A所示，左摄像装置适配器16从车辆10相对于前进方向的左侧面突出。光轴朝向车辆10的左后方延伸的LH摄像头18附接至左摄像装置适配器16。LH摄像头18捕获图1A中由单点划线L包围的区域AL。
同样如图1A所示，光轴从车辆10向后延伸(光轴基本上平行于道路表面)的RR摄像头20附接至车辆10的后部的车辆宽度方向中央部分。RR摄像头20捕获图1A中由单点划线C包围的区域AC。
区域AR和区域AC部分地彼此重叠，使得其捕获的图像部分地重叠。区域AL和区域AC也部分地彼此重叠，使得其捕获的图像部分地重叠。
如图2所示，专用倒车摄像装置22与RR摄像头20分开地也附接至车辆10的后部。专用倒车摄像装置22被配置成捕获由虚线B包围的区域AB，当车辆10倒车时，所捕获的图像被显示在车辆舱室中的信息显示监视器24(参见图2)上。光轴被设置成使得区域AB包括车辆10的后端部分(例如，后保险杠)，并且与RR摄像头20的光轴相比面向下。
即，上述RH摄像头14、LH摄像头18和RR摄像头20用于在车辆10的正常行驶(无论是向前行驶、倒车还是静止)期间辅助驾驶员，并且因此具有与专用倒车摄像装置22不同的目的，专用倒车摄像装置22被专门用于在车辆10倒车时辅助驾驶员。
图2是从后座椅中央朝向前座椅观看的车辆10的舱室内部的示意图。
上述右摄像装置适配器12被定位在车辆10的右侧窗26的前方，并且RH摄像头14附接至右摄像装置适配器12。
RH监视器32附接至位于右侧窗26与前窗28之间的右侧A柱30的下部部分。RH监视器32被配置成将由RH摄像头14捕获的车辆的右后方的区域AR(参见图1A)的图像以镜像反转状态显示。即，RH摄像头14和RH监视器32具有与光学右侧门镜的作用等同的作用。
上述左摄像装置适配器16被定位在车辆10的左侧窗34的前方，并且LH摄像头18附接至左摄像装置适配器16。
LH监视器38附接至位于左侧窗34与前窗28之间的左侧A柱36的下部部分。LH监视器38被配置成将由LH摄像头18捕获的车辆的左后方的区域AL(参见图1A)的图像以镜像反转状态显示。即，LH摄像头18和LH监视器38具有与光学左侧门镜的作用等同的作用。
信息显示监视器24附接至车辆舱室中的中央控制台40的上部部分。信息显示监视器24显示当车辆10的变速器(图中未示出)的档位杆42已经被置于倒档范围(R范围)时由专用倒车摄像装置22捕获的图像。
信息显示监视器24被用作多功能监视器，并且例如，信息显示监视器24除了如上所述显示车辆后方图像之外，还与未示出的导航系统和音频系统协作以在执行切换操作时显示导航画面(具有导航信息等的画面)或音频画面(具有与音乐等有关的信息的画面)。例如，基于使用安装在车辆10中的GPS功能获取的位置信息，在导航画面上显示地图图像以及车辆在地图图像上的行驶位置的图像。注意，在信息显示监视器24由触摸面板构造成的情况下，信息显示监视器24也可以用作输入装置。
注意，附接至本示例性实施方式的车辆10的前窗28(或顶棚)的上部中央部分的内部后视镜44用作本公开内容的显示装置。
即，内部后视镜44具有充当光学镜的镜功能以及显示图像的监视器功能两者。
后视镜功能使得驾驶员等能够在驾驶时在他们的视场范围内(通过移动他们的视线)检查车辆的后方的情况。
监视器功能使得能够显示由RH摄像头14、LH摄像头18和RR摄像头20所捕获的图像构造成的合成图像。
如图3所示，内部后视镜44包括显示驱动器45和显示部48，该显示部48包括例如LCD的内置显示装置46，并且具有镜面抛光表面。由于与光强度有关的原因，当显示装置46不显示图像时，显示部48用作镜，而当显示装置46显示图像时，显示部48用作监视器。
注意，与光强度有关的原因是指：由于由显示装置46显示的图像的亮度大于由镜表面光学地反射的图像的亮度，因此由显示装置46进行的图像显示优先。
图3示意性地示出了用于合并图像的图像处理装置50。
以下说明假设内部后视镜44的显示装置46在监视器功能中操作以显示合成图像。然而，针对合成图像的监视器功能不限于内部后视镜44，并且可以是信息显示监视器24的一个功能。替选地，也可以在车辆舱室中与内部后视镜44和信息显示监视器24分开地另外设置用于显示根据本公开内容的合成图像的专用监视器。
如图3所示，由RH摄像头14成像的区域AR的图像信息临时存储在图像信息存储器52中。与图像信息在图像信息存储器52中的存储同步地，将由RH摄像头14进行捕获时RH摄像头14的图像捕获参数(包括灵敏度、曝光时间和光圈)存储在图像捕获参数信息存储器54中。
由RR摄像头20成像的区域AC的图像信息临时存储在图像信息存储器56中。与图像信息在图像信息存储器56中的存储同步地，将由RR摄像头20进行捕获时的图像捕获参数(包括灵敏度、曝光时间和光圈)存储在图像捕获参数信息存储器58中。
由LH摄像头18成像的区域AL的图像信息临时存储在图像信息存储器60中。与图像信息在图像信息存储器60中的存储同步地，将由LH摄像头18进行捕获时的图像捕获参数(包括灵敏度、曝光时间和光圈)存储在图像捕获参数信息存储器62中。
图像信息存储器52、图像信息存储器56和图像信息存储器60各自连接至亮度合并部63。亮度合并部63连接至图像合并部64。
图像捕获参数信息存储器54、图像捕获参数信息存储器58和图像捕获参数信息存储器62各自连接至摄像装置间校正值计算部66。
摄像装置间校正值计算部66计算针对每个图像的信息的校正值，以调整摄像装置之间的亮度并且特别是交叠部分的亮度，以使各个亮度更接近。当执行该操作时，不使用任何一个图像的信息作为参考来计算校正值。而是，根据各个图像捕获参数来计算针对各个图像的信息的校正值，以生成能够结合三种动态范围类型的图像的单个高动态范围(HDR)图像的信息。
摄像装置间校正值计算部66连接至亮度合并部63。
亮度合并部63基于由摄像装置间校正值计算部66计算的校正值来校正每个所记录图像的图像亮度。为了避免在该校正期间的溢出和数字丢失，将图像信息转换成具有高动态范围的存储格式。
使用已经由亮度合并部63亮度校正的图像信息，图像合并部64使用图像捕获交叠处的区域作为参考，将由RH摄像头14捕获的图像信息、由RR摄像头20捕获的图像信息和由LH摄像头18捕获的图像信息组合。注意，由于在本示例性实施方式中提供后方图像辅助，因此图像合并部64不仅合并图像而且执行镜像反转处理。这导致等同于镜表面上的左右反转图像的图像。
即，由于交叠部分是在相同的定时处捕获的区域，因此诸如对明暗之间存在大的差异的轮廓部分的位置进行对准的处理使得能够在合并时校正未对准。
注意，尽管在本示例性实施方式中创建了交叠捕获区域，但是交叠捕获不是必需的，只要图像捕获至少相邻(图像彼此连续)即可。
图5示出了通过对由RH摄像头14、RR摄像头20和左LH摄像头18(统称为摄像头)捕获的图像进行简单合并而获得的图像，并且其不代表在本示例性实施方式中的显示装置46等上显示的图像。
如果摄像头的各个视场之间的光强度不同，则各个摄像头的自动曝光功能将导致每个摄像头的不同曝光。在这样的情况下，出现的问题是交叠区域中各个摄像头之间图像亮度不同。
图像合并部64基于从摄像装置间校正值计算部66获取的校正值来校正各个图像信息的亮度。各个经亮度校正的图像在校正了位置未对准的情况下合并。
图6示出了与图5中的经受由图像合并部64进行的高动态范围处理之后的合成图像对应的图像。尽管图像数据中不存在阴影和高光的剪切，但是图像数据超出了显示装置46实际能够显示的动态范围，并且因此对于图像数据真实的显示是困难的。
即，图7和图8是分别示出图6中示出的图像当在显示装置上按原样显示时的图像。由于这是高动态范围图像，因此不能使用显示装置46按原样显示，该显示装置46是不提供足够动态范围的标准配置。因此，在明区(参见图7)发生高光剪切，或者在较暗侧(参见图8)发生阴影剪切。
图像合并部64连接至动态范围压缩部68。合成图像信息被输出至动态范围压缩部68。
动态范围压缩部68包括背景亮度估计部70和亮度差/色调压缩部72。
基本上来说，动态范围压缩部68具有以下作用：取决于经受HDR处理的合成图像信息中的位置来抑制阴影剪切或高光剪切，以及将合成图像信息转换为显示装置46能够显示的动态范围。
背景亮度估计部70将背景亮度估计为经受HDR处理的合成图像信息中的低频分量。
亮度差/色调压缩部72从经受HDR处理的合成图像中提取背景亮度差。然后，亮度差/色调压缩部72压缩由背景亮度估计部70估计的背景亮度的对比度，并且使用提取的背景亮度差重新合并。重新合并的图像保留了局部对比度，同时具有压缩的整体动态范围。注意，可以进行配置，其中动态范围压缩部不隔离背景/亮度差，而只是降低经受HDR处理的合成图像信息的对比度(图9)，或局部降低对比度(参见图10)。然而，在简单地降低对比度的情况下，图像相对不太容易被乘员观看。
动态范围压缩部68通过输出部74连接至内部后视镜44的显示驱动器45。
输出部74基于图中未示出的输出指令将经受由动态范围压缩部68的压缩处理的图像信息输出至显示驱动器45。显示驱动器45在显示装置46上显示图像信息(参见图9或图10)。
注意，在输出至输出部74期间，输出指令可以一直存在，或者传感器等可以检测镜表面上的后方视野何时变差(例如，在下雨期间、当在黎明或黄昏太阳在低空时、在夜晚时等)并且切换至在显示装置46上显示。替选地，当由驾驶员指示时，可以执行使用显示装置46显示。
下面参照图4的流程图对本示例性实施方式的操作进行说明。
图4是示出由图像处理装置50对由RH摄像头14、RR摄像头20和LH摄像头18捕获的图像信息进行图像处理直至在显示装置46上显示的流程的控制流程图。
在步骤100处，确定是否存在后方图像输出指令。在确定为否定的情况下，例程结束。在步骤100处确定为肯定的情况下，处理转至步骤102。注意，步骤100处的肯定确定包括存在恒定输出指令的情况。
在步骤102处，获取由各个摄像头(RH摄像头14、RR摄像头20和LH摄像头18)捕获的图像信息。然后，处理转至步骤104，在步骤104处，将图像信息分别临时存储在图像信息存储器52、图像信息存储器56和图像信息存储器60中。然后，处理转至步骤106。
在步骤106处，针对各个摄像头(RH摄像头14、RR摄像头20和LH摄像头18)获取捕获时的图像捕获参数。然后，处理转至步骤108，在步骤108处，将图像捕获参数分别临时存储在图像捕获参数信息存储器54、图像捕获参数信息存储器58和图像捕获参数信息存储器62中。然后，处理转至步骤110。
在步骤110处，基于临时存储在图像捕获参数信息存储器54、图像捕获参数信息存储器58和图像捕获参数信息存储器62中的各个图像捕获参数，使用图像捕获参数来计算摄像装置间校正值。
在下一步骤112处，基于存储在图像信息存储器52、图像信息存储器56和图像信息存储器60中的图像信息来提取交叠区域。然后，处理转至步骤114。
在步骤114处，基于由摄像装置间校正值计算部66计算的校正值来校正每个所记录图像的图像亮度。为了避免在校正期间的溢出和数字丢失，将图像信息转换成高动态范围存储格式。
在下一步骤116处，对经亮度校正的图像信息执行图像合并处理。
通过步骤116处的合并处理生成的图像对应于高动态范围图像信息，例如图6中示出的图像(估计)。尽管图像信息包括范围从最暗区到最亮区的信息，但是显示装置46的规格可能意味着在暗区中发生阴影剪切，而在亮区中发生高光剪切。
在下一步骤118处，根据通过步骤116处的合并处理生成的合成HDR图像来估计背景亮度。然后，处理转至步骤120，在步骤120处，获得背景亮度的亮度差，并且动态范围压缩部68的亮度差/色调压缩部72执行色调压缩。
在下一步骤122处，将通过步骤120处的色调压缩生成的图像输出至显示装置46。如图9或图10所示，在显示装置46上显示具有单个动态范围的图像。在显示装置46上显示的图像已经适于显示装置46的动态范围，从而消除阴影剪切和高光剪切。
在上述本示例性实施方式中，由多个摄像装置(RH摄像头14、RR摄像头20和LH摄像头18)捕获的图像信息被合并成具有调整后的亮度的HDR图像，并且然后经受色调压缩以用于适合显示装置46能够显示的动态范围的显示。因此，例如，即使是其中存在直射阳光和阴影两者从而导致图像内的非常大的对比度的图像，也可以在暗区中的阴影剪切和亮区中的高光剪切被抑制的状态下由显示装置46显示。
HDR处理与显示装置46之间的关系
作为示例，在由RH摄像头14、RR摄像头20和LH摄像头18捕获的车辆10后方的范围对应于一侧是阴影并且另一侧是直射阳光的场景的情况下，场景的动态范围(最亮区与最暗区的明暗比)变宽，并且对比度比可能超过10000:1。
然而，RH摄像头14、RR摄像头20和LH摄像头18的光接收器(例如，CMOS传感器或CCD传感器)的动态范围的对比度比在1000:1的范围内。
因此，RH摄像头14、RR摄像头20和LH摄像头18各自独立地转换它们各自的动态范围(改变曝光水平)以使用适合在显示装置46上显示的动态范围进行捕获。因此，当在显示装置46上显示时，简单的合并处理可能导致来自各个摄像头的图像之间的连接处的图像亮度的极端跳跃(参见图5)。
因此，在本示例性实施方式中，执行亮度校正以将来自各个摄像头的图像调整成相同亮度范围内的图像。对具有高曝光水平的图像施加小增益并且对具有低曝光水平的图像施加大增益使得能够将各个图像调整成具有相同曝光水平的图像。在执行这样的增益校正时，将经校正的图像保留在具有宽动态范围的存储格式中以避免溢出和数字丢失。然后，对这些经亮度校正的图像执行图像合并处理。得到的合成图像具有宽动态范围(参见图6)。
因此，如果将合成图像在显示装置46上按原样显示，则关于图像亮度剪切，在来自各个摄像头的图像之间的连接处，在一些相对较暗区中可能出现阴影剪切，而在一些相对较亮区中可能出现高光剪切(参见图7和图8)。
在本示例性实施方式中，由动态范围压缩部68将合成图像的高动态范围压缩成适合于显示装置46的(单个)动态范围(参见图9或图10)，使得HDR合成图像信息被转换为显示装置46能够在阴影剪切和高光剪切被局部抑制的情况下显示的动态范围。
因此，如图9和图10所示，即使在如图7和图8中示出的图像中具有高光剪切的亮区和具有阴影剪切的暗区中，在内部后视镜44(显示装置46)的显示部48上实际显示的图像也可以被清楚地感知为后视场信息。
在本示例性实施方式中，在显示时将合成图像保留为HDR并压缩动态范围本身是在将车辆的周围环境捕获为单独的段并且然后合并的技术领域中的独特技术。换言之，迄今为止，通过将一个图像的信息作为参考图像并相应地调整另一图像信息的亮度来合并单独的图像段的信息，而没有对多个单独捕获的图像段的信息执行HDR处理。
例如，如图5所示，在简单形式的HDR图像中有时可能出现阴影剪切等。然而，利用HDR图像，可以检测驾驶员在显示装置46的显示区域内的注视位置并且使用动态范围压缩部68执行各种处理，例如在注视位置对应于图像的暗区的情况下调整暗图像的对比度以便更容易看到，或者在注视对应于图像的亮区的情况下调整亮图像的对比度以便更容易看到。
即，本示例性实施方式涉及以下技术：在单独的段中捕获车辆的周围环境，然后将其合并成被处理为HDR图像的图像，因此使得能够抑制忽视障碍物等的可能性，同时呈现与采用其中图像亮度在摄像装置之间的边界处不同的图像时相比更适合于辅助驾驶员的图像。
此外，在本示例性实施方式中，具有高动态范围的合成图像信息经受适合所采用的显示装置46的动态范围压缩，从而使得能够在显示装置46的正常显示状态(特别是，不根据如上所述的注视来调整对比度的状态)下表达从暗区到亮区的范围(参见图9和图10)。
注意，在本示例性实施方式中，当从各个摄像头(RH摄像头14、RR摄像头20和LH摄像头18)获取图像信息时，捕获时的图像捕获参数——包括灵敏度、曝光时间和光圈——也被获取作为合并图像时所需的属性信息。然而，可以从图像信息中获得这样的属性信息。即，可以将校正值计算为各个图像的各个信息的交叠部分之间的亮度差的属性信息。
此外，尽管在本示例性实施方式中捕获车辆10后方的图像以辅助车辆10后方的视场，但是本示例性实施方式的图像处理装置50也可应用于合并例如显示周围视图、前方视图等的图像的其他图像的技术。在这样的情况下，除了本示例性实施方式中描述的四个摄像装置之外，还提供一个或多个附加摄像装置以朝向前侧捕获。
在本示例性实施方式中，由RH摄像头14、LH摄像头18和RR摄像头20捕获的图像在显示装置46上显示之前经受HDR处理等。然而，可以使应用利用行车记录仪记录图像而不显示图像，使得在车辆碰撞等情况下停止记录并且保存车辆碰撞前后的图像。可以应用记录图像的记录装置，使得以均匀的时间间隔记录具有开始和结束提示(在循环中)的图像。应用于行车记录仪时，无论暗区还是亮区，都可以获得清楚的图像信息，并且这可以用于车辆碰撞的准确分析。
此外，在本示例性实施方式中，要合并的所获取的图像信息限于安装至车辆10的摄像装置(RH摄像头14、LH摄像头18和RR摄像头20)。然而，可以采用通信单元来获取由沿行驶的道路安装的基于基础设施的摄像装置或安装至周围环境中的其他车辆的摄像装置捕获的信息，该信息用作例如补充与RH摄像头14、LH摄像头18和RR摄像头20的盲点对应的区域的信息。
公开了与上述示例性实施方式相关的以下补充。
补充1
一种图像处理装置，包括：
获取部，其获取由多个图像捕获装置捕获为单独的段的图像的各个信息，并且获取各个图像的属性信息，该多个图像捕获装置中的每一个捕获能够补充车辆的驾驶员的视场的特定视角；
计算部，其根据由获取部获取的属性信息来计算用于对准各个图像捕获装置的动态范围的各个校正值；
图像合并部，其基于由计算部计算的各个校正值和各个图像信息的属性信息，将各个图像信息合并成具有单个动态范围的图像；以及
输出部，其将由图像合并部合并的图像信息输出至显示装置。
补充2
根据补充1所述的图像处理装置，其中，由图像合并部合并的图像信息具有与图像捕获装置中的任一个的动态范围相比更宽的动态范围。
补充3
根据补充1或补充2所述的图像处理装置，还包括调整部，该调整部将由图像合并部合并的图像信息调整为能够由显示装置显示的动态范围。
补充4
根据补充1至补充3中任一项所述的图像处理装置，其中，属性信息包括捕获各个图像时的图像捕获参数，该图像捕获参数包括灵敏度、曝光时间和光圈。
补充5
根据补充1至补充3中任一项所述的图像处理装置，其中，属性信息是从各个图像信息的交叠图像捕获区域获得的关于各个图像捕获装置的个体间差异信息。
补充6
根据补充1至补充5中任一项所述的图像处理装置，其中，多个图像捕获装置中的每一个被安装至车辆并且包括RH摄像头、LH摄像头以及RR摄像头，RH摄像头在从车辆向右和向后的方向上捕获，LH摄像头在从车辆向左和向后的方向上捕获，RR摄像头在从车辆向后的方向上捕获，并且图像捕获装置中的每一个具有用于图像捕获的限定视角，使得由各个图像捕获装置捕获的图像信息至少部分地交叠。
补充7
根据补充1至补充6中任一项所述的图像处理装置，其中，显示装置是代替用于检查车辆的后方的镜而安装的监视器。
补充8
根据补充1至补充6中任一项所述的图像处理装置，其中，显示装置是存储装置，执行与预定时间间隔对应的捕获图像信息的循环存储，使得来自旧时间间隔的捕获图像信息被删除并且来自最近时间间隔的捕获图像信息被存储。
补充9
一种图像处理程序，其使计算机作为根据补充1至补充8中任一项所述的图像处理装置进行操作。
于2019年7月12日提交的日本专利申请第2019-130370号的公开内容通过引用整体并入本文。
本说明书中提及的所有引用文献、专利申请和技术标准均通过引用并入本说明书中，其程度与每个单独的引用文献、专利申请或技术标准被具体且单独地指示为通过引用并入相同。
参考标记列表
10 车辆
12 右摄像装置适配器
14 RH摄像头(图像捕获装置)
16 左摄像装置适配器
18 LH摄像头(图像捕获装置)
20 RR摄像头(图像捕获装置)
22 专用倒车摄像装置
24 信息显示监视器
26 右侧窗
28 前窗
30 右侧A柱
32 RH监视器
34 左侧窗
36 左侧A柱
38 LH监视器
40 中央控制台
42 档位杆
44 内部后视镜
45 显示驱动器
46 显示装置
48 显示部
50 图像处理装置
52 图像信息存储器(获取部)
54 图像捕获参数信息存储器(获取部)
56 图像信息存储器(获取部)
58 图像捕获参数信息存储器(获取部)
60 图像信息存储器(获取部)
62 图像捕获参数信息存储器(获取部)
63 亮度合并部
64 图像合并部(图像合并部)
66 摄像装置间校正值计算部(计算部)
68 动态范围压缩部(调整部)
70 背景亮度估计部
72 亮度差/色调压缩部
74 输出部
R 单点划线
AR 视场区域
L 单点划线
AL 区域
C 单点划线
AC 区域
B 虚线
AB 区域。
Claims (9)
1.一种图像处理装置，包括：
获取部，所述获取部获取由多个图像捕获装置捕获为单独的段的各个图像信息，并且获取各个图像的属性信息，所述多个图像捕获装置中的每一个捕获能够补充车辆的驾驶员的视场的特定视角；
计算部，所述计算部根据由所述获取部获取的所述属性信息来计算用于对准各个图像捕获装置的动态范围的各个校正值；
图像合并部，所述图像合并部基于由所述计算部计算的各个校正值和各个图像信息的属性信息，将所述各个图像信息合并成具有单个动态范围的图像；以及
输出部，所述输出部将由所述图像合并部合并的图像信息输出至显示装置。
2.根据权利要求1所述的图像处理装置，其中，由所述图像合并部合并的图像信息具有与所述图像捕获装置中的任一个的动态范围相比更宽的动态范围。
3.根据权利要求1或2所述的图像处理装置，还包括调整部，所述调整部将由所述图像合并部合并的图像信息调整为能够由所述显示装置显示的动态范围。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，所述属性信息包括捕获所述各个图像时的图像捕获参数，所述图像捕获参数包括灵敏度、曝光时间和光圈。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，所述属性信息是从所述各个图像信息的交叠图像捕获区域获得的关于所述各个图像捕获装置的个体间差异信息。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，所述多个图像捕获装置中的每一个被安装至所述车辆并且包括RH摄像头、LH摄像头以及RR摄像头，所述RH摄像头在从所述车辆向右和向后的方向上捕获，所述LH摄像头在从所述车辆向左和向后的方向上捕获，所述RR摄像头在从所述车辆向后的方向上捕获，并且所述图像捕获装置中的每一个具有用于图像捕获的限定视角，使得由所述各个图像捕获装置捕获的图像信息至少部分地交叠。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，所述显示装置是代替用于检查所述车辆的后方的镜而安装的监视器。
8.根据权利要求1至6中任一项所述的图像处理装置，其中，所述显示装置是存储装置，执行与预定时间间隔对应的捕获图像信息的循环存储，使得来自旧时间间隔的捕获图像信息被删除并且来自最近时间间隔的捕获图像信息被存储。
9.一种图像处理程序，使计算机作为根据权利要求1至8中任一项所述的图像处理装置进行操作。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019130370A JP7384343B2 (ja) | 2019-07-12 | 2019-07-12 | 画像処理装置、画像処理プログラム |
| JP2019-130370 | 2019-07-12 | ||
| PCT/JP2020/027158 WO2021010356A1 (en) | 2019-07-12 | 2020-07-10 | Image processing device and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114097216A true CN114097216A (zh) | 2022-02-25 |
Family
ID=71784598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080050288.7A Pending CN114097216A (zh) | 2019-07-12 | 2020-07-10 | 图像处理装置和图像处理程序 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP7384343B2 (zh) |
| CN (1) | CN114097216A (zh) |
| DE (1) | DE112020003339T5 (zh) |
| WO (1) | WO2021010356A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023074067A1 (ja) * | 2021-10-29 | 2023-05-04 | 日立Astemo株式会社 | 撮像装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020196340A1 (en) * | 2001-04-24 | 2002-12-26 | Matsushita Electric Industrial Co., Ltd. | Image synthesis display method and apparatus for vehicle camera |
| JP2007072750A (ja) * | 2005-09-07 | 2007-03-22 | Alpine Electronics Inc | 合成画像生成装置及び合成画像生成方法 |
| CN102739955A (zh) * | 2011-03-31 | 2012-10-17 | 卡西欧计算机株式会社 | 能生成动态范围宽的全景图像的数据的摄像装置 |
| WO2018149665A1 (en) * | 2017-02-16 | 2018-08-23 | Jaguar Land Rover Limited | Apparatus and method for displaying information |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009017020A (ja) | 2007-07-02 | 2009-01-22 | Nissan Motor Co Ltd | 画像処理装置及び表示画像生成方法 |
| JP2011077898A (ja) | 2009-09-30 | 2011-04-14 | Fujitsu Ten Ltd | 表示装置、表示方法、および、プログラム |
| JP2011151596A (ja) | 2010-01-21 | 2011-08-04 | Rohm Co Ltd | 生体認証装置およびモバイル機器 |
| JP5113220B2 (ja) | 2010-06-28 | 2013-01-09 | 本田技研工業株式会社 | 車両用画像表示装置 |
| US9510636B2 (en) | 2012-02-20 | 2016-12-06 | Nike, Inc. | Article of footwear incorporating a knitted component with an integral knit tongue |
| JP6115104B2 (ja) | 2012-12-04 | 2017-04-19 | アイシン精機株式会社 | 車両の制御装置、及び制御方法 |
| WO2014155812A1 (ja) * | 2013-03-27 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
| JP2017175480A (ja) | 2016-03-25 | 2017-09-28 | パナソニックＩｐマネジメント株式会社 | 撮像装置システム |
| JP2018026606A (ja) | 2016-08-08 | 2018-02-15 | キヤノン株式会社 | 画像処理装置 |
| JP6702921B2 (ja) | 2017-09-29 | 2020-06-03 | 株式会社ホンダアクセス | ドライブレコーダ |
| JP2020126551A (ja) | 2019-02-06 | 2020-08-20 | トヨタ自動車株式会社 | 車両周辺監視システム |
-
2019
- 2019-07-12 JP JP2019130370A patent/JP7384343B2/ja active Active
-
2020
- 2020-07-10 WO PCT/JP2020/027158 patent/WO2021010356A1/en active Application Filing
- 2020-07-10 CN CN202080050288.7A patent/CN114097216A/zh active Pending
- 2020-07-10 DE DE112020003339.2T patent/DE112020003339T5/de active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020196340A1 (en) * | 2001-04-24 | 2002-12-26 | Matsushita Electric Industrial Co., Ltd. | Image synthesis display method and apparatus for vehicle camera |
| JP2007072750A (ja) * | 2005-09-07 | 2007-03-22 | Alpine Electronics Inc | 合成画像生成装置及び合成画像生成方法 |
| CN102739955A (zh) * | 2011-03-31 | 2012-10-17 | 卡西欧计算机株式会社 | 能生成动态范围宽的全景图像的数据的摄像装置 |
| WO2018149665A1 (en) * | 2017-02-16 | 2018-08-23 | Jaguar Land Rover Limited | Apparatus and method for displaying information |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021016103A (ja) | 2021-02-12 |
| JP7384343B2 (ja) | 2023-11-21 |
| WO2021010356A1 (en) | 2021-01-21 |
| DE112020003339T5 (de) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8305204B2 (en) | Vehicle surrounding confirmation apparatus | |
| US7139412B2 (en) | Image synthesis display method and apparatus for vehicle camera | |
| JP4611899B2 (ja) | カメラのレンズ汚れ検出装置及び画像表示システム | |
| US20090009604A1 (en) | Image processing system and method | |
| US20150217692A1 (en) | Image generation apparatus and image generation program product | |
| EP2434759B1 (en) | Monitoring apparatus | |
| US20120002052A1 (en) | Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method | |
| KR20090113878A (ko) | 차량용 주변감시장치 | |
| JP2007050757A (ja) | 車両用表示制御装置 | |
| KR101765556B1 (ko) | 차량 속도에 따른 영상 처리 장치 및 방법 | |
| KR20030071534A (ko) | 나이트 비전장치 및 그 제어방법 | |
| JP5759907B2 (ja) | 車載撮像装置 | |
| KR20200047257A (ko) | 차량 주위 영상 표시 시스템 및 차량 주위 영상 표시 방법 | |
| US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
| WO2011082716A1 (en) | Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image | |
| CN114097216A (zh) | 图像处理装置和图像处理程序 | |
| JP2019001325A (ja) | 車載用撮像装置 | |
| US20200207270A1 (en) | Electronic mirror system | |
| JP3238606U (ja) | バックモニタシステム及びドライブレコーダ | |
| US11758072B2 (en) | Driver assistance system, driver assisting method, and non-transitory storage medium | |
| JP3210758B2 (ja) | 表示画像のコントラスト改善方法 | |
| CN111216635B (zh) | 车载装置 | |
| US20210217146A1 (en) | Image processing apparatus and image processing method | |
| KR101750160B1 (ko) | 어라운드 뷰 노이즈 제거 시스템 및 방법 | |
| KR101750156B1 (ko) | 차량의 파노라마 영상 표시장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |