CN109788211A - 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法 - Google Patents
拍摄图像显示系统、电子镜系统以及拍摄图像显示方法 Download PDFInfo
- Publication number
- CN109788211A CN109788211A CN201811135736.4A CN201811135736A CN109788211A CN 109788211 A CN109788211 A CN 109788211A CN 201811135736 A CN201811135736 A CN 201811135736A CN 109788211 A CN109788211 A CN 109788211A
- Authority
- CN
- China
- Prior art keywords
- image
- display
- shooting
- mentioned
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000000926 separation method Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
Abstract
本发明提供以能够抑制二个光源作为一个光源表现并且关于暗的部分也能够良好地视觉辨认的方式显示图像的拍摄图像显示系统、电子镜系统以及拍摄图像显示方法。关于相互不同的增益的范围的每个范围，在能够用该范围内的增益将多个光源拍摄为分离的多个光源的像的情况下，生成用能够拍摄为该多个光源的像的增益中的最大的增益拍摄到的图像，即，拍摄得最明亮的图像，作为使用图像(a,b,c)。然后，在显示器(3)上显示仅将所生成的使用图像中的能够将多个光源拍摄为分离的多个光源的像的使用图像(a,b)合成而得到的图像(d)。
Description
技术领域
本发明涉及显示通过摄影机拍摄到的图像的拍摄图像显示系统。
背景技术
作为显示通过摄影机拍摄到的图像的拍摄图像显示系统，已知有如下电子镜系统：代替车室内后视镜而在前挡风玻璃的上方的位置配置显示器，将用对汽车后方进行拍摄的摄影机拍摄到的图像显示在显示器上(例如，专利文献1、2)。
另外，作为拍摄图像显示系统中的技术，已知有如下技术：就拍摄包括汽车前照灯的图像的系统而言，在摄影机拍摄到的图像中存在亮度值饱和的像素的区域的情况下，减小摄影机的增益或者加快摄影机的快门速度，来抑制二个前照灯由于饱和而作为一个光源出现在拍摄到的图像中的技术(例如，专利文献3)。
现有技术文献
专利文献
专利文献1：日本特开2016-60411号公报
专利文献2：日本特开2007-214749号公报
专利文献3：日本特开2006-339994号公报
在上述的摄影机拍摄到的图像中存在亮度值饱和的像素的区域的情况下，若根据通过减小摄影机的增益或者加快摄影机的快门速度来抑制二个前照灯作为一个光源表现的情况的技术，则由于图像的整体变暗，因此有时会产生如下问题：被拍摄区域的暗的部分阴影过黑(blocked up shadows)，变得无法视觉辨认。
发明内容
因此，本发明的课题在于，在显示通过摄影机拍摄到的图像的拍摄图像显示系统中，以能够抑制二个光源作为一个光源表现并且对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的方式显示通过摄影机拍摄到的图像。
为了完成上述课题，本发明为，将通过摄影机拍摄到的图像显示于显示器的拍摄图像显示系统，具备：显示候选图像生成单元，将上述摄影机的增益作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及合成图像显示单元，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
这里，在这样的拍摄图像显示系统中，可以是，代替上述摄影机的增益，而将上述摄影机的曝光时间作为拍摄设定值。或者，可以是，代替上述摄影机的增益，将上述摄影机的增益×上述摄影机的曝光时间作为拍摄设定值。
根据这样的拍摄图像显示系统，仅对使摄影机的增益、或者摄影机的曝光时间、或者摄影机的增益×摄影机的曝光时间不同地、通过摄影机拍摄到的图像中的、多个光源作为分离的多个光源的像而表现的图像进行合成并进行显示，所以能够显示如下图像，即能够抑制二个光源作为一个连续的高亮度的像而表现的情况，并且高动态范围较宽的、对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的图像。
这里，这样的拍摄图像显示系统，可以构成为，在上述显示候选图像生成单元中，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值，在搜索成功的情况下，将用该最大的拍摄设定值通过摄影机拍摄到的图像作为上述显示候选图像。
通过这样，关于多个拍摄设定值的范围的每个范围，能够拍摄到多个光源作为分离的多个光源的像而表现的显示候选图像的情况下，能够生成尽可能明亮的图像作为显示候选图像，能够提高显示图像的视觉辨认性。
另外，以上的拍摄图像显示系统，可以构成为，在上述显示候选图像生成单元中，提取用上述多个拍摄设定值的范围中包括的拍摄设定值中的最大的拍摄设定值通过摄影机拍摄到的图像中包括的高亮度的区域，作为对象高亮度区域，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够将上述对象高亮度区域分离为分离的多个高亮度的区域的最大的拍摄设定值，作为能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值。
另外，以上的拍摄图像显示系统，可以构成为，在上述合成图像显示单元中，在上述显示器上显示合成图像，该合成图像是通过包括高动态范围合成的合成处理仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
另外，本发明一并提供具备拍摄图像显示系统的电子镜系统。这里，在本电子镜系统中，上述摄影机是搭载于汽车的对汽车的后方或左后方或右后方进行拍摄的摄影机，上述显示器配置在从上述汽车的驾驶员能够视觉辨认的位置。
发明的效果
如以上那样，根据本发明，在显示通过摄影机拍摄到的图像的拍摄图像显示系统中，能够以能够抑制二个光源作为一个光源而表现的情况并且关于被拍摄区域的暗的部分也能够比较良好地视觉辨认的方式显示通过摄影机拍摄到的图像。
附图说明
图1是表示本发明的实施方式的电子镜系统的构成的框图。
图2是表示本发明的夜间显示处理的流程图。
图3是表示本发明的实施方式的曝光调整图像拍摄处理的流程图。
图4是表示本发明的夜间显示处理的处理例的图。
符号说明
1…摄影机，2…显示控制装置，3…显示器。
具体实施方式
以下，对本发明的实施方式进行说明。
图1a中示出了本实施方式的电子镜系统的构成。
电子镜系统是搭载于汽车的系统，如图所示，具备摄影机1、显示控制装置2以及显示器3。
这里，摄影机1如例如图1b所示那样，配置在汽车的后部，对汽车的后方的状况进行拍摄。另外，显示器3如图1c所示那样，使显示面朝向后方侧地配置在前挡风玻璃的上方的位置，即传统上配置有车室内后视镜的位置。
接着，对于在这样的电子镜系统中在夜间由显示控制装置2进行的夜间显示处理进行说明。此外，当前是否是夜间，根据通过摄影机1拍摄到的图像的整体上的亮度、另外收到的通过照度传感器检测到的照度、汽车的车灯的开/关的状态等来检测。
图2中示出了夜间显示处理的工序。
首先，对于本夜间显示处理中使用的常数进行表示。
在本夜间显示处理中，作为对摄影机1的增益进行表示的常数，使用满足miniG1＜maxG1＜miniG2＜maxG2＜miniG3＜maxG3的miniG1、maxG1、miniG2、maxG2、miniG3、maxG3的常数。
另外，如图所示，在夜间显示处理中，显示控制装置2首先将摄影机1的增益设定为maxG3，进行图像的拍摄(步骤202)。
然后，检查在拍摄到的图像中是否有规定的尺寸以上的、亮度值为预先确定的阈值ThL以上的高亮度的像素的区域(步骤204)。这里，关于阈值ThL，设定亮度的饱和值或者小于亮度的饱和值的接近饱和值的值。另外，规定的尺寸设为，例如包含拍入了位于距摄影机1为250m的位置的相隔1.3m的2点的拍摄图像中的2点的尺寸。
然后，如果没有阈值ThL以上的像素的区域(步骤204)，则将在步骤202中拍摄到的图像显示于显示器3(步骤206)，并返回到从步骤202起的处理。
另一方面，如果有阈值ThL以上的像素的区域(步骤204)，则关于i＝1,i＝2,i＝3(步骤208，214，216)，分别进行步骤210、212的处理。
即，在步骤210中，将miniG设定为常数miniGi，将maxG设定为常数maxGi，在此基础上，在步骤212中，进行使用了miniG、maxG的曝光调整图像拍摄处理。
这里，图3中示出了在步骤212中进行的曝光调整图像拍摄处理的工序。
如图所示，在曝光调整图像拍摄处理中，显示控制装置2首先将摄影机1的增益设定为maxG(步骤302)。然后，通过摄影机1进行图像的拍摄(步骤304)。
然后，检查在拍摄到的图像中、图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域，是否通过亮度比较低的像素的区域被分离为分裂的多个亮度比较高的像素的区域，即，检查是否被分离为多个光源的像(步骤306)。
然后，如果未分离为多个光源的像(步骤306)，则将ThM设为ThL以下的规定的阈值，并检查在拍摄到的图像中是否残留ThM以上的像素区域(步骤312)，如果未残留，则最后将步骤304中拍摄到的图像设定为使用图像(步骤316)，结束曝光调整图像拍摄处理。
另一方面，在拍摄到的图像中残留有ThM以上的像素区域的情况下(步骤312)，检查从摄影机1的当前的增益减少了预先设定的步长量S而得到的值，是否小于minG(步骤314)。
然后，在从摄影机1的当前的增益减少了预先设定的步长量S而得到的值小于minG的情况下(步骤314)，最后将步骤304中拍摄到的图像设定为使用图像(步骤316)，结束曝光调整图像拍摄处理。
另一方面，如果从摄影机1的当前的增益减少了预先设定的步长量S而得到的值不小于minG(步骤314)，则使摄影机1的增益减少步长量S(步骤318)，并返回到从步骤304起的处理。
然后，在步骤306中，判定为阈值ThL以上的高亮度的像素的区域能够分离为多个光源的像的情况下，最后将步骤304中拍摄到的图像设定为使用图像(步骤308)，并且对使用图像设定光源分离标志(步骤310)。
然后，结束曝光调整图像拍摄处理。
根据这样的曝光调整图像拍摄处理，关于miniG1到maxG1的增益的范围、miniG2到maxG2的增益的范围、miniG3到maxG3的增益的范围的每个范围，在用该增益的范围内的增益，能够将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成用能够拍摄为多个光源的像的增益中的最大的增益拍摄到的图像，作为使用图像，对使用图像设定光源分离标志。
另外，关于上述的增益的范围的每个范围，用该增益的范围内的增益，无法将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在该增益的范围中的拍摄到的图像不残留ThM以上的像素区域且用增益或最小的增益拍摄到的图像，作为使用图像，对该使用图像，不设定光源分离标志。
另外，返回到图2，关于i＝1,i＝2,i＝3(步骤208，214，216)的每一个，如果步骤210的将miniG设定为maxG、步骤212的曝光调整图像拍摄处理已结束，则检查在通过对于i＝1,i＝2,i＝3分别进行的曝光调整图像拍摄处理而生成的3个使用图像中，是否有被设定了光源分离标志的使用图像(步骤218)。
然后，在有被设定了光源分离标志的使用图像的情况下(步骤218)，生成通过规定的图像处理F仅将被设定了光源分离标志的使用图像合成而得到的图像，并显示于显示器3(步骤220)，并返回到从步骤202起的处理。此外，在步骤220中，在仅有一个被设定了光源分离标志的使用图像的情况下，将该使用图像显示于显示器3。
另一方面，在没有被设定了光源分离标志的使用图像的情况下(步骤218)，将通过关于i＝1进行的曝光调整图像拍摄处理所生成的使用图像显示于显示器3(步骤222)，并返回到从步骤202起的处理。
以上，对由显示控制装置2进行的夜间显示处理进行了说明。
这里，图4表示在夜间存在后续车辆时，关于各增益的范围所生成的使用图像的例子，图4a表示关于miniG1到maxG1的增益的范围所生成的使用图像，图4b表示关于miniG2到maxG2的增益的范围所生成的使用图像，图4c表示关于miniG3到maxG3的范围所生成的使用图像。
如图所示，在该例中，对于关于图4a的miniG1到maxG1的增益的范围所生成的使用图像、关于图4b的miniG2到maxG2的增益的范围所生成的使用图像，后续车的二个前照灯被分离为二个光源的像而表现，但在图4c的关于miniG3到maxG3的范围所生成的使用图像中，由于饱和，后续车的二个前照灯作为连续的一个光源的像而表现。
并且，根据本夜间显示处理，通过规定的图像处理F，仅将这样生成的3个使用图像中的、后续车的二个前照灯分离为二个光源的像而表现的图4a的使用图像和图4b的使用图像合成而得到的图4d所示那样的图像显示于显示器3。
这里，作为图像处理F，例如能够进行根据曝光不同的多个图像生成与该多个图像相比高动态范围更宽的图像的HDR(高动态范围合成；High-dynamic-range rendering)及将通过HDR生成的图像的高动态范围缩小为显示器3的高动态范围的色调映射等。
另外，作为图像处理F，也能够进行平均、加法运算等的其他的图像处理。
这里，在除了后续车的二个前照灯分离为二个光源的像而表现的图4a的使用图像和图4b的使用图像以外，还包含后续车的二个前照灯作为一个光源的像而表现的图4c的使用图像在内进行合成的情况下，显示的图像有时为，以后续车的二个前照灯不分离为二个光源的像、或分离的有无并不清楚的方式而表现的图像。
但是，在夜间显示处理中，仅将后续车的二个前照灯分离为二个光源的像而表现的使用图像合成并显示于显示器3，所以在显示的图像中也是，后续车的二个前照灯清楚地分离为二个光源的像而表现。
另外，使用图像，是以各增益的范围内、能够将后续车的二个前照灯拍摄为二个光源的像的增益中的最大的增益拍摄到的图像，所以为尽可能明亮的图像。
因此，通过夜间显示处理，能够显示能够抑制二个前照灯等的二个光源作为一个光源而表现的情况，并且高动态范围较宽的、对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的图像。
以上，对本发明的实施方式进行了说明。
但是，在以上的实施方式，在夜间显示处理中，关于摄影机1的增益不同的多个范围进行了曝光调整图像拍摄处理，但这也可以关于摄影机1的曝光时间(快门速度)、或者摄影机1的曝光时间(快门速度)×增益不同的多个范围来进行曝光调整图像拍摄处理。
即，也可以是，进行与摄影机1的曝光时间(快门速度)不同的多个范围的各范围对应的曝光调整图像拍摄处理，在各曝光调整图像拍摄处理中，以对应的范围内的曝光时间能够将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，能够生成以能够拍摄到的曝光时间中的最长的曝光时间拍摄到的图像，作为设定了光源分离标志的使用图像，在以对应的范围内的曝光时间不能将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在对应的范围中的拍摄到的图像中不残留ThM以上的像素区域且以曝光时间或最小的曝光时间能够拍摄到的图像，作为未设定光源分离标志的使用图像。
或者，也可以是，进行与摄影机1的曝光时间(快门速度)×增益不同的多个范围的各范围对应的曝光调整图像拍摄处理，在各曝光调整图像拍摄处理中，以对应的范围内的曝光时间×增益能够将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成以能够拍摄的曝光时间×增益中的最大的曝光时间×增益拍摄到的图像，作为设定了光源分离标志的使用图像，在以对应的范围内的曝光时间×增益不能将图2的步骤204中检测到的阈值ThL以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在对应的范围中的拍摄到的图像中不残留ThM以上的像素区域且以最小的曝光时间×增益或最小的曝光时间×增益拍摄到的图像，作为未设定光源分离标志的使用图像。
另外，以上，对将通过摄影机1拍摄到的图像在配置于前挡风玻璃的上方的位置的显示器3上显示的电子镜系统进行了说明，但以上的夜间显示处理，同样能够应用于将通过摄影机1拍摄到的左后方/右后方的图像在配置于左/右的显示器3上显示的电子镜系统、即代替传统的两侧的后视镜的电子镜系统等的用摄影机1拍摄到包含光源的图像进行显示的其他的任意的拍摄图像显示系统中。
Claims (11)
1.一种拍摄图像显示系统，将通过摄影机拍摄到的图像显示于显示器，该拍摄图像显示系统的特征在于，具有：
显示候选图像生成单元，将上述摄影机的增益作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示单元，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
2.一种拍摄图像显示系统，将通过摄影机拍摄到的图像显示于显示器，该拍摄图像显示系统的特征在于，具有：
显示候选图像生成单元，将上述摄影机的曝光时间作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示单元，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
3.一种拍摄图像显示系统，将通过摄影机拍摄到的图像显示于显示器，该拍摄图像显示系统的特征在于，具有：
显示候选图像生成单元，将上述摄影机的增益×上述摄影机的曝光时间作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示单元，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
4.如权利要求1至3中任一项所述的拍摄图像显示系统，其特征在于，
上述显示候选图像生成单元，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值，在搜索成功的情况下，将用该最大的拍摄设定值通过摄影机拍摄到的图像作为上述显示候选图像。
5.如权利要求4所述的拍摄图像显示系统，其特征在于，
上述显示候选图像生成单元，提取用上述多个拍摄设定值的范围中包括的拍摄设定值中的最大的拍摄设定值通过摄影机拍摄到的图像中包括的高亮度的区域，作为对象高亮度区域，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够将上述对象高亮度区域分离为分离的多个高亮度的区域的最大的拍摄设定值，作为能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值。
6.如权利要求1至3中任一项所述的拍摄图像显示系统，其特征在于，
上述合成图像显示单元，在上述显示器上显示合成图像，该合成图像是通过包括高动态范围合成的合成处理仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
7.一种电子镜系统，具备权利要求1至6中任一项所述的拍摄图像显示系统，该电子镜系统的特征在于，
上述摄影机是搭载于汽车的、对汽车的后方或左后方或右后方进行拍摄的摄影机，
上述显示器配置在从上述汽车的驾驶员能够视觉辨认的位置。
8.一种拍摄图像显示方法，是在具备摄影机和显示器的拍摄图像显示系统中将通过上述摄影机拍摄到的图像显示于上述显示器的拍摄图像显示方法，其特征在于，具有：
显示候选图像生成步骤，上述拍摄图像显示系统，将上述摄影机的增益作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示步骤，上述拍摄图像显示系统，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
9.一种拍摄图像显示方法，是在具备摄影机和显示器的拍摄图像显示系统中将通过上述摄影机拍摄到的图像显示于上述显示器的拍摄图像显示方法，其特征在于，具有：
显示候选图像生成步骤，上述拍摄图像显示系统，将上述摄影机的曝光时间作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示步骤，上述拍摄图像显示系统，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
10.一种拍摄图像显示方法，是在具备摄影机和显示器的拍摄图像显示系统中将通过上述摄影机拍摄到的图像显示于上述显示器的拍摄图像显示方法，其特征在于，具有：
显示候选图像生成步骤，上述拍摄图像显示系统，将上述摄影机的增益×上述摄影机的曝光时间作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及
合成图像显示步骤，上述拍摄图像显示系统，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。
11.如权利要求8至10中任一项所述的拍摄图像显示方法，其特征在于，
在上述显示候选图像生成步骤中，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值，在搜索成功的情况下，将用该最大的拍摄设定值通过摄影机拍摄到的图像作为上述显示候选图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017218295A JP6944350B2 (ja) | 2017-11-13 | 2017-11-13 | 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法 |
| JP2017-218295 | 2017-11-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109788211A true CN109788211A (zh) | 2019-05-21 |
| CN109788211B CN109788211B (zh) | 2022-11-25 |
Family
ID=64083013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811135736.4A Active CN109788211B (zh) | 2017-11-13 | 2018-09-28 | 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10757343B2 (zh) |
| EP (1) | EP3484144B1 (zh) |
| JP (1) | JP6944350B2 (zh) |
| CN (1) | CN109788211B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019224648A1 (en) * | 2018-05-24 | 2019-11-28 | Gentex Corporation | Multi-functional exterior mirror with integrated camera |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101023407A (zh) * | 2002-08-21 | 2007-08-22 | 金泰克斯公司 | 自动车辆外部照明控制的图像采集和处理方法 |
| US20080012942A1 (en) * | 2003-12-25 | 2008-01-17 | Niles Co., Ltd. | Imaging System |
| CN101326545A (zh) * | 2005-08-19 | 2008-12-17 | 松下电器产业株式会社 | 图像处理方法、图像处理系统以及图像处理程序 |
| JP2009098718A (ja) * | 2007-10-12 | 2009-05-07 | Denso Corp | 画像処理装置 |
| JP2012054827A (ja) * | 2010-09-02 | 2012-03-15 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| US20140022408A1 (en) * | 2012-07-20 | 2014-01-23 | Canon Kabushiki Kaisha | Image capture apparatus, method of controlling image capture apparatus, and electronic device |
| US20150078661A1 (en) * | 2013-08-26 | 2015-03-19 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
| WO2016194296A1 (en) * | 2015-06-04 | 2016-12-08 | Sony Corporation | In-vehicle camera system and image processing apparatus |
| CN107079107A (zh) * | 2014-10-06 | 2017-08-18 | 徕卡显微系统(瑞士)股份公司 | 用于获得物体的高动态范围合成图像的显微镜和方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60411A (ja) | 1983-06-16 | 1985-01-05 | Matsushita Electric Ind Co Ltd | レ−ザモジユ−ル装置 |
| US4703496A (en) * | 1985-12-30 | 1987-10-27 | General Electric Company | Automatic x-ray image brightness control |
| JP4554094B2 (ja) * | 2001-01-26 | 2010-09-29 | オリンパス株式会社 | 撮像装置 |
| KR100470535B1 (ko) | 2002-06-27 | 2005-02-22 | 재단법인서울대학교산학협력재단 | 유피에이 항체 부착 이뮤노리포좀 |
| JP2004260699A (ja) * | 2003-02-27 | 2004-09-16 | Canon Inc | 撮像装置、撮像方法、及びプログラム |
| JP4400512B2 (ja) | 2005-06-01 | 2010-01-20 | 株式会社デンソー | 車載カメラ制御装置 |
| JP2007214749A (ja) | 2006-02-08 | 2007-08-23 | Rung-Ting Chen | 自動車後方撮影影像表示システム |
| US8184926B2 (en) * | 2007-02-28 | 2012-05-22 | Microsoft Corporation | Image deblurring with blurred/noisy image pairs |
| JP5892876B2 (ja) * | 2011-07-28 | 2016-03-23 | クラリオン株式会社 | 車載用環境認識装置 |
| US8902328B2 (en) * | 2013-03-14 | 2014-12-02 | Konica Minolta Laboratory U.S.A., Inc. | Method of selecting a subset from an image set for generating high dynamic range image |
| JP2016060411A (ja) | 2014-09-19 | 2016-04-25 | 株式会社Ｊｖｃケンウッド | 確認支援装置および確認支援システム |
| JP6657925B2 (ja) * | 2015-06-04 | 2020-03-04 | ソニー株式会社 | 車載カメラ・システム並びに画像処理装置 |
| US11057573B2 (en) * | 2017-12-20 | 2021-07-06 | Texas Instruments Incorporated | Multi camera image processing |
-
2017
- 2017-11-13 JP JP2017218295A patent/JP6944350B2/ja active Active
-
2018
- 2018-09-28 CN CN201811135736.4A patent/CN109788211B/zh active Active
- 2018-10-30 EP EP18203438.9A patent/EP3484144B1/en active Active
- 2018-10-31 US US16/176,122 patent/US10757343B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101023407A (zh) * | 2002-08-21 | 2007-08-22 | 金泰克斯公司 | 自动车辆外部照明控制的图像采集和处理方法 |
| US20080012942A1 (en) * | 2003-12-25 | 2008-01-17 | Niles Co., Ltd. | Imaging System |
| CN101326545A (zh) * | 2005-08-19 | 2008-12-17 | 松下电器产业株式会社 | 图像处理方法、图像处理系统以及图像处理程序 |
| JP2009098718A (ja) * | 2007-10-12 | 2009-05-07 | Denso Corp | 画像処理装置 |
| JP2012054827A (ja) * | 2010-09-02 | 2012-03-15 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| US20140022408A1 (en) * | 2012-07-20 | 2014-01-23 | Canon Kabushiki Kaisha | Image capture apparatus, method of controlling image capture apparatus, and electronic device |
| US20150078661A1 (en) * | 2013-08-26 | 2015-03-19 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
| CN107079107A (zh) * | 2014-10-06 | 2017-08-18 | 徕卡显微系统(瑞士)股份公司 | 用于获得物体的高动态范围合成图像的显微镜和方法 |
| WO2016194296A1 (en) * | 2015-06-04 | 2016-12-08 | Sony Corporation | In-vehicle camera system and image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US10757343B2 (en) | 2020-08-25 |
| EP3484144A1 (en) | 2019-05-15 |
| JP6944350B2 (ja) | 2021-10-06 |
| JP2019091997A (ja) | 2019-06-13 |
| CN109788211B (zh) | 2022-11-25 |
| US20190149712A1 (en) | 2019-05-16 |
| EP3484144B1 (en) | 2021-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105208281B (zh) | 一种夜景拍摄方法及装置 | |
| JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2003008988A (ja) | フラッシュアーチファクトを除去する方法および装置 | |
| JP6740866B2 (ja) | 画像出力装置 | |
| JP2019517215A (ja) | 多重露光ワイドダイナミックレンジ画像データに対する画像データ処理 | |
| JP4952499B2 (ja) | 画像処理装置 | |
| CN106550227B (zh) | 一种图像饱和度调整方法及装置 | |
| JP4400512B2 (ja) | 車載カメラ制御装置 | |
| CN109788211A (zh) | 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法 | |
| KR101822344B1 (ko) | 히스토그램 스프레딩을 갖는 자동차 카메라 장치 | |
| JP6991664B2 (ja) | 撮影画像表示システム及び電子ミラーシステム | |
| CN104754238A (zh) | 一种成像控制方法及装置、成像控制系统 | |
| JP7278764B2 (ja) | 撮像装置、電子機器、撮像装置の制御方法およびプログラム | |
| JP2014098859A (ja) | 撮像装置および撮像方法 | |
| US11272124B2 (en) | Image compositing device, image compositing method, and storage medium | |
| KR101710629B1 (ko) | 촬상 장치 및 촬상 방법 | |
| JP7279613B2 (ja) | 画像処理装置 | |
| JP7213732B2 (ja) | 画像表示装置 | |
| JP6423669B2 (ja) | 撮像装置及びその制御方法 | |
| TWI475512B (zh) | 動態範圍影像的雜訊處理方法及其影像擷取裝置 | |
| US11906895B2 (en) | Method and system for blending images captured under different strobe conditions | |
| WO2022059139A1 (ja) | 画像表示装置および画像表示方法 | |
| JP6014343B2 (ja) | 画像処理装置および画像処理方法 | |
| KR101932541B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| Ravshanov et al. | Image contrast enhancement based on infrared data obtained under difficult light conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |