CN108430851B - 夜间图像显示装置及其图像处理方法 - Google Patents
夜间图像显示装置及其图像处理方法 Download PDFInfo
- Publication number
- CN108430851B CN108430851B CN201680075684.9A CN201680075684A CN108430851B CN 108430851 B CN108430851 B CN 108430851B CN 201680075684 A CN201680075684 A CN 201680075684A CN 108430851 B CN108430851 B CN 108430851B
- Authority
- CN
- China
- Prior art keywords
- image
- light
- time
- gate
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 14
- 230000003213 activating effect Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 4
- 230000004297 night vision Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/23—
-
- B60K35/28—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- B60K2360/176—
-
- B60K2360/179—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
Abstract
本发明涉及一种夜间图像输出设备,包括:拍摄单元,该拍摄单元包括用于输出光脉冲的光脉冲输出单元和用于使用由外部物体反射的光脉冲来形成多个图像的图像传感器;显示单元,该显示单元用于通过合成多个图像来输出最终图像;以及控制单元,该控制单元用于通过使用到最终图像的各个像素的多个图像的光量比的数据和与距离有关的光量比,计算被显示在最终图像的每个像素中的物体距离信息。
Description
技术领域
本发明涉及一种用于车辆的夜间图像显示装置,其具有改进的远距离物体的可视性。
背景技术
用于车辆的夜视装置是用于在夜间驾驶期间或在诸如下雪/下雨的恶劣天气时辅助驾驶员的装置。夜视装置还用作通过视觉数据将特定距离内的情况或状况传输给驾驶员。
然而,设置有一般传感器和发光装置或灯的夜视装置在以均匀亮度输出所有物体时存在局限性,与离车辆的距离无关,因为从远离车辆的区域反射的光量被急剧减少。
发明内容
本发明的一方面是为了提供一种夜间图像显示装置及其夜间图像处理方法,该夜间图像显示装置用于在改进远处物体的锐度时计算与距离有关的信息。
为了实现本发明的方面和其他优点,根据本发明的一个实施例的夜间图像显示装置可以包括:光脉冲输出单元,该光脉冲输出单元用于输出光脉冲;拍摄单元,该拍摄单元设置有图像传感器,该图像传感器使用由外部物体反射的光脉冲形成多个图像;显示单元,该显示单元输出通过合成多个图像而获得的最终图像;以及控制单元,该控制单元通过使用与用于最终图像的每个像素的多个图像的光量比相关联的数据和用于距离的光量比来计算与在每个像素中显示的物体有关的距离信息。
在本发明的一个实施例中,控制器可以控制光脉冲输出单元以第一时间间隔在特定时间内输出光脉冲,通过在没有输出光脉冲的暂停时段期间以第二时间间隔在第一时间内激活第一栅极来形成第一栅极图像,并且当第一栅极停用时通过在暂停时段期间以第二时间间隔在第二时间内激活第二栅极来形成第二栅极图像。第二时间可以被设置为比第一时间短,以便获取远距离区域的多个图像,从而提供更清晰的图像。
在本发明的一个实施例中,控制器可以使用由第一图案的光脉冲形成的第一图像和由第二图案的光脉冲形成的第二图像来计算用于每个像素的光量比,并且使用与距离相关的光量比相关联的数据来计算在每个像素中输出的图像的距离,从而使用多个图像来获取与在每个像素中显示的图像有关的距离信息。
在本发明的一个实施例中,该装置可以进一步包括雷达单元,以通过输出电磁波检测物体。当雷达单元检测到物体时,控制器可以激活显示单元。因此,当雷达单元检测到危险时,与其相关的图像能够被输出并且提供给用户。
发明效果
根据本发明,即使物体相对较远,能够输出清晰的最终图像,并且甚至能够将距离信息与最终图像一起输出。这可以允许用户不仅识别物体的存在,而且识别物体的更精确的位置和距离。
此外,当在车辆行驶中检测到危险时,障碍物的图像能够被显示在显示单元上,使得驾驶员能够立即识别障碍物的危险。因此,驾驶员能够立即采取措施避免危险。
附图说明
图1A是图示设置有根据本发明的一个实施例的夜间图像显示装置的车辆的一个区域的概念图。
图1B是图示根据本发明的一个实施例的夜间图像显示装置的组件的框图。
图2A是图示根据本发明的一个实施例的夜间图像显示装置的图像处理方法的流程图。
图2B是图示响应于光脉冲的输出的多个栅极的操作的概念图。
图2C是示出当光脉冲的输出时间恒定时与根据距离的光量比相关联的数据的曲线图。
图3是图示根据本发明的一个实施例的显示最终图像的方法的概念图。
图4A是图示根据本发明的另一实施例的夜间图像显示装置的图像处理方法的流程图。
图4B是图示与栅极的激活状态对应的光脉冲的输出状态的概念图。
图4C是示出当图像传感器的激活时间恒定时与根据距离的光量比相关联的数据的曲线图。
图4D是图示调整光量的控制方法,即,光脉冲输出单元的控制方法的概念图。
图5A和图5B是图示其中光量变化的图案的概念图。
图6是图示输出最终图像和距离信息的方法的概念图。
图7是图示根据本发明的另一实施例的夜间图像显示装置的组件的框图。
图8是图示根据本发明的实施例的夜间图像显示装置的控制方法的流程图。
图9A和图9B是图示图8的夜间图像显示装置的控制方法的概念图。
具体实施方式
现在将会参考附图详细地描述在此公开的示例性实施例。为了参考附图简要地描述,相同或者等效的组件可以被设置有相同或者相似的附图标记,并且其描述将不会被重复。通常,诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。在此这样的后缀的使用仅旨在有助于本说明书的描述,并且后缀本身不旨在给予任何特定的意义或者功能。在描述本公开时,如果对于有关的已知的功能或者构造的详细解释被认为是没有必要地转移本公开的要旨,则已经省略了这样的解释但是本领域的技术人员应理解。附图被用于帮助容易地理解本公开的技术思想,并且应理解本公开的思想不受附图限制。除了附图之外,本公开的构思应被解释为还延伸到任何更改、等同物以及替代。
将会理解的是,尽管在此可以使用术语第一、第二等来描述各种元件,但是这些元件不应受这些术语限制。这些术语通常仅被用于区分一个元件与另一元件。
将会理解的是,当元件被称为与另一元件“连接”时,元件能够与另一元件直接连接或者也可以存在中间元件。相比而言,当元件被称为与另一元件“直接地连接”时,不存在中间元件。
单数表示可以包括复数表示,除非根据上下文其表示明确不同的意义。
诸如“包括”或者“具有”的术语在此被使用并且应被理解它们旨在指示在本说明书中公开的数个组件、功能或者步骤的存在,并且也应理解更多或者更少的组件、功能或者步骤同样可以被利用。
图1A是图示设置有根据本发明的一个实施例的夜间图像显示装置的车辆的一个区域的概念图,并且图1B是图示根据本发明的一个实施例的夜间图像显示装置的组件的框图。根据本发明的一个实施例的夜间图像显示装置的显示单元200优选地被布置使得车辆的驾驶员能够在观看前方的同时在其上看到图像。
参考图1B,夜间图像显示装置包括用于拍摄(或捕获)图像的拍摄单元(或捕获单元)100;用于输出图像的显示单元200以及控制单元(或控制器)300。拍摄单元100包括光脉冲输出单元110和图像传感器120。当由光脉冲输出单元110产生光脉冲时,光脉冲在布置在车辆前方的物体上被反射以便到达图像传感器120。图像传感器120形成用于使用反射的入射光脉冲来检测与物体的距离的图像。
图2A是图示根据本发明的一个实施例的夜间图像显示装置的图像处理方法的流程图,并且图2B是图示响应于光脉冲的输出的多个栅极的操作的概念图。
参考图2A,光脉冲输出单元110以第一时间间隔T1输出光脉冲(S210)。光脉冲输出单元110在特定时间t内输出光脉冲(S310)。例如,具体时间可对应于约500ns,但不限于此。
在没有光脉冲输出的暂停时段期间,以第二时间间隔T2在第一时间t1内图像传感器120的第一栅极被激活(S320)。因此,具有多个像素的第一栅极图像通过由物体反射的光脉冲来获取。参考图2B,从当光脉冲的输出受到限制时的时间点开始,在第一时间t1内第一个栅极被激活。然而,本发明不限于此,并且控制器300控制图像传感器100,使得在限制光脉冲的输出之后的预定时间之后激活第一栅极。当输出光脉冲时,第一栅极被激活第一预设次数N1。
在第一栅极被激活第一预设次数(N1)之后,第二栅极被激活。在没有输出光脉冲的暂停时段期间,以第二时间间隔T2在第二时间t2内第二栅极被激活(S330)。第二时间t2比第一时间t1短。在光脉冲的输出受到限制之后,第二栅极被激活晚了第一时间t1与第二时间t2之间的时差(延迟时间),并且从当光脉冲输出被限制时的时间点到当第一和第二栅极被切换到非激活状态时的时间点的时段彼此相同。也就是说,第一和第二栅极可以检测由相同最大距离的物体反射的光脉冲,并且第二栅极在延迟时间期间不能检测由位于近距离处的物体反射的光脉冲。因此,第二个栅极能够获得远距离区域的图像。例如,当第一栅极形成用于约30m至约300m之间的环境的图像时,第二栅极形成用于在约75m至约300m之间的环境的图像。
第二栅极以第二时间间隔T2被激活了第二次数N2,并且第一次数N1和第二次数N2可以彼此相同。然而,因为在远距离图像中光脉冲的反射和到达的程度降低,所以根据光脉冲的输出状态和取决于外部环境的反射状态第二次数N2可以被设置为大于第一次数N1。
参考图2B,在第二栅极被激活第二次数N2之后,第三和第四栅极分别被激活了第三次数N3和第四次数N4。其中第三和第四栅极被激活的时间间隔与第二时间间隔T2相同。然而,在第三时间t3内第三栅极被激活,并且在第四时间t4内第四栅极被激活。第四时间t4最短,并且其以第三时间t3、第二时间t2和第一时间t1的顺序变长。基于当光脉冲的输出受到限制的时间点,将第一至第四栅极从激活状态切换到非激活状态的相对时间点相同。
然而,基于当光脉冲的输出受到限制时的时间点,首先第一个栅极被激活并且第四个栅极被最后激活。第四栅极还附加地仅形成离光脉冲输出单元110的远距离区域(例如,大约150m至大约300m)的图像。即,通过第二至第四栅极,当图像对应于远距离图像时夜间图像显示装置获得图像多次。
针对每个像素计算由多个栅极中的每一个获得的光量比(S340)。控制器300将检测到的每个栅极的光量除以激活每个栅极的次数。计算对于每个像素的第一至第四栅极中的每一个的光量比。例如,针对每个像素计算第二栅极相对于第一栅极的光量比、第三栅极相对于第二栅极的光量比以及第四栅极相对于第三栅极的光量比。
如图2C中所图示,夜间图像显示装置1000的存储器可以根据距离存储与光量比有关的数据。可替选地,当这些图像由多个栅极形成时(即,当形成多个栅极图像时),控制器可以根据离外部的距离接收与光量比有关的数据。控制器300使用该数据和光量比来计算每个像素的图像的距离(S350)。
例如,当对于一个像素第一和第二栅极的光量比对应于0.6时,对应于像素的图像的物体被计算为离夜间图像显示装置1000大约42m。可以通过使用第一和第二栅极的光量比来获得关于位于大约20m和大约75m之间的物体的图像的距离信息。然而,本发明不限于此,并且可以调整第一至第四栅极的激活时间点以获取与位于更近的物体有关的图像和距离信息,或与位于更远处的物体有关的图像和距离信息。每个栅极的光量比的计算可以由图像传感器120执行,或者可以由在图像传感器中形成图像的电路端处理。
控制器300合成多个栅极图像以形成最终图像并且控制显示单元200以输出最终图像(S360)。因此,因为通过第一至第四栅极获得位于远距离的物体的图像多次,所以即使在最终图像中也能够形成更明亮的位于远距离处的物体的图像。
另外,能够使用由多个栅极获得的图像来执行距离计算,并且因此即使在不具有用于检测距离的单独的检测传感器的情况下,也能够将与物体有关的距离信息与图像一起提供。
图3是图示根据本发明的一个实施例的显示最终图像的方法的概念图。显示单元200输出由多个栅极图像形成的最终图像510。因为获取用于远距离物体的图像比用于短距离物体的图像多,所以不论距离如何,都以均匀的亮度形成最终图像。例如,如果A是近距离物体而B是远距离物体,则A和B以基本相似的亮度形成。
控制器300可以控制显示单元200以输出与每个物体有关的距离信息511和最终图像510。例如,距离信息511可以以与每个物体相邻的文本的形式输出。控制器300计算获取从其物体的图像的像素的光量比,并且根据该数据和光量比获取与显示在像素上的图像有关的距离信息。
即,因为即使当物体位于相对较远的距离并且距离信息也与最终图像一起被输出时最终图像作为清晰图像被输出,所以用户不仅能够更准确地识别物体的存在而且识别物体的位置和距离。
图4A是图示根据本发明另一实施例的夜间图像显示装置的图像处理方法的流程图,并且图4B是图示与栅极的有效状态对应的光脉冲的输出状态的概念图。
以第一时间间隔T1在特定时间t内图像传感器210的栅极被激活(S410)。控制器300控制光脉冲输出单元220以第二时间间隔T2在第一时间t1内以其中在第一时间t1内光量逐渐变化的第一图案的方式输出光脉冲的方式输出光脉冲(S420)。参考图4B的(a),在栅极未被激活的状态下输出光脉冲,并且以第一图案输出的光脉冲逐渐减小直到光脉冲的输出受到限制。因此,当光脉冲的光量逐渐减小并且光脉冲的输出受到限制时,控制器300以激活栅极的方式控制光脉冲输出单元110和图像传感器120。
当光脉冲以第一图案输出第一次数N1时,控制器300以第二时间间隔T2在第二时间t2内以与第一图案不同的第二图案输出光脉冲(S430)。第二时间t2被设置为比第一时间t1短。从当第二图案的光脉冲的输出被限制时的时间点到当栅极被激活的时间点的时间比从当第一图案的光脉冲的输出被限制时的时间点到当栅极被激活时的时间点的时间长。因此,当输出第二图案的光脉冲时,由位于较近距离的物体反射的光脉冲不被检测到。控制器300控制光脉冲输出单元110输出光脉冲第二次数N2,并且第一次数N1和第二次数N2可以被设置为彼此相同。尽管未被图示,但是控制器300可以通过控制光脉冲输出单元220以第三图案输出光脉冲来获取附加的图像,该第三图案与第二图案相同但是在比第二时间t2短的第三时间t3内被输出。
如图4B中所图示,可以将第一图案和第二图案设置为在光量减少的比率上相同但仅在输出时间上不同。当输出第一和第二图案时,控制器300计算由栅极检测到的光脉冲的光量比(S440)。在这种情况下,控制器300将光量除以输出光脉冲的次数并且计算对于每个像素的光量比。
控制器300使用与光量比和距离有关的数据和计算的光量比来测量距离(S450)。与光量比和距离有关的数据如图4C中所图示。当光量比约为0.6时,显示在相应像素上的物体的距离对应于约50m。
图4D是图示调整光量的控制方法,即,光脉冲输出单元的控制方法的概念图。参考图4D的(a),光脉冲输出单元220可以包括多个发光装置121。控制器300可以根据时间的流逝逐渐关闭多个发光装置121中的一些以便减少光量。
同时,参考图4D的(b),光脉冲输出单元220可以同时减少多个发光装置的光量。控制器300可以通过改变施加到多个发光装置的电压/电流来同时控制所有发光装置的亮度。
然而,发光装置的数量和布置不限于附图中图示的那些。
图5A和图5B是图示其中光量变化的图案的概念图。
参考图5A的(a),控制器300离散地或不连续地减少光量。例如,在通过使用三步光量执行控制的情况下,控制器300形成第一图案,使得光脉冲以三步光量和第二图案输出,使得光脉冲以高达两步的光量输出。当那些图案完全形成时,控制器180可以控制光脉冲输出单元120以阻挡光脉冲的输出。
另一方面,参考图5B,控制器300通过调整以相同光量输出光脉冲的时间来形成第一和第二图案。
控制器300可以基于到要被拍摄的区域的距离和外部环境来设置输出光脉冲的图案。
图6是图示输出最终图像和距离信息的方法的概念图。参考图6的(a),显示单元200输出包括第一和第二物体A和B的最终图像520。控制器300分别计算到第一和第二物体A和B的距离。显示单元200使用与第一和第二物体A和B相关的距离信息以不同的颜色输出与第一和第二物体A和B对应的图像。
参考图6的(b),最终图像530可以以文本形式输出与每个物体有关的距离信息531。可替选地,控制器300可以形成与距离信息531相对应的图形图像。例如,在条形图形图像的情况下,可以输出随着距离增大而变长的图形图像。
参考图6的(c),最终图像541可以仅输出对应于部分距离的图像。当用户应用特定控制命令时控制器300可以改变部分距离的范围。
基于特定的控制命令,控制器300调节在图2A的实施例中激活每个栅极的时间,或者改变在图4的实施例中的光脉冲的输出图案。因此,用户能够选择性地仅接收对应于预期的距离范围的图像。
图7是图示根据本发明的另一实施例的夜间图像显示装置1000的组件的框图。除了雷达单元之外,根据本实施例的夜间图像显示装置1000包括与图1B中图示的组件基本相同的组件,并且因此相同的附图标记被指配给相同的组件,并且省略多余的解释。
雷达单元400输出电磁波以当车辆行驶时检测障碍物(或目标),由此提供与到障碍物的距离、朝着障碍物(或远离障碍物)移动的速度、行进方向与障碍物所在区域之间的角度等有关的信息。可以使用由雷达单元400提供的信息来控制根据本实施例的夜间图像显示装置1000。
然而,雷达单元可以不包括在夜间图像显示装置1000中。当雷达单元和夜间图像显示装置1000一起安装在车辆中时,雷达单元检测到的物体和与雷达单元有关的信息可以通过有线/无线通信被提供给夜间图像显示装置1000。
图8是图示根据本发明的实施例的夜间图像显示装置1000的控制方法的流程图,并且图9A和图9B是图示图8的夜间图像显示装置1000的控制方法的概念图。
当车辆行进时,控制器300激活雷达单元400(S510)。雷达单元400被优选地布置为与拍摄单元100相邻,或者被布置为具有与拍摄单元100相同的检测范围和拍摄范围。
当雷达单元400检测到障碍物(或目标)时,控制器300激活拍摄单元100。即,控制器300通过光脉冲输出单元110输出光脉冲并且激活图像传感器120。
另外,控制器300可以通过使用从雷达单元400接收的与障碍物相关的信息来设置用于获取图像信息的距离范围。控制器300使用距离信息输出其中检测到障碍物的距离范围的图像(S530)。在包括障碍物的图像的最终图像被输出之后,当障碍物未被雷达单元检测到时,控制器300可以控制显示单元200以被再次停用。
控制器300可以基于雷达单元400是否检测到障碍物来控制拍摄单元100和显示单元200两者,或者仅将显示单元从非激活状态切换到激活状态。
参考图9B,当在输出特定距离范围的第一图像510a的状态下雷达单元400检测到障碍物时,控制器300控制显示单元200以输出不同距离范围的第二图像510b。控制器300通过使用与雷达单元400获得的障碍物有关的信息控制光脉冲输出单元110和图像传感器120。
根据本实施例,当在车辆行驶中检测到危险时,障碍物的图像在显示单元200上被输出,并且因此驾驶员能够立即识别障碍物的危险。因此,驾驶员能够立即采取措施以避免危险。
前述的详细描述不应该在所有方面被有限地解释,并且应被理解为说明性的。本发明的范围应通过合理的解释来确定,并且因此旨在将落入等效范围内的所有变化和修改都包含在所附权利要求中。
工业实用性
本发明提供一种图像处理方法,该方法更清楚地提供相对远距离区域的图像,并且因此能够在各种相关的工业领域被利用。
Claims (16)
1.一种夜间图像显示装置,包括:
光脉冲输出单元,所述光脉冲输出单元输出光脉冲;
拍摄单元,所述拍摄单元设置有图像传感器,所述图像传感器使用由外部物体反射的光脉冲形成多个图像;
显示单元,所述显示单元输出通过合成所述多个图像而获得的最终图像;以及
控制器,所述控制器通过使用与用于所述最终图像的每个像素的所述多个图像的光量比相关联的数据和用于距离的光量比来计算与在每个像素中显示的所述物体有关的距离信息,
其中,所述控制器控制所述光脉冲输出单元以第一时间间隔在特定时间内输出光脉冲,
通过在没有输出光脉冲的暂停时段期间以第二时间间隔在第一时间内激活第一栅极来形成第一栅极图像,并且
当所述第一栅极被停用时通过在所述暂停时段期间以所述第二时间间隔在第二时间内激活第二栅极来形成第二栅极图像。
2.根据权利要求1所述的装置,
其中,所述第二时间比所述第一时间短。
3.根据权利要求2所述的装置,其中,在当所述光脉冲的输出被限制时的时间点和当所述第一栅极被停用时的时间点之间的时间差与在当所述光脉冲的输出被限制时的时间点和当所述第二栅极被停用时的时间点之间的时间差相同。
4.根据权利要求2所述的装置,其中,所述控制器激活所述第一栅极第一次数,并且然后激活所述第二栅极第二次数,并且
其中,所述控制器在将所述第一和第二栅极图像中包括的所述光量除以所述第一和第二次数之后分别计算所述光量比。
5.根据权利要求1所述的装置,其中,所述控制器通过以第一时间间隔在特定时间内激活所述图像传感器的栅极来形成图像,并且
其中,所述控制器控制所述光脉冲输出单元以第二时间间隔以第一图案输出所述光脉冲,所述第一图案被形成使得当所述栅极被停用时所述光量逐渐减小,并且在输出所述第一图案的光脉冲第一次数之后,控制所述光脉冲输出单元以不同于所述第一图案的第二图案输出所述光脉冲。
6.根据权利要求5所述的装置,其中,所述控制器通过使用由所述第一图案的光脉冲形成的第一图像和由所述第二图案的光脉冲形成的第二图像来计算用于每个像素的光量比,并且
通过使用与距离相关的光量比相关联的数据计算每个像素中输出的图像的距离。
7.根据权利要求5所述的装置,其中,所述光脉冲输出单元包括多个发光装置,并且
其中,所述控制器逐渐地切断所述多个发光装置中的一些以减少所述光量。
8.根据权利要求1所述的装置,其中,所述控制器控制所述显示单元以将所述距离信息与所述最终图像一起输出。
9.根据权利要求8所述的装置,其中,所述显示单元基于所述距离信息以不同颜色输出包括在所述最终图像中的所述图像或者输出指示所述距离信息的文本。
10.根据权利要求1所述的装置,进一步包括雷达单元,所述雷达单元通过输出电磁波来检测物体,
其中,当所述雷达单元检测到所述物体时,所述控制器激活所述显示单元。
11.根据权利要求10所述的装置,其中,当所述雷达单元检测到所述物体时,所述控制器激活所述拍摄单元,并且
其中,所述控制器基于与由所述雷达单元检测到的物体有关的距离信息来设置所述图像传感器或所述光脉冲输出单元的激活时段和激活时间。
12.根据权利要求10所述的装置,其中,当在所述显示单元上输出最终图像的同时所述雷达单元检测到所述物体时,所述控制器基于与所述物体有关的距离信息设置所述图像传感器或所述光脉冲输出的激活时段和激活时间以便输出所述物体的图像。
13.一种夜间图像处理方法,包括:
以第一时间间隔输出光脉冲;
通过以第二时间间隔在第一时间内激活第一栅极来检测所述光脉冲并且形成第一栅极图像;
通过以所述第二时间间隔在短于所述第一时间的第二时间内激活第二栅极来检测所述光脉冲并且形成第二栅极图像;
使用所述第一和第二栅极图像计算用于每个像素的光量比;
使用与所述光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离;以及
使用所述第一和第二栅极图像输出最终图像。
14.根据权利要求13所述的方法,其中,所述通过以第二时间间隔在第一时间内激活栅极来检测光脉冲并且形成第一栅极图像的步骤被重复第一次数,
其中,所述通过以第二时间间隔在短于第一时间的第二时间内激活第二栅极来检测光脉冲并且形成第二栅极图像的步骤被重复第二次数;并且
其中,所述使用与光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离的步骤包括:将所述第一栅极图像的光量除以所述第一次数并且将所述第二栅极的光量除以所述第二次数。
15.根据权利要求13所述的方法,进一步包括:在以所述第一时间间隔输出光脉冲,并且通过以所述第二时间间隔在所述第一时间内激活所述栅极来检测所述光脉冲并且形成所述第一栅极图像的步骤之前:
激活用于检测外部物体的雷达单元,
其中,当检测到所述外部物体时,执行以所述第一时间间隔输出所述光脉冲,并且通过以所述第二时间间隔在所述第一时间内激活所述栅极来检测所述光脉冲并且形成所述第一栅极图像的步骤。
16.一种夜间图像处理方法,包括:
以第一时间间隔激活图像传感器;
当所述图像传感器处于非激活状态时以第二时间间隔输出第一图案的光脉冲;
通过所述图像传感器形成第一图像;
当所述图像传感器处于非激活状态时以所述第二时间间隔输出第二图案的光脉冲;
由所述图像传感器形成第二图像;
使用所述第一图像和第二图像计算每个像素的光量比;
使用与所述光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离;以及
使用所述第一和第二图像输出最终图像,
其中,所述第一和第二图案被设置为在光脉冲输出时间上是不同的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150186740A KR102512729B1 (ko) | 2015-12-24 | 2015-12-24 | 야간 영상표시 장치 및 그 영상처리 방법 |
KR10-2015-0186740 | 2015-12-24 | ||
PCT/KR2016/001346 WO2017111201A1 (ko) | 2015-12-24 | 2016-02-05 | 야간 영상표시 장치 및 그 영상처리 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108430851A CN108430851A (zh) | 2018-08-21 |
CN108430851B true CN108430851B (zh) | 2021-03-09 |
Family
ID=59090621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680075684.9A Active CN108430851B (zh) | 2015-12-24 | 2016-02-05 | 夜间图像显示装置及其图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10830891B2 (zh) |
EP (1) | EP3395636B1 (zh) |
KR (1) | KR102512729B1 (zh) |
CN (1) | CN108430851B (zh) |
WO (1) | WO2017111201A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268697A1 (en) * | 2015-12-28 | 2018-09-20 | Tao Lin | Portable wireless automotive anti-collision system and data processing method |
US11560091B2 (en) | 2016-06-13 | 2023-01-24 | Lg Electronics Inc. | Night vision display device |
JP6555482B2 (ja) * | 2016-11-01 | 2019-08-07 | トヨタ自動車株式会社 | 車両走行制御装置 |
CN110471402A (zh) * | 2018-05-09 | 2019-11-19 | 陕西外号信息技术有限公司 | 对能够自主移动的机器进行导引的系统和方法 |
US10958830B2 (en) | 2018-05-24 | 2021-03-23 | Magna Electronics Inc. | Vehicle vision system with infrared LED synchronization |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2322953A1 (en) * | 2008-07-30 | 2011-05-18 | National University Corporation Shizuoka University | Distance image sensor and method for generating image signal by time-of-flight method |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN104442571A (zh) * | 2014-11-26 | 2015-03-25 | 重庆长安汽车股份有限公司 | 一种夜视导航集成系统及控制方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000019705A1 (en) * | 1998-09-28 | 2000-04-06 | 3Dv Systems, Ltd. | Distance measurement with a camera |
US6730913B2 (en) * | 2002-02-21 | 2004-05-04 | Ford Global Technologies, Llc | Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture |
US6828544B2 (en) * | 2002-06-12 | 2004-12-07 | Ford Global Technologies, Llc | Active night vision system for vehicles employing anti-blinding scheme |
KR101467509B1 (ko) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
JP4981780B2 (ja) * | 2008-10-20 | 2012-07-25 | 本田技研工業株式会社 | 測距システム及び測距方法 |
KR101180027B1 (ko) * | 2011-03-10 | 2012-09-06 | 디나스트 | 광센서 및 이를 이용한 감지 방법 |
KR101709282B1 (ko) * | 2011-11-15 | 2017-02-24 | 삼성전자주식회사 | 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들 |
KR101739163B1 (ko) * | 2013-02-21 | 2017-06-08 | 주식회사 만도 | 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치 |
JP2015144327A (ja) * | 2014-01-31 | 2015-08-06 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
KR101579098B1 (ko) * | 2014-05-23 | 2015-12-21 | 엘지전자 주식회사 | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 |
IL235359A0 (en) * | 2014-10-27 | 2015-11-30 | Ofer David | Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source |
-
2015
- 2015-12-24 KR KR1020150186740A patent/KR102512729B1/ko active IP Right Grant
-
2016
- 2016-02-05 WO PCT/KR2016/001346 patent/WO2017111201A1/ko unknown
- 2016-02-05 EP EP16879069.9A patent/EP3395636B1/en active Active
- 2016-02-05 CN CN201680075684.9A patent/CN108430851B/zh active Active
- 2016-02-05 US US16/065,764 patent/US10830891B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2322953A1 (en) * | 2008-07-30 | 2011-05-18 | National University Corporation Shizuoka University | Distance image sensor and method for generating image signal by time-of-flight method |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN104442571A (zh) * | 2014-11-26 | 2015-03-25 | 重庆长安汽车股份有限公司 | 一种夜视导航集成系统及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190011564A1 (en) | 2019-01-10 |
EP3395636A4 (en) | 2019-07-24 |
WO2017111201A1 (ko) | 2017-06-29 |
CN108430851A (zh) | 2018-08-21 |
KR102512729B1 (ko) | 2023-03-22 |
EP3395636B1 (en) | 2022-03-30 |
US10830891B2 (en) | 2020-11-10 |
EP3395636A1 (en) | 2018-10-31 |
KR20170076457A (ko) | 2017-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108430851B (zh) | 夜间图像显示装置及其图像处理方法 | |
US11250288B2 (en) | Information processing apparatus and information processing method using correlation between attributes | |
TWI814804B (zh) | 距離測量處理設備,距離測量模組,距離測量處理方法及程式 | |
US9863775B2 (en) | Vehicle localization system | |
US10229594B2 (en) | Vehicle warning device | |
US9449518B2 (en) | Display control device, method, and non-transitory storage medium | |
US10242262B2 (en) | Dynamic adjustment of imaging parameters | |
JP2020164162A (ja) | 車両状態表示システム | |
US9151626B1 (en) | Vehicle position estimation system | |
US9776567B2 (en) | Display control device, display device, display control method, and non-transitory storage medium | |
US10099609B2 (en) | Machine safety dome | |
EP2910971A1 (en) | Object recognition apparatus and object recognition method | |
EP3495777A3 (en) | Vehicle control device mounted on a vehicle and method for controlling the vehicle | |
CN110723079B (zh) | 车载传感器的位姿调整方法、装置、设备和介质 | |
KR20160051462A (ko) | 차량의 장애물 위치 인식 장치 및 방법 | |
US20220011440A1 (en) | Ranging device | |
US11971536B2 (en) | Dynamic matrix filter for vehicle image sensor | |
KR20200101324A (ko) | 자동화된 차량을 위한 가변 범위 및 프레임-레이트 레이더 작동 | |
CN108169729A (zh) | 激光雷达的视场的调整方法、介质、激光雷达系统 | |
WO2017167246A1 (zh) | 一种数据处理方法及设备、存储介质 | |
US10354153B2 (en) | Display controller, display control method, and recording medium storing program | |
JP5163087B2 (ja) | 物体検出装置 | |
CN104487892A (zh) | 用于减小投影设备的光强的方法 | |
JP2017016172A (ja) | 走路境界推定装置及び走路境界推定方法 | |
JP2016184251A (ja) | 車両監視システム、車両監視方法、及び、車両監視プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |