CN108430851B - 夜间图像显示装置及其图像处理方法 - Google Patents

夜间图像显示装置及其图像处理方法 Download PDF

Info

Publication number
CN108430851B
CN108430851B CN201680075684.9A CN201680075684A CN108430851B CN 108430851 B CN108430851 B CN 108430851B CN 201680075684 A CN201680075684 A CN 201680075684A CN 108430851 B CN108430851 B CN 108430851B
Authority
CN
China
Prior art keywords
image
light
time
gate
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680075684.9A
Other languages
English (en)
Other versions
CN108430851A (zh
Inventor
权宁满
金冠亨
池石万
尹镛喆
赵泽一
洪三悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108430851A publication Critical patent/CN108430851A/zh
Application granted granted Critical
Publication of CN108430851B publication Critical patent/CN108430851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/23
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • B60K2360/176
    • B60K2360/179
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Abstract

本发明涉及一种夜间图像输出设备,包括:拍摄单元,该拍摄单元包括用于输出光脉冲的光脉冲输出单元和用于使用由外部物体反射的光脉冲来形成多个图像的图像传感器;显示单元,该显示单元用于通过合成多个图像来输出最终图像;以及控制单元,该控制单元用于通过使用到最终图像的各个像素的多个图像的光量比的数据和与距离有关的光量比,计算被显示在最终图像的每个像素中的物体距离信息。

Description

夜间图像显示装置及其图像处理方法
技术领域
本发明涉及一种用于车辆的夜间图像显示装置,其具有改进的远距离物体的可视性。
背景技术
用于车辆的夜视装置是用于在夜间驾驶期间或在诸如下雪/下雨的恶劣天气时辅助驾驶员的装置。夜视装置还用作通过视觉数据将特定距离内的情况或状况传输给驾驶员。
然而,设置有一般传感器和发光装置或灯的夜视装置在以均匀亮度输出所有物体时存在局限性,与离车辆的距离无关,因为从远离车辆的区域反射的光量被急剧减少。
发明内容
本发明的一方面是为了提供一种夜间图像显示装置及其夜间图像处理方法,该夜间图像显示装置用于在改进远处物体的锐度时计算与距离有关的信息。
为了实现本发明的方面和其他优点,根据本发明的一个实施例的夜间图像显示装置可以包括:光脉冲输出单元,该光脉冲输出单元用于输出光脉冲;拍摄单元,该拍摄单元设置有图像传感器,该图像传感器使用由外部物体反射的光脉冲形成多个图像;显示单元,该显示单元输出通过合成多个图像而获得的最终图像;以及控制单元,该控制单元通过使用与用于最终图像的每个像素的多个图像的光量比相关联的数据和用于距离的光量比来计算与在每个像素中显示的物体有关的距离信息。
在本发明的一个实施例中,控制器可以控制光脉冲输出单元以第一时间间隔在特定时间内输出光脉冲,通过在没有输出光脉冲的暂停时段期间以第二时间间隔在第一时间内激活第一栅极来形成第一栅极图像,并且当第一栅极停用时通过在暂停时段期间以第二时间间隔在第二时间内激活第二栅极来形成第二栅极图像。第二时间可以被设置为比第一时间短,以便获取远距离区域的多个图像,从而提供更清晰的图像。
在本发明的一个实施例中,控制器可以使用由第一图案的光脉冲形成的第一图像和由第二图案的光脉冲形成的第二图像来计算用于每个像素的光量比,并且使用与距离相关的光量比相关联的数据来计算在每个像素中输出的图像的距离,从而使用多个图像来获取与在每个像素中显示的图像有关的距离信息。
在本发明的一个实施例中,该装置可以进一步包括雷达单元,以通过输出电磁波检测物体。当雷达单元检测到物体时,控制器可以激活显示单元。因此,当雷达单元检测到危险时,与其相关的图像能够被输出并且提供给用户。
发明效果
根据本发明,即使物体相对较远,能够输出清晰的最终图像,并且甚至能够将距离信息与最终图像一起输出。这可以允许用户不仅识别物体的存在,而且识别物体的更精确的位置和距离。
此外,当在车辆行驶中检测到危险时,障碍物的图像能够被显示在显示单元上,使得驾驶员能够立即识别障碍物的危险。因此,驾驶员能够立即采取措施避免危险。
附图说明
图1A是图示设置有根据本发明的一个实施例的夜间图像显示装置的车辆的一个区域的概念图。
图1B是图示根据本发明的一个实施例的夜间图像显示装置的组件的框图。
图2A是图示根据本发明的一个实施例的夜间图像显示装置的图像处理方法的流程图。
图2B是图示响应于光脉冲的输出的多个栅极的操作的概念图。
图2C是示出当光脉冲的输出时间恒定时与根据距离的光量比相关联的数据的曲线图。
图3是图示根据本发明的一个实施例的显示最终图像的方法的概念图。
图4A是图示根据本发明的另一实施例的夜间图像显示装置的图像处理方法的流程图。
图4B是图示与栅极的激活状态对应的光脉冲的输出状态的概念图。
图4C是示出当图像传感器的激活时间恒定时与根据距离的光量比相关联的数据的曲线图。
图4D是图示调整光量的控制方法,即,光脉冲输出单元的控制方法的概念图。
图5A和图5B是图示其中光量变化的图案的概念图。
图6是图示输出最终图像和距离信息的方法的概念图。
图7是图示根据本发明的另一实施例的夜间图像显示装置的组件的框图。
图8是图示根据本发明的实施例的夜间图像显示装置的控制方法的流程图。
图9A和图9B是图示图8的夜间图像显示装置的控制方法的概念图。
具体实施方式
现在将会参考附图详细地描述在此公开的示例性实施例。为了参考附图简要地描述,相同或者等效的组件可以被设置有相同或者相似的附图标记,并且其描述将不会被重复。通常,诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。在此这样的后缀的使用仅旨在有助于本说明书的描述,并且后缀本身不旨在给予任何特定的意义或者功能。在描述本公开时,如果对于有关的已知的功能或者构造的详细解释被认为是没有必要地转移本公开的要旨,则已经省略了这样的解释但是本领域的技术人员应理解。附图被用于帮助容易地理解本公开的技术思想,并且应理解本公开的思想不受附图限制。除了附图之外,本公开的构思应被解释为还延伸到任何更改、等同物以及替代。
将会理解的是,尽管在此可以使用术语第一、第二等来描述各种元件,但是这些元件不应受这些术语限制。这些术语通常仅被用于区分一个元件与另一元件。
将会理解的是,当元件被称为与另一元件“连接”时,元件能够与另一元件直接连接或者也可以存在中间元件。相比而言,当元件被称为与另一元件“直接地连接”时,不存在中间元件。
单数表示可以包括复数表示,除非根据上下文其表示明确不同的意义。
诸如“包括”或者“具有”的术语在此被使用并且应被理解它们旨在指示在本说明书中公开的数个组件、功能或者步骤的存在,并且也应理解更多或者更少的组件、功能或者步骤同样可以被利用。
图1A是图示设置有根据本发明的一个实施例的夜间图像显示装置的车辆的一个区域的概念图,并且图1B是图示根据本发明的一个实施例的夜间图像显示装置的组件的框图。根据本发明的一个实施例的夜间图像显示装置的显示单元200优选地被布置使得车辆的驾驶员能够在观看前方的同时在其上看到图像。
参考图1B,夜间图像显示装置包括用于拍摄(或捕获)图像的拍摄单元(或捕获单元)100;用于输出图像的显示单元200以及控制单元(或控制器)300。拍摄单元100包括光脉冲输出单元110和图像传感器120。当由光脉冲输出单元110产生光脉冲时,光脉冲在布置在车辆前方的物体上被反射以便到达图像传感器120。图像传感器120形成用于使用反射的入射光脉冲来检测与物体的距离的图像。
图2A是图示根据本发明的一个实施例的夜间图像显示装置的图像处理方法的流程图,并且图2B是图示响应于光脉冲的输出的多个栅极的操作的概念图。
参考图2A,光脉冲输出单元110以第一时间间隔T1输出光脉冲(S210)。光脉冲输出单元110在特定时间t内输出光脉冲(S310)。例如,具体时间可对应于约500ns,但不限于此。
在没有光脉冲输出的暂停时段期间,以第二时间间隔T2在第一时间t1内图像传感器120的第一栅极被激活(S320)。因此,具有多个像素的第一栅极图像通过由物体反射的光脉冲来获取。参考图2B,从当光脉冲的输出受到限制时的时间点开始,在第一时间t1内第一个栅极被激活。然而,本发明不限于此,并且控制器300控制图像传感器100,使得在限制光脉冲的输出之后的预定时间之后激活第一栅极。当输出光脉冲时,第一栅极被激活第一预设次数N1。
在第一栅极被激活第一预设次数(N1)之后,第二栅极被激活。在没有输出光脉冲的暂停时段期间,以第二时间间隔T2在第二时间t2内第二栅极被激活(S330)。第二时间t2比第一时间t1短。在光脉冲的输出受到限制之后,第二栅极被激活晚了第一时间t1与第二时间t2之间的时差(延迟时间),并且从当光脉冲输出被限制时的时间点到当第一和第二栅极被切换到非激活状态时的时间点的时段彼此相同。也就是说,第一和第二栅极可以检测由相同最大距离的物体反射的光脉冲,并且第二栅极在延迟时间期间不能检测由位于近距离处的物体反射的光脉冲。因此,第二个栅极能够获得远距离区域的图像。例如,当第一栅极形成用于约30m至约300m之间的环境的图像时,第二栅极形成用于在约75m至约300m之间的环境的图像。
第二栅极以第二时间间隔T2被激活了第二次数N2,并且第一次数N1和第二次数N2可以彼此相同。然而,因为在远距离图像中光脉冲的反射和到达的程度降低,所以根据光脉冲的输出状态和取决于外部环境的反射状态第二次数N2可以被设置为大于第一次数N1。
参考图2B,在第二栅极被激活第二次数N2之后,第三和第四栅极分别被激活了第三次数N3和第四次数N4。其中第三和第四栅极被激活的时间间隔与第二时间间隔T2相同。然而,在第三时间t3内第三栅极被激活,并且在第四时间t4内第四栅极被激活。第四时间t4最短,并且其以第三时间t3、第二时间t2和第一时间t1的顺序变长。基于当光脉冲的输出受到限制的时间点,将第一至第四栅极从激活状态切换到非激活状态的相对时间点相同。
然而,基于当光脉冲的输出受到限制时的时间点,首先第一个栅极被激活并且第四个栅极被最后激活。第四栅极还附加地仅形成离光脉冲输出单元110的远距离区域(例如,大约150m至大约300m)的图像。即,通过第二至第四栅极,当图像对应于远距离图像时夜间图像显示装置获得图像多次。
针对每个像素计算由多个栅极中的每一个获得的光量比(S340)。控制器300将检测到的每个栅极的光量除以激活每个栅极的次数。计算对于每个像素的第一至第四栅极中的每一个的光量比。例如,针对每个像素计算第二栅极相对于第一栅极的光量比、第三栅极相对于第二栅极的光量比以及第四栅极相对于第三栅极的光量比。
如图2C中所图示,夜间图像显示装置1000的存储器可以根据距离存储与光量比有关的数据。可替选地,当这些图像由多个栅极形成时(即,当形成多个栅极图像时),控制器可以根据离外部的距离接收与光量比有关的数据。控制器300使用该数据和光量比来计算每个像素的图像的距离(S350)。
例如,当对于一个像素第一和第二栅极的光量比对应于0.6时,对应于像素的图像的物体被计算为离夜间图像显示装置1000大约42m。可以通过使用第一和第二栅极的光量比来获得关于位于大约20m和大约75m之间的物体的图像的距离信息。然而,本发明不限于此,并且可以调整第一至第四栅极的激活时间点以获取与位于更近的物体有关的图像和距离信息,或与位于更远处的物体有关的图像和距离信息。每个栅极的光量比的计算可以由图像传感器120执行,或者可以由在图像传感器中形成图像的电路端处理。
控制器300合成多个栅极图像以形成最终图像并且控制显示单元200以输出最终图像(S360)。因此,因为通过第一至第四栅极获得位于远距离的物体的图像多次,所以即使在最终图像中也能够形成更明亮的位于远距离处的物体的图像。
另外,能够使用由多个栅极获得的图像来执行距离计算,并且因此即使在不具有用于检测距离的单独的检测传感器的情况下,也能够将与物体有关的距离信息与图像一起提供。
图3是图示根据本发明的一个实施例的显示最终图像的方法的概念图。显示单元200输出由多个栅极图像形成的最终图像510。因为获取用于远距离物体的图像比用于短距离物体的图像多,所以不论距离如何,都以均匀的亮度形成最终图像。例如,如果A是近距离物体而B是远距离物体,则A和B以基本相似的亮度形成。
控制器300可以控制显示单元200以输出与每个物体有关的距离信息511和最终图像510。例如,距离信息511可以以与每个物体相邻的文本的形式输出。控制器300计算获取从其物体的图像的像素的光量比,并且根据该数据和光量比获取与显示在像素上的图像有关的距离信息。
即,因为即使当物体位于相对较远的距离并且距离信息也与最终图像一起被输出时最终图像作为清晰图像被输出,所以用户不仅能够更准确地识别物体的存在而且识别物体的位置和距离。
图4A是图示根据本发明另一实施例的夜间图像显示装置的图像处理方法的流程图,并且图4B是图示与栅极的有效状态对应的光脉冲的输出状态的概念图。
以第一时间间隔T1在特定时间t内图像传感器210的栅极被激活(S410)。控制器300控制光脉冲输出单元220以第二时间间隔T2在第一时间t1内以其中在第一时间t1内光量逐渐变化的第一图案的方式输出光脉冲的方式输出光脉冲(S420)。参考图4B的(a),在栅极未被激活的状态下输出光脉冲,并且以第一图案输出的光脉冲逐渐减小直到光脉冲的输出受到限制。因此,当光脉冲的光量逐渐减小并且光脉冲的输出受到限制时,控制器300以激活栅极的方式控制光脉冲输出单元110和图像传感器120。
当光脉冲以第一图案输出第一次数N1时,控制器300以第二时间间隔T2在第二时间t2内以与第一图案不同的第二图案输出光脉冲(S430)。第二时间t2被设置为比第一时间t1短。从当第二图案的光脉冲的输出被限制时的时间点到当栅极被激活的时间点的时间比从当第一图案的光脉冲的输出被限制时的时间点到当栅极被激活时的时间点的时间长。因此,当输出第二图案的光脉冲时,由位于较近距离的物体反射的光脉冲不被检测到。控制器300控制光脉冲输出单元110输出光脉冲第二次数N2,并且第一次数N1和第二次数N2可以被设置为彼此相同。尽管未被图示,但是控制器300可以通过控制光脉冲输出单元220以第三图案输出光脉冲来获取附加的图像,该第三图案与第二图案相同但是在比第二时间t2短的第三时间t3内被输出。
如图4B中所图示,可以将第一图案和第二图案设置为在光量减少的比率上相同但仅在输出时间上不同。当输出第一和第二图案时,控制器300计算由栅极检测到的光脉冲的光量比(S440)。在这种情况下,控制器300将光量除以输出光脉冲的次数并且计算对于每个像素的光量比。
控制器300使用与光量比和距离有关的数据和计算的光量比来测量距离(S450)。与光量比和距离有关的数据如图4C中所图示。当光量比约为0.6时,显示在相应像素上的物体的距离对应于约50m。
图4D是图示调整光量的控制方法,即,光脉冲输出单元的控制方法的概念图。参考图4D的(a),光脉冲输出单元220可以包括多个发光装置121。控制器300可以根据时间的流逝逐渐关闭多个发光装置121中的一些以便减少光量。
同时,参考图4D的(b),光脉冲输出单元220可以同时减少多个发光装置的光量。控制器300可以通过改变施加到多个发光装置的电压/电流来同时控制所有发光装置的亮度。
然而,发光装置的数量和布置不限于附图中图示的那些。
图5A和图5B是图示其中光量变化的图案的概念图。
参考图5A的(a),控制器300离散地或不连续地减少光量。例如,在通过使用三步光量执行控制的情况下,控制器300形成第一图案,使得光脉冲以三步光量和第二图案输出,使得光脉冲以高达两步的光量输出。当那些图案完全形成时,控制器180可以控制光脉冲输出单元120以阻挡光脉冲的输出。
另一方面,参考图5B,控制器300通过调整以相同光量输出光脉冲的时间来形成第一和第二图案。
控制器300可以基于到要被拍摄的区域的距离和外部环境来设置输出光脉冲的图案。
图6是图示输出最终图像和距离信息的方法的概念图。参考图6的(a),显示单元200输出包括第一和第二物体A和B的最终图像520。控制器300分别计算到第一和第二物体A和B的距离。显示单元200使用与第一和第二物体A和B相关的距离信息以不同的颜色输出与第一和第二物体A和B对应的图像。
参考图6的(b),最终图像530可以以文本形式输出与每个物体有关的距离信息531。可替选地,控制器300可以形成与距离信息531相对应的图形图像。例如,在条形图形图像的情况下,可以输出随着距离增大而变长的图形图像。
参考图6的(c),最终图像541可以仅输出对应于部分距离的图像。当用户应用特定控制命令时控制器300可以改变部分距离的范围。
基于特定的控制命令,控制器300调节在图2A的实施例中激活每个栅极的时间,或者改变在图4的实施例中的光脉冲的输出图案。因此,用户能够选择性地仅接收对应于预期的距离范围的图像。
图7是图示根据本发明的另一实施例的夜间图像显示装置1000的组件的框图。除了雷达单元之外,根据本实施例的夜间图像显示装置1000包括与图1B中图示的组件基本相同的组件,并且因此相同的附图标记被指配给相同的组件,并且省略多余的解释。
雷达单元400输出电磁波以当车辆行驶时检测障碍物(或目标),由此提供与到障碍物的距离、朝着障碍物(或远离障碍物)移动的速度、行进方向与障碍物所在区域之间的角度等有关的信息。可以使用由雷达单元400提供的信息来控制根据本实施例的夜间图像显示装置1000。
然而,雷达单元可以不包括在夜间图像显示装置1000中。当雷达单元和夜间图像显示装置1000一起安装在车辆中时,雷达单元检测到的物体和与雷达单元有关的信息可以通过有线/无线通信被提供给夜间图像显示装置1000。
图8是图示根据本发明的实施例的夜间图像显示装置1000的控制方法的流程图,并且图9A和图9B是图示图8的夜间图像显示装置1000的控制方法的概念图。
当车辆行进时,控制器300激活雷达单元400(S510)。雷达单元400被优选地布置为与拍摄单元100相邻,或者被布置为具有与拍摄单元100相同的检测范围和拍摄范围。
当雷达单元400检测到障碍物(或目标)时,控制器300激活拍摄单元100。即,控制器300通过光脉冲输出单元110输出光脉冲并且激活图像传感器120。
另外,控制器300可以通过使用从雷达单元400接收的与障碍物相关的信息来设置用于获取图像信息的距离范围。控制器300使用距离信息输出其中检测到障碍物的距离范围的图像(S530)。在包括障碍物的图像的最终图像被输出之后,当障碍物未被雷达单元检测到时,控制器300可以控制显示单元200以被再次停用。
控制器300可以基于雷达单元400是否检测到障碍物来控制拍摄单元100和显示单元200两者,或者仅将显示单元从非激活状态切换到激活状态。
参考图9B,当在输出特定距离范围的第一图像510a的状态下雷达单元400检测到障碍物时,控制器300控制显示单元200以输出不同距离范围的第二图像510b。控制器300通过使用与雷达单元400获得的障碍物有关的信息控制光脉冲输出单元110和图像传感器120。
根据本实施例,当在车辆行驶中检测到危险时,障碍物的图像在显示单元200上被输出,并且因此驾驶员能够立即识别障碍物的危险。因此,驾驶员能够立即采取措施以避免危险。
前述的详细描述不应该在所有方面被有限地解释,并且应被理解为说明性的。本发明的范围应通过合理的解释来确定,并且因此旨在将落入等效范围内的所有变化和修改都包含在所附权利要求中。
工业实用性
本发明提供一种图像处理方法,该方法更清楚地提供相对远距离区域的图像,并且因此能够在各种相关的工业领域被利用。

Claims (16)

1.一种夜间图像显示装置,包括:
光脉冲输出单元,所述光脉冲输出单元输出光脉冲;
拍摄单元,所述拍摄单元设置有图像传感器,所述图像传感器使用由外部物体反射的光脉冲形成多个图像;
显示单元,所述显示单元输出通过合成所述多个图像而获得的最终图像;以及
控制器,所述控制器通过使用与用于所述最终图像的每个像素的所述多个图像的光量比相关联的数据和用于距离的光量比来计算与在每个像素中显示的所述物体有关的距离信息,
其中,所述控制器控制所述光脉冲输出单元以第一时间间隔在特定时间内输出光脉冲,
通过在没有输出光脉冲的暂停时段期间以第二时间间隔在第一时间内激活第一栅极来形成第一栅极图像,并且
当所述第一栅极被停用时通过在所述暂停时段期间以所述第二时间间隔在第二时间内激活第二栅极来形成第二栅极图像。
2.根据权利要求1所述的装置,
其中,所述第二时间比所述第一时间短。
3.根据权利要求2所述的装置,其中,在当所述光脉冲的输出被限制时的时间点和当所述第一栅极被停用时的时间点之间的时间差与在当所述光脉冲的输出被限制时的时间点和当所述第二栅极被停用时的时间点之间的时间差相同。
4.根据权利要求2所述的装置,其中,所述控制器激活所述第一栅极第一次数,并且然后激活所述第二栅极第二次数,并且
其中,所述控制器在将所述第一和第二栅极图像中包括的所述光量除以所述第一和第二次数之后分别计算所述光量比。
5.根据权利要求1所述的装置,其中,所述控制器通过以第一时间间隔在特定时间内激活所述图像传感器的栅极来形成图像,并且
其中,所述控制器控制所述光脉冲输出单元以第二时间间隔以第一图案输出所述光脉冲,所述第一图案被形成使得当所述栅极被停用时所述光量逐渐减小,并且在输出所述第一图案的光脉冲第一次数之后,控制所述光脉冲输出单元以不同于所述第一图案的第二图案输出所述光脉冲。
6.根据权利要求5所述的装置,其中,所述控制器通过使用由所述第一图案的光脉冲形成的第一图像和由所述第二图案的光脉冲形成的第二图像来计算用于每个像素的光量比,并且
通过使用与距离相关的光量比相关联的数据计算每个像素中输出的图像的距离。
7.根据权利要求5所述的装置,其中,所述光脉冲输出单元包括多个发光装置,并且
其中,所述控制器逐渐地切断所述多个发光装置中的一些以减少所述光量。
8.根据权利要求1所述的装置,其中,所述控制器控制所述显示单元以将所述距离信息与所述最终图像一起输出。
9.根据权利要求8所述的装置,其中,所述显示单元基于所述距离信息以不同颜色输出包括在所述最终图像中的所述图像或者输出指示所述距离信息的文本。
10.根据权利要求1所述的装置,进一步包括雷达单元,所述雷达单元通过输出电磁波来检测物体,
其中,当所述雷达单元检测到所述物体时,所述控制器激活所述显示单元。
11.根据权利要求10所述的装置,其中,当所述雷达单元检测到所述物体时,所述控制器激活所述拍摄单元,并且
其中,所述控制器基于与由所述雷达单元检测到的物体有关的距离信息来设置所述图像传感器或所述光脉冲输出单元的激活时段和激活时间。
12.根据权利要求10所述的装置,其中,当在所述显示单元上输出最终图像的同时所述雷达单元检测到所述物体时,所述控制器基于与所述物体有关的距离信息设置所述图像传感器或所述光脉冲输出的激活时段和激活时间以便输出所述物体的图像。
13.一种夜间图像处理方法,包括:
以第一时间间隔输出光脉冲;
通过以第二时间间隔在第一时间内激活第一栅极来检测所述光脉冲并且形成第一栅极图像;
通过以所述第二时间间隔在短于所述第一时间的第二时间内激活第二栅极来检测所述光脉冲并且形成第二栅极图像;
使用所述第一和第二栅极图像计算用于每个像素的光量比;
使用与所述光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离;以及
使用所述第一和第二栅极图像输出最终图像。
14.根据权利要求13所述的方法,其中,所述通过以第二时间间隔在第一时间内激活栅极来检测光脉冲并且形成第一栅极图像的步骤被重复第一次数,
其中,所述通过以第二时间间隔在短于第一时间的第二时间内激活第二栅极来检测光脉冲并且形成第二栅极图像的步骤被重复第二次数;并且
其中,所述使用与光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离的步骤包括:将所述第一栅极图像的光量除以所述第一次数并且将所述第二栅极的光量除以所述第二次数。
15.根据权利要求13所述的方法,进一步包括:在以所述第一时间间隔输出光脉冲,并且通过以所述第二时间间隔在所述第一时间内激活所述栅极来检测所述光脉冲并且形成所述第一栅极图像的步骤之前:
激活用于检测外部物体的雷达单元,
其中,当检测到所述外部物体时,执行以所述第一时间间隔输出所述光脉冲,并且通过以所述第二时间间隔在所述第一时间内激活所述栅极来检测所述光脉冲并且形成所述第一栅极图像的步骤。
16.一种夜间图像处理方法,包括:
以第一时间间隔激活图像传感器;
当所述图像传感器处于非激活状态时以第二时间间隔输出第一图案的光脉冲;
通过所述图像传感器形成第一图像;
当所述图像传感器处于非激活状态时以所述第二时间间隔输出第二图案的光脉冲;
由所述图像传感器形成第二图像;
使用所述第一图像和第二图像计算每个像素的光量比;
使用与所述光量比相关联的数据和用于距离的光量比来计算在每个像素中显示的图像的距离;以及
使用所述第一和第二图像输出最终图像,
其中,所述第一和第二图案被设置为在光脉冲输出时间上是不同的。
CN201680075684.9A 2015-12-24 2016-02-05 夜间图像显示装置及其图像处理方法 Active CN108430851B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150186740A KR102512729B1 (ko) 2015-12-24 2015-12-24 야간 영상표시 장치 및 그 영상처리 방법
KR10-2015-0186740 2015-12-24
PCT/KR2016/001346 WO2017111201A1 (ko) 2015-12-24 2016-02-05 야간 영상표시 장치 및 그 영상처리 방법

Publications (2)

Publication Number Publication Date
CN108430851A CN108430851A (zh) 2018-08-21
CN108430851B true CN108430851B (zh) 2021-03-09

Family

ID=59090621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680075684.9A Active CN108430851B (zh) 2015-12-24 2016-02-05 夜间图像显示装置及其图像处理方法

Country Status (5)

Country Link
US (1) US10830891B2 (zh)
EP (1) EP3395636B1 (zh)
KR (1) KR102512729B1 (zh)
CN (1) CN108430851B (zh)
WO (1) WO2017111201A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268697A1 (en) * 2015-12-28 2018-09-20 Tao Lin Portable wireless automotive anti-collision system and data processing method
US11560091B2 (en) 2016-06-13 2023-01-24 Lg Electronics Inc. Night vision display device
JP6555482B2 (ja) * 2016-11-01 2019-08-07 トヨタ自動車株式会社 車両走行制御装置
CN110471402A (zh) * 2018-05-09 2019-11-19 陕西外号信息技术有限公司 对能够自主移动的机器进行导引的系统和方法
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2322953A1 (en) * 2008-07-30 2011-05-18 National University Corporation Shizuoka University Distance image sensor and method for generating image signal by time-of-flight method
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN104442571A (zh) * 2014-11-26 2015-03-25 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000019705A1 (en) * 1998-09-28 2000-04-06 3Dv Systems, Ltd. Distance measurement with a camera
US6730913B2 (en) * 2002-02-21 2004-05-04 Ford Global Technologies, Llc Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
US6828544B2 (en) * 2002-06-12 2004-12-07 Ford Global Technologies, Llc Active night vision system for vehicles employing anti-blinding scheme
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP4981780B2 (ja) * 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
KR101709282B1 (ko) * 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
KR101739163B1 (ko) * 2013-02-21 2017-06-08 주식회사 만도 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치
JP2015144327A (ja) * 2014-01-31 2015-08-06 株式会社 日立産業制御ソリューションズ 撮像装置
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2322953A1 (en) * 2008-07-30 2011-05-18 National University Corporation Shizuoka University Distance image sensor and method for generating image signal by time-of-flight method
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN104442571A (zh) * 2014-11-26 2015-03-25 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法

Also Published As

Publication number Publication date
US20190011564A1 (en) 2019-01-10
EP3395636A4 (en) 2019-07-24
WO2017111201A1 (ko) 2017-06-29
CN108430851A (zh) 2018-08-21
KR102512729B1 (ko) 2023-03-22
EP3395636B1 (en) 2022-03-30
US10830891B2 (en) 2020-11-10
EP3395636A1 (en) 2018-10-31
KR20170076457A (ko) 2017-07-04

Similar Documents

Publication Publication Date Title
CN108430851B (zh) 夜间图像显示装置及其图像处理方法
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
TWI814804B (zh) 距離測量處理設備,距離測量模組,距離測量處理方法及程式
US9863775B2 (en) Vehicle localization system
US10229594B2 (en) Vehicle warning device
US9449518B2 (en) Display control device, method, and non-transitory storage medium
US10242262B2 (en) Dynamic adjustment of imaging parameters
JP2020164162A (ja) 車両状態表示システム
US9151626B1 (en) Vehicle position estimation system
US9776567B2 (en) Display control device, display device, display control method, and non-transitory storage medium
US10099609B2 (en) Machine safety dome
EP2910971A1 (en) Object recognition apparatus and object recognition method
EP3495777A3 (en) Vehicle control device mounted on a vehicle and method for controlling the vehicle
CN110723079B (zh) 车载传感器的位姿调整方法、装置、设备和介质
KR20160051462A (ko) 차량의 장애물 위치 인식 장치 및 방법
US20220011440A1 (en) Ranging device
US11971536B2 (en) Dynamic matrix filter for vehicle image sensor
KR20200101324A (ko) 자동화된 차량을 위한 가변 범위 및 프레임-레이트 레이더 작동
CN108169729A (zh) 激光雷达的视场的调整方法、介质、激光雷达系统
WO2017167246A1 (zh) 一种数据处理方法及设备、存储介质
US10354153B2 (en) Display controller, display control method, and recording medium storing program
JP5163087B2 (ja) 物体検出装置
CN104487892A (zh) 用于减小投影设备的光强的方法
JP2017016172A (ja) 走路境界推定装置及び走路境界推定方法
JP2016184251A (ja) 車両監視システム、車両監視方法、及び、車両監視プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant