CN113383280A - 用于经由雾的图像增强的弹道光调制 - Google Patents
用于经由雾的图像增强的弹道光调制 Download PDFInfo
- Publication number
- CN113383280A CN113383280A CN201980090363.XA CN201980090363A CN113383280A CN 113383280 A CN113383280 A CN 113383280A CN 201980090363 A CN201980090363 A CN 201980090363A CN 113383280 A CN113383280 A CN 113383280A
- Authority
- CN
- China
- Prior art keywords
- illumination
- light
- modulator
- image
- routine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 claims abstract description 574
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims description 115
- 230000003287 optical effect Effects 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 63
- 230000005540 biological transmission Effects 0.000 claims description 50
- 238000009826 distribution Methods 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 15
- 230000036316 preload Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 21
- 230000000875 corresponding effect Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 27
- 230000001965 increasing effect Effects 0.000 description 22
- 238000010226 confocal imaging Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000012800 visualization Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 239000002245 particle Substances 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 238000012935 Averaging Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000004313 glare Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 239000000428 dust Substances 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012634 optical imaging Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000003595 mist Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000356 contaminant Substances 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2/00—Demodulating light; Transferring the modulation of modulated light; Frequency-changing of light
- G02F2/02—Frequency-changing of light, e.g. by quantum counters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1407—General lighting circuits comprising dimming circuits
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
- F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
- F21S41/125—Coloured light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
- F21S41/14—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of light source
- F21S41/16—Laser light sources
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
- F21V14/003—Controlling the distribution of the light emitted by adjustment of elements by interposition of elements with electrically controlled variable light transmissivity, e.g. liquid crystal elements or electrochromic devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/08—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing coloured light, e.g. monochromatic; for reducing intensity of light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/14—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing polarised light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/30—Elements containing photoluminescent material distinct from or spaced from the light source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/0102—Constructional details, not otherwise provided for in this subclass
- G02F1/0105—Illuminating devices
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
- G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
- B60Q1/20—Fog lights
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
- F21W2102/00—Exterior vehicle lighting devices for illuminating purposes
- F21W2102/20—Illuminance distribution within the emitted light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/10—Light-emitting diodes [LED]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/30—Semiconductor lasers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2846—Investigating the spectrum using modulation grid; Grid spectrometers
- G01J2003/285—Hadamard transformation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Nonlinear Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Crystallography & Structural Chemistry (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Image Processing (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
一种自适应照明设备,该自适应照明包括:光源、空间光调制器和处理电路。此外,处理电路被配置为通过针对用于生成一个或更多个局部照明的照射模式图的调制信号来驱动空间光调制器;基于模式图来扫描目标对象上的一个或更多个局部照明;以及预先计算模式图,使得在位于预定距离处且没有散射介质的虚拟目标上增强一个或更多个局部照明的光强度。
Description
相关申请的交叉引用
本申请要求于2019年1月28日提交的美国临时申请No.62/797,363和2019年1月28日提交的No.62/797,366的优先权,通过引用将其全部内容并入本文。附加地,在此通过引用并入相关申请13060US01、13061US01和13062US01的全部内容。
背景技术
许多应用涉及通过散射介质(例如,雾、雨、雪、灰尘和/或污染物)传输光。例如,在道路上行驶并在交通中巡航的车辆也可能必须在这些散射介质中的一种或更多种中运行。同样,对于机场的飞机、水下交通、生物成像中的组织等,视觉可能受到介质散射处理的影响。当试图通过这些散射介质成像时,会产生若干不利影响。例如,图像由于吸收而变暗,光的严重散射导致光被散射到其他路径中而不是进入接收器或人眼,并且图像由于非均匀散射介质而产生的来自目标对象的波前失真而变得扭曲。此外,由于散射介质的强反向散射和从散射介质后面的目标对象获取的弱信号信息,图像对比度变低。例如,在驾驶员的视力受到影响并且如交通标志、路边标记、行人等目标对象更难看清的重雾、下雨或下雪的环境下,这种情况在交通中经常发生。
为了更清楚地看到标记,驾驶员经常通过打开大功率前灯(即,远光灯)来增加照度。然而,驾驶员通过使用远光灯不是观察到更清晰的交通标志,而是由于空气中的水颗粒产生的强反向散射光而在驾驶员的汽车前方看到了明亮的“墙”或眩光。这也可以称为反向散射噪声。反向散射噪声使驾驶员更加难以看清,这能够使驾驶员处于其中使驾驶员和其他人处于危险之中的危险驾驶情形。例如,随后的后果可能包括在已经很糟糕的天气条件下关闭高速公路对经济造成的冲击。由于尚未解决通过散射介质进行稳健成像的问题,这个问题也极大地影响了自主驾驶车辆的部署。
已经提出了各种方法来解决如何减少反向散射噪声的影响。例如,一种方法是时间门控检测,其目的是通过及时打开检测器接收来自目标对象的反射信号来仅检测信号信息,同时减少反向散射噪声的检测,以提高信噪比。在这种方法中,应该提前知道开启检测器的时刻,或者目标与检测器之间的距离。例如,这种方法的问题是在目标对象移动时为了获取关于目标对象与汽车(驾驶员)之间距离的准确信息所需的实时反馈信息。虽然使用同步脉冲照明来获取距离,但与激光雷达类似,在恶劣天气条件下检测器获取的信息较少,可能不足以区分目标对象。提出了通过采用雪崩光电二极管阵列滤除在雾后面的对象目标的时间统计分析方法。但是,统计噪声有时可能导致错误的正响应。另一种方法是通过采用音频噪声消除方法来降低反向散射噪声,其中引入了光学相位相反(与反向散射噪声相比pi相移)的参考光束,以破坏性地干扰反向散射噪声。因为通过已知方法测量或计算出的反向散射噪声的相位分布可能包括来自散射介质的不同层的所有分布,所以添加到参考光束上的相反相位不能充分抵消所有噪声。换言之,反向散射噪声可能已经是来自不同层的反向散射光束之间干涉的结果。此外,可能需要将反向散射噪声与检测器接收到的从目标对象反射的信号光区分开来。
光学系统中图像的质量取决于成像系统的强度(亮度)、对比度(信噪比)和分辨率。当出现恶劣天气条件时,反向散射噪声会降低对比度,散射处理会显著减少从目标对象反射的光并防止其到达检测器。此外,由于在光穿过散射介质时添加至光上的非均匀散射介质,重度散射处理可能使成像失真。通过改善经由散射介质的可视化来提高成像质量需要解决这三个问题。
本文提供的“背景技术”描述是为了概括地呈现本公开的上下文。当前被称为发明人的工作,就其在本背景技术部分中所描述的范围而言,以及在提交申请时可能不符合现有技术的描述方面,均未明示地或隐式地承认本发明的现有技术。
发明内容
根据所公开主题的各方面,一种设备包括:光源、空间光调制器和处理电路。此外,处理电路被配置为通过针对用于生成一个或更多个局部照明的照射模式图的调制信号来驱动空间光调制器;基于模式图来扫描目标对象上的一个或更多个局部照明;以及预先计算模式图,使得在位于预定距离处且没有散射介质的虚拟目标上增强一个或更多个局部照明的光强度。
上述段落是作为一般性介绍而提供的,并非旨在限制所附权利要求的范围。通过参考以下结合附图的详细描述,将最好地理解所描述的实施方式以及进一步的优点。
附图说明
当结合附图考虑时,通过参考以下详细描述,随着本公开内容的更完整理解及其许多附带优点变得更好地理解,将容易获得对本公开内容的更完整理解及其许多附带优点,在附图中:
图1例示了根据所公开主题的一个或更多个方面的示例性自适应照明成像系统;
图2A是根据所公开主题的一个或更多个方面的用于增强被散射介质模糊的图像的方法的算法流程图;
图2B是根据所公开主题的一个或更多个方面的用于确定预加载的优化入射光模式图的方法的算法流程图;
图3例示了根据所公开主题的一个或更多个方面的被配置为确定预加载的优化入射模式图的示例性实验设置;
图4例示了根据所公开主题的一个或更多个方面的自适应照明成像系统的示例性示意图;
图5A例示了根据所公开主题的一个或更多个方面在没有雾的情况下获取的目标对象的示例性图像;
图5B例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图5C例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图5D例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图5E例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图5F例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图5G例示了根据所公开主题的一个或更多个方面的目标上的示例性局部照明;
图6例示了根据所公开主题的一个或更多个方面的与在雾中“STOP”标志上的字母“O”上的局部照明相对应的图像;
图7A例示了根据所公开主题的一个或更多个方面利用正常照明在弱雾条件下获得的图像;
图7B例示了根据所公开主题的一个或更多个方面使用平均处理后的图像;
图7C例示了根据所公开主题的一个或更多个方面的使用共焦成像处理后的图像;
图8A例示了根据所公开主题的一个或更多个方面的利用正常照明在重雾条件下获得的图像;
图8B例示了根据所公开主题的一个或更多个方面的使用平均处理后的图像;
图8C例示了根据所公开主题的一个或更多个方面的使用共焦成像处理的图像;
图9A例示了根据所公开主题的一个或更多个方面的在平面波的直接照明下的图像;
图9B例示了根据所公开主题的一个或更多个方面的示例性调制技术;
图10例示了根据所公开主题的一个或更多个方面的自适应照明灯光和/或成像系统的示意图;
图11是根据所公开主题的一个或更多个方面的、用于使用灯光和/或成像进行自适应照明和/或可视化增强的技术的部分示意图;
图12A是根据所公开主题的一个或更多个方面的使用灯光和/或成像系统和/或车辆前照灯系统获取的周围环境的传输矩阵的示意图;
图12B是根据所公开主题的一个或更多个方面的从传输矩阵推导的调制模式图中的优化空间相位分布的示意图;
图12C是根据所公开主题的一个或更多个方面的与图12B中的调制模式图的强度图;
图13A是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统的操作原理的部分示意图;
图13B是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统的操作原理的部分示意图;
图14是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统的操作方法的结构化成像例程的流程图;
图15是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统的操作方法的共焦成像例程的流程图;
图16A例示了根据所公开主题的一个或更多个方面的使用灯光系统所捕获的局部照度图像;
图16B例示了根据所公开主题的一个或更多个方面的与照明分布序列中的投射照明分布中的投射照明的局部照明相对应的反射照明的局部照明;
图16C例示了根据所公开主题的一个或更多个方面的与照明分布序列中的投射照明分布中的投射照明的局部照明相对应的反射照明的局部照明;
图16D例示了根据所公开的主题的一个或更多个方面的与照明分布序列中的投射照明分布中的投射照明的局部照明相对应的反射照明的局部照明;
图17A是根据所公开主题的一个或更多个方面的使用图16A-图16D中所示的局部照明图像所创建的成像系统的视场内的对象的图像;
图17B是根据所公开主题的一个或更多个方面的在图17A中所示的图像中所描绘对象的图像;
图18是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统的操作方法的混合成像例程的流程图;
图19A是根据所公开主题的一个或更多个方面的对象在不存在散射介质的情况下的图像;
图19B是根据所公开主题的一个或更多个方面图19A中所示对象在存在散射介质的情况下优化之前的图像;
图19C是根据所公开主题的一个或更多个方面的图19A和图19B所示对象在存在散射介质的情况下优化后的混合图像;以及
图20是根据所公开主题的一个或更多个示例性方面的控制器的硬件框图。
具体实施方式
下面结合附图进行的描述旨在作为对所公开主题的各种实施方式的描述,并不一定旨在代表唯一的实施方式。在一些情况下,为了提供对所公开主题的理解,描述包括具体细节。然而,对于本领域技术人员显而易见的是,实施方式可以在没有这些具体细节的情况下实施。在一些情形下,众所周知的结构和组件可以框图形式示出以避免混淆所公开主题的概念。
在整个说明书中对“一个实施方式”或“实施方式”的引用意指结合实施方式描述的特定特征、结构、特性、操作或功能包括在所公开主题的至少一个实施方式中。因此,说明书中出现短语“在一个实施方式中”或“在实施方式中”不一定指代相同的实施方式。此外,特定特征、结构、特性、操作或功能可以在一个或更多个实施方式中以任何合适的方式组合在一起。此外,所公开主题的实施方式旨在能够并且确实涵盖所描述实施方式的修改和变型。
必须注意的是,在说明书和所附权利要求书中使用的单数形式“一”、“一种”和“该”包括复数形式,除非上下文另有明确指出。即,除非另有明确规定,否则本文所用的词语“一”和“一个”等具有“一个或更多个”的含义。此外,应当理解,在本文中可以使用的诸如“左”、“右”、“顶”、“底”、“前”、“后”、“侧”、“高度”、“长度”、“宽度”、”“上”、“下”、“内部”、“外部”、“内”、“外”等的术语仅描述参考点,并非将所公开主题的实施方式限制于任何特定的方位或构造。此外,诸如“第一”、“第二”、“第三”等的术语仅标识如本文所描述的多个部分、组件、参考点、操作和/或功能中的一个,并且同样并非将所公开主题的实施方式限于任何特定构造或方向。
现在参照附图,其中相似的附图标记贯穿若干个视图指代相同或相应的部分:
图1例示了根据所公开主题的一个或更多个方面的示例性自适应照明成像系统100(在此称为系统100)。如稍后将更详细地讨论的,可以使用系统100或其部分来实现根据所公开主题的各种实施方式的一种或更多种方法。换句话说,系统100或其部分可以执行这里描述的关于各种方法或其部分的功能或操作(包括使用存储程序的非暂时性计算机可读介质实现的那些,该程序在执行时配置或使计算机执行或促使执行所描述的方法或其部分)。
系统100可以包括光源101、处理电路102(其可以包括内部和/或外部存储器)、检测器103和调制器104。此外,上述部件例如可以彼此电连接或电气的或电的通信,如图1所示。在所公开主题的一个或更多个方面中,包括光源101、处理电路102、检测器103和调制器104的系统100可以实现为执行经由散射介质的成像的各种设备。例如,系统100可以是自主车辆的前照灯,其中前照灯可以适配雾(和/或其他散射介质)。因此,自主驾驶汽车能够在雾中和经由雾对前方道路进行更清晰成像,从而提高在散射介质中的自主驾驶能力。附加地,在另一实施方式中,系统100可以是用于经由生物组织进行实时活体成像的设备,其中系统100能够克服生理环境引起的动态散射处理。
光源101可以代表系统100中的一个或更多个光源。例如,光源101可以是车辆的前照灯。
处理电路102可以实施指令以执行或导致执行系统100的各种功能、操作、步骤或过程。换言之,处理器/处理电路102可以被配置为接收来自系统100中的一个或更多个其他组件的输出和向系统100中的一个或更多个其他组件发送指令,以操作系统100以使用弹道光调制用于在散射介质中和/或经由散射介质进行图像增强。
检测器103可以代表系统100中的一个或更多个检测器。在所公开主题的一个或更多个方面中,检测器103可以是图像捕获器。尽管可以考虑其他类型的检测器,但是成像装置、图像捕获器、检测器、接收器等在本文中可以互换使用。
调制器104可以代表系统100中的一个或更多个调制器。调制器可以是空间光调制器(SLM)。例如,调制器104可以是可以包括布置成矩阵的多个微镜的数字微镜器件(DMD)。
一般而言,在重散射介质(例如,雾、雨、雪、雨夹雪、污染放等)中和/或经由重散射介质进行成像的光学成像系统中,各种技术可以有助于提高成像质量。例如,降低接收器上的反向散射噪声以增加成像对比度,增加照在位于散射介质后面或内部目标对象上的光功率以增加亮度,以及减少由散射介质引起的失真噪声能够提高成像质量。更具体地说,将原本散射的光转换回成像系统能够增大检测器上的信号。因此,通过获取散射介质的传输矩阵来评估散射介质本身并增加前向散射以将更多能量照射在目标对象上能够显著提高可视化。可以通过计算空间光调制器上的光分布和经由散射介质的相应输出来获取传输矩阵,以减少反向散射噪声。还可以利用测量到的传输矩阵来形成扫描目标的局部照明,以放大对比度和亮度,而与正常照明相比,不同角度的扫描照明显露出了目标对象的隐藏信息。结果,能够实现高分辨率的成像。
以上方法是基于及时建立散射介质的传输矩阵。评估散射介质传输矩阵的持续时间在很大程度上取决于入射模式图中所使用的元素数量。例如,使用空间光调制器(SLM)(例如,具有60Hz帧率,16G内存计算机)作为入射通道提供器,评估传输矩阵的时间对于16×16入射通道小于3分钟,对于32×32入射通道10分钟,对于64×64通道40分钟,并且对于128×128入射通道多于8小时。减少持续时间可以通过采用快速调制器来实现,例如快速调制器是可以达到20KHz帧率的数字微镜器件(DMD)。尽管如此,仍然需要数十秒的时间来评估传输矩阵。即使采用现场可编程门阵列(FPGA),评估64×64元素的单个优化相位模式图的传输矩阵也需要花费200毫秒,更不用说实现图像处理通常需要数百或数千个优化模式图。
评估散射介质要求散射介质在处理期间保持其散射特性。换句话说,散射介质必须是静态的或具有很长的去相关时间。然而,对于现实世界应用中的散射介质(例如,雾),去相关时间通常非常短。例如,由于血液流动,生物组织的去相关时间约为50ms,而雾的去相关时间由于空气中水颗粒的快速运动而短于5ms。在所公开主题的一个或更多个方面中,提出了用于在去相关时间内评估诸如雾之类的快速散射介质的技术。例如,不是对光进行调制来控制散射光,系统可以配置为控制弹道光(即,非散射光)以增强因雾造成的严重散射而模糊的图像。在一个实施方式中,系统可以被配置为仅控制弹道光,以增强因雾造成的严重散射而模糊的图像。
图2A是根据所公开主题的一个或更多个方面的用于增强被散射介质模糊的图像的方法的算法流程图。
在S205中,处理电路102预加载与对象面上的局部照明相对应的优化入射模式图(相位/幅度)。可以在没有移动散射介质(例如,雾)的情况下在系统100内预先获取优化入射模式图。例如,可以预先计算优化入射模式图,使得在位于预定距离处并且没有散射介质的虚拟目标上增强一个或更多个局部照明的光强度。应当理解,在一个实施方式中,照射模式图(例如,优化入射模式图)可以形成一个局部照明或多个局部照明。当调制器形成多个局部照明时,优化入射模式图也形成多个相同的局部照明。因此,当调制器形成多个局部照明时,能够缩短扫描时间。“局部照明”可以指目标和/或虚拟目标上具有增强的光强度的区域(或点)。在一个方面中,局部照明的光强度在目标上被最大化。在各种优化入射模式图中,局部照明可以是单个或多个。
在S210中,处理电路102可以响应于雾在调制器104上采用预加载模式图。通常,弹道灯的局部照明的所有优化模式图可以预加载到存储器中,并且系统(例如,系统100)可以基于特定的可视化要求针对目标对象上的局部照明选择将在调制器上应用的模式图。例如,他们的系统100可以通过调制用于生成一个或更多个局部照明的照射模式图的信号来驱动空间光调制器,使得一个或更多个局部照明在目标对象上布置成矩阵。因此,系统100可以基于模式图扫描目标对象上的一个或更多个局部照明。换句话说,当雾积聚并影响可见度(例如,驾驶员和/或图像捕捉装置的视觉)时,在调制器104上采用优化模式图并且将优化模式图投射到雾中,以在目标对象上形成局部照明。尽管照明光被雾严重散射,但是局部照明将强光反射回系统100中并且可以在S215中被检测器103捕获。
在S215中,处理电路102可以获取与S210中形成的局部照明相对应的图像。局部光扫描逐点对目标对象进行照明,使得能够检测目标对象上的点。
在S220中,处理电路102可以基于检测到的局部照明来生成被照明目标对象的增强图像。例如,检测器103可以捕获目标对象的一幅或更多幅图像(例如,对应于局部照明),使得可以使用来自一幅或更多幅图像的数据生成增强图像。可以经由提高图像亮度、对比度、分辨率和整体质量的各种图像处理来生成增强图像。例如,图像处理可以包括共焦成像、结构化成像(合成孔径成像)和滤波处理。例如,在一个方面中,可以通过叠加在多组模式图(例如,如本文进一步描述的优化模式图)中的每组模式图处所捕获的图像来生成图像。另选地或附加地,在一个方面中,可以通过叠加基于来自在多组模式图中的每组模式图处所捕获的整个图像的每个部分的一个或更多个局部照明而生成的图像来生成图像。增强图像可以由系统100用于各种操作。例如,可以向车辆驾驶员显示增强图像,作为如停车标志之类的关键信息的确认。在另一实施方式中,增强图像可以由自主车辆用于识别如停车标志之类的操作信息,从而即使在雾中也保持稳健的自主操作。应当理解,S215和S220可以并行执行。例如,一旦检测器(例如,检测器103)在S215中捕获第一局部照明,就可以开始在S220中生成增强图像。
图2B是根据所公开主题的一个或更多个方面的用于确定预加载的优化入射光模式图(例如,图2A中的S205)的方法的算法流程图。
在S225中,处理电路102可以通过在调制器(例如,数字微镜器件(DMD))上照射多组模式图来测量虚拟目标上的光强度。换句话说,通过向目标对象投射经由DMD任意调制的入射光模式图,同时监视在没有雾存在的情况下从目标对象反射的相应光强度。例如,处理电路102可以被配置为响应于检测到雾的信号(例如,相机基于可见性的变化检测雾)照射为了在目标对象上产生局部照明而从存储器检索到的模式图,其中存储器存储用于虚拟目标的一组或更多组模式图。更一般地,可以在没有散射介质的情况下执行S225中的测量。然而,甚至空气也可以被认为是散射介质,因此应当理解,任何对“没有散射介质”的提及可以是指没有雾,例如,或更一般地,除空气之外没有散射介质。虚拟目标可以对应于具有以下中的一个或更多个的对象:与目标对象相同的尺寸、与目标对象相同的结构形状、与目标对象布置在相同的位置、由具有一定反射率(例如,足以被相机检测到)的物质构成。然而,应当理解,虚拟目标并非必须与目标对象相同。在一个方面中,监视可以在接收器侧(例如,图3中所示)进行。存储器可以针对一个目标距离存储一组模式图,或者存储器可以针对多个目标距离存储多组模式图。
在S230中,处理电路102可以通过求解描述检测器(例如,CCD)上的强度分布与施加在DMD上的光场分布(相位或幅度模式图)之间的关系的方程式来获取传输矩阵(TM)。TM表示一些光的输入和输出响应。例如,可以基于用于光的空间光调制器上的光场分布与由检测器测量到的虚拟目标上的光强度之间的关系来归纳TM。在一个方面中,空间光调制器上的场分布可以基于Hadamard(哈达玛)矩阵。换句话说,通过比较调制照明相位/幅度模式图和相应的强度,能够基于可以评估形成局部照明的优化相位/幅度模式图来评估描述光学系统的特性的传输矩阵。
在S235中,处理电路102可以基于获取的TM计算用于在虚拟目标上生成局部照明的每个优化DMD模式图。TM的计算是基于TM连接输入和相应输出的事实。因此,如果TM具有N个未知参数,则选择N个独立的输入并获取相应的输出,通过求解N个方程式能够获得TM。在一个实施方式中,可以使用Hadamard矩阵来确定独立输入。在我们具有系统(例如,散射介质)的TM之后,能够引入特定的输入(DMD上的相位或幅度分布),这可以在CCD上形成任何所需的输出强度分布,这可以对应于目标对象上的局部照明,例如。此外,每组模式图(例如,优化的DMD模式图)可以基于距虚拟目标的不同距离,使得当响应于雾(例如,S210)从存储器中检索模式图并在调制器上采用模式图时,其可以用于相应距离。
在S240中,处理电路102可以将计算出的DMD模式图作为预加载的优化入射模式图存储在存储器(例如,处理电路102的本地存储器、本地数据库、远程数据库等)中。在存储优化入射光模式图之后,预加载优化入射光模式图,并且处理可以结束。
此外,图2B详细说明了如何配置系统100以增强经由散射介质的图像的亮度,以将更多的光照射到目标对象上。成像的过程是对行进和捕捉的光控制。从光源(例如,前照灯)发出的光经由介质(大多数情况下是空气)、穿过光学组件(例如,透镜、反射镜、棱镜等)行进,穿透散射介质(例如,雾)同时经历严重散射。光的一些部分到达目标对象(例如,道路标志)并在目标对象的表面处被反射。反射的能量取决于目标对象的反射率。反射光经由散射介质和光学组件返回行进并到达接收器。基于光信号转换(例如,CCD上的光到电信号、眼睛上神经元中的光到电化学脉冲等),在接收器的显示器上出现目标对象的图像。
图像的亮度是视觉感知的特征(属性)。亮度定义为监视器(例如,CCD、眼睛等)上显示的图像区域的亮度测量值。图像亮度由目标对象上的照明强度、来自目标的光的反射损失、以及成像系统的聚光能力确定。除了光学系统本身的光损耗(包括光学组件的吸收、光组组件之间光学界面处的反射损耗、以及光学组件的有限的空间尺寸),强度的主要损失是由散射介质引起的散射损失。因此,对于已知的光学系统和限定的目标对象,其中目标对象的光反射率是固定的,图像的亮度取决于照射在目标上的光量(功率)。换句话说,增加照射在目标对象上的光功率是增加图像亮度的方法之一。
例如,用调制的光学相位和幅度来控制入射光的照射模式图,使入射光更加集中(即,局部化)在目标对象上,增加照射在目标对象上的弹道光,这直接导致图像亮度增加。局部光可以从倾斜角度照射目标对象,并且收集这些高空间频率能够提高图像的分辨率。如参照图2B进一步描述的,可以通过经由空间光调制器(例如,DMD)调制入射光的光学相位/幅度来实现局部照明和扫描。
图3例示了根据所公开主题的一个或更多个方面的被配置为确定预加载的优化入射模式图的示例性实验设置。实验设置106包括雾室107和光学系统108,该雾室107包括雾生成室和雾测试室。雾室107生成雾(例如,经由雾生成室),雾由风扇送入放置目标对象109(例如,两个“STOP”标志)的测试室。光学系统108可以包括光源、调制器(DMD)、投影系统、成像系统和控制系统(例如,计算机)。光源(例如,激光器、激光二极管(LD)、发光二极管(LED))被校准并照射在调制器(例如,DMD)上。调制器上显示的相位/幅度模式图由投影系统投影到雾室中,照射在目标对象109上。成像系统在接收器(例如,检测器、相机、CCD)上接收来自目标对象109的反射光。在另一实施方式中,光学系统可以用于还包括第二调制器的自适应照明成像系统(例如,系统100)中,如图4所示。
图4例示了根据所公开主题的一个或更多个方面的自适应照明成像系统111的示例性示意图。自适应照明系统111可以包括光学系统112和图像处理电路113。自适应照明系统111可以被配置为检测在如本文所述的散射介质(例如,雾115)中的目标对象114。具体而言,除了最初调制照明光的空间光调制器(例如,数字微镜器件)之外,系统111还可以包括另一调制器(例如,调制器116)。更具体地,系统111可以包括凹透镜和/或反射镜以提高空间相干性。在一个方面中,如果来自光源的光具有足够的空间相干性(例如,高于预定阈值),则凹反射镜/透镜可以是可选的,尽管凹反射镜/透镜仍可以提高空间相干性。附加地,DMD可以是调制来自光源的照明光的主调制器,而第二调制器116可以是无源或有源空间光调制器。例如,无源调制器可以是透明玻璃板、空气、或静态散射介质。可以通过获取与对象目标上的局部照明相对应的场(相位或幅度)分布,来计算无源调制器的传输矩阵。有源调制器在关闭其调制能力关闭时可以用作无源调制器。有源调制器可以用于未来调制或补偿场分布,以更好地控制场分布,其可以与第一调制器(DMD)一起使用,以增强功能性或调制程度。第二调制器可以位于从空间光调制器照射光的方向上的光路上,或者在检测器前方来自对象目标的反射光的光路上。第二调制器还可以位于从空间光调制器照射光的方向上的光路上和在检测器前方来自对象目标的反射光的光路上。
首先,在没有雾的情况下,可以建立系统的传输矩阵。通常,通过测量随机调制输入的响应,可以评估系统的传输矩阵。为了快速计算传输矩阵,可以采用从Hadamard矩阵归纳的调制输入作为独立照明来投射到系统之外。Hadamard矩阵是每行独立的矩阵,并且Hadamard矩阵可用于生成独立的输入。通常,通过Hadamard矩阵中的每行来创建调制器(例如,空间光调制器110)上的多个输入,以评估散射介质的传输矩阵。来自目标对象的反射光可以由接收器上的成像系统捕获。输入和测量到的输出可以用于评估系统的传输矩阵(参见图12A-图12C)。
图5A-图5G例示了根据所公开主题的一个或更多个方面的目标对象109的示例性图像。参照图5A-图5G中,目标对象109在空气中相距5cm放置,左目标位于在右侧的目标前方5cm处。应当理解,在一个或更多个方面中,目标对象可以相距大于或小于5cm放置。参照图5A,图像是在平面波的正常照明下获得的,没有任何调制。除了一些散斑噪声,图像系统具有足够的景深,以形成相距5cm的目标对象的图像。图5B-图5G示出了通过在调制器上采用获取的优化相位/幅度模式图所形成的目标上的局部照明。照明局限在小区域上,以增强局部照明强度,使这些小区域能够被更清晰地看到。还应该注意的是,可以用不同的照明功率或曝光时间来拍摄图5A和图5B-图5G中的图像,以避免相机像素的饱和。
在没有雾的情况下,可以使用没有调制的正常平面波照明,可以获取示出了目标对象的细节的图像,如图5A所示。然而,当出现雾时,目标对象的细节在正常照明下能够变得不那么清晰,甚至消失(参见图8A)。当在调制器上采用优化的相位/幅度模式图(即,在没有雾的情况下预评估并预加载到存储器中的)时,可以在目标对象上形成局部照明,以极大地增强在目标对象上的入射强度。虽然雾(散射介质)中的颗粒在光经由雾行进时散射入射照明和反射强度,但增强后的局部照明使得从目标对象能够反射的足够光以足够的信噪比到达检测器,以显露出局部信息来形成目标对象。
图6例示了根据所公开主题的一个或更多个方面的与雾中“STOP”标志上的字母“O”上的局部照明相对应的图像。例如,基于调制器上所采用的预加载的优化相位/幅度模式图来获得图像,并局部照明形成在目标对象上并且在目标对象上扫描。由于字母“O”的高反射率,字母“O”上的局部照明使更多的光能够穿过雾返回并以大于噪声的信噪比到达相机。在一些情况下,到达目标上其他区域的局部照明由于反射率低得多无法反射足够的光来克服经由雾返回的散射过程。
如图6所示,在目标对象(在该情况下,字母“O”)上扫描局部照明会在检测器(例如,相机、CCD等)上产生亮点,以显露出目标对象的每个部分。当通过在目标上扫描局部照明而生成的图像以一定频率依次形成时,视觉的暂留可以使人眼完全感觉到或看到字母“O”。为了显示图像的增强效果,可以应用图像处理来显露出目标对象的细节。在此进一步描述增强目标对象的细节的图像处理。
例如,通过沿着目标对象表面扫描局部照明的共聚焦成像能够提高图像的整体质量。这里描述的照明方法是评估系统的传输矩阵,获取入射模式图(光学相位和/或幅度)的优化空间分布,以在目标对象上形成局部照明,并通过改变由评估的传输矩阵得到的入射空间模式图,能够扫描目标对象上的局部光照明,同时收集被照射的局部区域的图像。
检测器上的图像是通过目标对象上的散射照明通过目标对象上的散射照明与通过扫描目标对象上的局部照明而获取的一系列图像交叠而获取的目标对象的图像。在第一示例中,该图像类似于任何正常图像,并且在第二示例中,该图像是目标对象的共焦成像。由在目标对象上的散射照明得到的关于正常光成像(即,无局部照明)的散射仅示出了具有低空间频率的目标轮廓,而通过在目标对象表面上的局部照明扫描所形成的一系列图像是目标对象区域的共焦图像。
传统上,共焦成像是用于借助于空间针孔来阻挡图像形成中的离焦光来提高微照片的光学分辨率和对比度的光学成像技术。共焦成像系统通过两种策略实现离焦抑制:a)在任何一个时间用聚焦光束照射目标对象的单个点,使得照明强度在焦平面上下迅速下降,以及b)通过在与目标对象的共轭焦平面中使用阻挡针孔光圈,使得阻挡从被照射样品中的点发出的光到达检测器。
在系统100中,通过根据散射系统的所获取的传输矩阵采用入射模式图(光学相位或幅度)的优化空间分布,可以扫描目标对象上的局部照明(例如,聚焦光束)。因此,即使系统100中没有应用阻挡针孔光圈(blocking pinhole apertures),也能够形成目标对象的共焦成像。扫描的图像不仅带来了在目标对象处的高照射角度,这带来了从目标到检测器的高空间频率以增加图像的分辨率,而且聚焦照明增加了图像的对比度。聚焦光束在光学系统处受衍射限制,这意味着没有杂散横向干涉,这也提高了图像对比度。优点为无需传统共焦成像中使用的针孔光圈的局部照明的优点在于信号强度不会因检测器针孔的要求而降低。
附加地,3D目标对象测量的传输矩阵导致具有不同景深的目标对象上的集中光(即,局部照明)。例如,处于不同深度位置(例如,如本文所描述的相距5cm)的两个平面对象。
图7A-图7C例示了根据所公开主题的一个或更多个方面的关于弱雾条件的示例性图像。
图7A例示了根据所公开主题的一个或更多个方面的利用正常照明(即,无局部照明)在弱雾条件下获得的图像。在正常照明下,可以清晰地看到前方目标对象(即,第一个“STOP”标志),而后方目标对象(即,第二个“STOP”标志)几乎没有显露出标志的轮廓。为了显露出目标对象的细节,可以应用图像处理。首先,图7B例示了通过叠加在用于生成一个或更多个局部照明的每个照射模式图处捕获的图像来进行平均。这些图像被加在一起以平滑斑点噪声。进行平均的优点在于这降低了噪声,但缺点在于没有使用局部照明来增强图像。可以看出,在进行平均之后,整个图像变得更加清晰。甚至后方目标对象也显示出轮廓的标记。虽然进行平均能够极大地提高图像的质量,但没有利用调制的局部照明的优点来增强图像,如图7C所示。局部照明的优点在于局部增加目标对象上的强度,从而增加图像的亮度。因此,提取局部被照射区域的图像,将提取的图像叠加以形成整个目标对象的图像,被称为共焦图像处理,这能够极大地提高图像的对比度。如图7C所示,共焦图像拾取两个目标对象的主要特征。
图8A-图8C例示了根据所公开主题的一个或更多个方面的关于重雾条件的示例性图像。
在重雾条件下,正常光照(图8A)由于散射严重而模糊地示出了目标对象的轮廓,并且前方目标几乎没有示出“STOP”标志中的四个字母。此外,对于后方目标对象,无法看到任何信息。进行平均处理后(图8B),前方目标对象在噪声方面改善了视觉,但仍然不能看到后方目标对象。但是,如果按顺序使用局部照明并形成整幅图像,并应用共焦图像处理(图8C),则能够看到目标对象的特征。前方目标对象的图像示出了目标对象的特征,并且后方目标对象虽然不如前方目标对象明亮但也出现了。这表明即使在重雾条件下,顺序局部照明和伴随的共焦图像处理也能够显著改善可视化。
附加地,系统100可以被配置为通过收集更高的空间频率来经由调制提高空间分辨率。
成像质量的另一种属性是其分辨率。分辨率量化了能够可视地分辨多么近的线。分辨率越高意味着可以观察到越多的图像细节。分辨率通常被称为空间分辨率,它是指区分两个独立对象的成像模态能力。低空间分辨率光学系统无法区分两个靠在一起的对象或点。
例如,分辨率可以对应于创建图像的光学成像系统的属性,而不是接收器(如CCD,也影响成像质量)的像素分辨率。一般来说,分辨率通常受光学组件尺寸的衍射效应、由于系统不完善导致的像差、最重要的是由于光在到达检测器之前两次穿过散射介质时的散射处理而导致的大气失真的影响。
根据光学信息理论,成像系统的分辨率取决于其收集高空间频率的能力,或者换句话说,收集具有高发射角的光束(射线),发射角为从目标到光轴。然后分辨率进一步由成像系统的收集能力确定。
通过按照入射空间模式图调制光学相位或幅度,能够提高散射介质内成像的分辨率。换句话说,光的入射模式图或波阵面在空间上被划分为许多像素或元素,这些像素或元素保持不同的相位或幅度值并随时间变化。在入射模式图的调制中,由于散射可以产生在目标上的大角度入射。因此,可以生成来自目标对象的具有高空间频率的大发射(反射)角并到达检测器,从而提高目标对象的图像的空间分辨率。
在传统光学成像系统中,照明通常是垂直入射或平行于光轴的平面波,而由光学成像系统收集反射光。检测器(例如,CCD)上的检测图像只能看到目标对象的固定方面。当局部照明扫描(即,共焦成像)发生时,目标对象上的照明不是传统光学成像系统中的平面波。相反,包括甚至超出图像系统的原始入瞳的、来自散射的高空间频率光束的聚焦照明所照射的任何对象点可以到达检测器,从而显露出目标对象的细节。被称为结构化成像,目标对象上的照明可以具有不同的相位调制,这导致入射角基于不同的相位调制而变化。这类似于其中同时采用具有不同照明角度的多个照明源的合成孔径成像系统。对应于不同照明角度的不同相位调制照射目标对象的不同小面,并且对应于不同照明的反射光显露出目标对象的不同部分或方面。处理在具有各种各样入射角的各种照明下所获取的全部图像能够显露出目标对象的详细信息,如图9A和图9B所示。
图9A和图9B例示了根据所公开主题的一个或更多个方面的用于强散射的示例性调制技术。例如,参照图9A,当存在其中只能检测到来自介质的反向散射背景的重散射介质时,在正常照明下(即,调制之前),不能看到散射介质后面的目标对象的信息。当用在具有各种各样入射角的不同位置处具有与局部照明相对应的不同相位调制模式图的一系列照明来代替照明时,能够看到目标对象的图像(图9B)。
在传统的合成图像处理中,无论是使用多个光源还是多个检测器,都必须确保光源或检测器的对齐,否则图像中的目标对象将因为目标在不同源或检测器下的偏移而模糊。在系统100中,利用在目标对象上的局部照明的不同调制显露出了目标在高空间频率下的信息,被收集到相同的成像系统中,因此不需要任何进一步的对准。
一般来说,来自雾的后向散射噪声与雾的入射功率成正比。这就是在重雾驾驶条件下应避免高光束前照灯的原因。否则,除了由雾中水颗粒的强烈反向散射光形成的白色墙之外,什么也看不到。这里已经描述了用于增加信(来自目标对象)噪(来自雾的反向散射)比以提高图像质量的几种方法。然而,只要使用相机在雾条件下拍摄图像,当光穿过雾时由雾散射导致的雾化噪声可能难以避免。
纹理滤波方法将应用于以聚焦在目标对象的不同区域上的入射照明所拍摄的每幅图像,该纹理滤波方法通过对雾中拍摄的图像应用滤波以去除由雾散射引起的雾霾来增强目标对象的纹理。换句话说,能够添加滤波方法,以通过比较雾化效果相同的图像中的纹理细节来去除由雾引起的雾化噪声。以此方式,将会增强目标对象的图像对比度。
如本文中所描述的,当调制光的局部照明入射在目标对象上并在目标对象上扫描时,利用每个局部照明所拍摄的图像经过共焦处理、结构化处理和滤波来处理,能够显著提高目标对象的图像质量,并且就增加亮度、增强对比度和提高分辨率而言具有更好的可视化改善。
上述特征(例如,系统/方法)可以与以下公开中的一个或更多个实施方式的一个或更多个特征组合在一起。以下公开中的一个或更多个部分/示例可以应用于上述特征(例如,系统/方法)。另选地和/或附加地,以下公开中的一个或更多个实施方式的变型可以应用于上述特征(例如,系统/方法)。以下描述提供了灯光和/或成像系统以及相关方法。
下面描述具有自适应照明和可视化增强的灯光和/或成像系统以及相关方法。作为示例,以下公开的大部分在与车辆(例如,汽车、卡车、船、飞机等)一起使用的车辆前照灯系统及相关方法的上下文中描述了灯光系统及相关方法。尽管以下公开描述了用于在各种驾驶条件下对道路和/或周围环境进行照明的车辆前照灯系统及相关方法,但是除了在此描述的那些之外的其他应用和其他实施方式也在本技术的范围内。例如,本领域普通技术人员将容易地认识到,本技术的至少一些实施方式对于车辆尾灯、光检测和测距(激光雷达)系统、交通灯、路灯、灯塔和路标以及其他应用也可以是有用的。如下文更详细描述的,根据本技术的实施方式所配置的方法和/或系统被配置为使用反射和/或反向散射到灯光和/或成像系统的照明作为反馈,以适配(例如,保持、调制、调整和/或定制)从灯光和/或成像系统投射的未来照明的照明分布图。
当存在一定大气条件(例如,雾、雨、雪、灰尘、污染物和/或其他散射介质)时,在第一方向投射的照明在包括通常与第一方向相反的第二方向的几个方向上散射,以创建反向散射噪声。这种散射减少了(i)到达对象的投射照明量和(ii)从对象反射并返回到灯光和/或成像系统的检测器的照明量。如此,在存在反向散射噪声和/或其他信号(例如,眩光)的情况下,反射信号的强度及其信噪比会大大减弱,这导致经由大气条件和/或所捕获的图像中的对象的亮度和对比度差。另外,非均匀的、重散射使得以下二者失真:在其到对象的途中的投射照明,以及在其返回灯光和/或成像系统的检测器的途中的反射照明。这导致经由大气条件和/或所捕获的图像内的对象的分辨率差。
使用传统的车辆前照灯系统作为示例,当存在重雾、雨、雪、灰尘和/或污染物时,无论近光机构和远光机构均无法提供足够的前向和/或侧向照明,因为从传统前照灯投射的照明在包括朝向驾驶员的眼睛的几个方向上散射。散射导致道路和/或周围环境的可见性随着到达道路的照明越少而越差,并且驾驶员的眼睛被来自雾、雨、雪、灰尘、污染物和/或其他驾驶条件的反向散射光刺激。另外,这些驾驶条件使从道路和/或周围环境中的对象反射后返回驾驶员眼睛的照明失真。
为了解决这个问题,很多车辆还包括雾灯。雾灯通常位于车辆的低处,并专门配置为提供平而宽的照明分布,以使在上述驾驶条件下向驾驶员眼睛的散射最小化。然而,无法调整照明的分布,并且部分照明指向其他道路使用者的眼睛。出于这个原因,在一些司法管辖区,在极有雾的驾驶条件之外使用雾灯是违法的。此外,雾灯通常作为单独的照明源提供,并且通常代替车辆的传统前照灯使用雾灯或除了车辆的传统前照灯之外使用雾灯。
许多其他传统灯光和/或成像系统使用各种其他方法来解决反向散射噪声问题。例如,许多传统灯光系统使用时间门控检测,这涉及仅在指定时间将检测器暴露于反射信号以使检测器对反向散射噪声的检测最小化。尽管这种方法增加了从对象反射的光的信噪比,但检测器仅检测弹道光。弹道光(即,光子不受阻碍地沿直线穿过散射介质行进)通常是原始投射的光信号的极小部分。因此,需要能够检测弱返回信号的专用检测器。此外,由于检测器仅在特定时间曝光,因此必须知道被照射对象与检测器之间的距离。如此,这种方法不能用于灯光系统和/或被照明对象移动的环境中。
另一传统方法是使用参考光束对反向散射噪声进行破坏性干涉。具体而言,具有与反向散射噪声的光学相位相反的光学相位(例如,相对于反向散射噪声具有π相移的光学相位)的参考光束从传统灯光系统投射以抵消反向散射噪声。然而,反向散射噪声的分布包括来自散射介质不同层的多个光学相位。如此,参考光束仅与反向散射噪声的一部分破坏性地干涉,这意味着并非所有反向散射噪声都被抵消。另外,传统灯光系统在投射参考光束之前不区分反向散射噪声和从对象反射的光。如此,参考光束可以消除全部或一部分反射光信号。
因此,本技术的实施方式在一个或更多个灯光和/或成像系统中(例如,在一个或更多个车辆前照灯中)使用自适应照明和/或可视化增强技术,以在存在散射介质或其他大气条件(例如,来自太阳或其他光源的眩光)时减少反向散射照明和/或增加对象的可见性。以此方式,本技术的实施方式避免使用其他传统解决方案(例如,使用雾灯代替传统车辆前照灯或除传统车辆前照灯之外还使用雾灯;使用时间门控检测;和/或使用参考光束)。在一些实施方式中,例如,系统使用照明源、一个或更多个检测器和控制器来选择性地使从灯光和/或成像系统(例如,从车辆前照灯系统)投射的照明适配当前大气条件(例如,存在散射介质和/或眩光)或者按照当前大气条件(例如,存在散射介质和/或眩光)定制从灯光和/或成像系统(例如,从车辆前照灯系统)投射的照明。具体而言,照明源可以根据由控制器定义的照明分布图来投射照明。检测器可以检测投射照明的反向散射和/或反射部分。至少部分地基于照明中检测到的部分,控制器能够适配(例如,保持和/或调整)照明分布图,以适配(例如,保持和/或调整)从灯光和/或成像系统投射的未来照明的一种或更多种属性。本技术的这些和其他实施方式可以附加地使用调制器来空间调制和/或更改从灯光和/或成像系统投射的照明的一种或更多种属性。
在以下描述以及图10-图19C中阐述了一些细节,以提供对本公开的各种实施方式的透彻理解。然而,描述通常与灯光和/或成像系统及相关方法相关联的公知的结构和系统的其他细节没有在下面阐述,以避免不必要地掩盖本公开的各种实施方式的描述。
图10-图19C中所示的许多细节、尺寸、角度和其他特征仅是对本公开的特定实施方式的示例。因此,在不脱离本公开的精神或范围的情况下,其他实施方式可以具有其他细节、尺寸、角度和特征。另外,本领域普通技术人员将理解,可以在没有以下描述的若干细节的情况下实践本公开的进一步实施方式。
图10例示了根据所公开主题的一个或更多个方面的自适应照明灯光和/或成像系统100(“灯光系统100”或“系统100”)的示意图。图10中的图示是在图1中的框图中描述的系统100的示例。如图所示,系统100包括与照明源101通信(例如,有线和/或无线)的控制器102、检测器103和调制器104。应当理解,图10中的控制器102对应于图1中的处理电路102,并且这些术语可以互换使用。在一些实施方式中,系统100可以包括壳体105。壳体105可用于围绕(例如,封装和/或保护)照明源101、控制器102、检测器103和/或调制器104。壳体105可以是透光材料。在这些和其他实施方式中,系统100可以包括与控制器102通信(例如,有线和/或无线)的多于一个检测器103。例如,并且如图10所示,系统100可以包括被定向为检测由照明源101投射的照明的检测器103′、和/或被定向为检测在一个或更多个方向上反射的投射照明的一部分,如下文更详细地描述。尽管为了避免不必要地掩盖本技术的实施方式的描述而没有示出,但是系统100还可以包括用于自适应照明和/或可视化增强的其他硬件和/或组件。例如,系统100可以包括软件、用于存储软件的存储器、和/或其他信号处理硬件。
根据本技术的实施方式,系统100的照明源101可以是被配置为投射和/或发射照明(例如,向道路上和/或到周围环境中)的任何照明源。例如,照明源101可以是灯泡(例如,卤素灯泡)、灯条、发光二极管(LED)、激光器、激光二极管、由LED照射的荧光材料(例如,荧光板)、照明源阵列和/或另一种类型的照明源。在图10所示的实施方式中,照明源101是激光二极管。如下文更详细地描述的,照明源101可以被配置为通过调制器104和/或远离系统100投射照明。
图10的第一检测器103和/或第二检测器103′可以是光功率检测器、成像传感器等。例如,第一检测器103和第二检测器103′可以是被配置为检测入射到第一检测器103和第二检测器103′上的光(例如,可见光、红外等)信号的光学检测器(例如,图像传感器、电荷耦合器件(CCD′s)、光电二极管、相机等)。
在这些和其他实施方式中,第一检测器103和第二检测器103′可以是被配置为检测入射的非光学(例如,声学、RF等)信号的非光学传感器。在这些和其他实施方式中,第一检测器103和第二检测器103′可以包括多个传感器。例如,第一检测器103和第二检测器103′可以包括联接至非光学传感器(例如,用于水下应用)的光学传感器。在这些实施方式中,光学传感器可以将高频和/或短波长的光学信号转换成其他类型的然后可以由非光学传感器检测的非光学信号(例如,声学信号)。这种构造能够滤除环境中存在的低频和/或长波长噪声和/或能够通过将信号转换为声学信号来保持信号完整性。
如上所述,第一检测器103和/或第二检测器103′的全部或一部分可以与照明源101一起封在壳体105中。在这些和其他实施方式中,第一检测器103和/或第二检测器103′可以位于壳体105外部的位置。例如,第一检测器103和/或第二检测器103′可以位于不同壳体105内,诸如另一灯光系统100的壳体105。在这些和其他实施方式中,在车辆前照灯照明系统100的上下文中,第一检测器103和/或第二检测器103′可以被定位为更靠近驾驶员的眼睛(例如,在车辆的挡风玻璃处或附近)。在更进一步的实施方式中,第一检测器103和/或第二检测器103′可以具有相对于照明源101不同的合适布置。例如,并且如图10所示,第二检测器103′被定位为检测由照明源101投射的照明,而不是被定位为检测从对象反射的照明。
图10中所示的调制器104可以是被配置为调制从照明源101投射的照明的幅度、相位、波长和/或其他属性的空间和/或时间调制器。例如,在一些实施方式中,调制器104是空间光调制器(SLM)(例如,液晶SLM)。例如,调制器104可以是基于幅度的调制器(诸如数字微镜器件(DMD)),其被配置为调制从照明源101投射的照明的光学幅度。在这些和其他实施方式中,DMD可以被配置为通过对DMD的像素进行编码来调制从照明源101投射的照明的光学相位。在这些和其他实施方式中,DMD可以被配置为通过对DMD的二进制像素进行编码来同时调制光学相位和光学幅度。
调制器104可以附加地(或另选地)是辐射波长调制器。在这些实施方式中,调制器104可以被配置为改变来自照明源101的照明强度。例如,调制器104可以被配置为改变来自激光器或LED照明源101的蓝色发射和/或改变来自荧光板照明源101的黄色发射。在这些和其他实施方式中,调制器104可以包括照明源101和/或反之亦然。
控制器102可以是微控制器、专用逻辑电路(例如,现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)或其他合适的处理器。在一些实施方式中,例如,控制器102可以包括(i)处理器(未示出),诸如微处理器或片上处理器,以及(ii)嵌入式存储器(未示出)。处理器可以被配置为执行存储在嵌入式存储器中的指令。嵌入式存储器可以被配置为存储用于控制照明系统100的操作的各种过程、逻辑流程和例程,包括管理照明源101、检测器103和/或调制器104之间的通信。在一些实施方式中,嵌入式存储器可以包括存储例如存储器指针、取回的数据等的存储器寄存器。嵌入式存储器可以包括用于存储微代码的只读存储器(ROM)。虽然图10所示的照明系统100包括控制器102,但在本技术的其他实施方式中,系统100可以不包括控制器,而是可以依赖于外部控制(例如,由车辆、由另一灯光系统、和/或由另一系统提供的)。
在操作中,灯光和/或成像系统100的照明源101被配置为通过调制器104和/或远离系统100发射照明。例如,照明源101可以通过调制器104并且远离系统100(例如,以对道路、对象和/或周围环境进行照明和/或沟通信息)投射照明。检测器103′可以检测以光学和/或非光学信号的形式到达检测器103′的投射照明的一部分,其可以被传送到控制器102。附加地或另选地,检测器103可以检测光学和/或非光学信号形式的反向散射和反射照明,其可以传送到控制器102。如下文更详细描述的,控制器102可以通过至少部分地基于由检测器103和/或检测器103′检测到的照明来适配(例如,保持、更新、调整、修改、更改、定制等)照明源101和/或调制器104,来适配(例如,保持、更新、调整、修改、更改、定制等)从系统100投射的未来照明的照明分布图。以这种方式,控制器102可以使用检测到的照明作为关于当前大气条件的反馈,并且能够相应地使从系统100投射的未来照明适配当前大气条件,以增强到达对象的照明量和/或增强可见性。
图11是根据所公开主题的一个或更多个方面的使用灯光和/或成像系统200(例如,图10中所示的系统100)进行自适应照明和/或可视化增强的技术的局部示意图。例如,灯光和/或成像系统200是车辆前照灯系统200。然而,如上所述,本领域普通技术人员将容易地认识到本技术的至少一些实施方式对于包括车辆尾灯、光检测和测距(激光雷达)系统、交通灯、路灯、灯塔和路标等的其他应用可以是有用的。
如图11所示,控制器102被配置为指示照明源101投射和/或调制器104传递具有期望的照明分布图的照明。在一些实施方式中,例如,控制器102可以指示照明源101投射具有一个或更多个期望的时间属性的照明。例如,控制器102可以指示照明源101连续地投射照明(例如,通过调制器104)。在其他实施方式中,控制器102可以指示照明源101以一个或更多个周期性脉冲240的系列230投射照明。在这些和其他实施方式中,控制器102可以定义一个或更多个脉冲240的持续时间232和/或可以定义相邻脉冲240的开始之间的一个或更多个时间间隔231。
附加地或另选地,控制器102可以指示调制器104对从照明源101投射的照明进行空间调制。例如,调制器104可以包括一个或更多个可编程区域或像素280,照明源101被配置为通过该可编程区域或像素280投射照明。在这些实施方式中,控制器102可以指示调制器104,以根据保存在前照灯系统200的存储器中的一个或更多个调制网格或模式图210,对区域280的一种或更多种属性进行编程(例如,设置、维护、更改、更新、调整、适配、定制等)。模式图210可以对应于一种或更多种已知的驾驶条件和/或照明的一个或更多个特定分布。因此,调制器104的每个区域280可以传递具有一种或更多种期望属性的照明。
在一些实施方式中,例如,控制器102可以指示调制器104对区域280进行编程,以传递光学幅度为期望空间分布的照明。使用图11中所示的模式图211作为示例,控制器102可以指示调制器104对区域280进行编程,使得沿着调制器104的对角线D的区域280(例如,区域282-284)传递光学幅度大的照明,而离开对角线D的区域280(例如,区域281)传递光学幅度小的照明。在一些实施方式中,光学幅度分布可以被归一化(例如,从0-1)。
在这些和其他实施方式中,控制器102可以指示调制器104对区域280进行编程,以传递光学相位为期望空间分布的照明。在一个特定示例中,控制器102可以指示调制器104对区域280进行编程,以传递相位在0和6.28弧度之间的照明。再次参考第一模式图211作为示例,控制器102可以指示调制器104,对区域281进行编程以传递具有第一光学相位的照明并且对区域283进行编程以传递具有第二光学相位(例如,不同于第一相位)的照明。
在这些和另外其他实施方式中,控制器102可以指示调制器104对区域280进行编程以传递其他属性为期望分布的照明。例如,控制器102可以指示调制器104对区域280进行编程,以传递波长为期望空间分布的照明。在这些和其他实施方式中,区域280可以被编程以传递极性为期望空间分布的照明和/或在期望方向上和/或以期望角度传递(例如,直接)照明。
一般来说,图12A例示了具有MxN维的系统的传输矩阵,其中M是调制器上的像素(元素)数量,并且N是相机(例如,CCD)上的像素(元素)数量。图12A中传输矩阵中具有M个像素的每列对应于图12B中所示的优化相位/幅度调制模式图,当显示在调制器上时,其将在目标对象上形成图12C中所示的局部照明。作为更详细的示例,图12A是根据所公开主题的一个或更多个方面的、使用灯光和/或成像系统100和/或车辆前照灯系统200(图10和图11)所获取的周围环境的传输矩阵383的示意图。如图所示,传输矩阵383具有M×N个元素,其中M是检测器103的(例如,电荷耦合器件(CCD)的)元素(例如,像素)的数量,并且N是调制器104的(例如,SLM的)元素(例如,像素)。
图12B是根据所公开主题的一个或更多个方面的从传输矩阵383推导出的调制模式图310中的优化空间相位分布的示意图。根据以上讨论,调制模式图210内的区域280可以被单独编程(例如,由控制器102),以传递具有一种或更多种期望属性(例如,一种或更多种光学相位和/或幅度)的照明。例如,图12C是与图12B所示的调制模式图310对应的强度曲线图389。如图12C所示,调制模式图310(图12B)中的区域280(图12B)可以被编程,以传递照明分布为投射照明的局部照明387的照明。如以下更详细地描述的,灯光和/或成像系统100和/或车辆前照灯系统200可以投射具有各种局部照明(例如,局部照明387)的一种或更多种模式图的照明,以捕获一幅或更多幅相对应的局部照明图像(未示出)。在一些实施方式中,局部照明图像可以组合在一起,以增强对象的可视化质量。
图13A和图13B是例示了根据所公开主题的一个或更多个方面的灯光和/或成像系统100的(例如,车辆前照灯系统200的)操作原理的局部示意图。例如,如图13A所示,根据以上讨论,照明源101被配置为通过调制器104且远离系统100发射照明440(例如,投射照明440)。在从系统100投射照明440之后,投射照明440的第一部分441在投射照明440遇到系统100前方的环境450中的颗粒(例如,雾、雨、雪、灰尘、污染物等)时朝向系统100反向散射。照明的第一部分441在本文中称为反向散射照明441或反向散射噪声,并且可以由系统100的检测器103检测和/或测量。在没有与下文更详细描述的自适应照明和/或可视化增强的情况下,由检测器103检测和/或测量的反向散射照明441的量与环境450中的颗粒的数量正相关。
照明440的第二部分442穿过环境450中的颗粒(例如,不受阻碍和/或经由前向散射)并朝向对象460。对象460可以包括,例如,检测器103′、道路、街道标志、车辆、行人、树木、动物等。在具有如图10所示的检测器103′的实施方式中,检测器103′可以检测和/或测量照明440的第二部分442。在没有下文更详细描述的自适应照明和/或可视化增强的情况下,由检测器103′检测和/或测量到的照明440的第二部分442与环境450中的颗粒数量负相关。照明440的第二部分442的一部分(未示出)被对象460吸收和/或散射,而第二部分442的其余部分443被反射回系统100。当其余部分443遇到环境450中的颗粒时,其余部分443的第一部分444朝向对象460反向散射。在具有如图10所示的附加检测器103′的实施方式中,检测器103′可以检测和/或测量其余部分443的第一部分444。在没有下文更详细描述的自适应照明和/或可视化增强的情况下,由检测器103′检测和/或测量的其余部分443的第一部分444的量与环境450中的颗粒数量正相关。
其余部分443的第二部分445穿过环境450中的颗粒(例如,不受阻碍和/或经由前向散射)。其余部分443的第二部分445在本文中被称为反射照明445并且可以被系统100的检测器103检测到。在没有下文更详细描述的自适应照明和/或可视化增强的情况下,由检测器103检测到的反射照明445的量与环境450中的颗粒数负相关。
如上所述,系统100的检测器103可以被配置为检测反向散射照明441和/或反射照明445。在具有如图10所示的检测器103′的实施方式中,检测器103′可以被配置为检测投射照明440的第二部分442和/或其余部分443的第一部分444。检测器103、103′可以被进一步配置为将反向散射照明441、反射照明445、投射照明440的第二部分442、和/或其余部分443的第一部分444转换成电信号并将电信号传送给控制器102。这可以提供多少投射照明440达到一个或更多个对象460和/或多少反射照明445返回到系统100的指示。控制器102中的信号处理硬件(未示出)可以分析从检测器103、103′接收到的电信号。例如,信号处理硬件可以将电信号转换成一个或更多个其他域或频谱和/或可以将所得变换与已知驾驶条件的特征变换进行比较。
使用重雾作为示例,信号处理硬件可以通过进行傅立叶变换将图13A所示的检测器103接收到的电信号转换到频域中。傅立叶变换将指示高度存在具有多个频率的检测到的照明,这些频率对应于被组合以创建来自雾的白色反向散射照明441的颜色。傅立叶变换还可以附加地指示存在检测到的照明,其频率对应于与从对象460反射的反射照明445对应的照明的相同和/或不同颜色。然后,控制器102可以将傅立叶变换与已知驾驶条件的特征变换进行比较,并且可以确定该变换类似于雾的高度存在的特征变换。
在一些实施方式中,除了傅立叶变换比较之外或代替傅立叶变换比较,控制器102可以使用反向散射照明441和/或反射照明445的其他参数。例如,控制器102可以计算在照明源101投射照明440之后检测器103多快检测到反向散射照明441和/或反射照明445。在这些实施方式中,来自环境450中的重雾的反向散射照明441将比来自系统100前方的白色对象460(例如,车辆、建筑物等)的反射照明445快得多地被检测器103检测到。因此,如果控制器102确定(i)傅立叶变换指示高度存在频率与白墙或眩光相对应的检测到的照明,和/或(ii)在照明源101投射照明440之后由检测器103很快检测到检测到的照明,则控制器102可以确定存在重雾。
在这些和其他实施方式中,灯光和/或成像系统100(例如,控制器102)可以从检测器103和/或检测器103′接收到的电信号获取环境450的传输矩阵(例如,图12A中所示的传输矩阵383)。在这些实施方式中,控制器102可以从传输矩阵推导出优化调制模式图210(图11)和/或模式图310(图12B)。为了减少控制器102用来确定与所获取的传输矩阵相对应的优化调制模式图210和/或310的时间量,控制器102可以使用一种或更多种优化算法,从周围环境450(例如,环境450中的散射介质)的低维传输矩阵计算高维调制模式图210和/或310。例如,检测器103、103′和/或控制器102可以获取具有少量入射通道的低维传输矩阵。控制器102可以使用预加载到灯光和/或成像系统100上的一个或更多个光学模式图来评估低维度传输矩阵。然后,控制器102可以使用低维度传输矩阵和一个或更多个优化算法(例如,奇异值分解处理算法、从低维传输矩阵的逆矩阵中去除算术误差的算法、通过监视检测器103上的反馈优化奇异值的算法、和/或使用新生成的元素增加低维传输矩阵的维数的算法等),来计算高维度调制模式图210和/或310。
基于比较、其他参数和/或优化调制模式图210和/或310,控制器102可以指示照明源101和/或调制器104适配(例如,保持、更新、更改、修改、调整等)由系统100投射的未来照明的照明分布。再次参照图11,例如,控制器102可以指示照明源101适配照明440的下一个脉冲的持续时间232(图13A)和/或在序列230中照明440的相邻脉冲之间的时间间隔231。在这些和其他实施方式中,控制器102可以指示调制器104以根据模式图210(例如、模式图211、220、221或222)以适配照明440的一种或更多种属性的空间调制。
回到重雾示例并假设灯光和/或成像系统100最初根据模式图211投射照明440,控制器102可以指示照明源101适配(例如,保持和/或更改)照明440的(例如,照明440的下一个脉冲的)时间调制。附加地或另选地,控制器102可以指示调制器104以适配(例如,保持和/或改变)照明440的空间调制。例如,控制器102可以指示调制器104根据对应于以下的优化模式图210(例如,模式图220)来对区域280进行编程:(i)存在重雾;和/或(ii)检测到的照明(即,图13A所示的反向散射照明441和/或反射照明445)的其他参数。
参照图13B,通过适配照明440的时间和/或空间调制,系统100使照明440适配环境450和/或系统100前方的对象460。例如,通过适配照明440的相位和/或幅度(例如,根据优化模式图220而不是模式图211),系统100可以增加穿过(不受阻碍和/或经由前向散射)环境450中的颗粒的照明440的第二部分442,同时减少反向散射照明441的量。反之,从对象460反射的照明440的其余部分443增加,这意味着返回到系统100的反射照明445也增加。结果,(i)可见性预期显著增强,因为照明440中的少部分被朝向系统100(例如,朝向驾驶员的眼睛)反向散射和(ii)照明440中的大部分穿过大气450中的颗粒,从而照射系统100前方的对象460。
附加地或另选地,通过适配照明440的照明分布图,预期系统100使对象460对于驾驶员更清晰和/或更明显。在一些实施方式中,例如,系统100可以通过将照明440的大部分导向对象460和/或通过调整被导向对象460的照明440的部分的一种或更多种属性,来增强对象460的可见性。例如,这可以使对象460变亮以使其更可见和/或可以降低对象上某些区域的亮度(例如,减少反射眩光)。在这些和其他实施方式中,系统100可以将照明440的少部分和/或照明440的具有不同特性的部分导向环境450中的其他区域。这预期将增强(i)对象460相对于环境450的对比度和/或(ii)对象460的可见性和/或清晰度。参照图12A-图12C并且如下文更详细地描述,例如,系统100可以用一种或更多种局部照明投射一种或更多种照明模式图以获取一幅或更多幅局部照明图像。可以组合两个或更多个局部照明图像以增强对象460的对比度、可见性和/或清晰度。
图14是例示了根据所公开主题的一个或更多个方面的操作灯光和/或成像系统100的方法的结构化成像例程570的流程图。为了举例,在车辆前照灯系统200(图11)的上下文中讨论例程570。在一些实施方式中,例程570可以至少部分地由前照灯系统200、由与前照灯系统200通信(例如,有线和/或无线)的另一装置或系统(例如,车辆)执行、和/或由前照灯系统200的操作者或用户(例如,车辆的驾驶员)执行。例如,例程570可以由图10、图11、图13A和/或图13B所示的照明源101、控制器102、检测器103、检测器103′执行和/或调制器104来执行。
可以自动和/或响应于指令来调用例程570以执行结构化成像。例如,在一些实施方式中,可以在前照灯系统200通电时(例如,当安装有前照灯系统200的车辆通电时,当车辆的前照灯通电时,等等)自动调用例程570。在这些和其他实施方式中,当检测器103和/或检测器103′检测到可见性降低(例如,由于天气、灰尘、眩光等)时,可以自动调用例程570。在这些和其他实施方式中,可以响应于驾驶员激活设置的特征选项(例如,在车辆的仪表板上、在前照灯系统200上等)而调用例程570。
当被调用时,例程570可以在块571处开始以预定义和/或发射初始照明分布图。在一些实施方式中,初始照明分布可以对应于默认调制模式图。例如,例程570可以指示前照灯系统200以发射具有一种或更多种属性的默认时间和/或空间分布的照明。在一些实施方式中,可以在前照灯系统200的制造和/或测试期间定义默认属性分布。在这些和其他实施方式中,默认属性分布可以对应于模式图序列中的特定模式图(例如,第一模式图、中间模式图、最后模式图等)(例如,保存在前照灯系统200的存储器中)。在其他实施方式中,默认属性分布可以对应于从前照灯系统200发出的最后照明分布图(例如,在前照灯系统200断电之前)。
在其他实施方式中,例程570可以被配置为执行和/或分析一个或更多个测量值,以预定义初始照明分布图。例如,例程570可以被配置为分析由前照灯系统200的检测器103检测到的照明(例如,测量环境中存在的日光量)。附加地或另选地,例程570可以被配置为分析从车辆中的其他系统或装置(例如,雨量传感器、日光传感器、温度传感器、另一前照灯系统200等)可获得的其他测量值和/或信息。根据该数据,例程570可以定义初始照明分布图。在定义初始照明分布图之后,例程570可以使用照明源101和/或前照灯系统200的调制器104发射照明分布图。
在块572,例程570检测反射和/或反向散射的照明。在一些实施方式中,例程570可以使用前照灯系统200的检测器103来检测反射和/或反向散射照明。在这些和其他实施方式中,例程570可以使用不同的检测器103(例如,安装在车辆中的另一前照灯系统200的检测器103、位于驾驶员眼睛附近的检测器103等)。在具有如图10所示的检测器103′的实施方式中,例程570可以在块572处附加地或另选地检测从照明源101投射并入射到检测器103′上的照明的一部分。这可以为灯光系统100提供(i)不受阻碍地和/或经由前向散射到达(例如,穿过散射介质到达)检测器103′的投射照明量的指示(例如,图13A和图13B所示的投射照明440的第二部分442的指示)和/或(ii)朝向检测器103′反向散射(例如,通过散射介质)的反射照明量的指示(例如,图13A和图13B中所示的其余部分443的第一部分444的指示)。检测器103、103′可以将检测到的照明转换成电信号并且可以将信号传送给前照灯系统200的控制器102。
在块573,例程570评估检测到的照度并确定优化照度分布图和相应的调制模式图210。在一些实施方式中,例程570使用前照灯系统的控制器102中的信号处理硬件评估检测到的照度200。在这些实施方式中,例程570可以将电信号转换到一个或更多个其他域或谱中,并且可以将所得的变换与已知驾驶条件的特征变换进行比较。在这些和其他实施方式中,例程570可以分析电信号的一个或更多个其他参数。例如,控制器102可以计算在照明源101投射照明440之后检测器103多快检测到反向散射照明441和/或反射照明445。在这些和其他实施方式中,例程570可以获取周围环境的传输矩阵,并且可以根据传输矩阵计算和/或推导优化调制模式图和/或计算和/或推导与传输矩阵相对应的优化调制模式图。至少部分地基于比较、一个或更多个其他参数和/或传输矩阵,例程570可以确定与当前驾驶条件相对应的优化照明分布。
在块574,例程570使用相应的调制模式图210发射优化的照明分布图。在一些实施方式中,例程570指示照明源101根据相应的调制模式图210适配(例如,保持和/或调整)投射照明的一个或更多个时间属性。例如,例程570可以指示照明源101投射连续照明或者可以指示照明源101投射照明的(例如,周期性)脉冲。在这些和其他实施方式中,例程570可以指示照明源101保持和/或调整照明的脉冲的持续时间和/或可以指示照明源保持和/或调整脉冲序列230中照明的相邻脉冲的开始之间的时间间隔。
在这些和其他实施方式中,例程570可以指示调制器104适配(例如,保持和/或调整)投射照明的空间调制。例如,例程570可以指示调制器104根据相应的调制模式图210对调制器104的一个或更多个区域280进行编程。进而,已编程的区域280可以适配投射照明的调制器104的一种或更多种属性的空间分布。在一些实施方式中,一种或更多种属性可以包括幅度、相位、波长、极性和/或其他属性,诸如方向、角度和/或局部照明。
在一些实施方式中,例程570可以指示照明源101和/或调制器104适配投射照明的一种或更多种属性以增加经由散射介质前向散射的投射照明的量。例如,例程570可以指示照明源101投射和/或调制器104传递具有更大幅度或强度(例如,功率)的照明,以增加穿过散射介质,反射离对象和/或返回到照明系统的弹道光的强度、幅度和/或量。在这些和其他实施方式中,例程570可以指示调制器104调制投射照明的光学相位和/或幅度(例如,部分)(例如,通过对调制器104中的一个或更多个区域280进行编程),以增加集中(即,局部)到对象上的前向散射照明量。通过增加经由散射介质前向散射的照明和/或弹道照明的量、幅度和/或强度,入射到对象上的照明的量和光功率增加。进而,通过散射介质的对象的亮度(例如,在监视器(例如,CCD或眼睛)上显示和/或看到的图像中的对象的亮度测量值)增加,使对象更可见。
在这些和其他实施方式中,例程570可以指示调制器104,以适配投射照明的一种或更多种属性,以减少当投射照明遇到散射介质时产生的反向散射照明的量和/或重定向当投射照明遇到散射介质时产生的反向散射照明。例如,例程570可以指示调制器104调制投射照明的光学相位和/或幅度(例如,部分),使得当投射照明遇到散射介质时,投射照明的少部分被朝向前照灯系统200反向散射和/或投射照明的大部分在远离检测器103、车辆的挡风玻璃和/或驾驶员眼睛的方向上散射。通过减少反向散射照明的量和/或通过重定向投射照明中的在没有优化的照明分布图的情况下将被反向散射的部分,从对象反射并返回到检测器103的照明的信噪比增加。进而,预期增强对象的对比度(例如,(i)对象与(ii)散射介质和/或周围环境之间的可见差异),使对象更加可见。
在这些和其他实施方式中,例程570可以指示调制器104适配投射照明的一种或更多个种属性以增加由检测器103收集的高空间频率照明的量。例如,例程570可以指示调制器104调制投射照明的(例如,一部分的)光学相位和/或幅度,使得更大量的投射照明穿过散射介质或被散射介质朝向对象散射。这可以产生相对于光轴以大角度撞击对象的更大量的投射照明,这能够生成具有相对于光轴的大反射(例如,发射)角和高空间频率的更大量的反射照明。在这些和其他实施方式中,例程570可以指示调制器104调制投射照明的(例如,一部分的)光学相位和/或幅度,使得相对于光轴以大角度反射离对象并且具有高空间频率的更大量的反射照明穿过散射介质和/或被散射介质朝向检测器103散射。进而,具有高空间频率并且被检测器103检测到的和/或收集的反射照明量可以增加。以此方式,可以增加对象的空间分辨率(例如,区分对象的两个独立分量的能力和/或能够在视觉上分辨对象的如何接近的分量),使对象更加可见和更清晰(例如,通过散射介质和/或远离另一对象)。
在块575,例程570以类似于在块572处的例程570的方式检测照明。在块576处,例程570评估检测到的照明。在一些实施方式中,例程570可以以类似于块573处的例程570的方式评估检测到的照明。
在块577,例程570确定前照灯系统200前方的环境是否已经改变或变化。例如,例程570可以将在块575和/或576处检测和/或评估的照明的傅立叶变换与(i)已知驾驶条件的特征傅立叶变换,(ii)在块572和/或573处先前检测和/或评估的照明的傅立叶变换;和/或(iii)在块574和/或575处先前检测和/或评估的照明的傅立叶变换(例如,在块574-578的先前迭代中)。在这些和其他实施方式中,例程570可以将在块571、574和/或575处和/或从其他源(例如,其他检测器103、其他传感器等)收集和/或分析的其他信息和/或参数,以确定环境是否已经改变。在这些和其他实施方式中,例程570可以通过分析所获取的周围环境的传输矩阵和/或将所获取的传输矩阵与先前获取的传输矩阵进行比较,来确定环境是否已经改变。
如果例程570确定环境已经改变(例如,前照灯系统200不再处于重雾中而是先前在块571-574的执行期间和/或在块574-578的先前迭代期间),例程570可以返回到块571,以预定义和/或发射初始照明分布图。在一些实施方式中,当例程570返回块571时,例程570可以使用在块575-577处收集和/或评估的信息,来预定义初始照明分布图。在其他实施方式中,例程570可以丢弃在返回块571之前在块575-577处收集和/或评估的信息。
另一方面,如果例程570确定环境没有改变,则例程570可以前进至块578。在块578处,例程570确定优化的照明分布图。在一些实施方式中,例程570可以以类似于以上讨论的框573处的例程的方式确定优化的照明分布图。在这些和其他实施方式中,例程570可以使用块574-578的先前迭代和/或在块573处确定的优化的照明分布图,来确定优化的照明分布图。例如,例程570可以确定可见性的一个或更多个方面(例如,清晰度、对比度、焦点、反向散射照明量、反射照明量等)是否已经相对于一个或更多个先前优化的照明分布图得到增强。在这些实施方式中,如果一个或更多个方面没有得到增强,则例程570可以恢复到先前优化的照明分布图和/或可以确定不同的优化的照明分布图(例如,通过选择不同的调制模式图210)。一旦例程570确定了优化的照明分布图,例程570可以返回到块574以类似于块574处的例程570的方式根据优化的照明分布图发射照明。
在一些实施方式中,图14所示的例程570可以连续地和/或周期性地执行。例如,例程570可以被配置为每30μs-45μs执行例程570的迭代(例如,块571-574、574-578和/或571-578)。在其他实施方式中,例程570可以被配置为每几纳秒(例如,每3-50纳秒)执行迭代。在其他实施方式中,例程570可以被配置为每几毫秒(例如,每1-50毫秒)和/或每几秒(例如,每秒、每五秒、每30秒等)执行一次完整的迭代。
虽然以特定顺序讨论和例示了例程570的步骤,但例程570不限于此。在其他实施方式中,例程570可以以不同的顺序执行步骤。在这些和其他实施方式中,例程570的任何步骤可以在例程570的任何其他步骤之前、期间和/或之后执行。此外,本领域普通技术人员将容易地认识到,例程570可以被更改并且仍然保留在本技术的这些和其他实施方式内。例如,一些实施方式中的例程570可以在执行块574、577和/或578之后终止。而且,在一些实施方式中,可以省略和/或重复图14所示的例程570的一个或更多个步骤(例如,块577)。
图15是例示了根据所公开主题的一个或更多个方面的操作灯光和/或成像系统100(例如,车辆前照灯系统200)的方法的共焦成像例程680的流程图。在一些实施方式中,例程680可以至少部分地由灯光和/或成像系统100、由与灯光和/或成像系统100通信(例如,有线和/或无线)的另一装置或系统执行、和/或由灯光和/或成像系统100的操作员或用户执行。例如,例程680可以由图10、图11、图13A和/或图13B所示的照明源101、控制器102、检测器103、检测器103′和/或调制器104执行。
可以自动地和/或响应于指令来调用例程680以执行共焦成像。在一些实施方式中,例如,可以在灯光和/或成像系统100通电时自动调用例程680。在这些和其他实施方式中,当检测器103和/或检测器103′检测到可见性降低(例如,由于天气、灰尘、眩光等)时,可以自动调用例程680。在这些和其他实施方式中,可以响应于操作者激活灯光和/或成像系统100上的和/或与灯光和/或成像系统100通信的另一装置或系统上的设置特征选项,而调用例程680。
当被调用时,例程680可以在块681处开始以定义一系列照明分布图。在一些实施方式中,照明分布图的序列可以是在灯光和/或成像系统100的制造和/或测试期间定义的一个或更多个照明分布图的默认序列。例如,照明分布图的序列可以对应于预加载到灯光和/或成像系统100中的一个或更多个调制模式图的默认序列(例如,图12B中所示的调制模式图310)。在这些和其他实施方式中,默认序列可以沿着灯光和/或成像系统100的视场的全部或子集扫描。在这些和其他实施方式中,例程680可以选择和/或定制一个或更多个调制模式图,使得从灯光系统投射的照明具有选择的和/或期望的序列的投射照明的一个或更多个局部照明(例如,图12C中所示的局部照明387)。在这些和其他实施方式中,例程680可以被配置为执行和/或分析一个或更多个测量值以定义照明分布图的序列。例如,例程680可以被配置为分析由灯光和/或成像系统100的检测器103和检测器103′检测到的照明(例如,识别灯光和/或成像系统100的视场内的对象),以测量环境中存在的日光量,确定存在的散射介质的类型和/或量,获取和/或评估周围环境的和/或散射介质的传输矩阵等。)。附加地或另选地,例程680可以被配置为分析从其他系统或装置(例如,雨传感器、日光传感器、温度传感器、另一照明系统100等)可得的其他测量值和/或信息。根据该数据,例程680可以定义照明分布图的序列(例如,沿着在灯光系统100的视场内识别的对象的表面进行扫描)。
在块682,例程680发射照明分布图序列中的初始照明分布图。在一些实施方式中,例程680指示照明源101根据初始照明分布图投射具有一种或更多种时间属性的照明。例如,例程680可以指示照明源101投射连续照明或者可以指示照明源101投射照明的(例如,周期性的)脉冲。在这些和其他实施方式中,例程680可以指示照明源101投射照明达指定持续时间和/或投射照明的脉冲之间具有指定时间间隔的照明。
在这些和其他实施方式中,例程680可以指示调制器104根据与初始照明分布图相对应的调制模式图210(例如,图12B中所示的调制模式图310)对调制器104的一个或更多个区域280进行编程。进而,编程后的区域280可以调制投射照明的一种或更多种属性的空间分布,使得投射照明具有一个或更多个局部照明(例如,图12C中所示的局部照明387)并且用照明的聚焦光束对照明系统100的视场内的指定位置(例如,识别出的对象的指定部分)。在一些实施方式中,一个或更多个属性可以包括幅度、相位、波长、极性和/或其他属性,例如方向和/或角度。
在块683,例程680检测反射照明并捕获与初始照明分布图相对应的局部照明图像。因为初始照明分布图包括投射照明的一个或更多个局部照明(例如,一个或更多个聚焦光束),所以从对象反射的和/或朝向灯光和/或成像系统100的检测器103的照明反射回来的照明分布图包括反射照明的一个或更多个相应的局部照明。例如,图16A是根据所公开主题的一个或更多个方面使用照明系统100所捕获的局部照明图像791。如图所示,局部照明图像791包括反射照明的局部照明701,其可以容易地被例程680检测到和/或识别出。也就是说,局部照明图像791包括比在点701周围的位置处反射照明强度大很多的点701。这允许例程680在不使用其他常规共焦灯光和/或成像系统中常见的针孔光圈的情况下捕获局部照明图像。
在块684,例程680发射照明分布图序列中的下一个照明分布图。在一些实施方式中,例程680可以以类似于块682处的例程680的方式发射下一个照明分布图。在块685,例程680检测反射照明并捕获与下一个照明分布图相对应的局部照明图像。在一些实施方式中,例程680以类似于块685处的例程680的方式检测反射照明和/或捕获与下一照明分布图相对应的局部照明图像。
在一些实施方式中,例程680可以返回到块684和685以(i)发射照明分布图序列中的下一照明分布图,以及(ii)检测反射照明和/或捕获相应的局部照明图像。例如,图16B-图16D是在返回到块684和685之后由例程680捕获的对象的局部照明图像792-794。具体而言,局部照明图像792-794是使用照明分布图序列中在用于捕获图16A中所示的局部照明图像791的照明分布图之后发生的三个相应照明分布图而捕获的。局部照明图像792-794中的每一个具有反射照明的相应局部照明702-704。反射照明的局部照明702-704对应于照明分布图序列中的投射照明分布图中的投射照明的局部照明。参照图16A-图16D中,局部照明702-704被定位为在各自的局部照明图像792-794内比局部照明图像791中的局部照明701更靠右。类似地,局部照明703和704被定位为比在各自的局部照明图像791和792内的局部照明701和702在各自的局部照明图像793和794内更靠右。局部照明704也被定位为比在各自的局部照明图像791-793内的局部照明701-703在局部照明图像794内更靠右。换言之,例程680可以返回到块684和685,以(i)使用投射照明的各种局部照明横跨照明系统100的视场范围(例如,视场范围内的对象的表面)进行扫描(例如,询问点);以及(ii)检测相应的反射照明和/或捕获相应的局部照明图像。
例程680可以继续返回到块684和685,直到例程680(i)发射照明分布图序列中的最后一个照明分布图。附加地或另选地,如下文更详细地讨论的,例程680可以前进至块686以组合所捕获的局部照明图像。例如,例程680可以在返回到块684之前、期间和/或之后前进至块686,以发射照明分布图序列中的下一个照明分布图。
在块686,例程680可以可选地包括组合两个或更多个所捕获的局部照明图像。例如,图17A是分别使用图16A-图16D中所示的局部照明图像791-794所创建的成像系统100的视场内的对象的图像815。具体而言,例程680可以通过交叠局部照明图像791-794来创建图像815。如图所示,与任何局部照明图像791-794单独相比,图像815提供了对对象的更清晰的描绘。此外,在图像815中与局部照明图像中的局部照明701-704相对应的位置处对对象的描绘比在图像815中的其他位置处对对象的描绘更清晰(例如,在这些位置处对对象的描绘更亮、具有更大的对比度、具有更大的分辨率等)。在该实施方式和其他实施方式中,例程680可以通过将(例如,噪声)两个或更多个局部照明图像进行平均,来组合两个或更多个所捕获的局部照明图像在一起。如上所述,组合所捕获的局部照明图像(在块686)是在例程680的一些实现中并非必需的可选步骤。
由于例程680组合了更多数量的局部照明图像(例如,随着捕获更多局部照明图像),成像系统100的视场内的对象的描绘变得更加清晰。例如,图17B是图17A中所示的图像815中描绘的但是通过交叠具有反射照明的不同局部照明的多于1000幅局部照明图像而创建的对象的图像820。如图所示,图像820内对象的对比度、分辨率和可见性分别远大于图16A-16D所示的局部照明图像791-794中以及在图17A中所示的组合图像815中对象的对比度、分辨率和可见性。这是因为例程680通过使用投射照明的局部照明来横跨对象表面和/或照明系统100的视场进行扫描,能够检测(例如,收集)和/或捕获相对于光轴以大角度反射离开对象的具有高空间频率的反射照明。另外,因为投射照明包括一个或更多个局部照明,投射照明在检测器103处受衍射限制,意味着没有杂散横向干涉。结果,增强了对象的图像对比度。此外,例程680能够在各种深度的多个对象之间进行区分。
虽然以特定顺序被讨论和例示了例程680的步骤,但是例程680不限于此。在其他实施方式中,例程680可以以不同的顺序执行步骤。在这些和其他实施方式中,例程680的任何步骤可以在例程680的任何其他步骤之前、期间和/或之后执行。此外,本领域普通技术人员将容易地认识到,例程680可以被更改并且仍然留在本技术的这些和其他实施方式内。例如,在一些实施方式中的例程680可以在执行块682、683、684、685和/或686之后终止。此外,在一些实施方式中,可以省略和/或重复图15中所示的例程680的一个或更多个步骤。
图18是例示了根据本技术的实施方式的操作灯光和/或成像系统100(例如,车辆前照灯系统200)的方法的混合成像例程930的流程图。在一些实施方式中,例程930可以至少部分地由灯光和/或成像系统100、由与灯光和/或成像系统100通信(例如,有线和/或无线)的另一装置或系统、和/或由灯光和/或成像系统100的操作员或用户执行。例如,例程930可以由图10、图11、图13A和/或图13B所示的照明源101、控制器102、检测器103、检测器103′和/或调制器104。
可以自动地和/或响应于指令调用例程930以执行混合成像。在一些实施方式中,例如,可以在灯光和/或成像系统100通电时自动调用例程930。在这些和其他实施方式中,当检测器103和/或检测器103′检测到可见性减小(例如,由于天气、灰尘、眩光等)时,可以自动调用例程930。在这些和其他实施方式中,可以响应于操作者或用户激活灯光和/或成像系统100和/或与灯光和/或成像系统100通信的另一装置或系统上的设置特征选项而调用例程930。
当被调用时,例程930可以在块931处开始以确定和发射初始照明分布图并检测反射照明和/或反向散射照明。在一些实施方式中,例程930可以以与以上参照图14讨论的块571、572和/或573处的例程570相似的方式,确定并发射初始照明分布图和/或可以检测反射和/或反向散射的照明。
在块932,例程930确定优化的照明分布图并获取相应的调制模式图210。在一些实施方式中,例程930可以确定优化的照明分布图和/或可以以与以上参照图14讨论的块573处的例程570类似的方式获取相应的调制模式图210。
在块933,例程930使用相应的调制模式图210发射优化的照明分布图。在一些实施方式中,例程930可以以与以上参照图14讨论的块574处的例程570相似的方式使用相应的调制模式图210发射优化的照明分布图。例如,例程930可以使用照明源101和/或调制器104来调制由照明系统100投射的照明的一种或更多种属性,以(i)增加朝向对象前向散射的投射照明,(ii)减少朝向照明系统(例如朝向检测器103)反向散射的投射照明的量和/或重定向朝向照明系统(例如朝向检测器103)反向散射的投射照明;和/或(iii)增加量检测器103收集的高空间频率照明。
在块934,例程930执行周围环境的结构化照明和/或成像。在一些实施方式中,例程930可以以与以上参照图14讨论的块575-578和/或571-578处的例程570类似的方式执行周围环境的结构化成像。在这些和其他实施方式中,例程930执行周围环境的结构化成像以捕获周围环境的弹道光图像。在这些和其他实施方式中,例程930可以将周围环境的两个或更多个弹道光图像一起进行平均(例如,如果环境在图14所示的例程570的块577处没有改变),以增加由检测器103检测的反射照明的信噪比。以这种方式,例程930可以增加周围环境(例如,经由散射介质)(例如,其中的对象)的亮度和图像对比度。
附加地或另选地,例程930执行周围环境和/或一个或更多个对象的共焦成像。例如,例程930可以在例程930执行周围环境的结构化成像(在块934处)之前和/或之后同时或顺序地执行共焦成像。在例程930在执行结构化成像(在块934)之后和/或同时执行共焦成像的实施方式中,例程930可以使用所获取的周围环境的(例如,散射介质的)的传输矩阵、优化照明分布、和/或相应的调制模式图210,来执行共焦成像。在一些实施方式中,例程930可以以与以上参照图15讨论的块681-686处的例程680类似的方式执行共焦成像。
在块936,例程930执行周围环境和/或多个对象之一的混合成像。在一些实施方式中,例程930通过组合以下来执行周围环境的混合成像:(i)在例程930在块934处执行周围环境的结构化成像的同时由例程930捕获的周围环境的一个或更多个弹道光图像;以及(ii)在例程930在块935处执行对周围环境的和/或一个或更多个对象的共焦成像分析的同时,由例程930捕获的一个或更多个局部照明图像。例如,例程930可以通过将弹道光图像与局部照明图像进行平均,将一个或更多个弹道光与一个或更多个局部照明图像组合在一起。在这些和其他实施方式中,例程930可以通过将共焦图像交叠到弹道光图像上,将一个或更多个弹道光图像与一个或更多个局部照明图像组合在一起。在这些和其他实施方式中,例程930可以通过(i)将弹道光图像一起进行平均;以及(ii)将共焦图像交叠到平均后的弹道光图像上,将一个或更多个弹道光图像与一个或更多个局部照明图像组合在一起。
为了示例,提供图19A-图19C以例示本技术的若干实施方式的和例程930的效果。例如,图19A是不存在散射介质且使用灯光和/或成像系统100所捕获的对象的图像1040。图19B是在存在散射介质的情况下并使用灯光和/或成像系统100所捕获的优化之前的图19A中所示的图像1050。图19C是在存在散射介质的情况下并使用灯光和/或成像系统100所捕获的优化之后的图19A和图19B中所示的对象的混合图像1060。图19A到图19C也分别示出了图像1040、1050和1060的放大部分1041、1051和1061,以分别更容易地观察部分1045、1055和1065。
参照图19A,图像1040的部分1045和放大部分1041的部分包括垂直线。如图所示,在没有散射介质的情况下,垂直线略微可见,并且可以与对象的其他特征区分开来。在本示例中,垂直线的对比度(SNR)为1.98,并且分辨率为20p/mm。
参照图19B,当存在散射介质时,图像1050的部分1055和放大部分1051中的垂直线出现失真并且与图19A所示的部分1045中的垂直线相比更难以与对象的其他特征区分开来。具体而言,图像1050中的垂直线具有0.25的对比度(SNR)和1.4p/mm的分辨率,这两者都远比图19A中所示的图像1040中的垂直线更差。图像1050的放大部分1051中的垂直线的亮度是6,385。这是由于(至少部分地)当从灯光和/或成像系统100投射的照明被散射介质朝向灯光和/或成像系统100的检测器103散射时产生的反向散射噪声的存在增大。
参照图19C,在灯光和/或成像系统100采用对象的混合成像(例如,与共焦成像组合的结构化成像)之后,图像1060的部分1065中垂直线的亮度、对比度和分辨率与图19B所示的图像1050中的垂直线和图19A中所示的图像1040中的垂直线二者相比,图像1060的部分1065中的垂直线的亮度、对比度和分辨率得到增强。具体而言,优化之后图像1060中垂直线的亮度已经增加到了84800。类似地,优化之后的图像1060中垂直线的对比度已经增强了2.08,并且优化之后图像1060中垂直线的分辨率已经增强到了14p/mm。
以此方式,例程930能够(i)增强灯光和/或成像系统100周围的环境(例如,其中的对象)的照明和/或(ii)增强周围环境内对象的可见性和/或清晰度。这是通过(a)周围环境的结构化成像和/或(b)周围环境和/或周围环境内的对象的共焦成像来实现的。更具体地,例程930通过(i)增加经由周围环境中的散射介质前向散射的投射照明的量;(ii)减少被散射介质朝向检测器103反向散射的噪声和/或照明的量和/或重定向被散射介质朝向检测器103反向散射的噪声和/或照明;(iii)增加由检测器103收集的高空间频率照明的量;和/或(iv)利用投射照明的一个或更多个局部照明对周围环境的全部或子集进行照明(例如,扫描)。
虽然以特定顺序讨论和例示了例程930的步骤,但是例程930不限于此。在其他实施方式中,例程930可以以不同的顺序执行步骤。在这些和其他实施方式中,可以在例程930的任何其他步骤之前、期间和/或之后执行例程930的任何步骤。此外,本领域普通技术人员将容易地认识到,例程930可以被更改并且仍然留在本技术的这些和其他实施方式内。例如,在一些实施方式中的例程930可以在执行例程930的块931-936中的任一个之后终止。而且,在一些实施方式中可以省略和/或重复图18所示的例程930的一个或更多个步骤。
虽然为了避免不必要地掩盖本技术的实施方式的描述而未示出,但是以上在图10-图19C中描述的前述系统和方法中的任一个可以包括和/或由计算装置(例如,包括控制器102)执行,该计算装置被配置为引导和/或布置系统的组件和/或接收、布置、存储、分析和/或以其他方式处理例如从机器和/或系统的其他组件接收的数据。如此,这种计算装置包括执行这些任务所需的硬件和相应的计算机可执行指令。更具体地,根据本技术的实施方式所配置的计算装置可以包括处理器、存储装置、输入/输出装置、一个或更多个传感器和/或任何其他合适的子系统和/或组件(例如,显示器、扬声器、通讯模块等)。存储装置可以包括被配置为保留信息并提供对所保留信息的访问的存储组件的网络或一组电路。例如,存储装置可以包括易失性和/或非易失性存储器。作为更具体的示例,存储装置可以包括随机存取存储器(RAM)、磁盘或磁带和/或闪存。
计算装置还可以包括计算机可读介质(例如,存储装置、磁盘驱动器和/或仅排除瞬态、传播信号本身之外的其他存储介质),该计算机可读介质包括存储在其上的计算机可执行指令,当由处理器和/或计算装置执行该指令时,使系统执行如以上参照图10-图19详细描述的自适应照明和/或可视化增强。此外,处理器可以被配置用于执行或以其他方式控制与本文描述的方法相关联的步骤、计算、分析和任何其他功能。
在一些实施方式中,存储装置可以存储用于存储由系统收集的数据以及用于指导和/或调整系统组件的数据的一个或更多个数据库。在一个实施方式中,例如,数据库是由本公开的受让人设计的HTML文件。然而,在其他实施方式中,数据存储在其他类型的数据库或数据文件中。
本领域普通技术人员将理解,系统的各个组件(例如,计算装置)可以进一步划分为子组件,或者可以组合和集成系统的各个组件和功能。另外,这些组件可以经由有线和/或无线通信以及通过存储介质中包含的信息进行通信。
以上对本技术实施方式的详细描述并非旨在穷举或将本技术限制为以上公开的精确形式。尽管以上出于示例性目的描述了该技术的特定实施方式和示例,但是如相关领域的技术人员将认识到的,在本技术的范围内可以有各种等同修改。例如,除了这里描述的内容之外的其他应用和其他实施方式也在本技术的范围内。在车辆尾灯系统的上下文中,本文描述的实施方式的各个方面和组件对于增加在不良驾驶条件下到达尾随驾驶员和/或车辆的照明量也是有用的。这可以增加安装了尾灯系统的车辆的可见性,这可以降低发生事故(例如,碰撞)的可能性。相同的原理应用于交通灯、路灯、灯塔和道路标志灯光和/或成像系统。此外,虽然以上按给定顺序呈现了步骤,但替代实施方式可以以不同的顺序执行步骤。还可以组合本文描述的各种实施方式以提供进一步的实施方式。
从上文将理解,在此已经出于例示的目的描述了本技术的具体实施方式,但并未详细示出或描述公知的结构和功能,以避免不必要的掩盖技术的实施方式的描述。在上下文允许的情况下,单数或复数术语还可以分别包括复数或单数术语。此外,在引用两个或更多项目的列表时,除非术语“或”被明确限制为仅指排除其他项目的单个项目,否则在此类列表中使用“或”应被解释为包括(a)列表中的任何单个项目,(b)列表中的所有项目,或(c)列表中项目的任何组合。此外,术语“包括”、“包含”、“具有”和“带有”自始至终用于表示至少包括所列举的特征,使得不排除任何更多数量的相同特征和/或附加类型的其他特征。
从上文将理解,在不脱离本公开或技术的情况下可以进行各种修改。例如,本领域普通技术人员将理解,可以将技术的各个组成部分进一步划分为子组件或者可以将技术的各个组件和功能进行组合和集成。此外,在特定实施方式的上下文中描述的技术的一些方面也可以在其他实施方式中组合或消除。此外,虽然已经在与本技术的某些实施方式的上下文中描述了与本技术的某些实施方式相关联的优点,但其他实施方式也可以展现出这样的优点,并且并非所有实施方式需要必须展现出落入本技术的范围内的这样的优点。因此,本公开和相关技术能够涵盖本文未明确示出或描述的其他实施方式。
在图2A、图2B、图14、图15和图18的以上描述中,如本领域技术人员将理解的,流程图中的任何过程、描述或块可以被理解为表示模块、段或部分代码,其包括用于实现过程中的特定逻辑功能或步骤的一个或更多个可执行指令,并且替代实现包括在本进展的示例性实施方式的范围内,其中依据所涉及的功能性,可以从所示或讨论的顺序乱序执行功能,包括基本上同时或以相反的顺序。在此描述的各种元件、特征和过程可以彼此独立地使用,或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。
接下来,参照图20描述根据示例性实施方式的计算机/装置(诸如,控制器和/或处理电路102)的硬件描述。本文描述的硬件描述也可以是处理电路的硬件描述。在图20中,处理电路102包括CPU 2000,该CPU 2000执行以上/以下描述的过程中的一个或更多个。过程数据和指令可以存储在存储器2002中。这些过程和指令也可以存储在诸如硬盘驱动器(HDD)或便携式存储介质之类的存储介质盘2004上,或者可以远程存储这些过程和指令。此外,要求保护的进步不受其上存储所发明过程的指令的计算机可读介质的形式的限制。例如,指令可以存储在CD、DVD、闪存、RAM、ROM、PROM、EPROM、EEPROM、硬盘或处理电路102与之通信的任何其他信息处理装置中,例如服务器或计算机。
此外,所要求保护的进步可以被提供为与CPU 2000和诸如Microsoft Windows、UNIX、Solaris、LINUX、Apple MAC-OS和本领域技术人员已知的其他系统之类的操作系统一起执行的实用程序、后台程序或操作系统的组件或其组合。
实现处理电路102的硬件元件可以由各种电路元件来实现。此外,上述实施方式的每个功能可以由包括一个或更多个处理电路的电路来实现。处理电路包括特定编程的处理器(例如,处理器(CPU)2000),如图20所示。处理电路还包括诸如专用集成电路(ASIC)之类的装置和被布置为执行所记载的功能的常规电路组件的装置。
在图20中,处理电路102包括执行上述处理的CPU 2000。处理电路102可以是通用计算机或特定的专用机器。在一个实施方式中,当处理器2000被编程为使用用于经由雾的图像增强的弹道光调制时,处理电路102变成特定的专用机器(并且具体而言,参照图2A、图2B、图14、图15和图18讨论的任何过程)。
另选地或附加地,如本领域普通技术人员将认识到的,CPU 2000可以实现在FPGA、ASIC、PLD上或使用分立逻辑电路。此外,CPU 2000可以被实现为并行地协同工作的多个处理器以执行上述本发明过程的指令。
图20中的处理电路102还包括网络控制器2006,诸如如来自美国的IntelCorporation的Intel Ethernet PRO网络接口卡,用于与网络2028接口。如可以理解的,网络2028可以是诸如互联网的公共网络,或诸如LAN或WAN网络的专用网络,或其任意组合,并且还可以包括PSTN或ISDN子网。网络2028也可以是有线的,诸如以太网,或者可以是无线的,诸如包括EDGE、3G和4G无线蜂窝系统的蜂窝网络。无线网络还可以是Wi-Fi、蓝牙或任何其他已知的无线通信形式。
处理电路102还包括显示控制器2008,诸如用于与显示器2010(诸如,监视器)接口的图形卡或图形适配器。通用I/O接口2012与键盘和/或鼠标2014以及在显示器2010上或与显示器2010分离的触摸屏面板2016接口。通用I/O接口还连接到包括打印机和扫描仪的各种外设2018。
还在处理电路102中提供声音控制器2020,以与扬声器/麦克风2022接口从而提供声音和/或音乐。
通用存储控制器2024将存储介质盘2004与用于将处理电路102的全部组件互连的通信总线2026相连,通信总线2026可以是ISA、EISA、VESA、PCI等。为了简洁,在本文中省略了显示器2010、键盘和/或鼠标2014以及显示器控制器2008、存储控制器2024、网络控制器2006、声音控制器2020和通用I/O接口2012的一般特征和功能的描述,因为这些特征是已知的。
在本公开的上下文中描述的示例性电路元件可以用与本文提供的示例不同的其他元件和结构代替。此外,被配置为执行本文所描述的特征的电路可以在多个电路单元(例如,芯片)中实现,或者特征可以组合在单个芯片集上的电路中。
本文描述的功能和特征也可以由系统的各种分布式组件来执行。例如,一个或更多个处理器可以执行这些系统功能,其中处理器分布在网络中通信的多个组件上。除了各种人机接口和通信装置(例如,显示监视器、智能电话、平板电脑、个人数字助理(PDA))之外,分布式组件还可以包括可以共享处理的一个或更多个客户端和服务器机器。网络可以是私有网络,诸如LAN或WAN,或者可以是公共网络,诸如因特网。系统的输入可以经由直接用户输入来接收,并实时地或作为批处理远程地接收。此外,一些实现可以在与所描述的模块或硬件不同的模块或硬件上执行。因此,其他实现方式在可以要求保护的范围内。
现在已经描述了所公开主题的实施方式,对于本领域技术人员来说显而易见的是,前述仅是示例性的而非限制性的,仅通过示例的方式呈现。因此,虽然这里已经讨论了特定的配置,但也可以采用其他配置。本公开能够实现许多修改和其他实施方式(例如,组合、重新排列等)并且它们在本领域普通技术人员的范围内,并且被预期落入所公开的主题和任何等同物的范围内。在本发明的范围内,可以组合、重新布置、省略等公开实施方式的特征以产生附加实施方式。此外,有时可以使用某些特征而无需相应地使用其他特征而产生良好效果。因此,申请人旨在包含落入所公开的主题的精神和范围内的所有这些替代、修改、等同物和变型。
Claims (20)
1.一种设备,该设备包括:
光源;
空间光调制器,该空间光调制器被配置为调制从所述光源向目标对象照射的光的相位和幅度中的一个或更多个;以及
处理电路,该处理电路被配置为:
通过针对用于生成一个或更多个局部照明的照射模式图的调制信号来驱动所述空间光调制器,该一个或更多个局部照明以矩阵形式布置在所述目标对象上;
基于所述模式图来扫描在所述目标对象上的所述一个或更多个局部照明;以及
预先计算所述模式图,使得在位于预定距离处且没有散射介质的虚拟目标上增强所述一个或更多个局部照明的光强度。
2.根据权利要求1所述的设备,该设备还包括:
存储器,该存储器存储位于所述预定距离处的所述虚拟目标上的所述模式图的信息,
其中,所述处理电路还被配置为响应于检测到雾的信号,照射从所述存储器检索到的模式图,以在所述目标对象上产生所述局部照明,并且
其中,所述存储器存储所述虚拟目标上的一组或更多组模式图的信息。
3.根据权利要求2所述的设备,其中,所述存储器存储关于所述虚拟目标的多组模式图的信息,所述多组模式图中的每组模式图是在距所述虚拟目标不同的距离处测量到的。
4.根据权利要求1所述的设备,其中,用于计算所述模式图的所述处理电路是基于传输矩阵的,所述传输矩阵被归纳为一些光在所述空间光调制器上的光场分布与由检测器测量到的所述一些光在所述虚拟目标上的强度之间的关系。
5.根据权利要求4所述的设备,
其中,所述空间光调制器上的场分布是基于哈达玛矩阵的。
6.根据权利要求1所述的设备,该设备还包括:
图像捕获器,该图像捕获器被配置为通过捕获所述目标对象的图像来生成图像数据。
7.根据权利要求1所述的设备,该设备还包括:
第二调制器,该第二调制器位于沿着来自所述空间光调制器的光照射方向的光路上或位于检测器前方的光路上。
8.根据权利要求6所述的设备,其中,所述处理电路还被配置为:
通过叠加第二图像来生成第一图像,该第二图像是在所述模式图的每组模式图处所捕获的。
9.根据权利要求6所述的设备,其中,所述处理电路还被配置为:
通过叠加第四图像来生成第三图像,该第四图像是通过从在所述模式图中的每组模式图处所捕获的整幅图像的每个部分提取所述一个或更多个局部照明而生成的。
10.一种用于生成图像的方法,该方法包括以下步骤:
通过针对用于生成一个或更多个局部照明的照射模式图的调制信号来驱动空间光调制器,该局部照明以矩阵形式布置在目标对象上;
基于所述模式图来扫描在所述目标对象上的所述一个或更多个局部照明;以及
预先计算所述模式图,使得在位于预定距离处且没有散射介质的虚拟目标上增强所述一个或更多个局部照明的光强度。
11.根据权利要求10所述的方法,该方法还包括以下步骤:
经由存储器存储位于所述预定距离处的所述虚拟目标上的所述模式图的信息,以及
响应于检测到雾的信号,照射从所述存储器检索到的模式图,以在所述目标对象上产生所述一个或更多个局部照明,
其中,所述存储器存储在所述虚拟目标上的一组或更多组模式图的信息。
12.根据权利要求10所述的方法,其中,计算所述模式图的步骤是基于传输矩阵进行的,所述传输矩阵被归纳为一些光在所述空间光调制器上的光场分布与由检测器测量到的所述一些光在所述虚拟目标上的强度之间的关系。
13.根据权利要求10所述的方法,该方法还包括以下步骤:
接收来自哈达玛矩阵的输入以在所述空间光调制器上生成场分布。
14.根据权利要求10所述的方法,该方法还包括以下步骤:
通过捕获所述目标对象的图像来生成图像数据。
15.根据权利要求10所述的方法,该方法还包括以下步骤:
通过第二调制器照射所述虚拟目标上的所述模式图,该第二调制器位于沿着来自所述空间光调制器的光照射方向的光路上或位于检测器前方的光路上。
16.根据权利要求10所述的方法,该方法还包括以下步骤:
通过叠加第二图像来生成第一图像,该第二图像是在所述模式图的每组模式图处所捕获的。
17.根据权利要求10所述的方法,该方法还包括以下步骤:
通过叠加第四图像来生成第三图像,该第四图像是通过从在所述模式图中的每组模式图处所捕获的整幅图像的每个部分提取所述一个或更多个局部照明而生成的。
18.一种设备,该设备包括:
光源;
调制器,该调制器被配置为调制从所述光源向目标对象照射的光的相位和幅度中的一个或更多个;以及
处理电路,该处理电路被配置为:
预加载用于在没有散射介质的情况下所获取的局部照明扫描的优化入射模式图;
响应于识别出所述散射介质,在所述调制器上应用所述优化入射模式图,
获取与扫描的局部照明相对应的图像;以及
基于所获取的图像生成所述目标对象的增强图像。
19.根据权利要求18所述的设备,其中,用于预加载优化入射模式图的所述处理电路被进一步配置为:
通过照射多组调制器模式图来测量虚拟目标上的光;
归纳传输矩阵,该传输矩阵指示成像装置上的光强度与所述调制器的光场分布之间的关系;
基于所归纳出的传输矩阵来计算用于在所述虚拟目标上产生局部照明的每个优化的调制器模式图;以及
将所计算出的调制器模式图存储在存储器中,作为预加载的优化入射模式图。
20.根据权利要求18所述的设备,该设备还包括:
第二调制器,该第二调制器在来自所述调制器的光照射方向上或在检测器前方的光路上,
其中,所述处理电路还被配置为通过所述第二调制器在虚拟目标上照射所述优化入射模式图。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962797363P | 2019-01-28 | 2019-01-28 | |
US201962797366P | 2019-01-28 | 2019-01-28 | |
US62/797,366 | 2019-01-28 | ||
US62/797,363 | 2019-01-28 | ||
PCT/US2019/065410 WO2020159622A1 (en) | 2019-01-28 | 2019-12-10 | Ballistic light modulations for image enhancement through fog |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113383280A true CN113383280A (zh) | 2021-09-10 |
Family
ID=71731144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980090363.XA Pending CN113383280A (zh) | 2019-01-28 | 2019-12-10 | 用于经由雾的图像增强的弹道光调制 |
Country Status (5)
Country | Link |
---|---|
US (4) | US11604345B2 (zh) |
EP (2) | EP3918424A4 (zh) |
JP (4) | JP2022517985A (zh) |
CN (1) | CN113383280A (zh) |
WO (1) | WO2020159622A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116408575B (zh) * | 2021-12-31 | 2024-06-04 | 广东美的白色家电技术创新中心有限公司 | 局部扫描、消除工件反光干扰的方法、装置和系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109428916B (zh) | 2017-08-25 | 2022-02-22 | 中兴通讯股份有限公司 | 数据传输方法和装置、终端及服务器 |
US11474037B2 (en) * | 2020-06-01 | 2022-10-18 | Waymo Llc | Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment comprising a lock-in amplifier coupled to an optical modulator and an optical detector |
JP7090135B2 (ja) * | 2020-10-23 | 2022-06-23 | 浜松ホトニクス株式会社 | レーザ装置 |
CN112798603A (zh) * | 2021-01-06 | 2021-05-14 | 深圳技术大学 | 一种成像系统及其成像方法 |
US20220260679A1 (en) * | 2021-02-17 | 2022-08-18 | Continental Automotive Systems, Inc. | Lidar system that detects modulated light |
CN115908175B (zh) * | 2022-11-15 | 2024-08-23 | 深圳信息职业技术学院 | 低照度图像多级增强方法、装置、电子设备以及存储介质 |
US20240201391A1 (en) * | 2022-12-19 | 2024-06-20 | Waymo Llc | Differential Methods for Environment Estimation, Lidar Impairment Detection, and Filtering |
CN116222433B (zh) * | 2023-03-22 | 2023-09-05 | 西安知象光电科技有限公司 | 一种基于超表面的结构光三维成像系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120128264A1 (en) * | 2010-11-23 | 2012-05-24 | General Electric Company | Methods and systems of optical imaging for target detection in a scattering medium |
CN104204658A (zh) * | 2012-02-07 | 2014-12-10 | 两树光子学有限公司 | 具有相位调制器的用于车前灯的照明设备 |
US20150319347A1 (en) * | 2014-05-05 | 2015-11-05 | Raytheon Company | Methods and apparatus for imaging in scattering environments |
CN108369367A (zh) * | 2015-09-04 | 2018-08-03 | 弗劳恩霍夫应用研究促进协会 | 包括光学自由形态表面的投影设备和投影方法 |
US20180227567A1 (en) * | 2017-02-09 | 2018-08-09 | Oculus Vr, Llc | Polarization illumination using acousto-optic structured light in 3d depth sensing |
US20180302542A1 (en) * | 2017-04-12 | 2018-10-18 | Canon Kabushiki Kaisha | Image capturing apparatus, image capturing method, and storage medium |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955551B2 (en) * | 2002-07-12 | 2018-04-24 | Yechezkal Evan Spero | Detector controlled illuminating system |
JP4223769B2 (ja) * | 2002-08-30 | 2009-02-12 | 富士通株式会社 | 測定装置 |
US7590263B2 (en) * | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
US7461092B1 (en) * | 2005-09-12 | 2008-12-02 | Storage Technology Corporation | Content organization and storage method for storing holographic search database |
CN101356450B (zh) * | 2005-12-19 | 2015-08-05 | 莱达科技股份有限公司 | 物体检测发光系统和方法 |
FR2940205B1 (fr) * | 2008-12-19 | 2011-11-25 | Valeo Vision Sas | Procede de commutation du mode d'eclairage de projecteurs pour vehicule automobile. |
US8395529B2 (en) * | 2009-04-02 | 2013-03-12 | GM Global Technology Operations LLC | Traffic infrastructure indicator on head-up display |
DE102011017644A1 (de) * | 2011-04-28 | 2012-10-31 | Robert Bosch Gmbh | Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs |
DE102013210890A1 (de) * | 2013-06-11 | 2014-12-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Wetter-Phänomens |
DE102014006760A1 (de) * | 2014-05-08 | 2015-11-12 | Audi Ag | System zur Detektion von Nebel direkt vor einem Kraftfahrzeug |
US9891393B2 (en) * | 2014-07-24 | 2018-02-13 | Empire Technology Development Llc | Imaging through optical fibers for coupling optimization |
CN107409167B (zh) * | 2015-01-15 | 2020-01-21 | 株式会社岛津制作所 | 图像处理装置 |
US9759907B2 (en) * | 2015-01-28 | 2017-09-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Rapid optical shutter, chopper, modulator and deflector |
DE102015112103A1 (de) * | 2015-07-24 | 2017-01-26 | Preh Gmbh | Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug |
US9989357B2 (en) * | 2015-09-09 | 2018-06-05 | Faro Technologies, Inc. | Aerial device that cooperates with an external projector to measure three-dimensional coordinates |
DE102016006390A1 (de) * | 2016-05-24 | 2017-11-30 | Audi Ag | Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses |
EP4194888A1 (en) * | 2016-09-20 | 2023-06-14 | Innoviz Technologies Ltd. | Lidar systems and methods |
FR3065784B1 (fr) * | 2017-04-28 | 2019-10-11 | Valeo Vision | Module lumineux avec optique d'imagerie optimisee pour un modulateur spatial pixellise, destine a un vehicule automobile |
JP6898557B2 (ja) | 2017-08-01 | 2021-07-07 | 株式会社東京精密 | レーザー加工装置及び亀裂検出方法 |
AT519864B1 (de) * | 2017-08-10 | 2018-11-15 | Zkw Group Gmbh | Fahrzeugscheinwerfer und Fahrzeugsteuerung |
JP6826972B2 (ja) | 2017-11-16 | 2021-02-10 | 株式会社日立製作所 | 撮像装置 |
KR102333033B1 (ko) * | 2017-12-07 | 2021-12-01 | 삼성전자주식회사 | 차량 및 그 제어 방법 |
US10368752B1 (en) * | 2018-03-08 | 2019-08-06 | Hi Llc | Devices and methods to convert conventional imagers into lock-in cameras |
-
2019
- 2019-12-10 JP JP2021540296A patent/JP2022517985A/ja not_active Withdrawn
- 2019-12-10 CN CN201980090363.XA patent/CN113383280A/zh active Pending
- 2019-12-10 US US16/708,641 patent/US11604345B2/en active Active
- 2019-12-10 US US16/708,822 patent/US11460689B2/en active Active
- 2019-12-10 US US16/708,609 patent/US11181805B2/en active Active
- 2019-12-10 EP EP19912513.9A patent/EP3918424A4/en not_active Withdrawn
- 2019-12-10 US US17/053,157 patent/US11275288B2/en active Active
- 2019-12-10 WO PCT/US2019/065410 patent/WO2020159622A1/en unknown
-
2020
- 2020-12-07 EP EP20212289.1A patent/EP3835130A1/en not_active Withdrawn
- 2020-12-09 JP JP2020204559A patent/JP2021093164A/ja active Pending
- 2020-12-09 JP JP2020204557A patent/JP2021098500A/ja active Pending
- 2020-12-09 JP JP2020204558A patent/JP2021099799A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120128264A1 (en) * | 2010-11-23 | 2012-05-24 | General Electric Company | Methods and systems of optical imaging for target detection in a scattering medium |
CN104204658A (zh) * | 2012-02-07 | 2014-12-10 | 两树光子学有限公司 | 具有相位调制器的用于车前灯的照明设备 |
US20150319347A1 (en) * | 2014-05-05 | 2015-11-05 | Raytheon Company | Methods and apparatus for imaging in scattering environments |
CN108369367A (zh) * | 2015-09-04 | 2018-08-03 | 弗劳恩霍夫应用研究促进协会 | 包括光学自由形态表面的投影设备和投影方法 |
US20180227567A1 (en) * | 2017-02-09 | 2018-08-09 | Oculus Vr, Llc | Polarization illumination using acousto-optic structured light in 3d depth sensing |
US20180302542A1 (en) * | 2017-04-12 | 2018-10-18 | Canon Kabushiki Kaisha | Image capturing apparatus, image capturing method, and storage medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116408575B (zh) * | 2021-12-31 | 2024-06-04 | 广东美的白色家电技术创新中心有限公司 | 局部扫描、消除工件反光干扰的方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
US11460689B2 (en) | 2022-10-04 |
JP2022517985A (ja) | 2022-03-11 |
US20200241385A1 (en) | 2020-07-30 |
EP3835130A1 (en) | 2021-06-16 |
JP2021098500A (ja) | 2021-07-01 |
EP3918424A1 (en) | 2021-12-08 |
JP2021099799A (ja) | 2021-07-01 |
JP2021093164A (ja) | 2021-06-17 |
WO2020159622A1 (en) | 2020-08-06 |
US20200238896A1 (en) | 2020-07-30 |
EP3918424A4 (en) | 2022-09-14 |
US11181805B2 (en) | 2021-11-23 |
US11275288B2 (en) | 2022-03-15 |
US20210250479A1 (en) | 2021-08-12 |
US20200241136A1 (en) | 2020-07-30 |
US11604345B2 (en) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11275288B2 (en) | Ballistic light modulations for image enhancement through fog | |
CN109154984B (zh) | 用来提高障碍物的可识别性的机动车的照明装置 | |
JP5003398B2 (ja) | 照明装置 | |
CN110709281B (zh) | 车辆用灯具及其控制装置、控制方法 | |
JP4977923B2 (ja) | アクティブ型車両視界補助装置及び車両視界補助方法 | |
US10923076B2 (en) | Display device, display system, mobile object, display-brightness control method, and recording medium storing program code | |
GB2558661B (en) | Vehicle lighting system | |
JP6669053B2 (ja) | ヘッドアップディスプレイシステム | |
CN113227838B (zh) | 车辆用灯具及车辆 | |
US10118534B2 (en) | Irradiation apparatus | |
US12047667B2 (en) | Imaging device | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
JP5839253B2 (ja) | 物体検出装置及びこれを備えた車載機器制御装置 | |
US20190331308A1 (en) | Linearly Polarized Light Emission by a Vehicle Headlight for Use in a Camera-Based Driver Assistance System | |
JP2004325202A (ja) | レーザレーダ装置 | |
KR20170103708A (ko) | 파장에 따라 빛을 선택적으로 산란시키는 나노 입자가 첨가 혹은 코팅된 유리를 이용한 차량용 나이트비젼 장치 | |
RU2746614C1 (ru) | Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа | |
EP4432681A1 (en) | Sensing system | |
US20240071032A1 (en) | Apparatus and method for a vehicle recognizing an object using pattern recognition | |
WO2021079811A1 (ja) | イメージング装置、車両用灯具、車両、イメージング方法 | |
JP2023055317A (ja) | 撮像システム、撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230728 |
|
AD01 | Patent right deemed abandoned |