JP2022517985A - 霧を介した画像強調のための弾道光変調 - Google Patents
霧を介した画像強調のための弾道光変調 Download PDFInfo
- Publication number
- JP2022517985A JP2022517985A JP2021540296A JP2021540296A JP2022517985A JP 2022517985 A JP2022517985 A JP 2022517985A JP 2021540296 A JP2021540296 A JP 2021540296A JP 2021540296 A JP2021540296 A JP 2021540296A JP 2022517985 A JP2022517985 A JP 2022517985A
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- pattern
- image
- light
- modulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims description 81
- 230000003287 optical effect Effects 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 63
- 230000005540 biological transmission Effects 0.000 claims description 45
- 238000009826 distribution Methods 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000036316 preload Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 20
- 238000005286 illumination Methods 0.000 description 375
- 238000003384 imaging method Methods 0.000 description 117
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000001965 increasing effect Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 20
- 238000010226 confocal imaging Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000012800 visualization Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 239000002245 particle Substances 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 9
- 230000004313 glare Effects 0.000 description 9
- 239000000428 dust Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012634 optical imaging Methods 0.000 description 6
- 238000003915 air pollution Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006735 deficit Effects 0.000 description 3
- 230000005684 electric field Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002296 dynamic light scattering Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2/00—Demodulating light; Transferring the modulation of modulated light; Frequency-changing of light
- G02F2/02—Frequency-changing of light, e.g. by quantum counters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1407—General lighting circuits comprising dimming circuits
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
- F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
- F21S41/125—Coloured light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
- F21S41/14—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of light source
- F21S41/16—Laser light sources
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
- F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
- F21V14/003—Controlling the distribution of the light emitted by adjustment of elements by interposition of elements with electrically controlled variable light transmissivity, e.g. liquid crystal elements or electrochromic devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/08—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing coloured light, e.g. monochromatic; for reducing intensity of light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/14—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing polarised light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
- F21V9/30—Elements containing photoluminescent material distinct from or spaced from the light source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/0102—Constructional details, not otherwise provided for in this subclass
- G02F1/0105—Illuminating devices
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
- G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
- B60Q1/20—Fog lights
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
- F21W2102/00—Exterior vehicle lighting devices for illuminating purposes
- F21W2102/20—Illuminance distribution within the emitted light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/10—Light-emitting diodes [LED]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/30—Semiconductor lasers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2846—Investigating the spectrum using modulation grid; Grid spectrometers
- G01J2003/285—Hadamard transformation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Nonlinear Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Image Processing (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Analysis (AREA)
Abstract
適応照明装置は、光源と、空間光変調器と、処理回路とを備えている。さらに、処理回路は、1つまたは複数の集光点を生成するためのパターンを照射するための変調信号によって空間光変調器を駆動し、パターンに基づいて対象物上の1つまたは複数の集光点をスキャンするように構成されており、パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある1または複数の集光点上の光強度が強められるよう予め算出されている。
Description
関連出願の相互参照
本出願は、2019年1月28日に出願された米国仮出願第62/797,363号及び2019年1月28日に出願された米国仮出願第62/797,366号の利益を主張し、その全体が参照により本明細書に組み込まれる。さらに、関連出願13060US01、13061US01、および13062US01は、その全体が参照により本明細書に組み込まれる。
本出願は、2019年1月28日に出願された米国仮出願第62/797,363号及び2019年1月28日に出願された米国仮出願第62/797,366号の利益を主張し、その全体が参照により本明細書に組み込まれる。さらに、関連出願13060US01、13061US01、および13062US01は、その全体が参照により本明細書に組み込まれる。
多くの分野において、霧、雨、雪、埃、および/または大気汚染などの散乱媒体を介して光を透過させることが関連する。例えば、道路を走行し、交通を通って進む車両もまた、これらの散乱媒体のうちの1つまたは複数で走行しなければならない場合がある。同様に、空港の航空機、水中通信、生体組織画像化などの場合、視覚は媒体の散乱過程によって影響を受ける可能性がある。これらの散乱媒体を通して画像化しようとすると、いくつかの悪影響がある。例えば、画像は、吸収に起因して薄暗くなり、光の強い散乱は、光を受信物または人間の目の代わりに他の経路に散乱させ、画像は、不均一な散乱媒体による対象物からの波面の歪みに起因して画像が歪む。また、散乱媒体による強い後方散乱と、散乱媒体の背後の対象物から取得された弱い信号情報とにより、画像コントラストが低下する。例えば、このようなことは、運転者の視界が影響を受け、交通標識、道路脇の標識、歩行者などの対象物がより見えにくい、濃霧、雨、または雪の状態の間の交通でしばしば起こり得る。
標識をより明確に見るために、運転者は、高出力ヘッドランプ(すなわち、ハイビーム)をオンにすることによって照明を強くすることが多い。しかしながら、ハイビームを使用してより鮮明な交通標識を観察する代わりに、運転者は、空気中の水粒子による強い後方散乱光のために、運転者の車の前方に明るい「壁」すなわちグレアを見ることになる。これは、後方散乱ノイズとも呼ばれ得る。後方散乱ノイズは、運転者が視認することをさらに困難にし、運転者を危険な運転状況に置き、運転者および他の者を危険にさらす可能性がある。その後の結果には、例えば、既に悪天候下にあって高速道路を停止することによる、経済的影響が含まれ得る。この問題は、散乱媒体を介して確実に画像化することに対する未解決の問題であるため、自律型車両の展開にも大きく影響する。
後方散乱ノイズの影響を低減する方法に対処するために、様々な手法が提案されている。例えば、1つの手法は、信号対ノイズ比を向上させるために、後方散乱ノイズの検出を低減しながら、対象物からの反射信号を受信するために検出器を適時に開くことによってのみ信号情報を検出することを目的とする時間ゲーティング検出である。この手法では、検出器をオンにする時間、または対象物と検出器との間の距離を予めに知る必要がある。この手法における問題は、例えば、対象物が移動する場合において対象物と車(運転者)との間の距離に関する正確な情報を取得するために必要とされるリアルタイムのフィードバック情報である。Lidarと同様に、距離を取得するために同期パルス照明が使用されるが、厳しい気象条件下で検出器によって取得される情報が少ないと、対象物を区別するのに十分ではない場合がある。アバランシェフォトダイオードアレイを使用することによって霧の背後の対象物を抽出するために、時間統計分析が提案されている。しかしながら、統計的ノイズは、時折、疑似肯定応答を引き起こす可能性がある。別の方法は、反対の光位相(後方散乱ノイズと比較してパイ位相シフト)を有する参照ビームを導入して後方散乱ノイズと破壊的に干渉させるオーディオノイズ除去手法を採用することによって後方散乱ノイズを低減することである。既知の手法によって測定または算出された後方散乱ノイズの位相分布は、散乱媒体の異なる層からのすべての分布を含む可能性があるため、参照光ビームに加えられた反対の位相は、すべてのノイズを十分にキャンセルすることができない。言い換えれば、後方散乱ノイズは、既に異なる層からの後方散乱光ビーム間の干渉の結果である可能性がある。さらに、検出器によって受信された対象物から反射された信号光から後方散乱ノイズの区別が必要になる可能性がある。
光学システムにおける画像の品質は、撮像システムの強度(明るさ)、コントラスト(信号対ノイズ比)および解像度に依存する。悪い気象条件が現れると、後方散乱ノイズはコントラストを低下させ、散乱過程は対象物から反射された光を著しく低下させ、それが検出器に到達するのを妨げる。さらに、重度の散乱過程は、散乱媒体を通過するときに光に加えられる不均一な散乱媒体のために、撮像を歪める可能性がある。散乱媒体を介した視覚化を改善することによる画像品質の改善は、これら3つの問題に対処する必要がある。
ここに記載される「背景技術」の説明は、開示内容の概要一般的に提示することを目的としている。本背景技術に記載されている限りにおいて、本発明者らの研究、ならびに出願時に先行技術として認められない可能性がある説明の態様は、本発明に対する先行技術として明示的にも黙示的にも認められない。
開示された技術的特徴の態様によれば、装置は、光源と、空間光変調器と、処理回路とを含む。さらに、処理回路は、1つまたは複数の集光点を生成するためのパターンを照射するための変調信号によって空間光変調器を駆動し、パターンに基づいて対象物上の1つまたは複数の集光点をスキャンするように構成されており、パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある1または複数の集光点上の光強度が強められるよう予め算出されている。
前述の段落は、一般的な導入として提供されており、以下の特許請求の範囲を限定することを意図するものではない。さらなる効果を伴う本願に記載された実施形態は、添付の図面と併せて以下の詳細な説明を参照することによって最もよく理解されるであろう。
後述する発明の詳細な説明を参照し、添付の図面を考慮することで、本願の開示内容のより詳細な理解と数多くの効果についてより容易に得られるであろう。
添付の図面と関連付けて以下に記載される説明は、開示された技術的特徴の様々な実施形態を説明することを意図されており、必ずしもその実施形態のみを表現することを意図するものではない。特定の例において、開示された技術的特徴の理解を目的として、具体的な詳細を含んで説明する。しかしながら、これらの具体的な詳細なしで実施形態を実施することができることは、当業者には明らかであろう。いくつかの例では、開示された技術的特徴の概念を不明瞭にすることを回避するために、周知の構造および構成要素をブロック図形式で示すことができる。
本明細書を通して「一実施形態」または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、特性、動作、または機能が、開示される主題の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書における「一実施形態において」または「実施形態において」という語句の表現は、必ずしも同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、特性、動作、または機能は、1つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。さらに、開示された技術的特徴の実施形態は、記載された実施形態の修正および変形をカバーすることができ、カバーすることが意図されている。
本明細書および添付の特許請求の範囲で使用されるところの、単数形「1つの」、および「前記」には、文脈が明らかにそうでないことを明示しない限り、複数の指示対象を含むことに留意しなければならない。すなわち、特に明記しない限り、本明細書で使用される「1つの」などの単語は、「1つまたは複数の」の意味を有する。さらに、本明細書で使用される「左」、「右」、「上部」、「底部」、「前」、「後」、「側部」、「高さ」、「長さ」、「幅」、「上側」、「下側」、「内部」、「外部」、「内側」、「外側」などの用語は、単に参照部分を説明するものであり、必ずしも開示された技術的特徴の実施形態を特定の方向または構成に限定するものではないことを理解されたい。さらに、「第1」、「第2」、「第3」などの用語は、本明細書に記載されたいくつかの部分、構成要素、基準点、動作および/または機能のうちの1つを識別するにすぎず、同様に、開示された技術的特徴の実施形態を特定の構成または向きに限定するものではない。
ここで図面を参照すると、同様の参照番号は、いくつかの図を通して同一または対応する部分を示す。
図1は、開示された技術的特徴の1つまたは複数の態様による例示的な適応照明画像化システム100(本明細書ではシステム100と呼ぶ)を示す。後に、より詳細に説明するように、開示された技術的特徴の様々な実施形態による1つまたは複数の方法は、システム100またはその一部を使用して実施することができる。言い換えれば、システム100またはその一部は、様々な方法またはその一部(実行されると、記載された方法またはその一部をコンピュータに実行または実行させるように構成または実行させるプログラムを記憶する非一時的コンピュータ可読媒体を使用して実装されるものを含む)に関して本明細書に記載された機能または動作を実行することができる。
システム100は、光源101、処理回路102(内部および/または外部メモリを含むことができる)、検出器103、および変調器104を備えてもよい。さらに、上述の構成要素は、例えば、図1によって図式的に表されるように、互いに電気的に接続されるか、または電気的もしくは電子的な通信を行うことができる。開示された技術的特徴の1つまたは複数の態様では、光源101、処理回路102、検出器103、および変調器104を備えるシステム100は、散乱媒体を介して撮像を実行する様々な装置として実装することができる。例えば、システム100は、ヘッドライトが霧(および/または他の散乱媒体)に適応することができる自律型車両のヘッドライトとすることができる。その結果、自律型車両は、霧の中のおよび霧を通る前方の道路をより明確に撮像することができ、したがって、散乱媒体における自律運転能力が向上する。さらに、別の実施形態では、システム100は、生体組織を通じたリアルタイムの生体内撮像のための装置とすることができ、システム100は、生理学的環境によって引き起こされる動的散乱過程を克服することができる。
光源101は、システム100内の1つまたは複数の光源を表すことができる。例えば、光源101は、車両のヘッドランプとすることができる。
処理回路102は、システム100の様々な機能、動作、ステップ、または処理を実行するまたは実行させるための指令を指示することができる。言い換えれば、プロセッサ/処理回路102は、システム100内の1つまたは複数の他の構成要素から出力を受信し、かつに指令を送信することで、システム100が散乱媒体内および/または散乱媒体を介した画像強調のために弾道光変調を使用するように構成することができる。
検出器103は、システム100内の1つまたは複数の検出器を表すことができる。開示される技術的特徴の1つまたは複数の態様では、検出器103は想像装置であり得る。他のタイプの検出器も考えられるが、撮像素子、撮像装置、検出器、受信器などは、本明細書では互換的に使用することができる。
変調器104は、システム100内の1つまたは複数の変調器を表すことができる。変調器は、空間光変調器(SLM)とすることができる。例えば、変調器104は、行列状に配置された複数のマイクロミラーを含むことができるデジタル・マイクロミラー・デバイス(DMD)とすることができる。
一般的に言えば、重散乱媒体(例えば、霧、雨、雪、みぞれ、大気汚染など)内および/またはそれを介して撮像する光学撮像システムでは、様々な技術が撮像品質の向上に寄与することができる。例えば、撮像コントラストを増加させるために受信機の後方散乱ノイズを低減し、輝度を増加させるために散乱媒体の背後または内部の対象物に当たる光強度を増加させ、散乱媒体によって誘発される歪みノイズを低減することにより、撮像品質を改善することができる。より具体的には、元々散乱した光を撮像システムに変換して戻すことにより、検出器上の信号を増加させることができる。したがって、散乱媒体の透過行列を取得し、前方散乱を増加させて対象物により多くのエネルギーを照射することによって散乱媒体自体を評価することにより、視覚化を大幅に改善することができる。透過行列は、後方散乱ノイズを低減するために、空間光変調器上の光分布および散乱媒体を通る対応する出力を算出することによって取得することができる。測定された透過行列を使用して、コントラストおよび輝度を増幅するために対象物をスキャンする集光点を形成することもでき、異なる角度からのスキャン照明は、通常照明と比較して対象物の隠れた情報を明らかにする。その結果、撮像の高解像度化を図ることができる。
上記の手法は、時間的に確立されている散乱媒体の透過行列に基づく。散乱媒体の透過行列を評価する時間は、入射パターンに使用される要素の数に大きく依存する。例えば、入射チャネルプロバイダとして空間光変調器(SLM)(例えば、60Hzフレームレート、16Gメモリコンピュータ)を使用すると、透過行列を評価する時間は、16×16入射チャネルでは3分未満、32×32入射チャネルでは10分、64×64チャネルでは40分、128×128入射チャネルでは8時間超である。持続時間の短縮は、例えば、20KHzのフレームレートに達することができるデジタル・マイクロミラー・デバイス(DMD)などの高速変調器を使用することによって達成することができる。それでも、透過行列の評価には数十秒を要する。フィールド・プログラマブル・ゲート・アレイ(FPGA)が使用される場合であっても、64×64素子の単一の最適化された位相パターンについて透過行列を評価するために200msを要することになり、言うまでもなく、通常、画像処理を実行するために数百または数千の最適化されたパターンが必要である。
散乱媒体の評価は、処理中に散乱媒体がその散乱特性を維持することを必要とする。言い換えれば、散乱媒体は静的であるか、または長い無相関時間を有する必要がある。しかしながら、実世界の用途における散乱媒体(例えば、霧)に関して、無相関化時間は通常、非常に短い。例えば、生体組織の無相関化時間は血流に起因して約50msであるが、霧の無相関化時間は空気中の水粒子の速い動きに起因して5msよりも短い。開示された技術的特徴の1つまたは複数の態様では、非相関時間内に霧などの高速散乱媒体を評価するための技術が提案される。例えば、散乱光を制御するために光を変調するのではなく、システムは、霧によって引き起こされる激しい散乱によってぼやけた画像を強調するために弾道光(すなわち、非散乱光)を制御するように構成することができる。一実施形態では、システムは、霧によって引き起こされる激しい散乱によってぼやけた画像を強調するために弾道光のみを制御するように構成することができる。
図2Aは、開示された技術的特徴の1つまたは複数の態様に係る散乱媒体によってぼやけた画像を強調するための方法のアルゴリズムフローチャートである。
S205において、処理回路102は、物体平面上の集光点に対応する最適化された入射パターン(位相/振幅)をプリロードする。最適化された入射パターンは、移動散乱媒体(例えば、霧)なしでシステム100内で予めに取得することができる。例えば、最適化された入射パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある1つまたは複数の集光点上の光強度が強められるように予め算出することができる。一実施形態では、照射パターン(例えば、最適化された入射パターン)は、1つの集光点または複数の集光点を形成することができることを理解されたい。変調器が複数の集光点を形成するとき、最適化された入射パターンはまた、複数の同じ集光点を形成する。したがって、変調器が複数の集光点を形成する場合、スキャン時間を短縮することができる。「集光点」は、対象物および/または仮想対象上の光強度が強められた領域(または点)を指すことができる。一態様では、集光点の光強度は、対象物上で最大化される。様々な最適化された入射パターンにおいて、集光点は単数または複数にすることができる。
S210において、処理回路102は、霧に対応して変調器104にプリロードされたパターンを採用することができる。一般に、弾道光の集光点のためのすべての最適化されたパターンをメモリに予めにロードすることができ、システム(例えば、システム100)は、特定の視覚化要件に基づいて、対象物上の集光点のためにどのパターンを変調器に適用するかを選択することができる。例えば、システム100は、1つまたは複数の集光点が対象物上に行列状に配置されるように、1つまたは複数の集光点を生成するための照射パターンの変調信号によって空間光変調器を駆動することができる。したがって、システム100は、パターンに基づいて対象物上の1つまたは複数の集光点をスキャンすることができる。言い換えれば、霧が発生して視認性(例えば、運転者の視界および/または画像捕捉装置)に影響を与えると、最適化されたパターンが変調器104に適用され、霧に投影されて、対象物上に集光点が形成される。照明光は霧によって大きく散乱されるが、集光点は強い光を反射してシステム100に戻し、S215において検出器103によって取り込むことができる。
S215において、処理回路102は、S210において形成された集光点に対応する画像を取得することができる。局所的な光スキャンは、1点ずつ対象物を照射し、対象物上の点の検出を可能にする。
S220において、処理回路102は、検出された集光点に基づいて、照明された対象物の強調画像を生成することができる。例えば、検出器103は、1つまたは複数の画像からのデータを使用して強調画像を生成することができるように、対象物(例えば、集光点に対応する)の1つまたは複数の画像を捕捉することができる。強調画像は、画像の明るさ、コントラスト、解像度、および全体的な品質を高めるために、様々な画像処理によって生成することができる。例えば、画像処理は、共焦点撮像、構造撮像(合成開口撮像)、およびフィルタリング処理を含むことができる。例えば、一つの態様において、複数組のパターン(例えば、本明細書でさらに説明される最適化されたパターン)の各パターンで撮像された画像を重ね合わせることにより、画像を生成することができる。代替的または追加的に、一態様では、画像は、複数のパターン組の各パターンで取り込まれた全体画像の各部分からの1つまたは複数の集光点に基づいて生成された画像を重ね合わせることによって生成することができる。強調画像は、様々な動作のためにシステム100によって使用することができる。例えば、強調画像は、停止標識のような重要な情報の確認として車両の運転者に表示することができる。別の実施形態では、強調画像は、自律型車両によって停止標識などの動作情報を識別するために使用することができ、それによって霧の中でも確実な自動運転を維持することができる。S215およびS220は並行して実行することができることを理解されたい。例えば、S220における強調画像の生成は、S215において検出器(例えば、検出器103)が第1の集光点を捕捉すると開始することができる。
図2Bは、本開示の技術的特徴の1つまたは複数の態様に係る、プリロードされた最適化された入射光パターン(例えば、図2AのS205)を決定するための方法のアルゴリズムフローチャートである。
S225において、処理回路102は、変調器(例えば、デジタル・マイクロミラー・デバイス(DMD))上の複数のパターン組を照射することによって、仮想対象上の光強度を測定することができる。言い換えれば、霧が存在しない対象物から反射された対応する光強度を監視しながら、DMDを介して任意に変調された入射光パターンが対象物に向かって投射される。例えば、処理回路102は、霧を検出する信号に応答して、対象物上の集光点を生成するためにメモリから検索されたパターンを照射するように構成することができ(例えば、カメラは、視認性の変化に基づいて霧を検出する)、メモリは、仮想対象用のパターンの1つまたは複数の組を記憶する。より一般的には、S225の測定は、散乱媒体のない状態で行うことができる。しかしながら、空気であっても散乱媒体と見なすことができるため、「散乱媒体のない状態」への言及は、例えば霧がないこと、またはより一般的には、空気以外の散乱媒体がないことを指すことを理解されたい。仮想対象は、対象物と同じサイズ、対象物と同じ構造形状、対象物と同じ位置に配置されるなどのうち1つまたは複数に該当する物体に対応し、一定量の反射率(例えば、カメラによって検出されるのに十分な)を有する物質によって構成される。しかしながら、仮想対象は対象物と同一である必要はないことを理解されたい。1つの態様では、モニタリングは、受信機側(例えば、図3に示す)であってもよい。メモリは、1つの目標距離に対して1組のパターンを記憶してもよいし、複数の目標距離に対して複数組のパターンを記憶してもよい。
S230において、処理回路102は、検出器(例えば、CCD)上の強度分布とDMD上に印加される光フィールド分布(位相または振幅パターン)との間の関係を記述する方程式を解くことによって、透過行列(TM)を取得することができる。TMは、特定の光の入力および出力応答を示す。例えば、TMは、光に対する空間光変調器上の光フィールド分布と、検出器によって測定された仮想対象上の光強度との間の関係に基づいて誘導することができる。一態様では、空間光変調器上の光フィールド分布は、アダマール行列に基づくことができる。言い換えれば、変調された照明の位相/振幅パターンと対応する強度とを比較することによって、光学システムの特性を記述する透過行列を、集光点を形成する最適化された位相/振幅パターンを評価することができることに基づいて評価することができる。
S235において、処理回路102は、取得されたTMに基づいて、仮想対象上に集光点を生成するための各最適化されたDMDパターンを算出することができる。TMの算出は、TMが入力と対応する出力とを接続するという事実に基づいている。したがって、TMがN個の未知のパラメータを有し、N個の独立した入力を選択し、対応する出力を取得する場合、TMは、N個の方程式を解くことによって得ることができる。一実施形態では、アダマール行列を使用して、独立した入力を決定することができる。システム(例えば、散乱媒体)のためのTMを得た後、例えば、対象物上の集光点に対応することができるCCD上に所望の出力強度分布を形成することができる特定の入力(DMD上の位相または振幅分布)を誘導することができる。さらに、パターンの各組(例えば、最適化されたDMDパターン)は、仮想対象からの異なる距離に基づくことができ、その結果、パターンがメモリから検索され、霧に応答して変調器に使用されるとき(例えば、S210)、それは対応する距離になり得る。
S240において、処理回路102は、算出されたDMDパターンを、プリロードされた最適化された入射パターンとしてメモリ(例えば、処理回路102のローカルメモリ、ローカルデータベース、リモートデータベースなどである)に記憶することができる。最適化された入射光パターンを記憶した後、最適化された入射光パターンをプリロードし、処理を終了することができる。
さらに、図2Bは、システム100をどのようにして散乱媒体を介して画像の輝度を高めて、対象物上により多くの光を照射するように構成することができるかを詳述している。画像化の処理は、光の通過および撮像に関する光の制御である。光源(例えば、ヘッドランプ)から発せられた光は、媒体(ほとんどの場合、空気)を通過し、光学部品(例えば、レンズ、ミラー、プリズムなどである)を通過し、大きな散乱を経験しながら散乱媒体(例えば、霧)を透過する。光の一部は、対象物(例えば、道路標識)に到達し、対象物の表面で反射される。反射されるエネルギーは、対象物の反射率に依存する。反射光は、散乱媒体および光学部品を通って戻り、受信機に到達する。対象物の画像は、光信号変換(例えば、CCD上での電気信号への光、眼のニューロンの電気化学インパルスへの光などである)に基づいて受信機のディスプレイ上に現れる。
画像の輝度は、視覚認知の属性(性質)である。輝度は、モニタ(例えば、CCD、眼など)に表示される画像内の領域の輝度測定値として定義される。画像の輝度は、対象物上の照明の強度、対象物からの光の反射損失、および撮像システムの集光力によって決定される。光学部品による吸収、光学部品間の光学界面での反射損失、および光学部品の限られた空間サイズを含む、光学システム自体による光損失の他に、強度の主な損失は、散乱媒体による散乱損失である。したがって、対象物の光反射率が固定された既知の光学システムおよび定義された対象物では、画像の輝度は対象物に照射される光量(パワー)に依存する。言い換えれば、対象物に照射される光パワーを増加させることは、画像の輝度を増加させる方法の1つである。
例えば、変調された光位相および振幅で入射光の照明パターンを制御することにより、入射光が対象物により集中し(すなわち、局在化)、対象物に照射される弾道光が増加し、画像の輝度の増加に直接つながる。局所光は、斜めの角度から対象物を照らすことができ、これらの高い空間周波数を収集することにより、画像の解像度を高めることができる。集光点およびスキャンは、図2Bを参照してさらに説明するように、空間光変調器(例えば、DMD)を介して入射光の光位相/振幅を変調することによって達成することができる。
図3は、開示された技術的特徴の1つまたは複数の態様に従ってプリロードされた最適化された入射パターンを決定するように構成された例示的な実験装置を示す。実験装置106は、霧生成チャンバおよび霧試験チャンバを含む霧チャンバ107と、光学システム108とを含む。霧チャンバ107は、(例えば、霧生成チャンバを介して)霧を生成し、これはファンによって、対象物109が配置される試験チャンバ(例えば、2つの「STOP」記号)に伝達される。光学システム108は、光源、変調器(DMD)、投影システム、撮像システム、および制御システム(例えば、コンピュータ)を含み得る。光源(例えば、レーザ、レーザダイオード(LD)、発光ダイオード(LED))は、変調器(例えば、DMD)上でコリメートされて照明される。変調器に表示された位相/振幅パターンは、投影システムによって霧チャンバ内に投影され、対象物109上を照らす。撮像システムは、対象物109からの反射光を受信機(例えば、検出器、カメラ、CCD)で受信する。別の実施形態では、光学システムは、図4に示すように、第2の変調器も含む適応照明画像化システム(例えば、システム100)で使用することができる。
図4は、開示された技術的特徴の1つまたは複数の態様に係る適応照明画像化システム111の例示的な概略図を示す。適応照明システム111は、光学システム112および画像処理回路113を含むことができる。適応照明システム111は、本明細書で説明するように、散乱媒体(例えば、霧115)内の対象物114を検出するように構成することができる。特に、システム111は、照明光を最初に変調する空間光変調器(例えば、デジタル・マイクロミラー・デバイス)に加えて、別の変調器(例えば、変調器116)を含むことができる。より具体的には、システム111は、空間的コヒーレンスを改善するために凹レンズおよび/またはミラーを含むことができる。一態様では、光源からの光が十分な空間コヒーレンス(例えば、所定の閾値を超える)を有する場合、凹面ミラー/レンズは任意選択であり得るが、凹面ミラー/レンズは依然として空間コヒーレンスを改善し得る。さらに、DMDは、光源からの照明光を変調するための主変調器とすることができ、第2の変調器116は、受動的または能動的な空間光変調器とすることができる。例えば、受動変調器は、透明なガラス板、空気、または静的散乱媒体とすることができる。受動変調器の透過行列は、対象物上の集光点に対応する電界(位相または振幅)分布を取得することによって算出することができる。能動変調器は、その変調能力がオフにされるときに受動変調器として使用することができる。能動変調器は、電界分布をより良好に制御するために電界分布を将来変調または補償するために使用することができ、これは第1の変調器(DMD)と共に使用して、変調の機能性または程度を高めることができる。第2の変調器は、空間光変調器からの光照射方向の光路上、または、検出器の前方の対象物からの反射光における光路上に位置するようにすることができる。第2の変調器はまた、空間光変調器からの光照射方向の光路上および検出器の前の対象物からの反射光における光路上の両方に位置することができる。
まず、霧なしで、システムの透過行列を確立することができる。一般に、ランダム変調入力の応答を測定することにより、システムの透過行列を評価することができる。透過行列を迅速に算出するために、独立した照明としてアダマール行列から誘導された変調入力を使用して、システムから投影することができる。アダマール行列は、各行が独立しており、アダマール行列を使用して独立した入力を生成することができる行列である。通常、散乱媒体の透過行列を評価するために、アダマール行列の各行によって変調器(例えば、空間光変調器110)の複数の入力が作成される。対象物からの反射光は、受信機の撮像システムによって捕捉することができる。入力および測定された出力を使用して、システムの透過行列を評価することができる(図12A~図12Cを参照)。
図5A~図5Gは、開示された主題の1つまたは複数の態様に係る対象物109の例示的な画像を示す。図5A~図5Gを参照すると、対象物109は、空気中で5cm離れて配置され、左標的は、右の標的の5cm前方にある。1つまたは複数の態様では、対象物は、5cmより大きくまたは小さく離れて配置され得ることを理解されたい。図5Aにおいて、画像は、変調なしで平面波の垂直照明下で取得された。一部のスペックルノイズ以外に、画像システムは、5cm離れた対象物の画像を形成するのに十分な被写界深度を有する。図5B~図5Gは、取得された最適化された位相/振幅パターンを変調器で採用することによって形成された対象物上の集光点を示す。照明は、局所的な照明強度を高めるために小さな領域に局在化され、これらの小さな領域をより明確に見ることを可能にする。図5Aおよび図5B~図5Gの画像は、カメラ画素の飽和を回避するために、異なる照明電力または露光時間で撮影することができることにも留意されたい。
霧がなければ、変調なしの通常の平面波照明を使用することができ、図5Aに示すように対象物の詳細を示す画像を取得することができる。しかしながら、霧が現れると、通常の照明の下では、対象物の詳細はあまり明確にならないか、または消えさえする可能性がある(図8Aを参照)。最適化された位相/振幅パターン(すなわち、霧なしで事前評価され、メモリに予めロードされる)が変調器に採用される場合、対象物上に集光点を形成して、対象物上の入射強度を大幅に高めることができる。霧(散乱媒体)内の粒子は、光が霧を通って進むときに入射照明および反射強度を散乱させるが、強調された集光点は、対象物から反射された十分な光が、対象物を形成するための局所情報を明らかにするために十分な信号対ノイズ比で検出器に到達することを可能にする。
図6は、開示された主題の1つまたは複数の態様に係る、霧内の「STOP」標識の文字「O」上の集光点に対応する画像を示す。例えば、画像は、変調器で使用されている予めロードされた最適化された位相/振幅パターンに基づいて取得され、集光点が対象物上で形成されて、スキャンされる。文字「O」の高い反射率のため、文字「O」上の集光点は、より多くの光が霧を通って戻り、ノイズよりも大きい信号対ノイズ比でカメラに到達することを可能にする。場合によっては、対象物上の他の領域に到達する集光点は、はるかに低い反射率のために霧を通って戻る散乱プロセスを克服するのに十分な光を反射しない。
図6に示すように、対象物(この場合、文字「O」)上の集光点をスキャンすると、検出器(例えば、カメラ、CCDなど)上に輝点が生成され、対象物のすべての部分が現れる。標的上の集光点をスキャンすることによって生成されたこれらの画像が特定の頻度で連続して形成されると、視覚の持続性は、人間の目に「O」という文字を完全に感じさせるかまたは見させることができる。画像の拡張効果を表示するために、画像処理を適用して対象物の詳細を明らかにすることができる。対象物の細部を強調するための画像処理について、本明細書でさらに説明する。
例えば、対象物の表面に沿って集光点をスキャンすることによる共焦点撮像は、画像の全体的な品質を改善することができる。本明細書に記載の照明方法は、システムの透過行列を評価し、入射パターンの最適化された空間分布(光位相および/または振幅)を取得して、対象物上に集光点を形成し、評価された透過行列から生じる入射空間パターンを変更することによって、照明された局所領域の画像を収集しながら、集光点を対象物上でスキャンすることができる。
検出器上の画像は、対象物上のスキャンされた集光点によって取得された一連の画像と重なり合う対象物上の散乱照明によって取得された対象物の画像である。第1の例では、画像は通常の画像と同様であり、第2の例では、画像は対象物の共焦点撮像である。対象物上の散乱照明から生じる通常光撮像(すなわち、集光点なし)の散乱は、低い空間周波数を有する対象の輪郭のみを示し、対象物の表面上の集光点スキャンによって形成された一連の画像は、対象物の領域の共焦点画像である。
従来、共焦点撮像は、画像形成において焦点外光を遮断するために空間ピンホールを使用することによって顕微鏡写真の光学解像度およびコントラストを高めるための光学撮像技術である。共焦点撮像システムは、以下の2つの戦略によって焦点外除去を達成する:a)焦点面の上下で照明強度が急速に低下するように、任意の1つの時点で対象物の単一点を集束ビームで照明すること、およびb)照射されている試料内の点から放出された光が検出器に到達するのを阻止するように、対象物に対する共役焦点面のピンホール開口部を遮断する使用。
システム100では、散乱システムの取得された透過行列からの入射パターン(光位相または振幅)の最適化された空間分布を使用することにより、集光点(例えば、集束ビーム)を対象物上でスキャンすることができる。したがって、たとえシステム100にブロッキングピンホール開口部が適用されなくても、対象物の共焦点撮像を形成することができる。スキャンされた画像は、画像の解像度を高めるための対象物から検出器への高い空間周波数をもたらす、対象物における高い照明角度をもたらすだけでなく、合焦された照明によって画像のコントラストも高める。集束ビームは、光学システムにおいて回折制限され、これは、迷光横方向干渉がないことを意味し、これもまた、画像コントラストを改善する。従来の共焦点撮像に使用されるピンホール開口部がない利点は、検出器ピンホールの要件によって信号強度が低下しないことである。
さらに、3D対象物測定のための透過行列は、異なる被写界深度を有する対象物に集光(すなわち、集光点)を引き起こす。例えば、異なる深度位置(例えば、本明細書に記載されるように5cm離れている)にある2つの平面物体である。
図7A~図7Cは、開示された主題の1つまたは複数の態様に係る弱い霧状態の例示的な画像を示す。
図7Aは、開示された主題の1つまたは複数の態様に係る、通常照明(すなわち、集光点なし)を用いた弱い霧状態で得られた画像を示す。通常照明下では、前方対象物(すなわち、第1の「STOP」記号)ははっきりと見えるが、後方対象物(すなわち、第2の「STOP」記号)は標識の輪郭をほとんど明らかにしない。対象物の詳細を明らかにするために、画像処理を適用することができる。まず、図7Bは、1つまたは複数の集光点を生成するために各照射パターンで捕捉されている画像を重ね合わせることによる平均化を示す。画像を足し合わせてスペックルノイズを平滑化した。平均化の利点は、ノイズを低減することであるが、欠点は、画像を強調するために集光点が使用されないことである。平均化後、画像全体がより鮮明になることが分かる。後方の対象物であっても、輪郭の表示がされる。平均化は画像の品質を大幅に改善することができるが、図7Cに示すように、変調の集光点の利点は、画像を強調するために使用されていない。集光点の利点は、対象物上の強度を局所的に増加させ、それによって画像の輝度を増加させることである。したがって、局所的に照明された領域の画像を抽出し、抽出された画像を重ね合わせて対象物全体の画像を形成することは、共焦点画像処理と呼ばれ、画像のコントラストを大幅に改善することができる。図7Cに示すように、共焦点画像は、両方の対象物の主要な特徴を捉えている。
図8A~図8Cは、開示された主題の1つまたは複数の態様に係る濃霧状態の例示的な画像を示す。
濃霧状態では、通常照明(図8A)は、激しい散乱による対象物の輪郭をかすかに示し、前方標的は、「STOP」記号の4文字をほとんど示さない。また、後方対象物については全く情報が得られない。平均化によって処理されると(図8B)、前方対象物はノイズに関して視覚を改善するが、後方対象物は依然として見ることができない。しかしながら、集光点がシーケンスで使用され、画像全体として形成され、共焦点画像処理が適用される場合(図8C)、対象物の特徴を見ることができる。前方対象物の画像は、対象物の特徴を示しており、前方対象物ほど明るくはないが、後方対象物が映る。これは、連続した集光点および付随する共焦点画像処理が、重度の霧の状態であっても視覚化を著しく改善できることを実証している。
さらに、システム100は、より高い空間周波数を収集することによって変調を介して空間分解能を改善するように構成することができる。
撮像品質の別の特性は、その解像度である。分解能は、どの程度近い線を視覚的に解像できるかを定量化する。より高い解像度は、画像のより詳細を観察することができることを意味する。分解能はしばしば空間分解能と呼ばれ、これは2つの別個の物体を区別する撮像モダリティの能力を指す。低空間分解能光学システムは、互いに近接する2つの物体または点を区別することができない。
解像度は、例えば、受信機のピクセル解像度(CCDのように、撮像品質にも影響を及ぼす)ではなく、画像を作成する光学撮像システムの特性に対応することができる。一般に、分解能は、典型的には、光学部品のサイズの回折効果、システムの不完全さに起因する収差、および最も重要なことには、光が検出器に到達する前に散乱媒体を2回通過するときの散乱過程に起因する大気歪みによって影響を受ける。
光学的情報理論によれば、撮像システムの分解能は、高い空間周波数を収集する能力、言い換えれば、光軸に対する対象物からの高い放出角度を有する光ビーム(光線)を収集する能力によって決定される。次いで、解像度は、撮像システムの収集電力によってさらに決定される。
散乱媒体内の撮像の分解能は、入射空間パターンによって光学位相または振幅を変調することによって高めることができる。言い換えれば、光入射パターンまたは波面は、異なる位相または振幅値を保持し、時間的に変化する多くの画素または要素に空間的に分割される。入射パターンの変調では、散乱により対象物への大きな角度の入射が発生し得る。したがって、対象物からの高い空間周波数を有する大きな放出(反射)角度を生成して検出器に到達させることができ、それによって対象物の画像の空間分解能を高めることができる。
従来の光学撮像システムでは、照明は通常、垂直入射または光軸に平行な平面波であるが、反射光は光学撮像システムによって収集される。検出器(例えば、CCD)上の検出された画像は、対象物の固定された態様のみを見る。集光点スキャン(すなわち、共焦点撮像)が行われるとき、対象物上の照明は、従来の光学撮像システムのような平面波ではない。代わりに、画像システムの元の入射瞳を越えても散乱からの高空間周波数光ビームを含む集束照明によって照明された任意の物体点が検出器に到達することができ、それによって対象物の詳細を明らかにすることができる。構造撮像と呼ばれる、対象物上の照明は、異なる位相変調を有することができ、異なる位相変調に基づいて変化する入射角をもたらす。これは、異なる照明角度を有する多くの照明源が同時に使用される合成開口撮像システムと同様である。異なる照明角度に対応する異なる位相変調は、対象物の異なる小平面を照明し、異なる照明に対応する反射光は、対象物の異なる部分または態様を明らかにする。様々な入射角を有する様々な照明下でのすべての取得画像の処理は、図9Aおよび図9Bに示すように、対象物の詳細な情報を明らかにすることができる。
図9Aおよび図9Bは、開示される主題の1つまたは複数の態様に係る強い散乱のための例示的な変調技術を示す。例えば、図9Aを参照すると、媒体から後方散乱された背景のみを検出することができる強い散乱媒体が存在する場合、散乱媒体の背後の対象物の情報は、通常の照明下では得ることができない(すなわち、変調前)。照明が、様々な入射角を有する異なる位置での集光点に対応する異なる位相変調パターンを有する一連の照明に置き換えられると、対象物の画像を見ることができる(図9B)。
多くの光源または多くの検出器のいずれかが使用される従来の合成画像処理では、光源または検出器の位置合わせが保証されなければならず、そうでなければ、画像内の対象物は、異なる光源または検出器の下での標的のシフトのためにぼやけてしまう。システム100では、対象物上の集光点による異なる変調は、高い空間周波数における標的の情報がすべて同じ撮像システムに収集されることを明らかにし、したがってさらなる位置合わせの必要はない。
一般的に言えば、霧からの後方散乱ノイズは、霧への入射光の強さに比例する。それが、濃霧走行時には、ハイビームヘッドランプを避けるべき利用である。そうでなければ、霧の中の水粒子からの強い後方散乱光によって形成された白い壁を除いて、何も見えない。画質を改善するために、(対象物からの)信号対ノイズ(霧からの後方散乱)比を増加させるためのいくつかの手法が本明細書に記載されている。しかしながら、霧の状態のなかで撮像にカメラを用いる限り、光が霧を通過する際に散乱する霧からのヘジングノイズを避けることは困難である。
テクスチャフィルタリング手法は、霧散乱によって引き起こされる霞みを除去するために霧内で撮影された画像にフィルタリングを適用することによって対象物のテクスチャを強調することができ、対象物の異なる領域に焦点を合わせた入射照明で撮影された各画像に適用される。換言すれば、フィルタリング手法を、ヘイズ効果が同じ画像内のテクスチャ詳細を比較することによって霧から生じるヘイズノイズを除去するために、追加することができる。このようにして、対象物の画像のコントラストが強調される。
本明細書で説明したように、変調光の集光点が対象物に入射してスキャンすると、各集光点で撮影された画像は、共焦点処理、構造処理、およびフィルタリングによって処理され、対象物の画質は、輝度の向上、コントラストの向上、および解像度の向上の点ではるかに良好な視覚化の改善と共に大幅に改善することができる。
上述の特徴(例えば、システム/方法)は、以下の開示における実施形態の1つまたは複数の1つまたは複数の特徴と組み合わせることができる。以下の開示における1つまたは複数の部品/例は、上述の特徴(例えば、システム/方法)に適用することができる。代替的および/または追加的に、以下の開示における実施形態の1つまたは複数の変更は、上述の特徴(例えば、システム/方法)に適用することができる。以下の説明は、照明および/または撮像システムおよび関連する方法を提供する。
以下では、適応照明および視覚化の強調を伴う照明および/または撮像システムおよび関連する方法について説明する。一例として、以下の開示の多くは、車両と共に使用するための車両ヘッドランプシステムおよび関連方法(例えば、自動車、トラック、ボート、飛行機などである)の文脈における照明システムおよび関連方法を説明する。以下の開示は、様々な運転条件で車道および/または周囲環境を照明するための車両ヘッドランプシステムおよび関連する方法を説明するが、本明細書に記載されたものに加えて他の用途および他の実施形態は、本技術の範囲内である。例えば、当業者は、本技術の少なくともいくつかの実施形態が、他の用途の中でも、車両リアランプ、光検出および測距(Lidar)システム、信号機、街灯、灯台、および道路標識に有用であり得ることを容易に認識するであろう。以下により詳細に説明するように、本技術の実施形態に従って構成された方法および/またはシステムは、照明および/または撮像システムから投影される将来の照明の照明プロファイルを適合させる(例えば、維持する、調節する、調整する、および/または調整する)ためのフィードバックとして、照明および/または撮像システムに反射および/または後方散乱された照明を使用するように構成される。
特定の大気条件(例えば、霧、雨、雪、埃、大気汚染、および/または他の散乱媒体)が存在する場合、第1の方向に投影された照明は、第1の方向とほぼ反対の第2の方向を含むいくつかの方向に散乱され、後方散乱ノイズを生成する。この散乱は、(i)物体に到達する投影された照明の量、および(ii)物体から反射して照明および/または撮像システムの検出器に戻る照明の量を減少させる。したがって、後方散乱ノイズおよび/または別の信号(例えば、グレア)の存在下での反射信号の強度およびその信号対ノイズ比は大幅に減少し、大気条件および/または撮像画像内での物体の明るさおよびコントラストが低下する。さらに、不均一で激しい散乱は、物体に向かう途中の投影された照明と、照明および/または撮像システムの検出器に戻る途中の反射された照明の両方を歪ませる。これにより、大気条件および/または撮像画像内での物体の解像度が低下する。
例として従来の車両ヘッドランプシステムを使用すると、従来のヘッドランプから投射される照明は運転者の目を含むいくつかの方向に散乱されるため、強い霧、雨、雪、埃、および/または大気汚染が存在する場合、ロービーム設定もハイビーム設定も適切な前方および/または側方照明を提供しない。車道に到達する照明が少なくなり、霧、雨、雪、埃、大気汚染、および/または他の運転状態からの後方散乱光によって運転者の目がフラッシングされるため、散乱は車道および/または周囲環境の視界不良をもたらす。さらに、これらの運転状態は、道路および/または周囲環境内の物体から反射された後に運転者の目に戻る照明を歪める。
この問題に対処するために、多くの車両はフォグランプも含む。フォグランプは、典型的には、車両の低い位置に配置され、上述の運転状態において運転者の目に向かう散乱を最小限に抑えるために、平坦で広い照明分布を提供するように特に構成される。しかしながら、照明の分布は調整することができず、照明の一部は他の道路利用者の目に向けられる。このため、一部の管轄区域では、極端に霧が多い運転条件以外でフォグランプを使用することは違法である。さらに、フォグランプは、通常、別個の照明源として提供され、車両の従来のヘッドランプの代わりに、またはそれに加えて使用されることが多い。
多くの他の従来の照明および/または撮像システムは、後方散乱ノイズの問題に対処するために様々な他の手法を使用する。例えば、多くの従来の照明システムは、検出器による後方散乱ノイズの検出を最小限に抑えるために、特定の時間にのみ検出器を反射信号に曝露することを含む時間ゲーティング検出を使用する。この手法は、物体から反射された光の信号対ノイズ比を増加させるが、検出器によって検出されるのは弾道光のみである。弾道光(すなわち、散乱媒体を通って直線状に妨げられることなく移動する光子)は、通常、最初に投射された光信号のごく一部である。このため、微弱なリターン信号を検出できる専用の検出器が必要となる。さらに、検出器は指定された時間にのみ露出されるため、照射された物体と検出器との間の距離を知る必要がある。したがって、この手法は、照明システムおよび/または照明された物体が移動する設定では使用することができない。
別の従来の手法は、後方散乱ノイズと破壊的に干渉するために参照光ビームを使用することである。特に、後方散乱ノイズの光位相とは反対の光位相(例えば、後方散乱ノイズに対するπ位相シフトを有する光位相)を有する参照光ビームが、後方散乱ノイズを相殺するために従来の照明システムから投射される。しかしながら、後方散乱ノイズの分布は、散乱媒体の異なる層からの複数の光学位相を含む。このように、参照光ビームは、後方散乱ノイズの一部のみと破壊的に干渉し、後方散乱ノイズのすべてが相殺されるわけではないことを意味する。加えて、従来の照明システムは、後方散乱ノイズと、基準光ビームを投射する前に物体から反射された光とを区別しない。このように、参照光ビームは、反射光信号の全部または一部を打ち消すことがある。
したがって、本技術の実施形態は、後方散乱照明を低減し、および/または散乱媒体または他の大気条件(例えば、太陽または別の光源からのグレア)の存在下で物体の視認性を高めるために、1つまたは複数の照明および/または撮像システムにおいて(例えば、1つまたは複数の車両ヘッドランプにおいて)適応照明および/または視覚化強調技術を使用する。このようにして、本技術の実施形態は、他の従来の解決策(例えば、従来の車両用前照灯の代わりに、または従来の車両用前照灯に加えて、フォグランプを使用すること、時間ゲーティング検出の使用;および/または参照光ビームの使用)の使用を不要にする。いくつかの実施形態では、例えば、システムは、照明源、1つまたは複数の検出器、およびコントローラを使用して、照明および/または撮像システムから(例えば、車両のヘッドライトシステムから)投影された照明を現在の大気条件(例えば、散乱媒体および/またはグレアの存在)に選択的に適合または調整する。特に、照明源は、コントローラによって定義された照明プロファイルに従って照明を投影することができる。検出器は、投影された照明の後方散乱および/または反射部分を検出することができる。検出された照明の部分に少なくとも部分的に基づいて、コントローラは、照明および/または撮像システムから投影される将来の照明の1つまたは複数の特性を適合させる(例えば、維持および/または調整する)ように照明プロファイルを適合させる(例えば、維持および/または調整する)ことができる。本技術のこれらおよび他の実施形態は、照明および/または撮像システムから投影される照明の1つまたは複数の特性を空間的に変調および/または変更するために変調器をさらに使用することができる。
以下の説明および図10~図19Cには、本開示の様々な実施形態の完全な理解を提供するために、特定の詳細が記載されている。しかしながら、照明および/または撮像システムおよび関連する方法に関連することが多い周知の構造およびシステムを説明する他の詳細は、本開示の様々な実施形態の説明を不必要に不明瞭にすることを避けるために以下に記載されない。
図10~図19Cに示される詳細、寸法、角度、および他の特徴の多くは、本開示の特定の実施形態の単なる例示である。したがって、他の実施形態は、本開示の趣旨または範囲から逸脱することなく、他の詳細、寸法、角度、および特徴を有することができる。さらに、当業者は、本開示のさらなる実施形態が、以下に記載される詳細のいくつかなしで実施され得ることを理解するであろう。
図10は、開示された技術的特徴の1つまたは複数の態様に係る適応照明の照明および/または撮像システム100(「照明システム100」または「システム100」)の概略図を示す。図10の図は、図1のブロック図に記載されているシステム100の一例である。図示のように、システム100は、照明源101、検出器103、および変調器104と通信する(例えば、有線および/または無線)コントローラ102を含む。図10のコントローラ102は図1の処理回路102に対応し、これらの用語は交換可能に使用できることを理解されたい。いくつかの実施形態では、システム100は、ケーシング105を含むことができる。ケーシング105は、照明源101、コントローラ102、検出器103、および/または変調器104を囲む(例えば、パッケージおよび/または保護する)ために使用することができる。ケーシング105は、光透過性材料とすることができる。これらおよび他の実施形態では、システム100は、コントローラ102と通信する(例えば、有線および/または無線)複数の検出器103を含むことができる。例えば、図10に示すように、システム100は、以下でより詳細に説明するように、照明源101によって投影された照明を検出するように配向された検出器103’および/または投影された照明のうちの1つまたは複数の方向に反射された部分を検出するように配向された検出器103を含むことができる。本技術の実施形態の説明を不必要に不明瞭にすることを避けるために図示されていないが、システム100はまた、適応照明および/または視覚化拡張のための他のハードウェアおよび/または構成要素を含むことができる。例えば、システム100は、ソフトウェア、ソフトウェアを記憶するためのメモリ、および/または他の信号処理ハードウェアを含むことができる。
本技術の実施形態によれば、システム100の照明源101は、照明(例えば、車道上および/または周囲環境内に)を投影および/または放出するように構成された任意の照明源とすることができる。例えば、照明源101は、電球(例えば、ハロゲン電球)、ライトバー、発光ダイオード(LED)、レーザ、レーザダイオード、LEDによって照明される蛍光体材料(例えば、蛍光体プレート)、照明源のアレイ、および/または別の種類の照明源とすることができる。図10に示す実施形態では、照明源101はレーザダイオードである。以下により詳細に説明するように、照明源101は、変調器104を通しておよび/またはシステム100から離れて照明を投影するように構成することができる。
図10の第1の検出器103および/または第2の検出器103’は、光パワー検出器、撮像センサなどであってもよい。例えば、第1および第2の検出器103,103’は、第1および第2の検出器103,103’に入射する光(例えば、可視、赤外線など)信号を検出するように構成された光検出器(例えば、画像センサ、電荷結合素子(CCD)、フォトダイオード、カメラなどである)とすることができる。
これらおよび他の実施形態では、第1および第2の検出器103,103’は、入射非光学(例えば、音響、RFなど)信号を検出するように構成された非光学センサとすることができる。これらおよびさらに他の実施形態では、第1および第2の検出器103,103’は複数のセンサを含むことができる。例えば、第1および第2の検出器103,103’は、(例えば、水中用途で使用するために)非光学センサに結合された光学センサを含むことができる。これらの実施形態では、光センサは、高周波および/または短波長光信号を他のタイプの非光信号(例えば、音響信号)に変換することができ、その後、非光学センサによって検出することができる。この構成は、環境内に存在する低周波および/または長波長ノイズを除去することができ、および/または信号を音響信号に変換することによって信号の完全性を維持することができる。
上述したように、第1の検出器103および/または第2の検出器103’の全部または一部は、照明源101によってケーシング105内に封入することができる。これらおよび他の実施形態では、第1の検出器103および/または第2の検出器103’は、ケーシング105の外側の位置に配置することができる。例えば、第1の検出器103および/または第2の検出器103’は、別の照明システム100のケーシング105などの異なるケーシング105内に配置することができる。これらおよび他の実施形態では、第1の検出器103および/または第2の検出器103’は、車両ヘッドランプ照明システム100という観点から運転者の目のより近くに(例えば、車両のフロントガラスに、またはその近くに)配置することができる。さらなる実施形態では、第1の検出器103および/または第2の検出器103’は、照明源101に対して異なる適切な配置を有してもよい。例えば、図10に示すように、第2の検出器103’は、物体から反射された照明を検出するように配置されるのではなく、照明源101によって投影された照明を検出するように配置される。
図10に示す変調器104は、照明源101から投影される照明の振幅、位相、波長、および/または他の特性を変調するように構成された空間および/または時間変調器とすることができる。いくつかの実施形態では、例えば、変調器104は空間光変調器(SLM)(例えば、液晶SLM)である。例えば、変調器104は、照明源101から投影される照明の光振幅を変調するように構成された、デジタル・マイクロミラー・デバイス(DMD)などの振幅ベースの変調器とすることができる。これらおよび他の実施形態では、DMDは、DMDの画素を符号化することによって、照明源101から投影された照明の光位相を変調するように構成することができる。これらおよびさらに他の実施形態では、DMDは、DMDのバイナリ画素を符号化することによって、光位相および光振幅を同時に変調するように構成することができる。
変調器104は、追加的に(または代替的に)放射波長変調器であってもよい。これらの実施形態では、変調器104は、照明源101からの照明の強度を変更するように構成することができる。例えば、変調器104は、レーザまたはLED照明源101からの青色発光を変化させるように、および/または蛍光体プレート照明源101からの黄色発光を変化させるように構成することができる。これらおよび他の実施形態では、変調器104は照明源101を含むことができ、および/またはその逆も可能である。
コントローラ102は、マイクロコントローラ、専用論理回路(例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)などである)、または他の適切なプロセッサとすることができる。いくつかの実施形態では、例えば、コントローラ102は、(i)マイクロプロセッサまたはオンチッププロセッサなどのプロセッサ(図示せず)、および(ii)埋め込みメモリ(図示せず)を含むことができる。プロセッサは、組み込みメモリに格納された命令を実行するように構成することができる。埋め込みメモリは、照明源101、検出器103、および/または変調器104の間の通信を管理することを含む、照明システム100の動作を制御するための様々なプロセス、論理フロー、およびルーチンを格納するように構成することができる。いくつかの実施形態では、埋め込みメモリは、例えば、メモリポインタ、フェッチされたデータなどを記憶するメモリレジスタを含むことができる。埋め込みメモリは、マイクロコードを記憶するための読み出し専用メモリ(ROM)を含むことができる。図10に示す照明システム100はコントローラ102を含むが、本技術の他の実施形態では、システム100はコントローラを含まなくてもよく、代わりに外部制御(例えば、車両によって、別の照明システムによって、および/または別のシステムによって提供される)に依存してもよい。
動作中、照明および/または撮像システム100の照明源101は、変調器104を通しておよび/またはシステム100から離れるように照明を放射するように構成される。例えば、照明源101は、(例えば、車道、物体、および/または周囲環境を照らすために、および/または情報を通信するために)変調器104を通ってシステム100から離れるように照明を投影することができる。検出器103’は、コントローラ102に通信することができる光学信号および/または非光学信号の形態で検出器103’に到達する投影された照明の一部を検出することができる。追加的または代替的に、検出器103は、コントローラ102に通信することができる光学信号および/または非光学信号の形態で後方散乱および反射照明を検出することができる。以下により詳細に説明するように、コントローラ102は、検出器103および/または検出器103’によって検出された照明に少なくとも部分的に基づいて、照明源101および/または変調器104を適合させる(例えば、維持、更新、調整、修正、変更、調整など)ことによって、システム100から投影される将来の照明の照明プロファイルを適合させる(例えば、維持、更新、調整、修正、変更、調整などを行うことができる)ことができる。このようにして、コントローラ102は、検出された照明を現在の大気条件に関するフィードバックとして使用することができ、したがって、システム100から投影される将来の照明を現在の大気条件に適合させて、物体に到達する照明量を向上させ、および/または視認性を向上させることができる。
図11は、本開示の技術的特徴の1つまたは複数の態様に係る、照明および/または撮像システム200(例えば、図10に示すシステム100)を使用した適応照明および/または視覚化強調のための技術の部分概略図である。例として、照明および/または撮像システム200は、車両ヘッドランプシステム200である。しかしながら、上述したように、当業者は、本技術の少なくともいくつかの実施形態が、とりわけ、車両リアランプ、光検出および測距(Lidar)システム、信号機、街灯、灯台、および道路標識を含む他の用途に有用であり得ることを容易に認識するであろう。
図11に示すように、コントローラ102は、照明源101に投影するよう指令し、および/または変調器104に所望の照明プロファイルで照明を通過させるよう指令するように構成される。いくつかの実施形態では、例えば、コントローラ102は、照明源101に、1つまたは複数の所望の時間特性を有する照明を投影するよう指令することができる。例えば、コントローラ102は、(例えば、変調器104を介して)照明を連続的に投影するように照明源101に指令することができる。他の実施形態では、コントローラ102は、照明源101に、照明を一連230の1つまたは複数の周期パルス240に投影するよう指令することができる。これらおよび他の実施形態では、コントローラ102は、パルス240のうちの1つまたは複数の持続時間232を定義することができ、および/または隣接するパルス240の開始間に1つまたは複数の時間間隔231を定義することができる。
追加的または代替的に、コントローラ102は、照明源101から投影された照明を空間的に変調するように変調器104に指令することができる。例えば、変調器104は、照明源101が照明を投影するように構成されている、1つまたは複数のプログラム可能な領域または画素280を含むことができる。これらの実施形態では、コントローラ102は、ヘッドランプシステム200のメモリに保存された1つまたは複数の変調グリッドまたはパターン210に従って領域280の1つまたは複数の特性をプログラムする(例えば、設定、維持、変更、更新、調整、適合、調整など)ように変調器104に指令することができる。パターン210は、1つまたは複数の既知の駆動条件および/または照明の1つまたは複数の特定の分布に対応することができる。したがって、変調器104の各領域280は、1つまたは複数の所望の特性を有する照明を通過させることができる。
いくつかの実施形態では、例えば、コントローラ102は、光振幅の所望の空間分布を有する照明を通過させるように領域280をプログラムするように変調器104に命令することができる。一例として図11に示されるパターン211を使用すると、コントローラ102は、変調器104の対角線Dに沿った領域280(例えば、領域282~284)が大きな光振幅を有する照明を通過させ、対角線Dから外れた領域280(例えば、領域281)がより小さな光振幅を有する照明を通過させるように、領域280をプログラムするように変調器104に命令することができる。いくつかの実施形態では、光学振幅分布を正規化することができる(例えば、0~1)。
これらおよび他の実施形態では、コントローラ102は、光位相の所望の空間分布を有する照明を通過させるように領域280をプログラムするように変調器104に命令することができる。特定の一例では、コントローラ102は、0ラジアンと6.28ラジアンとの間の位相を有する照明を通過させるように領域280をプログラムするように変調器104に命令することができる。一例として再び第1パターン211を参照すると、コントローラ102は変調器104に、第1の光位相で照明を通過させるように領域281をプログラムし、(例えば、第1の相とは異なる)第2の光位相で照明を通過させるように領域283をプログラムするよう命令できる。
これらおよびさらに他の実施形態では、コントローラ102は、他の特性の所望の分布を有する照明を通過させるように領域280をプログラムするように変調器104に命令することができる。例えば、コントローラ102は、所望の波長の空間分布を有する照明を通過させるように領域280をプログラムするように変調器104に命令することができる。これらおよび他の実施形態では、領域280は、極性の所望の空間分布を有する照明を通過させるように、および/または所望の方向および/または所望の角度で照明を通過させる(例えば、向ける)ようにプログラムすることができる。
一般に、図12Aは、M×N次元を有するシステムの透過行列を示し、Mは変調器上の画素(要素)の数であり、Nはカメラ上の画素(要素)の数である(例えば、CCD)。図12Aの透過行列のM画素を有する各列は、図12Bに示す最適化位相/振幅変調パターンに対応し、変調器に表示されると、図12Cに示す対象物上に集光点を形成する。より詳細な例として、図12Aは、開示された技術的特徴の1つまたは複数の態様に係る、照明および/または撮像システム100および/または車両ヘッドランプシステム200(図10および図11)を使用して取得された周囲環境の透過行列383の概略図である。図示されるように、透過行列383は、M×N個の要素を有し、Mは、検出器103(例えば、電荷結合素子(CCD))の要素(例えば、画素)の数であり、Nは、変調器104(例えば、SLMの)の要素(例えば、画素)の数である。
図12Bは、開示された技術的特徴の1つまたは複数の態様に係る、透過行列383から導出された変調パターン310における最適化された空間位相分布の概略図である。上記の説明によれば、変調パターン210内の領域280は、1つまたは複数の所望の特性(例えば、1つまたは複数の光学位相および/または振幅)を有する照明を通過させるように(例えば、コントローラ102によって)個別にプログラムすることができる。例えば、図12Cは、図12Bに示す変調パターン310に対応する強度プロット389である。図12Cに示すように、変調パターン310(図12B)内の領域280(図12B)は、投影照明の集光点387を有する照明プロファイルを有する照明を通過させるようにプログラムすることができる。以下でより詳細に説明するように、照明および/または撮像システム100および/または車両ヘッドランプシステム200は、様々な集光点(例えば、集光点387)で1つまたは複数の照明パターンを投影して、1つまたは複数の対応する集光点画像(図示せず)を捕捉することができる。いくつかの実施形態では、集光点画像を組み合わせて、物体の視覚化品質を向上させることができる。
図13Aおよび図13Bは、開示される技術的特徴の1つまたは複数の態様に係る照明および/または撮像システム100の(例えば、車両ヘッドランプシステム200の)動作原理を示す部分概略図である。図13Aに示すように、例えば、照明源101は、上記の説明に従って、変調器104を通してシステム100から離れて照明440(例えば、投影照明440)を放射するように構成される。照明440がシステム100から投影された後、投影された照明440がシステム100の前方の環境450内の粒子(例えば、霧、雨、雪、埃、汚染など)に遭遇すると、投影された照明440の第1の部分441はシステム100に向かって後方散乱される。照明のこの第1の部分441は、本明細書では後方散乱照明441または後方散乱ノイズと呼ばれ、システム100の検出器103によって検出および/または測定することができる。以下により詳細に説明する適応照明および/または視覚化の向上がない場合、検出器103によって検出および/または測定された後方散乱照明441の量は、環境450内の粒子の数と正の相関がある。
照明440の第2の部分442は、環境450内の粒子(例えば、妨げられない、および/または前方散乱による)を通過し、対象物460に向かう。物体460は、例えば、検出器103’、道路、道路標識、車両、歩行者、樹木、動物などを含むことができる。図10に示すような検出器103’を有する実施形態では、検出器103’は、照明440の第2の部分442を検出および/または測定することができる。以下により詳細に説明する適応照明および/または視覚化の向上がない場合、検出器103’によって検出および/または測定される照明440の第2の部分442の量は、環境450内の粒子の数と負の相関がある。照明440の第2の部分442の一部(図示せず)は、物体460によって吸収および/または散乱され、第2の部分442の残りの部分443は、システム100に向かって反射される。残りの部分443の第1の部分444は、残りの部分443が環境450内の粒子に遭遇すると、物体460に向かって後方散乱される。図10に示すような追加の検出器103’を有する実施形態では、検出器103’は、残りの部分443の第1の部分444を検出および/または測定することができる。以下により詳細に説明する適応照明および/または視覚化の強調がない場合、検出器103’によって検出および/または測定された残り443の第1の部分444の量は、環境450内の粒子の数と正の相関がある。
残りの部分443の第2の部分445は、環境450内の粒子(例えば、妨げられない、および/または前方散乱による)を通過する。残りの部分443の第2の部分445は、本明細書では反射照明445と呼ばれ、システム100の検出器103によって検出することができる。以下により詳細に説明する適応照明および/または視覚化の向上がない場合、検出器103によって検出される反射照明445の量は、環境450内の粒子の数と負の相関がある。
上述したように、システム100の検出器103は、後方散乱照明441および/または反射照明445を検出するように構成することができる。図10に示すような検出器103’を有する実施形態では、検出器103’は、投影された照明440の第2の部分442および/または残りの部分443の第1の部分444を検出するように構成することができる。検出器103,103’は、後方散乱照明441、反射照明445、投影照明440の第2の部分442、および/または残りの部分443の第1の部分444を電気信号に変換し、電気信号をコントローラ102に伝達するようにさらに構成することができる。これは、投影された照明440のうちのどれだけが物体460のうちの1つまたは複数に到達するか、および/または反射された照明445のうちのどれだけがシステム100に戻されるかの表示を提供することができる。コントローラ102内の信号処理ハードウェア(図示せず)は、検出器103,103’から受信した電気信号を分析することができる。例えば、信号処理ハードウェアは、電気信号を1つまたは複数の他のドメインまたはスペクトルに変換することができ、および/または得られた変換を既知の運転条件のシグネチャ変換と比較することができる。
例示的な条件として重度の霧を使用すると、信号処理ハードウェアは、そのフーリエ変換を行うことによって、図13Aに示す検出器103から受信した電気信号を周波数領域に変換することができる。フーリエ変換は、霧から白色後方散乱照明441を生成するために組み合わされる色に対応するいくつかの周波数を有する検出された照明の高い存在を示す。フーリエ変換は、物体460から反射された反射照明445に対応する同じおよび/または異なる色の照明に対応する周波数を有する検出された照明の存在をさらに示すことができる。次いで、コントローラ102は、フーリエ変換を既知の運転条件のシグネチャ変換と比較することができ、変換が霧の高存在のシグネチャ変換に類似していると判定することができる。
いくつかの実施形態では、コントローラ102は、フーリエ変換比較に加えて、またはその代わりに、後方散乱照明441および/または反射照明445の他のパラメータを使用することができる。例えば、コントローラ102は、照明源101が照明441を投影した後、検出器103が後方散乱照明440および/または反射照明445をどれだけ迅速に検出したかを算出することができる。これらの実施形態では、環境450内の深い霧からの後方散乱照明441は、システム100の前方の白色物体460(例えば、車両、建物など)からの反射照明445よりもはるかに迅速に検出器103によって検出される。したがって、コントローラ102が、(i)フーリエ変換が、白壁に対応する周波数を有する検出された照明の高い存在、またはグレアを示す、および/または(ii)検出された照明が、照明源101が照明440を投影した後に迅速に検出器103によって検出されたと判定した場合、コントローラ102は、深い霧が存在すると判定することができる。
これらおよびさらに他の実施形態では、照明および/または撮像システム100(例えば、コントローラ102)は、検出器103および/または検出器103’から受信した電気信号から環境450の透過行列(例えば、図12Aに示す透過行列383)を取得することができる。これらの実施形態では、コントローラ102は、透過行列から最適化された変調パターン210(図11)および/またはパターン310(図12B)を導出することができる。取得された透過行列に対応する最適化された変調パターン210および/または310を決定するためにコントローラ102が使用する時間を短縮するために、コントローラ102は、周囲環境450の低次元透過行列(例えば、環境450内の散乱媒体)から高次元変調パターン210および/または310を算出するために、1つまたは複数の最適化アルゴリズムを使用することができる。例えば、検出器103,103’および/またはコントローラ102は、少数の入射チャネルを有する低次元透過行列を取得することができる。コントローラ102は、照明および/または撮像システム100に予めロードされた1つまたは複数の光パターンを使用して低次元透過行列を評価することができる。次いで、コントローラ102は、低次元透過行列および1つまたは複数の最適化アルゴリズム(例えば、特異値分解処理アルゴリズム、低次元透過行列の逆行列から数学的誤差を除去するアルゴリズム、検出器103上のフィードバックを監視することによって特異値を最適化するアルゴリズム、および/または新たに生成された要素を用いて低次元透過行列の次元を増加させるアルゴリズムなどである)を使用して、高次元変調パターン210および/または310を算出することができる。
他のパラメータ、および/または最適化された変調パターン210および/または310の比較に基づいて、コントローラ102は、照明源101および/または変調器104に、システム100によって投影される将来の照明の照明プロファイルを適合させる(例えば、維持、更新、変更、修正、調整などを行うことができる)よう命令することができる。再び図11を参照すると、例えば、コントローラ102は、照明源101に、照明440の次のパルス(図13A)の持続時間232および/またはシーケンス230内の照明440の隣接するパルス間の時間間隔231を適合させるよう命令することができる。これらおよび他の実施形態では、コントローラ102は、照明440の1つまたは複数の特性の空間変調を適合させるために、(例えば、パターン211,220,221、または222)パターン210に従って領域280をプログラムするように変調器104に命令することができる。
濃霧の例に戻り、照明および/または撮像システム100が最初にパターン211に従って照明440を投影したと仮定すると、コントローラ102は、照明440の時間変調を適合させる(例えば、維持および/または変更する)ように照明源101に命令することができる(例えば、照明440の次のパルスの)。追加的または代替的に、コントローラ102は、照明440の空間変調を適合させる(例えば、維持および/または変更する)ように変調器104に命令することができる。例えば、コントローラ102は、(i)深い霧の存在および/または(ii)検出された照明の他のパラメータ(すなわち、図13Aに示す後方散乱照明441および/または反射照明445)に対応する最適化されたパターン210(例えば、パターン220)に従って領域280をプログラムするように変調器104に命令することができる。
図13Bを参照すると、照明440の時間的および/または空間的変調を適合させることによって、システム100は、照明440を環境450および/またはシステム100の前方の物体460に適合させる。システム100は、(例えば、パターン211の代わりに最適化されたパターン220に従って)例えば、照明440の位相および/または振幅を適合させることによって、後方散乱照明441の量を減少させながら、環境450内の(例えば、妨げられない、および/または前方散乱による)粒子を通過する照明440の第2の部分442を増加させることができる。次に、物体460から反射される照明440の残りの部分443が増加し、これは、システム100に戻る反射照明445の量も増加することを意味する。結果として、(i)照明440の後方散乱がシステム100に向かって少なくなるため(例えば、運転者の目に向かって)視認性が大幅に向上すると予想され、(ii)照明440のより多くが大気450内の粒子を通過し、それによってシステム100の前方の物体460を照明する。
それに加えて、またはその代わりに、照明440の照明プロファイルを適合させることによって、システム100は、物体460を運転者にとってより鮮明におよび/またはより明らかにすることが期待される。いくつかの実施形態では、例えば、システム100は、照明440のより多くを物体460に向けることによって、および/または照明440の物体460に向けられた部分の1つまたは複数の特性を調整することによって、物体460の視認性を高めることができる。これは、例えば、物体460を明るくしてそれらをより視認可能にすることができ、および/または(例えば、反射グレアを低減するために)物体上の特定の領域の明るさを減少させることができる。これらの実施形態および他の実施形態では、システム100は、異なる特性を有する照明440および/または照明440の一部を環境450内の他の領域に向けることができる。これにより、(i)環境450に対する物体460のコントラスト、および/または(ii)物体460の視認性および/または明瞭性が向上すると予想される。図12A~図12Cに関して上述し、以下により詳細に説明するように、例えば、システム100は、1つまたは複数の集光点を有する1つまたは複数の照明パターンを投影して、1つまたは複数の集光点画像を取得することができる。物体460のコントラスト、視認性、および/または明瞭性を高めるために、2つまたはそれ以上の集光点画像を組み合わせることができる。
図14は、開示された技術的特徴の1つまたは複数の態様に係る照明および/または撮像システム100を動作させる方法の構造撮像ルーチン570を示す流れ図である。例として、ルーチン570は、車両ヘッドランプシステム200(図11)との関連で説明される。いくつかの実施形態では、ルーチン570は、少なくとも部分的に、ヘッドランプシステム200によって、ヘッドランプシステム200と通信する(例えば、有線および/または無線)別の装置またはシステム(例えば、車両)によって、および/またはヘッドランプシステム200のオペレータまたはユーザ(例えば、車両の運転者)によって実行することができる。例えば、ルーチン570は、図10、図11、図13A、および/または図13Bに示す照明源101、コントローラ102、検出器103、検出器103’、および/または変調器104によって実行することができる。
ルーチン570は、自動的におよび/または構造撮像を実行するための命令に応答して呼び出されることができる。いくつかの実施形態では、例えば、ルーチン570は、ヘッドランプシステム200の電源がオンになったときに(例えば、ヘッドランプシステム200が設置された車両の電源がオンになったとき、車両のヘッドランプの電源がオンになったときなどである)自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン570は、検出器103および/または検出器103’が(例えば、天候、埃、グレアなどに起因する)視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン570は、運転者が設定機能オプション(例えば、車両のダッシュボード上、ヘッドランプシステム200上など)を起動したことに応答して呼び出すことができる。
呼び出されると、ルーチン570はブロック571で開始して、初期照明プロファイルを事前定義および/または放出することができる。いくつかの実施形態では、初期照明プロファイルは、デフォルトの変調パターンに対応することができる。例えば、ルーチン570は、ヘッドランプシステム200に、1つまたは複数の特性のデフォルトの時間的および/または空間的分布を有する照明を放射するよう命令することができる。いくつかの実施形態では、デフォルト特性分布は、ヘッドランプシステム200の製造および/または試験中に定義することができる。これらおよび他の実施形態では、デフォルト特性分布は、一連のパターン(例えば、ヘッドランプシステム200のメモリに保存される)内の特定のパターン(例えば、最初のパターン、中間パターン、最後のパターンなどである)に対応することができる。さらに他の実施形態では、デフォルトの特性分布は、(例えば、ヘッドランプシステム200の電源がオフにされる前に)ヘッドライトシステム200から放射された最後の照明プロファイルに対応することができる。
他の実施形態では、ルーチン570は、初期照明プロファイルを事前定義するために1つまたは複数の測定を実行および/または分析するように構成することができる。例えば、ルーチン570は、(例えば、環境内に存在する日光の量を測定するために)ヘッドランプシステム200の検出器103によって検出された照明を分析するように構成することができる。それに加えて、またはその代わりに、ルーチン570は、車両内の他のシステムまたはデバイス(例えば、雨センサ、昼光センサ、温度センサ、別のヘッドランプシステム200などである)から利用可能な他の測定値および/または情報を分析するように構成することができる。このデータから、ルーチン570は、初期照明プロファイルを定義することができる。初期照明プロファイルを定義した後、ルーチン570は、ヘッドランプシステム200の照明源101および/または変調器104を使用して照明プロファイルを放射することができる。
ブロック572において、ルーチン570は、反射および/または後方散乱照明を検出する。いくつかの実施形態では、ルーチン570は、ヘッドランプシステム200の検出器103を使用して反射および/または後方散乱照明を検出することができる。これらおよび他の実施形態では、ルーチン570は、異なる検出器103(例えば、車両に設置された別のヘッドランプシステム200の検出器103、運転者の目の近くに配置された検出器103など)を使用して反射および/または後方散乱照明を検出することができる。図10に示すような検出器103’を有する実施形態では、ルーチン570は、追加的または代替的に、ブロック572において、照明源101から投影され、検出器103’に入射する照明の一部を検出することができる。これにより、照明システム100に、(i)妨げられることなく、かつ/または前方散乱(例えば、図13Aおよび図13Bに示す投影照明440の第2の部分442の表示である)を介して(例えば、散乱媒体を通過して)検出器103’に到達する投影照明の量、および/または(ii)検出器103’に向かって(例えば、散乱媒体によって)後方散乱される反射照明の量の表示(例えば、図13Aおよび図13Bに示す残り443の第1の部分444の表示)を提供することができる。検出器103,103’は、検出された照明を電気信号に変換することができ、信号をヘッドランプシステム200のコントローラ102に通信することができる。
ブロック573において、ルーチン570は、検出された照明を評価し、最適化された照明プロファイルおよび対応する変調パターン210を決定する。いくつかの実施形態では、ルーチン570は、ヘッドランプシステム200のコントローラ102内の信号処理ハードウェアを使用して、検出された照明を評価する。これらの実施形態では、ルーチン570は、電気信号を1つまたは複数の他のドメインまたはスペクトルに変換することができ、得られた変換を既知の運転状態のシグネチャ変換と比較することができる。これらおよび他の実施形態では、ルーチン570は、電気信号の1つまたは複数の他のパラメータを分析することができる。例えば、コントローラ102は、照明源101が照明441を投影した後、検出器103が後方散乱照明440および/または反射照明445をどれだけ迅速に検出したかを算出することができる。これらおよびさらに他の実施形態では、ルーチン570は、周囲環境の透過行列を取得することができ、透過行列からおよび/または透過行列に対応する最適化された変調パターンを算出および/または導出することができる。1つまたは複数の他のパラメータ、および/または透過行列に少なくとも部分的な比較に基づいて、ルーチン570は、現在の運転条件に対応する最適化された照明プロファイルを決定することができる。
ブロック574において、ルーチン570は、対応する変調パターン210を使用して最適化された照明プロファイルを発する。いくつかの実施形態では、ルーチン570は、対応する変調パターン210に従って投影された照明の1つまたは複数の時間的特性を適合させる(例えば、維持および/または調整する)ように照明源101に命令する。例えば、ルーチン570は、照明源101に連続照明を投影するよう命令することができ、または照明源101に(例えば、周期的)照明パルスを投影するよう命令することができる。これらおよび他の実施形態では、ルーチン570は、照明パルスの持続時間を維持および/または調整するように照明源101に命令することができ、および/またはパルスシーケンス230内の隣接する照明パルスの開始間の時間間隔を維持および/または調整するように照明源に命令することができる。
これらおよびさらに他の実施形態では、ルーチン570は、投影された照明の空間変調を適合させる(例えば、維持および/または調整する)ように変調器104に命令することができる。例えば、ルーチン570は、変調器104に、対応する変調パターン210に従って変調器104の1つまたは複数の領域280をプログラムするよう命令することができる。次に、プログラムされた領域280は、投影された照明の1つまたは複数の特性の空間分布を適合させることができる。いくつかの実施形態では、1つまたは複数の特性は、振幅、位相、波長、極性、および/または方向、角度、および/または集光点などの他の特性を含むことができる。
いくつかの実施形態では、ルーチン570は、散乱媒体を通って前方散乱される投影照明の量を増加させるために投影照明の1つまたは複数の特性を適合させるように照明源101および/または変調器104に命令することができる。例えば、ルーチン570は、散乱媒体を通過し、物体で反射し、および/または照明システムに戻る弾道光強度、振幅、および/または量を増加させるために、より大きな振幅または強度(例えば、電力)で、照明源101に投影および/または変調器104に照明を通過させるように命令することができる。これらおよび他の実施形態では、ルーチン570は、変調器104に、(例えば、変調器104内の領域280のうちの1つまたは複数をプログラムすることによって)投影された照明の光位相および/または振幅(例えば、部分)を変調して、物体に集中する(すなわち、局在化)前方散乱照明の量を増加させるよう命令することができる。散乱媒体を介して前方散乱される弾道照明および/または照明の量、振幅、および/または強度を増加させることによって、物体に入射する照明の量および光パワーが増加する。次に、散乱媒体を通る物体(例えば、CCDまたは眼などのモニタ上に表示されたおよび/またはモニタで見た画像内の物体の輝度測定値)の輝度が増加し、物体をより見やすくする。
これらおよび他の実施形態では、ルーチン570は、投影された照明が散乱媒体に遭遇したときに生成される後方散乱照明の量を減少させるように、および/または後方散乱照明をリダイレクトするように、投影された照明の1つまたは複数の特性を適合させるように変調器104に命令することができる。例えば、ルーチン570は、投影された照明が散乱媒体に遭遇すると、投影された照明のうちのより少ない照明がヘッドライトシステム200に向かって後方に散乱され、および/または投影された照明のうちのより多くの照明が検出器103、車両のフロントガラス、および/または運転者の目から離れる方向に散乱されるように、投影された照明の光位相および/または振幅(例えば、部分)を変調するように変調器104に命令することができる。もしそうしなければ照明プロファイルの最適化なしに後方散乱照明となる、後方散乱照明の量を減少させることによって、および/または投影された照明の部分をリダイレクトすることによって、物体から反射されて検出器103に戻される照明の信号対ノイズ比が増加する。すなわち、物体(例えば、(i)物体と(ii)散乱媒体および/または周囲環境との間の可視差)のコントラストが向上し、物体をより見やすくすることが期待される。
これらおよびさらに他の実施形態では、ルーチン570は、検出器103によって収集される高空間周波数照明の量を増加させるために投影照明の1つまたは複数の特性を適合させるように変調器104に命令することができる。例えば、ルーチン570は、変調器104に、投影された照明の光位相および/または振幅(例えば、その一部)を変調して、より多くの量の投影された照明が散乱媒体を通過するか、または散乱媒体によって物体に向かって散乱されるようにするよう命令することができる。これにより、光軸に対して大きな角度で物体に当たる投影照明の量を増やすことができ、光軸に対して大きな反射(例えば、放出)角度および高い空間周波数を有する反射照明の量を増やすことができる。これらおよび他の実施形態では、ルーチン570は、変調器104に、投影された照明(例えば、その一部)の光位相および/または振幅を変調するよう命令することができ、それにより、最適軸に対して大きな角度で物体から反射し、高い空間周波数を有する反射照明のより多くの量が、検出器103に向かって散乱媒体を通過し、および/または散乱される。すなわち、高い空間周波数を有し、検出器103によって検出および/または収集される反射照明の量を増加させることができる。このようにして、物体(例えば、物体の2つの別個の構成要素を区別する能力、および/または物体の構成要素の近さを視覚的に解決することができる)の空間解像度を高めることができ、物体をより見やすく、より鮮明にする(例えば、散乱媒体を介して、および/または別の物体から離れて)。
ブロック575において、ルーチン570は、ブロック572におけるルーチン570と同様の方法で照明を検出する。ブロック576において、ルーチン570は、検出された照明を評価する。いくつかの実施形態では、ルーチン570は、ブロック573でルーチン570と同様の方法で検出された照明を評価することができる。
ブロック577において、ルーチン570は、ヘッドランプシステム200の前方の環境が変化したか変化したかを判定する。例えば、ルーチン570は、ブロック575および/または576で検出および/または評価された照明のフーリエ変換を、(i)既知の運転条件のシグネチャフーリエ変換、(ii)ブロック572および/または573で以前に検出および/または評価された照明のフーリエ変換、および/または(iii)ブロック574および/または575で以前に(例えば、ブロック574~578の前の反復において)検出および/または評価された照明のフーリエ変換と比較することができる。これらおよび他の実施形態では、ルーチン570は、環境が変化したかどうかを判定するために、ブロック571,574および/または575および/または他のソース(例えば、他の検出器103、他のセンサなどである)から収集および/または分析された他の情報および/またはパラメータを比較することができる。これらおよびさらに他の実施形態では、ルーチン570は、周囲環境の取得された透過行列を分析すること、および/または取得された透過行列を以前に取得された透過行列と比較することによって、環境が変化したかどうかを判定することができる。
環境が変化した(例えば、ヘッドランプシステム200はもはや霧の中にはないが、ブロック571~574の実行中および/またはブロック574~578の前の反復中に以前はあった)とルーチン570が判定した場合、ルーチン570はブロック571に戻り、初期照明プロファイルを事前定義および/または放出することができる。いくつかの実施形態では、ルーチン570は、ブロック575~577で収集および/または評価された情報を使用して、ルーチン570がブロック571に戻るときに初期照明プロファイルを事前定義することができる。他の実施形態では、ルーチン570は、ブロック571に戻る前に、ブロック575~577で収集および/または評価された情報を破棄することができる。
一方、環境が変化していないとルーチン570が判定した場合、ルーチン570はブロック578に進むことができる。ブロック578において、ルーチン570は、最適化された照明プロファイルを決定する。いくつかの実施形態では、ルーチン570は、上述したブロック573のルーチンと同様の方法で、最適化された照明プロファイルを決定することができる。これらおよび他の実施形態では、ルーチン570は、ブロック574~578の以前の反復および/またはブロック573で決定された最適化された照明プロファイルを使用して、最適化された照明プロファイルを決定することができる。例えば、ルーチン570は、視認性の1つまたは複数の態様(例えば、鮮明度、コントラスト、焦点、後方散乱照明の量、反射照明の量などである)が、1つまたは複数の以前の最適化された照明プロファイルに関連して強調されているかどうかを判定することができる。これらの実施形態では、1つまたは複数の態様が強調されていない場合、ルーチン570は、(例えば、異なる変調パターン210を選択することによって)以前の最適化された照明プロファイルに戻ることができ、および/または異なる最適化された照明プロファイルを決定することができる。ルーチン570が最適化された照明プロファイルを決定すると、ルーチン570はブロック574に戻り、ブロック574においてルーチン570と同様の方法で、最適化された照明プロファイルに従って照明を放射することができる。
いくつかの実施形態では、図14に示すルーチン570は、連続的および/または定期的に実行することができる。例えば、ルーチン570は、30μs~45μsごとにルーチン570の反復(例えば、ブロック571~574、574~578、および/または571~578)を実行するように構成することができる。他の実施形態では、ルーチン570は、数ナノ秒(例えば、3~50ナノ秒ごと)ごとに反復を実行するように構成することができる。さらに他の実施形態では、ルーチン570は、数ミリ秒毎(例えば、1~50ミリ秒ごと)および/または数秒毎(例えば、毎秒、5秒毎、30秒毎などである)に全反復を実行するように構成することができる。
ルーチン570のステップは特定の順序で説明および図示されているが、ルーチン570はそのように限定されない。他の実施形態では、ルーチン570は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン570のステップのいずれかは、ルーチン570の他のステップのいずれかの前、最中、および/または後に実行することができる。さらに、当業者であれば、ルーチン570を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン570は、ブロック574,577および/または578を実行した後に終了することができる。さらに、図14に示すルーチン570の1つまたは複数のステップは、いくつかの実施形態では省略(例えば、ブロック577)および/または繰り返すことができる。
図15は、開示される技術的特徴の1つまたは複数の態様に係る、照明および/または撮像システム100(例えば、車両ヘッドランプシステム200)を動作させる方法の共焦点撮像ルーチン680を示す流れ図である。いくつかの実施形態では、ルーチン680は、少なくとも部分的に、照明および/または撮像システム100によって、照明および/または撮像システム100と通信する(例えば、有線および/または無線)別のデバイスまたはシステムによって、ならびに/あるいは照明および/または撮像システム100のオペレータまたはユーザによって実行することができる。例えば、ルーチン680は、図10、図11、図13A、および/または図13Bに示す照明源101、コントローラ102、検出器103、検出器103’、および/または変調器104によって実行することができる。
ルーチン680は、自動的に、および/または共焦点撮像を実行するための命令に応答して呼び出すことができる。いくつかの実施形態では、例えば、ルーチン680は、照明および/または撮像システム100の電源がオンになったときに自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン680は、検出器103および/または検出器103’が(例えば、天候、埃、グレアなどに起因する)視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン680は、オペレータが照明および/または撮像システム100および/または照明および/または撮像システム100と通信する別のデバイスまたはシステム上で設定機能オプションをアクティブ化することに応答して呼び出すことができる。
呼び出されると、ルーチン680はブロック681で開始して、照明プロファイルのシーケンスを定義することができる。いくつかの実施形態では、照明プロファイルのシーケンスは、照明および/または撮像システム100の製造および/または試験中に定義された1つまたは複数の照明プロファイルのデフォルトシーケンスとすることができる。例えば、照明プロファイルのシーケンスは、照明および/または撮像システム100に予めロードされた1つまたは複数の変調パターン(例えば、図12Bに示す変調パターン310)のデフォルトシーケンスに対応することができる。これらおよび他の実施形態では、デフォルトシーケンスは、照明および/または撮像システム100の視野のすべてまたはサブ組に沿ってスキャンすることができる。これらおよびさらに他の実施形態では、ルーチン680は、照明システムから投影された照明が、投影された照明の1つまたは複数の集光点(例えば、図12Cに示す集光点387)の選択されたおよび/または所望のシーケンスを有するように、1つまたは複数の変調パターンを選択および/または順序付けることができる。これらおよびさらに他の実施形態では、ルーチン680は、照明プロファイルのシーケンスを定義するために1つまたは複数の測定を実行および/または分析するように構成することができる。例えば、ルーチン680は、照明および/または撮像システム100の検出器103および検出器103’によって検出された照明を分析する(例えば、照明および/または撮像システム100の視野内の物体を識別し、環境内に存在する昼光の量を測定し、存在する散乱媒体の種類および/または量を決定し、周囲環境および/または散乱媒体の透過行列を取得および/または評価することなどを行う、など)ように構成することができる。追加的または代替的に、ルーチン680は、他のシステムまたはデバイス(例えば、雨センサ、昼光センサ、温度センサ、別の照明システム100など)から利用可能な他の測定値および/または情報を分析するように構成することができる。このデータから、ルーチン680は、(例えば、照明システム100の視野内で識別された物体の表面に沿ってスキャンするために)照明プロファイルのシーケンスを定義することができる。
ブロック682において、ルーチン680は、照明プロファイルシーケンスにおいて初期照明プロファイルを発する。いくつかの実施形態では、ルーチン680は、照明源101に、初期照明プロファイルに従って、1つまたは複数の時間的特性を有する照明を投影するよう命令する。例えば、ルーチン680は、照明源101に連続照明を投影するよう命令することができ、または照明源101に(例えば、周期的)照明パルスを投影するよう命令することができる。これらおよび他の実施形態では、ルーチン680は、指定された持続時間および/または照明パルス間の指定された時間間隔で照明を投影するように照明源101に命令することができる。
これらおよびさらに他の実施形態では、ルーチン680は、変調器104に、初期照明プロファイルに対応する変調パターン210(例えば、図12Bに示す変調パターン310)に従って変調器104の1つまたは複数の領域280をプログラムするよう命令することができる。プログラム領域280は、投影された照明が1つまたは複数の集光点(例えば、図12Cに示す集光点387)を有し、照明システム100の視野内の指定された位置(例えば、識別された物体の指定された部分)を集束照明ビームで照明するように、投影された照明の1つまたは複数の特性の空間分布を変調することができる。いくつかの実施形態では、1つまたは複数の特性は、振幅、位相、波長、極性、および/または方向および/または角度などの他の特性を含むことができる。
ブロック683において、ルーチン680は、反射照明を検出し、初期照明プロファイルに対応する集光点画像を取り込む。初期照明プロファイルは投影照明の1つまたは複数の集光点(例えば、1つまたは複数の集束ビーム)を含んでいたので、物体から反射され、かつ/または照明および/または撮像システム100の検出器103に向かって戻る照明の照明プロファイルは、反射照明の1つまたは複数の対応する集光点を含む。例えば、図16Aは、開示された技術的特徴の1つまたは複数の態様に係る照明システム100を使用して捕捉された集光点画像791である。図示のように、集光点画像791は、ルーチン680によって容易に検出および/または識別することができる反射照明の集光点701を含む。すなわち、集光点画像791は、反射照明の強度が点701を囲む位置よりもはるかに大きい点701を含む。これにより、ルーチン680は、他の従来の共焦点照明および/または撮像システムで一般的なピンホール開口部を使用することなく、集光点画像を取り込むことができる。
ブロック684において、ルーチン680は、照明プロファイルシーケンス内の次の照明プロファイルを発する。いくつかの実施形態では、ルーチン680は、ブロック682でルーチン680と同様の方法で次の照明プロファイルを放射することができる。ブロック685において、ルーチン680は、反射照明を検出し、次の照明プロファイルに対応する集光点画像を取り込む。いくつかの実施形態では、ルーチン680は、ブロック685におけるルーチン680と同様の方法で、反射照明を検出し、および/または次の照明プロファイルに対応する集光点画像を取り込む。
いくつかの実施形態では、ルーチン680はブロック684および685に戻り、(i)照明プロファイルシーケンス内の次の照明プロファイルを放射し、(ii)反射照明を検出し、および/または対応する集光点画像を取り込むことができる。例えば、図16B~図16Dは、ブロック684および685に戻った後にルーチン680によって取り込まれた物体の集光点画像792~794である。特に、集光点画像792~794は、図16Aに示す集光点画像791を取り込むために使用された照明プロファイルの後に生じる照明プロファイルシーケンス内の3つの対応する照明プロファイルを使用して取り込まれた。集光点画像792~794の各々は、反射照明のそれぞれの集光点702~704を有する。反射照明の集光点702~704は、照明プロファイルシーケンス内の投影照明プロファイル内の投影照明の集光点に対応する。図16A~図16Dを参照すると、集光点702~704は、集光点画像791内の集光点701よりも各集光点画像792~794内のさらに右に位置する。同様に、集光点703および704は、それぞれの集光点画像793および794内の集光点701および702よりも、それぞれの集光点画像791および792内の右にさらに配置される。集光点704はまた、それぞれの集光点画像791~793内の集光点701~703よりも集光点画像794内の右にさらに配置される。言い換えれば、ルーチン680は、ブロック684および685に戻り、(i)投影された照明の様々な集光点を使用して照明システム100の視野を横切って(例えば、内部の物体の表面)、(例えば、調べる箇所を)スキャンし、(ii)対応する反射照明を検出し、および/または対応する集光点画像を取り込むことができる。
ルーチン680は、ルーチン680(i)が照明プロファイルシーケンス内の最後の照明プロファイルを発するまで、ブロック684および685に戻り続けることができる。追加的に、または代替的に、ルーチン680は、以下でより詳細に説明するように、捕捉された集光点画像を組み合わせるためにブロック686に進むことができる。例えば、ルーチン680は、ブロック684に戻る前、最中、および/または後にブロック686に進み、照明プロファイルシーケンス内の次の照明プロファイルを放射することができる。
ブロック686において、ルーチン680は、任意選択的に、2つまたはそれ以上の捕捉された集光点画像を組み合わせることを含むことができる。例えば、図17Aは、それぞれ図16A~図16Dに示す集光点画像791~794を使用して作成された撮像システム100の視野内の物体の画像815である。特に、ルーチン680は、集光点画像791~794を重ね合わせることによって画像815を作成することができる。図示のように、画像815は、集光点画像791~794のいずれか単独よりも鮮明な物体の描写を提供する。さらに、物体の描写は、画像815内の他の位置における物体の描写よりも、集光点画像(例えば、これらの位置における物体の描写は、より明るく、より大きなコントラストを有し、より大きな解像度を有するなどである)内の集光点701~704に対応する画像815内の位置においてより明確である。その実施形態および他の実施形態では、ルーチン680は、(例えば、ノイズ)2つまたはそれ以上の集光点画像を一緒に平均化することによって、2つまたはそれ以上の捕捉された集光点画像を組み合わせることができる。上述したように、捕捉された集光点画像を組み合わせること(ブロック686)は、ルーチン680のいくつかの実装形態では必要ではない任意選択のステップである。
ルーチン680がより多数の集光点画像を組み合わせると(例えば、より局所的な照明画像が取り込まれるにつれて)、撮像システム100の視野内の物体の描写がさらに明確になる。例えば、図17Bは、図17Aに示す画像815に描かれているが、反射照明の異なる集光点を有する1000を超える集光点画像を重ね合わせることによって作成された物体の画像820である。図示のように、画像820内の物体のコントラスト、解像度、および視認性は、それぞれ図16A~図16Dに示す集光点画像791~794内の物体のコントラスト、解像度、および視認性、ならびに図17Aに示す合成画像815内の物体のコントラスト、解像度、および視認性よりもはるかに大きい。これは、ルーチン680が、投影された照明の集光点を使用して物体の表面全体および/または照明システム100の視野全体をスキャンすることにより、光軸に対して大きな角度で物体から反射された高い空間周波数を有する反射照明を検出(例えば、収集する)および/または取り込むことができるためである。さらに、投影された照明は、1つまたは複数の集光点を含むため、投影された照明は、検出器103において回折が制限され、これは、迷光横方向干渉がないことを意味する。その結果、被写体の画像コントラストが向上する。さらに、ルーチン680は、様々な深さの複数の物体を区別することができる。
ルーチン680のステップは特定の順序で説明および図示されているが、ルーチン680はそのように限定されない。他の実施形態では、ルーチン680は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン680のステップのいずれかは、ルーチン680の他のステップのいずれかの前、最中、および/または後に実行することができる。さらに、当業者であれば、ルーチン680を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン680は、ブロック682,683,684,685および/または686を実行した後に終了することができる。さらに、図15に示すルーチン680の1つまたは複数のステップは、いくつかの実施形態では省略および/または繰り返すことができる。
図18は、本技術の実施形態に係る、照明および/または撮像システム100(例えば、車両ヘッドランプシステム200)を動作させる方法のハイブリッド撮像ルーチン930を示す流れ図である。いくつかの実施形態では、ルーチン930は、少なくとも部分的に、照明および/または撮像システム100によって、照明および/または撮像システム100と通信する(例えば、有線および/または無線)別のデバイスまたはシステムによって、ならびに/あるいは照明および/または撮像システム100のオペレータまたはユーザによって実行することができる。例えば、ルーチン930は、図10、図11、図13A、および/または図13Bに示す照明源101、コントローラ102、検出器103、検出器103’、および/または変調器104によって実行することができる。
ルーチン930は、自動的に、および/またはハイブリッド撮像を実行するための命令に応答して呼び出すことができる。いくつかの実施形態では、例えば、ルーチン930は、照明および/または撮像システム100の電源がオンになったときに自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン930は、検出器103および/または検出器103’が(例えば、天候、埃、グレアなどに起因する)視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン930は、オペレータまたはユーザが照明および/または撮像システム100および/または照明および/または撮像システム100と通信する別のデバイスまたはシステム上で設定機能オプションをアクティブ化することに応答して呼び出すことができる。
呼び出されると、ルーチン930はブロック931で開始して、初期照明プロファイルを決定して放射し、反射および/または後方散乱照明を検出することができる。いくつかの実施形態では、ルーチン930は、図14に関して上述したブロック571,572および/または573におけるルーチン570と同様の方法で、初期照明プロファイルを決定および放射することができ、ならびに/または反射および/もしくは後方散乱照明を検出することができる。
ブロック932において、ルーチン930は、最適化された照明プロファイルを決定し、対応する変調パターン210を取得する。いくつかの実施形態では、ルーチン930は、図14に関して上述したブロック573のルーチン570と同様の方法で、最適化された照明プロファイルを決定することができ、および/または対応する変調パターン210を取得することができる。
ブロック933において、ルーチン930は、対応する変調パターン210を使用して最適化された照明プロファイルを放射する。いくつかの実施形態では、ルーチン930は、図14に関して上述したブロック574のルーチン570と同様の方法で、対応する変調パターン210を使用して最適化された照明プロファイルを放射することができる。例えば、ルーチン930は、照明源101および/または変調器104を使用して照明システム100によって投影される照明の1つまたは複数の特性を変調して、(i)物体に向かって前方散乱される投影照明の量を増加させ、(ii)照明システム(例えば、検出器103に向かって)に向かって後方散乱される投影照明の量を減少させ、および/またはリダイレクトし、および/または(iii)検出器103によって収集される高空間周波数照明の量を増加させることができる。
ブロック934において、ルーチン930は、周囲環境の構造照明および/または撮像を実行する。いくつかの実施形態では、ルーチン930は、図14に関して上述したブロック575~578および/または571~578においてルーチン570と同様の方法で周囲環境の構造撮像を実行することができる。これらおよび他の実施形態では、ルーチン930は、周囲環境の構造撮像を実行して、周囲環境の弾道光画像を取り込む。これらおよびさらに他の実施形態では、ルーチン930は、(例えば、図14に示すルーチン570のブロック577で環境が変化していない場合)周囲環境の2つまたはそれ以上の弾道光画像を一緒に平均化して、検出器103によって検出された反射照明の信号対ノイズ比を増加させることができる。このようにして、ルーチン930は、(例えば、散乱媒体を介して)周囲環境(例えば、その中の物体)の輝度および画像コントラストを増加させることができる。
それに加えて、またはその代わりに、ルーチン930は、周囲環境および/または1つまたは複数の物体の共焦点撮像を実行する。例えば、ルーチン930は、(ブロック934において)ルーチン930が周囲環境の構造撮像を実行するのと同時に、またはその前および/または後に連続的に共焦点撮像を実行することができる。ルーチン930が構造撮像を実行した後および/または構造撮像の実行と同時に共焦点撮像を実行する実施形態では(ブロック934において)、ルーチン930は、取得された周囲環境の透過行列(例えば、散乱媒体)、最適化された照明プロファイル、および/または対応する変調パターン210を使用して共焦点撮像を実行することができる。いくつかの実施形態では、ルーチン930は、図15に関して上述したブロック681~686でルーチン680と同様の方法で共焦点撮像を実行することができる。
ブロック936において、ルーチン930は、周囲環境および/または複数の物体のうちの1つのハイブリッド撮像を実行する。いくつかの実施形態では、ルーチン930は、(i)ブロック934においてルーチン930が周囲環境の構造撮像を実行している間にルーチン930によって捕捉された周囲環境の1つまたは複数の弾道光画像を、(ii)ブロック935においてルーチン930が周囲環境および/または1つまたは複数の物体の共焦点撮像解析を実行している間にルーチン930によって捕捉された1つまたは複数の集光点画像と組み合わせることによって、周囲環境のハイブリッド撮像を実行する。例えば、ルーチン930は、弾道光画像を集光点画像と平均化することによって、1つまたは複数の弾道光画像を1つまたは複数の集光点画像と組み合わせることができる。これらおよび他の実施形態では、ルーチン930は、共焦点画像を弾道光画像に重ね合わせることによって、1つまたは複数の弾道光画像を1つまたは複数の集光点画像と組み合わせることができる。これらおよびさらに他の実施形態では、ルーチン930は、(i)弾道光画像を一緒に平均化し、(ii)共焦点画像を平均化された弾道光画像に重ね合わせることによって、1つまたは複数の弾道光画像を1つまたは複数の集光点画像と組み合わせることができる。
例のために、図19A~図19Cは、本技術およびルーチン930のいくつかの実施形態の効果を示すために提供されている。図19Aは、例えば、散乱媒体が存在しない物体の画像1040であり、照明および/または撮像システム100を使用して取り込まれる。図19Bは、散乱媒体の存在下で最適化する前の図19Aに示す物体の画像1050であり、照明および/または撮像システム100を使用して取り込まれている。図19Cは、散乱媒体の存在下で最適化され、照明および/または撮像システム100を使用して捕捉された、図19Aおよび図19Bに示す物体のハイブリッド画像1060である。画像1040、1050、および1060のそれぞれの拡大部分1041、1051、および1061も、それぞれ部分1045、1055、および1065をより容易に見るために、それぞれ図19A~図19Cに示されている。
図19Aを参照すると、画像1040および拡大部分1041の部分1045は、垂直線を含む。図示のように、散乱媒体が存在しない場合、垂直線はわずかに視認可能であり、物体の他の特徴と区別可能である。この例では、縦線のコントラスト(SNR)は1.98であり、解像度は20p/mmである。
図19Bを参照すると、散乱媒体が存在する場合、画像1050の部分1055および拡大部分1051の垂直線は歪んで見え、図19Aに示す部分1045の同じ垂直線よりも物体の他の特徴と区別するのが難しい。特に、画像1050の垂直線は、0.25のコントラスト(SNR)および解像度1.4p/mmを有し、これらは両方とも図19Aに示す画像1040の垂直線よりはるかに悪い。画像1050の拡大部分1051における縦線の明るさは6,385である。これは、(少なくとも部分的には)照明および/または撮像システム100から投影された照明が散乱媒体によって照明および/または撮像システム100の検出器103に向かって散乱されるときに生成される後方散乱ノイズの存在の増加に起因する。
図19Cを参照すると、照明および/または撮像システム100が物体のハイブリッド撮像(例えば、共焦点撮像と組み合わせた構造撮像)を採用した後、画像1060の部分1065の垂直線の輝度、コントラスト、および解像度は、図19Bに示す画像1050の垂直線および図19Aに示す画像1040の垂直線の両方と比較して向上する。特に、最適化後の画像1060における縦線の輝度は、84,800まで上昇している。同様に、最適化後の画像1060の縦線のコントラストは2.08増加し、最適化後の画像1060の縦線の解像度は14p/mmに増加した。
このようにして、ルーチン930は、(i)照明および/または撮像システム100を取り囲む環境の照明を向上させる(例えば、内部の物体)こと、ならびに/あるいは(ii)周囲環境内の物体の視認性および/または明瞭さを向上させることができる。これは、(a)周囲環境の構造的撮像、および/または(b)周囲環境および/または周囲環境内の物体の共焦点撮像によって達成される。より具体的には、ルーチン930は、(i)周囲環境内の散乱媒体を通して前方散乱される投影照明の量を増加させること、(ii)散乱媒体によって検出器103に向かって後方散乱されるノイズおよび/または照明の量を減少させるおよび/またはリダイレクトすること、(iii)検出器103によって収集される高空間周波数照明の量を増加させること、および/または(iv)周囲環境のすべてまたはサブ組を投影照明の1つまたは複数の集光点で照明する(例えば、スキャン)ことによって、周囲環境および/または周囲環境内の物体の照明および/または撮像を強調する。
ルーチン930のステップは特定の順序で説明および図示されているが、ルーチン930はそのように限定されない。他の実施形態では、ルーチン930は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン930のステップのいずれかは、ルーチン930の他のステップのいずれかの前、最中、および/または後に実行することができる。さらに、当業者であれば、ルーチン930を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン930は、ルーチン930のブロック931~936のいずれかを実行した後に終了することができる。さらに、図18に示すルーチン930の1つまたは複数のステップは、いくつかの実施形態では省略および/または繰り返すことができる。
本技術の実施形態の説明を不必要に不明瞭にすることを避けるために図示していないが、図10~図19Cで上述した前述のシステムおよび方法のいずれかは、システムの構成要素を指示および/もしくは配置するように、ならびに/または例えば、機械および/もしくはシステムの他の構成要素から受信したデータを受信、配置、記憶、分析、および/もしくは処理するように構成されたコンピューティングデバイス(例えば、コントローラ102を含む)を含むことができ、ならびに/またはそれによって実行することができる。したがって、そのようなコンピューティングデバイスは、これらのタスクを実行するために必要なハードウェアおよび対応するコンピュータ実行可能命令を含む。より具体的には、本技術の一実施形態に従って構成されたコンピューティングデバイスは、プロセッサ、記憶デバイス、入力/出力デバイス、1つまたは複数のセンサ、ならびに/あるいは任意の他の適切なサブシステムおよび/または構成要素(例えば、ディスプレイ、スピーカ、通信モジュールなどである)を含むことができる。記憶装置は、情報を保持し、保持された情報へのアクセスを提供するように構成された記憶構成要素の回路またはネットワークの組を含むことができる。例えば、記憶装置は、揮発性および/または不揮発性メモリを含むことができる。より具体的な例として、記憶装置は、ランダムアクセスメモリ(RAM)、磁気ディスクまたはテープ、および/またはフラッシュメモリを含むことができる。
コンピューティングデバイスはまた、プロセッサおよび/またはコンピューティングデバイスによって実行されると、図10~図19Cを参照して詳細に上述したように、システムに適応照明および/または視覚化強調を実行させるコンピュータ実行可能命令を格納したコンピュータ可読媒体(例えば、一時的な伝播信号自体のみを除外して、記憶装置、ディスクドライブ、および/または他の記憶媒体)を含むことができる。さらに、プロセッサは、本明細書に記載の方法に関連するステップ、算出、分析、および任意の他の機能を実行または制御するように構成することができる。
いくつかの実施形態では、記憶装置は、システムによって収集されたデータ、ならびにシステムの構成要素を指示および/または調整するために使用されるデータを格納するために使用される1つまたは複数のデータベースを格納することができる。一実施形態では、例えば、データベースは、本開示の譲受人によって設計されたHTMLファイルである。しかしながら、他の実施形態では、データは他の種類のデータベースまたはデータファイルに記憶される。
当業者は、システムの様々な構成要素(例えば、コンピューティングデバイス)をサブ構成要素にさらに分割することができること、またはシステムの様々な構成要素および機能を組み合わせて統合することができることを理解するであろう。さらに、これらの構成要素は、有線および/または無線通信を介して、ならびに記憶媒体に含まれる情報によって通信することができる。
本技術の実施形態の上記の詳細な説明は、網羅的であること、または本技術を上記で開示された正確な形態に限定することを意図するものではない。本技術の具体的な実施形態および実施例は例示目的のために上記で説明されているが、当業者が認識するように、本技術の範囲内で様々な同等の変更が可能である。例えば、本明細書に記載されたものに加えて、他の用途および他の実施形態は、本技術の範囲内である。車両リアランプシステムにおいて、本明細書に記載の実施形態の様々な態様および構成要素は、悪い運転条件で後続の運転者および/または車両に到達する照明量を増加させるのに有用であり得る。これにより、リアランプシステムが設置された車両の視認性を高めることができ、事故(例えば、衝突)が発生する可能性を低減することができる。同じ原理が、信号機、街灯、灯台、および道路標識照明および/または撮像システムの状況に適用される。さらに、ステップは上記の所与の順序で提示されているが、代替の実施形態は異なる順序でステップを実行してもよい。本明細書に記載の様々な実施形態を組み合わせて、さらなる実施形態を提供することもできる。
上記から、本技術の特定の実施形態は、例示の目的で本明細書に記載されているが、周知の構造および機能は、本技術の実施形態の説明を不必要に不明瞭にすることを避けるために詳細に図示または説明されていないことが理解されよう。内容として許される場合、単数または複数の用語はまた、それぞれ複数または単数の用語を含むことができる。さらに、「または」という単語が2つまたはそれ以上の項目のリストに関して他の項目から排他的な単一の項目のみを意味するように明確に限定されない限り、そのようなリストにおける「または」の使用は、(a)リスト内の任意の単一の項目、(b)リスト内のすべての項目、または(c)リスト内の項目の任意の組み合わせを含むと解釈される。さらに、「備える(comprising)」、「含む(including)」、「有する(having)」、および「有する(with)」という用語は、全体を通して、少なくとも列挙された特徴を含むことを意味するために使用され、それにより、任意のより多くの同じ特徴および/または追加のタイプの他の特徴が除外されない。
上記から、本開示または本技術から逸脱することなく様々な変更を行うことができることも理解されよう。例えば、当業者は、本技術の様々な構成要素をサブ構成要素にさらに分割することができること、または本技術の様々な構成要素および機能を組み合わせて統合することができることを理解するであろう。さらに、特定の実施形態で説明された技術の特定の態様は、他の実施形態では組み合わされるかまたは排除されてもよい。さらに、本技術の特定の実施形態に関連する効果についてそれらの実施形態において説明したが、他の実施形態もそのような効果を示すことができ、すべての実施形態が本技術の範囲内に入るためにそのような効果を必ずしも示す必要はない。したがって、本開示および関連技術は、本明細書に明示的に示されていないまたは記載されていない他の実施形態を包含することができる。
図2A、図2B、図14、図15、および図18の上記の説明では、フローチャート内の任意のプロセス、説明、またはブロックは、プロセス内の特定の論理機能またはステップを実施するための1つまたは複数の実行可能指令を含むコードのモジュール、セグメント、または部分を表すものとして理解することができ、代替の実施態様は、当業者によって理解されるように、関連する機能に応じて、実質的に同時にまたは逆の順序を含む、図示または説明されたものとは異なる順序で機能を実行することができる本発明の例示的な実施形態の範囲内に含まれる。本明細書に記載の様々な要素、特徴、およびプロセスは、互いに独立して使用されてもよく、または様々な方法で組み合わされてもよい。すべての可能な組み合わせおよび部分的な組み合わせは、本開示の範囲内に入ることが意図されている。
次に、図20を参照して、例示的な実施形態に係るコンピュータ/デバイス(コントローラおよび/または処理回路102など)のハードウェア記述について説明する。本明細書に記載のハードウェア記述は、処理回路のハードウェア記述とすることもできる。図20では、処理回路102は、上記/下記のプロセスのうちの1つまたは複数を実行するCPU2000を含む。プロセスデータおよび指令は、メモリ2002に記憶することができる。これらのプロセスおよび指令はまた、ハードドライブ(HDD)または可搬型記憶媒体などの記憶媒体ディスク2004に記憶されてもよく、遠隔で記憶されてもよい。さらに、特許請求される進歩は、本発明のプロセスの指令が記憶されるコンピュータ可読媒体の形態によって限定されない。例えば、指令は、CD、DVD、フラッシュメモリ、RAM、ROM、PROM、EPROM、EEPROM、ハードディスク、またはサーバもしくはコンピュータなどの処理回路102が通信する任意の他の情報処理装置に格納することができる。
さらに、特許請求される進歩は、CPU2000ならびにMicrosoft Windows、UNIX(登録商標)、Solaris、LINUX、Apple MAC-OSおよび当業者に知られている他のシステムなどのオペレーティングシステムと連携して実行する、ユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムの構成要素、またはそれらの組み合わせとして提供されてもよい。
処理回路102を実現するためのハードウェア要素は、様々な回路要素によって実現することができる。さらに、上述の実施形態の各機能は、1つまたは複数の処理回路を含む回路によって実装されてもよい。処理回路は、図20に示すように、特にプログラムされたプロセッサ、例えばプロセッサ(CPU)2000を含む。処理回路はまた、特定用途向け集積回路(ASIC)などのデバイスと、列挙された機能を実行するように配置された従来の回路構成要素とを含む。
図20では、処理回路102は、上述のプロセスを実行するCPU2000を含む。処理回路102は、汎用コンピュータまたは特定の専用マシンであってもよい。一実施形態では、処理回路102は、プロセッサ2000が霧(特に、図2A、図2B、図14、図15、および図18を参照して説明したプロセスのいずれか)による画像強調のために弾道光変調を使用するようにプログラムされている場合、特定の専用マシンになる。
代替的または追加的に、CPU2000は、当業者が認識するように、FPGA、ASIC、PLD上に、または独立した複数の論理回路を使用して実装されてもよい。さらに、CPU2000は、上述した本発明のプロセスの指令を実行するために並列に協働する複数のプロセッサとして実装されてもよい。
図20の処理回路102はまた、ネットワーク2028とインターフェースするために、米国のIntel Corporation製のIntel Ethernet PROネットワークインターフェースカードなどのネットワークコントローラ2006を含む。理解され得るように、ネットワーク2028は、インターネットなどの公衆ネットワーク、またはLANもしくはWANネットワークなどの私設ネットワーク、またはそれらの任意の組み合わせとすることができ、PSTNまたはISDNサブネットワークも含むことができる。ネットワーク2028はまた、イーサネットネットワークなどの有線であってもよく、EDGE、3Gおよび4G無線セルラシステムを含むセルラネットワークなどの無線であってもよい。無線ネットワークは、Wi-Fi、Bluetooth、または既知の任意の他の無線形式の通信であってもよい。
処理回路102は、モニタなどのディスプレイ2010とインターフェースするためのグラフィックスカードまたはグラフィックスアダプタなどのディスプレイコントローラ2008をさらに含む。汎用I/Oインターフェース2012は、キーボードおよび/またはマウス2014、ならびにディスプレイ2010上またはディスプレイとは別個のタッチスクリーンパネル2016とインターフェースする。汎用I/Oインターフェースはまた、プリンタおよびスキャナを含む様々な周辺機器2018に接続する。
処理回路102には、スピーカ/マイクロフォン2022とインターフェースし、それによって音声および/または音楽を提供する音声コントローラ2020も設けられている。
汎用ストレージコントローラ2024は、記憶媒体ディスク2004を、処理回路102のすべての構成要素を相互接続するための、ISA、EISA、VESA、PCI、または同様のものとすることができる通信バス2026と接続する。ディスプレイ2010、キーボードおよび/またはマウス2014、ならびにディスプレイコントローラ2008、ストレージコントローラ2024、ネットワークコントローラ2006、音声コントローラ2020、および汎用I/Oインターフェース2012の一般的な特徴および機能の説明は、これらの特徴が知られているので、ここでは簡潔にするために省略する。
本開示で説明される例示的な回路要素は、他の要素で置き換えられ、本明細書で提供される例とは異なるように構成されてもよい。さらに、本明細書に記載の特徴を実行するように構成された回路は、複数の回路ユニット(例えば、チップ)に実装されてもよく、または特徴は、単一のチップ組上の回路に組み合わされてもよい。
本明細書で説明される機能および特徴はまた、システムの様々な分散構成要素によって実行されてもよい。例えば、1つまたは複数のプロセッサは、これらのシステム機能を実行することができ、プロセッサは、ネットワーク内で通信する複数の構成要素にわたって分散される。分散構成要素は、様々なヒューマンインターフェースおよび通信デバイス(例えば、ディスプレイモニタ、スマートフォン、タブレット、携帯情報端末(PDA))に加えて、処理を共有することができる1つまたは複数のクライアントおよびサーバマシンを含むことができる。ネットワークは、LANまたはWANなどのプライベートネットワークであってもよく、インターネットなどのパブリックネットワークであってもよい。システムへの入力は、直接ユーザ入力を介して受信され、リアルタイムまたはバッチプロセスのいずれかでリモートで受信され得る。さらに、いくつかの実装形態は、説明したものと同一ではないモジュールまたはハードウェア上で実行されてもよい。したがって、他の実装形態も特許請求され得る範囲内である。
ここで開示された技術的特徴の実施形態を説明したが、上記は単なる例示であり、限定ではなく、単なる例として提示されたものであることは当業者には明らかである。したがって、本明細書では特定の構成について説明したが、他の構成も採用することができる。多数の変更および他の実施形態(例えば、組み合わせ、再編成などである)が本開示によって可能になり、当業者の範囲内にあり、開示された技術的特徴およびその任意の均等物の範囲内にあると考えられる。開示された実施形態の特徴は、追加の実施形態を生み出すために、本発明の範囲内で組み合わせる、再構成する、省略するなどすることができる。さらに、特定の特徴は、他の特徴を対応して使用せずに有利に使用されることがある。したがって、出願人は、開示された技術的特徴の趣旨および範囲内にあるすべてのそのような代替形態、変更形態、均等物、および変形形態を包含することを意図している。
Claims (20)
- 光源と、
前記光源から対象物に照射される光の位相および振幅のうちの1つまたは複数を変調するように構成された空間光変調器と、
前記対象物上に行列状に配置される1つまたは複数の集光点を生成するための照射パターン用の変調信号で前記空間光変調器を駆動するように構成され、
前記パターンに基づいて前記対象物上の前記1つまたは複数の集光点をスキャンするように構成される処理回路とを備え、
前記パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある1または複数の集光点上の光強度が強められるよう予め算出されている、
装置。 - 前記所定距離に位置する前記仮想対象上の前記パターンの情報を記憶するメモリ
をさらに備え、
前記処理回路は、霧を検出する信号に応答して、前記対象物上に前記集光点を生成するために前記メモリから検索された前記パターンを照射するようにさらに構成され、
前記メモリは、前記仮想対象上の1つまたは複数の前記パターンのセットに関する情報を記憶する、請求項1に記載の装置。 - 前記メモリは、前記仮想対象上の複数の前記パターンのセットに関する情報を記憶し、前記複数のパターンのセットの各々は、前記仮想対象から異なる距離で測定される、請求項2に記載の装置。
- 前記パターンを算出するための前記処理回路は、透過行列に基づいており、前記透過行列は、特定の光の前記空間光変調器上の光フィールド分布と、検出器によって測定された前記仮想対象上の前記特定の光の強度との間の関係として誘導される、請求項1に記載の装置。
- 前記空間光変調器の前記フィールド分布は、アダマール行列に基づく、請求項4に記載の装置。
- 前記対象物の画像を捕捉して画像データを生成するように構成されている撮像装置
をさらに備える、請求項1に記載の装置。 - 前記空間光変調器からの光照射方向の光路上または検出器の前方の光路上にある第2の変調器
をさらに備える、請求項1に記載の装置。 - 前記処理回路は、
前記パターンの各パターンで撮像された複数の第2の画像を重ね合わせて第1の画像を生成する
ようにさらに構成されている、請求項6に記載の装置。 - 前記処理回路は、
前記パターンの各パターンでされ捕捉された画像全体の各部分から前記1つまたは複数の集光点を抽出することによって生成された第4の画像を重ね合わせることによって第3の画像を生成する
ようにさらに構成されている、請求項6に記載の装置。 - 画像を生成するための方法であって、
前記対象物上に行列状に配置される1つまたは複数の集光点を生成するための照射パターンの変調信号によって空間光変調器を駆動するステップと、
前記パターンに基づいて前記対象物上の前記1つまたは複数の集光点をスキャンするステップと、
散乱媒体のない状態で所定距離にある仮想対象上にある1または複数の集光点上の光強度が強められるよう前記パターンを予め算出するステップと、
を含む、方法。 - 前記所定距離に位置する前記仮想対象上の前記パターンの情報を、メモリを介して記憶するステップと、
霧を検出する信号に応答して、前記対象物上に前記1つまたは複数の集光点を生成するために前記メモリから検索された前記パターンを照射するステップと、
をさらに含み、
前記メモリは、前記仮想対象上の1つまたは複数の前記パターンのセットに関する情報を記憶する、請求項10に記載の方法。 - 前記パターンを算出するステップは、透過行列に基づいており、前記透過行列は、特定の光の前記空間光変調器上の光フィールド分布と、検出器によって測定された前記仮想対象上の前記特定の光の強度との間の関係として誘導される、請求項10に記載の方法。
- 前記空間光変調器の前記フィールド分布を生成するためにアダマール行列から入力を受信するステップ
をさらに含む、請求項10に記載の方法。 - 前記対象物の画像を捕捉して画像データを生成するステップ
をさらに含む、請求項10に記載の方法。 - 前記空間光変調器からの光照射方向の光路上または検出器の前方の前記光路上にある第2の変調器を介して、前記仮想対象に前記パターンを照射するステップ
をさらに含む、請求項10に記載の方法。 - 前記パターンの各パターンで捕捉された複数の第2の画像を重ね合わせて第1の画像を生成するステップ
をさらに含む、請求項10に記載の方法。 - 前記パターンの各パターンで捕捉された画像全体の各部分から前記1つまたは複数の集光点を抽出することによって生成された第4の画像を重ね合わせることによって第3の画像を生成するステップ
をさらに含む、請求項10に記載の方法。 - 光源と、
前記光源から対象物に照射される光の位相および振幅のうちの1つまたは複数を変調するように構成された変調器と、
散乱媒体のない状態で取得された集光点スキャンのための最適化された入射パターンをプリロードし、
前記散乱媒体が識別されるのに応じて前記最適化された入射パターンを前記変調器に適用し、
前記スキャンされた集光点に対応する画像を取得し、
前記取得された画像に基づいて前記対象物の強調画像を生成するように構成される、処理回路と、
を備える、装置。 - 最適化された入射パターンをプリロードする前記処理回路は、
複数セットの変調器パターンを照射して仮想対象上の光を測定し、
撮像装置上の光強度と前記変調器の光フィールド分布との関係を示す透過行列を誘導し、
誘導された前記透過行列に基づいて前記仮想対象上に集光点を生成するための各々の最適化された変調器パターンを算出し、
算出された前記変調器パターンを前記プリロードされた最適化された入射パターンとしてメモリに記憶する
ようにさらに構成されている、請求項18に記載の装置。 - 前記変調器からの光照射方向または検出器前方の光路上にある第2の変調器
をさらに備え、
前記処理回路は、前記第2の変調器を介して前記仮想対象に前記最適化された入射パターンを照射するようにさらに構成されている、請求項18に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962797363P | 2019-01-28 | 2019-01-28 | |
US201962797366P | 2019-01-28 | 2019-01-28 | |
US62/797,366 | 2019-01-28 | ||
US62/797,363 | 2019-01-28 | ||
PCT/US2019/065410 WO2020159622A1 (en) | 2019-01-28 | 2019-12-10 | Ballistic light modulations for image enhancement through fog |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022517985A true JP2022517985A (ja) | 2022-03-11 |
Family
ID=71731144
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021540296A Withdrawn JP2022517985A (ja) | 2019-01-28 | 2019-12-10 | 霧を介した画像強調のための弾道光変調 |
JP2020204559A Pending JP2021093164A (ja) | 2019-01-28 | 2020-12-09 | 散乱プロセスにおける関係性を用いた散乱特性の構築に関するシステムおよび方法 |
JP2020204558A Pending JP2021099799A (ja) | 2019-01-28 | 2020-12-09 | 空間的および時間的変調を用いる後方散乱除去装置およびその方法 |
JP2020204557A Pending JP2021098500A (ja) | 2019-01-28 | 2020-12-09 | 非干渉性光を用いる照明システムおよび画像化方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204559A Pending JP2021093164A (ja) | 2019-01-28 | 2020-12-09 | 散乱プロセスにおける関係性を用いた散乱特性の構築に関するシステムおよび方法 |
JP2020204558A Pending JP2021099799A (ja) | 2019-01-28 | 2020-12-09 | 空間的および時間的変調を用いる後方散乱除去装置およびその方法 |
JP2020204557A Pending JP2021098500A (ja) | 2019-01-28 | 2020-12-09 | 非干渉性光を用いる照明システムおよび画像化方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US11181805B2 (ja) |
EP (2) | EP3918424A4 (ja) |
JP (4) | JP2022517985A (ja) |
CN (1) | CN113383280A (ja) |
WO (1) | WO2020159622A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109428916B (zh) | 2017-08-25 | 2022-02-22 | 中兴通讯股份有限公司 | 数据传输方法和装置、终端及服务器 |
US11474037B2 (en) * | 2020-06-01 | 2022-10-18 | Waymo Llc | Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment comprising a lock-in amplifier coupled to an optical modulator and an optical detector |
JP7090135B2 (ja) * | 2020-10-23 | 2022-06-23 | 浜松ホトニクス株式会社 | レーザ装置 |
CN112798603A (zh) * | 2021-01-06 | 2021-05-14 | 深圳技术大学 | 一种成像系统及其成像方法 |
US20220260679A1 (en) * | 2021-02-17 | 2022-08-18 | Continental Automotive Systems, Inc. | Lidar system that detects modulated light |
CN116408575B (zh) * | 2021-12-31 | 2024-06-04 | 广东美的白色家电技术创新中心有限公司 | 局部扫描、消除工件反光干扰的方法、装置和系统 |
CN115908175A (zh) * | 2022-11-15 | 2023-04-04 | 深圳信息职业技术学院 | 低照度图像多级增强方法、装置、电子设备以及存储介质 |
US20240201391A1 (en) * | 2022-12-19 | 2024-06-20 | Waymo Llc | Differential Methods for Environment Estimation, Lidar Impairment Detection, and Filtering |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955551B2 (en) * | 2002-07-12 | 2018-04-24 | Yechezkal Evan Spero | Detector controlled illuminating system |
JP4223769B2 (ja) * | 2002-08-30 | 2009-02-12 | 富士通株式会社 | 測定装置 |
US7590263B2 (en) * | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
US7461092B1 (en) * | 2005-09-12 | 2008-12-02 | Storage Technology Corporation | Content organization and storage method for storing holographic search database |
CA2633377C (en) * | 2005-12-19 | 2016-05-10 | Institut National D'optique | Object-detecting lighting system and method |
FR2940205B1 (fr) * | 2008-12-19 | 2011-11-25 | Valeo Vision Sas | Procede de commutation du mode d'eclairage de projecteurs pour vehicule automobile. |
US8395529B2 (en) * | 2009-04-02 | 2013-03-12 | GM Global Technology Operations LLC | Traffic infrastructure indicator on head-up display |
US9066657B2 (en) * | 2010-11-23 | 2015-06-30 | General Electric Company | Methods and systems of optical imaging for target detection in a scattering medium |
DE102011017644A1 (de) * | 2011-04-28 | 2012-10-31 | Robert Bosch Gmbh | Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs |
GB2499579B (en) * | 2012-02-07 | 2014-11-26 | Two Trees Photonics Ltd | Lighting device |
DE102013210890A1 (de) * | 2013-06-11 | 2014-12-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Wetter-Phänomens |
US9753140B2 (en) * | 2014-05-05 | 2017-09-05 | Raytheon Company | Methods and apparatus for imaging in scattering environments |
DE102014006760A1 (de) * | 2014-05-08 | 2015-11-12 | Audi Ag | System zur Detektion von Nebel direkt vor einem Kraftfahrzeug |
US9891393B2 (en) * | 2014-07-24 | 2018-02-13 | Empire Technology Development Llc | Imaging through optical fibers for coupling optimization |
JP6414604B2 (ja) * | 2015-01-15 | 2018-10-31 | 株式会社島津製作所 | 画像処理装置 |
US9759907B2 (en) * | 2015-01-28 | 2017-09-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Rapid optical shutter, chopper, modulator and deflector |
DE102015112103A1 (de) * | 2015-07-24 | 2017-01-26 | Preh Gmbh | Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug |
DE102015216985A1 (de) * | 2015-09-04 | 2017-03-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Projektionsvorrichtung und Verfahren zur Projektion mit optischen Freiformflächen |
US9989357B2 (en) * | 2015-09-09 | 2018-06-05 | Faro Technologies, Inc. | Aerial device that cooperates with an external projector to measure three-dimensional coordinates |
DE102016006390A1 (de) * | 2016-05-24 | 2017-11-30 | Audi Ag | Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses |
KR102496509B1 (ko) * | 2016-09-20 | 2023-02-07 | 이노비즈 테크놀로지스 엘티디 | Lidar 시스템 및 방법 |
US10904514B2 (en) * | 2017-02-09 | 2021-01-26 | Facebook Technologies, Llc | Polarization illumination using acousto-optic structured light in 3D depth sensing |
JP6862255B2 (ja) | 2017-04-12 | 2021-04-21 | キヤノン株式会社 | 撮像装置、撮像方法および撮像プログラム |
FR3065784B1 (fr) * | 2017-04-28 | 2019-10-11 | Valeo Vision | Module lumineux avec optique d'imagerie optimisee pour un modulateur spatial pixellise, destine a un vehicule automobile |
JP6898557B2 (ja) | 2017-08-01 | 2021-07-07 | 株式会社東京精密 | レーザー加工装置及び亀裂検出方法 |
AT519864B1 (de) * | 2017-08-10 | 2018-11-15 | Zkw Group Gmbh | Fahrzeugscheinwerfer und Fahrzeugsteuerung |
JP6826972B2 (ja) | 2017-11-16 | 2021-02-10 | 株式会社日立製作所 | 撮像装置 |
KR102333033B1 (ko) * | 2017-12-07 | 2021-12-01 | 삼성전자주식회사 | 차량 및 그 제어 방법 |
US10368752B1 (en) * | 2018-03-08 | 2019-08-06 | Hi Llc | Devices and methods to convert conventional imagers into lock-in cameras |
-
2019
- 2019-12-10 EP EP19912513.9A patent/EP3918424A4/en not_active Withdrawn
- 2019-12-10 CN CN201980090363.XA patent/CN113383280A/zh active Pending
- 2019-12-10 US US16/708,609 patent/US11181805B2/en active Active
- 2019-12-10 JP JP2021540296A patent/JP2022517985A/ja not_active Withdrawn
- 2019-12-10 WO PCT/US2019/065410 patent/WO2020159622A1/en unknown
- 2019-12-10 US US16/708,641 patent/US11604345B2/en active Active
- 2019-12-10 US US16/708,822 patent/US11460689B2/en active Active
- 2019-12-10 US US17/053,157 patent/US11275288B2/en active Active
-
2020
- 2020-12-07 EP EP20212289.1A patent/EP3835130A1/en not_active Withdrawn
- 2020-12-09 JP JP2020204559A patent/JP2021093164A/ja active Pending
- 2020-12-09 JP JP2020204558A patent/JP2021099799A/ja active Pending
- 2020-12-09 JP JP2020204557A patent/JP2021098500A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200238896A1 (en) | 2020-07-30 |
CN113383280A (zh) | 2021-09-10 |
US11604345B2 (en) | 2023-03-14 |
US20200241136A1 (en) | 2020-07-30 |
EP3835130A1 (en) | 2021-06-16 |
US20200241385A1 (en) | 2020-07-30 |
WO2020159622A1 (en) | 2020-08-06 |
US11275288B2 (en) | 2022-03-15 |
JP2021098500A (ja) | 2021-07-01 |
US11460689B2 (en) | 2022-10-04 |
US11181805B2 (en) | 2021-11-23 |
EP3918424A4 (en) | 2022-09-14 |
JP2021093164A (ja) | 2021-06-17 |
EP3918424A1 (en) | 2021-12-08 |
US20210250479A1 (en) | 2021-08-12 |
JP2021099799A (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11275288B2 (en) | Ballistic light modulations for image enhancement through fog | |
JP5003398B2 (ja) | 照明装置 | |
JP6416085B2 (ja) | 適用可能な被写界深度を使用するゲーテッド撮像 | |
US6555804B1 (en) | Method and device for detecting objects on a windshield | |
US10632899B2 (en) | Illumination device for a motor vehicle for increasing the perceptibility of an obstacle | |
JP5761002B2 (ja) | 照明制御装置 | |
US10757336B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
JP6669053B2 (ja) | ヘッドアップディスプレイシステム | |
WO2018042424A1 (en) | Optical detection of vibrations | |
WO2020149140A1 (ja) | 車載用イメージング装置、車両用灯具、自動車 | |
US10118534B2 (en) | Irradiation apparatus | |
JP2011182300A (ja) | アクティブ型車両視界補助装置及び車両視界補助方法 | |
JP2019077204A (ja) | 車両用灯具システム、車両用灯具の制御装置および車両用灯具の制御方法 | |
US12047667B2 (en) | Imaging device | |
CN113227838A (zh) | 车辆用灯具及车辆 | |
KR101623469B1 (ko) | 레이저 광원을 이용한 야간 장애물 검출 장치 및 방법 | |
WO2021157398A1 (ja) | 変調器、撮像装置及び設計方法 | |
JP5839253B2 (ja) | 物体検出装置及びこれを備えた車載機器制御装置 | |
US11513075B2 (en) | Observation device and observation method | |
JP7035989B2 (ja) | ディスプレイ装置、判別方法および照射方法 | |
WO2022270476A1 (ja) | イメージング装置および車両用灯具、車両 | |
JP7524207B2 (ja) | イメージング装置、車両用灯具、車両、イメージング方法 | |
WO2021079811A1 (ja) | イメージング装置、車両用灯具、車両、イメージング方法 | |
JP7298562B2 (ja) | 車両の周辺検知装置 | |
JP2023055317A (ja) | 撮像システム、撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221108 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230214 |