JP2022517985A - 霧を介した画像強調のための弾道光変調 - Google Patents

霧を介した画像強調のための弾道光変調 Download PDF

Info

Publication number
JP2022517985A
JP2022517985A JP2021540296A JP2021540296A JP2022517985A JP 2022517985 A JP2022517985 A JP 2022517985A JP 2021540296 A JP2021540296 A JP 2021540296A JP 2021540296 A JP2021540296 A JP 2021540296A JP 2022517985 A JP2022517985 A JP 2022517985A
Authority
JP
Japan
Prior art keywords
illumination
pattern
image
light
modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021540296A
Other languages
English (en)
Inventor
パン・リン
智文 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Publication of JP2022517985A publication Critical patent/JP2022517985A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2/00—Demodulating light; Transferring the modulation of modulated light; Frequency-changing of light
    • G02F2/02—Frequency-changing of light, e.g. by quantum counters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1407—General lighting circuits comprising dimming circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/125—Coloured light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/14—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of light source
    • F21S41/16—Laser light sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
    • F21V14/003—Controlling the distribution of the light emitted by adjustment of elements by interposition of elements with electrically controlled variable light transmissivity, e.g. liquid crystal elements or electrochromic devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
    • F21V9/08—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing coloured light, e.g. monochromatic; for reducing intensity of light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
    • F21V9/14—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters for producing polarised light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
    • F21V9/30—Elements containing photoluminescent material distinct from or spaced from the light source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0102—Constructional details, not otherwise provided for in this subclass
    • G02F1/0105—Illuminating devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2102/00—Exterior vehicle lighting devices for illuminating purposes
    • F21W2102/20—Illuminance distribution within the emitted light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/10—Light-emitting diodes [LED]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/30—Semiconductor lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2846—Investigating the spectrum using modulation grid; Grid spectrometers
    • G01J2003/285—Hadamard transformation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Abstract

適応照明装置は、光源と、空間光変調器と、処理回路とを備えている。さらに、処理回路は、１つまたは複数の集光点を生成するためのパターンを照射するための変調信号によって空間光変調器を駆動し、パターンに基づいて対象物上の１つまたは複数の集光点をスキャンするように構成されており、パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある１または複数の集光点上の光強度が強められるよう予め算出されている。

Description

関連出願の相互参照
本出願は、２０１９年１月２８日に出願された米国仮出願第６２／７９７，３６３号及び２０１９年１月２８日に出願された米国仮出願第６２／７９７，３６６号の利益を主張し、その全体が参照により本明細書に組み込まれる。さらに、関連出願１３０６０ＵＳ０１、１３０６１ＵＳ０１、および１３０６２ＵＳ０１は、その全体が参照により本明細書に組み込まれる。
多くの分野において、霧、雨、雪、埃、および／または大気汚染などの散乱媒体を介して光を透過させることが関連する。例えば、道路を走行し、交通を通って進む車両もまた、これらの散乱媒体のうちの１つまたは複数で走行しなければならない場合がある。同様に、空港の航空機、水中通信、生体組織画像化などの場合、視覚は媒体の散乱過程によって影響を受ける可能性がある。これらの散乱媒体を通して画像化しようとすると、いくつかの悪影響がある。例えば、画像は、吸収に起因して薄暗くなり、光の強い散乱は、光を受信物または人間の目の代わりに他の経路に散乱させ、画像は、不均一な散乱媒体による対象物からの波面の歪みに起因して画像が歪む。また、散乱媒体による強い後方散乱と、散乱媒体の背後の対象物から取得された弱い信号情報とにより、画像コントラストが低下する。例えば、このようなことは、運転者の視界が影響を受け、交通標識、道路脇の標識、歩行者などの対象物がより見えにくい、濃霧、雨、または雪の状態の間の交通でしばしば起こり得る。
標識をより明確に見るために、運転者は、高出力ヘッドランプ（すなわち、ハイビーム）をオンにすることによって照明を強くすることが多い。しかしながら、ハイビームを使用してより鮮明な交通標識を観察する代わりに、運転者は、空気中の水粒子による強い後方散乱光のために、運転者の車の前方に明るい「壁」すなわちグレアを見ることになる。これは、後方散乱ノイズとも呼ばれ得る。後方散乱ノイズは、運転者が視認することをさらに困難にし、運転者を危険な運転状況に置き、運転者および他の者を危険にさらす可能性がある。その後の結果には、例えば、既に悪天候下にあって高速道路を停止することによる、経済的影響が含まれ得る。この問題は、散乱媒体を介して確実に画像化することに対する未解決の問題であるため、自律型車両の展開にも大きく影響する。
後方散乱ノイズの影響を低減する方法に対処するために、様々な手法が提案されている。例えば、１つの手法は、信号対ノイズ比を向上させるために、後方散乱ノイズの検出を低減しながら、対象物からの反射信号を受信するために検出器を適時に開くことによってのみ信号情報を検出することを目的とする時間ゲーティング検出である。この手法では、検出器をオンにする時間、または対象物と検出器との間の距離を予めに知る必要がある。この手法における問題は、例えば、対象物が移動する場合において対象物と車（運転者）との間の距離に関する正確な情報を取得するために必要とされるリアルタイムのフィードバック情報である。Ｌｉｄａｒと同様に、距離を取得するために同期パルス照明が使用されるが、厳しい気象条件下で検出器によって取得される情報が少ないと、対象物を区別するのに十分ではない場合がある。アバランシェフォトダイオードアレイを使用することによって霧の背後の対象物を抽出するために、時間統計分析が提案されている。しかしながら、統計的ノイズは、時折、疑似肯定応答を引き起こす可能性がある。別の方法は、反対の光位相（後方散乱ノイズと比較してパイ位相シフト）を有する参照ビームを導入して後方散乱ノイズと破壊的に干渉させるオーディオノイズ除去手法を採用することによって後方散乱ノイズを低減することである。既知の手法によって測定または算出された後方散乱ノイズの位相分布は、散乱媒体の異なる層からのすべての分布を含む可能性があるため、参照光ビームに加えられた反対の位相は、すべてのノイズを十分にキャンセルすることができない。言い換えれば、後方散乱ノイズは、既に異なる層からの後方散乱光ビーム間の干渉の結果である可能性がある。さらに、検出器によって受信された対象物から反射された信号光から後方散乱ノイズの区別が必要になる可能性がある。
光学システムにおける画像の品質は、撮像システムの強度（明るさ）、コントラスト（信号対ノイズ比）および解像度に依存する。悪い気象条件が現れると、後方散乱ノイズはコントラストを低下させ、散乱過程は対象物から反射された光を著しく低下させ、それが検出器に到達するのを妨げる。さらに、重度の散乱過程は、散乱媒体を通過するときに光に加えられる不均一な散乱媒体のために、撮像を歪める可能性がある。散乱媒体を介した視覚化を改善することによる画像品質の改善は、これら３つの問題に対処する必要がある。
ここに記載される「背景技術」の説明は、開示内容の概要一般的に提示することを目的としている。本背景技術に記載されている限りにおいて、本発明者らの研究、ならびに出願時に先行技術として認められない可能性がある説明の態様は、本発明に対する先行技術として明示的にも黙示的にも認められない。
開示された技術的特徴の態様によれば、装置は、光源と、空間光変調器と、処理回路とを含む。さらに、処理回路は、１つまたは複数の集光点を生成するためのパターンを照射するための変調信号によって空間光変調器を駆動し、パターンに基づいて対象物上の１つまたは複数の集光点をスキャンするように構成されており、パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある１または複数の集光点上の光強度が強められるよう予め算出されている。
前述の段落は、一般的な導入として提供されており、以下の特許請求の範囲を限定することを意図するものではない。さらなる効果を伴う本願に記載された実施形態は、添付の図面と併せて以下の詳細な説明を参照することによって最もよく理解されるであろう。
後述する発明の詳細な説明を参照し、添付の図面を考慮することで、本願の開示内容のより詳細な理解と数多くの効果についてより容易に得られるであろう。
開示された技術的特徴の１つまたは複数の態様に係る例示的な適応照明画像化システムを示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、散乱媒体によってぼやけた画像を強調するための方法のアルゴリズムフローチャートである。
本開示の技術的特徴の１つまたは複数の態様に係る、プリロードされた最適化された入射光パターンを決定するための方法のアルゴリズムフローチャートである。
本開示の技術的特徴の１つまたは複数の態様に係る、プリロードされた最適化された入射パターンを決定するように構成された例示的な実験装置のセットアップを示す図である。
本開示の技術的特徴の１つまたは複数の態様に係る、適応照明画像化システムの例示的な概略図である。
開示された技術的特徴の１つまたは複数の態様に係る、霧なしで取得された対象物の例示的な画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、対象物上の例示的な集光点を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、霧内の「ＳＴＯＰ」標識の文字「Ｏ」上の集光点に対応する画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、標準照明を用いた弱い霧の状態で得られた画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、平均化を使用して処理された画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、共焦点撮像を使用して処理された画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、標準照明を用いて濃霧状態で得られた画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、平均化を使用して処理された画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、共焦点撮像を使用して処理された画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、平面波の直接照明下の画像を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、例示的な変調技術を示す図である。
開示された技術的特徴の１つまたは複数の態様に係る、適応照明の照明および／または撮像システムの概略図である。
開示する技術的特徴の１つまたは複数の態様に係る、照明および／または撮像を使用した適応照明および／または視覚化強化のための技術の部分概略図である。
本開示の技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムおよび／または車両ヘッドランプシステムを使用して取得された周囲環境の透過行列の概略図である。
本開示の技術的特徴の１つまたは複数の態様に係る、透過行列から導出された変調パターンにおける最適化された空間位相分布の概略図である。
開示される技術的特徴の１つまたは複数の態様に係る、図１２Ｂの変調パターンに対応する強度プロットである。
開示された技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムの動作原理を示す部分概略図である。
開示された技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムの動作原理を示す部分概略図である。
開示する技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムを動作させる方法の構造撮像ルーチンを示す流れ図である。
開示する技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムを動作させる方法の共焦点撮像ルーチンを示す流れ図である。
開示された技術的特徴の１つまたは複数の態様に係る、照明システムを使用して取り込まれた集光点画像を示す図である。
本開示の技術的特徴の１つまたは複数の態様に係る、照明プロファイルシーケンスにおける投影照明プロファイルにおける投影照明の集光点に対応する反射照明の集光点を示す図である。
本開示の技術的特徴の１つまたは複数の態様に係る、照明プロファイルシーケンスにおける投影照明プロファイルにおける投影照明の集光点に対応する反射照明の集光点を示す図である。
本開示の技術的特徴の１つまたは複数の態様に係る、照明プロファイルシーケンスにおける投影照明プロファイル内の投影照明の集光点に対応する反射照明の集光点を示す図である。
開示する技術的特徴の１つまたは複数の態様に係る、図１６Ａ～図１６Ｄに示す集光点画像を使用して作成された撮像システムの視野内の物体の画像である。
開示された技術的特徴の１つまたは複数の態様に係る、図１７Ａに示す画像に描写された物体の画像である。
開示する技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システムを動作させる方法のハイブリッド撮像ルーチンを示す流れ図である。
開示された技術的特徴の１つまたは複数の態様に係る、散乱媒体が存在しない物体の画像である。
開示された技術的特徴の１つまたは複数の態様に係る、散乱媒体の存在下での最適化前の図１９Ａに示す物体の画像である。
開示された技術的特徴の１つまたは複数の態様に係る、散乱媒体の存在下での最適化後の図１９Ａおよび図１９Ｂに示す物体のハイブリッド画像である。
開示する技術的特徴の１つまたは複数の例示的な態様に係る、コントローラのハードウェアブロック図である。
添付の図面と関連付けて以下に記載される説明は、開示された技術的特徴の様々な実施形態を説明することを意図されており、必ずしもその実施形態のみを表現することを意図するものではない。特定の例において、開示された技術的特徴の理解を目的として、具体的な詳細を含んで説明する。しかしながら、これらの具体的な詳細なしで実施形態を実施することができることは、当業者には明らかであろう。いくつかの例では、開示された技術的特徴の概念を不明瞭にすることを回避するために、周知の構造および構成要素をブロック図形式で示すことができる。
本明細書を通して「一実施形態」または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、特性、動作、または機能が、開示される主題の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書における「一実施形態において」または「実施形態において」という語句の表現は、必ずしも同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、特性、動作、または機能は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。さらに、開示された技術的特徴の実施形態は、記載された実施形態の修正および変形をカバーすることができ、カバーすることが意図されている。
本明細書および添付の特許請求の範囲で使用されるところの、単数形「１つの」、および「前記」には、文脈が明らかにそうでないことを明示しない限り、複数の指示対象を含むことに留意しなければならない。すなわち、特に明記しない限り、本明細書で使用される「１つの」などの単語は、「１つまたは複数の」の意味を有する。さらに、本明細書で使用される「左」、「右」、「上部」、「底部」、「前」、「後」、「側部」、「高さ」、「長さ」、「幅」、「上側」、「下側」、「内部」、「外部」、「内側」、「外側」などの用語は、単に参照部分を説明するものであり、必ずしも開示された技術的特徴の実施形態を特定の方向または構成に限定するものではないことを理解されたい。さらに、「第１」、「第２」、「第３」などの用語は、本明細書に記載されたいくつかの部分、構成要素、基準点、動作および／または機能のうちの１つを識別するにすぎず、同様に、開示された技術的特徴の実施形態を特定の構成または向きに限定するものではない。
ここで図面を参照すると、同様の参照番号は、いくつかの図を通して同一または対応する部分を示す。
図１は、開示された技術的特徴の１つまたは複数の態様による例示的な適応照明画像化システム１００（本明細書ではシステム１００と呼ぶ）を示す。後に、より詳細に説明するように、開示された技術的特徴の様々な実施形態による１つまたは複数の方法は、システム１００またはその一部を使用して実施することができる。言い換えれば、システム１００またはその一部は、様々な方法またはその一部（実行されると、記載された方法またはその一部をコンピュータに実行または実行させるように構成または実行させるプログラムを記憶する非一時的コンピュータ可読媒体を使用して実装されるものを含む）に関して本明細書に記載された機能または動作を実行することができる。
システム１００は、光源１０１、処理回路１０２（内部および／または外部メモリを含むことができる）、検出器１０３、および変調器１０４を備えてもよい。さらに、上述の構成要素は、例えば、図１によって図式的に表されるように、互いに電気的に接続されるか、または電気的もしくは電子的な通信を行うことができる。開示された技術的特徴の１つまたは複数の態様では、光源１０１、処理回路１０２、検出器１０３、および変調器１０４を備えるシステム１００は、散乱媒体を介して撮像を実行する様々な装置として実装することができる。例えば、システム１００は、ヘッドライトが霧（および／または他の散乱媒体）に適応することができる自律型車両のヘッドライトとすることができる。その結果、自律型車両は、霧の中のおよび霧を通る前方の道路をより明確に撮像することができ、したがって、散乱媒体における自律運転能力が向上する。さらに、別の実施形態では、システム１００は、生体組織を通じたリアルタイムの生体内撮像のための装置とすることができ、システム１００は、生理学的環境によって引き起こされる動的散乱過程を克服することができる。
光源１０１は、システム１００内の１つまたは複数の光源を表すことができる。例えば、光源１０１は、車両のヘッドランプとすることができる。
処理回路１０２は、システム１００の様々な機能、動作、ステップ、または処理を実行するまたは実行させるための指令を指示することができる。言い換えれば、プロセッサ／処理回路１０２は、システム１００内の１つまたは複数の他の構成要素から出力を受信し、かつに指令を送信することで、システム１００が散乱媒体内および／または散乱媒体を介した画像強調のために弾道光変調を使用するように構成することができる。
検出器１０３は、システム１００内の１つまたは複数の検出器を表すことができる。開示される技術的特徴の１つまたは複数の態様では、検出器１０３は想像装置であり得る。他のタイプの検出器も考えられるが、撮像素子、撮像装置、検出器、受信器などは、本明細書では互換的に使用することができる。
変調器１０４は、システム１００内の１つまたは複数の変調器を表すことができる。変調器は、空間光変調器（ＳＬＭ）とすることができる。例えば、変調器１０４は、行列状に配置された複数のマイクロミラーを含むことができるデジタル・マイクロミラー・デバイス（ＤＭＤ）とすることができる。
一般的に言えば、重散乱媒体（例えば、霧、雨、雪、みぞれ、大気汚染など）内および／またはそれを介して撮像する光学撮像システムでは、様々な技術が撮像品質の向上に寄与することができる。例えば、撮像コントラストを増加させるために受信機の後方散乱ノイズを低減し、輝度を増加させるために散乱媒体の背後または内部の対象物に当たる光強度を増加させ、散乱媒体によって誘発される歪みノイズを低減することにより、撮像品質を改善することができる。より具体的には、元々散乱した光を撮像システムに変換して戻すことにより、検出器上の信号を増加させることができる。したがって、散乱媒体の透過行列を取得し、前方散乱を増加させて対象物により多くのエネルギーを照射することによって散乱媒体自体を評価することにより、視覚化を大幅に改善することができる。透過行列は、後方散乱ノイズを低減するために、空間光変調器上の光分布および散乱媒体を通る対応する出力を算出することによって取得することができる。測定された透過行列を使用して、コントラストおよび輝度を増幅するために対象物をスキャンする集光点を形成することもでき、異なる角度からのスキャン照明は、通常照明と比較して対象物の隠れた情報を明らかにする。その結果、撮像の高解像度化を図ることができる。
上記の手法は、時間的に確立されている散乱媒体の透過行列に基づく。散乱媒体の透過行列を評価する時間は、入射パターンに使用される要素の数に大きく依存する。例えば、入射チャネルプロバイダとして空間光変調器（ＳＬＭ）（例えば、６０Ｈｚフレームレート、１６Ｇメモリコンピュータ）を使用すると、透過行列を評価する時間は、１６×１６入射チャネルでは３分未満、３２×３２入射チャネルでは１０分、６４×６４チャネルでは４０分、１２８×１２８入射チャネルでは８時間超である。持続時間の短縮は、例えば、２０ＫＨｚのフレームレートに達することができるデジタル・マイクロミラー・デバイス（ＤＭＤ）などの高速変調器を使用することによって達成することができる。それでも、透過行列の評価には数十秒を要する。フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）が使用される場合であっても、６４×６４素子の単一の最適化された位相パターンについて透過行列を評価するために２００ｍｓを要することになり、言うまでもなく、通常、画像処理を実行するために数百または数千の最適化されたパターンが必要である。
散乱媒体の評価は、処理中に散乱媒体がその散乱特性を維持することを必要とする。言い換えれば、散乱媒体は静的であるか、または長い無相関時間を有する必要がある。しかしながら、実世界の用途における散乱媒体（例えば、霧）に関して、無相関化時間は通常、非常に短い。例えば、生体組織の無相関化時間は血流に起因して約５０ｍｓであるが、霧の無相関化時間は空気中の水粒子の速い動きに起因して５ｍｓよりも短い。開示された技術的特徴の１つまたは複数の態様では、非相関時間内に霧などの高速散乱媒体を評価するための技術が提案される。例えば、散乱光を制御するために光を変調するのではなく、システムは、霧によって引き起こされる激しい散乱によってぼやけた画像を強調するために弾道光（すなわち、非散乱光）を制御するように構成することができる。一実施形態では、システムは、霧によって引き起こされる激しい散乱によってぼやけた画像を強調するために弾道光のみを制御するように構成することができる。
図２Ａは、開示された技術的特徴の１つまたは複数の態様に係る散乱媒体によってぼやけた画像を強調するための方法のアルゴリズムフローチャートである。
Ｓ２０５において、処理回路１０２は、物体平面上の集光点に対応する最適化された入射パターン（位相／振幅）をプリロードする。最適化された入射パターンは、移動散乱媒体（例えば、霧）なしでシステム１００内で予めに取得することができる。例えば、最適化された入射パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある１つまたは複数の集光点上の光強度が強められるように予め算出することができる。一実施形態では、照射パターン（例えば、最適化された入射パターン）は、１つの集光点または複数の集光点を形成することができることを理解されたい。変調器が複数の集光点を形成するとき、最適化された入射パターンはまた、複数の同じ集光点を形成する。したがって、変調器が複数の集光点を形成する場合、スキャン時間を短縮することができる。「集光点」は、対象物および／または仮想対象上の光強度が強められた領域（または点）を指すことができる。一態様では、集光点の光強度は、対象物上で最大化される。様々な最適化された入射パターンにおいて、集光点は単数または複数にすることができる。
Ｓ２１０において、処理回路１０２は、霧に対応して変調器１０４にプリロードされたパターンを採用することができる。一般に、弾道光の集光点のためのすべての最適化されたパターンをメモリに予めにロードすることができ、システム（例えば、システム１００）は、特定の視覚化要件に基づいて、対象物上の集光点のためにどのパターンを変調器に適用するかを選択することができる。例えば、システム１００は、１つまたは複数の集光点が対象物上に行列状に配置されるように、１つまたは複数の集光点を生成するための照射パターンの変調信号によって空間光変調器を駆動することができる。したがって、システム１００は、パターンに基づいて対象物上の１つまたは複数の集光点をスキャンすることができる。言い換えれば、霧が発生して視認性（例えば、運転者の視界および／または画像捕捉装置）に影響を与えると、最適化されたパターンが変調器１０４に適用され、霧に投影されて、対象物上に集光点が形成される。照明光は霧によって大きく散乱されるが、集光点は強い光を反射してシステム１００に戻し、Ｓ２１５において検出器１０３によって取り込むことができる。
Ｓ２１５において、処理回路１０２は、Ｓ２１０において形成された集光点に対応する画像を取得することができる。局所的な光スキャンは、１点ずつ対象物を照射し、対象物上の点の検出を可能にする。
Ｓ２２０において、処理回路１０２は、検出された集光点に基づいて、照明された対象物の強調画像を生成することができる。例えば、検出器１０３は、１つまたは複数の画像からのデータを使用して強調画像を生成することができるように、対象物（例えば、集光点に対応する）の１つまたは複数の画像を捕捉することができる。強調画像は、画像の明るさ、コントラスト、解像度、および全体的な品質を高めるために、様々な画像処理によって生成することができる。例えば、画像処理は、共焦点撮像、構造撮像（合成開口撮像）、およびフィルタリング処理を含むことができる。例えば、一つの態様において、複数組のパターン（例えば、本明細書でさらに説明される最適化されたパターン）の各パターンで撮像された画像を重ね合わせることにより、画像を生成することができる。代替的または追加的に、一態様では、画像は、複数のパターン組の各パターンで取り込まれた全体画像の各部分からの１つまたは複数の集光点に基づいて生成された画像を重ね合わせることによって生成することができる。強調画像は、様々な動作のためにシステム１００によって使用することができる。例えば、強調画像は、停止標識のような重要な情報の確認として車両の運転者に表示することができる。別の実施形態では、強調画像は、自律型車両によって停止標識などの動作情報を識別するために使用することができ、それによって霧の中でも確実な自動運転を維持することができる。Ｓ２１５およびＳ２２０は並行して実行することができることを理解されたい。例えば、Ｓ２２０における強調画像の生成は、Ｓ２１５において検出器（例えば、検出器１０３）が第１の集光点を捕捉すると開始することができる。
図２Ｂは、本開示の技術的特徴の１つまたは複数の態様に係る、プリロードされた最適化された入射光パターン（例えば、図２ＡのＳ２０５）を決定するための方法のアルゴリズムフローチャートである。
Ｓ２２５において、処理回路１０２は、変調器（例えば、デジタル・マイクロミラー・デバイス（ＤＭＤ））上の複数のパターン組を照射することによって、仮想対象上の光強度を測定することができる。言い換えれば、霧が存在しない対象物から反射された対応する光強度を監視しながら、ＤＭＤを介して任意に変調された入射光パターンが対象物に向かって投射される。例えば、処理回路１０２は、霧を検出する信号に応答して、対象物上の集光点を生成するためにメモリから検索されたパターンを照射するように構成することができ（例えば、カメラは、視認性の変化に基づいて霧を検出する）、メモリは、仮想対象用のパターンの１つまたは複数の組を記憶する。より一般的には、Ｓ２２５の測定は、散乱媒体のない状態で行うことができる。しかしながら、空気であっても散乱媒体と見なすことができるため、「散乱媒体のない状態」への言及は、例えば霧がないこと、またはより一般的には、空気以外の散乱媒体がないことを指すことを理解されたい。仮想対象は、対象物と同じサイズ、対象物と同じ構造形状、対象物と同じ位置に配置されるなどのうち１つまたは複数に該当する物体に対応し、一定量の反射率（例えば、カメラによって検出されるのに十分な）を有する物質によって構成される。しかしながら、仮想対象は対象物と同一である必要はないことを理解されたい。１つの態様では、モニタリングは、受信機側（例えば、図３に示す）であってもよい。メモリは、１つの目標距離に対して１組のパターンを記憶してもよいし、複数の目標距離に対して複数組のパターンを記憶してもよい。
Ｓ２３０において、処理回路１０２は、検出器（例えば、ＣＣＤ）上の強度分布とＤＭＤ上に印加される光フィールド分布（位相または振幅パターン）との間の関係を記述する方程式を解くことによって、透過行列（ＴＭ）を取得することができる。ＴＭは、特定の光の入力および出力応答を示す。例えば、ＴＭは、光に対する空間光変調器上の光フィールド分布と、検出器によって測定された仮想対象上の光強度との間の関係に基づいて誘導することができる。一態様では、空間光変調器上の光フィールド分布は、アダマール行列に基づくことができる。言い換えれば、変調された照明の位相／振幅パターンと対応する強度とを比較することによって、光学システムの特性を記述する透過行列を、集光点を形成する最適化された位相／振幅パターンを評価することができることに基づいて評価することができる。
Ｓ２３５において、処理回路１０２は、取得されたＴＭに基づいて、仮想対象上に集光点を生成するための各最適化されたＤＭＤパターンを算出することができる。ＴＭの算出は、ＴＭが入力と対応する出力とを接続するという事実に基づいている。したがって、ＴＭがＮ個の未知のパラメータを有し、Ｎ個の独立した入力を選択し、対応する出力を取得する場合、ＴＭは、Ｎ個の方程式を解くことによって得ることができる。一実施形態では、アダマール行列を使用して、独立した入力を決定することができる。システム（例えば、散乱媒体）のためのＴＭを得た後、例えば、対象物上の集光点に対応することができるＣＣＤ上に所望の出力強度分布を形成することができる特定の入力（ＤＭＤ上の位相または振幅分布）を誘導することができる。さらに、パターンの各組（例えば、最適化されたＤＭＤパターン）は、仮想対象からの異なる距離に基づくことができ、その結果、パターンがメモリから検索され、霧に応答して変調器に使用されるとき（例えば、Ｓ２１０）、それは対応する距離になり得る。
Ｓ２４０において、処理回路１０２は、算出されたＤＭＤパターンを、プリロードされた最適化された入射パターンとしてメモリ（例えば、処理回路１０２のローカルメモリ、ローカルデータベース、リモートデータベースなどである）に記憶することができる。最適化された入射光パターンを記憶した後、最適化された入射光パターンをプリロードし、処理を終了することができる。
さらに、図２Ｂは、システム１００をどのようにして散乱媒体を介して画像の輝度を高めて、対象物上により多くの光を照射するように構成することができるかを詳述している。画像化の処理は、光の通過および撮像に関する光の制御である。光源（例えば、ヘッドランプ）から発せられた光は、媒体（ほとんどの場合、空気）を通過し、光学部品（例えば、レンズ、ミラー、プリズムなどである）を通過し、大きな散乱を経験しながら散乱媒体（例えば、霧）を透過する。光の一部は、対象物（例えば、道路標識）に到達し、対象物の表面で反射される。反射されるエネルギーは、対象物の反射率に依存する。反射光は、散乱媒体および光学部品を通って戻り、受信機に到達する。対象物の画像は、光信号変換（例えば、ＣＣＤ上での電気信号への光、眼のニューロンの電気化学インパルスへの光などである）に基づいて受信機のディスプレイ上に現れる。
画像の輝度は、視覚認知の属性（性質）である。輝度は、モニタ（例えば、ＣＣＤ、眼など）に表示される画像内の領域の輝度測定値として定義される。画像の輝度は、対象物上の照明の強度、対象物からの光の反射損失、および撮像システムの集光力によって決定される。光学部品による吸収、光学部品間の光学界面での反射損失、および光学部品の限られた空間サイズを含む、光学システム自体による光損失の他に、強度の主な損失は、散乱媒体による散乱損失である。したがって、対象物の光反射率が固定された既知の光学システムおよび定義された対象物では、画像の輝度は対象物に照射される光量（パワー）に依存する。言い換えれば、対象物に照射される光パワーを増加させることは、画像の輝度を増加させる方法の１つである。
例えば、変調された光位相および振幅で入射光の照明パターンを制御することにより、入射光が対象物により集中し（すなわち、局在化）、対象物に照射される弾道光が増加し、画像の輝度の増加に直接つながる。局所光は、斜めの角度から対象物を照らすことができ、これらの高い空間周波数を収集することにより、画像の解像度を高めることができる。集光点およびスキャンは、図２Ｂを参照してさらに説明するように、空間光変調器（例えば、ＤＭＤ）を介して入射光の光位相／振幅を変調することによって達成することができる。
図３は、開示された技術的特徴の１つまたは複数の態様に従ってプリロードされた最適化された入射パターンを決定するように構成された例示的な実験装置を示す。実験装置１０６は、霧生成チャンバおよび霧試験チャンバを含む霧チャンバ１０７と、光学システム１０８とを含む。霧チャンバ１０７は、（例えば、霧生成チャンバを介して）霧を生成し、これはファンによって、対象物１０９が配置される試験チャンバ（例えば、２つの「ＳＴＯＰ」記号）に伝達される。光学システム１０８は、光源、変調器（ＤＭＤ）、投影システム、撮像システム、および制御システム（例えば、コンピュータ）を含み得る。光源（例えば、レーザ、レーザダイオード（ＬＤ）、発光ダイオード（ＬＥＤ））は、変調器（例えば、ＤＭＤ）上でコリメートされて照明される。変調器に表示された位相／振幅パターンは、投影システムによって霧チャンバ内に投影され、対象物１０９上を照らす。撮像システムは、対象物１０９からの反射光を受信機（例えば、検出器、カメラ、ＣＣＤ）で受信する。別の実施形態では、光学システムは、図４に示すように、第２の変調器も含む適応照明画像化システム（例えば、システム１００）で使用することができる。
図４は、開示された技術的特徴の１つまたは複数の態様に係る適応照明画像化システム１１１の例示的な概略図を示す。適応照明システム１１１は、光学システム１１２および画像処理回路１１３を含むことができる。適応照明システム１１１は、本明細書で説明するように、散乱媒体（例えば、霧１１５）内の対象物１１４を検出するように構成することができる。特に、システム１１１は、照明光を最初に変調する空間光変調器（例えば、デジタル・マイクロミラー・デバイス）に加えて、別の変調器（例えば、変調器１１６）を含むことができる。より具体的には、システム１１１は、空間的コヒーレンスを改善するために凹レンズおよび／またはミラーを含むことができる。一態様では、光源からの光が十分な空間コヒーレンス（例えば、所定の閾値を超える）を有する場合、凹面ミラー／レンズは任意選択であり得るが、凹面ミラー／レンズは依然として空間コヒーレンスを改善し得る。さらに、ＤＭＤは、光源からの照明光を変調するための主変調器とすることができ、第２の変調器１１６は、受動的または能動的な空間光変調器とすることができる。例えば、受動変調器は、透明なガラス板、空気、または静的散乱媒体とすることができる。受動変調器の透過行列は、対象物上の集光点に対応する電界（位相または振幅）分布を取得することによって算出することができる。能動変調器は、その変調能力がオフにされるときに受動変調器として使用することができる。能動変調器は、電界分布をより良好に制御するために電界分布を将来変調または補償するために使用することができ、これは第１の変調器（ＤＭＤ）と共に使用して、変調の機能性または程度を高めることができる。第２の変調器は、空間光変調器からの光照射方向の光路上、または、検出器の前方の対象物からの反射光における光路上に位置するようにすることができる。第２の変調器はまた、空間光変調器からの光照射方向の光路上および検出器の前の対象物からの反射光における光路上の両方に位置することができる。
まず、霧なしで、システムの透過行列を確立することができる。一般に、ランダム変調入力の応答を測定することにより、システムの透過行列を評価することができる。透過行列を迅速に算出するために、独立した照明としてアダマール行列から誘導された変調入力を使用して、システムから投影することができる。アダマール行列は、各行が独立しており、アダマール行列を使用して独立した入力を生成することができる行列である。通常、散乱媒体の透過行列を評価するために、アダマール行列の各行によって変調器（例えば、空間光変調器１１０）の複数の入力が作成される。対象物からの反射光は、受信機の撮像システムによって捕捉することができる。入力および測定された出力を使用して、システムの透過行列を評価することができる（図１２Ａ～図１２Ｃを参照）。
図５Ａ～図５Ｇは、開示された主題の１つまたは複数の態様に係る対象物１０９の例示的な画像を示す。図５Ａ～図５Ｇを参照すると、対象物１０９は、空気中で５ｃｍ離れて配置され、左標的は、右の標的の５ｃｍ前方にある。１つまたは複数の態様では、対象物は、５ｃｍより大きくまたは小さく離れて配置され得ることを理解されたい。図５Ａにおいて、画像は、変調なしで平面波の垂直照明下で取得された。一部のスペックルノイズ以外に、画像システムは、５ｃｍ離れた対象物の画像を形成するのに十分な被写界深度を有する。図５Ｂ～図５Ｇは、取得された最適化された位相／振幅パターンを変調器で採用することによって形成された対象物上の集光点を示す。照明は、局所的な照明強度を高めるために小さな領域に局在化され、これらの小さな領域をより明確に見ることを可能にする。図５Ａおよび図５Ｂ～図５Ｇの画像は、カメラ画素の飽和を回避するために、異なる照明電力または露光時間で撮影することができることにも留意されたい。
霧がなければ、変調なしの通常の平面波照明を使用することができ、図５Ａに示すように対象物の詳細を示す画像を取得することができる。しかしながら、霧が現れると、通常の照明の下では、対象物の詳細はあまり明確にならないか、または消えさえする可能性がある（図８Ａを参照）。最適化された位相／振幅パターン（すなわち、霧なしで事前評価され、メモリに予めロードされる）が変調器に採用される場合、対象物上に集光点を形成して、対象物上の入射強度を大幅に高めることができる。霧（散乱媒体）内の粒子は、光が霧を通って進むときに入射照明および反射強度を散乱させるが、強調された集光点は、対象物から反射された十分な光が、対象物を形成するための局所情報を明らかにするために十分な信号対ノイズ比で検出器に到達することを可能にする。
図６は、開示された主題の１つまたは複数の態様に係る、霧内の「ＳＴＯＰ」標識の文字「Ｏ」上の集光点に対応する画像を示す。例えば、画像は、変調器で使用されている予めロードされた最適化された位相／振幅パターンに基づいて取得され、集光点が対象物上で形成されて、スキャンされる。文字「Ｏ」の高い反射率のため、文字「Ｏ」上の集光点は、より多くの光が霧を通って戻り、ノイズよりも大きい信号対ノイズ比でカメラに到達することを可能にする。場合によっては、対象物上の他の領域に到達する集光点は、はるかに低い反射率のために霧を通って戻る散乱プロセスを克服するのに十分な光を反射しない。
図６に示すように、対象物（この場合、文字「Ｏ」）上の集光点をスキャンすると、検出器（例えば、カメラ、ＣＣＤなど）上に輝点が生成され、対象物のすべての部分が現れる。標的上の集光点をスキャンすることによって生成されたこれらの画像が特定の頻度で連続して形成されると、視覚の持続性は、人間の目に「Ｏ」という文字を完全に感じさせるかまたは見させることができる。画像の拡張効果を表示するために、画像処理を適用して対象物の詳細を明らかにすることができる。対象物の細部を強調するための画像処理について、本明細書でさらに説明する。
例えば、対象物の表面に沿って集光点をスキャンすることによる共焦点撮像は、画像の全体的な品質を改善することができる。本明細書に記載の照明方法は、システムの透過行列を評価し、入射パターンの最適化された空間分布（光位相および／または振幅）を取得して、対象物上に集光点を形成し、評価された透過行列から生じる入射空間パターンを変更することによって、照明された局所領域の画像を収集しながら、集光点を対象物上でスキャンすることができる。
検出器上の画像は、対象物上のスキャンされた集光点によって取得された一連の画像と重なり合う対象物上の散乱照明によって取得された対象物の画像である。第１の例では、画像は通常の画像と同様であり、第２の例では、画像は対象物の共焦点撮像である。対象物上の散乱照明から生じる通常光撮像（すなわち、集光点なし）の散乱は、低い空間周波数を有する対象の輪郭のみを示し、対象物の表面上の集光点スキャンによって形成された一連の画像は、対象物の領域の共焦点画像である。
従来、共焦点撮像は、画像形成において焦点外光を遮断するために空間ピンホールを使用することによって顕微鏡写真の光学解像度およびコントラストを高めるための光学撮像技術である。共焦点撮像システムは、以下の２つの戦略によって焦点外除去を達成する：ａ）焦点面の上下で照明強度が急速に低下するように、任意の１つの時点で対象物の単一点を集束ビームで照明すること、およびｂ）照射されている試料内の点から放出された光が検出器に到達するのを阻止するように、対象物に対する共役焦点面のピンホール開口部を遮断する使用。
システム１００では、散乱システムの取得された透過行列からの入射パターン（光位相または振幅）の最適化された空間分布を使用することにより、集光点（例えば、集束ビーム）を対象物上でスキャンすることができる。したがって、たとえシステム１００にブロッキングピンホール開口部が適用されなくても、対象物の共焦点撮像を形成することができる。スキャンされた画像は、画像の解像度を高めるための対象物から検出器への高い空間周波数をもたらす、対象物における高い照明角度をもたらすだけでなく、合焦された照明によって画像のコントラストも高める。集束ビームは、光学システムにおいて回折制限され、これは、迷光横方向干渉がないことを意味し、これもまた、画像コントラストを改善する。従来の共焦点撮像に使用されるピンホール開口部がない利点は、検出器ピンホールの要件によって信号強度が低下しないことである。
さらに、３Ｄ対象物測定のための透過行列は、異なる被写界深度を有する対象物に集光（すなわち、集光点）を引き起こす。例えば、異なる深度位置（例えば、本明細書に記載されるように５ｃｍ離れている）にある２つの平面物体である。
図７Ａ～図７Ｃは、開示された主題の１つまたは複数の態様に係る弱い霧状態の例示的な画像を示す。
図７Ａは、開示された主題の１つまたは複数の態様に係る、通常照明（すなわち、集光点なし）を用いた弱い霧状態で得られた画像を示す。通常照明下では、前方対象物（すなわち、第１の「ＳＴＯＰ」記号）ははっきりと見えるが、後方対象物（すなわち、第２の「ＳＴＯＰ」記号）は標識の輪郭をほとんど明らかにしない。対象物の詳細を明らかにするために、画像処理を適用することができる。まず、図７Ｂは、１つまたは複数の集光点を生成するために各照射パターンで捕捉されている画像を重ね合わせることによる平均化を示す。画像を足し合わせてスペックルノイズを平滑化した。平均化の利点は、ノイズを低減することであるが、欠点は、画像を強調するために集光点が使用されないことである。平均化後、画像全体がより鮮明になることが分かる。後方の対象物であっても、輪郭の表示がされる。平均化は画像の品質を大幅に改善することができるが、図７Ｃに示すように、変調の集光点の利点は、画像を強調するために使用されていない。集光点の利点は、対象物上の強度を局所的に増加させ、それによって画像の輝度を増加させることである。したがって、局所的に照明された領域の画像を抽出し、抽出された画像を重ね合わせて対象物全体の画像を形成することは、共焦点画像処理と呼ばれ、画像のコントラストを大幅に改善することができる。図７Ｃに示すように、共焦点画像は、両方の対象物の主要な特徴を捉えている。
図８Ａ～図８Ｃは、開示された主題の１つまたは複数の態様に係る濃霧状態の例示的な画像を示す。
濃霧状態では、通常照明（図８Ａ）は、激しい散乱による対象物の輪郭をかすかに示し、前方標的は、「ＳＴＯＰ」記号の４文字をほとんど示さない。また、後方対象物については全く情報が得られない。平均化によって処理されると（図８Ｂ）、前方対象物はノイズに関して視覚を改善するが、後方対象物は依然として見ることができない。しかしながら、集光点がシーケンスで使用され、画像全体として形成され、共焦点画像処理が適用される場合（図８Ｃ）、対象物の特徴を見ることができる。前方対象物の画像は、対象物の特徴を示しており、前方対象物ほど明るくはないが、後方対象物が映る。これは、連続した集光点および付随する共焦点画像処理が、重度の霧の状態であっても視覚化を著しく改善できることを実証している。
さらに、システム１００は、より高い空間周波数を収集することによって変調を介して空間分解能を改善するように構成することができる。
撮像品質の別の特性は、その解像度である。分解能は、どの程度近い線を視覚的に解像できるかを定量化する。より高い解像度は、画像のより詳細を観察することができることを意味する。分解能はしばしば空間分解能と呼ばれ、これは２つの別個の物体を区別する撮像モダリティの能力を指す。低空間分解能光学システムは、互いに近接する２つの物体または点を区別することができない。
解像度は、例えば、受信機のピクセル解像度（ＣＣＤのように、撮像品質にも影響を及ぼす）ではなく、画像を作成する光学撮像システムの特性に対応することができる。一般に、分解能は、典型的には、光学部品のサイズの回折効果、システムの不完全さに起因する収差、および最も重要なことには、光が検出器に到達する前に散乱媒体を２回通過するときの散乱過程に起因する大気歪みによって影響を受ける。
光学的情報理論によれば、撮像システムの分解能は、高い空間周波数を収集する能力、言い換えれば、光軸に対する対象物からの高い放出角度を有する光ビーム（光線）を収集する能力によって決定される。次いで、解像度は、撮像システムの収集電力によってさらに決定される。
散乱媒体内の撮像の分解能は、入射空間パターンによって光学位相または振幅を変調することによって高めることができる。言い換えれば、光入射パターンまたは波面は、異なる位相または振幅値を保持し、時間的に変化する多くの画素または要素に空間的に分割される。入射パターンの変調では、散乱により対象物への大きな角度の入射が発生し得る。したがって、対象物からの高い空間周波数を有する大きな放出（反射）角度を生成して検出器に到達させることができ、それによって対象物の画像の空間分解能を高めることができる。
従来の光学撮像システムでは、照明は通常、垂直入射または光軸に平行な平面波であるが、反射光は光学撮像システムによって収集される。検出器（例えば、ＣＣＤ）上の検出された画像は、対象物の固定された態様のみを見る。集光点スキャン（すなわち、共焦点撮像）が行われるとき、対象物上の照明は、従来の光学撮像システムのような平面波ではない。代わりに、画像システムの元の入射瞳を越えても散乱からの高空間周波数光ビームを含む集束照明によって照明された任意の物体点が検出器に到達することができ、それによって対象物の詳細を明らかにすることができる。構造撮像と呼ばれる、対象物上の照明は、異なる位相変調を有することができ、異なる位相変調に基づいて変化する入射角をもたらす。これは、異なる照明角度を有する多くの照明源が同時に使用される合成開口撮像システムと同様である。異なる照明角度に対応する異なる位相変調は、対象物の異なる小平面を照明し、異なる照明に対応する反射光は、対象物の異なる部分または態様を明らかにする。様々な入射角を有する様々な照明下でのすべての取得画像の処理は、図９Ａおよび図９Ｂに示すように、対象物の詳細な情報を明らかにすることができる。
図９Ａおよび図９Ｂは、開示される主題の１つまたは複数の態様に係る強い散乱のための例示的な変調技術を示す。例えば、図９Ａを参照すると、媒体から後方散乱された背景のみを検出することができる強い散乱媒体が存在する場合、散乱媒体の背後の対象物の情報は、通常の照明下では得ることができない（すなわち、変調前）。照明が、様々な入射角を有する異なる位置での集光点に対応する異なる位相変調パターンを有する一連の照明に置き換えられると、対象物の画像を見ることができる（図９Ｂ）。
多くの光源または多くの検出器のいずれかが使用される従来の合成画像処理では、光源または検出器の位置合わせが保証されなければならず、そうでなければ、画像内の対象物は、異なる光源または検出器の下での標的のシフトのためにぼやけてしまう。システム１００では、対象物上の集光点による異なる変調は、高い空間周波数における標的の情報がすべて同じ撮像システムに収集されることを明らかにし、したがってさらなる位置合わせの必要はない。
一般的に言えば、霧からの後方散乱ノイズは、霧への入射光の強さに比例する。それが、濃霧走行時には、ハイビームヘッドランプを避けるべき利用である。そうでなければ、霧の中の水粒子からの強い後方散乱光によって形成された白い壁を除いて、何も見えない。画質を改善するために、（対象物からの）信号対ノイズ（霧からの後方散乱）比を増加させるためのいくつかの手法が本明細書に記載されている。しかしながら、霧の状態のなかで撮像にカメラを用いる限り、光が霧を通過する際に散乱する霧からのヘジングノイズを避けることは困難である。
テクスチャフィルタリング手法は、霧散乱によって引き起こされる霞みを除去するために霧内で撮影された画像にフィルタリングを適用することによって対象物のテクスチャを強調することができ、対象物の異なる領域に焦点を合わせた入射照明で撮影された各画像に適用される。換言すれば、フィルタリング手法を、ヘイズ効果が同じ画像内のテクスチャ詳細を比較することによって霧から生じるヘイズノイズを除去するために、追加することができる。このようにして、対象物の画像のコントラストが強調される。
本明細書で説明したように、変調光の集光点が対象物に入射してスキャンすると、各集光点で撮影された画像は、共焦点処理、構造処理、およびフィルタリングによって処理され、対象物の画質は、輝度の向上、コントラストの向上、および解像度の向上の点ではるかに良好な視覚化の改善と共に大幅に改善することができる。
上述の特徴（例えば、システム／方法）は、以下の開示における実施形態の１つまたは複数の１つまたは複数の特徴と組み合わせることができる。以下の開示における１つまたは複数の部品／例は、上述の特徴（例えば、システム／方法）に適用することができる。代替的および／または追加的に、以下の開示における実施形態の１つまたは複数の変更は、上述の特徴（例えば、システム／方法）に適用することができる。以下の説明は、照明および／または撮像システムおよび関連する方法を提供する。
以下では、適応照明および視覚化の強調を伴う照明および／または撮像システムおよび関連する方法について説明する。一例として、以下の開示の多くは、車両と共に使用するための車両ヘッドランプシステムおよび関連方法（例えば、自動車、トラック、ボート、飛行機などである）の文脈における照明システムおよび関連方法を説明する。以下の開示は、様々な運転条件で車道および／または周囲環境を照明するための車両ヘッドランプシステムおよび関連する方法を説明するが、本明細書に記載されたものに加えて他の用途および他の実施形態は、本技術の範囲内である。例えば、当業者は、本技術の少なくともいくつかの実施形態が、他の用途の中でも、車両リアランプ、光検出および測距（Ｌｉｄａｒ）システム、信号機、街灯、灯台、および道路標識に有用であり得ることを容易に認識するであろう。以下により詳細に説明するように、本技術の実施形態に従って構成された方法および／またはシステムは、照明および／または撮像システムから投影される将来の照明の照明プロファイルを適合させる（例えば、維持する、調節する、調整する、および／または調整する）ためのフィードバックとして、照明および／または撮像システムに反射および／または後方散乱された照明を使用するように構成される。
特定の大気条件（例えば、霧、雨、雪、埃、大気汚染、および／または他の散乱媒体）が存在する場合、第１の方向に投影された照明は、第１の方向とほぼ反対の第２の方向を含むいくつかの方向に散乱され、後方散乱ノイズを生成する。この散乱は、（ｉ）物体に到達する投影された照明の量、および（ｉｉ）物体から反射して照明および／または撮像システムの検出器に戻る照明の量を減少させる。したがって、後方散乱ノイズおよび／または別の信号（例えば、グレア）の存在下での反射信号の強度およびその信号対ノイズ比は大幅に減少し、大気条件および／または撮像画像内での物体の明るさおよびコントラストが低下する。さらに、不均一で激しい散乱は、物体に向かう途中の投影された照明と、照明および／または撮像システムの検出器に戻る途中の反射された照明の両方を歪ませる。これにより、大気条件および／または撮像画像内での物体の解像度が低下する。
例として従来の車両ヘッドランプシステムを使用すると、従来のヘッドランプから投射される照明は運転者の目を含むいくつかの方向に散乱されるため、強い霧、雨、雪、埃、および／または大気汚染が存在する場合、ロービーム設定もハイビーム設定も適切な前方および／または側方照明を提供しない。車道に到達する照明が少なくなり、霧、雨、雪、埃、大気汚染、および／または他の運転状態からの後方散乱光によって運転者の目がフラッシングされるため、散乱は車道および／または周囲環境の視界不良をもたらす。さらに、これらの運転状態は、道路および／または周囲環境内の物体から反射された後に運転者の目に戻る照明を歪める。
この問題に対処するために、多くの車両はフォグランプも含む。フォグランプは、典型的には、車両の低い位置に配置され、上述の運転状態において運転者の目に向かう散乱を最小限に抑えるために、平坦で広い照明分布を提供するように特に構成される。しかしながら、照明の分布は調整することができず、照明の一部は他の道路利用者の目に向けられる。このため、一部の管轄区域では、極端に霧が多い運転条件以外でフォグランプを使用することは違法である。さらに、フォグランプは、通常、別個の照明源として提供され、車両の従来のヘッドランプの代わりに、またはそれに加えて使用されることが多い。
多くの他の従来の照明および／または撮像システムは、後方散乱ノイズの問題に対処するために様々な他の手法を使用する。例えば、多くの従来の照明システムは、検出器による後方散乱ノイズの検出を最小限に抑えるために、特定の時間にのみ検出器を反射信号に曝露することを含む時間ゲーティング検出を使用する。この手法は、物体から反射された光の信号対ノイズ比を増加させるが、検出器によって検出されるのは弾道光のみである。弾道光（すなわち、散乱媒体を通って直線状に妨げられることなく移動する光子）は、通常、最初に投射された光信号のごく一部である。このため、微弱なリターン信号を検出できる専用の検出器が必要となる。さらに、検出器は指定された時間にのみ露出されるため、照射された物体と検出器との間の距離を知る必要がある。したがって、この手法は、照明システムおよび／または照明された物体が移動する設定では使用することができない。
別の従来の手法は、後方散乱ノイズと破壊的に干渉するために参照光ビームを使用することである。特に、後方散乱ノイズの光位相とは反対の光位相（例えば、後方散乱ノイズに対するπ位相シフトを有する光位相）を有する参照光ビームが、後方散乱ノイズを相殺するために従来の照明システムから投射される。しかしながら、後方散乱ノイズの分布は、散乱媒体の異なる層からの複数の光学位相を含む。このように、参照光ビームは、後方散乱ノイズの一部のみと破壊的に干渉し、後方散乱ノイズのすべてが相殺されるわけではないことを意味する。加えて、従来の照明システムは、後方散乱ノイズと、基準光ビームを投射する前に物体から反射された光とを区別しない。このように、参照光ビームは、反射光信号の全部または一部を打ち消すことがある。
したがって、本技術の実施形態は、後方散乱照明を低減し、および／または散乱媒体または他の大気条件（例えば、太陽または別の光源からのグレア）の存在下で物体の視認性を高めるために、１つまたは複数の照明および／または撮像システムにおいて（例えば、１つまたは複数の車両ヘッドランプにおいて）適応照明および／または視覚化強調技術を使用する。このようにして、本技術の実施形態は、他の従来の解決策（例えば、従来の車両用前照灯の代わりに、または従来の車両用前照灯に加えて、フォグランプを使用すること、時間ゲーティング検出の使用；および／または参照光ビームの使用）の使用を不要にする。いくつかの実施形態では、例えば、システムは、照明源、１つまたは複数の検出器、およびコントローラを使用して、照明および／または撮像システムから（例えば、車両のヘッドライトシステムから）投影された照明を現在の大気条件（例えば、散乱媒体および／またはグレアの存在）に選択的に適合または調整する。特に、照明源は、コントローラによって定義された照明プロファイルに従って照明を投影することができる。検出器は、投影された照明の後方散乱および／または反射部分を検出することができる。検出された照明の部分に少なくとも部分的に基づいて、コントローラは、照明および／または撮像システムから投影される将来の照明の１つまたは複数の特性を適合させる（例えば、維持および／または調整する）ように照明プロファイルを適合させる（例えば、維持および／または調整する）ことができる。本技術のこれらおよび他の実施形態は、照明および／または撮像システムから投影される照明の１つまたは複数の特性を空間的に変調および／または変更するために変調器をさらに使用することができる。
以下の説明および図１０～図１９Ｃには、本開示の様々な実施形態の完全な理解を提供するために、特定の詳細が記載されている。しかしながら、照明および／または撮像システムおよび関連する方法に関連することが多い周知の構造およびシステムを説明する他の詳細は、本開示の様々な実施形態の説明を不必要に不明瞭にすることを避けるために以下に記載されない。
図１０～図１９Ｃに示される詳細、寸法、角度、および他の特徴の多くは、本開示の特定の実施形態の単なる例示である。したがって、他の実施形態は、本開示の趣旨または範囲から逸脱することなく、他の詳細、寸法、角度、および特徴を有することができる。さらに、当業者は、本開示のさらなる実施形態が、以下に記載される詳細のいくつかなしで実施され得ることを理解するであろう。
図１０は、開示された技術的特徴の１つまたは複数の態様に係る適応照明の照明および／または撮像システム１００（「照明システム１００」または「システム１００」）の概略図を示す。図１０の図は、図１のブロック図に記載されているシステム１００の一例である。図示のように、システム１００は、照明源１０１、検出器１０３、および変調器１０４と通信する（例えば、有線および／または無線）コントローラ１０２を含む。図１０のコントローラ１０２は図１の処理回路１０２に対応し、これらの用語は交換可能に使用できることを理解されたい。いくつかの実施形態では、システム１００は、ケーシング１０５を含むことができる。ケーシング１０５は、照明源１０１、コントローラ１０２、検出器１０３、および／または変調器１０４を囲む（例えば、パッケージおよび／または保護する）ために使用することができる。ケーシング１０５は、光透過性材料とすることができる。これらおよび他の実施形態では、システム１００は、コントローラ１０２と通信する（例えば、有線および／または無線）複数の検出器１０３を含むことができる。例えば、図１０に示すように、システム１００は、以下でより詳細に説明するように、照明源１０１によって投影された照明を検出するように配向された検出器１０３’および／または投影された照明のうちの１つまたは複数の方向に反射された部分を検出するように配向された検出器１０３を含むことができる。本技術の実施形態の説明を不必要に不明瞭にすることを避けるために図示されていないが、システム１００はまた、適応照明および／または視覚化拡張のための他のハードウェアおよび／または構成要素を含むことができる。例えば、システム１００は、ソフトウェア、ソフトウェアを記憶するためのメモリ、および／または他の信号処理ハードウェアを含むことができる。
本技術の実施形態によれば、システム１００の照明源１０１は、照明（例えば、車道上および／または周囲環境内に）を投影および／または放出するように構成された任意の照明源とすることができる。例えば、照明源１０１は、電球（例えば、ハロゲン電球）、ライトバー、発光ダイオード（ＬＥＤ）、レーザ、レーザダイオード、ＬＥＤによって照明される蛍光体材料（例えば、蛍光体プレート）、照明源のアレイ、および／または別の種類の照明源とすることができる。図１０に示す実施形態では、照明源１０１はレーザダイオードである。以下により詳細に説明するように、照明源１０１は、変調器１０４を通しておよび／またはシステム１００から離れて照明を投影するように構成することができる。
図１０の第１の検出器１０３および／または第２の検出器１０３’は、光パワー検出器、撮像センサなどであってもよい。例えば、第１および第２の検出器１０３，１０３’は、第１および第２の検出器１０３，１０３’に入射する光（例えば、可視、赤外線など）信号を検出するように構成された光検出器（例えば、画像センサ、電荷結合素子（ＣＣＤ）、フォトダイオード、カメラなどである）とすることができる。
これらおよび他の実施形態では、第１および第２の検出器１０３，１０３’は、入射非光学（例えば、音響、ＲＦなど）信号を検出するように構成された非光学センサとすることができる。これらおよびさらに他の実施形態では、第１および第２の検出器１０３，１０３’は複数のセンサを含むことができる。例えば、第１および第２の検出器１０３，１０３’は、（例えば、水中用途で使用するために）非光学センサに結合された光学センサを含むことができる。これらの実施形態では、光センサは、高周波および／または短波長光信号を他のタイプの非光信号（例えば、音響信号）に変換することができ、その後、非光学センサによって検出することができる。この構成は、環境内に存在する低周波および／または長波長ノイズを除去することができ、および／または信号を音響信号に変換することによって信号の完全性を維持することができる。
上述したように、第１の検出器１０３および／または第２の検出器１０３’の全部または一部は、照明源１０１によってケーシング１０５内に封入することができる。これらおよび他の実施形態では、第１の検出器１０３および／または第２の検出器１０３’は、ケーシング１０５の外側の位置に配置することができる。例えば、第１の検出器１０３および／または第２の検出器１０３’は、別の照明システム１００のケーシング１０５などの異なるケーシング１０５内に配置することができる。これらおよび他の実施形態では、第１の検出器１０３および／または第２の検出器１０３’は、車両ヘッドランプ照明システム１００という観点から運転者の目のより近くに（例えば、車両のフロントガラスに、またはその近くに）配置することができる。さらなる実施形態では、第１の検出器１０３および／または第２の検出器１０３’は、照明源１０１に対して異なる適切な配置を有してもよい。例えば、図１０に示すように、第２の検出器１０３’は、物体から反射された照明を検出するように配置されるのではなく、照明源１０１によって投影された照明を検出するように配置される。
図１０に示す変調器１０４は、照明源１０１から投影される照明の振幅、位相、波長、および／または他の特性を変調するように構成された空間および／または時間変調器とすることができる。いくつかの実施形態では、例えば、変調器１０４は空間光変調器（ＳＬＭ）（例えば、液晶ＳＬＭ）である。例えば、変調器１０４は、照明源１０１から投影される照明の光振幅を変調するように構成された、デジタル・マイクロミラー・デバイス（ＤＭＤ）などの振幅ベースの変調器とすることができる。これらおよび他の実施形態では、ＤＭＤは、ＤＭＤの画素を符号化することによって、照明源１０１から投影された照明の光位相を変調するように構成することができる。これらおよびさらに他の実施形態では、ＤＭＤは、ＤＭＤのバイナリ画素を符号化することによって、光位相および光振幅を同時に変調するように構成することができる。
変調器１０４は、追加的に（または代替的に）放射波長変調器であってもよい。これらの実施形態では、変調器１０４は、照明源１０１からの照明の強度を変更するように構成することができる。例えば、変調器１０４は、レーザまたはＬＥＤ照明源１０１からの青色発光を変化させるように、および／または蛍光体プレート照明源１０１からの黄色発光を変化させるように構成することができる。これらおよび他の実施形態では、変調器１０４は照明源１０１を含むことができ、および／またはその逆も可能である。
コントローラ１０２は、マイクロコントローラ、専用論理回路（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などである）、または他の適切なプロセッサとすることができる。いくつかの実施形態では、例えば、コントローラ１０２は、（ｉ）マイクロプロセッサまたはオンチッププロセッサなどのプロセッサ（図示せず）、および（ｉｉ）埋め込みメモリ（図示せず）を含むことができる。プロセッサは、組み込みメモリに格納された命令を実行するように構成することができる。埋め込みメモリは、照明源１０１、検出器１０３、および／または変調器１０４の間の通信を管理することを含む、照明システム１００の動作を制御するための様々なプロセス、論理フロー、およびルーチンを格納するように構成することができる。いくつかの実施形態では、埋め込みメモリは、例えば、メモリポインタ、フェッチされたデータなどを記憶するメモリレジスタを含むことができる。埋め込みメモリは、マイクロコードを記憶するための読み出し専用メモリ（ＲＯＭ）を含むことができる。図１０に示す照明システム１００はコントローラ１０２を含むが、本技術の他の実施形態では、システム１００はコントローラを含まなくてもよく、代わりに外部制御（例えば、車両によって、別の照明システムによって、および／または別のシステムによって提供される）に依存してもよい。
動作中、照明および／または撮像システム１００の照明源１０１は、変調器１０４を通しておよび／またはシステム１００から離れるように照明を放射するように構成される。例えば、照明源１０１は、（例えば、車道、物体、および／または周囲環境を照らすために、および／または情報を通信するために）変調器１０４を通ってシステム１００から離れるように照明を投影することができる。検出器１０３’は、コントローラ１０２に通信することができる光学信号および／または非光学信号の形態で検出器１０３’に到達する投影された照明の一部を検出することができる。追加的または代替的に、検出器１０３は、コントローラ１０２に通信することができる光学信号および／または非光学信号の形態で後方散乱および反射照明を検出することができる。以下により詳細に説明するように、コントローラ１０２は、検出器１０３および／または検出器１０３’によって検出された照明に少なくとも部分的に基づいて、照明源１０１および／または変調器１０４を適合させる（例えば、維持、更新、調整、修正、変更、調整など）ことによって、システム１００から投影される将来の照明の照明プロファイルを適合させる（例えば、維持、更新、調整、修正、変更、調整などを行うことができる）ことができる。このようにして、コントローラ１０２は、検出された照明を現在の大気条件に関するフィードバックとして使用することができ、したがって、システム１００から投影される将来の照明を現在の大気条件に適合させて、物体に到達する照明量を向上させ、および／または視認性を向上させることができる。
図１１は、本開示の技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システム２００（例えば、図１０に示すシステム１００）を使用した適応照明および／または視覚化強調のための技術の部分概略図である。例として、照明および／または撮像システム２００は、車両ヘッドランプシステム２００である。しかしながら、上述したように、当業者は、本技術の少なくともいくつかの実施形態が、とりわけ、車両リアランプ、光検出および測距（Ｌｉｄａｒ）システム、信号機、街灯、灯台、および道路標識を含む他の用途に有用であり得ることを容易に認識するであろう。
図１１に示すように、コントローラ１０２は、照明源１０１に投影するよう指令し、および／または変調器１０４に所望の照明プロファイルで照明を通過させるよう指令するように構成される。いくつかの実施形態では、例えば、コントローラ１０２は、照明源１０１に、１つまたは複数の所望の時間特性を有する照明を投影するよう指令することができる。例えば、コントローラ１０２は、（例えば、変調器１０４を介して）照明を連続的に投影するように照明源１０１に指令することができる。他の実施形態では、コントローラ１０２は、照明源１０１に、照明を一連２３０の１つまたは複数の周期パルス２４０に投影するよう指令することができる。これらおよび他の実施形態では、コントローラ１０２は、パルス２４０のうちの１つまたは複数の持続時間２３２を定義することができ、および／または隣接するパルス２４０の開始間に１つまたは複数の時間間隔２３１を定義することができる。
追加的または代替的に、コントローラ１０２は、照明源１０１から投影された照明を空間的に変調するように変調器１０４に指令することができる。例えば、変調器１０４は、照明源１０１が照明を投影するように構成されている、１つまたは複数のプログラム可能な領域または画素２８０を含むことができる。これらの実施形態では、コントローラ１０２は、ヘッドランプシステム２００のメモリに保存された１つまたは複数の変調グリッドまたはパターン２１０に従って領域２８０の１つまたは複数の特性をプログラムする（例えば、設定、維持、変更、更新、調整、適合、調整など）ように変調器１０４に指令することができる。パターン２１０は、１つまたは複数の既知の駆動条件および／または照明の１つまたは複数の特定の分布に対応することができる。したがって、変調器１０４の各領域２８０は、１つまたは複数の所望の特性を有する照明を通過させることができる。
いくつかの実施形態では、例えば、コントローラ１０２は、光振幅の所望の空間分布を有する照明を通過させるように領域２８０をプログラムするように変調器１０４に命令することができる。一例として図１１に示されるパターン２１１を使用すると、コントローラ１０２は、変調器１０４の対角線Ｄに沿った領域２８０（例えば、領域２８２～２８４）が大きな光振幅を有する照明を通過させ、対角線Ｄから外れた領域２８０（例えば、領域２８１）がより小さな光振幅を有する照明を通過させるように、領域２８０をプログラムするように変調器１０４に命令することができる。いくつかの実施形態では、光学振幅分布を正規化することができる（例えば、０～１）。
これらおよび他の実施形態では、コントローラ１０２は、光位相の所望の空間分布を有する照明を通過させるように領域２８０をプログラムするように変調器１０４に命令することができる。特定の一例では、コントローラ１０２は、０ラジアンと６．２８ラジアンとの間の位相を有する照明を通過させるように領域２８０をプログラムするように変調器１０４に命令することができる。一例として再び第１パターン２１１を参照すると、コントローラ１０２は変調器１０４に、第１の光位相で照明を通過させるように領域２８１をプログラムし、（例えば、第１の相とは異なる）第２の光位相で照明を通過させるように領域２８３をプログラムするよう命令できる。
これらおよびさらに他の実施形態では、コントローラ１０２は、他の特性の所望の分布を有する照明を通過させるように領域２８０をプログラムするように変調器１０４に命令することができる。例えば、コントローラ１０２は、所望の波長の空間分布を有する照明を通過させるように領域２８０をプログラムするように変調器１０４に命令することができる。これらおよび他の実施形態では、領域２８０は、極性の所望の空間分布を有する照明を通過させるように、および／または所望の方向および／または所望の角度で照明を通過させる（例えば、向ける）ようにプログラムすることができる。
一般に、図１２Ａは、Ｍ×Ｎ次元を有するシステムの透過行列を示し、Ｍは変調器上の画素（要素）の数であり、Ｎはカメラ上の画素（要素）の数である（例えば、ＣＣＤ）。図１２Ａの透過行列のＭ画素を有する各列は、図１２Ｂに示す最適化位相／振幅変調パターンに対応し、変調器に表示されると、図１２Ｃに示す対象物上に集光点を形成する。より詳細な例として、図１２Ａは、開示された技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システム１００および／または車両ヘッドランプシステム２００（図１０および図１１）を使用して取得された周囲環境の透過行列３８３の概略図である。図示されるように、透過行列３８３は、Ｍ×Ｎ個の要素を有し、Ｍは、検出器１０３（例えば、電荷結合素子（ＣＣＤ））の要素（例えば、画素）の数であり、Ｎは、変調器１０４（例えば、ＳＬＭの）の要素（例えば、画素）の数である。
図１２Ｂは、開示された技術的特徴の１つまたは複数の態様に係る、透過行列３８３から導出された変調パターン３１０における最適化された空間位相分布の概略図である。上記の説明によれば、変調パターン２１０内の領域２８０は、１つまたは複数の所望の特性（例えば、１つまたは複数の光学位相および／または振幅）を有する照明を通過させるように（例えば、コントローラ１０２によって）個別にプログラムすることができる。例えば、図１２Ｃは、図１２Ｂに示す変調パターン３１０に対応する強度プロット３８９である。図１２Ｃに示すように、変調パターン３１０（図１２Ｂ）内の領域２８０（図１２Ｂ）は、投影照明の集光点３８７を有する照明プロファイルを有する照明を通過させるようにプログラムすることができる。以下でより詳細に説明するように、照明および／または撮像システム１００および／または車両ヘッドランプシステム２００は、様々な集光点（例えば、集光点３８７）で１つまたは複数の照明パターンを投影して、１つまたは複数の対応する集光点画像（図示せず）を捕捉することができる。いくつかの実施形態では、集光点画像を組み合わせて、物体の視覚化品質を向上させることができる。
図１３Ａおよび図１３Ｂは、開示される技術的特徴の１つまたは複数の態様に係る照明および／または撮像システム１００の（例えば、車両ヘッドランプシステム２００の）動作原理を示す部分概略図である。図１３Ａに示すように、例えば、照明源１０１は、上記の説明に従って、変調器１０４を通してシステム１００から離れて照明４４０（例えば、投影照明４４０）を放射するように構成される。照明４４０がシステム１００から投影された後、投影された照明４４０がシステム１００の前方の環境４５０内の粒子（例えば、霧、雨、雪、埃、汚染など）に遭遇すると、投影された照明４４０の第１の部分４４１はシステム１００に向かって後方散乱される。照明のこの第１の部分４４１は、本明細書では後方散乱照明４４１または後方散乱ノイズと呼ばれ、システム１００の検出器１０３によって検出および／または測定することができる。以下により詳細に説明する適応照明および／または視覚化の向上がない場合、検出器１０３によって検出および／または測定された後方散乱照明４４１の量は、環境４５０内の粒子の数と正の相関がある。
照明４４０の第２の部分４４２は、環境４５０内の粒子（例えば、妨げられない、および／または前方散乱による）を通過し、対象物４６０に向かう。物体４６０は、例えば、検出器１０３’、道路、道路標識、車両、歩行者、樹木、動物などを含むことができる。図１０に示すような検出器１０３’を有する実施形態では、検出器１０３’は、照明４４０の第２の部分４４２を検出および／または測定することができる。以下により詳細に説明する適応照明および／または視覚化の向上がない場合、検出器１０３’によって検出および／または測定される照明４４０の第２の部分４４２の量は、環境４５０内の粒子の数と負の相関がある。照明４４０の第２の部分４４２の一部（図示せず）は、物体４６０によって吸収および／または散乱され、第２の部分４４２の残りの部分４４３は、システム１００に向かって反射される。残りの部分４４３の第１の部分４４４は、残りの部分４４３が環境４５０内の粒子に遭遇すると、物体４６０に向かって後方散乱される。図１０に示すような追加の検出器１０３’を有する実施形態では、検出器１０３’は、残りの部分４４３の第１の部分４４４を検出および／または測定することができる。以下により詳細に説明する適応照明および／または視覚化の強調がない場合、検出器１０３’によって検出および／または測定された残り４４３の第１の部分４４４の量は、環境４５０内の粒子の数と正の相関がある。
残りの部分４４３の第２の部分４４５は、環境４５０内の粒子（例えば、妨げられない、および／または前方散乱による）を通過する。残りの部分４４３の第２の部分４４５は、本明細書では反射照明４４５と呼ばれ、システム１００の検出器１０３によって検出することができる。以下により詳細に説明する適応照明および／または視覚化の向上がない場合、検出器１０３によって検出される反射照明４４５の量は、環境４５０内の粒子の数と負の相関がある。
上述したように、システム１００の検出器１０３は、後方散乱照明４４１および／または反射照明４４５を検出するように構成することができる。図１０に示すような検出器１０３’を有する実施形態では、検出器１０３’は、投影された照明４４０の第２の部分４４２および／または残りの部分４４３の第１の部分４４４を検出するように構成することができる。検出器１０３，１０３’は、後方散乱照明４４１、反射照明４４５、投影照明４４０の第２の部分４４２、および／または残りの部分４４３の第１の部分４４４を電気信号に変換し、電気信号をコントローラ１０２に伝達するようにさらに構成することができる。これは、投影された照明４４０のうちのどれだけが物体４６０のうちの１つまたは複数に到達するか、および／または反射された照明４４５のうちのどれだけがシステム１００に戻されるかの表示を提供することができる。コントローラ１０２内の信号処理ハードウェア（図示せず）は、検出器１０３，１０３’から受信した電気信号を分析することができる。例えば、信号処理ハードウェアは、電気信号を１つまたは複数の他のドメインまたはスペクトルに変換することができ、および／または得られた変換を既知の運転条件のシグネチャ変換と比較することができる。
例示的な条件として重度の霧を使用すると、信号処理ハードウェアは、そのフーリエ変換を行うことによって、図１３Ａに示す検出器１０３から受信した電気信号を周波数領域に変換することができる。フーリエ変換は、霧から白色後方散乱照明４４１を生成するために組み合わされる色に対応するいくつかの周波数を有する検出された照明の高い存在を示す。フーリエ変換は、物体４６０から反射された反射照明４４５に対応する同じおよび／または異なる色の照明に対応する周波数を有する検出された照明の存在をさらに示すことができる。次いで、コントローラ１０２は、フーリエ変換を既知の運転条件のシグネチャ変換と比較することができ、変換が霧の高存在のシグネチャ変換に類似していると判定することができる。
いくつかの実施形態では、コントローラ１０２は、フーリエ変換比較に加えて、またはその代わりに、後方散乱照明４４１および／または反射照明４４５の他のパラメータを使用することができる。例えば、コントローラ１０２は、照明源１０１が照明４４１を投影した後、検出器１０３が後方散乱照明４４０および／または反射照明４４５をどれだけ迅速に検出したかを算出することができる。これらの実施形態では、環境４５０内の深い霧からの後方散乱照明４４１は、システム１００の前方の白色物体４６０（例えば、車両、建物など）からの反射照明４４５よりもはるかに迅速に検出器１０３によって検出される。したがって、コントローラ１０２が、（ｉ）フーリエ変換が、白壁に対応する周波数を有する検出された照明の高い存在、またはグレアを示す、および／または（ｉｉ）検出された照明が、照明源１０１が照明４４０を投影した後に迅速に検出器１０３によって検出されたと判定した場合、コントローラ１０２は、深い霧が存在すると判定することができる。
これらおよびさらに他の実施形態では、照明および／または撮像システム１００（例えば、コントローラ１０２）は、検出器１０３および／または検出器１０３’から受信した電気信号から環境４５０の透過行列（例えば、図１２Ａに示す透過行列３８３）を取得することができる。これらの実施形態では、コントローラ１０２は、透過行列から最適化された変調パターン２１０（図１１）および／またはパターン３１０（図１２Ｂ）を導出することができる。取得された透過行列に対応する最適化された変調パターン２１０および／または３１０を決定するためにコントローラ１０２が使用する時間を短縮するために、コントローラ１０２は、周囲環境４５０の低次元透過行列（例えば、環境４５０内の散乱媒体）から高次元変調パターン２１０および／または３１０を算出するために、１つまたは複数の最適化アルゴリズムを使用することができる。例えば、検出器１０３，１０３’および／またはコントローラ１０２は、少数の入射チャネルを有する低次元透過行列を取得することができる。コントローラ１０２は、照明および／または撮像システム１００に予めロードされた１つまたは複数の光パターンを使用して低次元透過行列を評価することができる。次いで、コントローラ１０２は、低次元透過行列および１つまたは複数の最適化アルゴリズム（例えば、特異値分解処理アルゴリズム、低次元透過行列の逆行列から数学的誤差を除去するアルゴリズム、検出器１０３上のフィードバックを監視することによって特異値を最適化するアルゴリズム、および／または新たに生成された要素を用いて低次元透過行列の次元を増加させるアルゴリズムなどである）を使用して、高次元変調パターン２１０および／または３１０を算出することができる。
他のパラメータ、および／または最適化された変調パターン２１０および／または３１０の比較に基づいて、コントローラ１０２は、照明源１０１および／または変調器１０４に、システム１００によって投影される将来の照明の照明プロファイルを適合させる（例えば、維持、更新、変更、修正、調整などを行うことができる）よう命令することができる。再び図１１を参照すると、例えば、コントローラ１０２は、照明源１０１に、照明４４０の次のパルス（図１３Ａ）の持続時間２３２および／またはシーケンス２３０内の照明４４０の隣接するパルス間の時間間隔２３１を適合させるよう命令することができる。これらおよび他の実施形態では、コントローラ１０２は、照明４４０の１つまたは複数の特性の空間変調を適合させるために、（例えば、パターン２１１，２２０，２２１、または２２２）パターン２１０に従って領域２８０をプログラムするように変調器１０４に命令することができる。
濃霧の例に戻り、照明および／または撮像システム１００が最初にパターン２１１に従って照明４４０を投影したと仮定すると、コントローラ１０２は、照明４４０の時間変調を適合させる（例えば、維持および／または変更する）ように照明源１０１に命令することができる（例えば、照明４４０の次のパルスの）。追加的または代替的に、コントローラ１０２は、照明４４０の空間変調を適合させる（例えば、維持および／または変更する）ように変調器１０４に命令することができる。例えば、コントローラ１０２は、（ｉ）深い霧の存在および／または（ｉｉ）検出された照明の他のパラメータ（すなわち、図１３Ａに示す後方散乱照明４４１および／または反射照明４４５）に対応する最適化されたパターン２１０（例えば、パターン２２０）に従って領域２８０をプログラムするように変調器１０４に命令することができる。
図１３Ｂを参照すると、照明４４０の時間的および／または空間的変調を適合させることによって、システム１００は、照明４４０を環境４５０および／またはシステム１００の前方の物体４６０に適合させる。システム１００は、（例えば、パターン２１１の代わりに最適化されたパターン２２０に従って）例えば、照明４４０の位相および／または振幅を適合させることによって、後方散乱照明４４１の量を減少させながら、環境４５０内の（例えば、妨げられない、および／または前方散乱による）粒子を通過する照明４４０の第２の部分４４２を増加させることができる。次に、物体４６０から反射される照明４４０の残りの部分４４３が増加し、これは、システム１００に戻る反射照明４４５の量も増加することを意味する。結果として、（ｉ）照明４４０の後方散乱がシステム１００に向かって少なくなるため（例えば、運転者の目に向かって）視認性が大幅に向上すると予想され、（ｉｉ）照明４４０のより多くが大気４５０内の粒子を通過し、それによってシステム１００の前方の物体４６０を照明する。
それに加えて、またはその代わりに、照明４４０の照明プロファイルを適合させることによって、システム１００は、物体４６０を運転者にとってより鮮明におよび／またはより明らかにすることが期待される。いくつかの実施形態では、例えば、システム１００は、照明４４０のより多くを物体４６０に向けることによって、および／または照明４４０の物体４６０に向けられた部分の１つまたは複数の特性を調整することによって、物体４６０の視認性を高めることができる。これは、例えば、物体４６０を明るくしてそれらをより視認可能にすることができ、および／または（例えば、反射グレアを低減するために）物体上の特定の領域の明るさを減少させることができる。これらの実施形態および他の実施形態では、システム１００は、異なる特性を有する照明４４０および／または照明４４０の一部を環境４５０内の他の領域に向けることができる。これにより、（ｉ）環境４５０に対する物体４６０のコントラスト、および／または（ｉｉ）物体４６０の視認性および／または明瞭性が向上すると予想される。図１２Ａ～図１２Ｃに関して上述し、以下により詳細に説明するように、例えば、システム１００は、１つまたは複数の集光点を有する１つまたは複数の照明パターンを投影して、１つまたは複数の集光点画像を取得することができる。物体４６０のコントラスト、視認性、および／または明瞭性を高めるために、２つまたはそれ以上の集光点画像を組み合わせることができる。
図１４は、開示された技術的特徴の１つまたは複数の態様に係る照明および／または撮像システム１００を動作させる方法の構造撮像ルーチン５７０を示す流れ図である。例として、ルーチン５７０は、車両ヘッドランプシステム２００（図１１）との関連で説明される。いくつかの実施形態では、ルーチン５７０は、少なくとも部分的に、ヘッドランプシステム２００によって、ヘッドランプシステム２００と通信する（例えば、有線および／または無線）別の装置またはシステム（例えば、車両）によって、および／またはヘッドランプシステム２００のオペレータまたはユーザ（例えば、車両の運転者）によって実行することができる。例えば、ルーチン５７０は、図１０、図１１、図１３Ａ、および／または図１３Ｂに示す照明源１０１、コントローラ１０２、検出器１０３、検出器１０３’、および／または変調器１０４によって実行することができる。
ルーチン５７０は、自動的におよび／または構造撮像を実行するための命令に応答して呼び出されることができる。いくつかの実施形態では、例えば、ルーチン５７０は、ヘッドランプシステム２００の電源がオンになったときに（例えば、ヘッドランプシステム２００が設置された車両の電源がオンになったとき、車両のヘッドランプの電源がオンになったときなどである）自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン５７０は、検出器１０３および／または検出器１０３’が（例えば、天候、埃、グレアなどに起因する）視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン５７０は、運転者が設定機能オプション（例えば、車両のダッシュボード上、ヘッドランプシステム２００上など）を起動したことに応答して呼び出すことができる。
呼び出されると、ルーチン５７０はブロック５７１で開始して、初期照明プロファイルを事前定義および／または放出することができる。いくつかの実施形態では、初期照明プロファイルは、デフォルトの変調パターンに対応することができる。例えば、ルーチン５７０は、ヘッドランプシステム２００に、１つまたは複数の特性のデフォルトの時間的および／または空間的分布を有する照明を放射するよう命令することができる。いくつかの実施形態では、デフォルト特性分布は、ヘッドランプシステム２００の製造および／または試験中に定義することができる。これらおよび他の実施形態では、デフォルト特性分布は、一連のパターン（例えば、ヘッドランプシステム２００のメモリに保存される）内の特定のパターン（例えば、最初のパターン、中間パターン、最後のパターンなどである）に対応することができる。さらに他の実施形態では、デフォルトの特性分布は、（例えば、ヘッドランプシステム２００の電源がオフにされる前に）ヘッドライトシステム２００から放射された最後の照明プロファイルに対応することができる。
他の実施形態では、ルーチン５７０は、初期照明プロファイルを事前定義するために１つまたは複数の測定を実行および／または分析するように構成することができる。例えば、ルーチン５７０は、（例えば、環境内に存在する日光の量を測定するために）ヘッドランプシステム２００の検出器１０３によって検出された照明を分析するように構成することができる。それに加えて、またはその代わりに、ルーチン５７０は、車両内の他のシステムまたはデバイス（例えば、雨センサ、昼光センサ、温度センサ、別のヘッドランプシステム２００などである）から利用可能な他の測定値および／または情報を分析するように構成することができる。このデータから、ルーチン５７０は、初期照明プロファイルを定義することができる。初期照明プロファイルを定義した後、ルーチン５７０は、ヘッドランプシステム２００の照明源１０１および／または変調器１０４を使用して照明プロファイルを放射することができる。
ブロック５７２において、ルーチン５７０は、反射および／または後方散乱照明を検出する。いくつかの実施形態では、ルーチン５７０は、ヘッドランプシステム２００の検出器１０３を使用して反射および／または後方散乱照明を検出することができる。これらおよび他の実施形態では、ルーチン５７０は、異なる検出器１０３（例えば、車両に設置された別のヘッドランプシステム２００の検出器１０３、運転者の目の近くに配置された検出器１０３など）を使用して反射および／または後方散乱照明を検出することができる。図１０に示すような検出器１０３’を有する実施形態では、ルーチン５７０は、追加的または代替的に、ブロック５７２において、照明源１０１から投影され、検出器１０３’に入射する照明の一部を検出することができる。これにより、照明システム１００に、（ｉ）妨げられることなく、かつ／または前方散乱（例えば、図１３Ａおよび図１３Ｂに示す投影照明４４０の第２の部分４４２の表示である）を介して（例えば、散乱媒体を通過して）検出器１０３’に到達する投影照明の量、および／または（ｉｉ）検出器１０３’に向かって（例えば、散乱媒体によって）後方散乱される反射照明の量の表示（例えば、図１３Ａおよび図１３Ｂに示す残り４４３の第１の部分４４４の表示）を提供することができる。検出器１０３，１０３’は、検出された照明を電気信号に変換することができ、信号をヘッドランプシステム２００のコントローラ１０２に通信することができる。
ブロック５７３において、ルーチン５７０は、検出された照明を評価し、最適化された照明プロファイルおよび対応する変調パターン２１０を決定する。いくつかの実施形態では、ルーチン５７０は、ヘッドランプシステム２００のコントローラ１０２内の信号処理ハードウェアを使用して、検出された照明を評価する。これらの実施形態では、ルーチン５７０は、電気信号を１つまたは複数の他のドメインまたはスペクトルに変換することができ、得られた変換を既知の運転状態のシグネチャ変換と比較することができる。これらおよび他の実施形態では、ルーチン５７０は、電気信号の１つまたは複数の他のパラメータを分析することができる。例えば、コントローラ１０２は、照明源１０１が照明４４１を投影した後、検出器１０３が後方散乱照明４４０および／または反射照明４４５をどれだけ迅速に検出したかを算出することができる。これらおよびさらに他の実施形態では、ルーチン５７０は、周囲環境の透過行列を取得することができ、透過行列からおよび／または透過行列に対応する最適化された変調パターンを算出および／または導出することができる。１つまたは複数の他のパラメータ、および／または透過行列に少なくとも部分的な比較に基づいて、ルーチン５７０は、現在の運転条件に対応する最適化された照明プロファイルを決定することができる。
ブロック５７４において、ルーチン５７０は、対応する変調パターン２１０を使用して最適化された照明プロファイルを発する。いくつかの実施形態では、ルーチン５７０は、対応する変調パターン２１０に従って投影された照明の１つまたは複数の時間的特性を適合させる（例えば、維持および／または調整する）ように照明源１０１に命令する。例えば、ルーチン５７０は、照明源１０１に連続照明を投影するよう命令することができ、または照明源１０１に（例えば、周期的）照明パルスを投影するよう命令することができる。これらおよび他の実施形態では、ルーチン５７０は、照明パルスの持続時間を維持および／または調整するように照明源１０１に命令することができ、および／またはパルスシーケンス２３０内の隣接する照明パルスの開始間の時間間隔を維持および／または調整するように照明源に命令することができる。
これらおよびさらに他の実施形態では、ルーチン５７０は、投影された照明の空間変調を適合させる（例えば、維持および／または調整する）ように変調器１０４に命令することができる。例えば、ルーチン５７０は、変調器１０４に、対応する変調パターン２１０に従って変調器１０４の１つまたは複数の領域２８０をプログラムするよう命令することができる。次に、プログラムされた領域２８０は、投影された照明の１つまたは複数の特性の空間分布を適合させることができる。いくつかの実施形態では、１つまたは複数の特性は、振幅、位相、波長、極性、および／または方向、角度、および／または集光点などの他の特性を含むことができる。
いくつかの実施形態では、ルーチン５７０は、散乱媒体を通って前方散乱される投影照明の量を増加させるために投影照明の１つまたは複数の特性を適合させるように照明源１０１および／または変調器１０４に命令することができる。例えば、ルーチン５７０は、散乱媒体を通過し、物体で反射し、および／または照明システムに戻る弾道光強度、振幅、および／または量を増加させるために、より大きな振幅または強度（例えば、電力）で、照明源１０１に投影および／または変調器１０４に照明を通過させるように命令することができる。これらおよび他の実施形態では、ルーチン５７０は、変調器１０４に、（例えば、変調器１０４内の領域２８０のうちの１つまたは複数をプログラムすることによって）投影された照明の光位相および／または振幅（例えば、部分）を変調して、物体に集中する（すなわち、局在化）前方散乱照明の量を増加させるよう命令することができる。散乱媒体を介して前方散乱される弾道照明および／または照明の量、振幅、および／または強度を増加させることによって、物体に入射する照明の量および光パワーが増加する。次に、散乱媒体を通る物体（例えば、ＣＣＤまたは眼などのモニタ上に表示されたおよび／またはモニタで見た画像内の物体の輝度測定値）の輝度が増加し、物体をより見やすくする。
これらおよび他の実施形態では、ルーチン５７０は、投影された照明が散乱媒体に遭遇したときに生成される後方散乱照明の量を減少させるように、および／または後方散乱照明をリダイレクトするように、投影された照明の１つまたは複数の特性を適合させるように変調器１０４に命令することができる。例えば、ルーチン５７０は、投影された照明が散乱媒体に遭遇すると、投影された照明のうちのより少ない照明がヘッドライトシステム２００に向かって後方に散乱され、および／または投影された照明のうちのより多くの照明が検出器１０３、車両のフロントガラス、および／または運転者の目から離れる方向に散乱されるように、投影された照明の光位相および／または振幅（例えば、部分）を変調するように変調器１０４に命令することができる。もしそうしなければ照明プロファイルの最適化なしに後方散乱照明となる、後方散乱照明の量を減少させることによって、および／または投影された照明の部分をリダイレクトすることによって、物体から反射されて検出器１０３に戻される照明の信号対ノイズ比が増加する。すなわち、物体（例えば、（ｉ）物体と（ｉｉ）散乱媒体および／または周囲環境との間の可視差）のコントラストが向上し、物体をより見やすくすることが期待される。
これらおよびさらに他の実施形態では、ルーチン５７０は、検出器１０３によって収集される高空間周波数照明の量を増加させるために投影照明の１つまたは複数の特性を適合させるように変調器１０４に命令することができる。例えば、ルーチン５７０は、変調器１０４に、投影された照明の光位相および／または振幅（例えば、その一部）を変調して、より多くの量の投影された照明が散乱媒体を通過するか、または散乱媒体によって物体に向かって散乱されるようにするよう命令することができる。これにより、光軸に対して大きな角度で物体に当たる投影照明の量を増やすことができ、光軸に対して大きな反射（例えば、放出）角度および高い空間周波数を有する反射照明の量を増やすことができる。これらおよび他の実施形態では、ルーチン５７０は、変調器１０４に、投影された照明（例えば、その一部）の光位相および／または振幅を変調するよう命令することができ、それにより、最適軸に対して大きな角度で物体から反射し、高い空間周波数を有する反射照明のより多くの量が、検出器１０３に向かって散乱媒体を通過し、および／または散乱される。すなわち、高い空間周波数を有し、検出器１０３によって検出および／または収集される反射照明の量を増加させることができる。このようにして、物体（例えば、物体の２つの別個の構成要素を区別する能力、および／または物体の構成要素の近さを視覚的に解決することができる）の空間解像度を高めることができ、物体をより見やすく、より鮮明にする（例えば、散乱媒体を介して、および／または別の物体から離れて）。
ブロック５７５において、ルーチン５７０は、ブロック５７２におけるルーチン５７０と同様の方法で照明を検出する。ブロック５７６において、ルーチン５７０は、検出された照明を評価する。いくつかの実施形態では、ルーチン５７０は、ブロック５７３でルーチン５７０と同様の方法で検出された照明を評価することができる。
ブロック５７７において、ルーチン５７０は、ヘッドランプシステム２００の前方の環境が変化したか変化したかを判定する。例えば、ルーチン５７０は、ブロック５７５および／または５７６で検出および／または評価された照明のフーリエ変換を、（ｉ）既知の運転条件のシグネチャフーリエ変換、（ｉｉ）ブロック５７２および／または５７３で以前に検出および／または評価された照明のフーリエ変換、および／または（ｉｉｉ）ブロック５７４および／または５７５で以前に（例えば、ブロック５７４～５７８の前の反復において）検出および／または評価された照明のフーリエ変換と比較することができる。これらおよび他の実施形態では、ルーチン５７０は、環境が変化したかどうかを判定するために、ブロック５７１，５７４および／または５７５および／または他のソース（例えば、他の検出器１０３、他のセンサなどである）から収集および／または分析された他の情報および／またはパラメータを比較することができる。これらおよびさらに他の実施形態では、ルーチン５７０は、周囲環境の取得された透過行列を分析すること、および／または取得された透過行列を以前に取得された透過行列と比較することによって、環境が変化したかどうかを判定することができる。
環境が変化した（例えば、ヘッドランプシステム２００はもはや霧の中にはないが、ブロック５７１～５７４の実行中および／またはブロック５７４～５７８の前の反復中に以前はあった）とルーチン５７０が判定した場合、ルーチン５７０はブロック５７１に戻り、初期照明プロファイルを事前定義および／または放出することができる。いくつかの実施形態では、ルーチン５７０は、ブロック５７５～５７７で収集および／または評価された情報を使用して、ルーチン５７０がブロック５７１に戻るときに初期照明プロファイルを事前定義することができる。他の実施形態では、ルーチン５７０は、ブロック５７１に戻る前に、ブロック５７５～５７７で収集および／または評価された情報を破棄することができる。
一方、環境が変化していないとルーチン５７０が判定した場合、ルーチン５７０はブロック５７８に進むことができる。ブロック５７８において、ルーチン５７０は、最適化された照明プロファイルを決定する。いくつかの実施形態では、ルーチン５７０は、上述したブロック５７３のルーチンと同様の方法で、最適化された照明プロファイルを決定することができる。これらおよび他の実施形態では、ルーチン５７０は、ブロック５７４～５７８の以前の反復および／またはブロック５７３で決定された最適化された照明プロファイルを使用して、最適化された照明プロファイルを決定することができる。例えば、ルーチン５７０は、視認性の１つまたは複数の態様（例えば、鮮明度、コントラスト、焦点、後方散乱照明の量、反射照明の量などである）が、１つまたは複数の以前の最適化された照明プロファイルに関連して強調されているかどうかを判定することができる。これらの実施形態では、１つまたは複数の態様が強調されていない場合、ルーチン５７０は、（例えば、異なる変調パターン２１０を選択することによって）以前の最適化された照明プロファイルに戻ることができ、および／または異なる最適化された照明プロファイルを決定することができる。ルーチン５７０が最適化された照明プロファイルを決定すると、ルーチン５７０はブロック５７４に戻り、ブロック５７４においてルーチン５７０と同様の方法で、最適化された照明プロファイルに従って照明を放射することができる。
いくつかの実施形態では、図１４に示すルーチン５７０は、連続的および／または定期的に実行することができる。例えば、ルーチン５７０は、３０μｓ～４５μｓごとにルーチン５７０の反復（例えば、ブロック５７１～５７４、５７４～５７８、および／または５７１～５７８）を実行するように構成することができる。他の実施形態では、ルーチン５７０は、数ナノ秒（例えば、３～５０ナノ秒ごと）ごとに反復を実行するように構成することができる。さらに他の実施形態では、ルーチン５７０は、数ミリ秒毎（例えば、１～５０ミリ秒ごと）および／または数秒毎（例えば、毎秒、５秒毎、３０秒毎などである）に全反復を実行するように構成することができる。
ルーチン５７０のステップは特定の順序で説明および図示されているが、ルーチン５７０はそのように限定されない。他の実施形態では、ルーチン５７０は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン５７０のステップのいずれかは、ルーチン５７０の他のステップのいずれかの前、最中、および／または後に実行することができる。さらに、当業者であれば、ルーチン５７０を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン５７０は、ブロック５７４，５７７および／または５７８を実行した後に終了することができる。さらに、図１４に示すルーチン５７０の１つまたは複数のステップは、いくつかの実施形態では省略（例えば、ブロック５７７）および／または繰り返すことができる。
図１５は、開示される技術的特徴の１つまたは複数の態様に係る、照明および／または撮像システム１００（例えば、車両ヘッドランプシステム２００）を動作させる方法の共焦点撮像ルーチン６８０を示す流れ図である。いくつかの実施形態では、ルーチン６８０は、少なくとも部分的に、照明および／または撮像システム１００によって、照明および／または撮像システム１００と通信する（例えば、有線および／または無線）別のデバイスまたはシステムによって、ならびに／あるいは照明および／または撮像システム１００のオペレータまたはユーザによって実行することができる。例えば、ルーチン６８０は、図１０、図１１、図１３Ａ、および／または図１３Ｂに示す照明源１０１、コントローラ１０２、検出器１０３、検出器１０３’、および／または変調器１０４によって実行することができる。
ルーチン６８０は、自動的に、および／または共焦点撮像を実行するための命令に応答して呼び出すことができる。いくつかの実施形態では、例えば、ルーチン６８０は、照明および／または撮像システム１００の電源がオンになったときに自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン６８０は、検出器１０３および／または検出器１０３’が（例えば、天候、埃、グレアなどに起因する）視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン６８０は、オペレータが照明および／または撮像システム１００および／または照明および／または撮像システム１００と通信する別のデバイスまたはシステム上で設定機能オプションをアクティブ化することに応答して呼び出すことができる。
呼び出されると、ルーチン６８０はブロック６８１で開始して、照明プロファイルのシーケンスを定義することができる。いくつかの実施形態では、照明プロファイルのシーケンスは、照明および／または撮像システム１００の製造および／または試験中に定義された１つまたは複数の照明プロファイルのデフォルトシーケンスとすることができる。例えば、照明プロファイルのシーケンスは、照明および／または撮像システム１００に予めロードされた１つまたは複数の変調パターン（例えば、図１２Ｂに示す変調パターン３１０）のデフォルトシーケンスに対応することができる。これらおよび他の実施形態では、デフォルトシーケンスは、照明および／または撮像システム１００の視野のすべてまたはサブ組に沿ってスキャンすることができる。これらおよびさらに他の実施形態では、ルーチン６８０は、照明システムから投影された照明が、投影された照明の１つまたは複数の集光点（例えば、図１２Ｃに示す集光点３８７）の選択されたおよび／または所望のシーケンスを有するように、１つまたは複数の変調パターンを選択および／または順序付けることができる。これらおよびさらに他の実施形態では、ルーチン６８０は、照明プロファイルのシーケンスを定義するために１つまたは複数の測定を実行および／または分析するように構成することができる。例えば、ルーチン６８０は、照明および／または撮像システム１００の検出器１０３および検出器１０３’によって検出された照明を分析する（例えば、照明および／または撮像システム１００の視野内の物体を識別し、環境内に存在する昼光の量を測定し、存在する散乱媒体の種類および／または量を決定し、周囲環境および／または散乱媒体の透過行列を取得および／または評価することなどを行う、など）ように構成することができる。追加的または代替的に、ルーチン６８０は、他のシステムまたはデバイス（例えば、雨センサ、昼光センサ、温度センサ、別の照明システム１００など）から利用可能な他の測定値および／または情報を分析するように構成することができる。このデータから、ルーチン６８０は、（例えば、照明システム１００の視野内で識別された物体の表面に沿ってスキャンするために）照明プロファイルのシーケンスを定義することができる。
ブロック６８２において、ルーチン６８０は、照明プロファイルシーケンスにおいて初期照明プロファイルを発する。いくつかの実施形態では、ルーチン６８０は、照明源１０１に、初期照明プロファイルに従って、１つまたは複数の時間的特性を有する照明を投影するよう命令する。例えば、ルーチン６８０は、照明源１０１に連続照明を投影するよう命令することができ、または照明源１０１に（例えば、周期的）照明パルスを投影するよう命令することができる。これらおよび他の実施形態では、ルーチン６８０は、指定された持続時間および／または照明パルス間の指定された時間間隔で照明を投影するように照明源１０１に命令することができる。
これらおよびさらに他の実施形態では、ルーチン６８０は、変調器１０４に、初期照明プロファイルに対応する変調パターン２１０（例えば、図１２Ｂに示す変調パターン３１０）に従って変調器１０４の１つまたは複数の領域２８０をプログラムするよう命令することができる。プログラム領域２８０は、投影された照明が１つまたは複数の集光点（例えば、図１２Ｃに示す集光点３８７）を有し、照明システム１００の視野内の指定された位置（例えば、識別された物体の指定された部分）を集束照明ビームで照明するように、投影された照明の１つまたは複数の特性の空間分布を変調することができる。いくつかの実施形態では、１つまたは複数の特性は、振幅、位相、波長、極性、および／または方向および／または角度などの他の特性を含むことができる。
ブロック６８３において、ルーチン６８０は、反射照明を検出し、初期照明プロファイルに対応する集光点画像を取り込む。初期照明プロファイルは投影照明の１つまたは複数の集光点（例えば、１つまたは複数の集束ビーム）を含んでいたので、物体から反射され、かつ／または照明および／または撮像システム１００の検出器１０３に向かって戻る照明の照明プロファイルは、反射照明の１つまたは複数の対応する集光点を含む。例えば、図１６Ａは、開示された技術的特徴の１つまたは複数の態様に係る照明システム１００を使用して捕捉された集光点画像７９１である。図示のように、集光点画像７９１は、ルーチン６８０によって容易に検出および／または識別することができる反射照明の集光点７０１を含む。すなわち、集光点画像７９１は、反射照明の強度が点７０１を囲む位置よりもはるかに大きい点７０１を含む。これにより、ルーチン６８０は、他の従来の共焦点照明および／または撮像システムで一般的なピンホール開口部を使用することなく、集光点画像を取り込むことができる。
ブロック６８４において、ルーチン６８０は、照明プロファイルシーケンス内の次の照明プロファイルを発する。いくつかの実施形態では、ルーチン６８０は、ブロック６８２でルーチン６８０と同様の方法で次の照明プロファイルを放射することができる。ブロック６８５において、ルーチン６８０は、反射照明を検出し、次の照明プロファイルに対応する集光点画像を取り込む。いくつかの実施形態では、ルーチン６８０は、ブロック６８５におけるルーチン６８０と同様の方法で、反射照明を検出し、および／または次の照明プロファイルに対応する集光点画像を取り込む。
いくつかの実施形態では、ルーチン６８０はブロック６８４および６８５に戻り、（ｉ）照明プロファイルシーケンス内の次の照明プロファイルを放射し、（ｉｉ）反射照明を検出し、および／または対応する集光点画像を取り込むことができる。例えば、図１６Ｂ～図１６Ｄは、ブロック６８４および６８５に戻った後にルーチン６８０によって取り込まれた物体の集光点画像７９２～７９４である。特に、集光点画像７９２～７９４は、図１６Ａに示す集光点画像７９１を取り込むために使用された照明プロファイルの後に生じる照明プロファイルシーケンス内の３つの対応する照明プロファイルを使用して取り込まれた。集光点画像７９２～７９４の各々は、反射照明のそれぞれの集光点７０２～７０４を有する。反射照明の集光点７０２～７０４は、照明プロファイルシーケンス内の投影照明プロファイル内の投影照明の集光点に対応する。図１６Ａ～図１６Ｄを参照すると、集光点７０２～７０４は、集光点画像７９１内の集光点７０１よりも各集光点画像７９２～７９４内のさらに右に位置する。同様に、集光点７０３および７０４は、それぞれの集光点画像７９３および７９４内の集光点７０１および７０２よりも、それぞれの集光点画像７９１および７９２内の右にさらに配置される。集光点７０４はまた、それぞれの集光点画像７９１～７９３内の集光点７０１～７０３よりも集光点画像７９４内の右にさらに配置される。言い換えれば、ルーチン６８０は、ブロック６８４および６８５に戻り、（ｉ）投影された照明の様々な集光点を使用して照明システム１００の視野を横切って（例えば、内部の物体の表面）、（例えば、調べる箇所を）スキャンし、（ｉｉ）対応する反射照明を検出し、および／または対応する集光点画像を取り込むことができる。
ルーチン６８０は、ルーチン６８０（ｉ）が照明プロファイルシーケンス内の最後の照明プロファイルを発するまで、ブロック６８４および６８５に戻り続けることができる。追加的に、または代替的に、ルーチン６８０は、以下でより詳細に説明するように、捕捉された集光点画像を組み合わせるためにブロック６８６に進むことができる。例えば、ルーチン６８０は、ブロック６８４に戻る前、最中、および／または後にブロック６８６に進み、照明プロファイルシーケンス内の次の照明プロファイルを放射することができる。
ブロック６８６において、ルーチン６８０は、任意選択的に、２つまたはそれ以上の捕捉された集光点画像を組み合わせることを含むことができる。例えば、図１７Ａは、それぞれ図１６Ａ～図１６Ｄに示す集光点画像７９１～７９４を使用して作成された撮像システム１００の視野内の物体の画像８１５である。特に、ルーチン６８０は、集光点画像７９１～７９４を重ね合わせることによって画像８１５を作成することができる。図示のように、画像８１５は、集光点画像７９１～７９４のいずれか単独よりも鮮明な物体の描写を提供する。さらに、物体の描写は、画像８１５内の他の位置における物体の描写よりも、集光点画像（例えば、これらの位置における物体の描写は、より明るく、より大きなコントラストを有し、より大きな解像度を有するなどである）内の集光点７０１～７０４に対応する画像８１５内の位置においてより明確である。その実施形態および他の実施形態では、ルーチン６８０は、（例えば、ノイズ）２つまたはそれ以上の集光点画像を一緒に平均化することによって、２つまたはそれ以上の捕捉された集光点画像を組み合わせることができる。上述したように、捕捉された集光点画像を組み合わせること（ブロック６８６）は、ルーチン６８０のいくつかの実装形態では必要ではない任意選択のステップである。
ルーチン６８０がより多数の集光点画像を組み合わせると（例えば、より局所的な照明画像が取り込まれるにつれて）、撮像システム１００の視野内の物体の描写がさらに明確になる。例えば、図１７Ｂは、図１７Ａに示す画像８１５に描かれているが、反射照明の異なる集光点を有する１０００を超える集光点画像を重ね合わせることによって作成された物体の画像８２０である。図示のように、画像８２０内の物体のコントラスト、解像度、および視認性は、それぞれ図１６Ａ～図１６Ｄに示す集光点画像７９１～７９４内の物体のコントラスト、解像度、および視認性、ならびに図１７Ａに示す合成画像８１５内の物体のコントラスト、解像度、および視認性よりもはるかに大きい。これは、ルーチン６８０が、投影された照明の集光点を使用して物体の表面全体および／または照明システム１００の視野全体をスキャンすることにより、光軸に対して大きな角度で物体から反射された高い空間周波数を有する反射照明を検出（例えば、収集する）および／または取り込むことができるためである。さらに、投影された照明は、１つまたは複数の集光点を含むため、投影された照明は、検出器１０３において回折が制限され、これは、迷光横方向干渉がないことを意味する。その結果、被写体の画像コントラストが向上する。さらに、ルーチン６８０は、様々な深さの複数の物体を区別することができる。
ルーチン６８０のステップは特定の順序で説明および図示されているが、ルーチン６８０はそのように限定されない。他の実施形態では、ルーチン６８０は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン６８０のステップのいずれかは、ルーチン６８０の他のステップのいずれかの前、最中、および／または後に実行することができる。さらに、当業者であれば、ルーチン６８０を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン６８０は、ブロック６８２，６８３，６８４，６８５および／または６８６を実行した後に終了することができる。さらに、図１５に示すルーチン６８０の１つまたは複数のステップは、いくつかの実施形態では省略および／または繰り返すことができる。
図１８は、本技術の実施形態に係る、照明および／または撮像システム１００（例えば、車両ヘッドランプシステム２００）を動作させる方法のハイブリッド撮像ルーチン９３０を示す流れ図である。いくつかの実施形態では、ルーチン９３０は、少なくとも部分的に、照明および／または撮像システム１００によって、照明および／または撮像システム１００と通信する（例えば、有線および／または無線）別のデバイスまたはシステムによって、ならびに／あるいは照明および／または撮像システム１００のオペレータまたはユーザによって実行することができる。例えば、ルーチン９３０は、図１０、図１１、図１３Ａ、および／または図１３Ｂに示す照明源１０１、コントローラ１０２、検出器１０３、検出器１０３’、および／または変調器１０４によって実行することができる。
ルーチン９３０は、自動的に、および／またはハイブリッド撮像を実行するための命令に応答して呼び出すことができる。いくつかの実施形態では、例えば、ルーチン９３０は、照明および／または撮像システム１００の電源がオンになったときに自動的に呼び出され得る。これらおよび他の実施形態では、ルーチン９３０は、検出器１０３および／または検出器１０３’が（例えば、天候、埃、グレアなどに起因する）視認性障害を検出したときに自動的に呼び出され得る。これらおよびさらに他の実施形態では、ルーチン９３０は、オペレータまたはユーザが照明および／または撮像システム１００および／または照明および／または撮像システム１００と通信する別のデバイスまたはシステム上で設定機能オプションをアクティブ化することに応答して呼び出すことができる。
呼び出されると、ルーチン９３０はブロック９３１で開始して、初期照明プロファイルを決定して放射し、反射および／または後方散乱照明を検出することができる。いくつかの実施形態では、ルーチン９３０は、図１４に関して上述したブロック５７１，５７２および／または５７３におけるルーチン５７０と同様の方法で、初期照明プロファイルを決定および放射することができ、ならびに／または反射および／もしくは後方散乱照明を検出することができる。
ブロック９３２において、ルーチン９３０は、最適化された照明プロファイルを決定し、対応する変調パターン２１０を取得する。いくつかの実施形態では、ルーチン９３０は、図１４に関して上述したブロック５７３のルーチン５７０と同様の方法で、最適化された照明プロファイルを決定することができ、および／または対応する変調パターン２１０を取得することができる。
ブロック９３３において、ルーチン９３０は、対応する変調パターン２１０を使用して最適化された照明プロファイルを放射する。いくつかの実施形態では、ルーチン９３０は、図１４に関して上述したブロック５７４のルーチン５７０と同様の方法で、対応する変調パターン２１０を使用して最適化された照明プロファイルを放射することができる。例えば、ルーチン９３０は、照明源１０１および／または変調器１０４を使用して照明システム１００によって投影される照明の１つまたは複数の特性を変調して、（ｉ）物体に向かって前方散乱される投影照明の量を増加させ、（ｉｉ）照明システム（例えば、検出器１０３に向かって）に向かって後方散乱される投影照明の量を減少させ、および／またはリダイレクトし、および／または（ｉｉｉ）検出器１０３によって収集される高空間周波数照明の量を増加させることができる。
ブロック９３４において、ルーチン９３０は、周囲環境の構造照明および／または撮像を実行する。いくつかの実施形態では、ルーチン９３０は、図１４に関して上述したブロック５７５～５７８および／または５７１～５７８においてルーチン５７０と同様の方法で周囲環境の構造撮像を実行することができる。これらおよび他の実施形態では、ルーチン９３０は、周囲環境の構造撮像を実行して、周囲環境の弾道光画像を取り込む。これらおよびさらに他の実施形態では、ルーチン９３０は、（例えば、図１４に示すルーチン５７０のブロック５７７で環境が変化していない場合）周囲環境の２つまたはそれ以上の弾道光画像を一緒に平均化して、検出器１０３によって検出された反射照明の信号対ノイズ比を増加させることができる。このようにして、ルーチン９３０は、（例えば、散乱媒体を介して）周囲環境（例えば、その中の物体）の輝度および画像コントラストを増加させることができる。
それに加えて、またはその代わりに、ルーチン９３０は、周囲環境および／または１つまたは複数の物体の共焦点撮像を実行する。例えば、ルーチン９３０は、（ブロック９３４において）ルーチン９３０が周囲環境の構造撮像を実行するのと同時に、またはその前および／または後に連続的に共焦点撮像を実行することができる。ルーチン９３０が構造撮像を実行した後および／または構造撮像の実行と同時に共焦点撮像を実行する実施形態では（ブロック９３４において）、ルーチン９３０は、取得された周囲環境の透過行列（例えば、散乱媒体）、最適化された照明プロファイル、および／または対応する変調パターン２１０を使用して共焦点撮像を実行することができる。いくつかの実施形態では、ルーチン９３０は、図１５に関して上述したブロック６８１～６８６でルーチン６８０と同様の方法で共焦点撮像を実行することができる。
ブロック９３６において、ルーチン９３０は、周囲環境および／または複数の物体のうちの１つのハイブリッド撮像を実行する。いくつかの実施形態では、ルーチン９３０は、（ｉ）ブロック９３４においてルーチン９３０が周囲環境の構造撮像を実行している間にルーチン９３０によって捕捉された周囲環境の１つまたは複数の弾道光画像を、（ｉｉ）ブロック９３５においてルーチン９３０が周囲環境および／または１つまたは複数の物体の共焦点撮像解析を実行している間にルーチン９３０によって捕捉された１つまたは複数の集光点画像と組み合わせることによって、周囲環境のハイブリッド撮像を実行する。例えば、ルーチン９３０は、弾道光画像を集光点画像と平均化することによって、１つまたは複数の弾道光画像を１つまたは複数の集光点画像と組み合わせることができる。これらおよび他の実施形態では、ルーチン９３０は、共焦点画像を弾道光画像に重ね合わせることによって、１つまたは複数の弾道光画像を１つまたは複数の集光点画像と組み合わせることができる。これらおよびさらに他の実施形態では、ルーチン９３０は、（ｉ）弾道光画像を一緒に平均化し、（ｉｉ）共焦点画像を平均化された弾道光画像に重ね合わせることによって、１つまたは複数の弾道光画像を１つまたは複数の集光点画像と組み合わせることができる。
例のために、図１９Ａ～図１９Ｃは、本技術およびルーチン９３０のいくつかの実施形態の効果を示すために提供されている。図１９Ａは、例えば、散乱媒体が存在しない物体の画像１０４０であり、照明および／または撮像システム１００を使用して取り込まれる。図１９Ｂは、散乱媒体の存在下で最適化する前の図１９Ａに示す物体の画像１０５０であり、照明および／または撮像システム１００を使用して取り込まれている。図１９Ｃは、散乱媒体の存在下で最適化され、照明および／または撮像システム１００を使用して捕捉された、図１９Ａおよび図１９Ｂに示す物体のハイブリッド画像１０６０である。画像１０４０、１０５０、および１０６０のそれぞれの拡大部分１０４１、１０５１、および１０６１も、それぞれ部分１０４５、１０５５、および１０６５をより容易に見るために、それぞれ図１９Ａ～図１９Ｃに示されている。
図１９Ａを参照すると、画像１０４０および拡大部分１０４１の部分１０４５は、垂直線を含む。図示のように、散乱媒体が存在しない場合、垂直線はわずかに視認可能であり、物体の他の特徴と区別可能である。この例では、縦線のコントラスト（ＳＮＲ）は１．９８であり、解像度は２０ｐ／ｍｍである。
図１９Ｂを参照すると、散乱媒体が存在する場合、画像１０５０の部分１０５５および拡大部分１０５１の垂直線は歪んで見え、図１９Ａに示す部分１０４５の同じ垂直線よりも物体の他の特徴と区別するのが難しい。特に、画像１０５０の垂直線は、０．２５のコントラスト（ＳＮＲ）および解像度１．４ｐ／ｍｍを有し、これらは両方とも図１９Ａに示す画像１０４０の垂直線よりはるかに悪い。画像１０５０の拡大部分１０５１における縦線の明るさは６，３８５である。これは、（少なくとも部分的には）照明および／または撮像システム１００から投影された照明が散乱媒体によって照明および／または撮像システム１００の検出器１０３に向かって散乱されるときに生成される後方散乱ノイズの存在の増加に起因する。
図１９Ｃを参照すると、照明および／または撮像システム１００が物体のハイブリッド撮像（例えば、共焦点撮像と組み合わせた構造撮像）を採用した後、画像１０６０の部分１０６５の垂直線の輝度、コントラスト、および解像度は、図１９Ｂに示す画像１０５０の垂直線および図１９Ａに示す画像１０４０の垂直線の両方と比較して向上する。特に、最適化後の画像１０６０における縦線の輝度は、８４，８００まで上昇している。同様に、最適化後の画像１０６０の縦線のコントラストは２．０８増加し、最適化後の画像１０６０の縦線の解像度は１４ｐ／ｍｍに増加した。
このようにして、ルーチン９３０は、（ｉ）照明および／または撮像システム１００を取り囲む環境の照明を向上させる（例えば、内部の物体）こと、ならびに／あるいは（ｉｉ）周囲環境内の物体の視認性および／または明瞭さを向上させることができる。これは、（ａ）周囲環境の構造的撮像、および／または（ｂ）周囲環境および／または周囲環境内の物体の共焦点撮像によって達成される。より具体的には、ルーチン９３０は、（ｉ）周囲環境内の散乱媒体を通して前方散乱される投影照明の量を増加させること、（ｉｉ）散乱媒体によって検出器１０３に向かって後方散乱されるノイズおよび／または照明の量を減少させるおよび／またはリダイレクトすること、（ｉｉｉ）検出器１０３によって収集される高空間周波数照明の量を増加させること、および／または（ｉｖ）周囲環境のすべてまたはサブ組を投影照明の１つまたは複数の集光点で照明する（例えば、スキャン）ことによって、周囲環境および／または周囲環境内の物体の照明および／または撮像を強調する。
ルーチン９３０のステップは特定の順序で説明および図示されているが、ルーチン９３０はそのように限定されない。他の実施形態では、ルーチン９３０は、異なる順序でステップを実行することができる。これらおよび他の実施形態では、ルーチン９３０のステップのいずれかは、ルーチン９３０の他のステップのいずれかの前、最中、および／または後に実行することができる。さらに、当業者であれば、ルーチン９３０を変更することができ、依然として本技術のこれらおよび他の実施形態内に留まることができることを容易に認識するであろう。例えば、いくつかの実施形態におけるルーチン９３０は、ルーチン９３０のブロック９３１～９３６のいずれかを実行した後に終了することができる。さらに、図１８に示すルーチン９３０の１つまたは複数のステップは、いくつかの実施形態では省略および／または繰り返すことができる。
本技術の実施形態の説明を不必要に不明瞭にすることを避けるために図示していないが、図１０～図１９Ｃで上述した前述のシステムおよび方法のいずれかは、システムの構成要素を指示および／もしくは配置するように、ならびに／または例えば、機械および／もしくはシステムの他の構成要素から受信したデータを受信、配置、記憶、分析、および／もしくは処理するように構成されたコンピューティングデバイス（例えば、コントローラ１０２を含む）を含むことができ、ならびに／またはそれによって実行することができる。したがって、そのようなコンピューティングデバイスは、これらのタスクを実行するために必要なハードウェアおよび対応するコンピュータ実行可能命令を含む。より具体的には、本技術の一実施形態に従って構成されたコンピューティングデバイスは、プロセッサ、記憶デバイス、入力／出力デバイス、１つまたは複数のセンサ、ならびに／あるいは任意の他の適切なサブシステムおよび／または構成要素（例えば、ディスプレイ、スピーカ、通信モジュールなどである）を含むことができる。記憶装置は、情報を保持し、保持された情報へのアクセスを提供するように構成された記憶構成要素の回路またはネットワークの組を含むことができる。例えば、記憶装置は、揮発性および／または不揮発性メモリを含むことができる。より具体的な例として、記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクまたはテープ、および／またはフラッシュメモリを含むことができる。
コンピューティングデバイスはまた、プロセッサおよび／またはコンピューティングデバイスによって実行されると、図１０～図１９Ｃを参照して詳細に上述したように、システムに適応照明および／または視覚化強調を実行させるコンピュータ実行可能命令を格納したコンピュータ可読媒体（例えば、一時的な伝播信号自体のみを除外して、記憶装置、ディスクドライブ、および／または他の記憶媒体）を含むことができる。さらに、プロセッサは、本明細書に記載の方法に関連するステップ、算出、分析、および任意の他の機能を実行または制御するように構成することができる。
いくつかの実施形態では、記憶装置は、システムによって収集されたデータ、ならびにシステムの構成要素を指示および／または調整するために使用されるデータを格納するために使用される１つまたは複数のデータベースを格納することができる。一実施形態では、例えば、データベースは、本開示の譲受人によって設計されたＨＴＭＬファイルである。しかしながら、他の実施形態では、データは他の種類のデータベースまたはデータファイルに記憶される。
当業者は、システムの様々な構成要素（例えば、コンピューティングデバイス）をサブ構成要素にさらに分割することができること、またはシステムの様々な構成要素および機能を組み合わせて統合することができることを理解するであろう。さらに、これらの構成要素は、有線および／または無線通信を介して、ならびに記憶媒体に含まれる情報によって通信することができる。
本技術の実施形態の上記の詳細な説明は、網羅的であること、または本技術を上記で開示された正確な形態に限定することを意図するものではない。本技術の具体的な実施形態および実施例は例示目的のために上記で説明されているが、当業者が認識するように、本技術の範囲内で様々な同等の変更が可能である。例えば、本明細書に記載されたものに加えて、他の用途および他の実施形態は、本技術の範囲内である。車両リアランプシステムにおいて、本明細書に記載の実施形態の様々な態様および構成要素は、悪い運転条件で後続の運転者および／または車両に到達する照明量を増加させるのに有用であり得る。これにより、リアランプシステムが設置された車両の視認性を高めることができ、事故（例えば、衝突）が発生する可能性を低減することができる。同じ原理が、信号機、街灯、灯台、および道路標識照明および／または撮像システムの状況に適用される。さらに、ステップは上記の所与の順序で提示されているが、代替の実施形態は異なる順序でステップを実行してもよい。本明細書に記載の様々な実施形態を組み合わせて、さらなる実施形態を提供することもできる。
上記から、本技術の特定の実施形態は、例示の目的で本明細書に記載されているが、周知の構造および機能は、本技術の実施形態の説明を不必要に不明瞭にすることを避けるために詳細に図示または説明されていないことが理解されよう。内容として許される場合、単数または複数の用語はまた、それぞれ複数または単数の用語を含むことができる。さらに、「または」という単語が２つまたはそれ以上の項目のリストに関して他の項目から排他的な単一の項目のみを意味するように明確に限定されない限り、そのようなリストにおける「または」の使用は、（ａ）リスト内の任意の単一の項目、（ｂ）リスト内のすべての項目、または（ｃ）リスト内の項目の任意の組み合わせを含むと解釈される。さらに、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、および「有する（ｗｉｔｈ）」という用語は、全体を通して、少なくとも列挙された特徴を含むことを意味するために使用され、それにより、任意のより多くの同じ特徴および／または追加のタイプの他の特徴が除外されない。
上記から、本開示または本技術から逸脱することなく様々な変更を行うことができることも理解されよう。例えば、当業者は、本技術の様々な構成要素をサブ構成要素にさらに分割することができること、または本技術の様々な構成要素および機能を組み合わせて統合することができることを理解するであろう。さらに、特定の実施形態で説明された技術の特定の態様は、他の実施形態では組み合わされるかまたは排除されてもよい。さらに、本技術の特定の実施形態に関連する効果についてそれらの実施形態において説明したが、他の実施形態もそのような効果を示すことができ、すべての実施形態が本技術の範囲内に入るためにそのような効果を必ずしも示す必要はない。したがって、本開示および関連技術は、本明細書に明示的に示されていないまたは記載されていない他の実施形態を包含することができる。
図２Ａ、図２Ｂ、図１４、図１５、および図１８の上記の説明では、フローチャート内の任意のプロセス、説明、またはブロックは、プロセス内の特定の論理機能またはステップを実施するための１つまたは複数の実行可能指令を含むコードのモジュール、セグメント、または部分を表すものとして理解することができ、代替の実施態様は、当業者によって理解されるように、関連する機能に応じて、実質的に同時にまたは逆の順序を含む、図示または説明されたものとは異なる順序で機能を実行することができる本発明の例示的な実施形態の範囲内に含まれる。本明細書に記載の様々な要素、特徴、およびプロセスは、互いに独立して使用されてもよく、または様々な方法で組み合わされてもよい。すべての可能な組み合わせおよび部分的な組み合わせは、本開示の範囲内に入ることが意図されている。
次に、図２０を参照して、例示的な実施形態に係るコンピュータ／デバイス（コントローラおよび／または処理回路１０２など）のハードウェア記述について説明する。本明細書に記載のハードウェア記述は、処理回路のハードウェア記述とすることもできる。図２０では、処理回路１０２は、上記／下記のプロセスのうちの１つまたは複数を実行するＣＰＵ２０００を含む。プロセスデータおよび指令は、メモリ２００２に記憶することができる。これらのプロセスおよび指令はまた、ハードドライブ（ＨＤＤ）または可搬型記憶媒体などの記憶媒体ディスク２００４に記憶されてもよく、遠隔で記憶されてもよい。さらに、特許請求される進歩は、本発明のプロセスの指令が記憶されるコンピュータ可読媒体の形態によって限定されない。例えば、指令は、ＣＤ、ＤＶＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、またはサーバもしくはコンピュータなどの処理回路１０２が通信する任意の他の情報処理装置に格納することができる。
さらに、特許請求される進歩は、ＣＰＵ２０００ならびにＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、ＵＮＩＸ（登録商標）、Ｓｏｌａｒｉｓ、ＬＩＮＵＸ、Ａｐｐｌｅ ＭＡＣ－ＯＳおよび当業者に知られている他のシステムなどのオペレーティングシステムと連携して実行する、ユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムの構成要素、またはそれらの組み合わせとして提供されてもよい。
処理回路１０２を実現するためのハードウェア要素は、様々な回路要素によって実現することができる。さらに、上述の実施形態の各機能は、１つまたは複数の処理回路を含む回路によって実装されてもよい。処理回路は、図２０に示すように、特にプログラムされたプロセッサ、例えばプロセッサ（ＣＰＵ）２０００を含む。処理回路はまた、特定用途向け集積回路（ＡＳＩＣ）などのデバイスと、列挙された機能を実行するように配置された従来の回路構成要素とを含む。
図２０では、処理回路１０２は、上述のプロセスを実行するＣＰＵ２０００を含む。処理回路１０２は、汎用コンピュータまたは特定の専用マシンであってもよい。一実施形態では、処理回路１０２は、プロセッサ２０００が霧（特に、図２Ａ、図２Ｂ、図１４、図１５、および図１８を参照して説明したプロセスのいずれか）による画像強調のために弾道光変調を使用するようにプログラムされている場合、特定の専用マシンになる。
代替的または追加的に、ＣＰＵ２０００は、当業者が認識するように、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ上に、または独立した複数の論理回路を使用して実装されてもよい。さらに、ＣＰＵ２０００は、上述した本発明のプロセスの指令を実行するために並列に協働する複数のプロセッサとして実装されてもよい。
図２０の処理回路１０２はまた、ネットワーク２０２８とインターフェースするために、米国のＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ製のＩｎｔｅｌ Ｅｔｈｅｒｎｅｔ ＰＲＯネットワークインターフェースカードなどのネットワークコントローラ２００６を含む。理解され得るように、ネットワーク２０２８は、インターネットなどの公衆ネットワーク、またはＬＡＮもしくはＷＡＮネットワークなどの私設ネットワーク、またはそれらの任意の組み合わせとすることができ、ＰＳＴＮまたはＩＳＤＮサブネットワークも含むことができる。ネットワーク２０２８はまた、イーサネットネットワークなどの有線であってもよく、ＥＤＧＥ、３Ｇおよび４Ｇ無線セルラシステムを含むセルラネットワークなどの無線であってもよい。無線ネットワークは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、または既知の任意の他の無線形式の通信であってもよい。
処理回路１０２は、モニタなどのディスプレイ２０１０とインターフェースするためのグラフィックスカードまたはグラフィックスアダプタなどのディスプレイコントローラ２００８をさらに含む。汎用Ｉ／Ｏインターフェース２０１２は、キーボードおよび／またはマウス２０１４、ならびにディスプレイ２０１０上またはディスプレイとは別個のタッチスクリーンパネル２０１６とインターフェースする。汎用Ｉ／Ｏインターフェースはまた、プリンタおよびスキャナを含む様々な周辺機器２０１８に接続する。
処理回路１０２には、スピーカ／マイクロフォン２０２２とインターフェースし、それによって音声および／または音楽を提供する音声コントローラ２０２０も設けられている。
汎用ストレージコントローラ２０２４は、記憶媒体ディスク２００４を、処理回路１０２のすべての構成要素を相互接続するための、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩ、または同様のものとすることができる通信バス２０２６と接続する。ディスプレイ２０１０、キーボードおよび／またはマウス２０１４、ならびにディスプレイコントローラ２００８、ストレージコントローラ２０２４、ネットワークコントローラ２００６、音声コントローラ２０２０、および汎用Ｉ／Ｏインターフェース２０１２の一般的な特徴および機能の説明は、これらの特徴が知られているので、ここでは簡潔にするために省略する。
本開示で説明される例示的な回路要素は、他の要素で置き換えられ、本明細書で提供される例とは異なるように構成されてもよい。さらに、本明細書に記載の特徴を実行するように構成された回路は、複数の回路ユニット（例えば、チップ）に実装されてもよく、または特徴は、単一のチップ組上の回路に組み合わされてもよい。
本明細書で説明される機能および特徴はまた、システムの様々な分散構成要素によって実行されてもよい。例えば、１つまたは複数のプロセッサは、これらのシステム機能を実行することができ、プロセッサは、ネットワーク内で通信する複数の構成要素にわたって分散される。分散構成要素は、様々なヒューマンインターフェースおよび通信デバイス（例えば、ディスプレイモニタ、スマートフォン、タブレット、携帯情報端末（ＰＤＡ））に加えて、処理を共有することができる１つまたは複数のクライアントおよびサーバマシンを含むことができる。ネットワークは、ＬＡＮまたはＷＡＮなどのプライベートネットワークであってもよく、インターネットなどのパブリックネットワークであってもよい。システムへの入力は、直接ユーザ入力を介して受信され、リアルタイムまたはバッチプロセスのいずれかでリモートで受信され得る。さらに、いくつかの実装形態は、説明したものと同一ではないモジュールまたはハードウェア上で実行されてもよい。したがって、他の実装形態も特許請求され得る範囲内である。
ここで開示された技術的特徴の実施形態を説明したが、上記は単なる例示であり、限定ではなく、単なる例として提示されたものであることは当業者には明らかである。したがって、本明細書では特定の構成について説明したが、他の構成も採用することができる。多数の変更および他の実施形態（例えば、組み合わせ、再編成などである）が本開示によって可能になり、当業者の範囲内にあり、開示された技術的特徴およびその任意の均等物の範囲内にあると考えられる。開示された実施形態の特徴は、追加の実施形態を生み出すために、本発明の範囲内で組み合わせる、再構成する、省略するなどすることができる。さらに、特定の特徴は、他の特徴を対応して使用せずに有利に使用されることがある。したがって、出願人は、開示された技術的特徴の趣旨および範囲内にあるすべてのそのような代替形態、変更形態、均等物、および変形形態を包含することを意図している。

Claims (20)

  1. 光源と、
    前記光源から対象物に照射される光の位相および振幅のうちの１つまたは複数を変調するように構成された空間光変調器と、
    前記対象物上に行列状に配置される１つまたは複数の集光点を生成するための照射パターン用の変調信号で前記空間光変調器を駆動するように構成され、
    前記パターンに基づいて前記対象物上の前記１つまたは複数の集光点をスキャンするように構成される処理回路とを備え、
    前記パターンは、散乱媒体のない状態で所定距離にある仮想対象上にある１または複数の集光点上の光強度が強められるよう予め算出されている、
    装置。
  2. 前記所定距離に位置する前記仮想対象上の前記パターンの情報を記憶するメモリ
    をさらに備え、
    前記処理回路は、霧を検出する信号に応答して、前記対象物上に前記集光点を生成するために前記メモリから検索された前記パターンを照射するようにさらに構成され、
    前記メモリは、前記仮想対象上の１つまたは複数の前記パターンのセットに関する情報を記憶する、請求項１に記載の装置。
  3. 前記メモリは、前記仮想対象上の複数の前記パターンのセットに関する情報を記憶し、前記複数のパターンのセットの各々は、前記仮想対象から異なる距離で測定される、請求項２に記載の装置。
  4. 前記パターンを算出するための前記処理回路は、透過行列に基づいており、前記透過行列は、特定の光の前記空間光変調器上の光フィールド分布と、検出器によって測定された前記仮想対象上の前記特定の光の強度との間の関係として誘導される、請求項１に記載の装置。
  5. 前記空間光変調器の前記フィールド分布は、アダマール行列に基づく、請求項４に記載の装置。
  6. 前記対象物の画像を捕捉して画像データを生成するように構成されている撮像装置
    をさらに備える、請求項１に記載の装置。
  7. 前記空間光変調器からの光照射方向の光路上または検出器の前方の光路上にある第２の変調器
    をさらに備える、請求項１に記載の装置。
  8. 前記処理回路は、
    前記パターンの各パターンで撮像された複数の第２の画像を重ね合わせて第１の画像を生成する
    ようにさらに構成されている、請求項６に記載の装置。
  9. 前記処理回路は、
    前記パターンの各パターンでされ捕捉された画像全体の各部分から前記１つまたは複数の集光点を抽出することによって生成された第４の画像を重ね合わせることによって第３の画像を生成する
    ようにさらに構成されている、請求項６に記載の装置。
  10. 画像を生成するための方法であって、
    前記対象物上に行列状に配置される１つまたは複数の集光点を生成するための照射パターンの変調信号によって空間光変調器を駆動するステップと、
    前記パターンに基づいて前記対象物上の前記１つまたは複数の集光点をスキャンするステップと、
    散乱媒体のない状態で所定距離にある仮想対象上にある１または複数の集光点上の光強度が強められるよう前記パターンを予め算出するステップと、
    を含む、方法。
  11. 前記所定距離に位置する前記仮想対象上の前記パターンの情報を、メモリを介して記憶するステップと、
    霧を検出する信号に応答して、前記対象物上に前記１つまたは複数の集光点を生成するために前記メモリから検索された前記パターンを照射するステップと、
    をさらに含み、
    前記メモリは、前記仮想対象上の１つまたは複数の前記パターンのセットに関する情報を記憶する、請求項１０に記載の方法。
  12. 前記パターンを算出するステップは、透過行列に基づいており、前記透過行列は、特定の光の前記空間光変調器上の光フィールド分布と、検出器によって測定された前記仮想対象上の前記特定の光の強度との間の関係として誘導される、請求項１０に記載の方法。
  13. 前記空間光変調器の前記フィールド分布を生成するためにアダマール行列から入力を受信するステップ
    をさらに含む、請求項１０に記載の方法。
  14. 前記対象物の画像を捕捉して画像データを生成するステップ
    をさらに含む、請求項１０に記載の方法。
  15. 前記空間光変調器からの光照射方向の光路上または検出器の前方の前記光路上にある第２の変調器を介して、前記仮想対象に前記パターンを照射するステップ
    をさらに含む、請求項１０に記載の方法。
  16. 前記パターンの各パターンで捕捉された複数の第２の画像を重ね合わせて第１の画像を生成するステップ
    をさらに含む、請求項１０に記載の方法。
  17. 前記パターンの各パターンで捕捉された画像全体の各部分から前記１つまたは複数の集光点を抽出することによって生成された第４の画像を重ね合わせることによって第３の画像を生成するステップ
    をさらに含む、請求項１０に記載の方法。
  18. 光源と、
    前記光源から対象物に照射される光の位相および振幅のうちの１つまたは複数を変調するように構成された変調器と、
    散乱媒体のない状態で取得された集光点スキャンのための最適化された入射パターンをプリロードし、
    前記散乱媒体が識別されるのに応じて前記最適化された入射パターンを前記変調器に適用し、
    前記スキャンされた集光点に対応する画像を取得し、
    前記取得された画像に基づいて前記対象物の強調画像を生成するように構成される、処理回路と、
    を備える、装置。
  19. 最適化された入射パターンをプリロードする前記処理回路は、
    複数セットの変調器パターンを照射して仮想対象上の光を測定し、
    撮像装置上の光強度と前記変調器の光フィールド分布との関係を示す透過行列を誘導し、
    誘導された前記透過行列に基づいて前記仮想対象上に集光点を生成するための各々の最適化された変調器パターンを算出し、
    算出された前記変調器パターンを前記プリロードされた最適化された入射パターンとしてメモリに記憶する
    ようにさらに構成されている、請求項１８に記載の装置。
  20. 前記変調器からの光照射方向または検出器前方の光路上にある第２の変調器
    をさらに備え、
    前記処理回路は、前記第２の変調器を介して前記仮想対象に前記最適化された入射パターンを照射するようにさらに構成されている、請求項１８に記載の装置。
JP2021540296A 2019-01-28 2019-12-10 霧を介した画像強調のための弾道光変調 Withdrawn JP2022517985A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962797363P 2019-01-28 2019-01-28
US201962797366P 2019-01-28 2019-01-28
US62/797,366 2019-01-28
US62/797,363 2019-01-28
PCT/US2019/065410 WO2020159622A1 (en) 2019-01-28 2019-12-10 Ballistic light modulations for image enhancement through fog

Publications (1)

Publication Number Publication Date
JP2022517985A true JP2022517985A (ja) 2022-03-11

Family

ID=71731144

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021540296A Withdrawn JP2022517985A (ja) 2019-01-28 2019-12-10 霧を介した画像強調のための弾道光変調
JP2020204559A Pending JP2021093164A (ja) 2019-01-28 2020-12-09 散乱プロセスにおける関係性を用いた散乱特性の構築に関するシステムおよび方法
JP2020204558A Pending JP2021099799A (ja) 2019-01-28 2020-12-09 空間的および時間的変調を用いる後方散乱除去装置およびその方法
JP2020204557A Pending JP2021098500A (ja) 2019-01-28 2020-12-09 非干渉性光を用いる照明システムおよび画像化方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020204559A Pending JP2021093164A (ja) 2019-01-28 2020-12-09 散乱プロセスにおける関係性を用いた散乱特性の構築に関するシステムおよび方法
JP2020204558A Pending JP2021099799A (ja) 2019-01-28 2020-12-09 空間的および時間的変調を用いる後方散乱除去装置およびその方法
JP2020204557A Pending JP2021098500A (ja) 2019-01-28 2020-12-09 非干渉性光を用いる照明システムおよび画像化方法

Country Status (5)

Country Link
US (4) US11181805B2 (ja)
EP (2) EP3918424A4 (ja)
JP (4) JP2022517985A (ja)
CN (1) CN113383280A (ja)
WO (1) WO2020159622A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109428916B (zh) 2017-08-25 2022-02-22 中兴通讯股份有限公司 数据传输方法和装置、终端及服务器
US11474037B2 (en) * 2020-06-01 2022-10-18 Waymo Llc Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment comprising a lock-in amplifier coupled to an optical modulator and an optical detector
JP7090135B2 (ja) * 2020-10-23 2022-06-23 浜松ホトニクス株式会社 レーザ装置
CN112798603A (zh) * 2021-01-06 2021-05-14 深圳技术大学 一种成像系统及其成像方法
US20220260679A1 (en) * 2021-02-17 2022-08-18 Continental Automotive Systems, Inc. Lidar system that detects modulated light
CN116408575B (zh) * 2021-12-31 2024-06-04 广东美的白色家电技术创新中心有限公司 局部扫描、消除工件反光干扰的方法、装置和系统
CN115908175A (zh) * 2022-11-15 2023-04-04 深圳信息职业技术学院 低照度图像多级增强方法、装置、电子设备以及存储介质
US20240201391A1 (en) * 2022-12-19 2024-06-20 Waymo Llc Differential Methods for Environment Estimation, Lidar Impairment Detection, and Filtering

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
JP4223769B2 (ja) * 2002-08-30 2009-02-12 富士通株式会社 測定装置
US7590263B2 (en) * 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7461092B1 (en) * 2005-09-12 2008-12-02 Storage Technology Corporation Content organization and storage method for storing holographic search database
CA2633377C (en) * 2005-12-19 2016-05-10 Institut National D'optique Object-detecting lighting system and method
FR2940205B1 (fr) * 2008-12-19 2011-11-25 Valeo Vision Sas Procede de commutation du mode d'eclairage de projecteurs pour vehicule automobile.
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US9066657B2 (en) * 2010-11-23 2015-06-30 General Electric Company Methods and systems of optical imaging for target detection in a scattering medium
DE102011017644A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs
GB2499579B (en) * 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
DE102013210890A1 (de) * 2013-06-11 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Wetter-Phänomens
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
DE102014006760A1 (de) * 2014-05-08 2015-11-12 Audi Ag System zur Detektion von Nebel direkt vor einem Kraftfahrzeug
US9891393B2 (en) * 2014-07-24 2018-02-13 Empire Technology Development Llc Imaging through optical fibers for coupling optimization
JP6414604B2 (ja) * 2015-01-15 2018-10-31 株式会社島津製作所 画像処理装置
US9759907B2 (en) * 2015-01-28 2017-09-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Rapid optical shutter, chopper, modulator and deflector
DE102015112103A1 (de) * 2015-07-24 2017-01-26 Preh Gmbh Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug
DE102015216985A1 (de) * 2015-09-04 2017-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsvorrichtung und Verfahren zur Projektion mit optischen Freiformflächen
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
DE102016006390A1 (de) * 2016-05-24 2017-11-30 Audi Ag Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses
KR102496509B1 (ko) * 2016-09-20 2023-02-07 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10904514B2 (en) * 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
JP6862255B2 (ja) 2017-04-12 2021-04-21 キヤノン株式会社 撮像装置、撮像方法および撮像プログラム
FR3065784B1 (fr) * 2017-04-28 2019-10-11 Valeo Vision Module lumineux avec optique d'imagerie optimisee pour un modulateur spatial pixellise, destine a un vehicule automobile
JP6898557B2 (ja) 2017-08-01 2021-07-07 株式会社東京精密 レーザー加工装置及び亀裂検出方法
AT519864B1 (de) * 2017-08-10 2018-11-15 Zkw Group Gmbh Fahrzeugscheinwerfer und Fahrzeugsteuerung
JP6826972B2 (ja) 2017-11-16 2021-02-10 株式会社日立製作所 撮像装置
KR102333033B1 (ko) * 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
US10368752B1 (en) * 2018-03-08 2019-08-06 Hi Llc Devices and methods to convert conventional imagers into lock-in cameras

Also Published As

Publication number Publication date
US20200238896A1 (en) 2020-07-30
CN113383280A (zh) 2021-09-10
US11604345B2 (en) 2023-03-14
US20200241136A1 (en) 2020-07-30
EP3835130A1 (en) 2021-06-16
US20200241385A1 (en) 2020-07-30
WO2020159622A1 (en) 2020-08-06
US11275288B2 (en) 2022-03-15
JP2021098500A (ja) 2021-07-01
US11460689B2 (en) 2022-10-04
US11181805B2 (en) 2021-11-23
EP3918424A4 (en) 2022-09-14
JP2021093164A (ja) 2021-06-17
EP3918424A1 (en) 2021-12-08
US20210250479A1 (en) 2021-08-12
JP2021099799A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US11275288B2 (en) Ballistic light modulations for image enhancement through fog
JP5003398B2 (ja) 照明装置
JP6416085B2 (ja) 適用可能な被写界深度を使用するゲーテッド撮像
US6555804B1 (en) Method and device for detecting objects on a windshield
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
JP5761002B2 (ja) 照明制御装置
US10757336B2 (en) Image capturing apparatus, image capturing method, and storage medium
JP6669053B2 (ja) ヘッドアップディスプレイシステム
WO2018042424A1 (en) Optical detection of vibrations
WO2020149140A1 (ja) 車載用イメージング装置、車両用灯具、自動車
US10118534B2 (en) Irradiation apparatus
JP2011182300A (ja) アクティブ型車両視界補助装置及び車両視界補助方法
JP2019077204A (ja) 車両用灯具システム、車両用灯具の制御装置および車両用灯具の制御方法
US12047667B2 (en) Imaging device
CN113227838A (zh) 车辆用灯具及车辆
KR101623469B1 (ko) 레이저 광원을 이용한 야간 장애물 검출 장치 및 방법
WO2021157398A1 (ja) 変調器、撮像装置及び設計方法
JP5839253B2 (ja) 物体検出装置及びこれを備えた車載機器制御装置
US11513075B2 (en) Observation device and observation method
JP7035989B2 (ja) ディスプレイ装置、判別方法および照射方法
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
JP7524207B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP7298562B2 (ja) 車両の周辺検知装置
JP2023055317A (ja) 撮像システム、撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230214