JP2023128077A - 画像処理装置、測距装置、及び画像処理方法 - Google Patents
画像処理装置、測距装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP2023128077A JP2023128077A JP2022032146A JP2022032146A JP2023128077A JP 2023128077 A JP2023128077 A JP 2023128077A JP 2022032146 A JP2022032146 A JP 2022032146A JP 2022032146 A JP2022032146 A JP 2022032146A JP 2023128077 A JP2023128077 A JP 2023128077A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- distance
- frame
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 95
- 230000015572 biosynthetic process Effects 0.000 claims description 24
- 238000003786 synthesis reaction Methods 0.000 claims description 24
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 106
- 238000005259 measurement Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 230000003111 delayed effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010791 quenching Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】光源から出射される光信号のビーム径によらずに、高解像度でS/N比に優れた距離画像を生成できる。【解決手段】画像処理装置は、所定の時間間隔で光信号を出射する光源と、前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する画像合成部と、を備える。【選択図】図1
Description
本発明の一実施形態は、画像処理装置、測距装置、及び画像処理方法に関する。
自動運転などに用いられるLiDAR(Light Detection and Ranging)装置の距離計測精度を高めるには、光信号のビーム径を絞るのが望ましいが、ビーム径を絞るには、レンズの口径を大きくしたり、レンズ枚数を多くしなければならず、LiDARの筐体サイズが大きくなり、部品コストも上昇してしまう。
ビーム径よりも小さい画素幅で光信号を受光して測距を行うことで、距離画像の高解像度化を図ることも可能だが、画素ごとの受光光量が低下するため、S/N比が低下して、距離の測定精度が低下する。
また、ビーム径のサイズに合わせて、複数の画素を単位として測距を行うと、S/N比は高くなるが、実効的な解像度が低下してしまう。
そこで、本発明の一実施形態では、光源から出射される光信号のビーム径によらずに、高解像度でS/N比に優れた距離画像を生成可能な画像処理装置、測距装置、及び画像処理方法を提供するものである。
上記の課題を解決するために、本発明の一実施形態によれば、所定の時間間隔で光信号を出射する光源と、
前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、
前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、
前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、
複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する画像合成部と、を備える、画像処理装置が提供される。
前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、
前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、
前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、
複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する画像合成部と、を備える、画像処理装置が提供される。
以下、図面を参照して、画像処理装置、測距装置、及び画像処理方法の実施形態について説明する。以下では、画像処理装置及び測距装置の主要な構成部分を中心に説明するが、画像処理装置及び測距装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1の実施形態)
図1は第1の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図1の画像処理装置1は、例えば測距装置2に内蔵される。画像処理装置1及び測距装置2のハードウェア構成は後述する。
図1は第1の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図1の画像処理装置1は、例えば測距装置2に内蔵される。画像処理装置1及び測距装置2のハードウェア構成は後述する。
図1の画像処理装置1は、光源3と、走査部4と、受光部5と、距離画像生成部6と、画像合成部7とを備えている。図1の光源3と走査部4は投光器8を構成し、受光部5と、距離画像生成部6と、画像合成部7は受光器9を構成している。
光源3は、所定の時間間隔で複数の光信号を出射する。光源3が出射する光信号は、より正確には、所定のパルス幅を有する光パルス信号である。光源3は、例えば、レーザ光又はLED光からなる光パルス信号を出射する。光源3は、複数の発光素子を有し、各発光素子が同タイミングで複数の光信号を出射してもよい。
走査部4は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えることができる。走査部4は、例えばポリゴンミラー又はMEMS(Micro Electro Mechanical System)ミラー等を用いて構成される。走査部4は、光源3から出射された光信号の進行方向を時間に応じて変化させることで、一次元方向又は二次元方向に光信号を走査させる。フレームとは、測距装置2のFoV(Field of View)を走査して取得される1コマの静止画である。後述する距離画像生成部6は、フレーム単位で距離画像を生成する。
走査部4は、各フレームにおける光信号の走査範囲を変化させることができる。すなわち、隣接する2以上の所定数のフレームのそれぞれは、光信号の走査範囲の少なくとも一部が異なっていてもよい。
走査部4は、各フレームにおける光信号の走査タイミングを変えることができる。この場合、各フレームにおける光信号の走査範囲は同じでもよいし、異なっていてもよい。走査部4が走査タイミングを変えるには、例えば、光源3からの光信号の出射タイミングをフレームごとに変えることにより実現可能である。
受光部5は、光信号が物体13に照射されて反射された反射光信号を受光する。受光部5は、一次元方向又は二次元方向に配列された複数の受光素子を有する。各受光素子が受光した受光信号は、例えば輝度信号に変換され、最終的には距離信号が生成される。本明細書では、各受光素子の受光信号に対応する輝度信号又は距離信号を画素と呼ぶことがある。このように、フレーム単位で生成される距離画像には複数の画素が含まれており、各画素はそれぞれ異なる受光素子に対応している。走査部4が走査した光信号が物体13に照射され、物体13からの反射光信号はいずれか、または複数の受光素子で受光される。走査部4は、光信号の走査範囲をフレームごとに画素単位で変化させることができる。
距離画像生成部6は、受光部5で受光された反射光信号に基づいて、フレームごとに距離画像を生成する。距離画像生成部6は、光源3から光信号を出射した時刻と、受光部5で反射光信号が受光された時刻との時間差に基づいて、距離画像を生成する。
画像合成部7は、複数のフレームの距離画像同士を合成して、高解像度距離画像を生成する。後述するように、距離画像生成部6は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに相違させて複数の距離画像を生成することができる。よって、画像合成部7は、これらの複数の距離画像を合成することで、高解像度距離画像を容易に生成できる。
受光部5で受光される反射光信号のビーム幅は、受光部5内の各受光素子のサイズと必ずしも一致せず、ビーム幅が受光素子の幅よりも広いと、S/N比が低下したり、計測可能な距離が制限されたり、距離画像の解像度が低下する要因になりうる。
図1の画像処理装置1のブロック構成に測距部10を追加することで、測距装置2を構成することができる。測距部10は、受光部5で反射光信号が受光された時刻と、光源3から光信号が出射された時刻とに基づいて、物体13までの距離を計測する。
図2A及び図2Bは、受光部5で受光される反射光信号のビーム幅と、受光部5内の受光素子5aのサイズとの関係を示す図である。図2A及び図2Bの破線枠11はビーム幅を示し、一点鎖線枠12は物体13の検出範囲を示している。図2A及び図2Bは、ビーム幅が3画素分のサイズを有し、物体13が4画素分のサイズを有する例を示している。
図2Aは、反射光信号のビーム幅が受光素子5aのサイズの3倍である例を示している。この場合、距離画像の各画素での受光強度Sは、反射光信号の光強度の1/3になる。各画素に入射される環境光雑音Nを1とすると、S/N比は1/3になる。よって、受光強度Sと環境光雑音Nを合わせたトータルの信号強度(S+N)=1.33になる。図2Aの場合、ビーム幅を3°とすると、画素分解能は1°となる。
このように、図2Aの場合、距離画像の実効解像度は画素幅と同じであるが、トータルの信号強度が低いために、計測可能な距離が限定される。
図2Bは、反射光信号のビーム幅に合わせて、3つの受光素子5aを単位として反射光信号を受光する例を示している。図2Bでは、3つの受光素子5aで1画素を構成するため、各画素での受光強度Sは、反射光信号の光強度と同じ(S=1)である。1画素に入射される環境光雑音Nは、1画素内に3つの受光素子5aが存在するため、N=3である。よって、S/N比は1/3になる。受光強度Sと環境光雑音Nを合わせたトータルの信号強度(S+N)=4になる。図2Bの場合、ビーム幅を3°とすると、実効解像度は3°になる。
このように、図2Bの場合、反射光信号のビーム幅に合わせて3画素を単位として反射光信号を受光するため、計測可能な距離範囲を広げることができるが、実効解像度が画素分解能より劣化する。
図2Aと図2Bからわかるように、距離画像の解像度を上げると、S/N比が劣化して、計測可能な距離範囲が狭まる。一方、複数の受光素子5aを単位として反射光信号を受光すると、計測可能な距離範囲を広げることができるが、距離画像の解像度が低くなる。
また、反射光信号のビーム幅が大きいほど、距離画像のエッジがぼやけて解像度が下がるという問題がある。
図3Aは反射光信号のビーム幅が受光素子5aの幅と同一である例を示す図である。図3Aの破線枠11はビーム幅を示し、一点鎖線枠12は物体13の検出範囲を示している。ビーム幅が1画素分のサイズを有し、物体13が4画素分のサイズを有する例を示している。
図3Bは物体13の輝度情報を示す図、図3Cは物体13の距離情報を示す図である。図3Bと図3Cの横軸は各受光素子5aに対応する画素番号、図3Bの縦軸は物体13の輝度値、図3Cの縦軸は物体13の距離である。図3Aの場合、反射光信号のビーム幅と受光素子5aの幅が一致するため、輝度情報と距離情報はいずれも急峻に変化し、エッジが鮮明になる。
図4Aは反射光信号のビーム幅が3画素分のサイズである例を示す図である。図4Aの破線枠11はビーム幅を示し、一点鎖線枠12は物体13の検出範囲を示している。ビーム幅が3画素分のサイズを有し、物体13が4画素分のサイズを有する例を示している。
図4Bは物体13の輝度情報を示す図、図4Cは物体13の距離情報を示す図である。図4Bと図4Cの横軸は各受光素子5aに対応する画素番号、図4Bの縦軸は物体13の輝度値、図4Cの縦軸は物体13の距離である。図4B及び図4Cの2つの破線の範囲内が本来の物体13の位置であるが、これら破線の外側でも物体13の情報が検出される。2つの破線の外側の物体情報は誤差情報である。
図4Aの場合、反射光信号のビーム幅が3画素分あるため、画素分解能よりも粗い解像度しか得られず、輝度情報のエッジが不鮮明になる。よって、この輝度情報に基づいて距離情報を求めると、図4B及び図4Cに示すように誤差情報を含んだものになる。
図5は測距情報に誤差情報が含まれる理由を説明する図である。図5は図4Aと同様に、反射光信号のビーム幅が3画素分のサイズを有し、物体13が4画素分のサイズを有する例を示している。
図6Aは光源3から出射される光信号の光強度分布を示す図であり、横軸は水平(走査)方向の画素番号、縦軸は光強度である。図6Aの光強度分布は既知である。
図6Bは物体13の反射率を示す図であり、横軸は水平(走査)方向の画素番号、縦軸は反射率である。物体13の反射率は物体13ごとに異なる。また、物体13のサイズにより、横軸の長さが異なる。
図6Cは物体13の輝度情報を示す図、図6Dは物体13の距離情報を示す図である。図6Cと図6Dの横軸は各受光素子5aに対応する画素番号、図6Cの縦軸は物体13の輝度値、図6Dの縦軸は物体13の距離である。
物体13の輝度値は、以下の式(1)に示すように、光信号の光強度g[n]と物体13の反射率f[n]との畳み込み処理を行うことで得られる。
f[n]×g[n]=Σf[m]×g[n-m] …(1)
f[n]×g[n]=Σf[m]×g[n-m] …(1)
反射光信号のビーム幅が受光素子5aの幅よりも広い場合、式(1)に示すように物体13の輝度分布は走査方向に畳み込まれるため、本来の物体13の検出位置に該当する画素の外側の画素でも、ある程度の輝度値が検出されてしまい、物体13のエッジが不鮮明になる。
図7は一比較例に係る測距装置2の測距シーケンスを示す図である。図7は、各フレームが走査方向に4画素を有する例を示している。図7の破線枠11は反射光信号のビーム幅を示し、一点鎖線枠12は物体13の検出範囲を示している。
図8Aは図7の測距装置2で検出された1フレーム目の輝度情報を示す図、図8Bは図7の測距装置2で検出された2フレーム目の輝度情報を示す図である。図8Aと図8Bの横軸は画素番号、縦軸は反射光信号の輝度情報である。図8Aと図8Bの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。
図7に示すように、1画素目では物体13は検出されず、2画素目の一部だけで物体13が検出され、3画素目の全域で物体13が検出され、4画素目では物体13は検出されない。このため、図8Aと図8Bに示すように、2画素目では輝度情報が中間レベルになり、3画素目では輝度情報が最大レベルになり、1画素目と4画素目では輝度情報が最低レベルになる。
図9Aは図7の測距装置2で検出された1フレーム目の物体13の距離情報を示す図、図9Bは図7の測距装置2で検出された2フレーム目の物体13の距離情報を示す図である。図9Aと図9Bの横軸は画素番号、縦軸は物体13の距離である。図9Aと図9Bの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。
図8Aと図8B、図9Aと図9Bに示すように、常に同じFoVで測距を行うため画素番号2と3では常に同じ距離、同じ輝度情報が検出される。このため解像度は、1°相当になる。
図10は本実施形態に係る画像処理装置1及び測距装置2の測距シーケンスを示す図である。図10は、図7と同様に、各フレームが走査方向に4画素を有する例を示している。図10の破線枠11は反射光信号のビーム幅を示し、一点鎖線枠12は物体13の検出範囲を示している。
図11Aは図1の測距装置2で検出された1フレーム目の輝度情報を示す図、図11Bは図1の測距装置2で検出された2フレーム目の輝度情報を示す図、図11Cは図11Aと図11Bの輝度情報を合成した図である。図11A~図11Cの横軸は画素番号、縦軸は反射光信号の輝度情報である。図11A~図11Cの各プロットは、実線は反射光信号の受光位置、破線は理想的に物体を検出できた場合をそれぞれ示している。
図10の1フレーム目は図7の1フレーム目と同様であり、図11Aに示す1フレーム目の反射光信号の輝度情報は図8Aの輝度情報と同じになる。
図10の2フレーム目は、1フレーム目から1/2画素分遅らせて、光源3から光信号を出射する。よって、2フレーム目の反射光信号の輝度情報は、図11Bに示すように、図11Aから1/2画素分遅れて検出される。走査部4が一定の速度で光信号を走査する場合、分遅らせて光源3から光信号を出射すると、物体13の1/2画素分ずれた箇所に光信号が放射され、受光部5の1/2画素分ずれた位置に反射光信号が受光される。
反射光信号の1フレーム目と2フレーム目の輝度情報を合成すると、図11Cに示すような輝度情報が得られる。図11Cの輝度情報は、図11Aと図11Bの輝度情報よりも解像度が2倍になっており、輝度情報をより正確に検出できる。
図12Aは図10の画像処理装置1及び測距装置2で検出された1フレーム目の物体13の距離情報を示す図、図12Bは図10の画像処理装置1及び測距装置2で検出された2フレーム目の物体13の距離情報を示す図、図12Cは図12Aと図12Bの距離情報を合成した図である。図12A~図12Cの各プロットは距離情報の検出位置を示している。
2フレーム目では、1フレーム目から1/2画素分遅らせて、光源3から光信号を出射して物体13の距離情報を検出するため、物体13の距離情報は、1フレーム目から1/2画素分遅れて検出される。
1フレーム目と2フレーム目の距離情報を合成すると、図12Cに示すように、物体13のエッジ付近の距離を正確に検出でき、距離解像度を向上させることができる。
図1の走査部4は、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えることができることを特徴とする。走査部4が光信号を走査する手法には複数の具体例が考えられる。
図13は図1の第1具体例に係る画像処理装置1のブロック図である。図13では、図1と共通する構成部分には同一の符号を付しており、以下では、相違点を中心に説明する。図13の光源3と走査部4は投光器8を構成している。また、図13の受光部5と、測距部10と、距離画像生成部6と、画像合成部7は、受光器9を構成している。
図13の画像処理装置1は、図1の構成に加えて、走査制御部15を備えている。走査制御部15は、走査部4を制御する。例えば、走査制御部15は、走査部4の光出射方向を切替制御する。後述するように、走査部4は、例えばポリゴンミラー又はMEMSミラーのように、光源3から出射された光信号の進行方向を切り替えるミラー部材を有する。走査制御部15は、ミラー部材のミラー面を回転させる制御を行うだけでなく、ミラー部材自体を所定の角度範囲で回転させるなどして、走査部4から出射される光信号の向きをフレームごとに可変させてもよい。
あるいは、走査制御部15は、光源3が内蔵された筐体部の光出射方向を切替制御してもよい。これにより、光源3から出射される光信号の進行方向を可変させることができ、走査部4から出射される光信号の走査範囲をフレームごとに変化させることができる。
あるいは、走査制御部15は、走査部4が光信号の進行方向を切り替える速度を可変制御してもよい。すなわち、走査制御部15にて、走査部4による光信号の走査速度を切替制御することで、距離画像の解像度を可変制御できる。
図14は図1の第2具体例に係る画像処理装置1のブロック図である。図14の画像処理装置1は、図13の構成に加えて、タイミング制御部16を備えている。
タイミング制御部16は、光源3が光信号の出射を開始する出射開始タイミングを制御する。走査部4は、光源3による光信号の出射開始タイミングに基づいて、光信号の走査タイミングをフレームごとに切り替える。タイミング制御部16は、光源3から出射される光信号の出射間隔は変えずに、光信号の出射開始タイミングをフレームごとに可変制御する。
より具体的には、光源3は、連続したn(nは2以上の整数)個のフレームのそれぞれでは、それぞれ異なる出射開始時刻を起点として、同一の出射間隔で複数の光信号を出射する。画像合成部7は、n個のフレームのそれぞれで生成された距離画像同士を合成する。
図15は走査部4が光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変える例を模式的に示す図である。図15のフレームF1では、走査部4は水平方向に光信号を走査させ、1水平ライン分の走査が終了すると、次の水平ラインを左から右に向かって光信号を走査させる動作をすべての水平ラインについて繰り返す。フレームF1内の各マス目は、各受光素子5aが受光する画素を示している。
フレームF1の距離画像が生成されると、次のフレームF2では、1/3画素分遅らせて光源3から光信号を出射し、物体13からの反射光信号を受光部5で受光して距離画像を生成する。次のフレームF3では、2/3画素分遅らせて光源3から光信号を出射し、物体13からの反射光信号を受光部5で受光して距離画像を生成する。次のフレームF4では、フレームF1と同じタイミングで光源3から光信号を出射して距離画像を生成する。
画像合成部7は、フレームF1~F3の3つの距離画像を合成して、高解像度距離画像を生成する。図15では、フレームF1~F3の3つの距離画像を合成する例を示したが、合成する距離画像の数は任意である。
図16は第1の実施形態に係る画像処理装置1及び測距装置2の処理動作の第1例を示すフローチャートである。まず、1フレーム目では、走査範囲をずらさずに光信号を走査させて距離画像G1を生成する(ステップS1)。図17Aは、図16のステップS1で生成される距離画像G1を模式的に示す図である。図17Aは、水平方向に6画素、垂直方向に4画素の距離画像G1の例を示している。
次に、2フレーム目では、走査範囲を1/2画素分水平方向にずらして(遅らせて)、距離画像G2を生成する(ステップS2)。図17Bは、図16のステップS2で生成される距離画像G2を模式的に示す図である。
次に、1フレーム目の距離画像G1と2フレーム目の距離画像G2とを合成して、高解像度距離画像G3を生成する(ステップS3)。図17Cは、図16のステップS3で生成される距離画像G3を模式的に示す図である。図17Cに示すように、2フレーム分の距離画像G1、G2を合成することで、水平方向の解像度を2倍に上げた高解像度距離画像G3を生成することができる。
図18は第1の実施形態に係る画像処理装置1及び測距装置2の処理動作の第2例を示すフローチャートである。まず、1フレーム目では、基準の走査範囲で光信号を走査させて距離画像を生成する(ステップS11)。図19Aは、図18のステップS11で生成される距離画像G1を模式的に示す図である。
次に、2フレーム目では、走査範囲を1/2画素分垂直方向にずらして(遅らせて)、距離画像を生成する(ステップS12)。図19Bは、図18のステップS12で生成される距離画像G2を模式的に示す図である。
次に、1フレーム目の距離画像と2フレーム目の距離画像とを合成して、高解像度距離画像G3を生成する(ステップS13)。図19Cは、図18のステップS13で生成される距離画像を模式的に示す図である。図19Cに示すように、2フレーム分の距離画像を合成することで、垂直方向の解像度を2倍に上げることができる。
このように、第1の実施形態では、光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変えて生成した複数の距離画像同士を合成して、高解像度距離画像を生成する。これにより、光源3から出射される光信号のビーム幅を小さくするためのレンズ等を設けることなく、簡易な構成で距離画像の高解像度化が可能になる。
(第2の実施形態)
図20は第2の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図20の画像処理装置1は、図14の構成にボケ解消処理部17を追加したものである。
図20は第2の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図20の画像処理装置1は、図14の構成にボケ解消処理部17を追加したものである。
ボケ解消処理部17は、画像合成部7で生成された高解像度距離画像をより鮮明にする処理を行う。具体的には、ボケ解消処理部17は、距離画像のエッジ部分のボケを解消して、エッジを強調する処理を行う。
図21は図20のボケ解消処理部17をより具体化した画像処理装置1のブロック図である。図21のボケ解消処理部17は、逆畳み込み処理部18と、エッジ強調部19とを有する。
逆畳み込み処理部18は、画像合成部7で生成された高解像度距離画像に対して、光源3から出射される光信号の光強度分布を用いて逆畳み込み処理を行って、物体13の反射率を生成する。
エッジ強調部19は、逆畳み込み処理部18で生成された物体13の反射率に基づいて、画像合成部7で生成された高解像度距離画像のエッジを強調する。
図22はボケ解消処理部17の処理動作を説明する図である。距離画像生成部6は、受光部5で受光された受光信号に基づいて、輝度情報と距離情報を生成する。距離画像生成部6で生成される輝度情報は例えば波形w1で表され、距離情報は例えば波形w2で表される。波形w1、w2からわかるように、反射光信号のビーム幅が受光素子5aの幅よりも広い場合には、輝度情報と距離情報は誤差を含んだ値になる。
光源3から出射される光信号の光強度g[n]は既知である。よって、逆畳み込み処理部18は、輝度情報に対してg[n]の逆畳み込み処理を行うことで、物体13の反射率を生成することができる。物体13の反射率は、例えば図22の波形w3で表される。逆畳み込み処理部18で生成される物体13の反射率は、誤差を含まない情報である。なお、光強度g[n]は、事前に光強度の測定を行うことで得られる。あるいは、投光器内に設けた受光素子を用いて測距のたびにレーザ光の強度分布を取得すること等でも得られる。
エッジ強調部19は、逆畳み込み処理部18で生成された物体13の反射率に基づいて、距離画像生成部6で生成された輝度情報を補正するとともに、距離情報も補正する。これにより、波形w4、w5に示すように、エッジの鮮明な輝度情報と距離情報が得られる。
図22では、距離画像生成部6で生成された距離画像に含まれる輝度情報に対して逆畳み込み処理を行っているが、図21のように、画像合成部7で生成された高解像度距離画像に含まれる輝度情報に対して逆畳み込み処理を行うことも可能である。この場合、エッジ強調部19は、逆畳み込み処理部18で生成された物体13の反射率に基づいて、受光部5で受光された反射光信号に応じた輝度信号の閾値を設定し、閾値に基づいて輝度信号を二値化し、二値化された輝度値に基づいて画像合成部7で生成された高解像度距離画像を補正する。あるいは、エッジ強調部19は、逆畳み込み処理部18で生成された物体13の反射率に基づいて、受光部5で受光された反射光信号に応じた輝度値を推定し、輝度値に基づいて画像合成部7で生成された高解像度距離画像を補正する等の方法が考えられる。
このように、第2の実施形態では、受光部5で受光された受光信号に基づく輝度情報に対して、光信号の光強度の逆畳み込み処理を行うことで物体13の反射率を生成し、生成された物体13の反射率に基づいて輝度情報と距離情報を補正する。これにより、画像合成部7で生成された高解像度距離画像のボケを解消して、エッジを強調することができる。
(第3の実施形態)
図23は第3の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図23の画像処理装置1は、図20の構成に加えて、特徴物認識部20を備えている。
図23は第3の実施形態に係る画像処理装置1の概略構成を示すブロック図である。図23の画像処理装置1は、図20の構成に加えて、特徴物認識部20を備えている。
特徴物認識部20は、距離画像生成部6で生成された距離画像に含まれる特徴物を認識する。特徴物とは、例えば、所定の条件を満たす静止物である。所定の条件とは、例えば、所定の期間より前には存在しなかった静止物である。具体的な一例としては、道路の陥没や、道路上に置かれた障害物などである。
画像合成部7は、特徴物については第1フレームレートで生成された高解像度距離画像を生成し、特徴物以外については解像度を変えずに第1フレームレートよりも高い第2フレームレートで距離画像を生成する。なお、後述するように、特徴物認識部20は、移動体を認識してもよい。画像合成部7は、特徴物認識部20が認識した移動体については解像度を変えずに第2フレームレートで距離画像を生成する。
図24は図23の特徴物認識部20をより具体化した画像処理装置1のブロック図である。図24の特徴物認識部20は、フレームメモリ21と、フレーム間差分検出部22とを有する。
フレームメモリ21は、少なくとも1フレーム分の距離画像を記憶する。フレーム間差分検出部22は、複数のフレームの距離画像同士の差分を検出して、特徴物を認識する。
より詳細には、フレーム間差分検出部22は、第1認識部と第2認識部を有していてもよい。第1認識部は、距離画像生成部6で生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、所定の期間より前には存在せず、かつ静止している特徴物を認識する。第2認識部は、距離画像生成部6で直近に生成された複数の距離画像同士の差分を取ることにより、移動している物体13を認識する。
画像合成部7は、例えば第1認識部による認識結果に基づいて、特徴物を含む領域では第1フレームレートで高解像度距離画像を生成し、特徴物を含まない領域では第1フレームレートよりも低い第2フレームレートで距離画像を生成する。あるいは、画像合成部7は、第1認識部により認識された特徴物を含む領域では第1フレームレートで高解像度距離画像を生成し、第2認識部により認識された移動体を含む領域では第2フレームレートで距離画像を生成する。
図25は第3の実施形態に係る画像処理装置1及び測距装置2の処理動作の第1例を示すフローチャートである。まず、1フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する(ステップS21)。図26Aは、図25のステップS21で生成される距離画像G1を模式的に示す図である。
次に、2フレーム目では、走査範囲を半画素分水平方向にずらして(遅らせて)、距離画像G2を生成する(ステップS22)。図26Bは、図25のステップS22で生成される距離画像G2を模式的に示す図である。
次に、特徴物認識部20にて特徴物を認識し、距離画像に含まれる特徴物の位置を特定する(ステップS23)。特定される特徴物は、例えば静止物である。なお、特徴物は距離画像G1、G2のそれぞれにて認識される。次に、画像合成部7は、特徴物については、1フレーム目及び2フレーム目の特徴物画像PG同士を合成して、高解像度の特徴物画像PGを生成する(ステップS24)。また、画像合成部7は、特徴物以外については、画像合成なしで、通常のフレームレートで距離画像を生成する(ステップS25)。
図26Cは図25の処理により最終的に生成される奇数フレームの距離画像G3を模式的に示す図、図26Dは偶数フレームの距離画像G4を模式的に示す図である。図26C及び図26Dに示すように、距離画像に含まれる特徴物の領域のみ高解像で低フレームレートの特徴物画像PGが生成され、特徴物以外の領域は低解像度で高フレームレートの距離画像G3、G4が生成される。
図27は第3の実施形態に係る画像処理装置1及び測距装置2の処理動作の第2例を示すフローチャートである。まず、1フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する(ステップS31)。図28Aは、図27のステップS31で生成される距離画像G1を模式的に示す図である。
次に、距離画像に含まれる特徴物の位置を特定する(ステップS32)。特定される特徴物は、例えば静止物である。次に、特徴物については、2フレーム目で1/2画素ずらして(遅らせて)光源3から光信号を出射して、物体13からの反射光信号を受光して特徴物画像PGを生成する(ステップS33)。図28Bは、図27のステップS33で生成される特徴物画像PGを模式的に示す図である。次に、1フレーム目の特徴物画像PGと2フレーム目の特徴物画像PGを合成して、高解像度の特徴物画像PGを生成する(ステップS34)。
一方、特徴物以外については、2フレーム目では1フレーム目と同じ走査範囲又は走査タイミングで光源3から光信号を出射して、物体13からの反射光信号を受光して、フレームごとに距離画像を生成する(ステップS35)。
図28Cは図27の処理により最終的に生成される奇数フレームの距離画像G3を模式的に示す図、図28Dは偶数フレームの距離画像G4を模式的に示す図である。これらの図に示すように、特徴物の領域では、高解像度で低フレームレートの特徴物画像PGが生成され、特徴物以外の領域では高フレームレートの距離画像G3、G4が生成される。
図29は第3の実施形態に係る画像処理装置1及び測距装置2の処理動作の第3例を示すフローチャートである。まず、1フレーム目では、予め定めた基準の走査範囲内で光信号を走査させて距離画像を生成する(ステップS41)。図30Aは、図29のステップS41で生成される距離画像G1を模式的に示す図である。
次に、2フレーム目では、走査範囲を1/2画素分水平方向にずらして(遅らせて)、距離画像G2を生成する(ステップS42)。図30Bは、図29のステップS42で生成される距離画像G2を模式的に示す図である。
次に、3フレーム目では、走査範囲を1/2画素分垂直方向にずらして(遅らせて)、距離画像G3を生成する(ステップS43)。図30Cは、図29のステップS43で生成される距離画像G3を模式的に示す図である。
次に、4フレーム目では、走査範囲を水平方向及び垂直方向に1/2画素分ずつずらして(遅らせて)、距離画像G4を生成する(ステップS44)。図30Dは、図29のステップS44で生成される距離画像G4を模式的に示す図である。
次に、距離画像に含まれる特徴物の位置を特定する(ステップS45)。特徴物については、1~4フレーム目の特徴物画像PGを合成して、高解像度の特徴物画像PGを生成する。また、特徴物以外については、フレームごとに距離画像G5を生成する(ステップS46)。
図30Eは、図29の画像処理装置1及び測距装置2により最終的に生成される距離画像G5を模式的に示す図である。特徴物の領域については高解像度で低フレームレートの特徴物画像PGが生成され、特徴物以外の領域では高フレームレートの距離画像G5が生成される。
図31~図34は、第3の実施形態に係る画像処理装置1及び測距装置2を用いて、インフラストラクチャの監視を行う様子を模式的に示す図である。より具体的には、図31~34は、道路上に陥没34が発生したか否かを監視する様子を示している。画像処理装置1及び測距装置2は、光源3から出射された光信号を走査部4にて走査させて距離画像を生成する。また、図27の様に先に特徴物を認識し、特徴物のみフレーム毎に1/2画素ずらしてもよい。
図31は道路上に陥没34が発生した例を示している。道路上の陥没34を特徴物として認識する前は、図31に示すように、1フレーム目と2フレーム目では、走査部4による光信号の走査範囲及び走査タイミングは同じである。
図32は、道路上の陥没34を特徴物として認識して、2フレーム目では1フレーム目とは1/2画素ずらして光信号を走査させる例を示している。画像合成部7は、1フレーム目と2フレーム目の距離画像同士を合成することで、高解像度の距離画像を生成する。図32は、フレームの全域で高解像度の距離画像を生成する例を示している。
図33は、道路上の陥没34を特徴物として認識して、2フレーム目では1フレーム目とは1/3画素ずらして光信号を走査させ、3フレーム目では1フレーム目とは2/3画素ずらして光信号を走査させる。画像合成部7は、1~3フレーム目の特徴物画像PG同士を合成して、図32よりも高解像度の特徴物画像PGを生成する。図33も、フレームの全域で高解像度の距離画像を生成する例を示している。
図34は、道路上の陥没34を特徴物として認識し、道路上の陥没34の領域については1/2画素ずらして光信号を出射して、陥没34からの反射光信号を受光して特徴物画像PGを生成し、1フレーム目と2フレーム目の特徴物画像PGを合成して、高解像度の特徴物画像PGを生成する。一方、特徴物以外の領域では、移動している車両が存在するため、フレームごとに高フレームレートで距離画像を生成する。上述した第2認識部24にて、移動体を認識して、高フレームレートで距離画像を生成してもよい。
このように、第3の実施形態に係る特徴物認識部20は、新たに生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、所定の期間より前には存在せず、かつ静止している特徴物を認識することができる。また、特徴物認識部20は、直近に生成された複数の距離画像同士の差分を取ることにより、移動している物体13を認識することができる。画像合成部7は、所定の期間より前には存在せず、かつ静止している特徴物については、複数のフレームでの特徴物画像PGを合成して、高解像度の特徴物画像PGを生成できる。また、移動体については、フレームごとに距離画像を生成するため、移動体を精度よく追尾することができる。
(第4の実施形態)
上述した第1~第3の実施形態に係る画像処理装置1及び測距装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。
上述した第1~第3の実施形態に係る画像処理装置1及び測距装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。
図35は第1~第3の実施形態に係る画像処理装置1及び測距装置2をハードウェアで構成する場合のブロック図である。図35の画像処理装置1及び測距装置2は、光源3と、スキャンデバイス31と、受光デバイス32と、信号処理プロセッサ33と、を備えている。
光源3は、レーザ光源でもLED光源でもよい。光源3は、複数のレーザ光源又は複数のLED光源を有していてもよい。
スキャンデバイス31は、第1~第3の実施形態に係る走査部4に対応する。スキャンデバイス31は、例えばポリゴンミラーやMEMSミラーなどのように、光信号を所定の走査範囲で走査する機能を有する。
受光デバイス32は、第1~第3の実施形態に係る受光部5に対応する。受光デバイス32は、複数の受光素子5aを有していてもよい。
信号処理プロセッサ33は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)などの半導体チップでもよいし、PC(Personal Computer)、ワークステーション、サーバなどのコンピュータ機器でもよい。信号処理プロセッサ33は、第1~第3の実施形態に係る走査制御部15とタイミング制御部16の機能を兼ねている。また、信号処理プロセッサ33は、測距部10の機能を備えていてもよい。
図36は第1~第3の実施形態に係る画像処理装置1及び測距装置2のより具体的なハードウェア構成を示すブロック図である。図36は、スキャンデバイス31の一例としてポリゴンミラー31aを採用している。
図36の画像処理装置1及び測距装置2は、受光デバイス32と信号処理プロセッサ33を同一のパッケージに内蔵するSIP(Silicon in Package)を採用している。図36において、支持基板41上には、第1ダイ42と第2ダイ43が設けられている。
第1ダイ42上には、複数の受光デバイス32が二次元方向に配置されている。個々の受光デバイス32は、SiPM(Silicon Photomultiplier)44とアクティブクエンチ回路(AQs)45を有する。各SiPM44は、1個又は複数のAPD(Avalanche Photo Diode)を有する。なお、アクティブクエンチ回路45の代わりに、パッシブクエンチ回路を設けてもよい。
第2ダイ43上には、各SiPM44で受光された受光信号をデジタルの画素データに変換する複数のA/D変換器(以下、ADC)46と信号処理プロセッサ33が設けられている。第1ダイ42上のパッド47と、第2ダイ43上の対応するパッド48とは、ボンディングワイヤ49で接続されている。
図36の画像処理装置1及び測距装置2では、光源3とスキャンデバイス31以外は一つの半導体チップで構成できるため、小型化及び低消費電力化を実現できる。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 画像処理装置、2 測距装置、3 光源、4 走査部、5 受光部、5a 受光素子、6 距離画像生成部、7 画像合成部、8 投光器、9 受光器、10 測距部、11 破線枠、12 一点鎖線枠、13 物体、15 走査制御部、16 タイミング制御部、17 ボケ解消処理部、18 処理部、19 エッジ強調部、20 特徴物認識部、21 フレームメモリ、22 フレーム間差分検出部、24 第2認識部、31 スキャンデバイス、31a ポリゴンミラー、32 受光デバイス、33 信号処理プロセッサ、34 陥没、41 支持基板、42 第1ダイ、43 第2ダイ、45 アクティブクエンチ回路(AQs)、46 変換器(以下、ADC)、47 パッド、48 パッド、49 ボンディングワイヤ
Claims (20)
- 所定の時間間隔で光信号を出射する光源と、
前記光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに変更可能な走査部と、
前記光信号が物体に照射されて反射された反射光信号を受光する受光部と、
前記受光部で受光された反射光信号に基づいて、前記フレームごとに距離画像を生成する距離画像生成部と、
複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する画像合成部と、を備える、画像処理装置。 - 前記走査部は、連続した2以上の所定数の前記フレームのそれぞれにおいて、前記光信号の走査範囲及び走査タイミングの少なくとも一方を相違させ、前記所定数のフレームを単位として、前記光信号の走査範囲及び走査タイミングの切替を繰り返し周期的に行い、
前記画像合成部は、前記所定数のフレームの距離画像同士を合成して、前記高解像度距離画像を生成する、請求項1に記載の画像処理装置。 - 前記走査部は、前記光源から出射された光信号の走査角度を前記フレームごとに変化させる、請求項1又は2に記載の画像処理装置。
- 前記走査部の光出射方向をフレームごとに切替制御する走査制御部を備える、請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記光源が内蔵された筐体部の光出射方向をフレームごとに切替制御する走査制御部を備え、
前記走査部は、前記走査制御部にて前記筐体部の光出射方向を切替制御することにより、前記光信号の走査範囲をフレームごとに変える、請求項1乃至3のいずれか一項に記載の画像処理装置。 - 前記走査部が前記光信号の進行方向を切り替える速度をフレームごとに可変制御する走査制御部を備える、請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記光源が前記光信号の出射開始タイミングを制御するタイミング制御部を備え、
前記走査部は、前記光源が前記光信号の出射開始タイミングに基づいて、前記光信号の走査タイミングをフレームごとに切り替える、請求項1又は2に記載の画像処理装置。 - 前記タイミング制御部は、前記光源から出射される前記光信号の出射間隔は変えずに、前記光信号の出射開始タイミングを前記フレームごとに可変制御する、請求項7に記載の画像処理装置。
- 前記光源は、連続したn(nは2以上の整数)個の前記フレームのそれぞれでは、それぞれ異なる出射開始時刻を起点として、同一の出射間隔で複数の前記光信号を出射し、
前記画像合成部は、前記n個のフレームのそれぞれで生成された距離画像同士を合成する、請求項8に記載の画像処理装置。 - 前記画像合成部で生成された前記高解像度距離画像のボケを解消する処理を行うボケ解消処理部を備える、請求項1乃至9のいずれか一項に記載の画像処理装置。
- 前記ボケ解消処理部は、
前記画像合成部で生成された前記高解像度距離画像の輝度情報に対して、前記光源から出射される光信号の光強度分布を用いて逆畳み込み処理を行って、前記物体の反射率を生成する逆畳み込み処理部と、
前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記画像合成部で生成された前記高解像度距離画像のエッジを強調するエッジ強調部と、を有する、請求項10に記載の画像処理装置。 - 前記エッジ強調部は、前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記受光部で受光された前記反射光信号に応じた輝度信号の閾値を設定し、前記閾値に基づいて前記輝度信号を二値化し、二値化された輝度値に基づいて前記画像合成部で生成された前記高解像度距離画像を補正する、請求項11に記載の画像処理装置。
- 前記エッジ強調部は、前記逆畳み込み処理部で生成された前記物体の反射率に基づいて、前記受光部で受光された前記反射光信号に応じた輝度値を推定し、前記輝度値に基づいて前記画像合成部で生成された前記高解像度距離画像を補正する、請求項11に記載の画像処理装置。
- 前記距離画像生成部で生成された距離画像に含まれる特徴物を認識する特徴物認識部を備え、
前記画像合成部は、前記特徴物については第1フレームレートで生成された前記高解像度距離画像を出力し、前記特徴物以外については解像度を変えずに前記第1フレームレートよりも高い第2フレームレートで距離画像を出力する、請求項1乃至13のいずれか一項に記載の画像処理装置。 - 前記特徴物は、所定の条件を満たす静止物である、請求項14に記載の画像処理装置。
- 前記特徴物認識部は、前記距離画像生成部で生成された距離画像と、所定の期間より前に生成された距離画像との差分を取ることにより、前記所定の期間より前には存在せず、かつ静止している前記特徴物を認識する第1認識部を有する、請求項14又は15に記載の画像処理装置。
- 前記特徴物認識部は、前記距離画像生成部で直近に生成された複数の距離画像同士の差分を取ることにより、移動している前記物体を認識する第2認識部を有する、請求項16に記載の画像処理装置。
- 前記画像合成部は、前記第1認識部及び前記第2認識部による認識結果に基づいて、前記特徴物を含む部分領域では前記第1フレームレートで生成された前記高解像度距離画像を出力し、前記移動している物体を含む部分領域では前記第2フレームレートで生成された距離画像を出力する、請求項17に記載の画像処理装置。
- 請求項1乃至18のいずれか一項に記載の画像処理装置と、
前記受光部で前記反射光信号が受光された時刻と、前記光源から前記光信号が出射された時刻とに基づいて、前記物体までの距離を計測する測距部と、を備える、測距装置。 - 所定の時間間隔で光信号を出射する光源から所定の時間間隔で出射される光信号の走査範囲及び走査タイミングの少なくとも一方をフレームごとに可変させ、
前記光信号が物体に照射されて反射された反射光信号を受光し、
前記受光された反射光信号に基づいて、前記フレームごとに距離画像を生成し、
複数の前記フレームの距離画像同士を合成して、高解像度距離画像を生成する、画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032146A JP2023128077A (ja) | 2022-03-02 | 2022-03-02 | 画像処理装置、測距装置、及び画像処理方法 |
EP22193424.3A EP4239366A3 (en) | 2022-03-02 | 2022-09-01 | Image processing apparatus, distance measuring apparatus, and image processing method |
US17/930,599 US20230281771A1 (en) | 2022-03-02 | 2022-09-08 | Image processing apparatus, distance measuring apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032146A JP2023128077A (ja) | 2022-03-02 | 2022-03-02 | 画像処理装置、測距装置、及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023128077A true JP2023128077A (ja) | 2023-09-14 |
Family
ID=83318754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032146A Pending JP2023128077A (ja) | 2022-03-02 | 2022-03-02 | 画像処理装置、測距装置、及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230281771A1 (ja) |
EP (1) | EP4239366A3 (ja) |
JP (1) | JP2023128077A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107710015B (zh) * | 2015-07-03 | 2021-08-24 | 新唐科技日本株式会社 | 距离测量装置以及距离图像合成方法 |
US10983213B2 (en) * | 2017-03-29 | 2021-04-20 | Luminar Holdco, Llc | Non-uniform separation of detector array elements in a lidar system |
EP4150378A1 (en) * | 2020-05-13 | 2023-03-22 | Luminar, LLC | Lidar system with high-resolution scan pattern |
WO2021234333A1 (en) * | 2020-05-19 | 2021-11-25 | Cambridge Mechatronics Limited | A time-of-flight sensor system |
-
2022
- 2022-03-02 JP JP2022032146A patent/JP2023128077A/ja active Pending
- 2022-09-01 EP EP22193424.3A patent/EP4239366A3/en active Pending
- 2022-09-08 US US17/930,599 patent/US20230281771A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230281771A1 (en) | 2023-09-07 |
EP4239366A3 (en) | 2023-10-18 |
EP4239366A2 (en) | 2023-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7347585B2 (ja) | 距離測定装置 | |
JP7238343B2 (ja) | 距離測定装置及び距離測定方法 | |
JP6899005B2 (ja) | 光検出測距センサ | |
JP7347942B2 (ja) | 3次元映像装置 | |
US5552893A (en) | Distance measuring apparatus | |
US10944945B2 (en) | Projection device and projection method, projection module, electronic device, and program | |
JP2016145776A (ja) | レーザ受信装置 | |
WO2017006546A1 (ja) | 距離測定装置および距離画像合成方法 | |
US20180192018A1 (en) | Projection device and projection method, projection module, electronic device, and program | |
KR20100103666A (ko) | 적어도 하나의 광빔 투사방법과 장치 | |
JP2015179917A (ja) | 画像表示装置および画像表示方法 | |
JP2023128077A (ja) | 画像処理装置、測距装置、及び画像処理方法 | |
US8531588B2 (en) | Method for adjusting exposure condition of optical sensor module and optical sensor module thereof | |
US10488641B2 (en) | Scanning microscope | |
US6157468A (en) | Focus adjusting system of an optical scanner | |
CN111788495B (zh) | 光检测装置、光检测方法以及激光雷达装置 | |
US11270418B1 (en) | Method and system for correcting phase of image reconstruction signal | |
EP3385773B1 (en) | Rendering device and rendering method | |
CN116299513A (zh) | 激光雷达设备和激光雷达扫描方法 | |
WO2020187677A1 (en) | Lidar device for a vehicle and method for increasing the detection range of a corresponding lidar device | |
CN211698176U (zh) | 用于控制范围检测器内的像素扫描的装置 | |
JP2015025900A (ja) | レーザ走査顕微鏡 | |
CN112540361A (zh) | 光检测装置以及电子装置 | |
JP2019138666A (ja) | 測距装置 | |
US20240118399A1 (en) | Image sensor related to measuring distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240227 |