JP2018081029A - 画像情報出力装置、画像情報出力方法、プログラム - Google Patents

画像情報出力装置、画像情報出力方法、プログラム Download PDF

Info

Publication number
JP2018081029A
JP2018081029A JP2016224362A JP2016224362A JP2018081029A JP 2018081029 A JP2018081029 A JP 2018081029A JP 2016224362 A JP2016224362 A JP 2016224362A JP 2016224362 A JP2016224362 A JP 2016224362A JP 2018081029 A JP2018081029 A JP 2018081029A
Authority
JP
Japan
Prior art keywords
pixel value
information
value information
pixel
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016224362A
Other languages
English (en)
Other versions
JP6822091B2 (ja
Inventor
悟 牛嶋
Satoru Ushijima
悟 牛嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016224362A priority Critical patent/JP6822091B2/ja
Priority to US15/728,558 priority patent/US10192470B2/en
Publication of JP2018081029A publication Critical patent/JP2018081029A/ja
Application granted granted Critical
Publication of JP6822091B2 publication Critical patent/JP6822091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G1/00Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
    • G09G1/002Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

【課題】画素値情報間の隣接関係にずれのない画素列を生成可能とすること。【解決手段】走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得する画素値情報取得部と、一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出する算出部と、前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する補正情報生成部とを含む。【選択図】図12

Description

本開示は、画像情報出力装置、画像情報出力方法、及びプログラムに関する。
対象物上でレーザを主走査方向に往復走査することで得られた画素値情報(受光された光量等に基づく情報)から対象物の画像を生成する装置において、一往復走査ごとの水平方向の画素列に関して、画素列間の位置ずれ量を検出する技術が知られている。
特開2016-080962号公報
しかしながら、上記の従来技術は、画素列間の位置ずれ量を検出する技術であるので、基準となる画素列内において画素値情報間の隣接関係にずれがあると、他の画素列において、画素値情報間の隣接関係に同様のずれを補正できない虞がある。画素列内の“画素値情報間の隣接関係のずれ”は、各画素値情報を得るときの正規のサンプリング角度に対する実際のサンプリング角度のずれに起因して、一往復走査分の画素値情報を一画素列の各画素に割り当てる際に生じる。ある2つ画素A,Bの間の画素Cに割り当てられる画素値情報は、2つ画素A,Bに割り当てられる画素値情報に係る対象物上の位置PXa,PXbの間の位置PXcに係る情報であることが望ましい。これに対して、画素Cに割り当てられる画素値情報が、位置PXa,PXbの間でない位置PXdに係る情報となる状態が、画素列内における“画素値情報間の隣接関係のずれ”である。
そこで、1つの側面では、本発明は、画素値情報間の隣接関係にずれのない画素列を生成可能とすることを目的とする。
1つの側面では、走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得する画素値情報取得部と、
一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出する算出部と、
前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する補正情報生成部とを含む、画像情報出力装置が提供される。
1つの側面では、本発明によれば、画素値情報間の隣接関係にずれのない画素列が生成可能となる。
距離測定装置の説明図である。 TOF方式の説明図である。 距離測定装置での計測波の往復走査方法の説明図である。 距離測定装置での計測波の往復走査方法の説明図である。 一往復走査分におけるサンプリング順(往路と復路での各距離情報位置)を示す図である。 画素列における距離情報間の隣接関係のずれの説明図である。 説明用に想定する測距状況の一例を示す図である。 図7の状況で得られる理想的な距離画像の一例を示す図である。 サンプリング水平角間の隣接関係のずれの態様の一例を示す表図である。 図7の状況で図9のサンプリング水平角間の隣接関係にずれがあるときに通常割当方法で得られる距離画像の説明図である。 画像情報出力装置のハードウェア構成の一例を示す図である。 画像情報出力装置の機能ブロックの一例を示す図である。 補正割当方法の説明図である。 動作例1による画像情報出力装置の処理を示すフローチャートである。 評価値の算出結果を示す表図である。 評価値算出処理の一例を示すフローチャートである。 動作例1による動かし回数M=0のときの評価値の説明図である。 動作例1による動かし回数M=−1のときの評価値の説明図である。 動作例1による動かし回数M=1のときの評価値の説明図である。 補正情報に基づいて補正された距離画像の説明図である。 動作例2においてステップS144で実行される評価値算出処理の一例を示すフローチャートである。 動作例2による動かし回数M=0のときの評価値の説明図である。 動作例2による動かし回数M=−1のときの評価値の説明図である。 動作例2による動かし回数M=1のときの評価値の説明図である。 動作例3においてステップS144で実行される評価値算出処理の一例を示すフローチャートである。 動作例3による動かし回数M=0のときの評価値の説明図である。 動作例3による動かし回数M=−1のときの評価値の説明図である。 動作例3による動かし回数M=1のときの評価値の説明図である。 動作例4による画像情報出力装置100の処理を示すフローチャートである。 ステップS150で実行される補正情報の補正処理の一例を示すフローチャートである。 図24の補正情報の補正処理の説明図である。
以下、添付図面を参照しながら各実施例について詳細に説明する。
ここでは、まず、画像情報出力装置の説明に先立って、画像情報出力装置と協動する距離測定装置10(センサ及び距離画像センサの一例)について説明する。
図1は、距離測定装置10の説明図であり、距離測定装置10を概略的に示す上面図である。図1には、距離測定の対象物が概略的に示される。
距離測定装置10は、一例としてレーザセンサであり、投光ユニット11と、受光ユニット12とを含む。
投光ユニット11は、投光レンズ111と、MEMS(Micro Electro Mechanical Systems)ミラー112と、レンズ113と、近赤外線レーザ光源114とを含む。近赤外線レーザ光源114には、駆動信号C1が与えられる。駆動信号C1に応じて近赤外線レーザ光源114から出射されるレーザ光は、レンズ113を介してMEMSミラー112に当たる(矢印L1参照)。MEMSミラー112は、直交する2軸まわりに回転可能であり(矢印R1,R2)、レーザ光を多様な角度で反射させることができる。直交する2軸は、水平軸と鉛直軸であり、鉛直軸まわりの回転により主走査方向(水平方向)の走査が可能となる。また、水平軸まわりの回転により主走査方向を副走査方向(上下方向)にずらすことが可能となる。MEMSミラー112の向きは、制御信号C2に応じて変化される。尚、制御信号C1,C2は、外部(例えば後出の画像情報出力装置)からの指令に応じて投光ユニット11内のレーザ駆動回路及びミラー制御回路(共に図示せず)により生成されてよい。
MEMSミラー112で反射されたレーザ光は、計測波として、投光レンズ111を介して投光ユニット11の外部へと出射される。尚、図1には、計測波L3の他、MEMSミラー112の他の向きに係る計測波L2が示される。計測波L3の進行方向に対象物が存在すると、図1に示すように、計測波L3が対象物に当たる。計測波L3は対象物に当たると反射し、反射波L4として受光ユニット12に向かい、受光ユニット12で受光される。尚、図1には、反射波L4の他、MEMSミラー112の他の向きに係る反射波L5が示される。
受光ユニット12は、受光レンズ121と、フォトダイオード122と、距離計測回路124とを含む。反射波L4は、受光レンズ121を介してフォトダイオード122に入射する。フォトダイオード122は、入射した光の光量に応じた電気信号C3を発生する。電気信号C3は、後段の距離計測回路124に与えられる。距離計測回路124は、図2に示すように、レーザ光の出射タイミングt0を示すパルスP1の立ち上がりから、該レーザ光に係る反射波の受光タイミングを示すパルスP2の立ち上がりまでの時間ΔTに基づいて、対象物までの距離を測定する。具体的には、対象物までの距離は、以下のとおりである。
対象物までの距離=(c ×ΔT)/2
ここで、cは光速であり、約30万km/sである。
このようにして距離測定装置10は、レーザ光をパルス出射し、対象物から戻ってくるまでの往復時間ΔTを計測し、往復時間ΔTに光速を乗算して距離を算出する。即ち、距離測定装置10は、レーザ光を用いるTOF(Time Of Flight)方式で、対象物までの距離を算出する。距離測定装置10は、このようにして得た対象物までの距離の算出結果(距離情報:画素値情報の一例)を後段(後出の画像情報出力装置)に与える。
図3及び図4は、距離測定装置10での計測波の往復走査方法の説明図である。
図3には、距離画像に対応する範囲が点線G1で概念的に示される。図4には、距離測定装置10を中心とした直交3軸(X1軸、Y1軸及びZ1軸)と共に、全体としての走査範囲が点線G4で示される。走査範囲G4は、距離測定装置10からZ1方向に所定距離に位置する仮想スクリーン上での範囲に対応する。走査範囲の幅Lや高さHの具体的な各値は、用途に応じて適宜設定される。
距離測定装置10は、図3及び図4に示すように、走査方向(ここでは、水平方向)に沿って計測波の往復走査を行い往復走査中の複数のサンプリングタイミングで距離情報を生成する。図3では、一往復走査分が囲み703内に示され、矢印700が往路に係る走査を示し、矢印701が復路に係る走査を示す。往路に係る走査と復路に係る走査は、鉛直方向の略同一位置(高さ)で実行される。従って、一往復走査分の距離情報は、距離画像の水平方向の一列分の画素を形成するために用いることができる。
距離測定装置10は、上述のように、鉛直軸(Y1軸)まわりの回転により主走査方向(水平方向)の走査が可能となる。また、水平軸(X1軸)まわりの回転により主走査方向を副走査方向(上下方向)にずらすことが可能となる。図4には、あるサンプリングタイミング(ここでは、1フレームに対する1番目)での走査方向が矢印Vで示される。矢印VのX1Z1面への投影が矢印V1であり、矢印V1と矢印Vとのなす角度αが、走査方向の垂直角を表す。また、矢印V1とZ1軸とのなす角度βが、走査方向の水平角を表す。水平角βは、説明上、Y1軸まわりの反時計回り方向が増加方向であるとする(即ち、図4では、距離測定装置10から見て右側の方が水平角βが大きくなる)。
図5は、一往復走査分におけるサンプリング順を示す図である。図5において、○内の数字は、サンプリング順を示し、小さい値ほど早いタイミング(時系列で先のタイミング)を表す。また、○の位置は、サンプリング水平角(後述)間の隣接関係を概略的に示す。ここでは、説明上、往路で8回だけサンプリングされ、復路で8回だけサンプリングされる例が示されるが、実際には、多数の回数(例えば、往路及び復路でそれぞれ160回)でサンプリングされることになる。また、ここでは、説明上、往路と復路でのサンプリング回数は、同一であるが、僅かに違っていてもよい。
ここで、サンプリングされる距離情報は、特定の空間位置(3次元位置)に係る距離を表し、以下では、該特定の空間位置を「距離情報位置」と称する。背景以外の距離情報が得られる場合は、距離情報位置は、レーザ光の反射点に対応し、例えば対象物体上の位置である。
往路での各サンプリングタイミングは、MEMSミラー112の水平角(鉛直軸まわりの角度)が一定角度(以下、この一定角度を「ピッチ角Δβ」とも称する)変化する毎に到来するように設定される。例えば、往路での水平角の変化速度が一定であるとき、往路での各サンプリングタイミングは、等時間間隔でサンプリングが行われるように設定される。同様に、復路での各サンプリングタイミングは、MEMSミラー112の水平角が一定角度(ピッチ角Δβ)変化する毎に到来するように設定される。例えば、復路での水平角の変化速度が一定であるとき、復路での各サンプリングタイミングは、等時間間隔でサンプリングが行われるように設定される。
ここで、サンプリングタイミングが設定される水平角を「サンプリング水平角」と称する。一往復走査分で可能な限り多くの距離情報位置に係る距離情報を得るためには、往路でのサンプリング水平角と、復路でのサンプリング水平角とが異なることが望ましい。このため、図5に示す例では、往路でのサンプリング水平角と復路でのサンプリング水平角は、重複しないように(異なるように)設定されている。即ち、正規の状態において、往路でのサンプリング水平角と復路でのサンプリング水平角とは、図5に示すように、僅かにずらされる(例えばピッチ角Δβの半分だけずらされる)。例えば、1番目と2番目のサンプリング水平角(往路)の間に、16番目のサンプリング水平角(復路)があり、2番目と3番目のサンプリング水平角(往路)の間に、15番目のサンプリング水平角(復路)があり、以下同様である。
MEMSミラー112は、例えば、水平角の時系列が例えば正弦波状になるように駆動される。この場合、往路及び復路での各サンプリング水平角は、MEMSミラー112に与える駆動信号C2に基づいて設定できる。或いは、MEMSミラー112が水平角を表す水平角信号(図示せず)を出力できる場合、往路及び復路での各サンプリング水平角は、MEMSミラー112から得られる水平角信号に基づいて設定できる。尚、サンプリング水平角は、例えば、往復走査の際のMEMSミラー112の水平角の可動範囲のうちの両端部を除く範囲内に設定される。
ここで、図6乃至図10を参照して、走査方向に沿った“画素値情報間の隣接関係のずれ”の発生要因等について説明する。
図6は、走査方向に沿った画素値情報間の隣接関係のずれの要因となるサンプリング水平角間の隣接関係のずれの説明図である。図6は、サンプリング水平角間の隣接関係のずれが無い状態(即ちノミナル状態)と、サンプリング水平角間の隣接関係のずれが発生した状態とを対比で示す。サンプリング水平角間の隣接関係のずれとは、「水平方向に沿った正規のサンプリング水平角の隣接関係に対する、水平方向に沿った実際のサンプリング水平角の隣接関係のずれ」を意味する。
図6では、○内の数字は、サンプリング順を示し、○の位置は、対応するサンプリング水平角を概略的に表し、左に行くほど小さいサンプリング水平角を表す。P#(#は数字)が付された●の位置は、○の位置と同様、対応するサンプリング水平角を概略的に表し、左に行くほど小さいサンプリング水平角を表す。P9,P10,P11,P15及びP16は、それぞれ、9番目、10番目、11番目、15番目及び16番目の正規のサンプリング水平角を表す。また、P90,P100,P110,P150及びP160は、それぞれ、9番目、10番目、11番目、15番目及び16番目の実際のサンプリング水平角を表す。
上述のように、往路でのサンプリング水平角と復路でのサンプリング水平角とは、設計上、僅かにずらされる(図5参照)。従って、サンプリング水平角間の隣接関係のずれが無い状態では、往路でのサンプリング水平角と復路でのサンプリング水平角とが交互に現れる。
しかしながら、実際のサンプリング水平角は、図6に示すように、正規のサンプリング水平角(設計上のノミナルなサンプリング水平角)からずれる場合がある。即ち、実際のサンプリング水平角は、上述のようにMEMSミラー112の状態を表す電気信号(例えば水平角信号)に応じて決まるので、ノイズ等の影響を受けて、正規のサンプリング水平角からずれる場合がある。例えば、近赤外線レーザ光源114やMEMSミラー112を動作させる際のパルス(駆動信号C1、C2のパルス)の振幅変動や、水平角信号におけるノイズ等に起因して、実際のサンプリング水平角が正規のサンプリング水平角からずれる場合がある。
図6には、往路に係る実際のサンプリング水平角が、正規のサンプリング水平角よりも増加方向にずれている様子が示される。図6に示す例では、1番目と2番目のサンプリング水平角(往路)の間に、16番目のサンプリング水平角(復路)がなく、16番目のサンプリング水平角(復路)は、2番目と3番目のサンプリング水平角(往路)の間にある。また、同様に、15番目のサンプリング水平角(復路)は、3番目と4番目のサンプリング水平角(往路)の間にある。このように、図6に示す例では、往路に係る実際のサンプリング水平角は、正規のサンプリング水平角よりも1ピッチ角Δβ分だけ増加方向にずれている。
このような正規のサンプリング水平角に対する実際のサンプリング水平角の有意な角度ずれは、正規のサンプリング水平角の隣接関係に対して実際の隣接関係がずれ、以下で説明するように、画素列内の“画素値情報間の隣接関係のずれ”の原因となりうる。
例えば、図7に示すような状況を測距している場合を想定する。図7では、説明用に、グレースケールの濃さで距離を表しており、濃いほど距離が遠いことを表す(後出の図8及び図10等も同様)。物体80の表面800(Z1軸に垂直な表面)は、距離測定装置10に最も近く例えば5mの位置にある。物体81の表面801(Z1軸に垂直な表面)は、距離測定装置10に2番目に近く例えば10mの位置にある。物体802は、距離測定装置10から一番遠く例えば15mの位置にある。
図7に示す状況下で、サンプリング水平角間の隣接関係にずれがない距離情報に基づいて、各距離情報の時系列順に従って距離画像を形成すると、図8に示すような距離画像を得ることができる。図8には、説明用に、距離画像における各画素が、どのサンプリング順で得られた距離情報に基づいて生成されているかを示す点線及び○が示される。点線は、距離画像における水平方向の画素間の区切りであり、○内の数字は、サンプリング順を示し、小さい値ほど早いタイミング(時系列で先のタイミング)を表す。ここでは、説明用として、図8に示す距離画像は、水平方向に16画素(PX1〜PX16)有するものとする。尚、実際には、距離画像は、より多くの画素数である。また、実際には、距離画像は、垂直方向に複数の画素を有するので、水平方向の複数の画素列に係る各往復走査分間でも、サンプリング水平角間の隣接関係のずれの発生態様は異なり得る。例えば、ある一の画素列に係る一往復走査分においては、サンプリング水平角間の隣接関係にずれが生じないが、他の一の画素列に係る一往復走査分においては、サンプリング水平角間の隣接関係にずれが生じることもある。但し、図8では、説明用として、どの水平方向の画素列に係る往復走査分についても、サンプリング水平角間の隣接関係にずれが生じていないものとする。
サンプリング水平角間の隣接関係にずれがない状態で距離情報が得られると、水平方向の各画素PX1〜PX16に、距離情報を時系列順にそのまま(補正せずに)割り当てるだけで、図8に示すように、正しい距離画像を得ることができる。以下では、走査方向に沿った正規のサンプリング水平角の隣接関係に合わせて(補正せずに)、一往復走査分の距離情報を一列分の水平方向の各画素に割り当てる方法を、「通常割当方法」と称する。
具体的には、通常割当方法とは、以下のとおりである。通常割当方法では、時系列順での往路に係る距離情報は、左側(往路に係るサンプリング開始側)から1つおきの画素(図8では、PX1,PX3,PX5・・・)に割り当てられる。また、通常割当方法では、時系列順での復路に係る距離情報は、右側(復路に係るサンプリング開始側)から1つおきの画素(残りの画素)(図8では、PX16,PX14,PX12・・・)に割り当てられる。このように、通常割当方法は、サンプリング水平角間の隣接関係にずれがない状態で得られる距離情報を想定している方法であるので、サンプリング水平角間の隣接関係にずれがない限り、正しい距離画像が得られる割当方法となる。
他方、図7に示す状況下で、図6に示したようなサンプリング水平角間の隣接関係にずれがある場合を想定する。図9は、サンプリング水平角間の隣接関係のずれの一態様(図6に示した態様)の説明図である。図9において、○内の数字は、サンプリング順を示し、小さい値ほど早いタイミング(時系列で先のタイミング)を表す。表図内の○内の数字の位置は、対応するサンプリング順での実際のサンプリング水平角を表す。水平角β1〜β16は、正規のサンプリング水平角であり、サンプリング水平角間の隣接関係にずれが無い場合は、正規のサンプリング水平角と各サンプリング順とは、図9中の“ずれ無し”で示す対応関係となる。図9では、図9中の“ずれ有り”で示すように、サンプリング水平角間の隣接関係にずれが生じている。具体的には、一往復走査中の往路に係るサンプリング水平角と復路に係るサンプリング水平角のうちの、復路に係るサンプリング水平角だけが正規のサンプリング水平角に対して角度ずれを起こしている。復路に係るサンプリング水平角における角度ずれは、略一律であり、サンプリング水平角を変化させる際の一ピッチ角Δβ分の半分よりも大きい。例えば、10番目のサンプリング順でのサンプリング水平角は、β16であり、正規のサンプリング水平角β14に対して、β16>β14+Δβ/2(従ってβ16>β15)である。従って、復路に係るサンプリング水平角は、図9中の“ずれ有り”で示すように、往路に係るサンプリング水平角との関係で、1つずつ隣接関係がずれている。具体的には、正規の場合は、例えば16番目のサンプリング順でのサンプリング水平角は、往路に係る1番目と2番目のサンプリング水平角と隣接する隣接関係となるが、図9に示す“ずれ有り”の場合は、隣接関係がずれている。即ち、図9に示す“ずれ有り”の場合は、16番目のサンプリング水平角は、往路に係る2番目と3番目のサンプリング水平角と隣接する隣接関係となる。尚、図9では、復路に係るサンプリング水平角は、往路に係るサンプリング水平角との関係で、1つずつ隣接関係がずれているが、2つずつ隣接関係がずれる場合や、それ以上の個数ずつ隣接関係がずれる場合もあり得る。
このようなサンプリング水平角間の隣接関係にずれがある状態で得られた距離情報に基づいて、通常割当方法で距離画像を形成すると、図10に示すような距離画像が得られてしまう。尚、実際には、上述のように、水平方向の複数の画素列に係る各往復走査分間でも、サンプリング水平角間の隣接関係のずれの発生態様は異なり得る。例えば、ある一の画素列に係る一往復走査分では、第1の態様でサンプリング水平角間の隣接関係にずれが生じるが、他の一の画素列に係る一往復走査分では、第1の態様とは異なる第2の態様でサンプリング水平角間の隣接関係にずれが生じることもある。但し、図10では、説明用として、どの水平方向の画素列に係る往復走査分についても、同じ態様でサンプリング水平角間の隣接関係にずれが生じているものとする。
具体的には、通常割当方法では、図10に示すように、時系列順での復路に係る距離情報は、右側(復路に係るサンプリング開始側)から1つおきの画素(残りの画素)(図10では、PX16,PX14,PX12・・・)に割り当てられる。例えば、16番目のサンプリング水平角β4で得られた距離情報は、β3<β4<β5であるにも拘らず、画素PX3と画素PX5の間の画素PX4に割り当てられることなく、画素PX1と画素PX3の間の画素PX2に割り当てられてしまう。この結果、図10に示すような、画素列内に“画素値情報間の隣接関係のずれ”を有する距離画像が得られてしまう。尚、図10に示す距離画像は、画素列内の“画素値情報間の隣接関係のずれ”を、全ての画素列において有している。
ここで、画素列内の“画素値情報間の隣接関係のずれ”とは、次の通り定義される。ある2つのサンプリング水平角β1、β3間のサンプリング水平角β2で得られる距離情報が対応付けられる距離画像の水平方向の画素位置(X座標)をPx2とする。他方、サンプリング水平角β1、β3でそれぞれ得られる距離情報が対応付けられる距離画像の水平方向の各画素位置をそれぞれ、Px1,Px3とする。このとき、画素列内の画素値情報間の隣接関係のずれとは、Px1<Px2<Px3が成り立たない状態を表す。このような画素列内の画素値情報間の隣接関係のずれは、実際のサンプリング水平角β2が、サンプリング水平角β1、β3間ではなく、例えばサンプリング水平角β1よりも小さかったり、サンプリング水平角β3より大きかったりするときに生じる。
以上のように、実際のサンプリング水平角が正規のサンプリング水平角から有意にずれると、サンプリング水平角間の隣接関係のずれを生む。サンプリング水平角間の隣接関係のずれが生じると、通常割当方法では、上述のような画素列内の画素値情報間の隣接関係のずれを引き起こす。尚、サンプリング水平角間の隣接関係のずれは、一往復走査中の一部の期間(例えば復路に係る走査中)だけ実際のサンプリング水平角が正規のサンプリング水平角から有意にずれる場合に生じる。他方、一往復走査中の全体にわたり実際のサンプリング水平角が正規のサンプリング水平角から一律にずれる場合は、サンプリング水平角間の隣接関係のずれは生じない。
次に、図11以降を参照して、画像情報出力装置について説明する。
画像情報出力装置100は、上述した距離測定装置10から得られる距離情報に基づいて、距離画像のような画像情報を出力する。尚、画像情報出力装置100は、上述した距離測定装置10と協動してシステムを形成することができる。
画像情報出力装置100は、距離測定装置10に接続されるコンピュータの形態で実現されてもよい。画像情報出力装置100と距離測定装置10との接続は、有線による通信路、無線による通信路、又はこれらの組み合わせで実現されてよい。例えば、画像情報出力装置100が距離測定装置10に対して比較的遠隔に配置されるサーバの形態である場合、画像情報出力装置100は、ネットワークを介して距離測定装置10に接続されてもよい。この場合、ネットワークは、例えば、携帯電話の無線通信網、インターネット、World Wide Web、VPN(virtual private network)、WAN(Wide Area Network)、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他方、画像情報出力装置100が距離測定装置10に対して比較的近傍に配置される場合、無線による通信路は、近距離無線通信、ブルーツース(登録商標)、Wi−Fi(Wireless Fidelity)等により実現されてもよい。
図11は、画像情報出力装置100のハードウェア構成の一例を示す図である。
図11に示す例では、画像情報出力装置100は、制御部101、主記憶部102、補助記憶部103、ドライブ装置104、ネットワークI/F部106、入力部107を含む。
制御部101は、主記憶部102や補助記憶部103に記憶されたプログラムを実行する演算装置であり、入力部107や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。
主記憶部102は、ROM(Read Only Memory)やRAM(Random Access Memory)などである。主記憶部102は、制御部101が実行する基本ソフトウェアであるOS(Operating System)やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部103は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
ドライブ装置104は、記録媒体105、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
記録媒体105は、所定のプログラムを格納する。この記録媒体105に格納されたプログラムは、ドライブ装置104を介して画像情報出力装置100にインストールされる。インストールされた所定のプログラムは、画像情報出力装置100により実行可能となる。
ネットワークI/F部106は、有線及び/又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器(例えば、距離測定装置10)と画像情報出力装置100とのインターフェースである。
入力部107は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやタッチパッド等を有する。
尚、図11に示す例において、以下で説明する各種処理等は、プログラムを画像情報出力装置100に実行させることで実現することができる。また、プログラムを記録媒体105に記録し、このプログラムが記録された記録媒体105を画像情報出力装置100に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体105は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体105は、CD(Compact Disc)−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体105には、搬送波は含まれない。
図12は、画像情報出力装置100の機能ブロックの一例を示す図である。
画像情報出力装置100は、距離情報取得部150(画素値情報取得部の一例)と、評価値算出部151(算出部の一例)と、補正情報生成部152とを含む。距離情報取得部150、評価値算出部151、及び補正情報生成部152は、それぞれ、図11に示した制御部101が記憶装置(例えば主記憶部102)内に1つ以上のプログラムを実行することで実現できる。
距離情報取得部150は、距離測定装置10から、例えばネットワークI/F部106を介して距離情報を取得する。尚、距離情報取得部150は、距離測定装置10からの距離情報を、記録媒体105又はドライブ装置104を介して取得してもよい。この場合、記録媒体105又はドライブ装置104には、距離測定装置10からの距離情報が事前に記憶される。
評価値算出部151は、一往復走査分ごとに、上述の走査方向に沿った“画素値情報間の隣接関係のずれ”に関する評価値を算出する。評価値は、水平方向に沿った複数のサンプリング水平角間の隣接関係と、距離画像における水平方向での距離情報の隣接関係との整合性に関する。尚、水平方向に沿った複数の実際のサンプリング水平角間の隣接関係と、距離画像における水平方向での距離情報の隣接関係との間に整合性があれば、上述の走査方向に沿った“画素値情報間の隣接関係のずれ”は生じない。
具体的には、評価値算出部151は、一往復走査分の距離情報を所定の割当方法で距離画像の各画素に割り当てた場合の評価値を算出する。評価値は、割当の結果として得られる距離画像において、画素列内の“画素値情報間の隣接関係のずれ”の有無を表す。例えば、評価値は、画素列内の“画素値情報間の隣接関係のずれ”の度合いが大きいほど大きくなるパラメータであってもよい。この場合、例えば最も小さい評価値は、画素列内の“画素値情報間の隣接関係のずれ”が無いことを表すものとして扱われてよい。或いは、逆に、評価値は、割当の結果として得られる距離画像において、画素列内の“画素値情報間の隣接関係のずれ”の度合いが大きいほど小さくなるパラメータであってもよい。この場合、例えば最も大きい評価値は、画素列内の“画素値情報間の隣接関係のずれ”が無いことを表すものとして扱われてよい。評価値は、割当の結果として得られる距離画像において、画素列内の“画素値情報間の隣接関係のずれ”の有無を表すことができる値であれば、任意である。
ここで、走査方向に沿った“画素値情報間の隣接関係のずれ”が生じると、上述したように、時系列順での往路に係る距離情報と、時系列順に対し反転した順での復路に係る距離情報との間の隣接関係が、正規の隣接関係とは異なることになる。その結果得られる距離画像においては、水平方向に沿った距離情報の差の変化(増減など)の仕方に特徴が現れる。例えば、図10に示した距離画像では、画素PX1と画素PX3の間の画素PX2に起因して、画素PX2に係る縦筋(水平方向に沿った2つのエッジの連続)が現れる。また、画素PX5と画素PX7の間の画素PX6に起因して、画素PX6に係る縦筋が現れる。また、画素PX11と画素PX13の間の画素PX12に起因して、画素PX12に係る縦筋が現れる。かかる縦筋は、画素列内の“画素値情報間の隣接関係のずれ”がない距離画像においては相対的に生じ難い(図8参照)。従って、隣り合う2つの距離情報(往路と復路のそれぞれに係る距離情報)間の差に関する評価値は、画素列内の“画素値情報間の隣接関係のずれ”の有無を表す評価値として有効に機能できることが分かる。
所定の割当方法は、時系列順での往路に係る距離情報と、時系列順に対し反転した順での復路に係る距離情報とを、略交互に順に、距離画像の一列分におけるPX1〜PX16に向かう方向に割り当てる方法である。“略交互に”とは、後述のように“割当方法の変更に伴うずれ”の結果として、距離画像の水平方向の端部においてのみ“交互”でなくなる部分を含む場合を許容する趣旨である。評価値算出部151は、複数の所定の割当方法毎に、評価値を算出する。
複数の所定の割当方法は、例えば、上述した通常割当方法と、通常割当方法に対して往路又は復路に係る距離情報が割り当てられる画素が、距離画像の水平方向の任意の一方側にずれる割当方法(以下、「補正割当方法」と称する)と、を含む。
図13は、補正割当方法の説明図である。図13には、通常割当方法と、異なる2つの補正割当方法が示される。図13において、“割当対象の画素”とは、距離画像の一列分における画素PX1〜PX16を示し、○内の数字は、サンプリング順を示す。表図内の○内の数字の位置は、対応するサンプリング順に係る距離情報が、どの“割当対象の画素”に割り当てられるかを表す。例えば、1番目の補正割当方法(No.1)では、13番目のサンプリング順に係る距離情報は、画素PX6に割り当てられることになる。2番目の補正割当方法(No.2)では、13番目のサンプリング順に係る距離情報は、画素PX10に割り当てられることになる。尚、通常割当方法では、13番目のサンプリング順に係る距離情報は、画素PX8に割り当てられることになる。
図13に示す例では、1番目の補正割当方法(No.1)では、通常割当方法に対して、復路に係る距離情報が割り当てられる画素が、距離画像の水平方向の左側に1つだけずらされる。また、2番目の補正割当方法(No.2)では、通常割当方法に対して、復路に係る距離情報が割り当てられる画素が、距離画像の水平方向の右側に1つだけずらされる。尚、通常割当方法に対して割り当てをずらした結果として、復路に係る距離情報のうちの、時系列順で最初又は最後の1つ以上の距離情報は、割り当てられる画素が無くなるので、無視されることになる。例えば、1番目の補正割当方法(No.1)では、16番目のサンプリング順に係る距離情報は、割り当てられる画素が無くなり、無視されることになる。また、通常割当方法に対して割り当てをずらした結果として、距離画像の一方又は他方の端部の画素は、割り当てられる距離情報が無くなるので、適切な所定の距離情報(図13の“*”参照)が割り当てられてよい。所定の距離情報は、隣接する往路に係る距離情報に基づいて生成されてもよい。例えば、2番目の補正割当方法(No.2)では、距離画像の左端の画素PX2は、割り当てられる距離情報が無くなるので、所定の距離情報として、画素PX1又は画素PX3に割り当てられた距離情報若しくはその平均値等が割り当てられてもよい。或いは、所定の距離情報としては、ずらす前の元の距離情報がそのまま用いられてもよい。例えば、1番目の補正割当方法(No.1)では、距離画像の右端の画素PX16には、所定の距離情報として、ずらす前の距離情報(9番目のサンプリング順に係る距離情報)が割り当てられたままにされる。
尚、図13に示す例では、補正割当方法は、3番目の補正割当方法(No.3)も示される。3番目の補正割当方法(No.3)では、通常割当方法に対して、復路に係る距離情報が割り当てられる画素が、距離画像の水平方向の左側に2つだけずらされる。尚、図13に示す例では、補正割当方法は、3つだけ例示されているが、1つだけ又は2つでもよいし、4つ以上設定されてもよい。
以下では、1番目の補正割当方法(No.1)や2番目の補正割当方法(No.2)のように、通常割当方法に対して、復路に係る距離情報が割り当てられる画素を1つだけずらすことを、“動かし回数が1回である”とも表現する。従って、3番目の補正割当方法(No.3)は、通常割当方法に対して、復路に係る距離情報が割り当てられる画素が2つだけずらされるので、“動かし回数が2回である”となる。このように、“動かし回数”とは、通常割当方法に対して、復路に係る距離情報が割り当てられる画素を一定方向に1つずつずらす際の、ずらす回数に対応する。
評価値算出部151は、上述のような複数の所定の割当方法毎に、評価値を算出する。ここで、所定の割当方法が異なると、時系列順での往路に係る距離情報と、時系列順に対し反転した順での復路に係る距離情報との間の隣接関係が変化する。具体的には、通常割当方法では、例えば、7番目のサンプリング順(往路)に係る距離情報は、11番目と10番目のサンプリング順(復路)に係る距離情報と隣接する隣接関係となるが、補正割当方法では、異なる隣接関係となる。例えば、1番目の補正割当方法(No.1)では、7番目のサンプリング順(往路)に係る距離情報は、10番目と9番目のサンプリング順(復路)に係る距離情報と隣接する隣接関係となる。また、2番目の補正割当方法(No.1)では、7番目のサンプリング順(往路)に係る距離情報は、12番目と11番目のサンプリング順(復路)に係る距離情報と隣接する隣接関係となる。
このようにして時系列順での往路に係る距離情報と、時系列順に対し反転した順での復路に係る距離情報との間の隣接関係を変化させることで、画素列内の“画素値情報間の隣接関係のずれ”の可能性又は度合いを精度良く検出できる。尚、評価値算出部151は、通常割当方法や補正割当方法に係る評価値を算出する際、実際に各割当方法に係る距離画像の一列分を生成する必要は必ずしもなく、各割当方法に係る距離画像の一列分を仮想的に再現した上で評価値を算出すればよい。
補正情報生成部152は、一往復走査分ごとに、評価値算出部151により算出される複数の割当方法のそれぞれに係る各評価値に基づいて、各評価値を比較することで、一往復走査分の距離情報に関する補正情報を生成する。補正情報は、最も良好な評価値に基づいて生成される。具体的には、補正情報は、画素列内の“画素値情報間の隣接関係のずれ”が無いことを表す評価値に基づいて生成される。例えば、評価値が、画素列内の“画素値情報間の隣接関係のずれ”の度合いが大きいほど大きくなるパラメータである場合、補正情報は、各評価値のうちの、最小となる評価値に基づいて生成される。
補正情報は、画素列内の“画素値情報間の隣接関係のずれ”が無い割当方法(画素値情報の並び順)を直接的に又は間接的に表す情報であってもよい。尚、画素列内の“画素値情報間の隣接関係のずれ”が無い割当方法を間接的に表す補正情報としては、通常割当方法で割り当てを行っても“画素値情報間の隣接関係のずれ”が生じないように改変された距離情報であってもよい。改変された距離情報としては、例えば、図9に示す例では、次の通り生成されてもよい。まず、一往復走査分における元の距離情報から、9番目のサンプリング順に係る距離情報を削除するとともに、復路に係る他の距離情報のサンプリング順を繰り上げる。そして、16番目のサンプリング順に係る距離情報として、適当な距離情報(例えば、1番目や2番目のサンプリング順に係る距離情報と同じ距離情報)を与える。
或いは、補正情報は、“画素値情報間の隣接関係のずれ”が無い割当方法で実際に割り当てを行うことで得られる距離画像自体であってもよい。
以上のように、本実施例によれば、画素値情報間の隣接関係にずれのない距離画像を得ることが可能となる。具体的には、本実施例によれば、複数の所定の割当方法毎に、画素列内の“画素値情報間の隣接関係のずれ”の有無を表す評価値が算出される。このとき、“画素値情報間の隣接関係のずれ”が無いことを表す評価値が導出される割当方法は、“画素値情報間の隣接関係のずれ”が生じないような割当方法である。従って、かかる“画素値情報間の隣接関係のずれ”が生じない割当方法を表す補正情報に基づいて、画素値情報間の隣接関係にずれのない距離画像を得ることが可能となる。
尚、本実施例では、画素値情報として、距離情報が用いられるが、これに限られない。例えば、距離情報に代えて、受光ユニット12で受光された光量等に基づく画素値情報(例えば光量や強度の情報)が利用されてもよい。
次に、図14以降を参照して、画像情報出力装置100のいくつかの動作例について分けて説明する。
[動作例1]
図14は、動作例1による画像情報出力装置100の処理を示すフローチャートである。図14に示す処理は、距離測定装置10において1フレーム分の距離情報が生成される毎に、繰り返し実行されてよい。尚、以下では、距離測定装置10の動作中に画像情報出力装置100がリアルタイムで動作する場合を説明するが、画像情報出力装置100は、距離測定装置10が過去に生成した距離情報に基づいて、オフラインで動作することもできる。
ステップS140では、画像情報出力装置100の距離情報取得部150は、直近の1フレーム分の距離情報を取得する。
ステップS142では、画像情報出力装置100の評価値算出部151は、ステップS140で得た1フレーム分の距離情報に基づいて、通常割当方法で距離画像(1フレーム)を生成する。通常割当方法は、上述した通りである(図8や図13等参照)。
ステップS144では、評価値算出部151は、ステップS142で得た距離画像に基づいて、上述した評価値を得るための評価値算出処理を行う。評価値算出処理の例は、図16を参照して後述する。尚、図14では、一例として、画素列内の“画素値情報間の隣接関係のずれ”が無いときに最小値となるような評価値が用いられる。
図15は、ある一のフレームに対して得られる評価値の算出結果を示す表図である。図15に示すように、ステップS144では、1フレームの距離画像に対して、水平方向の一画素列ごとに、且つ、複数の割当方法のそれぞれごとに、評価値が算出される。図15において、a1〜a9は、評価値の算出結果を示す。例えば、図15に示す例では、1列の画素列に対する1番目(後述の動かし回数M=−k)の割当方法では、評価値の算出結果が“a1”であることを示す。
ステップS146では、画像情報出力装置100の補正情報生成部152は、ステップS144で得た評価値の算出結果に基づいて、画素列ごとに、最小の評価値を特定する。例えば、図15に示す例では、1列の画素列に対しては、評価値の算出結果が、“a1”、“a2”、・・・、“a3”であり、このうちの最小の評価値が特定される。
ステップS148では、補正情報生成部152は、画素列ごとに、ステップS146で得た最小の評価値に基づいて、補正情報を生成する。図14では、補正情報は、最小の評価値が算出された割当方法を特定できる情報であり、最小の評価値をもたらす後述の動かし回数Mを表す情報である。
ステップS149では、補正情報生成部152は、ステップS148で得た1フレーム分の全画素列の補正情報に基づいて、ステップS142で得た距離画像を補正する。具体的には、補正情報生成部152は、画素列ごとに、動かし回数Mが0以外の補正情報が得られた画素列については、補正情報に基づいて補正する。そして、補正情報生成部152は、補正後の距離画像(補正情報の他の形態)を出力する。尚、補正後の距離画像は、最小の評価値が算出された割当方法で割り当てられた結果得られる距離画像自体である。
尚、図14に示す処理では、ステップS149が実行されるが、ステップS149は、別のタイミングや、別の装置で実行されてもよい。また、図14に示す処理では、ステップS142では、評価値算出部151は、通常割当方法で距離画像を生成するが、これに限られない。ステップS142では、評価値算出部151は、上述の任意の一の補正割当方法で距離画像を生成してもよい。ステップS142で生成された距離画像は、最終的にはステップS149で補正されることになるためである。
図16は、ステップS144で実行される評価値算出処理の一例を示すフローチャートである。
ステップS1600では、評価値算出部151は、動かし回数Mに対する最大回数を最大回数“k”に設定するともに、“処理対象の画素列”の列番号mを“1”にセットする。動かし回数Mは、上述のように、ステップS142で生成された距離画像に対して、復路に係る距離情報が割り当てられる画素を、距離画像の水平方向の左側又は右側に1つずつずらす際の、ずらす回数である。動かし回数M=0のときは、通常割当方法となり、動かし回数Mが1以上のときは、補正割当方法となる。最大回数“k”は、1以上の任意の整数であり、ユーザにより適宜変更されてもよい。図16では、最大回数“k”は、例えばk=2であってよい。
ステップS1602では、評価値算出部151は、ステップS142で生成された距離画像からm列目の画素列(水平方向の画素列)を、“処理対象の画素列”として取り出す。例えば、評価値算出部151は、距離画像の垂直方向の上側からm列目の画素列を取り出すこととしてよい。
ステップS1604では、評価値算出部151は、動かし回数Mを初期値“−k”に設定する。即ち、M=−kである。
ステップS1606では、評価値算出部151は、動かし回数Mが最大回数k以下であるか否かを判定する。動かし回数Mが最大回数k以下である場合は、ステップS1608に進み、それ以外の場合は、ステップS1630に進む。
ステップS1608では、評価値算出部151は、動かし回数Mが0であるか否かを判定する。動かし回数Mが0である場合は、ステップS1616に進み、それ以外の場合は、ステップS1610に進む。
ステップS1610では、評価値算出部151は、動かし回数Mが負であるか否かを判定する。動かし回数Mが負である場合は、ステップS1612であり、それ以外の場合(即ち動かし回数Mが正である場合)は、ステップS1614に進む。
ステップS1612では、評価値算出部151は、ステップS142で生成された距離画像に対して、復路に係る距離情報を左側に1つずつ、Mの絶対値の回数ずらす。例えばM=−1のときは、図13に示した補正割当方法(No.1)に対応する。また、M=−2のときは、図13に示した補正割当方法(No.3)に対応する。
ステップS1614では、評価値算出部151は、ステップS142で生成された距離画像に対して、復路に係る距離情報を右側に1つずつ、M回ずらす。例えばM=1のときは、図13に示した補正割当方法(No.2)に対応する。
ステップS1616では、評価値算出部151は、合計値を初期値“0”に設定する。合計値は、後述するように、最終的に評価値となる。
ステップS1618では、評価値算出部151は、Nを“1”に設定する。
ステップS1620では、評価値算出部151は、Nが距離画像の水平方向の画素数Nmaxよりも小さいか否かを判定する。距離画像の水平方向の画素数Nmaxは、規定値である。Nが距離画像の水平方向の画素数Nmaxよりも小さい場合は、ステップS1622に進み、それ以外の場合は、ステップS1626に進む。
ステップS1622では、評価値算出部151は、距離画像における左側から第N番目の画素の距離情報Dと第(N+1)番目の画素の距離情報DN+1の差分ΔD(=DN+1−D)の絶対値|ΔD|を算出する。そして、評価値算出部151は、算出した絶対値|ΔD|を合計値に加算することで、合計値を更新する。
ステップS1624では、評価値算出部151は、Nを“1”だけインクリメントして、ステップS1620からの処理を繰り返す。この結果、合計値Smは、最終的には以下の通りとなる。
Figure 2018081029
ステップS1626では、評価値算出部151は、最終的な合計値Smを、動かし回数M、及び、現在の処理対象の画素列の表す列番号mに対応付けて記憶する。ステップS1626で記憶される合計値Smは、m番目の画素列に係る評価値であって、動かし回数Mに係る割当方法に対する評価値となる。
ステップS1628では、評価値算出部151は、動かし回数Mを“1”だけインクリメントする。
ステップS1630では、評価値算出部151は、列番号mが、距離画像の垂直方向の画素数NNmaxよりも小さいか否かを判定する。距離画像の垂直方向の画素数NNmaxは、規定値である。列番号mが距離画像の垂直方向の画素数NNmaxよりも小さい場合は、ステップS1632を経てステップS1602に戻り、それ以外の場合は、未処理の画素列が無いと判断して、終了となる。
ステップS1632では、評価値算出部151は、列番号mを“1”だけインクリメントする。
動作例1によれば、画素列内の“画素値情報間の隣接関係のずれ”に関する評価値として、数1の合計値が算出される。即ち、処理対象の画素列において隣接する2つの画素に係る距離情報を一のペアとした場合、評価値算出部151は、全てのペアに基づく差の絶対値の合計値を、評価値として算出する。そして、評価値算出部151は、各画素列のそれぞれについて、動かし回数Mを変化させながら、評価値を算出する。従って、各画素列のそれぞれについて、動かし回数Mの正負のそれぞれの側でk個の評価値と、動かし回数M=0のときの1個の評価値と、計2k+1個の評価値が得られる。
ここで、動作例1によれば、距離画像において、画素値情報間の隣接関係のずれが起きている場合は、水平方向に隣接する画素間の距離情報の差が大きい箇所が多くなることに着目し、評価値が算出されている。具体的には、距離画像の各画素列について、復路に係る各距離情報を左又は右に1つずつ動かす回数を変えながら、各画素と隣接する画素との距離情報の差の絶対値の合計値が、評価値と算出される。
これにより、動作例1によれば、画素列ごとに、各動かし回数に係る各評価値に基づいて、“画素値情報間の隣接関係のずれ”を無くすことが可能な動かし回数Mを精度良く特定でき、精度の高い補正情報を得ることができる。
図17A乃至図17C、及び図18は、動作例1の効果の説明図である。図17A乃至図17Cでは、図7の状況で図9のサンプリング水平角間の隣接関係にずれがあるときに通常割当方法で得られる図10の距離画像に関して、動作例1で得られる補正情報の効果が説明される。
図17Aは、動かし回数M=0のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=0のときは、通常割当方法に対応し、従って、図17Aに示す距離画像の画素列は、図10に示した距離画像の一画素列に対応する。この場合、図17Aに示すように、合計値Sm=10+10+10+0+5+5+5+0+0+0+5+5+5+0+0=60となる。
図17Bは、動かし回数M=−1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=−1のときは、図13に示した補正割当方法(No.1)に対応する。このとき、図17Bに示すように、合計値Sm=10+10+5+5+5+5+5+0+5+5+5+5+5+0+0=70となる。
図17Cは、動かし回数M=1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=1のときは、図13に示した補正割当方法(No.2)に対応する。このとき、図17Cに示すように、合計値Sm=0+0+10+0+0+0+5+0+0+0+0+0+5+0+0=20となる。尚、動かし回数M=2又は−2のときは、図示しないが、合計値Smは20を下回ることがない。
従って、図17A乃至図17Cに示す例では、合計値Sm=20が最も小さいため、補正情報生成部152は、合計値Sm=20に基づいて補正情報を生成することになる。例えば、補正情報生成部152は、合計値Sm=20は動かし回数M=1のときに得られることから、動かし回数M=1を、補正情報として生成する。この場合、動かし回数M=1にしたがって、図10に示した距離画像(通常割当方法で生成された距離画像)を補正することで、図18に示す距離画像が得られる。図18は、図7の状況で図9のサンプリング水平角間の隣接関係のずれがあるときに通常割当方法で得られる距離画像に対して、補正情報に基づいて補正された距離画像を示す。図10及び図18を対比すると明らかなように、図10に示した距離画像で生じている“画素値情報間の隣接関係のずれ”が、図18に示す距離画像で生じていない。これは、通常割当方法では生じる画素値情報間の隣接関係のずれを、適切に補正できていることを表す。このようにして、上述した動作例1によれば、通常割当方法では生じる画素列内の画素値情報間の隣接関係のずれを、適切に補正でき、この結果、画素値情報間の隣接関係にずれのない距離画像を得ることが可能となる。
尚、上述した動作例1では、図16において、評価値算出部151は、ステップS1618では、Nを“1”に設定し、ステップS1620では、Nが距離画像の水平方向の画素数Nmaxよりも小さいか否かを判定するが、これに限られない。例えば、評価値算出部151は、ステップS1618では、Nを所定値Np1に設定し、ステップS1620では、Nが、距離画像の水平方向の画素数Nmaxから所定値Np2を引いた値よりも小さいかか否かを判定してもよい。所定値Np1及び所定値Np2は、任意である、例えば、往路と復路のそれぞれに係る距離情報が交互に並ぶ範囲だけで評価値が算出されるように、動かし回数Mに応じて可変されてもよい。例えば、動かし回数Mが負の値の場合、所定値Np1=1であり、所定値Np2=−2M−1であってよい。また、動かし回数Mが正の値の場合、所定値Np1=2M+1であり、所定値Np2=0であってよい。これは、後述する動作例2及び動作例3においても同様である。
また、上述した動作例1では、評価値算出部151は、数1に基づく合計値Smを評価値として算出しているが、これに限られない。例えば、評価値算出部151は、差分ΔDが所定値Dth以上となる個所の数を、評価値として算出してもよい。所定値Dthは、画素値情報間の隣接関係のずれが起きている場合に取り得る、水平方向に隣接する画素間の距離情報の差に基づいて、適合されてよい。
また、上述した動作例1では、動かし回数Mの正負のそれぞれの側でk個の評価値を算出しているが、これに限られない。例えば、動かし回数Mの正負のそれぞれの側でk個の評価値を算出することに代えて、動かし回数Mの正負のいずれか一方の側のみでk個の評価値を算出してもよい。これは、後述する動作例2や動作例3においても同様である。
[動作例2]
動作例2は、上述した動作例1に対して、ステップS144で実行される評価値算出処理が異なるだけである。以下では、動作例2による評価値算出処理について説明する。
図19は、動作例2においてステップS144で実行される評価値算出処理の一例を示すフローチャートである。
図19に示す処理において、図16に示した処理と同じである部分は、同一のステップ番号を付して説明を省略する。図19に示す処理は、図16に示した処理に対して、ステップS1616とステップS1618の間に、ステップS1900が追加され、ステップS1622に代えて、ステップS1902乃至ステップS1908が設定される点が異なる。尚、ステップS1900は、ステップS1618とステップS1620の間などの他の個所に配置されてもよい。
ステップS1900では、評価値算出部151は、直前値を“0”に設定する。
ステップS1902では、評価値算出部151は、距離画像における左側から第N番目の画素の距離情報Dと第(N+1)番目の画素の距離情報DN+1の差分ΔD(=DN+1−D)を算出する。
ステップS1904では、評価値算出部151は、直前値が0でなく、且つ、直前値とステップS1902で得た差分ΔDの符号が正負で反対であるか否かを判定する。例えば、直前値が負の値であり、ステップS1902で得た差分ΔDの符号が正であるとき、判定結果が“YES”となる。また、直前値が正の値であり、ステップS1902で得た差分ΔDの符号が負であるとき、判定結果が“YES”となる。他方、直前値が0の場合や、ステップS1902で得た差分ΔDが0の場合、判定結果が“NO”となる。また、直前値が0でなく、ステップS1902で得た差分ΔDが0でない場合でも、直前値とステップS1902で得た差分ΔDが共に正の値又は負の値である場合は、判定結果が“NO”となる。判定結果が“YES”の場合は、ステップS1906に進み、それ以外の場合は、ステップS1908に進む。
ステップS1906では、評価値算出部151は、ステップS1902で得た差分ΔDの絶対値|ΔD|を合計値に加算することで、合計値を更新する。
ステップS1908では、評価値算出部151は、直前値を、ステップS1902で得た差分ΔDに設定(更新)する。直前値=差分ΔDである。
このようにして、ステップS1908及びステップS1624を経て、ステップS1620からの処理が繰り返される。この結果、動作例2では、合計値Smは、最終的には以下の通りとなる。
Figure 2018081029
但し、数2において、Nが2以上のとき、|CN+1−C|は、以下の条件が満たされた場合に、|CN+1−C|=|DN+1−D|となる。
条件:(DN+1−D)×(D−DN−1)<0
他方、この条件が満たされない場合、又はN=1の場合は、数2において、|CN+1−C|=0である。
動作例2によれば、画素列内の“画素値情報間の隣接関係のずれ”に関する評価値として、数2の合計値が算出される。即ち、処理対象の画素列において隣接する2つの画素に係る距離情報を一のペアとした場合、評価値算出部151は、各ペアの差分の正負の符号が変化する個所における差分の絶対値の合計値を、評価値として算出する。そして、評価値算出部151は、各画素列のそれぞれについて、動かし回数Mを変化させながら、評価値を算出する。従って、各画素列のそれぞれについて、動かし回数Mの正負のそれぞれの側でk個の評価値と、動かし回数M=0のときの1個の評価値と、計2k+1個の評価値が得られる。
ここで、距離画像において、画素値情報間の隣接関係のずれが起きている場合は、ある第N番画素と右隣の第(N+1)番画素との差分ΔDに対し、第(N+1)番画素と右隣の第(N+2)番画素との差分ΔDN+1が逆の符号の箇所が多くなる。動作例2によれば、これに着目し、各ペアの差分の正負の符号が変化する個所における差分の絶対値だけを合計して、評価値が算出されている。
これにより、動作例2によれば、画素列ごとに、異なる動かし回数に係る各評価値に基づいて、“画素値情報間の隣接関係のずれ”を無くすことが可能な動かし回数Mを精度良く特定でき、精度の高い補正情報を得ることができる。
図20A乃至図20Cは、動作例2の効果の説明図である。図20A乃至図20Cでは、図7の状況で図9のサンプリング水平角間の隣接関係のずれがあるときに通常割当方法で得られる図10の距離画像に関して、動作例2で得られる補正情報の効果が説明される。
図20Aは、動かし回数M=0のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=0のときは、通常割当方法に対応し、従って、図20Aに示す距離画像の画素列は、図10に示した距離画像の一画素列に対応する。この場合、図20Aに示すように、合計値Sm=0+10+10+0+0+5+5+0+0+0+0+5+5+0+0=40となる。
図20Bは、動かし回数M=−1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=−1のときは、図13に示した補正割当方法(No.1)に対応する。このとき、図20Bに示すように、合計値Sm=0+10+5+5+5+5+5+0+0+5+5+5+5+0+0=55となる。
図20Cは、動かし回数M=1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=1のときは、図13に示した補正割当方法(No.2)に対応する。このとき、図20Cに示すように、合計値Sm=0+0+0+0+0+0+0+0+0+0+0+0+0+0+0=0となる。尚、動かし回数M=2又は−2のときは、図示しないが、合計値Smは0とならない。
従って、図20A乃至図20Cに示す例では、合計値Sm=0が最も小さいため、補正情報生成部152は、合計値Sm=0に基づいて補正情報を生成することになる。例えば、補正情報生成部152は、合計値Sm=0は動かし回数M=1のときに得られることから、動かし回数M=1を、補正情報として生成する。この場合、動かし回数M=1にしたがって、図10に示した距離画像(通常割当方法で生成された距離画像)を補正することで、図18に示した距離画像が得られる。このようにして、上述した動作例2によれば、上述した動作例1と同様、通常割当方法では生じる画素列内の画素値情報間の隣接関係のずれを、適切に補正でき、この結果、画素値情報間の隣接関係にずれのない距離画像を得ることが可能となる。
尚、上述した動作例2では、図19において、ステップS1906では、評価値算出部151は、ステップS1902で得た差分ΔDの絶対値|ΔD|を合計値に加算することで、合計値を更新するが、これに限られない。例えば、ステップS1906では、評価値算出部151は、ステップS1902で得た差分ΔDの絶対値|ΔD|に代えて、直前値を合計値に加算することで、合計値を更新してもよい。これは、後述する動作例3においても同様である。
また、上述した動作例2では、評価値算出部151は、数2に基づく合計値Smを評価値として算出しているが、これに限られない。例えば、評価値算出部151は、第N番画素と右隣の第(N+1)番画素との差分ΔDに対し、第(N+1)番画素と右隣の第(N+2)番画素との差分ΔDN+1が逆の符号の箇所の数を、評価値として算出してもよい。
[動作例3]
動作例3は、上述した動作例1に対して、ステップS144で実行される評価値算出処理が異なるだけである。以下では、動作例3による評価値算出処理について説明する。
図21は、動作例3においてステップS144で実行される評価値算出処理の一例を示すフローチャートである。
図21に示す処理において、上述した動作例2に関する図19に示した処理と同じである部分は、同一のステップ番号を付して説明を省略する。図21に示す処理は、図19に示した処理に対して、ステップS1904とステップS1906の間に、ステップS2100で追加された点が異なる。
ステップS2100は、ステップS1904の判定結果が“YES”の場合に実行される。
ステップS2100では、評価値算出部151は、直前値の絶対値とステップS1902で得た差分ΔDの絶対値との差の絶対値が所定閾値Th以下であるか否かを判定する。所定閾値Thは、直前値の絶対値と差分ΔDの絶対値とが近い値であることを判定するために閾値であり、適合値である。例えば、所定閾値Thは、同一の対象物に対して、隣接する2つのサンプリング水平角で得られる距離情報の差の取り得る範囲に応じて設定される。判定結果が“YES”の場合は、ステップS1906に進み、それ以外の場合は、ステップS1908に進む。
このようにして、ステップS1908及びステップS1624を経て、ステップS1620からの処理が繰り返される。この結果、動作例3では、合計値Smは、最終的には以下の通りとなる。
Figure 2018081029
但し、数3において、Nが2以上のとき、|CN+1−C|は、以下の条件が満たされた場合に、|CN+1−C|=|DN+1−D|となる。
条件:(DN+1−D)×(D−DN−1)<0、かつ、−Th≦|DN+1−D|−|D−DN−1|≦Th
他方、この条件が満たされない場合、又はN=1の場合は、数3において、|CN+1−C|=0である。
動作例3によれば、画素列内の“画素値情報間の隣接関係のずれ”に関する評価値として、数3の合計値が算出される。即ち、処理対象の画素列において隣接する2つの画素に係る距離情報を一のペアとした場合、評価値算出部151は、各ペアの差分の正負の符号が変化するかつ差分の絶対値が近い個所における差分の絶対値の合計値を、評価値として算出する。そして、評価値算出部151は、各画素列のそれぞれについて、動かし回数Mを変化させながら、評価値を算出する。従って、各画素列のそれぞれについて、動かし回数Mの正負のそれぞれの側でk個の評価値と、動かし回数M=0のときの1個の評価値と、計2k+1個の評価値が得られる。
ここで、距離画像において、画素値情報間の隣接関係のずれが起きている場合は、ある第N番画素と右隣の第(N+1)番画素との差分ΔDに対し、第(N+1)番画素と右隣の第(N+2)番画素との差分ΔDN+1が逆の符号となりかつ差分の絶対値が近い値となる箇所が多くなる。動作例3によれば、これに着目し、各ペアの差分の正負の符号が変化しかつ差分の絶対値が近い値となる箇所における差分の絶対値だけを合計して、評価値が算出されている。
これにより、動作例3によれば、画素列ごとに、異なる動かし回数に係る各評価値に基づいて、“画素値情報間の隣接関係のずれ”を無くすことが可能な動かし回数Mを精度良く特定でき、精度の高い補正情報を得ることができる。
図22A乃至図22Cは、動作例3の効果の説明図である。図22A乃至図22Cでは、図7の状況で図9のサンプリング水平角間の隣接関係のずれがあるときに通常割当方法で得られる図10の距離画像に関して、動作例3で得られる補正情報の効果が説明される。
図22Aは、動かし回数M=0のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=0のときは、通常割当方法に対応し、従って、図22Aに示す距離画像の画素列は、図10に示した距離画像の一画素列に対応する。この場合、図22Aに示すように、合計値Sm=0+10+10+0+0+5+5+0+0+0+0+5+5+0+0=40となる。
図22Bは、動かし回数M=−1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=−1のときは、図13に示した補正割当方法(No.1)に対応する。このとき、図22Bに示すように、合計値Sm=0+10+0+0+5+5+5+0+0+5+5+5+5+0+0=45となる。
図22Cは、動かし回数M=1のときの距離画像に関する図であり、ある画素列における距離情報と、該画素列に係る合計値Smとを模式的に示す。動かし回数M=1のときは、図13に示した補正割当方法(No.2)に対応する。このとき、図22Cに示すように、合計値Sm=0+0+0+0+0+0+0+0+0+0+0+0+0+0+0=0となる。尚、動かし回数M=2又は−2のときは、図示しないが、合計値Smは0にならない。
従って、図22A乃至図22Cに示す例では、合計値Sm=0が最も小さいため、補正情報生成部152は、合計値Sm=0に基づいて補正情報を生成することになる。例えば、補正情報生成部152は、合計値Sm=0は動かし回数M=1のときに得られることから、動かし回数M=1を、補正情報として生成する。この場合、動かし回数M=1にしたがって、図10に示した距離画像(通常割当方法で生成された距離画像)を補正することで、図18に示した距離画像が得られる。このようにして、上述した動作例3によれば、上述した動作例1と同様、通常割当方法では生じる画素列内の画素値情報間の隣接関係のずれを、適切に補正でき、この結果、画素値情報間の隣接関係にずれのない距離画像を得ることが可能となる。
尚、上述した動作例3では、評価値算出部151は、数3に基づく合計値Smを評価値として算出しているが、これに限られない。例えば、評価値算出部151は、第N番画素と右隣の第(N+1)番画素との差分ΔDに対し、第(N+1)番画素と右隣の第(N+2)番画素との差分ΔDN+1が逆の符号となりかつ差分の絶対値が近い値となる箇所の数を、評価値として算出してもよい。
[動作例4]
図23は、動作例4による画像情報出力装置100の処理を示すフローチャートである。
図23に示す処理において、上述した動作例1による図14に示した処理と同じである部分は、同一のステップ番号を付して説明を省略する。図23に示す処理は、図14に示した処理に対して、ステップS149に代えて、ステップS150が設定される点が異なる。尚、以下の動作例4では、評価値算出処理は、任意であり、上述した動作例1による評価値算出処理に代えて、上述した動作例2及び動作例3のいずれかによる評価値算出処理が用いられてもよい。
ステップS150では、補正情報生成部152は、ステップS148で得た補正情報に基づいて、補正情報の補正処理を行う。補正情報の補正処理は、図24を参照して詳説する。
図24は、ステップS150で実行される補正情報の補正処理の一例を示すフローチャートである。
ステップS240では、補正情報生成部152は、距離画像の画素列に係る列番号Lを初期値“2”に設定する。
ステップS242では、補正情報生成部152は、列番号Lが最大列数よりも小さいか否かを判定する。列番号Lが最大列数は、距離画像の垂直方向の全画素数NNmaxに対応し、規定値である。列番号Lが距離画像の垂直方向の全画素数NNmaxよりも小さい場合は、ステップS244に進み、それ以外の場合は、ステップS250に進む。
ステップS244では、補正情報生成部152は、(L−1)列目と(L+1)列目の
補正情報(最小の評価値をもたらす動かし回数M)が同じであるか否かを判定する。判定結果が“YES”の場合は、ステップS246に進み、それ以外の場合は、ステップS249を経てステップS242に戻る。
ステップS246では、補正情報生成部152は、L列目の補正情報が、(L−1)列目又は(L+1)列目の補正情報と異なるか否かを判定する。判定結果が“YES”の場合は、ステップS248に進み、それ以外の場合は、ステップS249を経てステップS242に戻る。
ステップS248では、補正情報生成部152は、L列目の補正情報を、(L−1)列目又は(L+1)列目の補正情報で置換する。即ち、補正情報生成部152は、(L−1)列目又は(L+1)列目の補正情報と同じになるように、L列目の補正情報を補正する。
ステップS249では、補正情報生成部152は、Lを“1”だけインクリメントする。
ステップS250では、補正情報生成部152は、ステップS148及びステップS248で得た1フレーム分の全画素列の補正情報(上記の補正後の補正情報を含む)に基づいて、ステップS142で得た距離画像を補正して得られる補正後の距離画像を出力する。具体的には、補正情報生成部152は、ステップS248で補正された列に対しては補正後の補正情報を、ステップS248で補正されない列に対してはステップS148で得られる補正情報を、それぞれ用いて、補正後の距離画像を出力する。
図25は、図24の補正情報の補正処理の説明図である。図25には、補正前の各列(ここでは、10列目〜18列目のみが図示)の補正情報(ステップS148で得られる補正情報)が左側に示される。また、図25には、ステップS248での補正後の各列(ここでは、10列目〜18列目のみが図示)の補正情報が右側に示される。図25に示す数字“0”、“1”、“2”は、“動かし回数M”の値を示す。図25に示す例では、12列目と14列目の補正情報が“動かし回数M=1”であるのに対して、13列目の補正情報が“動かし回数M=2”であるので、13列目の補正情報が“動かし回数M=1”に置換(補正)される。
ところで、上述したサンプリング水平角間の隣接関係のずれは、距離画像全体で一律に起きるのではなく、各列ごと(一往復走査ごと)に起きる傾向がある。しかしながら、サンプリング水平角間の隣接関係のずれは、各列で互いに完全に独立して起きるのではなく、連続する複数列で同様のサンプリング水平角間の隣接関係のずれが続くという特徴もある。ある一往復走査中の距離情報に、距離画像において孤立点となるようなノイズが混入した場合、該ノイズの影響に起因して、該一往復走査に係る補正情報が正しい補正情報でなくなる虞がある。
この点、上述した動作例4によれば、連続する複数列で同様のサンプリング水平角間の隣接関係のずれが続くことに着目し、ある列の隣接する前後の列の補正情報が同じでありかつ当該列の補正情報が隣接する前後の列の補正情報と異なる場合、当該列の補正情報が隣接する前後の列の補正情報で置き換えられる。これにより、ノイズの影響による補正情報の精度が低下してしまう可能性を低減できる。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
例えば、上述した実施例では、距離測定装置10は、レーザ光を計測波として用いるが、これに限られない。例えば、距離測定装置10は、ミリ波などの他の計測波を用いてもよい。
なお、以上の実施例に関し、さらに以下の付記を開示する。
[付記1]
走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得する画素値情報取得部と、
一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出する算出部と、
前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する補正情報生成部とを含む、画像情報出力装置。
[付記2]
前記算出部は、更に、前記複数の並び順のそれぞれごとに、前記差に基づいて、走査方向に沿った前記複数のサンプリング角度間の隣接関係と、並び方向に沿った前記画素値情報の隣接関係との整合性に関する評価値を算出し、
前記補正情報生成部は、複数の並び順に係る前記評価値間の比較結果に基づいて、前記補正情報を生成する、付記1に記載の画像情報出力装置。
[付記3]
前記複数の並び順は、
走査方向に沿った正規の前記複数のサンプリング角度間の隣接関係に対して、並び方向に沿った前記画素値情報の隣接関係が整合する第1の並び順と、
前記第1の並び順に対して、前記復路に係る画素値情報が並び方向で一方側又は他方側にずらされた第2の並び順と、を含む、付記2に記載の画像情報出力装置。
[付記4]
前記第2の並び順は、複数個あり、
複数の前記第2の並び順は、前記第1の並び順に対して前記復路に係る画素値情報を並び方向で一方側又は他方側に1つずつずらした回数が、互いに異なる、付記3に記載の画像情報出力装置。
[付記5]
前記各ペアは、前記複数の並び順のそれぞれにおいて、並び方向で少なくとも中央部分に位置する、付記3又は4に記載の画像情報出力装置。
[付記6]
前記算出部は、前記差の絶対値の合計値を前記評価値として算出する、付記2〜5のうちのいずれか1項に記載の画像情報出力装置。
[付記7]
前記算出部は、前記ペアにおける並び方向で一方側又は他方側の前記画素値情報から他方側又は一方側の前記画素値情報を引いたときの正負の符号に基づいて、前記評価値を算出する、付記2〜5のうちのいずれか1項に記載の画像情報出力装置。
[付記8]
前記算出部は、前記各ペアのうちの、第1のペアと、該第1のペアに対して一の画素値情報を共有する態様で隣接する第2のペアとが、それぞれに係る前記符号が異なる関係を有するか否かに基づいて、前記評価値を算出する、付記7に記載の画像情報出力装置。
[付記9]
前記算出部は、前記各ペアのうちの、第1のペアと、該第1のペアに対して一の画素値情報を共有する態様で隣接する第2のペアとが、それぞれに係る前記符号が異なりかつそれぞれに係る前記差の絶対値の差が所定値以下となる関係を有するか否かに基づいて、前記評価値を算出する、付記7に記載の画像情報出力装置。
[付記10]
前記算出部は、前記各ペアのうちの、前記関係を有する全ての組み合わせのペアに基づいて、前記第1のペアに係る前記差及び前記第2のペアに係る前記差のうちのいずれか一方の絶対値の合計値を、前記評価値として算出する、付記8又は9に記載の画像情報出力装置。
[付記11]
前記補正情報生成部は、複数の並び順に係る前記評価値のうちの、最小の評価値に基づいて、該最小の評価値に係る前記並び順を表す情報、又は、該最小の評価値に係る前記並び順で前記一の往復走査分の画素値情報が並ぶ一の画素列を、前記補正情報として生成する、付記6又は10に記載の画像情報出力装置。
[付記12]
前記補正情報生成部は、1フレームを形成する複数の往復走査分の前記画素値情報に基づいて、一の往復走査分ごとに、前記補正情報を生成する、付記1〜11のうちのいずれか1項に記載の画像情報出力装置。
[付記13]
前記補正情報生成部は、前記複数の往復走査分に係る複数の前記補正情報のうちの、少なくとも1つの補正情報を、他の補正情報に基づいて、補正する、付記12に記載の画像情報出力装置。
[付記14]
前記補正情報は、前記並び順に関する補正量を表し、
前記補正情報生成部は、前記複数の往復走査分に係る複数の前記補正情報のうちの、時系列で1つおきに隣接する2つの往復走査分に係る前記補正情報が同じ第1の補正量を表し、且つ、時系列で該2つの往復走査分の間の一の往復走査分に係る前記補正情報が、前記第1の補正量と異なる補正量を表す場合に、該一の往復走査分に係る前記補正情報を、前記第1の補正量を表すように補正する、付記13に記載の画像情報出力装置。
[付記15]
前記センサは、レーザ光源及びMEMSミラーを含む距離画像センサであり、前記画素値情報は、距離を表し、
前記補正情報生成部は、1フレームを形成する複数の往復走査分の前記画素値情報に基づいて、距離画像を前記補正情報として生成する、付記12〜14のうちのいずれか1項に記載の画像情報出力装置。
[付記16]
前記センサは、正規の前記複数のサンプリング角度が、往路に係る複数のサンプリング角度と、前記往路に係る複数のサンプリング角度間に復路に係るサンプリング角度とを含むように構成される、付記1〜15のうちのいずれか1項に記載の画像情報出力装置。
[付記17]
前記複数の並び順は、それぞれ、一の画素列に、前記並び方向にしたがって前記画素値情報を順に1つずつ対応付けることが可能な並び順である、付記1〜16のうちのいずれか1項に記載の画像情報出力装置。
[付記18]
走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサと、
画像情報出力装置とを含み、
前記画像情報出力装置は、
前記センサから、前記画素値情報を取得する画素値情報取得部と、
一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出する算出部と、
前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する補正情報生成部とを含む、システム。
[付記19]
走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得し、
一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出し、
前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成することを含む、コンピュータにより実行される画像情報出力方法。
[付記20]
走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得し、
一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出し、
前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する、
処理をコンピュータに実行させるプログラム。
10 距離測定装置
11 投光ユニット
12 受光ユニット
100 画像情報出力装置
111 投光レンズ
112 MEMSミラー
113 レンズ
114 近赤外線レーザ光源
121 受光レンズ
122 フォトダイオード
124 距離計測回路
150 距離情報取得部
151 評価値算出部
152 補正情報生成部

Claims (15)

  1. 走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得する画素値情報取得部と、
    一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出する算出部と、
    前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する補正情報生成部とを含む、画像情報出力装置。
  2. 前記算出部は、更に、前記複数の並び順のそれぞれごとに、前記差に基づいて、走査方向に沿った前記複数のサンプリング角度間の隣接関係と、並び方向に沿った前記画素値情報の隣接関係との整合性に関する評価値を算出し、
    前記補正情報生成部は、前記複数の並び順に係る前記評価値間の比較結果に基づいて、前記補正情報を生成する、請求項1に記載の画像情報出力装置。
  3. 前記複数の並び順は、
    走査方向に沿った正規の前記複数のサンプリング角度間の隣接関係に対して、並び方向に沿った前記画素値情報の隣接関係が整合する第1の並び順と、
    前記第1の並び順に対して、前記復路に係る画素値情報が並び方向で一方側又は他方側にずらされた第2の並び順と、を含む、請求項2に記載の画像情報出力装置。
  4. 前記第2の並び順は、複数個あり、
    複数の前記第2の並び順は、前記第1の並び順に対して前記復路に係る画素値情報を並び方向で一方側又は他方側に1つずつずらした回数が、互いに異なる、請求項3に記載の画像情報出力装置。
  5. 前記算出部は、前記差の絶対値の合計値を前記評価値として算出する、請求項2〜4のうちのいずれか1項に記載の画像情報出力装置。
  6. 前記算出部は、前記ペアにおける並び方向で一方側又は他方側の前記画素値情報から他方側又は一方側の前記画素値情報を引いたときの正負の符号に基づいて、前記評価値を算出する、請求項2〜4のうちのいずれか1項に記載の画像情報出力装置。
  7. 前記算出部は、前記各ペアのうちの、第1のペアと、該第1のペアに対して一の画素値情報を共有する態様で隣接する第2のペアとが、それぞれに係る前記符号が異なる関係を有するか否かに基づいて、前記評価値を算出する、請求項6に記載の画像情報出力装置。
  8. 前記算出部は、前記各ペアのうちの、第1のペアと、該第1のペアに対して一の画素値情報を共有する態様で隣接する第2のペアとが、それぞれに係る前記符号が異なりかつそれぞれに係る前記差の絶対値の差が所定値以下となる関係を有するか否かに基づいて、前記評価値を算出する、請求項6に記載の画像情報出力装置。
  9. 前記算出部は、前記各ペアのうちの、前記関係を有する全ての組み合わせのペアに基づいて、前記第1のペアに係る前記差及び前記第2のペアに係る前記差のうちのいずれか一方の絶対値の合計値を、前記評価値として算出する、請求項7又は8に記載の画像情報出力装置。
  10. 前記補正情報生成部は、前記複数の並び順に係る前記評価値のうちの、最小の評価値に基づいて、該最小の評価値に係る前記並び順を表す情報、又は、該最小の評価値に係る前記並び順で前記一の往復走査分の画素値情報が並ぶ一の画素列を、前記補正情報として生成する、請求項5又は9に記載の画像情報出力装置。
  11. 前記補正情報生成部は、1フレームを形成する複数の往復走査分の前記画素値情報に基づいて、一の往復走査分ごとに、前記補正情報を生成する、請求項1〜10のうちのいずれか1項に記載の画像情報出力装置。
  12. 前記補正情報生成部は、前記複数の往復走査分に係る複数の前記補正情報のうちの、少なくとも1つの補正情報を、他の補正情報に基づいて、補正する、請求項11に記載の画像情報出力装置。
  13. 前記センサは、レーザ光源及びMEMSミラーを含む距離画像センサであり、前記画素値情報は、距離を表し、
    前記補正情報生成部は、1フレームを形成する複数の往復走査分の前記画素値情報に基づいて、距離画像を前記補正情報として生成する、請求項11又は12に記載の画像情報出力装置。
  14. 走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得し、
    一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出し、
    前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成することを含む、コンピュータにより実行される画像情報出力方法。
  15. 走査方向に沿って計測波の往復走査を行い往復走査中の複数のサンプリング角度での画素値情報を出力することが可能なセンサから、前記画素値情報を取得し、
    一の往復走査分の前記画素値情報に基づいて、時系列順での往路に係る画素値情報と、時系列順に対して逆順での復路に係る画素値情報とが、略交互に並ぶ並び順であって、互いに異なる複数の並び順のそれぞれごとに、並び方向で隣り合う往路と復路に係る各ペアにおける前記画素値情報の差を算出し、
    前記差に基づいて、前記一の往復走査分の前記画素値情報に関する補正情報を生成する、
    処理をコンピュータに実行させるプログラム。
JP2016224362A 2016-11-17 2016-11-17 画像情報出力装置、画像情報出力方法、プログラム Active JP6822091B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016224362A JP6822091B2 (ja) 2016-11-17 2016-11-17 画像情報出力装置、画像情報出力方法、プログラム
US15/728,558 US10192470B2 (en) 2016-11-17 2017-10-10 Apparatus and method for outputting image information, and non-transitory computer-readable storage medium for storing program for outputting image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016224362A JP6822091B2 (ja) 2016-11-17 2016-11-17 画像情報出力装置、画像情報出力方法、プログラム

Publications (2)

Publication Number Publication Date
JP2018081029A true JP2018081029A (ja) 2018-05-24
JP6822091B2 JP6822091B2 (ja) 2021-01-27

Family

ID=62108630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016224362A Active JP6822091B2 (ja) 2016-11-17 2016-11-17 画像情報出力装置、画像情報出力方法、プログラム

Country Status (2)

Country Link
US (1) US10192470B2 (ja)
JP (1) JP6822091B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106303A1 (ja) * 2019-11-28 2021-06-03 パナソニックIpマネジメント株式会社 レーザレーダ

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741622B2 (en) 2019-12-13 2023-08-29 Sony Semiconductor Solutions Corporation Imaging devices and multiple camera interference rejection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260132A (ja) * 1997-03-19 1998-09-29 Olympus Optical Co Ltd 走査型光学測定装置
JP2006204618A (ja) * 2005-01-28 2006-08-10 Canon Inc 画像処理装置及びその方法、プログラム
US20070260137A1 (en) * 2004-06-08 2007-11-08 Canon Kabushiki Kaisha Image Processing Device And Method Which Use Two Images
US20080055388A1 (en) * 2006-08-29 2008-03-06 Lexmark International, Inc. Calibrating a bi-directionally scanning electrophotographic device
JP2013180163A (ja) * 2012-03-05 2013-09-12 Topcon Corp 走査型眼底撮像装置
JP2014119414A (ja) * 2012-12-19 2014-06-30 Fujitsu Ltd 距離測定装置、距離測定方法及びプログラム
JP2016080962A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3436642B2 (ja) * 1996-09-05 2003-08-11 シャープ株式会社 レーザ走査装置
TWI226940B (en) * 2002-10-01 2005-01-21 Sony Corp Optical scan device, image position calibration method, and image display device
JP4574394B2 (ja) * 2005-02-25 2010-11-04 キヤノン株式会社 走査型画像表示装置
JP4929738B2 (ja) * 2005-04-18 2012-05-09 セイコーエプソン株式会社 光走査装置、光走査装置の制御方法及び画像表示装置
JP4745761B2 (ja) * 2005-08-31 2011-08-10 キヤノン株式会社 画像形成装置とその制御方法
TW200947164A (en) * 2008-05-09 2009-11-16 E Pin Optical Industry Co Ltd MEMS scan controller with inherence frequency and method of control thereof
KR101299455B1 (ko) * 2008-09-09 2013-08-22 삼성전자주식회사 광주사유니트, 이를 채용한 화상형성장치 및 이 광주사유니트의 동기신호 보정방법
US20120097833A1 (en) * 2010-10-22 2012-04-26 Industrial Technology Research Institute Laser scanning device
EP3014332A4 (en) * 2013-06-28 2017-01-25 Intel Corporation Mems scanning mirror light pattern generation
JP6269446B2 (ja) * 2014-11-10 2018-01-31 株式会社Jvcケンウッド 画像表示装置及びその制御方法
JP6587430B2 (ja) * 2015-06-23 2019-10-09 キヤノン株式会社 画像生成装置及び画像生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260132A (ja) * 1997-03-19 1998-09-29 Olympus Optical Co Ltd 走査型光学測定装置
US20070260137A1 (en) * 2004-06-08 2007-11-08 Canon Kabushiki Kaisha Image Processing Device And Method Which Use Two Images
JP2006204618A (ja) * 2005-01-28 2006-08-10 Canon Inc 画像処理装置及びその方法、プログラム
US20080055388A1 (en) * 2006-08-29 2008-03-06 Lexmark International, Inc. Calibrating a bi-directionally scanning electrophotographic device
JP2013180163A (ja) * 2012-03-05 2013-09-12 Topcon Corp 走査型眼底撮像装置
JP2014119414A (ja) * 2012-12-19 2014-06-30 Fujitsu Ltd 距離測定装置、距離測定方法及びプログラム
JP2016080962A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
川本祥太郎 サムアンラホック 田中昭雄 石原学: "レーザ測域センサを利用した移動ロボットの走行可能領域の検出", ロボティクス・メカトロニクス 講演会2015 講演論文集, JPN6020031473, May 2015 (2015-05-01), JP, pages 1 - 01, ISSN: 0004332844 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106303A1 (ja) * 2019-11-28 2021-06-03 パナソニックIpマネジメント株式会社 レーザレーダ

Also Published As

Publication number Publication date
US20180137793A1 (en) 2018-05-17
JP6822091B2 (ja) 2021-01-27
US10192470B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
US10663567B2 (en) Field calibration of a structured light range-sensor
CN107615778B (zh) 音频检测系统及方法
US10613228B2 (en) Time-of-flight augmented structured light range-sensor
CN106062583A (zh) 单个激光lidar系统
US20210256740A1 (en) Method for increasing point cloud sampling density, point cloud processing system, and readable storage medium
JP2015184056A (ja) 計測装置、方法及びプログラム
JP6822091B2 (ja) 画像情報出力装置、画像情報出力方法、プログラム
CN108362228A (zh) 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
US9746317B2 (en) Image processing method and device
CN106406638B (zh) 一种触摸点轮廓生成方法及设备
WO2023009755A1 (en) Dynamic calibration of 3d acquisition systems
EP3640670A1 (en) Multiple-pulses-in-air laser scanning system with ambiguity resolution based on range probing and 3d point analysis
US11262454B2 (en) Dwell-angle-independent tracking and monitoring objects using LIDAR
JP2019518957A (ja) Lidarを使用した運動の推定
JP6456084B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4966105B2 (ja) 目標角度測定装置
JPH09280818A (ja) 物体表面計測方法及び装置
WO2020190596A1 (en) Multi-beam processing of lidar vibration signals
WO2018142779A1 (ja) 監視装置
KR101840328B1 (ko) 3d 레이저 스캐너
JP2018105638A (ja) 監視装置
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
US20240168168A1 (en) 3d scanning system and method
US20240133734A1 (en) Information processing apparatus, information processing method, and sensing system
JP2003014583A (ja) ビームプロファイル検証方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150