JP2011064566A - 距離推定装置 - Google Patents

距離推定装置 Download PDF

Info

Publication number
JP2011064566A
JP2011064566A JP2009215421A JP2009215421A JP2011064566A JP 2011064566 A JP2011064566 A JP 2011064566A JP 2009215421 A JP2009215421 A JP 2009215421A JP 2009215421 A JP2009215421 A JP 2009215421A JP 2011064566 A JP2011064566 A JP 2011064566A
Authority
JP
Japan
Prior art keywords
image
mirror
distance
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009215421A
Other languages
English (en)
Inventor
Masami Mizutani
政美 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009215421A priority Critical patent/JP2011064566A/ja
Priority to US12/883,869 priority patent/US20110063436A1/en
Publication of JP2011064566A publication Critical patent/JP2011064566A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Abstract

【課題】従来よりも簡単な構成で距離の推定を可能にする距離推定装置の提供である。
【解決手段】対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
【選択図】図1

Description

以下に開示する技術は画像内に映る対象物までの距離を推定する距離推定装置に関する。
撮像した画像情報に基づき対象物までの距離を推定可能な距離推定装置は、カメラが取得した画像内に映る対象物を検出し、カメラと対象物間の距離を推定する。画像情報により対象物までの距離を推定する装置は、例えば、車両の運転者の視覚支援を目的とする車載カメラモニタ装置に適用される。車載カメラモニタ装置がバックモニタである場合、運転者はモニタに出力される車載カメラモニタ装置の画像を見ることで、通常では見ることができない車両の周辺の障害物等の状況を知ることができる。
撮像した画像によって被写体までの距離を推定する技術として、例えば、複数枚の鏡を使用し鏡像領域どうしで測距を行う技術がある。この技術は複数枚の鏡を設けるため、仮想カメラ視点間の位置と姿勢をキャリブレーションが複雑になる。他の技術として、例えば、撮像素子に対して左右に鏡、中央に広角レンズを設けてひとつの撮像領域を3分割し、鏡像領域どうしで測距を行う技術がある。この技術は鏡像領域どうしでの測距を行うため、複数枚の鏡を設けることでコスト増になり、キャリブレーションが複雑になる。
特開2002−347517号公報 特開2004−289305号公報 特開平10−9853号公報
本発明の課題は従来よりも簡単な構成で距離の推定を可能にする距離推定装置の提供である。
対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
本距離推定装置は実像と鏡像とを同一のレンズを介して同一の撮像素子で結像させ実像と鏡像のカメラ中心からの角度の差によって対象物までの距離を推定するようにしたため、従来よりも簡単に構成で距離を推定することが可能になる。
本実施例の距離推定装置である。 カメラ装置と鏡の位置と撮像領域の説明図である。 ECUの内部構成の例である。 カメラ装置と鏡間の対応関係の算出方法の説明図である。 距離を計算する処理のフローチャートである。 原画像の例である。 回転補正後の状態を示す図である。 法線ベクトルnとカメラ座標系を平行化させるための回転変換後の魚眼画像である。 回転変換後の魚眼画像を円柱展開変換した円柱画像である。 円柱画像の縦方向の関係を説明する図である。 距離の算出の方法を説明する図である。 モニタに出力する画面の例である。
本実施例は距離推定装置を車両に装備されたバックモニタに適用し、車両の周辺(特に後方)を監視する場合について説明する。
[実施の概要]
図1は本実施例の距離推定装置5である。車両1は距離推定装置5を搭載する。距離推定装置5は車両1の周辺の障害物等を検出する。障害物は例えば路面2上に存在する。距離推定装置5はカメラ装置10と鏡20と電子制御ユニット(ECU)30とモニタ40とを含む。本実施例のカメラ装置10は車両1の後端周辺に設置される。
カメラ装置10は車両1の後方の周辺にある障害物を直接撮像可能な場所に設置される。なお、本実施例のカメラ装置10は魚眼レンズ部を有する。本実施例の鏡20は、カメラ装置10の近傍に設置される。鏡20はカメラ装置10に設置しても良いし車両1に設置しても良い。カメラ装置10と鏡20とは、カメラ装置10で直接撮像された被写体とカメラ装置10で直接撮像された被写体の鏡像とがカメラ装置10で撮影されるように設置される。カメラ装置10と鏡20は、カメラ装置10の撮像領域内の実像を撮像する光路と鏡像を撮像する光路とがそれぞれカメラ装置10の同一の魚眼レンズ部を通過して同一の撮像素子上で結像するように配置する。ECU30はカメラ装置10が出力する撮像画像に対して画像処理を実行する。ECU30は、原画像に映る対象物までの距離を算出する距離算出手段35、障害物を検出する障害物検出手段36、モニタ40に出力するための画像を生成する画像生成手段37を含む。モニタ40はECU30が出力した画像を表示する。なお、モニタ40は、ECU30が検出した障害物情報および障害物までの距離情報を、画像情報ではなく例えば音声情報によって、出力することも可能である。
[カメラ装置と鏡]
次にカメラ装置10の撮像について説明する。図2はカメラ装置10と鏡20の位置と撮像領域の説明図である。カメラ装置10は、例えば、車両1の後端近傍に設置される。カメラ装置10は、魚眼レンズ部11と撮像素子12を有する。魚眼レンズ部11は、例えば、複数の光学レンズの組み合わせによって構成され、180度近くの画角を有する。撮像素子12は、魚眼レンズ部11から得られる光を画像情報に変換する。撮像素子12の撮像領域は、路面2にある対象物3を、魚眼レンズ部11を介して撮像する実像領域121と、路面2にある対象物3の鏡20に反射した鏡像を、魚眼レンズ部11を介して撮像する鏡像領域122とに分けられる。
カメラ装置10は、例えば、車両のすぐ後ろに存在する対象物について距離を算出可能とするため、実像領域121の下端が車両1の後端の真下付近の路面2が撮像可能なように俯角を付けて設置されるのが好ましい。これは、撮像素子12が矩形であるのに対し、魚眼レンズ部11が円形であるためである。本実施例では、撮像素子12の画素を有効に使用するため、撮像素子12は魚眼レンズ部11が取得可能な画角の一部の領域を撮像する。したがって、魚眼レンズが180度の画角を有する場合であっても、撮像素子12が撮像する領域は180度全てにはならない。例えば、撮像素子12の上下方向に130度の画角を取得する場合、カメラ装置10は水平から25度下向きの俯角を付けて設置される。カメラ装置10は、実像領域121が車両1の周辺の対象物を撮像できるように設置される。
カメラ装置10に魚眼レンズ部11を適用することにより、水平方向に広い画角で車両1の周辺を撮像することが可能になる。このため、少ないカメラ装置で車両1の周辺を監視することが可能になる。なお、カメラ装置10の光学レンズは魚眼レンズ以外の通常のレンズや広角レンズを適用することも可能である。一方、魚眼レンズ部11は、横方向だけでなく縦方向にも広い画角を有する。したがい、安全目的で車両の後方を確認するための画像としては本来取得する必要がない空が、撮像領域に映る。この取得不要な空の領域に鏡20によって実像領域の鏡像を映す。この結果、実像領域121と鏡像領域122に映る対象物までの距離を三角測量等の技術によって演算することができる。
本実施例の鏡20は平面鏡であるものとする。鏡20は、例えば、カメラ装置10の近傍に設置される。鏡20は地面に対向する向きでカメラ装置10の上方に設置される。また、通常、カメラ装置10の上方部分に太陽光の入射を防ぐための日よけが設置されるが、鏡20によって日よけを実現する効果がある。鏡20は、実像領域121の内の対象物までの距離を測定すべき領域が鏡20に反射した鏡像として鏡像領域122で撮像されるように設置される。鏡20はカメラ装置10の撮像素子12のおおよそ上半分が鏡像領域122になるように配置される。カメラ装置10と鏡20は鏡像領域122の上端に実像領域121の下端、すなわち車両1の後端の真下付近の路面2が撮像されるように配置される。鏡20はカメラ装置10の光軸と所定の角度を成して、路面2と所定の角度を成して対面するように設置される。
鏡20の面積は、車両の形状に制限あるため、車両によって変わる。距離の計算が可能な範囲(測距範囲D)は、カメラ装置10と鏡20の距離、鏡の大きさ、鏡面の法線方向とカメラ中心軸方向の角度差等に依存する。よって、距離の測定可能な撮像素子12の撮像領域を最大にする場合、撮像素子12の撮像領域を実像領域121と鏡像領域122とで2等分するようにカメラ装置10と鏡20を配置するのが望ましい。鏡20は距離を測定すべき対象物の実像の光路と距離を測定すべき対象物の鏡像の光路がそれぞれレンズを通過して該撮像素子上で結像するように配置される。
以上の配置により、カメラ装置10が受光する実像の光路と鏡像の光路とは、それぞれ同一の魚眼レンズ部11を通過して、同一の撮像素子12上の別々の領域に撮影されることが可能になる。距離推定装置5は、距離を算出するために必要な実像と鏡像とをそれぞれ同一の光学レンズを通過させ、同一の撮像素子が受光する構成を有する。このため、後に説明する、画像の回転補正処理、距離の算出処理等を簡単に処理することができる。
以上のカメラ装置10と鏡20の構成により、車両1の後方カメラモニタシステムの撮像素子12の約下半分の領域は、路面が魚眼レンズ部11を介して直接に映る領域にすることができる。この結果、撮像素子12の約下半分の実像領域121の画像の品質を確保することができ、撮像素子12の横方向の解像度低下は起こらない。また、カメラ装置10と鏡20の構成は、通常は無駄に空が映る撮像素子12の約上半分の領域を、距離測定用の鏡像領域122として使用することができる。
カメラ装置10の車両1の水平方向に対しては、例えば中央に設置する。車両1の高さ方向に対しては、例えば車両の最後端近傍の位置に設置する。
カメラ装置10が撮像した画像はECU30に送られる。
[ECU]
次にECU30について説明する。図3はECU30の内部構成の例である。ECU30はカメラ装置10からの画像を受信するための入力インターフェース31、ECU30の全体の処理を実行するプロセッサ33、カメラ装置10からの原画像、画像処理演算の各種パラメータ、画像処理演算をプロセッサ33に実行させるためのプログラムなどを記憶するメモリ32、モニタ40に画像処理後の画像を出力するための出力インターフェース34を含む。
プロセッサ33は例えば、カメラ装置10と鏡20の角度の関係をキャリブレーションによって決定する処理、原画像を回転補正する処理、実像と鏡像の予め定められた対応関係に基づき被写体までの距離を計測する処理、測定した距離を画像に合成する処理、距離が合成された画像を、出力インターフェース34を介してモニタ40に出力する処理を実行する。
[カメラと鏡の角度の関係の事前算出]
次に、カメラ装置10から被写体までの距離を計測する際に使用するカメラ装置10と鏡20の間の対応関係を求める。この対応関係は、例えば、装置のキャリブレーションとして予め行う。本実施例では対応関係として、鏡20の法線ベクトルn、カメラ座標系のY軸に対する角度θを算出する。距離推定装置5は、カメラ装置10が撮像した被写体の実像と鏡像の位置ずれに基づき、カメラ装置10から被写体までの距離を推定する。
図4はカメラ装置10と鏡20間の対応関係の算出方法の説明図である。本実施例のカメラ装置10と鏡20間の対応関係は3次元で考慮しているが、図4では、説明を簡単にするため2次元で表現する。図4において、nは鏡20の法線ベクトルである。法線ベクトルnは任意の3次元ベクトルである。本実施例の鏡20は平面鏡であるため法線ベクトルnは一つである。C1はカメラを示す。YはカメラC1の座標系のY軸である。ZはカメラC1の座標系のZ軸である。Z軸はカメラC1の光軸である。21は鏡20の鏡面である。点Xは実世界上の点を示す。C2は仮想カメラであり、鏡面21を対称面とする場合に、C1について面対象に位置する。TはカメラC1から点Xまでの距離を算出する際に測量する際に使用するベースラインである。ベースラインベクトルTは法線ベクトルnの任意の数d倍の大きさで示される。xは点Xへの光線ベクトル(直接光ベクトル)である。画像上の対応点はpxi(iは整数)とする。aは点Xの鏡像をカメラC1が取得するときの入射光ベクトルを示す。画像上の対応点はpai(iは整数)とする。bは入射光ベクトルaが鏡面に反射したときの反射光ベクトルを示す。θは法線ベクトルnとY軸の単位ベクトルのなす角である。
まず、カメラ座標系における平面鏡の法線ベクトルnを算出する手順を説明する。まず、映像上の実像領域121および鏡像領域122の既知の複数の対応点pxi、paiから、カメラのレンズ歪係数に基づいて、対応する直接光ベクトルxi、入射光ベクトルaiを算出する。入射光ベクトルaiと直接光ベクトルxiと法線ベクトルnとは同一平面にあることから、「x・(n×a)=0」の関係式を満たす。なお、の関係式中「・」は内積を示し、「×」は外積を示す。(数1)の関係式を満たす法線ベクトルnを算出する。
また、入射光ベクトルaの代わりに反射光ベクトルbで法線ベクトルnを求めることも可能である。反射光ベクトルbは「b=a−2(a・n)n」の関係式により求まる。
上記の関係式で構成される連立方程式は、例えば、行列に対する行列分解の一手法である固有値分解(svd)等の手法を用いて、nについて解くことができる。このとき本実施例の手法では、3組の対応点を得ることで法線ベクトルnを算出することができる。
次に、角度θを算出する。角度θは、法線ベクトルnとカメラ座標系のY軸方向の単位ベクトル(i=(0,1,0))のなす角(スカラー)である。角度θはスカラーであり余弦定理で算出することができる。角度θが得られると、法線ベクトルnとY軸方向の単位ベクトルiの外積で求まるベクトル(法線ベクトルnとY軸方向の単位ベクトルiのなす面に垂直なベクトル)の周りにθだけ回転させるため、3次元の回転行列を算出する。回転行列は例えば、ある軸の周りに角度θだけ回転させるための回転行列を得るための「ロドリゲスの回転公式」から求めることができる。
本実施例の手法では、ベクトルと角度を用いて対象物までの距離を計算する。ベクトルを用いる演算で事前に必要な要素は鏡の法線ベクトルである。鏡の法線ベクトルnは3点の観測で求めることができる。したがって、従来の座標に基づいて演算する方式よりも、キャリブレーションが簡単になる。なお、法線ベクトルnとカメラ座標系のY軸との成す角度θを、標準的な代数幾何の知識を用いて算出しておくことも可能である。
[対象物までの距離算出処理]
次に、随時撮影される画像に対する距離計算処理について説明する。図5は距離を計算する処理のフローチャートである。
ECU30は距離算出手段35として機能し、カメラ装置10から入力画像を受信し(S01)、角度を補正し(S02)、円柱展開し(S03)、対応点を検出し(S04)、対象物までの距離を算出し(S05)、算出結果を合成して、出力画像としてモニタに出力する(S06)。以下、各処理を順に説明する。
ECU30は撮像素子12によって得られた原画像を受信する(S01)。図6は原画像の例である。本実施例の原画像は魚眼画像である。原画像は実像領域121と鏡像領域122とを含む。図6において、白の破線で囲まれた領域が鏡像領域122である。鏡像領域122以外の領域が実像領域121である。破線123はカメラ座標系のX軸方向で同じ方位になる画素を結ぶ線である。なお、実像領域121と鏡像領域122とを分ける破線、および破線123は説明のために追加したものであり、実際の原画像には映っていない。
次に、ECU30は事前に算出した角度θに基づき、カメラ座標系において、角度(-θ)だけ原画像を回転させる(S02)。この処理によりカメラ座標系のY軸と法線ベクトルnは平行になる。図7は回転補正後の状態を示す図である。ベースラインベクトルTとカメラ座標系C1のY軸とが重なる。したがい、法線ベクトルnとY軸の単位ベクトルとは平行の関係になる。図8は法線ベクトルnとカメラ座標系を平行化させるための回転変換後の魚眼画像である。
次に、ECU30はS02で回転補正した魚眼画像を円柱展開する(S03)。魚眼レンズで撮像した画像は、半球面に映る画像を平面に投影した画像である。したがい、画像の水平位置の中央を通る縦方向の直線を除き、実体が縦方向の直線であっても、魚眼レンズで撮像した画像では縦方向の曲線になる。本実施例の円柱展開は、魚眼レンズで撮像した画像の縦方向の直線が実体の縦方向の直線になるように補正する処理を指す。円柱展開により魚眼画像の縦方向の実体の直線を直線として再現することができる。以下、円柱展開された画像を円柱画像とする。円柱展開することで、鏡像領域の対象点と実像領域の対象点は円柱画像内で同一のx座標(方位に相当)上に存在することになる。この結果、ECU30の対応点探索の処理の効率が向上する。なお、回転補正した魚眼画像から対応点を直接求めることも可能である。円柱展開処理を行った後に魚眼画像上での対応点検索処理を行うため、対応点検索処理が容易になる。図9は回転変換後の魚眼画像を円柱展開変換した円柱画像である。円柱展開することにより線123は同一のx座標になる。
次に、ECU30は円柱画像内の各画素について実像と鏡像の対応点を検索する(S04)。ECU30は例えば、差分絶対値和や正規化相関等を用いたブロックマッチングを適用する対応点を検索する。
次に、ECU30はカメラ装置10から対応点までの距離を算出する(S05)。円柱画像上の座標は、各ピクセルを通したカメラの中心からの光線の方位角と仰角に相当する。したがって、ECU30はピクセル座標値を適切に方位角および仰角に変換することができる。
図10は円柱画像の縦方向の関係を説明する図である。Yは円柱画像のY軸を示す。px1は円柱画像の鏡像領域1222に映る対象点xを示す。px2は円柱画像の実像領域1211に映る対象点xを示す。Y軸上の「0」は、カメラの光軸を中心とした場合の俯角が0度(水平)の位置を示す。θ1はpx1の画素のY座標値に対応するカメラの光軸からの俯角である。θ2はpx2の画素のY座標値に対応するカメラの光軸からの俯角である。
図11は距離の算出の方法を説明する図である。xは距離の測定対象となる点である。図11において図10と同一の符号は図10に対応する。d1はカメラC1から点xまでの距離である。d2は仮想カメラC2から点xまでの距離である。αは、点xとC1とC2を頂点とする三角形の点C1の内角を示す。βは、点xとC1とC2を頂点とする三角形の点C2の内角を示す。ECU30は、三角測量の原理を用い、具体的には(数1)の関係式によってカメラC1の中心から対象点xまでの距離を算出する。数1のTはスケール係数である。カメラC1と仮想カメラC2間の距離について実際のスケールでの距離に換算した値を予めキャリブレーション等で求めておく。
以上の処理によって、ECU30はカメラから対象物までの距離を算出する。
[障害物検知]
次に、ECU30による障害物の検出処理を説明する。ECU30は障害物検出手段36として機能し、距離算出処理で算出した距離情報と、既存の距離情報を応用する障害物検知手段により、障害物を検知する。ECU30は、例えば、予め取得したカメラ装置10の設置高、俯角と、路面平面に基づき、距離情報から路面平面上の対応点を削除する。ECU30は、削除されずに残った対応点を障害物として検知する。
[画像に重ねて表示]
次に、ECU30による映像の合成処理について説明する。ここでの映像は、円柱画像でも良いし、回転補正後の魚眼画像でも良い。ECU30は画像生成手段37として機能し、検知された障害物情報に基づいて注意情報を作成する。注意情報は例えば、障害物までの距離の数値情報であり、障害物までの距離が所定の距離よりも近くなっていることを警告する情報である。ECU30は円柱画像の実像領域1211でモニタに表示すべき領域を切出す。ECU30は切り出した領域に、作成した注意情報を重畳させて、モニタ表示用映像を生成する。ECU30は生成したモニタ表示用映像をモニタ40に出力する(S06)。図12はモニタ40に出力する画面の例である。12111は実像領域である。12112は画像内で障害物として検出された領域である。12113は障害物までの矢印および障害物までの距離である。
以上により、距離推定装置5は、一台のカメラ装置と一枚の鏡で車両の周辺を横方向に広い画角で監視し、周辺にある障害物を検出し、障害物までの距離を算出して、モニタに表示することができる。また、鏡が一枚であるため、複数枚の鏡を組み合わせる方式に比べてキャリブレーションが容易である。
別の例として、鏡20を平面鏡ではなく曲面鏡を用いることも可能である。ただし、曲面鏡の場合、鏡の法線ベクトルは鏡の位置によって異なる。従って、事前に撮像素子内の位置に応じた曲面鏡の法線ベクトルを算出する必要がある。測距処理時は撮像領域の座標によって、法線ベクトルを決定して、対象物までの距離を算出する。
本発明は一枚の鏡を使用する。したがい、車両1に既設されている後方確認用補助ミラーや、サイドミラーを使用することも可能である。後方確認用補助ミラーや、サイドミラーを使用する場合、さらなる低コスト化が可能である。この場合、例えば、距離測定時の鏡の角度を予め決定し、メモリ32等に記憶しておく。通常運転時は運転者が任意にミラーの角度を決めて運転する。距離測定時、ECU30は予め決定された角度になるように鏡の向きを変更する等によってカメラ装置と鏡の角度を合わせることが可能である。
以上で説明した距離推定装置5は車両1周辺の監視に優れている。横方向に広角に撮像することが可能であり、縦方向(天地方向)の無駄な領域を鏡像にすることで測距を可能にしたことにより、近傍が見えやすい。
1 車両
2 路面
3 対象物
5 距離推定装置
10 カメラ装置
11 魚眼レンズ部
12 撮像素子
121 実像領域
122 鏡像領域
20 鏡
30 ECU
31 入力インターフェース
32 メモリ
33 プロセッサ
34 出力インターフェース
40 モニタ

Claims (8)

  1. 対象物までの距離を推定する距離推定装置であって、
    鏡と、
    該対象物の実像および該対象物の該実像が映る領域以外の領域に該鏡に映る該対象物の該鏡像を受光するレンズ部と該レンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、
    該撮像素子が撮像した画像内の該対象物の該実像と該鏡像の位置に基づき該対象物までの距離を推定する電子制御ユニットと、
    を有することを特徴とする距離推定装置。
  2. 該電子制御ユニットが推定した該対象物までの距離情報を出力するモニタを更に有することを特徴とする請求項1に記載の距離推定装置。
  3. 該電子制御ユニットは更に画像内の路面情報を削除した残りの領域を対象物として検知し、該画像から実像の領域を切出し、検知された画像内の対象物に距離情報を重ねて該モニタが出力する画像を生成することを特徴とする請求項2に記載の距離推定装置。
  4. 該カメラは車両に設置される場合に、該カメラおよび該鏡は該カメラの真下付近の該車両の周辺領域が実像および鏡像として撮影されるような俯角で該車両に設置され、該鏡は該カメラの光軸と所定の角度を成して、路面と対面する側に設置されることを特徴とする請求項1に記載の距離推定装置。
  5. 該撮像素子の撮像領域が該実像の映る実像領域と該鏡像の映る鏡像領域とで2等分されるようにカメラ装置と鏡が配置されたことを特徴とする請求項1に記載の距離推定装置。
  6. 該鏡は平面鏡であることを特徴とする請求項1に記載の距離推定装置。
  7. 該電子制御ユニットは鏡像領域と実像領域の少なくとも3組の対応点から該鏡の鏡面の法線ベクトルを算出することを特徴とする請求項6に記載の距離推定装置。
  8. 該電子制御ユニットは該カメラのカメラ座標系の座標軸のいずれかが該法線ベクトルに平行になるように該画像を補正する回転変換処理と、該画像を円柱展開する円柱展開変換処理とによって得られた画像に基づいて、距離を推定することを特徴とする請求項5に記載の距離推定装置。
JP2009215421A 2009-09-17 2009-09-17 距離推定装置 Pending JP2011064566A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009215421A JP2011064566A (ja) 2009-09-17 2009-09-17 距離推定装置
US12/883,869 US20110063436A1 (en) 2009-09-17 2010-09-16 Distance estimating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009215421A JP2011064566A (ja) 2009-09-17 2009-09-17 距離推定装置

Publications (1)

Publication Number Publication Date
JP2011064566A true JP2011064566A (ja) 2011-03-31

Family

ID=43730154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009215421A Pending JP2011064566A (ja) 2009-09-17 2009-09-17 距離推定装置

Country Status (2)

Country Link
US (1) US20110063436A1 (ja)
JP (1) JP2011064566A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101184105B1 (ko) 2011-10-28 2012-09-18 인하대학교 산학협력단 후면볼록거울을 이용한 깊이감 측정 방법 및 장치
WO2012165491A1 (ja) * 2011-05-30 2012-12-06 パナソニック株式会社 ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
WO2014185170A1 (ja) * 2013-05-16 2014-11-20 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2018116038A (ja) * 2017-01-20 2018-07-26 瑞柯科技股▲ふん▼有限公司 距離計および距離測定方法
US10663295B2 (en) 2015-12-04 2020-05-26 Socionext Inc. Distance measurement system, mobile object, and component
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6141601B2 (ja) * 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
KR20170055091A (ko) * 2015-11-10 2017-05-19 현대오트론 주식회사 헤드업 디스플레이 제어 장치 및 방법
CN114245015A (zh) * 2021-12-21 2022-03-25 维沃移动通信有限公司 一种拍摄提示方法、装置、电子设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04174314A (ja) * 1990-11-06 1992-06-22 Mamiya Koki Kk 距離計システム
JPH07152097A (ja) * 1993-11-30 1995-06-16 Sony Corp 立体映像用カメラアダプタ
JPH109853A (ja) * 1996-06-20 1998-01-16 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko 測距型全方位視覚センサ
JP2002347517A (ja) * 2001-05-29 2002-12-04 Murakami Corp 車載カメラおよび車両の周囲監視装置
JP2004101665A (ja) * 2002-09-06 2004-04-02 Sony Corp 立体像撮影方法及びその装置
JP2004258266A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ及びそれを用いた距離画像入力装置
JP2004289305A (ja) * 2003-03-19 2004-10-14 Sumitomo Electric Ind Ltd 車載撮像システム及び撮像装置
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2008034966A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP2010118716A (ja) * 2008-11-11 2010-05-27 Isuzu Motors Ltd ステレオ撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5548605A (en) * 1978-10-05 1980-04-07 Olympus Optical Co Ltd Distance measuring device
JP2008053843A (ja) * 2006-08-22 2008-03-06 Olympus Imaging Corp 動画記録可能なデジタルカメラ
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04174314A (ja) * 1990-11-06 1992-06-22 Mamiya Koki Kk 距離計システム
JPH07152097A (ja) * 1993-11-30 1995-06-16 Sony Corp 立体映像用カメラアダプタ
JPH109853A (ja) * 1996-06-20 1998-01-16 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko 測距型全方位視覚センサ
JP2002347517A (ja) * 2001-05-29 2002-12-04 Murakami Corp 車載カメラおよび車両の周囲監視装置
JP2004101665A (ja) * 2002-09-06 2004-04-02 Sony Corp 立体像撮影方法及びその装置
JP2004258266A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ及びそれを用いた距離画像入力装置
JP2004289305A (ja) * 2003-03-19 2004-10-14 Sumitomo Electric Ind Ltd 車載撮像システム及び撮像装置
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2008034966A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
JP2010118716A (ja) * 2008-11-11 2010-05-27 Isuzu Motors Ltd ステレオ撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165491A1 (ja) * 2011-05-30 2012-12-06 パナソニック株式会社 ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
KR101184105B1 (ko) 2011-10-28 2012-09-18 인하대학교 산학협력단 후면볼록거울을 이용한 깊이감 측정 방법 및 장치
WO2014185170A1 (ja) * 2013-05-16 2014-11-20 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US10713525B2 (en) 2013-05-16 2020-07-14 Sony Corporation Image processing device and method to obtain a 360° image without remapping
US10663295B2 (en) 2015-12-04 2020-05-26 Socionext Inc. Distance measurement system, mobile object, and component
JP2018116038A (ja) * 2017-01-20 2018-07-26 瑞柯科技股▲ふん▼有限公司 距離計および距離測定方法
CN108332709A (zh) * 2017-01-20 2018-07-27 瑞柯科技股份有限公司 测距装置以及测距方法
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法

Also Published As

Publication number Publication date
US20110063436A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
JP2011064566A (ja) 距離推定装置
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP4193886B2 (ja) 画像表示装置
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
JP4751939B2 (ja) 車載カメラの校正装置
JP4690476B2 (ja) 車載カメラの校正装置
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP5070435B1 (ja) 3次元相対座標計測装置およびその方法
JP5081313B2 (ja) 車載カメラの校正装置
JP2008131177A (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
US9162621B2 (en) Parking support apparatus
JP2009290645A (ja) 車載装置
JP5007863B2 (ja) 3次元物体位置計測装置
WO2020012879A1 (ja) ヘッドアップディスプレイ
JP2008085710A (ja) 運転支援システム
JP6669182B2 (ja) 乗員監視装置
JP2013246606A (ja) データ導出装置、及び、データ導出方法
JP2011024079A (ja) 周辺表示装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP6029459B2 (ja) 画像合成装置、および画像合成方法
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP2010157910A (ja) 画像表示装置
JP5409451B2 (ja) 3次元変化検出装置
JP5580062B2 (ja) 障害物検知警報装置
JP2008017303A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140507