JP2018155565A - 画像処理装置 - Google Patents

Abstract

【課題】特殊なクロスプリズムを使用することなく、１つの撮像装置を使用して被写体の位置を演算することができる画像処理装置を提供する。【解決手段】被写体を撮像する撮像素子１２を備えた撮像装置２と、この撮像装置の撮像範囲内に配置された反射部３と、撮像装置で前記被写体を直接撮像した第１画像と反射部を介して被写体を撮像した第２画像とからなる撮像画像から被写体の位置を算出する位置演算部４と、を備えている。【選択図】図１

Description

本発明は、撮像装置で撮像した画像の位置を求めることが可能な画像処理装置に関する。

この種の画像処理装置として、例えば被写体をステレオカメラで撮像した２つの画像情報から画像の位置を求めることが知られている。
この場合には２台の異なる位置に設けたカメラを必要とし、生産コストが嵩むという課題がある。
この課題を解決するために、視差のある２つの画像における各光路の光路長を互いに同じくするとともに各光路を１つの光路に重ね合わせる分光選択型のクロスプリズムと、画像を撮像素子に結像させる撮像レンズと、視差のある２つの画像を撮像する撮像素子と、２つの画像の視差から被写体までの距離を算出する距離算出手段とを備えたステレオカメラが提案されている（特許文献１参照）。

特開２０１４−１７８１９０号公報

しかしながら、この先行技術では、２台の撮像装置を必要としない代わりに、特殊なクロスプリズムを必要とすることからステレオカメラが大型化し、例えば車両のドアミラー等に固定して配置することができないという課題がある。
そこで、本発明は、上記先行技術の課題に着目してなされたものであり、特殊なクロスプリズムを使用することなく、１つの撮像装置を使用して被写体の位置を求めることができる画像処理装置を提供することを目的としている。

本発明の一態様に係る画像処理装置は、被写体を撮像する撮像素子を備えた撮像装置と、この撮像装置の撮像範囲内に配置された反射部と、撮像装置で前記被写体を直接撮像した第１画像と反射部を介して被写体を撮像した第２画像とからなる撮像画像から被写体の位置を算出する位置演算部と、を備えている。

本発明の一態様によれば、撮像装置で被写体を直接撮像する第１画像と、被写体を撮像装置の撮像範囲内の反射部を介して撮像した第２画像とに基づいて被写体の位置を算出するので、１つの撮像装置を設けるだけでよいとともに、撮像装置自体を小型化することができ、撮像装置を例えば車両のドアミラー等に固定して配置することが可能となる。

本発明に係る画像処理装置の第１実施形態の構成例を示すブロック図である。 撮像装置の取付位置と被写体との位置関係を示す平面図である。 撮像装置の取付位置と被写体との位置関係を示す背面図である。 撮像装置の取付位置と他の被写体との位置関係を示す背面図である。 撮像装置の撮像範囲を示す側面図である。 図１の画像処理装置で実行する画像処理手順の一例を示すフローチャートである。 撮像装置で撮像した画像を示す図である。 撮像装置と円弧状の反射部との位置関係における仮想撮像装置の位置及び光の行路を示す図である。 画素毎の撮像装置及び仮想の撮像装置の位置及び光の行路で表される撮像情報を示す図である。

次に、図面を参照して、本発明の一実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

以下の詳細な説明では、本発明の一実施形態の完全な理解を提供するように多くの特定の細部について記載される。しかしながら、かかる特定の細部がなくても１つ以上の実施態様が実施できることは明らかであろう。他にも、図面を簡潔にするために、周知の構造及び装置が略図で示されている。
以下に、本発明に係る画像処理装置を車両に搭載した場合の一実施形態について説明する。

図１に示すように、画像処理装置１は、撮像装置２と、この撮像装置２の撮像範囲内に設けられた反射部３と、撮像装置２からの画像情報に基づいて被写体の位置を算出する位置演算部４とを備えている。
撮像装置２は、図２〜図４に示すように、車両５の例えば左側の車両ドア５ａに装着されたドアミラー５ｂの下部に車両の後方側を撮像可能に取付けられている。この撮像装置２の具体的構成は、図１に示すように、魚眼レンズ１１と、この魚眼レンズ１１により光束が結像されるＣＣＤ等の撮像素子１２と、この撮像素子１２に対して画素の読み出しアドレスを順次指定しながら画像信号を取り込んで、画像データとして位置演算部４に出力する画像処理部１３とを備えている。

撮像装置２の光軸ＯＡは、図５に示すように、地面Ｇと平行に設定されている。
そして、撮像装置２の水平方向の画角は、１８０°程度であり、垂直方向の画角は、図５に示すように、路面と平行な光軸ＯＡより上部側の角度に比較して下部側の角度が大きい９０°程度の視野角αとしている。
この撮像装置２での撮像画像は、図７に示すように、左半部が魚眼レンズ１１を通して直接車両５の側方の被写体を撮像した第１画像１４であり、右半部が車両ドア５ａの側面で構成される反射部３で反射された車両５の側方の被写体を撮像した第２画像１５である。

位置演算部４は、座標演算処理部２１と、画像メモリ２２と、ＲＯＭ２３及びＲＡＭ２４Ａとを備えている。
座標演算処理部２１は、撮像装置２から入力される第１画像１４及び第２画像１５を画像メモリ２２に一時記憶し、記憶した第１画像１４及び第２画像１５に基づいて被写体の位置を演算する演算処理を実行する。

画像メモリ２２は、撮像装置２から入力される第１画像１４及び第２画像１５を個別に記憶する第１画像記憶部２２ａ及び第２画像記憶部２２ｂを備えている。
ＲＯＭ２３は、座標演算処理部２１の演算処理に必要なプログラムを記憶しているとともに、演算処理過程で必要とする後述する撮像情報記憶テーブルを記憶している。
ＲＡＭ２４は、演算処理過程で必要とする処理データを一時記憶するとともに、演算結果等を一時記憶する。

座標演算処理部２１は、撮像装置２で直接撮像した第１画像と、反射部３を介して撮像した第２画像とに基づいて被写体（特徴点）の位置を算出する。
この被写体の位置を算出する原理を図２〜図４について説明する。
撮像装置２及び被写体を上方から見たときに、図２に示すように、立体物である被写体３０が撮像装置２の斜め後方位置に存在するものとする。この被写体３０は、例えば、方形平板上の土台３０ａと、この土台３０ａ上に上方に延長して車体に平行な方向に延長するフェンス３０ｂと、このフェンス３０ｂの前端から車両５の長軸と直交する方向に延長するフェンス３０ｃとを有するものとする。

この被写体３０を撮像装置２で撮像すると、図３で実線図示の直線で表される撮像装置２で直接撮像可能な第１画像と、図３で点線図示のように車両ドア５ａで構成される反射部３を介して撮像される第２画像とが撮像される。このとき、第２画像は路面と垂直で且つ撮像装置２の光軸と平行な反射部３を介して撮像されているので、撮像装置２に対して反射部３を挟んで対称な位置の仮想の撮像装置２′で撮像した画像と等価なものとなる。

したがって、第１画像と第２画像とでステレオ画像を構成することができ、ステレオカメラと同等に被写体の位置を演算することが可能となる。
同様に、図３に示すように、撮像装置２を車両５の後方から見たときに、撮像装置２は、被写体３０の土台３０ａの下端部を実線図示のように直接撮像した第１画像と、点線図示のように車両ドア５ａを介して撮像した第２画像とを撮像することができる。

この場合も、車両ドア５ａを介して撮像した第２画像は、撮像装置２に対して反射部３を挟んで対称位置の仮想の撮像装置２′で撮像した画像と等価なものとなり、第１画像と第２画像とでステレオ画像を構成することができ、ステレオカメラと同等に被写体の位置を演算することが可能となる。
さらに、同様に、図４に示すように、撮像装置２を車両５の後方から見たときに、撮像装置２は、被写体３０のフェンス３０ｂ及び３０ｃの角部の上端を撮像したときに、同様に、実線図示の直接撮像した第１画像と、点線図示のように車両ドア５ａを介して撮像した第２画像とを撮像することができる。

この場合も、反射部を介して撮像した第２画像は、撮像装置２に対して反射部３を挟んで対称位置に配置された仮想の撮像装置２ｋで撮像画像と等価なものとなり、第１画像と第２画像とでステレオ画像を構成することができ、ステレオカメラと同等に被写体の位置を算出することが可能となる。
実際に撮像装置２で撮像した出力画像は、図７に示すような画像となり、左半部領域ＰＡＬが直接撮像した第１画像１４となり、右半部領域ＰＡＲが反射部３を介して撮像した第２画像１５となる。このうち、第２画像１５は、反射部３が曲面となっていることから、左半部領域ＰＡＬ寄りの半楕円領域ＰＡＲ１に、図３のように下向きで土台３０ａを撮像する下向き画像１５ａが撮像され、この半楕円領域ＰＡＲ１の外側の領域ＰＡＲ２に、図４のように上向きでフェンスの上端を撮像する上向き画像１５ｂが撮像される。

ここで、撮像装置２と反射部３との関係について図８を伴って説明する。この図８では、車両５の後方から見た撮像装置２と反射部３との位置関係を表している。このとき、説明を簡単にするため、反射部３が水平線ＨＬ及び垂直線ＶＬで設定される第４象限にある。この円弧面３ａに対して水平線ＨＬ及び垂直線ＶＬの交点Ｐを挟んだ第２象限に撮像装置２が配置されているものとする。この撮像装置２の魚眼レンズ１１の中心は円弧面３ａの中点Ｘを通る法線ＮＬ上に位置するものとする。

このとき、撮像装置２で、円弧面３ａの水平線ＨＬとの交点の点Ｖを撮像したときには、点Ｖでの反射部となる接線ＴＬｖ（水平線ＨＬ）に対する撮像装置２からの入射角と等しい出射角となる斜め右上方向のＶ′方向の光の行路ＰＳｖ上の被写体を撮像できる。すなわち、点ＶではＶ′方向とは反対側の点線図示の位置に配置した仮想の撮像装置２ｖで撮像した場合と同じ被写体を撮像できる。

また、撮像装置２で、点Ｖから円弧面３ａの中点Ｘ方向に所定距離とった点Ｗを撮像したときには、点Ｗでの反射部となる接線ＴＬｗに対する撮像装置２からの入射角と等しい出射角となる垂直に近い斜め右上方向のＷ′方向の光の行路ＰＳｗ上の被写体を撮像できる。すなわち、点ＷではＷ′方向とは反対側の点線図示の位置に配置した仮想の撮像装置２ｗで撮像した場合と同じ被写体を撮像できる。

さらに、撮像装置２で、円弧面３ａの中点Ｘを撮像したときには、反射部が中点Ｘを通る接線ＴＬとなるので、撮像装置２に向かうＸ′方向の光の行路ＰＳｘ上の被写体を撮像できる。すなわち、点Ｘでは接線ＴＬを挟んで反対側の点線図示位置に配置した仮想の撮像装置２ｘで撮像した場合と同じ被写体を撮像できる。
また、円弧面３ａ上で中心Ｘより半時計方向に所定距離とった点Ｙを撮像したときには、点Ｙでの反射部となる接線ＴＬｙに対する撮像装置２からの入射角と等しい出射角となる斜め下方のＹ′方向の光の行路ＰＳｙ上の被写体を撮像できる。すなわち、点ＹではＹ′方向とは反対側の点線図示の位置に配置した仮想の撮像装置２ｙで撮像した場合と同じ被写体を撮像できる。

また、円弧面３ａの点Ｙよりさらに半時計方向の垂直線ＶＬと接する点Ｚを撮像したときには、点Ｚでの反射部となる接線ＴＬｚ（垂直線ＶＬ）に対する撮像装置２からの入射角と等しい出射角となる略下方のＺ′方向の光の行路ＰＳｚ上の被写体を撮像できる。すなわち、点ＺではＺ′方向とは反対側の点線図示の位置に配置した仮想の撮像装置２ｚで撮像した場合と同じ被写体を撮像できる。

したがって、撮像装置２で反射部となる円弧面３ａを撮像することにより、図８における撮像装置２とは異なる位置に配置した仮想の撮像装置２ｘ〜２ｚで撮像した被写体と同じ被写体を撮像することができ光の行路ＰＳｖから光の行路ＰＳｚまでの範囲の被写体を撮像できる。
実際には、撮像装置２が撮像する反射部３は、図２に示すように、ドアミラー５ｂより後方側の車両ドア５ａの曲面であるので、反射部３を利用した撮像範囲は、図２におけるドアミラー５ｂより後方側で車両５の側方に沿う被写体３０に対して図３及び図４に示すように左下方から左上方までの範囲で撮像できる。

ここで、仮想の撮像装置２ｖ〜２ｚの位置は反射部の表面形状によって異なることになる。
この場合、撮像装置２を装着するドアミラー５ｂの位置と車両の反射部となる車両ドア５ａの形状とから撮像装置２の画素毎の撮像装置２及び仮想の撮像装置２ｖ〜２ｚの位置及び光の行路を特定することができる。

すなわち、撮像素子１２の画素毎に、第１画像１４については撮像装置２の位置（固定）と、光の行路（三次元であるので緯度θ及び経度φで表す）とを設定し、第２画像１５については仮想の撮像装置２ｖ〜２ｚの位置（ｘ，ｙ，ｚ）と光の行路（三次元であるので緯度θ及び経度φで表す）とを設定する。尚、仮想の撮像装置２ｖ〜２ｚの位置（ｘ，ｙ，ｚ）は必ずしも必要なく、記憶されていなくとも障害物の位置を特定することは可能である。

この画素毎の位置と光の行路（緯度θ，経度φ）との関係を表すと図９に示すようになる。この図９では説明を簡単にするために画素数を実際の画素数より少く設定している。第１画像１４を撮像する各画素について撮像装置２の位置を（０，０，０）と光の行路（緯度θｉｊ及び経度φｉｊ）とが表示され、第２画像１５を撮像する各画素については仮想の撮像装置２ｖ〜２ｚの位置（ｘ，ｙ，ｚ）と光の行路（緯度θｍｎ及び緯度φｍｎ）とが表示されている。

この図９で表される各画素に対する撮像装置の位置及び光の行路を表す撮像情報を撮像情報記憶テーブルとして作成し、ＲＯＭ２３に記憶させておく。この場合、必ずしも全ての画素について撮像装置２又は仮想の撮像装置２ｋ（ｋ＝ｖ〜ｚ）の位置と光の行路との撮像情報を記憶する必要はなく、画素数を間引いて撮像装置２又は仮想の撮像装置２ｋの位置と光の行路を水平方向と垂直方向からなる２つの角度（後述する緯度と経度）として記憶し、位置と光の行路とが記憶された画素同士の中間の画素については、両端の画素の位置と光の行路とから補間演算を行なうようにしても良いし新たな光の行路を算出してもよい。

このようにすることにより、直接撮像した第１画像と反射部を介して撮像した第２画像とを比較して特徴点が一致する画像の特徴点の画素を求めることにより、この画素について撮像情報記憶テーブルを参照して撮像装置２の位置及び光の行路と、仮想の撮像装置２ｋの位置及び光の行路を求めることが可能となる。
そして、求めた撮像装置２の位置から光の行路に沿って延長する第１直線と、仮想の撮像装置２ｋの位置から光の行路に沿って延長する第２直線との交点の位置を演算することにより、被写体の特徴点の位置を求めることができる。

このため、座標演算処理部２１は、図１に示すように、特徴点抽出部２１ａと、撮像情報算出部２１ｂと、位置算出部２１ｃと、位置出力部２１ｄとを備えている。
特徴点抽出部２１ａは、画像メモリ２２に記憶されている撮像装置２で直接撮像した第１画像について縦方向のエッジと横方向のエッジの交点を特徴点として検出するとともに、反射部３を介して撮像した第２画像についても縦方向のエッジと横方向のエッジの交点を特徴点として検出する。

撮像情報算出部２１ｂは、特徴点抽出部２１ａで抽出した第１画像１４の特徴点を含む所定範囲の画像を第１比較画像として抜き出して、ＲＡＭ２４に記憶するとともに、第２画像の特徴点を含む所定範囲の画像を第２比較画像として抜き出して、ＲＡＭ２４に記憶する。そして、撮像情報算出部２１ｂは、ＲＡＭ２４に記憶した第１比較画像と第２比較画像とを比較して互いに一致又は一致率が高い比較画像が存在するか否かを判定する。一致又は一致率の高い比較画像が存在する場合に、一致又は一致率の高い第１比較画像及び第２比較画像の特徴点を表す画素について、撮像情報記憶テーブルを参照して、撮像装置２の位置及び光の行路を算出するとともに、仮想の撮像装置２ｋの位置及び光の行路を算出する。

位置算出部２１ｃは、撮像情報算出部２１ｂで算出した第１比較画像の特徴点を表す画素の撮像装置２の位置（ｘ_０，ｙ_０，ｚ_０）及び光の行路（θｉｊ，φｉｊ）と、第２比較画像の特徴点を表す画素の仮想の撮像装置２ｋの位置（ｘｍｎ，ｙｍｎ，ｚｍｎ）及び光の行路（θｍｎ，φｍｎ）とから撮像装置２の位置から光の行路に沿って引いた第１直線と、仮想の撮像装置２ｋの位置から光の行路に沿って引いた第２直線との交点の位置を特徴点画像の位置として算出する。

位置出力部２１ｄは、位置算出部２１ｃで算出した特徴点画像の位置を外部に出力する。
次に、上記実施形態の動作について座標演算処理部２１で実行する座標演算処理手順を示す図６のフローチャートを伴って説明する。
座標演算処理部２１は、先ず、撮像装置２から出力される撮像画像を読込んで、左半部領域ＰＡＬの第１画像１４と右半部領域ＰＡＲの第２画像１５とに分離して、画像メモリ２２の第１画像記憶部２２ａ及び第２画像記憶部２２ｂに記憶する（ステップＳ１）。

次いで、画像メモリ２２の第１画像記憶部２２ａから第１画像１４を読込み（ステップＳ２）、読込んだ第１画像の縦方向のエッジと横方向のエッジとの交点で表される特徴点を抽出する（ステップＳ３）。この特徴点は被写体３０の形態によって複数抽出される。
次いで、抽出した特徴点毎に、特徴点を含む所定範囲の周囲の画像を第１判定画像として抜き出し、抜き出した第１判定画像をＲＡＭ２４の所定記憶部に一時記憶する（ステップＳ４）。

次いで、画像メモリ２２の第２画像記憶部２２ｂから第２画像を読込み（ステップＳ５）、前述したステップＳ３と同様に第２画像の特徴点を抽出する（ステップＳ６）。次いで、前述したステップＳ４と同様に、特徴点毎に、特徴点を含む所定範囲の画像を第２判定画像として抜き出し、ＲＡＭ２４の所定記憶部に一時記憶する（ステップＳ７）。
次いで、ＲＡＭ２４に記憶されている一つの第１判定画像について、第２判定画像を順次比較しながら、互いに一致するか又は一致率の高い第２判定画像が存在するか否かを判定する（ステップＳ８）。

第１判定画像と一致又は一致率が高い第２判定画像が存在しない場合（Ｓ８−Ｎ）には、後述するステップＳ１１に移行する。
第１判定画像と一致又は一致率が高い第２判定画像が存在する場合（Ｓ８−Ｙ）には、第１判定画像及び第２判定画像の特徴点の画素についてＲＯＭ２３に記憶されている撮像情報記憶テーブルを参照して、第１判定画像の特徴点の画素について撮像装置の位置（ｘ_０，ｙ_０，ｚ_０）と光の行路（θｉｊ，φｉｊ）を求め、第２判定画像の特徴点の画素について仮想の撮像装置２ｋの位置（ｘｍｎ，ｙｍｎ，ｚｍｎ）と光の行路（θｍｎ，φｍｎ）とを求める（ステップＳ９）。

次いで、求めた撮像装置２の位置から光の行路に沿って引いた第１直線と、求めた仮想の撮像装置２ｋの位置から光の行路に沿って引いた第２直線との交点の位置を特徴点の位置として算出する（ステップＳ１０）。
次いで、判定を行なっていない未判定の第１判定画像が存在するか否かを判定し（ステップＳ１１）、未判定の第１判定画像が存在する場合（Ｓ１１−Ｙ）には、未判定の第１判定画像を判定対象として設定し（ステップＳ１２）、前記ステップＳ８に戻る。

未判定の第１判定画像が存在しない場合（Ｓ１１−Ｎ）には、ＲＡＭ２４に記憶されている被写体３０の特徴点の位置を外部の画像認識装置等に出力する（ステップＳ１３）。
各特徴点について上記処理を繰り返すことにより、特徴点の位置を算出し、算出した位置を画像認識装置等に出力することにより、警報を発したり、注意を促したりすることができる。

このように、上記実施形態では、１つの撮像装置２を設けるのみで、その撮像装置２の撮像範囲に入る反射部を利用して、直接撮像した第１画像１４と、反射部３を介して撮像した第２画像１５とから被写体の位置を算出することができる。
このため、被写体の位置を演算する画像処理装置を構成する部品点数が少なくて済むとともに、小型化を図ることができ、撮像装置の取付位置が制限されることがない。

さらには、直接撮像した第１画像１４に特徴点が複数抽出されている場合に、第２画像１５に特徴点が抽出されない場合には、反射部３が汚れて反射率が低下していると判断することができ、反射部３の反射率を上げる清掃等を行なう必要があることを報知することもできる。
なお、上記実施形態では、撮像レンズとして魚眼レンズ１１を適用した場合について説明したが、これに限定されるものではなく、広角レンズを適用することもできる。

また、上記実施形態では、撮像装置２をドアミラー位置に設置して車両後方を撮像する場合について説明したが、これに限定されるものではなく、ドアミラー位置に車両の前方を撮像するように配置することもできる。
さらには、車両の後部に搭載されたバックカメラを撮像装置として、バックカメラの周囲の反射部を利用して被写体の位置を算出することもでき、車両のフロントガラス位置に撮像装置を配置して、ボンネットを反射部とすることもできる。

また、上記実施形態では、本発明の画像処理装置を車両に搭載する場合について説明したが、これに限定されるものではなく、自走ロボットや、自走車等の移動体に設けることができる他、固定部に撮像装置２及び反射部を配置して、移動体の位置を求めることもできる。
以上、特定の実施形態を参照して本発明を説明したが、これらの説明によって発明を限定することを意図するものではない。本発明の説明を参照することにより、当業者には、開示された実施形態の種々の変形例とともに本発明の別の実施形態も明らかである。したがって、特許請求の範囲は、本発明の範囲及び要旨に含まれるこれらの変形例又は実施形態も網羅すると解すべきである。

１…画像処理装置、２…撮像装置、３…反射部、３ａ…円弧面、４…位置演算部、５…車両、５ａ…車両ドア、５ｂ…ドアミラー、１１…魚眼レンズ、１２…撮像素子、１３…画像処理部、２１…座標演算処理部、２１ａ…特徴点抽出部、２１ｂ…撮像情報算出部、２１ｃ…位置算出部、２１ｄ…位置出力部、２２…画像メモリ、２２ａ…第１画像記憶部、２２ｂ…第２画像記憶部、２３…ＲＯＭ、２４…ＲＡＭ、３０…被写体

Claims (3)

1. 被写体を撮像する撮像素子を備えた撮像装置と、
   該撮像装置の撮像範囲内に配置された反射部と、
   前記撮像装置で前記被写体を直接撮像した第１画像と前記反射部を介して前記被写体を撮像した第２画像とからなる撮像画像から前記被写体の位置を算出する位置演算部と、
   を備えたことを特徴とする画像処理装置。
2. 前記反射部は、車体であることを特徴とする請求項１に記載の画像処理装置。
3. 前記位置演算部は、
   前記第１画像における被写体の前記撮像装置上での位置と前記第２画像における同被写体の前記撮像装置上の位置を抽出し出力する位置検出部と、
   前記第１画像が結像する前記撮像素子上の各画素に対応する光の行路と、前記第２画像が結像する前記撮像素子上の各画素に対応する前記反射部で反射する光の行路を算出し出力する撮像情報算出部と、
   前記位置検出部と前記撮像情報算出部の出力を基に前記被写体の位置を算出する位置算出部と、
   を備えることを特徴とする請求項２に記載の画像処理装置。