JP2022143412A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像間のマッチングにおいて、誤った対応付けを防止する画像処理装置を提供する。【解決手段】画像処理装置は、取得部と、抽出部と、探索範囲設定部と、探索部と、マッチング部とを備える。取得部は、移動体に搭載されたカメラによって撮像された時系列の複数の画像を取得する。抽出部は、第１画像の特徴点を抽出する。探索範囲設定部は、第２画像における特徴点の対応箇所を探索する範囲である探索範囲を設定する。探索部は、第２画像における探索範囲から特徴点の対応箇所を探索する。マッチング部は、対応箇所同士の位置関係に基づいて対応箇所と特徴点との対応付けを行う。【選択図】図４

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

複数の画像間をマッチングさせる技術がある。画像間をマッチングさせる場合、一の画像の点を他の画像の誤った点に対応付けてしまうことを防止することが望まれる。

特表２０１２－５２９６９１号公報

一つの実施形態は、画像間のマッチングにおいて、誤った対応付けを防止する画像処理装置を提供することを目的とする。

一つの実施形態によれば、画像処理装置は、取得部と、抽出部と、探索範囲設定部と、探索部と、マッチング部とを備える。取得部は、移動体に搭載されたカメラによって撮像された時系列の複数の画像を取得する。抽出部は、第１画像の特徴点を抽出する。探索範囲設定部は、第２画像における特徴点の対応箇所を探索する範囲である探索範囲を設定する。探索部は、第２画像における探索範囲から特徴点の対応箇所を探索する。マッチング部は、対応箇所同士の位置関係に基づいて対応箇所と特徴点との対応付けを行う。

図１は、本実施形態にかかる移動体の例を示す図である。 図２は、繰り返しパターンを含む画像の一例である。 図３は、繰り返しパターン上に特徴点が存在し、且つ探索範囲も繰り返しパターン上に存在する時のスコア分布の例である。 図４は、本実施形態にかかる移動体の機能構成の例を示す図である。 図５は、本実施形態にかかる３次元点群推定部の機能ブロック図である。 図６Ａは、時刻ｔにおける画像上の特徴点の位置の例を示す図である。 図６Ｂは、時刻ｔ＋１における画像上の特徴点探索範囲の例を示す図である。 図７は、本実施形態にかかる特徴点マッチング部の機能ブロック図である。 図８は、画像処理方法の全体処理を示すフローチャートである。 図９は、特徴点と、対応座標との対応付け処理手順を示すフローチャートである。 図１０Ａは、時刻ｔにおける画像上の特徴点の位置の例を示す図である。 図１０Ｂは、時刻ｔ＋１における画像上の特徴点探索範囲の他の例を示す図である。 図１１は、類似する対応座標の配置例を示す図である。 図１２は、本実施形態の画像処理装置のハードウェア構成の例を示す図である。

以下、添付図面を参照して実施形態の画像処理装置について説明する。

本実施形態の画像処理装置は、例えば移動体に搭載される。

［移動体の例］
図１は実施形態の移動体１０の例を示す図である。

移動体１０は、画像処理装置２０、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び動力部１０Ｈを備える。

移動体１０は任意でよい。移動体１０は、例えば車両、台車及び移動ロボット等である。車両は、例えば自動二輪車、自動四輪車及び自転車等である。また、移動体１０は、例えば人による運転操作を介して走行する移動体でもよいし、人による運転操作を介さずに自動的に走行（自律走行）可能な移動体でもよい。

画像処理装置２０は、例えば専用又は汎用のコンピュータハードウェアにより実現される。画像処理装置２０は、移動体１０に搭載されたカメラ１０Ｂにより時系列に撮像された複数の画像に基づいて画像上の特徴点によるマッチング処理をする。マッチング処理とは、特定の画像で抽出された特徴点の座標の所定範囲と一致する部分を、次の画像における所定の探索範囲で探索して、当該特徴点と対応付けをするマッチング動作である。例えば、上記マッチング処理は、いわゆるブロックマッチング処理などである。なお、画像処理装置２０は、クラウドシステム上のサーバ装置により実現するようにしてもよい。

ここで、図２に繰り返しパターンを含む画像の例を示す。図２は、繰り返しパターンを含む画像の一例である。図２に示す画像は、いわゆるゼブラゾーンＺＮを含む。当該ゼブラゾーンＺＮは、ほぼ平行の部分が３つ繰り返しており、この平行の部分が繰り返しパターンに対応する。図２に示すような、いわゆるゼブラゾーンＺＮ上に特徴点がある場合、当該特徴点に類似する部分が所定距離毎にあるため誤った対応付けをしてしまう可能性がある。また、繰り返しパターンには、ガードレールのポール部分等も該当する。

ここで、図３に、繰り返しパターン上に特徴点が存在し、且つ探索範囲も繰り返しパターン上に存在する時のスコア分布の例を示す。ここでいうスコアとは、例えば特徴点の類似度合いを示すスコアである。図３に示す分布の横軸は、探索範囲上の位置を示す。また、図３に示す分布の縦軸は、上記スコアを示す。

画像中に繰り返しパターンがある場合、図３に示すように、類似度が高い座標が所定間隔で存在し、分布の峰が複数存在する。このことを、本実施形態では、多峰性があるという。

上記のようにスコア分布に多峰性がある場合、特徴点に類似している箇所が複数存在するので、単にスコアのみに基づいて対応付けすると、誤った対応付けをしてしまう可能性がある。例えば、本来特徴点に対応する点が点Ｘであったとしても、当該点Ｘよりもスコアがわずかに高い点である点Ｙ１および点Ｙ２があると、当該点Ｙ１に対して対応付けをしてしまう。

画像処理装置２０は、上述のような画像中の繰り返しパターンにより、特徴点に対して誤った対応付けをしてしまう可能性があると判断した場合、当該特徴点との対応付けを中止する。ここでいう中止とは、特徴点に対して対応する点が無いと判断することを示す。画像処理装置２０が、特徴点に対応する点が無いと判断した場合、後述する３次元点群推定部２３や障害物推定部２４が実行する処理において、上記特徴点を使用しない。

図１に戻り、動力部１０Ｈは、移動体１０に搭載された駆動デバイスである。動力部１０Ｈは、例えば、エンジン、モータ及び車輪等である。

動力制御部１０Ｇは、動力部１０Ｈを制御する。動力制御部１０Ｇの制御によって動力部１０Ｈが駆動する。

出力部１０Ａは情報を出力する。本実施形態では、出力部１０Ａは、画像処理装置２０によりマッチングした結果を示す情報を出力する。

出力部１０Ａは、例えば、画像処理装置２０による処理結果を送信する通信機能、画像処理装置２０による処理結果を表示する表示機能、及び、画像処理装置２０による処理結果を示す音を出力する音出力機能等を備える。出力部１０Ａは、例えば通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆの少なくとも１つを備える。なお、本実施形態では、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆを備えた構成を例にして説明する。

通信部１０Ｄは、画像処理装置２０による処理結果を他の装置へ送信する。例えば、通信部１０Ｄは、通信回線を介して、画像処理装置２０による処理結果を他の装置へ送信する。ディスプレイ１０Ｅは、画像処理装置２０による処理結果を表示する。ディスプレイ１０Ｅは、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、投影装置及びライト等である。スピーカ１０Ｆは、画像処理装置２０による処理結果を示す音を出力する。

カメラ１０Ｂは、例えば単眼カメラ、ステレオカメラ、魚眼カメラ及び赤外線カメラ等である。カメラ１０Ｂの数は任意でよい。また、撮像される画像はＲＧＢの３チャネルで構成されたカラー画像であってもよく、グレースケールで表現された１チャネルのモノクロ画像であってもよい。カメラ１０Ｂは、移動体１０周辺の時系列の画像を撮像する。カメラ１０Ｂは、例えば移動体１０の周辺を時系列に撮像することにより、時系列の画像を撮像する。移動体１０の周辺は、例えば当該移動体１０から予め定められた範囲内の領域である。この範囲は、例えばカメラ１０Ｂの撮像可能な範囲である。

本実施形態では、カメラ１０Ｂが、移動体１０の前方を撮影方向として含むように設置されている場合を例にして説明する。すなわち、本実施形態では、カメラ１０Ｂは、移動体１０の前方を時系列に撮像する。

センサ１０Ｃは、測定情報を測定するセンサである。測定情報は、例えば移動体１０の速度、並びに、移動体１０のハンドルの舵角を含む。センサ１０Ｃは、例えば慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、速度センサ及び舵角センサ等である。ＩＭＵは、移動体１０の三軸加速度及び三軸角速度を含む測定情報を測定する。速度センサは、タイヤの回転量から速度を測定する。舵角センサは、移動体１０のハンドルの舵角を測定する。

次に、本実施形態の移動体１０の機能構成の例について詳細に説明する。

［機能構成の例］
図４は本実施形態の移動体１０の機能構成の例を示す図である。

移動体１０は、画像処理装置２０、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び動力部１０Ｈを備える。画像処理装置２０は、処理部２０Ａ及び記憶部２０Ｂを備える。出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆを備える。

処理部２０Ａ、記憶部２０Ｂ、出力部１０Ａ、カメラ１０Ｂ、センサ１０Ｃ及び動力制御部１０Ｇは、バス１０Ｉを介して接続されている。動力部１０Ｈは、動力制御部１０Ｇに接続されている。

なお、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ及びスピーカ１０Ｆ）、カメラ１０Ｂ、センサ１０Ｃ、動力制御部１０Ｇ及び記憶部２０Ｂは、ネットワークを介して接続されていてもよい。接続に使用されるネットワークの通信方式は、有線方式であっても無線方式であってもよい。また、接続に使用されるネットワークは、有線方式と無線方式とを組み合わせることにより実現されていてもよい。

記憶部２０Ｂは情報を記憶する。記憶部２０Ｂは、例えば半導体メモリ素子、ハードディスク及び光ディスク等である。半導体メモリ素子は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びフラッシュメモリ等である。なお、記憶部２０Ｂは、画像処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶部２０Ｂは、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０Ｂを、複数の記憶媒体から構成してもよい。

処理部２０Ａは、画像取得部２１、エゴモーション推定部２２、３次元点群推定部２３、障害物推定部２４、及び、移動体制御部２５を備える。画像取得部２１、エゴモーション推定部２２、３次元点群推定部２３、障害物推定部２４、及び、移動体制御部２５は、例えば１又は複数のプロセッサにより実現される。

処理部２０Ａは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてもよい。また例えば、処理部２０Ａは、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のプロセッサ、すなわちハードウェアにより実現されてもよい。また例えば、処理部２０Ａは、ソフトウェア及びハードウェアを併用することにより実現されてもよい。

なお、実施形態において用いられる「プロセッサ」の文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、及び、プログラマブル論理デバイスを含む。プログラマブル論理デバイスは、例えば単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及び、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）等を含む。

プロセッサは、記憶部２０Ｂに保存されたプログラムを読み出し実行することで、処理部２０Ａを実現する。なお、記憶部２０Ｂにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、処理部２０Ａを実現する。

画像取得部２１は、カメラ１０Ｂによって撮像された画像をカメラ１０Ｂから取得する。画像取得部２１は、取得部の一例である。

エゴモーション推定部２２は、カメラ１０Ｂによって撮像された時系列の画像を取得し、当該時系列の画像に基づいて、移動体の移動に基づいた情報であるエゴモーション情報を推定する。エゴモーション推定部２２は、例えば、下記文献に記載の技術の手法により、当該時系列の画像に基づいてエゴモーション情報を推定する。R. Mur-Artal and J. D. Tardos, “ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras”, arXiv preprint arXiv:1610.06475, 2016.

エゴモーション推定部２２は、例えば、時刻ｔの画像と時刻ｔ＋１の画像との間におけるエゴモーション情報を推定する。ここで、時刻ｔ＋１の画像とは、時刻ｔの次のタイミングに撮像された画像をいう。

３次元点群推定部２３は、カメラ１０Ｂによって撮像された時系列の画像及びエゴモーション情報を取得する。また、３次元点群推定部２３は、時系列の画像及びエゴモーション情報に基づいて特徴点のマッチングをする。また、３次元点群推定部２３は、時刻ｔの画像の特徴点座標、時刻ｔ＋１の画像の対応座標、及びエゴモーション情報に基づいて特徴点の３次元座標を推定する。

障害物推定部２４は、３次元点群推定部２３により推定された３次元点群と、エゴモーション推定部２２により推定されたエゴモーション情報とに基づいて障害物を推定する。例えば、障害物推定部２４は、３次元点群の空間的密度が高い３次元領域、時系列の画像のそれぞれに３次元点群が出力された３次元領域がある場合、これらの３次元領域には障害物が存在すると推定する。

移動体制御部２５は、障害物推定部２４による障害物の推定結果に基づいて移動体を制御する。例えば、移動体制御部２５は、障害物の推定結果に基づいて、移動体１０が障害物に近づいていると判断した場合、動力制御部１０Ｇに停止動作を指示する制御信号を送出する。

続いて、図５を用いて、３次元点群推定部２３の機能構成について説明する。図５は、３次元点群推定部２３の機能ブロック図である。

３次元点群推定部２３は、特徴点抽出部１１０、特徴点探索範囲設定部１１１、特徴点マッチング部１１２、及び特徴点３次元推定部１１３を備える。

特徴点抽出部１１０は、カメラ１０Ｂによって撮像された時系列の画像から３次元推定を行うための特徴点を抽出する。特徴点抽出部１１０は、抽出部の一例である。特徴点抽出部１１０は、例えば、下記文献に記載の技術の手法により、時系列の画像から３次元推定を行うための特徴点を抽出する。J. Shi J. & C. Tomasi, “Good Features to Track”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94). pp.593 － 600, 1994.

特徴点探索範囲設定部１１１は、時刻ｔの画像の特徴点座標と、時刻ｔの画像・時刻ｔ＋１の画像間のエゴモーション情報とを取得し、時刻ｔ＋１の画像における特徴点探索ラインを決定する。特徴点探索範囲設定部１１１は、探索範囲設定部の一例である。特徴点探索範囲設定部１１１は、特徴点探索ラインとして、下記文献に記載のような時刻ｔの特徴点に対する時刻ｔ＋１のエピポーラ線を設定する。金谷, 菅谷, 金沢, “3次元コンピュータビジョン計算ハンドブック”, 森北出版, 2016.

ここで、図６を用いて、特徴点探索範囲の例について説明する。図６は、時刻ｔにおける画像上の特徴点の位置および時刻ｔ＋１の画像上の特徴点探索範囲の例を示す図である。図６Ａに示すように時刻ｔの画像における特徴点を特徴点Ｐ１とした場合、特徴点探索範囲設定部１１１は、時刻ｔ・時刻ｔ＋１間のエゴモーション情報と、特徴点Ｐ１とに基づいて、図６Ｂに示すような特徴点の探索ラインＬ１を決定する。

図５に戻り、特徴点マッチング部１１２は、特徴点と、特徴点の対応座標とのマッチング処理を行う。特徴点マッチング部１１２によるマッチング処理については、後述する。

特徴点３次元推定部１１３は、時刻ｔの画像の特徴点座標、時刻ｔ＋１の画像の対応座標、及びエゴモーション情報に基づいて特徴点の３次元座標を推定する。時刻ｔの画像の特徴点座標、時刻ｔ＋１の画像の対応座標、及びエゴモーション情報に基づいて特徴点の３次元座標を推定する方法は、公知技術を適用することができる。

続いて、図７を用いて、特徴点マッチング部１１２の機能構成について説明する。図７は、特徴点マッチング部１１２の機能ブロック図である。

特徴点マッチング部１１２は、探索範囲分割処理部１２１、特徴点対応付け処理部１２２、及び対応座標判定処理部１２３を備える。

探索範囲分割処理部１２１は、特徴点探索範囲設定部１１１により決定された特徴点探索ラインを複数の領域に分割する。

特徴点対応付け処理部１２２は、時刻ｔの画像、時刻ｔの特徴点座標、時刻ｔ＋１の画像、及び時刻ｔ＋１の画像における特徴点探索ラインに基づいて、特徴点探索ラインの分割範囲毎に特徴点の対応付け処理を実行し、特徴点との類似度を示すスコアが高い対応座標を抽出する。特徴点対応付け処理部１２２は、探索部の一例である。特徴点対応付け処理部１２２は、特徴点との類似度を示すスコアが予め定められている閾値である閾値Ａ以上である対応座標を抽出する。なお、特徴点対応付け処理部１２２は、特徴点探索ライン全体における、スコアが上位の対応座標を抽出するようにしてもよい。上記スコアを算出する方法は、公知技術を適用することができる。

対応座標判定処理部１２３は、特徴点と、特徴点対応付け処理部１２２が抽出した対応座標とを対応付けするか否かを判定する。対応座標判定処理部１２３は、マッチング部の一例である。対応座標判定処理部１２３は、特徴点の対応座標が複数抽出されている場合、対応座標のペアを選択し、それぞれの対応座標のスコアの差分や比と、それぞれの画像位置の距離とに基づいて、多峰性の有無を判定し、多峰性があると判定した場合、特徴点と対応座標とをマッチングさせることを中止する。また、対応座標判定処理部１２３は、多峰性が無いと判定した場合、最も高いスコアの対応座標を特徴点とマッチングさせる。

続いて、図８および図９を用いて、画像処理装置２０による画像処理方法を説明する。図８は、画像処理方法の全体処理を示すフローチャートである。

まず、画像取得部２１は、少なくとも１つ以上のカメラ１０Ｂによって時系列の画像を取得する（ステップＳ１）。続いて、エゴモーション推定部２２は、カメラ１０Ｂによって撮像された時系列の画像を取得し、当該時系列の画像からエゴモーション情報を推定する（ステップＳ２）。

続いて、３次元点群推定部２３の特徴点抽出部１１０は、カメラ１０Ｂによって撮像された時系列の画像から３次元推定を行うための特徴点を抽出する（ステップＳ３）。

続いて、３次元点群推定部２３の特徴点探索範囲設定部１１１は、時刻ｔの画像における特徴点座標と、時刻ｔ・時刻ｔ＋１間のエゴモーション情報とを取得し、時刻ｔ＋１の画像における特徴点探索ラインを決定する（ステップＳ４）。

続いて、特徴点マッチング部１１２の探索範囲分割処理部１２１は、特徴点探索範囲設定部１１１が決定した特徴点探索ラインを分割する。そして、特徴点対応付け処理部１２２は、特徴点探索ラインの分割範囲毎に特徴点の対応付け処理を実行し、特徴点との類似度を示すスコアが高い対応座標を抽出する（ステップＳ５）。

続いて、特徴点マッチング部１１２の対応座標判定処理部１２３は、特徴点と、対応座標との対応付けをする（ステップＳ６）。

続いて、図８のステップＳ６の処理の詳細について、図９に示すフローチャートを用いて説明する。図９は、特徴点と、対応座標との対応付け処理手順を示すフローチャートである。

まず、対応座標判定処理部１２３は、抽出結果として、特徴点対応付け処理部１２２から対応座標およびスコアを取得する（ステップＳ１１）。

続いて、対応座標判定処理部１２３は、抽出結果の対応座標が１点以上無い場合（ステップＳ１２：Ｎｏ）、マッチングさせる対応座標が無いので、マッチング失敗と判定し（ステップＳ２１）、処理を終了する。

対応座標判定処理部１２３は、抽出結果の対応座標が１点以上ある場合（ステップＳ１２：Ｙｅｓ）、抽出結果の対応座標が２点以上あるか否かを判断した結果、２点以上無いとき（ステップＳ１３：Ｎｏ）、対応座標が１点のみであり、多峰性が無いと判定し（ステップＳ１８）、マッチング成功と判定し（ステップＳ１９）、処理を終了する。

また、対応座標判定処理部１２３は、ステップＳ１３において、抽出結果の対応座標が２点以上あると判断した場合（ステップＳ１３：Ｙｅｓ）、対応座標のペアを生成し、当該対応座標のペアのスコアの差分が、予め定められている閾値Ｃ以下であるか否かを判断する（ステップＳ１５）。ここでいう対応座標のペアのスコアの差分が、予め定められている閾値Ｃ以下であるか否かの判断とは、対応座標のペアのスコアが近い値であるか否かを判断することをいう。例えば、対応座標のペアのスコアの差分が、閾値Ｃ以下であるか否かを判断する。対応座標判定処理部１２３は、対応座標のペアのスコアの差分が閾値Ｃ以下ではない場合（ステップＳ１５：Ｎｏ）、ステップＳ１７へ進み、全ての対応座標のペアのループ処理を実行したか否かを判断し、全ての対応座標のペアのループ処理を実行していない場合、ステップＳ１４へ進む。

ステップＳ１５において、スコアの差分が閾値Ｃ以下である場合（ステップＳ１５：Ｙｅｓ）、対応座標判定処理部１２３は、対応座標の画像上における距離を比較し、座標の画像上における距離が、予め定められている閾値Ｂ未満である場合（ステップＳ１６：Ｎｏ）、ステップＳ１７へ進み、全ての対応座標のペアのループ処理を実行したか否かを判断し、全ての対応座標のペアのループ処理を実行していない場合、ステップＳ１４へ進む。

ステップＳ１６において、対応座標判定処理部１２３は、対応座標の画像上における距離を比較し、座標の画像上における距離が閾値以上である場合（ステップＳ１６：Ｙｅｓ）、多峰性ありと判定し（ステップＳ２０）、誤ったマッチングをする可能性があるので、マッチング失敗と判定し（ステップＳ２１）、処理を終了する。

ステップＳ１７において、全ての対応座標のペアのループ処理を実行したか否かを判断し、全ての対応座標のペアのループ処理を実行した場合、対応座標判定処理部１２３は、閾値以上の距離が離れて、スコアの値が近い対応座標が複数存在しなかったことになるので、多峰性なしと判定する（ステップＳ１８）。そして、対応座標判定処理部１２３は、最もスコアの高い対応座標を特徴点にマッチングさせて（ステップＳ１９）、処理を終了する。

なお、上述の実施形態では、特徴点探索範囲設定部１１１が、特徴点探索ラインを決定する場合について述べたが、線状の探索範囲に限らず、所定領域を特徴点探索範囲にするようにしてもよい。

ここで、図１０に特徴点探索範囲の他の例を示す。図１０Ａに示すような、時刻ｔの画像の特徴点Ｐ１がある場合、特徴点探索範囲設定部１１１は、時刻ｔの特徴点座標と、時刻ｔ・時刻ｔ＋１間のエゴモーション情報とを取得し、図１０Ｂに示すような時刻ｔ＋１における探索範囲ＡＲ１を設定する。

続いて、図１１を用いて、画像処理装置２０の処理を説明する。図１１は、類似する対応座標の配置例を示す図である。図１１に示す分布の横軸は、探索範囲上の位置を示す。また、図１１に示す分布の縦軸は、スコアを示す。図１１に示すように、画像処理装置２０は、分割範囲を複数設定しておき、それぞれの分割範囲から、類似度のスコアが、閾値Ａを超えるスコアの座標を抽出する。画像処理装置２０は、対応座標のペア（点Ｘおよび点Ｙ）のスコアの差分を判断し、当該差分と閾値Ｃとを比較する。画像処理装置２０は、上記差分が閾値Ｃより少ない場合、点Ｘと点Ｙとの距離と、閾値Ｂとを比較し、点Ｘと点Ｙとの距離が、閾値Ｂより大きい場合、特徴点を対応座標と対応付けることを中止する。

対応座標のペアのスコアの差分が小さいということは、互いに類似した対応座標が複数存在することを示す。また、当該類似した対応座標同士の距離が、一定以上あるということは、特徴点が繰り返しパターン上など、類似した箇所が点在するところにあることを意味する。よって、類似する対応座標が点在する場合、単にスコアに基づいてマッチングすると、誤ったマッチング処理をしてしまう可能性がある。そこで、画像処理装置２０は、類似した対応座標同士の距離が、一定以上ある場合にマッチングを中止することで、誤ったマッチング処理をしてしまうことを回避することができる。

なお、対応座標のペアのスコアの差分を算出する代わりに、対応座標判定処理部１２３が、対応座標のペアのスコアの比率を算出し、当該比率に基づいて対応座標のペアが互いに類似するか否かを判断するようにしてもよい。

また、特徴点探索範囲設定部１１１は、移動体１０の移動に基づいて探索範囲を設定する場合について述べたが、時刻ｔの画像から抽出した標識等の目標物に基づいて、時刻ｔ＋１の画像の探索範囲を設定するようにしてもよい。

上述の実施形態によれば、画像処理装置２０の画像取得部２１は、移動体１０に搭載されたカメラ１０Ｂによって撮像された複数の画像を取得する。特徴点抽出部１１０は、時刻ｔに対応する画像の特徴点を抽出する。特徴点探索範囲設定部１１１は、時刻ｔ＋１に対応する画像における特徴点の対応箇所を探索する範囲である探索範囲を、エゴモーション情報に基づいて設定する。特徴点マッチング部１１２の特徴点対応付け処理部１２２は、時刻ｔ＋１に対応する画像の探索範囲から対応箇所を探索する。対応座標判定処理部１２３は、対応箇所が複数ある場合、対応箇所の位置関係に基づいて対応箇所と特徴点との対応付けをする。

画像処理装置２０は、上述のような繰り返しパターン上の特徴点から対応箇所を探索した場合、互いに距離がある複数の対応箇所があると、マッチング処理を誤る可能性がある。画像処理装置２０は、複数の対応箇所の距離が離れていない場合に、対応付けをすることで、適切に対応付けをすることができる。すなわち、画像処理装置２０は、画像間のマッチングにおいて、誤った対応付けを防止することができる。

また、画像処理装置２０の特徴点対応付け処理部１２２は、探索範囲を分割した分割範囲毎に、対応箇所を探索する。

このように、画像処理装置２０は、分割範囲毎に対応箇所を探索することで、上述のような繰り返しパターン上に特徴点がある場合に、離れた分割範囲のそれぞれに対応箇所があることを特定することで、マッチング処理を誤る可能性がある状況を特定することができる。

また、対応座標判定処理部１２３は、対応箇所が複数ある場合、対応箇所同士の距離に基づいて対応箇所と特徴点との対応付けを中止する。このように、画像処理装置２０は、対応箇所の距離が離れているような、マッチング処理を誤る可能性が高い場合に、マッチング処理を中止することで、マッチング処理を誤ってしまうことを回避することができる。

対応座標判定処理部１２３は、対応箇所同士の類似度にさらに基づいて特徴点との対応付けを行うことで、類似度が近い対応箇所が、離れて存在するようなマッチング処理を誤る可能性のある場合を特定することができ、適切に対応付けをすることができる。

なお、上述の実施形態では、障害物検知をする装置に画像処理装置２０を適用する場合について述べたが、これに限られず、物体を検知する装置に画像処理装置２０を適用するようにしてもよい。

また、画像処理装置２０を搭載する移動体は、車両以外の装置でもよく、いわゆるドローン、ロボットに適用するようにしてもよい。

なお、画像処理装置２０は、探索範囲を分割する場合について述べたが、探索範囲を分割しなくてもよい。

なお、画像処理装置２０は、複数の対応座標が存在する場合、複数の対応座標のスコアを比較する値について閾値と比較する場合について述べたが、当該複数の対応座標のスコアを比較する値を算出しなくてもよい。

また、画像処理装置２０は、複数の対応座標が存在する場合、複数の対応座標の距離を算出して、特徴点と対応座標とを対応付けるか否かを判断する例について述べたが、複数の対応座標が属する分割範囲が相違するか否かに基づいて特徴点と対応座標とを対応付けるか否かを判断するようにしてもよい。すなわち、複数の対応座標について、距離以外の位置関係に関する情報に基づいて特徴点と対応座標とを対応付けるか否かを判断するようにしてもよい。

最後に、本実施形態の画像処理装置２０のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１２は本実施形態の画像処理装置２０のハードウェア構成の例を示す図である。画像処理装置２０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

なお、表示装置３０４、入力装置３０５及び通信装置３０６は備えていなくてもよい。例えば、画像処理装置２０が他の装置と接続される場合、当該他の装置の表示機能、入力機能及び通信機能を利用してもよい。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。

画像処理装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また画像処理装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また画像処理装置２０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また画像処理装置２０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

画像処理装置２０で実行されるプログラムは、画像処理装置２０の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なお画像処理装置２０の機能の一部を、ＩＣ等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 移動体、２０ 画像処理装置、２１ 画像取得部、２２ エゴモーション推定部、２３ ３次元点群推定部、２４ 障害物推定部、２５ 移動体制御部、１１０ 特徴点抽出部、１１１ 特徴点探索範囲設定部、１１２ 特徴点マッチング部、１１３ 特徴点３次元推定部、３０１ 制御装置、３０２ 主記憶装置、３０３ 補助記憶装置、３０４ 表示装置、３０５ 入力装置、３０６ 通信装置。

Claims (8)

1. 移動体に搭載されたカメラによって撮像された時系列の複数の画像を取得する取得部と、
   前記取得部により取得された第１画像の特徴点を抽出する抽出部と、
   前記取得部により取得された第２画像における前記特徴点の対応箇所を探索する範囲である探索範囲を設定する探索範囲設定部と、
   前記第２画像における探索範囲から前記特徴点の対応箇所を探索する探索部と、
   前記探索部により探索された対応箇所が複数ある場合、対応箇所同士の位置関係に基づいて対応箇所と前記特徴点との対応付けを行うマッチング部と、
   を備える画像処理装置。
2. 前記探索部は、前記探索範囲を分割した分割範囲毎に、前記特徴点の対応箇所を探索する、請求項１に記載の画像処理装置。
3. 前記マッチング部は、前記位置関係として、対応箇所同士の距離に基づいて前記対応箇所と前記特徴点との対応付けを中止する、請求項１に記載の画像処理装置。
4. 前記マッチング部は、対応箇所同士の類似度にさらに基づいて前記対応箇所と前記特徴点との対応付けを行う、請求項１に記載の画像処理装置。
5. 前記マッチング部は、前記対応箇所同士の類似度の比率にさらに基づいて前記対応箇所と前記特徴点との対応付けを行う、請求項４に記載の画像処理装置。
6. 前記探索範囲設定部は、前記移動体の移動に基づいて設定する、請求項１に記載の画像処理装置。
7. 前記探索範囲に繰り返しパターンを含む、請求項１に記載の画像処理装置。
8. 移動体に搭載されたカメラによって撮像された時系列の複数の画像を取得する取得ステップと、
   前記取得ステップで取得した第１画像の特徴点を抽出する抽出ステップと、
   前記取得ステップで取得した第２画像における前記特徴点の対応箇所を探索する範囲である探索範囲を設定する探索範囲設定ステップと、
   前記第２画像における探索範囲から前記特徴点の対応箇所を探索する探索ステップと、
   前記探索ステップで探索した対応箇所が複数ある場合、対応箇所同士の位置関係に基づいて対応箇所と前記特徴点との対応付けを行うマッチングステップと、
   を含む画像処理方法。

Images