JP2021163151A - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】平面を有する物体の法線を好適に算出可能な情報処理装置を提供する。【解決手段】車載機１は、画像取得手段と、射影変換手段と、法線算出手段とを有する。画像取得手段は、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する。射影変換手段は、第１画像に対する第２画像の相対的な撮影位置及び撮影姿勢と、第１画像の撮影位置から対象物までの距離と、対象物の法線の暫定値と、に基づき、第１画像を射影変換する。法線算出手段は、第１画像が射影変換された射影変換画像と第２画像との対象物の相関度に基づき、法線を算出する。【選択図】図７

Description

本発明は、物体の法線を算出する技術に関する。

従来から、平面物体の法線を算出する技術が知られている。例えば、特許文献１には、３枚以上の平面物体が写り込んだ画像を用いて、平面物体の法線を算出する法線推定装置が開示されている。

特開２０１８−９７７９５号公報

特許文献１では、３枚以上の平面物体が写り込んだ画像を用いて平面物体の法線を算出しているが、撮影状況によっては、３枚以上の平面物体が写り込んだ画像を取得することができない場合があり、より少ない画像枚数により平面物体の法線を算出できることが望ましい。

本発明は、上記のような課題を解決するためになされたものであり、平面を有する物体の法線を好適に算出することが可能な情報処理装置を提供することを主な目的とする。

請求項に記載の発明は、情報処理装置であって、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換する射影変換手段と、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段と、を有する。

また、請求項に記載の発明は、コンピュータにより、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得し、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換し、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する、制御方法である。

また、請求項に記載の発明は、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換する射影変換手段と、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段としてコンピュータを機能させるプログラムである。

法線算出システムの概略構成である。 車載機のブロック構成を示す。 車載機の機能ブロック図を示す。 道路上での第１画像及び第２画像の各取得時のカメラと対象物との俯瞰図を示す。 （Ａ）第１画像の例を示す。（Ｂ）第２画像の例を示す。 （Ａ）図５（Ａ）に示す第１画像の破線枠内の画素領域を示す。（Ｂ）第１画像を射影変換した場合の破線枠内の画素領域を示す。（Ｃ）図５（Ｂ）に示す第２画像の破線領域内の画素領域を示す。 法線算出処理の手順を示すフローチャートの一例である。 変形例１に係る車載機のブロック構成図を示す。 変形例２に係る法線算出システムの概略構成図である。 変形例２に係る地図生成装置のブロック構成を示す。

本発明の好適な実施形態によれば、情報処理装置は、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換する射影変換手段と、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段と、を有する。情報処理装置は、この態様により、対象物が写された２枚の画像に基づいて、対象物の法線を好適に算出することができる。

上記情報処理装置の一態様では、前記法線算出手段は、前記法線の暫定値を変えて前記相関度を複数回算出した場合に当該相関度が最も高くなる前記暫定値を、前記法線として算出する。対象物の法線の推定精度が高いほど射影変換の精度が高まり、上記の相関度が高くなる。よって、情報処理装置は、法線の暫定値を変えて相関度を複数回算出し、算出した相関度を指標として法線を決定することで、最適な法線を好適に探索することができる。

上記情報処理装置の他の一態様では、前記射影変換手段は、前記暫定値の初期値を、前記第１画像の撮影位置と前記第２画像の撮影位置とから定まるベクトルに基づき設定する。これにより、情報処理装置は、対象物の正面方向に向かって撮影位置が移動する場合に、法線の暫定値の初期値を好適に設定することができる。

上記情報処理装置の他の一態様では、前記射影変換手段は、前記暫定値の初期値を、前記第１画像又は前記第２画像の撮影位置と、前記対象物の位置とから定まるベクトルに基づき設定する。これにより、情報処理装置は、対象物を正面方向から撮影する場合に、法線の暫定値の初期値を好適に設定することができる。

上記情報処理装置の他の一態様では、前記対象物の幾何的な情報である幾何情報を取得する幾何情報取得手段を有し、前記法線算出手段は、前記幾何情報に基づき、前記対象物の領域を前記射影変換画像及び前記第２画像から抽出し、前記射影変換画像と前記第２画像の各々から抽出した領域に基づき前記相関度を算出する。この態様により、情報処理装置は、射影変換画像及び第２画像から対象物の領域を的確に抽出し、対象物でない画素領域を比較対象とすることに起因した相関度の誤差の発生を好適に抑制することができる。

上記情報処理装置の他の一態様では、前記対象物の幾何的な情報である幾何情報を取得する幾何情報取得手段を有し、前記法線算出手段は、前記幾何情報に基づき、前記暫定値の更新値を決定する。この態様により、情報処理装置は、暫定値の更新値を好適に設定することができる。

上記情報処理装置の他の一態様では、前記射影変換手段は、前記第１画像と前記第２画像とに基づき、前記対象物の位置を算出し、前記対象物の位置と前記第１画像の撮影位置と前記暫定値とに基づき、前記距離を算出する。情報処理装置は、この態様により、射影変換に必要な距離を好適に算出することができる。

上記情報処理装置の他の一態様では、前記第１画像と前記第２画像とは、車両と共に移動するカメラにより生成され、前記対象物は、標識である。この態様により、情報処理装置は、車両から撮影された標識の法線を好適に算出することができる。

本発明の他の好適な実施形態によれば、制御方法は、コンピュータにより、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得し、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換し、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する。コンピュータは、この制御方法を実行することで、対象物が写された２枚の画像に基づいて、対象物の法線を好適に算出することができる。

本発明の他の好適な実施形態によれば、プログラムは、平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、前記第１画像の撮影位置から前記対象物までの距離と、前記対象物の法線の暫定値と、に基づき、前記第１画像を射影変換する射影変換手段と、前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段としてコンピュータを機能させる。コンピュータは、このプログラムを実行することで、対象物が写された２枚の画像に基づいて、対象物の法線を好適に算出することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

（１）システム概要
図１は、本実施例に係る法線算出システムの概略構成図である。図１に示す法線算出システムは、道路上又は道路周辺に存在する物体の法線を算出するシステムであり、車載機１と、カメラ２と、を有する。これらは同一の車両に搭載されている。以後では、法線を算出する対象となる物体を「対象物」と呼ぶ。

車載機１は、カメラ２が生成したデータに基づき、対象物の法線を算出する。例えば、車載機１は、標識を対象物とみなし、標識を含むカメラ２の画像に基づき、当該標識の法線を算出する。なお、対象物は、標識の他、方面看板、キロポスト、１００ｍポスト、デリニエータ等の平面を有する任意の地物であってもよい。車載機１は、「情報処理装置」の一例である。

カメラ２は、車両に設置され、車両からの風景を撮影した画像（「撮影画像」とも呼ぶ。）を生成する。なお、撮影画像には、当該撮影画像の撮影日時（生成日時）を示す日時データがメタデータとして含まれている。カメラ２は、日時データが含まれる撮影画像を、車載機１へ供給する。

なお、図１に示す法線算出システムの構成は一例であり、図１に示す構成に対して種々の変形を行ってもよい。例えば、車載機１と、カメラ２とが一体に構成されてもよい。この場合、車載機１と、カメラ２とは、１台のドライブレコーダとして構成されてもよい。また、車載機１は、複数の装置から構成されてもよい。この場合、複数の装置は、予め割り当てられた処理を実行し、かつ、互いに必要なデータの授受を装置間において行う。

（２）装置構成
図２は、車載機１の機能的構成を示すブロック図である。車載機１は、主に、インターフェース１１と、メモリ１２と、コントローラ１５とを有する。これらの各要素は、バスラインを介して相互に接続されている。

インターフェース１１は、車載機１と外部装置とのデータの授受に関するインターフェース動作を行う。本実施形態では、インターフェース１１は、カメラ２等から出力されるデータを取得し、メモリ１２へ供給する。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ１２は、コントローラ１５が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、コントローラ１５の作業メモリとして使用される。なお、コントローラ１５が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

また、メモリ１２は、機能的には、撮影画像記憶部１６と、法線情報記憶部１８とを有する。撮影画像記憶部１６は、カメラ２が生成した撮影画像を記憶する。この撮影画像は、撮影日時を示す日時データをメタデータとして含む。法線情報記憶部１８は、対象物の法線に関する情報（「法線情報」とも呼ぶ。）を記憶する。法線情報は、例えば、対象物の識別情報（種類又は／及び位置を示す情報などを含む）と、算出された法線ベクトル（向き情報）とが関連付けられた情報である。

なお、撮影画像記憶部１６及び法線情報記憶部１８の少なくとも１つは、インターフェース１１を介して車載機１と接続されたハードディスクなどの車載機１の外部の記憶装置に記憶されてもよい。

コントローラ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ等を含み、車載機１の全体を制御する。この場合、コントローラ１５は、メモリ１２等に記憶されたプログラムを実行することで、対象物の法線算出処理などを行う。コントローラ１５は、「画像取得手段」、「射影変換手段」、「法線算出手段」及びプログラムを実行するコンピュータ等として機能する。

なお、コントローラ１５が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ１５が実行する処理は、例えばＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ１５が本実施例において実行するプログラムを実現してもよい。このように、コントローラ１５は、プロセッサ以外のハードウェアにより実現されてもよい。

（３）機能ブロック
コントローラ１５が実行する法線算出処理について説明する。概略的には、コントローラ１５は、対象物を含む２枚の撮影画像の一方に対し、対象物の法線の暫定値を設定して射影変換を行い、射影変換後の撮影画像と他方の撮影画像との相関度が最大となるように、法線の最適化を行う。

図３は、法線算出処理に関するコントローラ１５の機能的な構成を示すブロック図である。図３に示すように、コントローラ１５は、機能的には、画像取得部２１と、撮影パラメータ算出部２２と、射影変換部２３と、画像比較部２４と、最適化部２５とを有する。なお、撮影画像記憶部１６には、カメラ２が生成する撮影画像が蓄積される。

画像取得部２１は、対象物を含む２枚の撮影画像を撮影画像記憶部１６から抽出する。この場合、画像取得部２１は、例えば、撮影画像記憶部１６に蓄積される各撮影画像に対して画像認識処理を行うことで対象物の検出を行う。この場合、画像取得部２１は、パターンマッチングに基づく対象物の検出を行ってもよく、入力された画像から当該画像内に存在する特徴物の種類及びその画素領域の情報を出力する推論器を用いて対象物の検出を行ってもよい。上記の推論器は、例えば、深層学習などの機械学習に基づく学習モデルであり、画像取得部２１は、事前の機械学習により得られた推論器のパラメータをメモリ１２等から読み出すことで上記の推論器を構成し、当該推論器に撮影画像を入力する。そして、画像取得部２１は、撮影画像から対象物を検出した場合、当該対象物を含む２枚の撮影画像を撮影画像記憶部１６から抽出する。この２枚の撮影画像は、連続して撮影された撮影画像に限らず、十分な視差が生じるように所定のフレーム数分間隔が空けられた撮影画像であってもよい。以後では、画像取得部２１が取得した２枚の撮影画像を、夫々、「第１画像」及び「第２画像」と呼ぶ。

なお、車載機１は、画像取得部２１において対象物を含む複数組の撮影画像を取得し、組毎の対象物の法線の算出結果を統計処理することで、法線情報記憶部１８に記憶する対象物の法線を求めてもよい。

撮影パラメータ算出部２２は、撮影画像を撮影したカメラ２の撮影位置及び撮影姿勢を、撮影パラメータ（所謂、カメラ２の外部パラメータ）として算出する。この場合、撮影パラメータ算出部２２は、種々のＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）において用いられる方法により、各撮影画像の撮影パラメータを認識する。また、撮影パラメータ算出部２２は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの手法を用いて、視点の異なる少なくとも４枚以上の撮影画像のみから、撮影パラメータを算出してもよい。

撮影パラメータ算出部２２は、算出した第１画像及び第２画像の撮影パラメータを示す情報を、射影変換部２３に供給する。なお、撮影パラメータ算出部２２は、第１画像及び第２画像に対してのみ撮影パラメータを算出する代わりに、カメラ２が生成する全ての撮影画像に対して撮影パラメータを算出してもよい。この場合、撮影パラメータ算出部２２は、算出した撮影パラメータを、対象の撮影画像と関連付けて撮影画像記憶部１６に記憶させてもよい。

射影変換部２３は、第１画像及び第２画像の一方を、他方の撮影位置及び撮影姿勢により撮影した画像となるように、射影変換を行う。本実施例では、射影変換部２３は、第１画像に対して射影変換を行うことで、第２画像の撮影位置及び撮影姿勢に変換した第１画像（「射影変換画像」とも呼ぶ。）を生成する。この場合、射影変換部２３は、射影変換に必要な対象物の法線ベクトルを所定の暫定値に設定することで、第１画像への射影変換を行う。射影変換部２３による射影変換については後述する。

画像比較部２４は、第１画像が射影変換された射影変換画像と、第２画像との対象物の相関度（マッチングの度合）を算出する。この場合に用いられる相関度は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などの種々の指標であってもよい。この相関度は、色情報を用いて算出が行われてもよい。また、画像比較部２４は、相関度の算出する場合、第１画像及び第２画像のうち、対象物が表された領域（「対象物領域」とも呼ぶ。）を任意の画像認識処理を行うことで抽出し、抽出した対象物領域を対象として相関度の算出を行う。なお、画像比較部２４は、画像取得部２１が第１画像及び第２画像上での対象物領域の検出を行っている場合には、画像取得部２１による検出結果に基づき、上記の対象物領域を認識してもよい。

最適化部２５は、画像比較部２４が算出した相関度に基づき、射影変換部２３が射影変換に用いる対象物の法線ベクトルの最適化を行う。具体的には、最適化部２５は、画像比較部２４が算出する相関度が最大となるように、射影変換部２３が射影変換に用いる対象物の法線ベクトルの暫定値を変更する。そして、最適化部２５は、法線ベクトルの暫定値を変えて画像比較部２４に射影変換を実行させ、その実行結果に基づく相関度を複数回算出した場合に当該相関度が最も高くなる法線ベクトルの暫定値を、対象物の法線ベクトルとみなす。ここで、最適化部２５は、例えば、相関度が所定の閾値以上となるまで、又は、繰り返しの相関度の算出による相関度の変化量が所定の閾値以下となるまで、法線ベクトルの暫定値を変えて相関度を算出する処理を継続する。

なお、このような法線ベクトルの最適化は、種々の最適化手法を用いることができる。例えば、最適化部２５は、非線形の最適化手法であるＬＭ法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ Ｍｅｔｈｏｄ）、ニュートン法などを用い、次に探索すべき法線ベクトルの暫定値を設定してもよい。最適化部２５は、法線ベクトルと対象物の識別情報とを関連付けた法線情報を、法線情報記憶部１８に記憶する。

車載機１は、法線情報記憶部１８に記憶された法線情報を、所定の間隔により地図データを管理するサーバ装置等に送信してもよい。この場合、車載機１が生成した法線情報が地図データの更新処理に用いられる。

（４）射影変換の詳細
次に、射影変換部２３が実行する射影変換処理について説明する。図４は、道路上での第１画像及び第２画像の各取得時のカメラ２と対象物５０との俯瞰図を示す。対象物５０は、道路上に設けられた平面状の標識である。図４では、第１画像の取得時のカメラ２の位置「Ｐ１」と、第２画像の取得時のカメラ２の位置「Ｐ２」と、対象物５０の中心位置「Ｐ３」とが明示されている。また、ここでは、前提として、第１画像が取得された後に第２画像が取得されたものとする。

この場合、射影変換部２３は、撮影パラメータ算出部２２の算出結果に基づき、第１画像に対する第２画像の相対的な撮影位置を示す相対ベクトル（並進ベクトル）「ｔ」と、第１画像に対する第２画像の相対的な撮影姿勢を示す回転行列「Ｒ」とを認識する。そして、射影変換部２３は、以下の式に基づき、第１画像を第２画像に変換するための射影変換行列「Ｈ」を算出する。

ここで、「Ｎ」は、カメラ２の内部パラメータを示し、「ｈ」は、第１画像の撮影位置Ｐ１から対象物５０の平面までの垂線の長さ（「対象物距離」とも呼ぶ。）を示し、「ｎ」は、対象物５０の法線ベクトルを示す。なお、カメラ２の内部パラメータＮに関する情報は、例えば、メモリ１２等に予め記憶されている。

まず、法線ベクトルｎの暫定値である法線ベクトルｎの初期値の設定方法について説明する。

第１の例では、射影変換部２３は、法線ベクトルｎの初期値を、並進ベクトルｔの逆方向ベクトル（−ｔ）に設定する。一般に、道路に設けられた標識の場合、運転者が視認し易いように車両の進行方向の反対方向に標識が向けられていることが多い。以上を勘案し、射影変換部２３は、並進ベクトルｔの逆方向ベクトル（−ｔ）を法線ベクトルｎの初期値に設定することで、法線ベクトルｎの初期値を正確性の高い値に設定することができる。

第２の例では、射影変換部２３は、法線ベクトルｎの初期値を、対象物５０の中心位置Ｐ３から第２画像の取得時のカメラ２の位置Ｐ２までのベクトル（即ち、Ｐ２−Ｐ３）に設定する。なお、標識が水平面に対して垂直であることを前提とする場合には、射影変換部２３は、位置Ｐ２と位置Ｐ３の高さ（標高）成分については考慮せず、これらの値を０に設定して上記ベクトルを算出するとよい。上述したように、道路に設けられた標識の場合、運転者が視認し易いように標識は車両に向けられていることが一般的であるため、第２の例においても、射影変換部２３は、法線ベクトルｎの初期値を正確性の高い値に設定することができる。なお、第２の例において、射影変換部２３は、法線ベクトルｎの初期値を、対象物５０の中心位置Ｐ３から第１画像の取得時のカメラ２の位置Ｐ１までのベクトル（即ち、Ｐ１−Ｐ３）に設定してもよい。

次に、対象物距離ｈの算出方法について説明する。射影変換部２３は、第１画像及び第２画像を用いて、三角測量を用いたステレオ計測法に基づいて、３次元位置である対象物５０の中心位置Ｐ３を算出する。また、その後、好適には、射影変換部２３は、バンドル調整などの最適化手法に基づき、算出した３次元点の最適化を行う。この場合、射影変換部２３は、第１画像及び第２画像に加えて、又はこれに代えて、対象物５０が表示された他の撮影画像を用いて対象物５０の中心位置Ｐ３を算出してもよい。そして、射影変換部２３は、算出した対象物５０の中心位置Ｐ３と、第１画像の取得時の撮影位置Ｐ１との距離と、法線ベクトルｎの暫定値とを用いて、点と平面の距離公式に基づき、対象物距離ｈを算出する。

以上のように、射影変換部２３は、並進ベクトルｔと、回転行列Ｒと、法線ベクトルｎの暫定値（初期値）と、対象物距離ｈとを夫々算出し、上式に基づき、射影変換行列を算出する。これにより、射影変換部２３は、第１画像への射影変換を好適に実行することができる。

次に、射影変換部２３による射影変換の具体例について説明する。

図５（Ａ）は、図４の例における第１画像の一例を示し、図５（Ｂ）は、図４の例における第２画像の一例を示す。図５（Ａ）に示す第１画像及び図５（Ｂ）に示す第２画像では、速度制限に関する標識である対象物５０が写されている。図６（Ａ）は、図５（Ａ）に示す第１画像の破線枠Ｆ１内の画素領域を示す。図６（Ｂ）は、第１画像を射影変換した場合の破線枠Ｆ１内の領域に相当する画素領域を示す。図６（Ｃ）は、図５（Ｂ）に示す第２画像の破線枠Ｆ２内の画素領域を示す。

射影変換部２３は、第２画像の第１画像に対する相対的な撮影位置を示す並進ベクトルｔ、及び、第２画像の第１画像に対する相対的な撮影姿勢を示す回転行列Ｒ等を用いて算出した射影変換行列を第１画像に適用する。この場合、図６（Ｂ）に示すように、第１画像が射影変換された射影変換画像では、第２画像と同様の見え方になるように対象物の大きさ及び姿勢が変化する。なお、この場合、射影変換行列に用いた法線ベクトルｎは暫定値であるため、法線ベクトルｎの暫定値の精度（正確度）に応じ、第２画像の見え方とのずれが生じる。その後、画像比較部２４は、射影変換画像に対して破線枠Ｆ３が示す画素領域を対象物領域として抽出し、抽出した破線枠Ｆ３内の画素領域と、第２画像から対象物領域として抽出した破線枠Ｆ２内の画素領域と比較することで、相関度を算出する。この場合、法線ベクトルｎの暫定値の正確度が高い（即ち真の値に近い）ほど、対応する相関度が高くなる。よって、車載機１は、相関度が高くなる法線ベクトルｎの暫定値を最適化により求めることで、正確な法線ベクトルｎを求めることができる。

（５）処理フロー
図７は、車載機１が実行する法線算出処理の手順を示すフローチャートの一例である。車載機１は、図７に示すフローチャートの処理を、例えば、法線を算出すべき対象物をカメラ２が生成する撮影画像から検出した場合に実行する。

まず、車載機１は、対象物が含まれる第１画像及び第２画像を取得する（ステップＳ１１）。この場合、車載機１は、カメラ２が生成する撮影画像を記憶する撮影画像記憶部１６から、法線を算出する対象となる対象物が含まれる任意の２枚の撮影画像を、夫々、第１画像及び第２画像として抽出する。なお、車載機１は、対象物を含む複数組の撮影画像を取得し、取得した撮影画像の各組について後述のステップＳ１２〜ステップＳ１８を行うことで法線ベクトルを算出し、算出した法線ベクトルの平均などの代表値を、求めるべき対象物の法線として算出してもよい。

次に、車載機１は、第１画像及び第２画像の相対的な撮影位置及び撮影姿勢に相当する並進ベクトルｔ及び回転行列Ｒを算出する（ステップＳ１２）。この場合、車載機１は、例えば、第１画像及び第２画像を含む複数の画像を解析することで、並進ベクトルｔ及び回転行列Ｒを算出する。

次に、車載機１は、対象物の法線ベクトルｎの暫定値を設定する（ステップＳ１３）。この場合、車載機１は、１回目の処理では、第１画像の撮影位置、第２画像の撮影位置又は対象物の位置のいずれか２つの相対位置に基づき、法線ベクトルのｎの暫定値を設定する。また、車載機１は、２回目以降の処理では、最適化手法に基づき、法線ベクトルのｎの暫定値を前回値から変更する。

次に、車載機１は、第１画像の撮影位置と対象物との距離である対象物距離ｈを算出する（ステップＳ１４）。この場合、例えば、車載機１は、ステップＳ１３で設定した法線ベクトルの暫定値と、第１画像及び第２画像に基づき算出した対象物の中心位置とに基づき、対象物距離ｈを算出する。なお、２回目以降の処理では、車載機１は、対象物距離ｈを、最適化手法に基づき更新された法線ベクトルを用いて計算する。この処理は、図３の射影変換部２３により実行される。

そして、車載機１は、ステップＳ１２〜ステップＳ１４で算出した並進ベクトルｔ、回転行列Ｒ、法線ベクトルｎの暫定値、対象物距離ｈに基づき、射影変換行列を算出する（ステップＳ１５）。そして、車載機１は、算出した射影変換行列により射影変換した第１画像である射影変換画像と、第２画像との対象物の相関度を算出する（ステップＳ１６）。

そして、車載機１は、法線ベクトルの最適化を終了すべきか否か判定する（ステップＳ１７）。例えば、車載機１は、ステップＳ１６で算出された相関度が所定の閾値以上となった場合、ステップＳ１３〜ステップＳ１６の処理を規定回数だけ繰り返した場合、又は、ステップＳ１６で算出される相関度の変化幅が所定の閾値未満である場合などに、最適化を終了すべきと判定する。そして、車載機１は、最適化を終了する場合（ステップＳ１７；Ｙｅｓ）、対象物の法線ベクトルを決定する（ステップＳ１８）。この場合、車載機１は、相関度が最も高くなった法線ベクトルの暫定値を、対象物の法線ベクトルとして決定する。その後、車載機１は、決定した対象物の法線ベクトルに関する情報を、法線情報記憶部１８に記憶する。一方、車載機１は、最適化を終了すべきでないと判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１３へ処理を戻す。この場合、車載機１は、ステップＳ１３において、適用する最適化手法に基づき、法線ベクトルのｎの暫定値を前回値から変更し、ステップＳ１４〜ステップＳ１６の処理を実行する。

以上説明したように、実施例に係る車載機１は、画像取得手段と、射影変換手段と、法線算出手段とを有する。画像取得手段は、平面を有する対象物を含む第１画像と、対象物を含む第２画像とを取得する。射影変換手段は、第１画像に対する第２画像の相対的な撮影位置及び撮影姿勢と、第１画像の撮影位置から対象物までの距離と、対象物の法線の暫定値と、に基づき、第１画像を射影変換する。法線算出手段は、第１画像が射影変換された射影変換画像と第２画像との対象物の相関度に基づき、法線を算出する。これにより、車載機１は、対象物を含む２枚の画像に基づいて対象物の法線を正確に算出することができる。

（６）変形例
上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上記実施例に適用されてもよい。

（変形例１）
車載機１は、対象物の形状に関する幾何情報をさらに参照して法線算出処理を行ってもよい。

図８は、変形例１に係る車載機１Ａのブロック構成図を示す。車載機１Ａは、図２に示す車載機１のブロック構成と同様に、インターフェース１１、メモリ１２、及びコントローラ１５を備える。メモリ１２は、撮影画像記憶部１６と、法線情報記憶部１８と、幾何情報記憶部１９とを有する。そして、車載機１Ａのコントローラ１５は、機能的には、画像取得部２１、撮影パラメータ算出部２２、射影変換部２３、画像比較部２４、及び最適化部２５に加えて、幾何情報取得部２６を有する。

幾何情報記憶部１９は、対象物として法線検出が行われる対象となる地物の幾何情報を記憶する。この幾何情報は、対象の地物の幾何的な情報（即ち形状を示す情報）であり、例えば形状が異なる地物の種類（カテゴリ）ごとに存在する。例えば、対象物が標識を含む場合には、標識の種類ごとに、当該種類に該当する標識の形状を示す情報が幾何情報として幾何情報記憶部１９に記憶される。例えば、速度制限の標識が丸形状、横断歩道の標識が三角形状、交差点の標識がひし形形状である場合には、これらの情報が幾何情報として幾何情報記憶部１９に記憶される。なお、幾何情報は、サイズの情報を含んでもよい。

幾何情報取得部２６は、画像取得部２１が検出した対象物に対応する幾何情報を幾何情報記憶部１９から抽出する。例えば、画像取得部２１は、学習等により得られた推論器に撮影画像を入力したときに出力される対象物の種類の情報を幾何情報取得部２６に供給し、幾何情報取得部２６は、画像取得部２１から供給された対象物の種類に紐付いた幾何情報を幾何情報記憶部１９から抽出する。そして、幾何情報取得部２６は、抽出した幾何情報を画像比較部２４又は最適化部２５の少なくとも一方に供給する。このように、コントローラ１５は、「幾何情報取得手段」として機能する。

画像比較部２４による幾何情報の活用について説明する。画像比較部２４は、幾何情報取得部２６から供給される幾何情報に基づき、相関度の算出を行う。例えば、画像比較部２４は、第１画像が射影変換された射影変換画像と、第２画像とから対象物領域を夫々抽出する処理において、幾何情報を用いる。例えば、図５に示す対象物５０の場合、画像比較部２４は、幾何情報に基づき対象物５０が丸形状であることを認識し、対象物領域として抽出する範囲（図５及び図６の破線枠Ｆ１〜Ｆ３参照）を、丸形状に設定する。この場合、画像比較部２４は、丸形状の画素領域を、対象物領域として抽出する。これにより、画像比較部２４は、対象物領域を的確に抽出し、対象物でない画素領域を比較対象とすることに起因した相関度の誤差の発生を好適に抑制することができる。

次に、最適化部２５による幾何情報の活用について説明する。最適化部２５は、幾何情報取得部２６から供給される幾何情報に基づき、射影変換部２３による射影変換に用いる法線ベクトルの暫定値の更新値（変更する値）を決定してもよい。例えば、最適化部２５は、幾何情報が示す対象物の形状に近づく方向に、暫定値を変化させる方向（即ち、解の探索方向）を限定する。この場合、最適化部２５は、例えば、法線ベクトルの初期値から異なる方向に変化させた所定個の暫定値を設定する。そして、最適化部２５は、設定した暫定値に基づく射影変換画像の対象物が、幾何情報が示す形状に最も近づく暫定値を、暫定値を変化させる方向（即ち、解を探索すべき方向）として認識する。このように、最適化部２５は、幾何情報を用いることで、最適化を行う法線ベクトルの暫定値の探索範囲を好適に限定し、処理負荷を低減することができる。

（変形例２）
車載機１が実行する法線算出処理を、車載機１とは別の装置が実行してもよい。

図９は、変形例２に係る法線算出システムの概略構成図である。図９に示すように、法線算出システムは、車載機１Ｘと、カメラ２と、地図生成装置４とを有する。車載機１Ｘは、図２に示す車載機１と同等の構成を有し、地図生成装置４とデータ通信可能となっている。なお、車載機１Ｘは、法線情報記憶部１８を有していない。そして、車載機１Ｘは、カメラ２から供給される撮影画像を、計測データ「Ｉｍ」として地図生成装置４に送信する。この場合、車載機１Ｘは、撮影画像を一時的に蓄積してもよく、カメラ２から供給される撮影画像を蓄積することなく地図生成装置４に送信してもよい。

地図生成装置４は、撮影画像を含む計測データＩｍを車載機１から受信し、受信した計測データＩｍを蓄積する。そして、地図生成装置４は、蓄積した計測データＩｍに基づき、実施例で説明した車載機１による法線算出処理を実行する。この場合、地図生成装置４は、車載機１Ｘから受信した計測データＩｍをリアルタイムで処理することで、対象物の法線ベクトルの算出を行ってもよく、ユーザ入力等に基づく所定のタイミングにおいて、法線ベクトルの算出を行ってもよい。地図生成装置４は、「情報処理装置」の一例である。

図１０は、地図生成装置４の機能的構成を示すブロック図である。地図生成装置４は、インターフェース４１と、メモリ４２と、コントローラ４５と、を有する。これらの各要素は、バスラインを介して相互に接続されている。

インターフェース４１は、地図生成装置４と外部装置とのデータの授受に関するインターフェース動作を行う。メモリ４２は、ＲＡＭ、ＲＯＭ、その他不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ４２は、コントローラ４５が所定の処理を実行するためのプログラムが記憶される。また、メモリ４２は、コントローラ４５の作業メモリとして使用される。なお、コントローラ４５が実行するプログラムは、メモリ４２以外の記憶媒体に記憶されてもよい。

また、メモリ４２は、機能的には、計測データ記憶部４６と、法線情報記憶部４７とを有する。計測データ記憶部４６は、車載機１から受信した計測データＩｍを記憶する。法線情報記憶部４７は、地図生成装置４が生成する法線情報を記憶する。なお、計測データ記憶部４６及び法線情報記憶部４７の少なくとも１つは、インターフェース４１を介して地図生成装置４と接続されたハードディスクなどの地図生成装置４の外部の記憶装置に記憶されてもよい。上記の記憶装置は、地図生成装置４と通信を行うサーバ装置であってもよい。また、上記の記憶装置は、複数の装置から構成されてもよい。

コントローラ４５は、ＣＰＵ、ＧＰＵなどのプロセッサ等を含み、車載機１の全体を制御する。この場合、コントローラ４５は、メモリ４２等に記憶されたプログラムを実行することで、特徴物の変化点検出に関する処理を行う。コントローラ４５は、「画像取得手段」、「射影変換手段」、「法線算出手段」及びプログラムを実行するコンピュータ等として機能する。

このように、車載機１Ｘ以外の任意の装置により、法線算出処理が行われてもよい。なお、車載機１と地図生成装置４とがデータ通信により計測データＩｍの授受を行う代わりに、車載機１が記憶媒体に記憶した計測データＩｍを地図生成装置４が読み出すことで取得してもよい。この場合、上記の記憶媒体は、計測時には車載機１に電気的に接続されることにより、車載機１による計測データＩｍの書込みが行われる。

（変形例３）
対象物は、道路上又は道路周辺の標識等の地物に限定されず、平面形状を有する任意の物体であってもよい。

この場合、カメラ２は、車両以外の移動体に設けられてもよい。例えば、カメラ２は、自走式ロボットに備えられてもよい。この場合であっても、自走式ロボット又は自走式ロボットからカメラ２の検出データを取得した情報処理装置は、実施例で説明した法線算出処理を実行することで、対象物の法線を算出する。

（変形例４）
車載機１は、撮影パラメータ（撮影位置及び撮影姿勢）を、カメラ以外の種々のセンサの出力を用いて認識してもよい。

この場合、車載機１は、例えば、センサユニットと有線又は無線により電気的に接続する。センサユニットは、車両の位置及び姿勢（進行方向）に関する情報を検出するセンサ群である。センサユニットは、例えば、ＧＰＳ受信機、加速度センサ、ジャイロセンサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの複数のセンサを含んでいる。上記のＧＰＳ受信機は、ＲＴＫ測位方式（即ち干渉測位方式）に基づき車両の絶対的な位置（例えば緯度、経度、及び高度の３次元位置）を示す高精度な位置情報を生成するものであってもよい。なお、センサユニットは、カメラ２の位置及び撮影姿勢を直接検出するようにカメラ２に設けられたセンサであってもよい。センサユニットは、センサによる検出結果と、検出日時を示す日時データとを関連付けた情報（「センサ情報」とも呼ぶ。）を、車載機１へ供給する。そして、車載機１は、第１画像及び第２画像に付加された日時データが示す日時と一致する日時データを含むセンサ情報を参照することで、第１画像及び第２画像に対する撮影位置及び撮影姿勢を算出する。ここで、参照したセンサ情報が、車両の位置及び進行方向を示す場合には、車載機１は、車両に対するカメラ２の相対的な位置及び向きを示すカメラ設置情報をさらに参照することで、対象の撮影画像を撮影したカメラ２の位置及び撮影姿勢を特定する。上記のカメラ設置情報は、例えばメモリ１２に予め記憶されている。この態様によっても、車載機１は、好適に撮影パラメータを算出することができる。

なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１ 車載機
２ カメラ
４ 地図生成装置
１６ 撮影画像記憶部
１８、４７ 法線情報記憶部
４６ 計測データ記憶部

Claims (11)

1. 平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、
   前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、
   前記第１画像の撮影位置から前記対象物までの距離と、
   前記対象物の法線の暫定値と、
   に基づき、前記第１画像を射影変換する射影変換手段と、
   前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段と、
   を有する情報処理装置。
2. 前記法線算出手段は、前記法線の暫定値を変えて前記相関度を複数回算出した場合に当該相関度が最も高くなる前記暫定値を、前記法線として算出する、請求項１に記載の情報処理装置。
3. 前記射影変換手段は、前記暫定値の初期値を、前記第１画像の撮影位置と前記第２画像の撮影位置とから定まるベクトルに基づき設定する、請求項１または２に記載の情報処理装置。
4. 前記射影変換手段は、前記暫定値の初期値を、前記第１画像又は前記第２画像の撮影位置と、前記対象物の位置とから定まるベクトルに基づき設定する、請求項１または２に記載の情報処理装置。
5. 前記対象物の幾何的な情報である幾何情報を取得する幾何情報取得手段を有し、
   前記法線算出手段は、前記幾何情報に基づき、前記対象物の領域を前記射影変換画像及び前記第２画像から抽出し、前記射影変換画像と前記第２画像の各々から抽出した領域に基づき前記相関度を算出する、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記対象物の幾何的な情報である幾何情報を取得する幾何情報取得手段を有し、
   前記法線算出手段は、前記幾何情報に基づき、前記暫定値の更新値を決定する、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記射影変換手段は、前記第１画像と前記第２画像とに基づき、前記対象物の位置を算出し、前記対象物の位置と前記第１画像の撮影位置と前記暫定値とに基づき、前記距離を算出する、請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記第１画像と前記第２画像とは、車両と共に移動するカメラにより生成され、
   前記対象物は、標識である、請求項１〜７のいずれか一項に記載の情報処理装置。
9. コンピュータにより、
   平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得し、
   前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、
   前記第１画像の撮影位置から前記対象物までの距離と、
   前記対象物の法線の暫定値と、
   に基づき、前記第１画像を射影変換し、
   前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する、
   制御方法。
10. 平面を有する対象物を含む第１画像と、前記対象物を含む第２画像とを取得する画像取得手段と、
    前記第１画像に対する前記第２画像の相対的な撮影位置及び撮影姿勢と、
    前記第１画像の撮影位置から前記対象物までの距離と、
    前記対象物の法線の暫定値と、
    に基づき、前記第１画像を射影変換する射影変換手段と、
    前記第１画像が射影変換された射影変換画像と前記第２画像との前記対象物の相関度に基づき、前記法線を算出する法線算出手段
    としてコンピュータを機能させるプログラム。
11. 請求項１０に記載のプログラムを記憶した記憶媒体。

Images