JP2017162125A - 画像解析プログラム、画像解析装置、及び画像解析方法 - Google Patents

Abstract

【課題】面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出する。【解決手段】コンピュータは、第１時刻及び第２時刻に撮影された第１画像及び第２画像から、第１領域及び第２領域の画像特徴を抽出する（ステップ８０１）。次に、コンピュータは、第１領域の画像特徴に基づいて、第１領域に含まれる特定領域と立体物との境界の候補となる第１位置を求める（ステップ８０２）。次に、コンピュータは、２時刻間における移動体の移動量に基づいて、第１位置に対応する第２領域内の境界の候補となる第２位置を求める（ステップ８０３）。次に、コンピュータは、第１位置を境界として用いた場合の第１領域の画像特徴と、第２位置を境界として用いた場合の第２領域の画像特徴との特徴類似度に基づいて、第１位置を第１領域内の境界に決定する（ステップ８０４）。そして、コンピュータは、第１領域内の立体物の領域を特定する（ステップ８０５）。【選択図】図８

Description

本発明は、画像解析プログラム、画像解析装置、及び画像解析方法に関する。

車両のような移動体に外界を撮影するカメラを設置して、カメラにより撮影した映像から物体を検出する方法として、輪郭線の端点のオプティカルフローに基づく物体検出方法が知られている。この検出方法では、映像に含まれる時系列の複数の画像から輪郭線を抽出し、画像間で輪郭線の端点を対応付け、端点の位置ずれ量が計算される。この位置ずれ量は、フロー量と呼ばれる。

図１は、画像間における物体の対応付けの例を示している。図１（ａ）は、物体の輪郭線上の端点以外の点を対応付ける場合を示している。時刻１における画像１０１に物体１１１が写っており、移動体の移動に伴って、物体１１１は矢印１１３が示す方向に移動している。そして、時刻１よりも後の時刻２における画像１０２に物体１１２が写っている。

画像１０１内の物体１１１と画像１０２内の物体１１２が同じ物体であると仮定すると、物体１１１の輪郭線上の点１２１は、物体１１２の輪郭線上の点１２２の位置に移動する。しかし、点１２１は輪郭線の端点ではないため、点１２１と物体１１２の輪郭線上の点との対応関係が一意に定まらない。

図１（ｂ）は、物体の輪郭線の端点を対応付ける場合を示している。画像１０１内の物体１１１の輪郭線の端点１３１及び端点１３２は、画像１０２内の物体１１２の輪郭線の端点１３３及び端点１３４の位置に移動する。この場合、移動体の移動方向及び輪郭線の形状に影響されることなく、端点１３１及び端点１３２と、端点１３３及び端点１３４との対応関係が一意に定まる。

図２は、車載カメラが撮影する路面上の模様及び立体物の例を示している。路面２０１上には立体物２０３が静止しており、カメラ２０６を搭載した車両２０５が路面２０１上を矢印２１１が示す方向に移動している。時刻１においてカメラ２０６により撮影された画像内では、立体物２０３上の着目点２０４と、路面２０１上の模様２０２に含まれる点２０７とが重なって写る。

このとき、時刻１におけるカメラ２０６の位置と着目点２０４とを結ぶ方向２１２と、時刻２におけるカメラ２０６の位置と着目点２０４とを結ぶ方向２１３との差分が、立体物２０３の視差として現れる。一方、時刻１におけるカメラ２０６の位置と点２０７とを結ぶ方向２１２と、時刻２におけるカメラ２０６の位置と点２０７とを結ぶ方向２１４との差分が、模様２０２の視差として現れる。この場合、立体物２０３の視差は、模様２０２の視差よりも大きいことが分かる。

このような立体物２０３と模様２０２の視差の違いにより、時刻１における画像と時刻２における画像との間で、立体物２０３上の点のフロー量と、模様２０２に含まれる点のフロー量とを比較すると、立体物２０３上の点のフロー量の方が大きくなる。この性質を用いて、画像内の点のフロー量が閾値以上であれば、その点は立体物２０３上の点であると判定し、フロー量が閾値未満であれば、その点は模様２０２に含まれる点であると判定することができる。フロー量に対する閾値は、画像内の点の位置及び車両２０５の移動量から求めることができる。

立体物のフロー量の計算では、画像の垂直方向に対する角度が所定値以内の輪郭線が用いられる。その理由は、画像内において立体物の高さ方向の輪郭線の角度は垂直に近くなることが多く、垂直方向に近い輪郭線が支配的となり、画像間における輪郭線同士の対応関係が一意に定まりやすいためである。

車両から撮影した画像内の輪郭線に基づいて、進路に飛び出す危険性が高い歩行者を判定する技術も知られている（例えば、特許文献１を参照）。車両から撮影した画像と車両の移動量とから、周囲の物体の３次元位置を計算する技術も知られている（例えば、特許文献２を参照）。

特開２０１２−２０３８８４号公報 特開２０１４−２４０７５３号公報

従来のオプティカルフローに基づく物体検出方法では、路面上の模様に含まれる輪郭線と立体物の輪郭線とが繋がった画像において、立体物の領域を誤検出する場合がある。

なお、かかる問題は、路面上の模様に含まれる輪郭線と立体物の輪郭線とが繋がった画像に限らず、面上の特定領域と立体物の領域とが接する他の画像においても生ずるものである。

１つの側面において、本発明は、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することを目的とする。

１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、撮像装置によって第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する。
（２）コンピュータは、第１領域の画像特徴に基づいて、第１領域に含まれる面上の特定領域と面上に存在する立体物との境界の候補となる第１位置を求める。
（３）コンピュータは、第１時刻と第２時刻との間における移動体の移動量に基づいて、第１位置に対応する第２領域内の境界の候補となる第２位置を求める。
（４）コンピュータは、第１位置を第１領域内の境界として用いた場合の第１領域の画像特徴と、第２位置を第２領域内の境界として用いた場合の第２領域の画像特徴との特徴類似度に基づいて、第１位置を第１領域内の境界に決定する。
（５）コンピュータは、決定した境界に基づいて、第１領域内の立体物の領域を特定する。

１つの実施形態によれば、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することができる。

画像間における物体の対応付けを示す図である。 路面上の模様及び立体物を示す図である。 ２つの物体の輪郭線が繋がった画像を示す図である。 分割点に対する評価値の計算方法を示す図である。 個別処理による失敗例を示す図である。 局所処理による失敗例を示す図である。 画像解析装置の構成図である。 画像解析処理のフローチャートである。 画像解析処理を示す図である。 画像解析装置の具体例を示す構成図である。 画像解析処理の具体例を示すフローチャートである。 輪郭線抽出処理のフローチャートである。 エッジ点Ａに隣接する３画素を示す図である。 エッジ点Ｂと接続可能なエッジ点Ｃを示す図である。 輪郭線情報を示す図である。 輪郭線照合処理のフローチャートである。 相違度計算処理のフローチャートである。 重複部分を示す図である。 ２つの重複部分の重ね合わせを示す図である。 候補リスト生成処理のフローチャートである。 候補リスト生成処理を示す図である。 分割スコア計算処理のフローチャートである。 特徴類似度計算処理のフローチャートである。 分割点決定処理のフローチャートである。 分割点決定処理を示す図である。 立体物検出処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
図３は、２つの物体の輪郭線が繋がった画像の例を示している。画像３０１に路面上の模様３１１と立体物３１２とが写っており、模様３１１の輪郭線と立体物３１２の輪郭線とが繋がって１本の輪郭線３２１が抽出された場合、輪郭線３２１の上側の端点３２２は、模様３１１の一部であるため、路面上に位置する。また、輪郭線３２１の下側の端点３２３も、立体物３１２の下端に対応するため、路面上に位置する。したがって、輪郭線３２１は、路面上の模様の輪郭線であると判定され、立体物３１２の検出に失敗する。

このような画像３０１から立体物３１２を検出するために、輪郭線３２１を２本に分割することが考えられる。画像内で２つの物体の領域が接する場合は、それらの領域の境界付近で、画素値及び形状が変化することが多い。そこで、輪郭線上の各点について、画素値及び形状の変化に基づく評価値を計算し、計算した評価値の閾値判定を行うことで、物体間の境界を示す分割点を決定することができる。

図４は、分割点に対する評価値の計算方法の例を示している。分割対象の輪郭線上における分割点の候補となる点４０１によって、その輪郭線が上側の部分輪郭線４０２と下側の部分輪郭線４０３とに分割される場合、点４０１に対する評価値として、例えば、次式の分割スコアＳを用いることができる。

Ｓ＝Ｓ１＋Ｓ２ （１）
Ｓ１＝｜Ｉ（Ａ１）−Ｉ（Ａ２）｜ （２）
Ｓ２＝｜θ｜ （３）

Ｉ（Ａ１）は、部分輪郭線４０２上の局所領域Ａ１の画素値を表し、Ｉ（Ａ２）は、部分輪郭線４０３上の局所領域Ａ２の画素値を表す。θは、部分輪郭線４０２と部分輪郭線４０３との間の角度を表す。

図３の輪郭線３２１上の各点について、式（１）の分割スコアＳを計算することで、分割スコアＳが最大となる分割点３２４で、輪郭線３２１を輪郭線３２５と輪郭線３２６とに分割することができる。そして、輪郭線３２６に基づいて、立体物３１２が検出される。このように、輪郭線が所定の分割条件を満たす場合に、その輪郭線を２本の輪郭線に分割することで、立体物の検出失敗が抑制される。

しかし、分割スコアＳに基づいて輪郭線を２本の輪郭線に分割しても、分割点が正しい境界からずれて、立体物の検出に失敗することがある。その原因として、画像毎の個別処理と、画像内における局所処理とが考えられる。

図５は、個別処理による失敗例を示している。時刻１における画像内の領域５０１において、輪郭線上の分割点５０２が決定され、時刻２における画像内の領域５０３において、輪郭線上の分割点５０４が決定される。このように、映像に含まれる各時刻の画像毎に独立して分割点が決定される場合、２時刻間における拘束が課されることなく、自由に分割点が決定される。このため、時刻１における分割点５０２と、時刻２における分割点５０４との間に整合性がない。

図６は、局所処理による失敗例を示している。式（２）のＳ１は、局所領域間における画素値の変化に基づいて計算されるため、局所的に変化の大きな点が分割点になりやすい。図６の画像では、領域６０１内における点６０２が正しい境界であるにもかかわらず、局所的な画素値の変化に引っ張られて、点６０３が分割点に決定される。

これらの原因によって、２時刻における２個の分割点の位置がずれて、整合性のない組み合わせになると、正しいフロー量とは異なるフロー量が計算され、立体物の検出に失敗する。

図７は、実施形態の画像解析装置の構成例を示している。画像解析装置７０１は、抽出部７１１、決定部７１２、及び特定部７１３を含む。抽出部７１１は、面上を移動する移動体に設置された撮像装置によって撮影された画像から、領域の画像特徴を抽出する。決定部７１２は、抽出部７１１が抽出した画像特徴に基づいて、面上の特定領域と面上に存在する立体物との境界を決定し、特定部７１３は、決定部７１２が決定した境界に基づいて、画像内の立体物の領域を特定する。

図８は、図７の画像解析装置７０１が行う画像解析処理の例を示すフローチャートである。まず、抽出部７１１は、第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する（ステップ８０１）。

次に、決定部７１２は、第１領域の画像特徴に基づいて、第１領域に含まれる特定領域と立体物との境界の候補となる第１位置を求める（ステップ８０２）。そして、決定部７１２は、第１時刻と第２時刻との間における移動体の移動量に基づいて、第１位置に対応する第２領域内の境界の候補となる第２位置を求める（ステップ８０３）。

次に、決定部７１２は、第１位置を第１領域内の境界として用いた場合の第１領域の画像特徴と、第２位置を第２領域内の境界として用いた場合の第２領域の画像特徴との特徴類似度に基づいて、第１位置を第１領域内の境界に決定する（ステップ８０４）。

そして、特定部７１３は、決定部７１２が決定した境界に基づいて、第１領域内の立体物の領域を特定する（ステップ８０５）。

図７の画像解析装置７０１によれば、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することができる。

図９は、画像解析装置７０１が行う画像解析処理の例を示している。この画像解析処理では、画像から抽出される各領域の画像特徴としてエッジ線分が用いられ、２時刻間における拘束と、分割点に対するグローバル評価とが採用される。

画像から抽出されるエッジ線分は、画像から検出されたエッジ点を接続することで生成されるエッジ点連結部分に対応し、始点及び終点を有する有限長の曲線部分又は直線部分である。エッジ線分は物体の輪郭線を表すことが多いため、以下では、エッジ線分を輪郭線と記すことがある。

２時刻間における拘束を採用することで、３次元の物体モデルから物理的に可能性のある分割点の候補が求められる。例えば、時刻１における画像内の輪郭線がＮ個（Ｎは１以上の整数）の点からなる場合、それらの点が分割点候補Ｐ１〜分割点候補ＰＮとして用いられる。この場合、仮想的な３次元の物体モデルを輪郭線に当てはめることで、時刻１における輪郭線上の分割点候補Ｐｉ（ｉ＝１〜Ｎ）に対応する、時刻２における輪郭線上の分割点候補Ｑｉの位置が計算される。これにより、２時刻間で整合性の取れた分割点候補の組み合わせ９０１−ｉを求めることができる。

また、分割点に対するグローバル評価を採用することで、輪郭線全体の評価値に基づき、局所的な画素値の変化の影響を受けることなく、分割点候補のＮ個の組み合わせ９０１−１〜９０１−Ｎの中から最適な組み合わせが求められる。この場合、時刻１における輪郭線全体の特徴と、時刻２における輪郭線全体の特徴とを用いて、分割点候補Ｐｉと分割点候補Ｑｉの組み合わせ９０１−ｉに対する評価値が計算される。

具体的には、Ｐｉの上側の部分輪郭線９０２全体の特徴と、Ｐｉの下側の部分輪郭線９０３全体の特徴と、Ｑｉの上側の部分輪郭線９０４全体の特徴と、Ｑｉの下側の部分輪郭線９０５全体の特徴とを用いて、組み合わせ９０１−ｉに対する評価値が計算される。この評価値は、例えば、２時刻間における部分輪郭線同士の類似度と、同時刻における部分輪郭線同士の相違度とに基づいて計算される。

図１０は、図７の画像解析装置７０１の具体例を示している。図１０の画像解析装置７０１は、抽出部７１１、決定部７１２、特定部７１３、映像入力部１０１１、出力部１０１２、及び記憶部１０１３を含む。抽出部７１１は、特徴点抽出部１０２１及び輪郭線抽出部１０２２を含み、決定部７１２は、照合部１０３１、生成部１０３２、相違度計算部１０３３、類似度計算部１０３４、及び分割点決定部１０３５を含む。

例えば、駐車場で車両が発車する直前に、接触する可能性のある周囲の車両、歩行者等の静止物体を車載カメラの画像から検出し、物体の存在をドライバに通知する安全支援システムにおいて、画像解析装置７０１を用いることができる。この場合、撮像装置１００１は、車両に搭載された１台の単眼カメラであってもよい。車両の正面と背面のように、複数箇所に撮像装置１００１を設置することも可能である。

画像解析装置７０１は、例えば、ハードウェア回路として実装することができる。この場合、画像解析装置７０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。

図１１は、図１０の画像解析装置７０１が行う画像解析処理の具体例を示すフローチャートである。図１１の画像解析処理において、撮像装置１００１は、路面上を移動する車両に搭載され、撮像装置１００１が撮影した画像から抽出される各領域の画像特徴として、各領域の輪郭を表す輪郭線が用いられる。

特定領域は、例えば、路面上の模様の領域であり、路面上の立体物は、例えば、他の車両、歩行者等である。特定領域と立体物との境界としては、特定領域の輪郭線と立体物の領域の輪郭線との境界が用いられる。

まず、映像入力部１０１１は、車両に搭載された撮像装置１００１が撮影した映像から、現在時刻の画像１０４１を取得し、取得した画像１０４１を記憶部１０１３に格納する（ステップ１１０１）。

撮像装置１００１が出力する映像がアナログ映像である場合、映像入力部１０１１は、各時刻のアナログ画像をデジタル画像に変換し、変換後のデジタル画像を画像１０４１として格納する。撮像装置１００１が出力する映像がカラー映像である場合、映像入力部１０１１は、各時刻のカラー画像をモノクロ画像に変換し、変換後のモノクロ画像を画像１０４１として格納してもよい。複数の撮像装置１００１が設置されている場合、それぞれの撮像装置１００１が撮影した映像から画像１０４１が取得される。

次に、特徴点抽出部１０２１は、画像１０４１からエッジを検出し、検出したエッジから特徴点画像１０４２を生成して、記憶部１０１３に格納する（ステップ１１０２）。このとき、特徴点抽出部１０２１は、例えば、Sobelフィルタのような微分オペレータを画像１０４１に作用させて、微分処理によって各画素のエッジ強度を求める。次に、特徴点抽出部１０２１は、求めたエッジ強度と閾値とを比較し、閾値以上のエッジ強度を有する領域をエッジとして検出する。

そして、特徴点抽出部１０２１は、検出したエッジの細線化処理を行ってエッジ点を決定し、決定したエッジ点を含む特徴点画像１０４２を生成する。細線化処理では、例えば、各画素のエッジ強度が水平方向に隣接する２画素のエッジ強度と比較され、中央のエッジ強度がピーク値であれば、その画素がエッジ点に決定される。

輪郭線抽出部１０２２は、特徴点画像１０４２から、特徴点画像１０４２の垂直方向に対する角度が所定値以内の輪郭線を抽出し、抽出した輪郭線を表す輪郭線情報１０４３を記憶部１０１３に格納する（ステップ１１０３）。輪郭線情報１０４３は、映像の開始時刻から現在時刻までの複数時刻それぞれにおける、複数の特徴点画像１０４２内の輪郭線の情報を含む。

次に、照合部１０３１は、２時刻間における拘束を用いて、現在時刻における輪郭線と、輪郭線情報１０４３に含まれる過去の輪郭線とを照合し、２本の輪郭線が同じ物体の輪郭線であるか否かを判定する（ステップ１１０４）。そして、照合部１０３１は、同じ物体の輪郭線であると判定した２本の輪郭線を対応付ける情報を、輪郭線情報１０４３に設定する。

次に、生成部１０３２は、輪郭線情報１０４３内で対応付けられている２本の輪郭線のうち、過去の輪郭線上の境界の候補となる分割点候補の位置から、現在の輪郭線上の境界の候補となる分割点候補の位置を予測する（ステップ１１０５）。そして、生成部１０３２は、過去の分割点候補と現在の分割点候補との組み合わせを複数個含む候補リスト１０４４を生成し、生成した候補リスト１０４４を記憶部１０１３に格納する。

次に、相違度計算部１０３３は、候補リスト１０４４に含まれる各組み合わせについて、過去の輪郭線上における分割点候補の両側の部分輪郭線の相違度と、現在の輪郭線上における分割点候補の両側の部分輪郭線の相違度とを計算する（ステップ１１０６）。そして、相違度計算部１０３３は、２つの相違度から分割スコア１０４５を計算し、計算した分割スコア１０４５を記憶部１０１３に格納する。

次に、類似度計算部１０３４は、候補リスト１０４４に含まれる各組み合わせについて、過去の輪郭線上における分割点候補の両側の部分輪郭線と、現在の輪郭線上における分割点候補の両側の部分輪郭線との特徴類似度１０４６を計算する（ステップ１１０７）。そして、類似度計算部１０３４は、計算した特徴類似度１０４６を記憶部１０１３に格納する。

次に、分割点決定部１０３５は、分割スコア１０４５及び特徴類似度１０４６に基づいて、分割点に対するグローバル評価を行い、候補リスト１０４４に含まれる組み合わせの中から最適な組み合わせを求める（ステップ１１０８）。そして、分割点決定部１０３５は、その組み合わせが表す過去の分割点候補の位置を過去の輪郭線上の分割点に決定し、現在の分割点候補の位置を現在の輪郭線上の分割点に決定する。

次に、特定部７１３は、分割点決定部１０３５が決定した分割点の位置で過去及び現在の輪郭線をそれぞれ分割し、対応する画像１０４１内の立体物の領域を特定する（ステップ１１０９）。そして、特定部７１３は、特定した領域を含む検出結果１０４７を記憶部１０１３に格納し、出力部１０１２は、検出結果１０４７を出力する。

次に、映像入力部１０１１は、撮像装置１００１から続けて映像が入力されているか否かをチェックし（ステップ１１１０）、映像が入力されている場合（ステップ１１１０，ＹＥＳ）、次の時刻の画像について、ステップ１１０１以降の処理を繰り返す。そして、映像の入力が停止した場合（ステップ１１１０，ＮＯ）、画像解析装置７０１は、処理を終了する。

このような画像解析処理によれば、路面上の模様に含まれる輪郭線と立体物の輪郭線とが画像内で繋がっている場合であっても、模様と立体物との境界が正しく識別されるため、立体物の領域を高精度に検出することができる。

図１２は、図１１のステップ１１０３における輪郭線抽出処理の例を示すフローチャートである。この輪郭線抽出処理では、特徴点画像１０４２の下端から上端へ向かって、各ラインに含まれる各エッジ点について接続判定を行い、エッジ点同士を接続することで、輪郭線が生成される。そして、各輪郭線に含まれる複数のエッジ点に対して、同じ輪郭線ＩＤが付与される。

まず、輪郭線抽出部１０２２は、特徴点画像１０４２内の１つのエッジ点を、エッジ点Ａとして選択する（ステップ１２０１）。次に、輪郭線抽出部１０２２は、エッジ点Ａを含むラインよりも１本上のラインに含まれ、エッジ点Ａに隣接する３画素に、エッジ点が存在するか否かをチェックする（ステップ１２０２）。

図１３は、エッジ点Ａに隣接する３画素の例を示している。エッジ点Ａの左上の画素１３０１、エッジ点Ａの上の画素１３０２、及びエッジ点Ａの右上の画素１３０３が、エッジ点Ａに隣接する３画素に対応する。

３画素のいずれかにエッジ点が存在する場合（ステップ１２０２，ＹＥＳ）、輪郭線抽出部１０２２は、３画素のうち複数の画素にエッジ点が存在するか否かをチェックする（ステップ１２０３）。複数の画素にエッジ点が存在する場合（ステップ１２０３，ＹＥＳ）、輪郭線抽出部１０２２は、それらのエッジ点のうち最適なエッジ点を、エッジ点Ｂとして選択する（ステップ１２０４）。最適なエッジ点としては、例えば、エッジ点Ａのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Ａを含む輪郭線の傾きにより近い傾きでエッジ点Ａと接続可能なエッジ点を選択してもよい。

次に、輪郭線抽出部１０２２は、エッジ点Ｂが輪郭線として登録済みか否かをチェックする（ステップ１２０５）。エッジ点Ｂに対して輪郭線ＩＤが既に付与されている場合、エッジ点Ｂは登録済みと判定され、エッジ点Ｂに対して輪郭線ＩＤが付与されていない場合、エッジ点Ｂは未登録と判定される。

エッジ点Ｂが未登録である場合（ステップ１２０５，ＮＯ）、輪郭線抽出部１０２２は、エッジ点Ａと同じラインに含まれ、エッジ点Ｂと接続可能な他のエッジ点Ｃが存在するか否かをチェックする（ステップ１２０６）。

図１４は、エッジ点Ｂと接続可能なエッジ点Ｃの例を示している。図１４（ａ）のエッジ点Ｂは、エッジ点Ａの上に隣接している。エッジ点Ａの左に隣接するエッジ点Ｃは、エッジ点Ｂにも隣接しているため、エッジ点Ｂと接続可能である。また、図１４（ｂ）のエッジ点Ｂは、エッジ点Ａの左上に隣接している。エッジ点Ａの左側にあるエッジ点Ｃは、エッジ点Ｂに隣接しているため、エッジ点Ｂと接続可能である。

エッジ点Ｃが存在する場合（ステップ１２０６，ＹＥＳ）、輪郭線抽出部１０２２は、エッジ点Ａとエッジ点Ｃとを比較して、いずれが最適なエッジ点であるかを判定する（ステップ１２０７）。最適なエッジ点としては、例えば、エッジ点Ｂのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Ｂを含む輪郭線の傾きにより近い傾きでエッジ点Ｂと接続可能なエッジ点を選択してもよい。

エッジ点Ｃを最適なエッジ点と判定した場合（ステップ１２０７，ＹＥＳ）、輪郭線抽出部１０２２は、エッジ点Ｂ及びエッジ点Ｃに対して同じ輪郭線ＩＤを付与することで、エッジ点Ｂとエッジ点Ｃとを接続する（ステップ１２０８）。エッジ点Ｃが登録済みである場合、エッジ点Ｃの輪郭線ＩＤがエッジ点Ｂに対して付与され、エッジ点Ｃが未登録である場合、新たな輪郭線ＩＤがエッジ点Ｂ及びエッジ点Ｃに対して付与される。

次に、輪郭線抽出部１０２２は、特徴点画像１０４２内のすべてのエッジ点を処理したか否かをチェックする（ステップ１２１０）。未処理のエッジ点が残っている場合（ステップ１２１０，ＮＯ）、輪郭線抽出部１０２２は、次のエッジ点について、ステップ１２０１以降の処理を繰り返す。

一方、エッジ点Ａを最適なエッジ点と判定した場合（ステップ１２０７，ＮＯ）、輪郭線抽出部１０２２は、エッジ点Ａ及びエッジ点Ｂに対して同じ輪郭線ＩＤを付与することで、エッジ点Ａとエッジ点Ｂとを接続する（ステップ１２０９）。エッジ点Ａが登録済みである場合、エッジ点Ａの輪郭線ＩＤがエッジ点Ｂに対して付与され、エッジ点Ａが未登録である場合、新たな輪郭線ＩＤがエッジ点Ａ及びエッジ点Ｂに対して付与される。そして、輪郭線抽出部１０２２は、ステップ１２１０以降の処理を行う。

３画素のいずれにもエッジ点が存在しない場合（ステップ１２０２，ＮＯ）、又はエッジ点Ｂが登録済みである場合（ステップ１２０５，ＹＥＳ）、輪郭線抽出部１０２２は、ステップ１２１０以降の処理を行う。１画素にのみエッジ点が存在する場合（ステップ１２０３，ＮＯ）、輪郭線抽出部１０２２は、そのエッジ点をエッジ点Ｂとして選択して、ステップ１２０５以降の処理を行う。エッジ点Ｃが存在しない場合（ステップ１２０６，ＮＯ）、輪郭線抽出部１０２２は、ステップ１２０９以降の処理を行う。

そして、すべてのエッジ点を処理した場合（ステップ１２１０，ＹＥＳ）、輪郭線抽出部１０２２は、輪郭線ＩＤ毎にエッジ点の情報を含む輪郭線情報１０４３を生成する（ステップ１２１１）。このとき、輪郭線抽出部１０２２は、複数のエッジ点が接続されたエッジ線分のうち、所定個数以上のエッジ点が接続されたエッジ線分を、輪郭線として抽出してもよい。

図１５は、輪郭線情報１０４３の例を示している。図１５の輪郭線情報１０４３は、画像ＩＤ、輪郭線ＩＤ、長さ、エッジ位置、ロスト回数、分割状態、及び分割点位置を含む。画像ＩＤは、画像１０４１の識別情報であり、輪郭線ＩＤは、輪郭線の識別情報である。長さは、輪郭線に含まれるエッジ点の個数を表し、エッジ位置は、輪郭線に含まれる各エッジ点の位置を表す。特徴点画像１０４２の水平方向及び垂直方向をそれぞれｘ軸及びｙ軸とすると、エッジ点の位置は、ｘ座標及びｙ座標により表される。

ロスト回数は、映像中で輪郭線の追跡に失敗した回数を表し、その初期値は０である。ロスト回数のインクリメントは、照合部１０３１によって行われる。分割状態は、輪郭線上における分割点の有無を表し、その初期値は分割無しである。分割点位置は、分割点の位置を表す。分割状態の変更と分割点位置の設定は、分割点決定部１０３５によって行われる。

図１６は、図１１のステップ１１０４における輪郭線照合処理の例を示すフローチャートである。まず、照合部１０３１は、現在時刻の画像１０４１が映像中の何番目のフレームの画像であるかをチェックする（ステップ１６０１）。

現在時刻の画像１０４１が１番目のフレームの画像である場合（ステップ１６０１，ＮＯ）、対応する過去の画像１０４１が存在せず、現在時刻の画像１０４１内の輪郭線はすべて新規に抽出された輪郭線であるため、照合部１０３１は、処理を終了する。

一方、現在時刻の画像１０４１が２番目以降のフレームの画像である場合（ステップ１６０１，ＹＥＳ）、照合部１０３１は、現在時刻の画像１０４１内の輪郭線と、輪郭線情報１０４３に含まれる過去の画像１０４１内の輪郭線とを照合する。

以下では、簡単のため、過去の画像１０４１を画像Ｆ１と記し、現在時刻の画像１０４１を画像Ｆ２と記すことにする。画像Ｆ１としては、画像Ｆ２よりも所定枚数前の画像が用いられる。画像Ｆ１は、画像Ｆ２の直前のフレームの画像であってもよい。

照合部１０３１は、まず、画像Ｆ１に含まれる１本の輪郭線を選択し、画像Ｆ１の撮影時刻と現在時刻との間における車両の移動量と、撮像装置１００１の設置情報とを用いて、選択した輪郭線の画像Ｆ２内における移動先位置を計算する（ステップ１６０２）。この移動先位置は、例えば、特許文献２に記載されているように、２時刻間における車両の並進量及び回転量と、撮像装置１００１の車両に対する相対位置及び角度とから、エピポーラ拘束と呼ばれる幾何条件を用いて計算される。

次に、照合部１０３１は、画像Ｆ２内の移動先位置に輪郭線が存在するか否かをチェックする（ステップ１６０３）。移動先位置に輪郭線が存在する場合（ステップ１６０３，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線との相違度を計算し（ステップ１６０４）、計算した相違度を閾値と比較する（ステップ１６０５）。

相違度が閾値以下である場合（ステップ１６０５，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線とが同じ輪郭線であると判定する。そこで、照合部１０３１は、輪郭線情報１０４３において、画像Ｆ２内の移動先位置の輪郭線を示す輪郭線ＩＤを、画像Ｆ１内の輪郭線を示す輪郭線ＩＤと同じＩＤに変更する（ステップ１６０６）。これにより、２本の輪郭線が同じ輪郭線として登録される。

次に、照合部１０３１は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックし（ステップ１６１０）、未選択の輪郭線が残っている場合（ステップ１６１０，ＮＯ）、次の輪郭線について、ステップ１６０２以降の処理を繰り返す。

移動先位置に輪郭線が存在しない場合（ステップ１６０３，ＮＯ）、又は相違度が閾値よりも大きい場合（ステップ１６０５，ＮＯ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線とが同じ輪郭線ではないと判定する。この場合、照合部１０３１は、画像Ｆ１内の輪郭線の追跡に失敗したものとみなし、その輪郭線のロスト回数をインクリメントして（ステップ１６０７）、インクリメントしたロスト回数を閾値と比較する（ステップ１６０８）。

ロスト回数が閾値以上である場合（ステップ１６０８，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線の情報を輪郭線情報１０４３から削除して（ステップ１６０９）、ステップ１６１０以降の処理を行う。一方、ロスト回数が閾値未満である場合（ステップ１６０８，ＮＯ）、照合部１０３１は、その輪郭線の情報を削除することなく、ステップ１６１０以降の処理を行う。

そして、画像Ｆ１内のすべての輪郭線を選択した場合（ステップ１６１０，ＹＥＳ）、照合部１０３１は、処理を終了する。

図１７は、図１６のステップ１６０４における相違度計算処理の例を示すフローチャートである。まず、照合部１０３１は、画像Ｆ１内の輪郭線の移動方向に基づいて、画像Ｆ１内の輪郭線と、画像Ｆ２内の移動先位置の輪郭線との重複部分を求める（ステップ１７０１）。

図１８は、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線との重複部分の例を示している。画像Ｆ１内の輪郭線１８０１から求めた画像Ｆ２内の移動先位置には、輪郭線１８０２が存在する。

この場合、エピポーラ拘束に基づいて、輪郭線１８０１の一方の端点１８２１の移動方向を示す直線１８１１と、他方の端点１８２２の移動方向を示す直線１８１２とが求められる。輪郭線１８０２の一方の端点１８３１は直線１８１１上に存在し、他方の端点１８３２は直線１８１２上に存在しない。

そこで、照合部１０３１は、エピポーラ拘束に基づいて、輪郭線１８０２の端点１８３２を通る直線１８１３を求め、直線１８１３と輪郭線１８０１との交点１８２３を求める。そして、照合部１０３１は、端点１８２１と交点１８２３との間の部分輪郭線１８０３を、輪郭線１８０１上の重複部分に決定し、輪郭線１８０２全体を輪郭線１８０２上の重複部分に決定する。

次に、照合部１０３１は、２時刻間における輪郭線の長さの変化を補償するため、２本の輪郭線の重複部分の長さが同じになるようにスケール調整を行い（ステップ１７０２）、調整後の各重複部分の重心位置を計算する（ステップ１７０３）。そして、照合部１０３１は、２つの重複部分の重心同士を重ね合わせて、各重複部分に含まれる点を選択し、選択した点同士の水平方向のずれ量を計算する（ステップ１７０４）。

図１９は、２つの重複部分の重ね合わせの例を示している。線分１９０１は、スケール調整された部分輪郭線１８０３を表し、線分１９０２は、スケール調整された輪郭線１８０２を表す。線分１９０１の重心と線分１９０２の重心とを点１９０３において重ね合わせた場合、線分１９０１上の各点と、同じｙ座標を有する線分１９０２上の点との間で、ｘ座標の差分の絶対値が水平方向のずれ量として計算される。

次に、照合部１０３１は、重複部分のすべての点を選択したか否かをチェックし（ステップ１７０５）、未選択の点が残っている場合（ステップ１７０５，ＮＯ）、次の点について、ステップ１７０４の処理を繰り返す。

そして、重複部分のすべての点を選択した場合（ステップ１７０５，ＹＥＳ）、照合部１０３１は、複数のずれ量の統計値を計算する（ステップ１７０６）。ずれ量の統計値としては、複数のずれ量の平均値、中央値、最大値、最小値等を用いることができ、計算された統計値は、ステップ１６０４の相違度として用いられる。

図１６の輪郭線照合処理によれば、２時刻間における車両の移動量と撮像装置１００１の設置情報とから、過去の画像１０４１内の輪郭線に対応する現在時刻の画像１０４１内の輪郭線を特定して、それらの輪郭線を対応付けることができる。また、ロスト回数が閾値以上である場合に輪郭線を削除することで、撮影範囲から消えた立体物等の領域を処理対象から除外することができる。

図２０は、図１１のステップ１１０５における候補リスト生成処理の例を示すフローチャートである。まず、生成部１０３２は、輪郭線照合処理で用いられた画像Ｆ１内の１本の輪郭線を選択し、輪郭線情報１０４３を参照して、選択した輪郭線と同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在するか否かをチェックする（ステップ２００１）。

同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在する場合（ステップ２００１，ＹＥＳ）、生成部１０３２は、画像Ｆ１内の輪郭線の下側の端点が路面上に存在するという条件を用いて、その端点の３次元空間内における位置を計算する（ステップ２００２）。端点が路面上に存在する場合、高さは０であるため、撮像装置１００１の車両に対する相対位置及び角度から、端点の３次元空間内における位置を計算することができる。以下では、３次元空間内における位置を３次元位置と記すことがある。

次に、生成部１０３２は、画像Ｆ１内の輪郭線上の１個のエッジ点を選択し、画像Ｆ１内の輪郭線が、路面に対して垂直な方向における立体物の輪郭線に対応するという条件を用いて、選択したエッジ点に対応する３次元位置を計算する（ステップ２００３）。

次に、生成部１０３２は、画像Ｆ１の撮影時刻と現在時刻との間における車両の移動量と、撮像装置１００１の設置情報とを用いて、エッジ点に対応する３次元位置から、現在時刻における３次元位置を計算する（ステップ２００４）。そして、生成部１０３２は、現在時刻における３次元位置に対応する画像Ｆ２内の位置を計算する（ステップ２００５）。

ステップ２００３〜ステップ２００５における各位置は、例えば、特許文献２に記載されているように、２時刻間における車両の並進量及び回転量と、撮像装置１００１の車両に対する相対位置及び角度とを用いて、計算することができる。

次に、生成部１０３２は、画像Ｆ１内の輪郭線と同じ輪郭線ＩＤを有する、画像Ｆ２内の輪郭線上で、計算した位置に対応するエッジ点を求める（ステップ２００６）。そして、生成部１０３２は、画像Ｆ１内の選択したエッジ点と画像Ｆ２内の求めたエッジ点とを、分割点候補の組み合わせとして候補リスト１０４４に記録する。

次に、生成部１０３２は、画像Ｆ１内の輪郭線が路面上の模様の輪郭線に対応するという条件を用いて、選択したエッジ点に対応する３次元位置を計算する（ステップ２００７）。

次に、生成部１０３２は、ステップ２００４と同様にして、エッジ点に対応する３次元位置から、現在時刻における３次元位置を計算し（ステップ２００８）、ステップ２００５と同様にして、画像Ｆ２内の位置を計算する（ステップ２００９）。そして、生成部１０３２は、ステップ２００６と同様にして、画像Ｆ２内の輪郭線上のエッジ点を求め、画像Ｆ１内の選択したエッジ点と画像Ｆ２内の求めたエッジ点とを、分割点候補の組み合わせとして候補リスト１０４４に記録する（ステップ２０１０）。

次に、生成部１０３２は、画像Ｆ１内の輪郭線上のすべてのエッジ点を選択したか否かをチェックし（ステップ２０１１）、未選択のエッジ点が残っている場合（ステップ２０１１，ＮＯ）、次のエッジ点について、ステップ２００３以降の処理を繰り返す。

すべてのエッジ点を選択した場合（ステップ２０１１，ＹＥＳ）、生成部１０３２は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２０１２）。未選択の輪郭線が残っている場合（ステップ２０１２，ＮＯ）、生成部１０３２は、次の輪郭線について、ステップ２００１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２０１２，ＹＥＳ）、生成部１０３２は、処理を終了する。

このような候補リスト生成処理によれば、各輪郭線を立体物の輪郭線と仮定した場合の分割点候補の組み合わせと、各輪郭線を路面上の模様の輪郭線と仮定した場合の分割点候補の組み合わせとを含む、候補リスト１０４４が生成される。

なお、生成部１０３２は、画像Ｆ１内の輪郭線上のすべてのエッジ点に対してではなく、所定間隔で選択した少数のエッジ点に対して、ステップ２００３〜ステップ２０１０の処理を行ってもよい。これにより、画像解析装置７０１の処理負荷を軽減することができる。

図２１は、候補リスト生成処理の例を示している。画像Ｆ１内の輪郭線２１０１の下側のエッジ点２１１１が路面上に存在すると仮定することで、エッジ点２１１１の３次元位置が計算され、２時刻間における拘束から、画像Ｆ２内の対応する輪郭線２１０２上のエッジ点２１２１が求められる。

ここで、輪郭線２１０１及び輪郭線２１０２が路面上の立体物２１３１の高さ方向における輪郭線であると仮定することで、輪郭線２１０１上のエッジ点２１１２〜エッジ点２１１５にそれぞれ対応する３次元位置が計算される。次に、２時刻間における拘束から、エッジ点２１１２〜エッジ点２１１５にそれぞれ対応する、輪郭線２１０２上のエッジ点２１２２〜エッジ点２１２５が求められる。そして、輪郭線２１０１上の各エッジ点と輪郭線２１０２上の各エッジ点との組み合わせが、分割点候補の組み合わせとして記録される。

このように、２時刻間における拘束を採用することで、画像Ｆ１内の輪郭線２１０１上の分割点候補に対応する、画像Ｆ２内の輪郭線２１０２上の分割点候補が一意に求められる。

図２２は、図１１のステップ１１０６における分割スコア計算処理の例を示すフローチャートである。まず、相違度計算部１０３３は、画像Ｆ１内の１本の輪郭線を選択し、候補リスト１０４４を参照して、選択した輪郭線上の分割点候補を含む１個の組み合わせを選択し、その輪郭線を分割点候補の位置で２本の部分輪郭線に分割する。

そして、相違度計算部１０３３は、分割点候補の上側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ１と、その部分輪郭線の傾きＵ１とを計算する（ステップ２２０１）。画素値としては、例えば、輝度値を用いることができ、画素値の統計値としては、複数の画素値の平均値、中央値、最大値、最小値等を用いることができる。

次に、相違度計算部１０３３は、分割点候補の下側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ２と、その部分輪郭線の傾きＵ２とを計算する（ステップ２２０２）。そして、相違度計算部１０３３は、上側の部分輪郭線と下側の部分輪郭線との相違度を示す評価値Ｅ１を、次式により計算する（ステップ２２０３）。

Ｅ１＝ｗ１×Ｄ１＋ｗ２×Ｄ２ （１１）
Ｄ１＝｜Ｖ１−Ｖ２｜ （１２）
Ｄ２＝｜θ１｜ （１３）

式（１１）のｗ１及びｗ２は、調整係数を表す正の実数であり、式（１３）のθ１は、傾きＵ１と傾きＵ２との間の角度である。画素値相違度Ｄ１は、上側の部分輪郭線の画素値と下側の部分輪郭線の画素値との相違度を示し、傾き相違度Ｄ２は、上側の部分輪郭線の傾きと下側の部分輪郭線の傾きとの相違度を示す。

同様にして、相違度計算部１０３３は、画像Ｆ２内の輪郭線を分割点候補の位置で２本の部分輪郭線に分割し、分割点候補の上側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ３と、その部分輪郭線の傾きＵ３とを計算する（ステップ２２０４）。

次に、相違度計算部１０３３は、分割点候補の下側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ４と、その部分輪郭線の傾きＵ４とを計算する（ステップ２２０５）。そして、相違度計算部１０３３は、上側の部分輪郭線と下側の部分輪郭線との相違度を示す評価値Ｅ２を、次式により計算する（ステップ２２０６）。

Ｅ２＝ｗ１×Ｄ３＋ｗ２×Ｄ４ （１４）
Ｄ３＝｜Ｖ３−Ｖ４｜ （１５）
Ｄ４＝｜θ２｜ （１６）

式（１６）のθ２は、傾きＵ３と傾きＵ４との間の角度である。相違度計算部１０３３は、選択した分割点候補の組み合わせに対する評価値を示す分割スコアＥ３を、次式により計算し、分割スコアＥ３を分割スコア１０４５として記録する（ステップ２２０７）。

Ｅ３＝Ｅ１＋Ｅ２ （１７）

次に、相違度計算部１０３３は、画像Ｆ１内の輪郭線上の分割点候補を含むすべての組み合わせを選択したか否かをチェックする（ステップ２２０８）。未選択の組み合わせが残っている場合（ステップ２２０８，ＮＯ）、相違度計算部１０３３は、次の組み合わせについて、ステップ２２０１以降の処理を繰り返す。

すべての組み合わせを選択した場合（ステップ２２０８，ＹＥＳ）、相違度計算部１０３３は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２２０９）。未選択の輪郭線が残っている場合（ステップ２２０９，ＮＯ）、相違度計算部１０３３は、次の輪郭線について、ステップ２２０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２２０９，ＹＥＳ）、相違度計算部１０３３は、処理を終了する。

このような分割スコア計算処理によれば、画像Ｆ１内の各輪郭線上の各分割点候補について、式（１７）の分割スコアＥ３を求めることができる。分割スコアＥ３が大きいほど、対応する分割点候補が輪郭線上の分割点としてより適切であることを表す。

図２３は、図１１のステップ１１０７における特徴類似度計算処理の例を示すフローチャートである。まず、類似度計算部１０３４は、画像Ｆ１内の１本の輪郭線を選択し、候補リスト１０４４を参照して、選択した輪郭線上の分割点候補を含む１個の組み合わせを選択する。

そして、類似度計算部１０３４は、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線のそれぞれを、分割点候補の位置で２本の部分輪郭線に分割し、画像Ｆ１内の輪郭線の上側の部分輪郭線と、画像Ｆ２内の輪郭線の上側の部分輪郭線とを選択する（ステップ２３０１）。

次に、類似度計算部１０３４は、選択した２本の部分輪郭線の長さが同じになるようにスケール調整を行い（ステップ２３０２）、調整後の２本の部分輪郭線の類似度Ｇ１を、次式により計算する（ステップ２３０３）。

Ｇ１＝ｗ３×Ｒ１＋ｗ４×Ｒ２ （２１）
Ｒ１＝２５５−ＶＤ１／Ｍ１ （２２）
Ｒ２＝ｗ５−ｗ６×（ＸＤ１／Ｍ１） （２３）

式（２１）のｗ３及びｗ４と、式（２３）のｗ５及びｗ６は、調整係数を表す正の実数であり、式（２２）及び式（２３）のＭ１は、調整後の各部分輪郭線上の点の総数を表す。式（２２）のＶＤ１は、部分輪郭線間における２点の画素値の差分の総和を表す。画素値としては、例えば、輝度値を用いることができる。

式（２３）のＸＤ１は、部分輪郭線間における２点の水平方向のずれ量の総和を表す。例えば、図１９に示した２つの重複部分と同様に、調整後の２本の部分輪郭線を重心位置で重ね合わせることで、水平方向のずれ量を求めることができる。この場合、一方の部分輪郭線上の各点と、同じｙ座標を有する他方の部分輪郭線上の点との間で、ｘ座標の差分の絶対値が水平方向のずれ量として計算される。

画素値類似度Ｒ１は、画像Ｆ１内の上側の部分輪郭線の画素値と、画像Ｆ２内の上側の部分輪郭線の画素値との類似度を示し、傾き類似度Ｒ２は、画像Ｆ１内の上側の部分輪郭線の傾きと、画像Ｆ２内の上側の部分輪郭線の傾きとの類似度を示す。

次に、類似度計算部１０３４は、画像Ｆ１内の輪郭線の下側の部分輪郭線と、画像Ｆ２内の輪郭線の下側の部分輪郭線とを選択する（ステップ２３０４）。そして、類似度計算部１０３４は、選択した２本の部分輪郭線同士のスケール調整を行い（ステップ２３０５）、調整後の２本の部分輪郭線の類似度Ｇ２を、次式により計算する（ステップ２３０６）。

Ｇ２＝ｗ３×Ｒ３＋ｗ４×Ｒ４ （２４）
Ｒ３＝２５５−ＶＤ２／Ｍ２ （２５）
Ｒ４＝ｗ５−ｗ６×（ＸＤ２／Ｍ２） （２６）

式（２５）及び式（２６）のＭ２は、調整後の各部分輪郭線上の点の総数を表す。式（２５）のＶＤ２は、部分輪郭線間における２点の画素値の差分の総和を表し、式（２６）のＸＤ２は、部分輪郭線間における２点の水平方向のずれ量の総和を表す。

画素値類似度Ｒ３は、画像Ｆ１内の下側の部分輪郭線の画素値と、画像Ｆ２内の下側の部分輪郭線の画素値との類似度を示し、傾き類似度Ｒ４は、画像Ｆ１内の下側の部分輪郭線の傾きと、画像Ｆ２内の下側の部分輪郭線の傾きとの類似度を示す。

次に、類似度計算部１０３４は、画像Ｆ１内の両側の部分輪郭線と、画像Ｆ２内の両側の部分輪郭線との特徴類似度Ｇ３を、次式により計算し、特徴類似度Ｇ３を特徴類似度１０４６として記録する（ステップ２３０７）。

Ｇ３＝Ｇ１＋Ｇ２ （２７）

次に、類似度計算部１０３４は、画像Ｆ１内の輪郭線上の分割点候補を含むすべての組み合わせを選択したか否かをチェックする（ステップ２３０８）。未選択の組み合わせが残っている場合（ステップ２３０８，ＮＯ）、類似度計算部１０３４は、次の組み合わせについて、ステップ２３０１以降の処理を繰り返す。

すべての組み合わせを選択した場合（ステップ２３０８，ＹＥＳ）、類似度計算部１０３４は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２３０９）。未選択の輪郭線が残っている場合（ステップ２３０９，ＮＯ）、類似度計算部１０３４は、次の輪郭線について、ステップ２３０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２３０９，ＹＥＳ）、類似度計算部１０３４は、処理を終了する。

このような特徴類似度計算処理によれば、画像Ｆ１内の各輪郭線上の各分割点候補について、式（２７）の特徴類似度Ｇ３を求めることができる。特徴類似度Ｇ３が大きいほど、対応する分割点候補が輪郭線上の分割点としてより適切であることを表す。

なお、撮像装置１００１が出力する映像がカラー映像である場合、映像入力部１０１１は、各時刻のカラー画像を記憶部１０１３に格納することもできる。この場合、相違度計算部１０３３及び類似度計算部１０３４は、カラー画像のＲＧＢ値、色差信号等を画素値として用いて、分割スコアＥ３及び特徴類似度Ｇ３を計算してもよい。

図２４は、図１１のステップ１１０８における分割点決定処理の例を示すフローチャートである。まず、分割点決定部１０３５は、画像Ｆ１内の１本の輪郭線を選択し、分割スコア１０４５及び特徴類似度１０４６を参照して、選択した輪郭線上の各分割点候補に対する特徴評価値Ｅ４を、次式により計算する（ステップ２４０１）。

Ｅ４＝Ｅ３＋Ｇ３ （３１）

そして、分割点決定部１０３５は、複数の分割点候補に対する特徴評価値Ｅ４のうち最大値を選択して、閾値と比較する（ステップ２４０２）。特徴評価値Ｅ４の最大値が閾値以上である場合（ステップ２４０２，ＹＥＳ）、分割点決定部１０３５は、最大値に対応する分割点候補を分割点に決定し、決定した分割点の位置で輪郭線を分割する（ステップ２４０３）。これにより、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線とが、それぞれの分割点で分割される。

そして、分割点決定部１０３５は、輪郭線情報１０４３において、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線の分割状態及び分割点位置を更新する（ステップ２４０４）。輪郭線の分割状態が分割無しである場合、分割点決定部１０３５は、分割状態を分割有りに変更し、決定した分割点の位置を分割点位置に設定する。

一方、輪郭線の分割状態が分割有りである場合、分割点決定部１０３５は、分割状態を変更することなく、分割点位置を更新する。このとき、分割点決定部１０３５は、既に記録されている分割点位置と、決定した分割点の位置との加重平均を求め、求めた位置を分割点位置に設定することができる。記録されている分割点位置の重みを０に設定した場合、決定した分割点の位置が分割点位置に設定される。

次に、分割点決定部１０３５は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２４０５）。未選択の輪郭線が残っている場合（ステップ２４０５，ＮＯ）、分割点決定部１０３５は、次の輪郭線について、ステップ２４０１以降の処理を繰り返す。

特徴評価値Ｅ４の最大値が閾値未満である場合（ステップ２４０２，ＮＯ）、分割点決定部１０３５は、輪郭線を分割することなく、ステップ２４０５以降の処理を行う。そして、すべての輪郭線を選択した場合（ステップ２４０５，ＹＥＳ）、分割点決定部１０３５は、処理を終了する。

このような分割点決定処理によれば、画像Ｆ１内の各輪郭線と画像Ｆ２内の各輪郭線とを最適な分割点で分割することができる。なお、特徴類似度Ｇ３のみを特徴評価値Ｅ４として用いて、分割点を決定することも可能である。

図２５は、分割点決定処理の例を示している。輝度値分布２５０１は、画像Ｆ１内の輪郭線上の輝度値の変化を表し、輝度値分布２５０２は、画像Ｆ２内の対応する輪郭線上の輝度値の変化を表す。各輝度値分布は、各輪郭線上のエッジ点のｙ座標に対して、輝度値をプロットすることで求められる。

例えば、輝度値分布２５０１上の点２５１１が画像Ｆ１内の分割点候補に対応する場合、輝度値分布２５０１は、上側の部分輪郭線の輝度値分布２５０３と、下側の部分輪郭線の輝度値分布２５０４とに区分される。同様に、輝度値分布２５０２上の点２５１２が画像Ｆ２内の分割点候補に対応する場合、輝度値分布２５０２は、上側の部分輪郭線の輝度値分布２５０５と、下側の部分輪郭線の輝度値分布２５０６とに区分される。

次に、画像Ｆ１内の上側の部分輪郭線と画像Ｆ２内の上側の部分輪郭線のスケール調整を行うことで、輝度値分布２５０３及び輝度値分布２５０５は、輝度値分布２５０７及び輝度値分布２５０９にそれぞれ変換される。また、画像Ｆ１内の下側の部分輪郭線と画像Ｆ２内の下側の部分輪郭線のスケール調整を行うことで、輝度値分布２５０４及び輝度値分布２５０６は、輝度値分布２５０８及び輝度値分布２５１０にそれぞれ変換される。

この場合、輝度値分布２５０７と輝度値分布２５０９との差分から、式（２２）の画素値類似度Ｒ１が計算され、輝度値分布２５０８と輝度値分布２５１０との差分から、式（２５）の画素値類似度Ｒ３が計算される。しかし、画素値類似度Ｒ１及び画素値類似度Ｒ３が小さいため、結果的に式（３１）の特徴評価値Ｅ４が小さくなり、点２５１１及び点２５１２に対応する２個の分割点候補は分割点として採用されない。

一方、輝度値分布２５０１上の点２５１３が画像Ｆ１内の分割点候補に対応する場合、輝度値分布２５０１は、上側の部分輪郭線の輝度値分布２５２１と、下側の部分輪郭線の輝度値分布２５２２とに区分される。同様に、輝度値分布２５０２上の点２５１４が画像Ｆ２内の分割点候補に対応する場合、輝度値分布２５０２は、上側の部分輪郭線の輝度値分布２５２３と、下側の部分輪郭線の輝度値分布２５２４とに区分される。

次に、画像Ｆ１内の上側の部分輪郭線と画像Ｆ２内の上側の部分輪郭線のスケール調整を行うことで、輝度値分布２５２１及び輝度値分布２５２３は、輝度値分布２５２５及び輝度値分布２５２７にそれぞれ変換される。また、画像Ｆ１内の下側の部分輪郭線と画像Ｆ２内の下側の部分輪郭線のスケール調整を行うことで、輝度値分布２５２２及び輝度値分布２５２４は、輝度値分布２５２６及び輝度値分布２５２８にそれぞれ変換される。

この場合、輝度値分布２５２５と輝度値分布２５２７との差分から、式（２２）の画素値類似度Ｒ１が計算され、輝度値分布２５２６と輝度値分布２５２８との差分から、式（２５）の画素値類似度Ｒ３が計算される。そして、画素値類似度Ｒ１及び画素値類似度Ｒ３が大きいため、結果的に式（３１）の特徴評価値Ｅ４が大きくなり、点２５１３及び点２５１４に対応する２個の分割点候補が分割点として採用される。

図２６は、図１１のステップ１１０９における立体物検出処理の例を示すフローチャートである。まず、特定部７１３は、画像Ｆ１内の１本の輪郭線を選択し、輪郭線情報１０４３を参照して、選択した輪郭線と同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在するか否かをチェックする（ステップ２６０１）。

同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在する場合（ステップ２６０１，ＹＥＳ）、特定部７１３は、輪郭線情報１０４３を参照して、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線を、それぞれの分割点位置で分割する（ステップ２６０２）。そして、特定部７１３は、上側及び下側の部分輪郭線の端点のオプティカルフローに基づいて、各部分輪郭線のフロー量を計算する。

次に、特定部７１３は、各部分輪郭線のフロー量を閾値と比較する（ステップ２６０３）。フロー量が閾値以上である場合（ステップ２６０３，ＹＥＳ）、特定部７１３は、その部分輪郭線を有する領域は立体物の領域であると判定し、その領域を含む検出結果１０４７を生成する（ステップ２６０４）。フロー量に対する閾値は、例えば、車両の移動量と、画像Ｆ１及び画像Ｆ２内における部分輪郭線の位置とに基づいて、設定することができる。

一方、フロー量が閾値未満である場合（ステップ２６０３，ＹＥＳ）、特定部７１３は、その部分輪郭線を有する領域は路面上の模様の領域であると判定する（ステップ２６０５）。

次に、特定部７１３は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２６０６）。未選択の輪郭線が残っている場合（ステップ２６０６，ＮＯ）、特定部７１３は、次の輪郭線について、ステップ２６０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２６０６，ＹＥＳ）、特定部７１３は、処理を終了する。

出力部１０１２は、特定部７１３が生成した検出結果１０４７を用いて、立体物の領域を強調した画像１０４１を画面上に表示してもよく、ドライバに対する警告音声を出力してもよい。

図７及び図１０の画像解析装置７０１の構成は一例に過ぎず、画像解析装置７０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、エッジ検出処理が画像解析装置７０１の外部で行われる場合は、映像入力部１０１１及び特徴点抽出部１０２１を省略することができる。特徴類似度Ｇ３のみを用いて分割点を決定する場合は、相違度計算部１０３３を省略することができる。撮像装置１００１は、自走式ロボット、動物等の移動体に搭載されていてもよい。

図８、図１１、図１２、図１６、図１７、図２０、図２２〜図２４、及び図２６のフローチャートは一例に過ぎず、画像解析装置７０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１の画像解析処理において、エッジ検出処理が画像解析装置７０１の外部で行われる場合は、ステップ１１０１及びステップ１１０２の処理を省略することができる。特徴類似度Ｇ３のみを用いて分割点を決定する場合は、ステップ１１０６の処理を省略することができる。

図１２のステップ１２０２において、輪郭線抽出部１０２２は、エッジ点Ａを含むラインよりも１本上のラインに含まれる３画素だけでなく、その両側の画素を含む、より多くの画素を探索対象として、エッジ点を探索してもよい。

図１６の輪郭線照合処理において、追跡に失敗した輪郭線を削除する必要がない場合は、ステップ１６０７〜ステップ１６０９の処理を省略することができる。ステップ１６０４及びステップ１６０５において、照合部１０３１は、２本の輪郭線の相違度の代わりに、２本の輪郭線の類似度に基づいて、それらの輪郭線が同じ輪郭線であるか否かを判定してもよい。

図２２の分割スコア計算処理において、相違度計算部１０３３は、画素値相違度又は傾き相違度のいずれか一方に基づいて、分割スコアＥ３を計算してもよい。図２３の特徴類似度計算処理において、類似度計算部１０３４は、画素値類似度又は傾き類似度のいずれか一方に基づいて、特徴類似度Ｇ３を計算してもよい。

図２４の分割点決定処理において、特徴類似度Ｇ３のみを用いて分割点を決定する場合、ステップ２４０１において、分割点決定部１０３５は、特徴類似度Ｇ３を特徴評価値Ｅ４として用いる。

図１、図３、図５、図６、図９、図１８、及び図２１の画像は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、別の画像が撮影されることもある。図２の路面上の模様及び立体物は一例に過ぎず、撮影環境に応じて、別の物体が撮影されることもある。図１３及び図１４のエッジ点は一例に過ぎず、撮影された画像に応じて、別のエッジ点が検出されることもある。

図１５の輪郭線情報は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、一部の情報を省略又は変更してもよい。例えば、追跡に失敗した輪郭線を削除する必要がない場合は、ロスト回数を省略することができる。図２５の輝度値分布は一例に過ぎず、輝度値分布は撮影された画像に応じて変化する。

式（１）〜式（３１）は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、別の計算式を用いてもよい。

画像から抽出される各領域の画像特徴として、輪郭線以外の画像特徴を用いることも可能である。例えば、各領域に含まれる画素集合を画像特徴として抽出する場合、特定領域の画素集合と、立体物の領域の画素集合との間の境界線が、特定領域と立体物との境界として用いられる。

図７及び図１０の画像解析装置７０１は、ハードウェア回路として実装することもでき、図２７に示すような情報処理装置（コンピュータ）を用いて実装することもできる。

図２７の情報処理装置は、Central Processing Unit（ＣＰＵ）２７０１、メモリ２７０２、入力装置２７０３、出力装置２７０４、補助記憶装置２７０５、媒体駆動装置２７０６、及びネットワーク接続装置２７０７を備える。これらの構成要素はバス２７０８により互いに接続されている。図１０の撮像装置１００１は、バス２７０８に接続されていてもよい。

メモリ２７０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２７０２は、図１０の記憶部１０１３として用いることができる。

ＣＰＵ２７０１（プロセッサ）は、例えば、メモリ２７０２を利用してプログラムを実行することにより、図７及び図１０の抽出部７１１、決定部７１２、及び特定部７１３として動作する。ＣＰＵ２７０１は、図１０の映像入力部１０１１、特徴点抽出部１０２１、輪郭線抽出部１０２２、照合部１０３１、生成部１０３２、相違度計算部１０３３、類似度計算部１０３４、及び分割点決定部１０３５としても動作する。

入力装置２７０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２７０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置２７０４は、図１０の出力部１０１２として用いることができる。処理結果は、検出結果１０４７であってもよい。

補助記憶装置２７０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２７０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。補助記憶装置２７０５は、図１０の記憶部１０１３として用いることができる。情報処理装置は、補助記憶装置２７０５にプログラム及びデータを格納しておき、それらをメモリ２７０２にロードして使用することができる。

媒体駆動装置２７０６は、可搬型記録媒体２７０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２７０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２７０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２７０９にプログラム及びデータを格納しておき、それらをメモリ２７０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２７０２、補助記憶装置２７０５、又は可搬型記録媒体２７０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置２７０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置２７０７は、図１０の出力部１０１２として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２７０７を介して受信し、それらをメモリ２７０２にロードして使用することができる。

情報処理装置は、ネットワーク接続装置２７０７を介して、ユーザ端末から処理要求を受信し、検出結果１０４７をユーザ端末へ送信することもできる。

なお、情報処理装置が図２７のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置２７０３及び出力装置２７０４を省略してもよい。また、可搬型記録媒体２７０９又は通信ネットワークを利用しない場合は、媒体駆動装置２７０６又はネットワーク接続装置２７０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図３乃至図２７を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
処理をコンピュータに実行させる画像解析プログラム。
（付記２）
前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１記載の画像解析プログラム。
（付記３）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記２記載の画像解析プログラム。
（付記４）
前記コンピュータは、前記第２画像から抽出された複数のエッジ線分の中から、前記移動体の前記移動量と前記撮像装置の設置情報とに基づいて、前記第３エッジ線分に対応する前記第４エッジ線分を特定し、前記第１領域内の前記複数の位置が前記第２エッジ線分上に存在するという条件を用いて、前記第１領域内の前記複数の位置それぞれから前記第２領域内の前記複数の位置それぞれを求めることを特徴とする付記３記載の画像解析プログラム。
（付記５）
前記コンピュータは、前記第３エッジ線分の一方の端点と前記境界との間の第１部分エッジ線分の画素値と、前記第４エッジ線分の一方の端点と前記境界との間の第２部分エッジ線分の画素値との類似度を示す第１画素値類似度と、前記第３エッジ線分の他方の端点と前記境界との間の第３部分エッジ線分の画素値と、前記第４エッジ線分の他方の端点と前記境界との間の第４部分エッジ線分の画素値との類似度を示す第２画素値類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記３又は４記載の画像解析プログラム。
（付記６）
前記コンピュータは、前記第１部分エッジ線分の傾きと前記第２部分エッジ線分の傾きとの類似度を示す第１傾き類似度と、前記第３部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの類似度を示す第２傾き類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記５記載の画像解析プログラム。
（付記７）
前記コンピュータは、前記第１部分エッジ線分の前記画素値と前記第３部分エッジ線分の前記画素値との相違度を示す第１画素値相違度に基づいて、前記第３エッジ線分上の前記境界に対する第１評価値を求め、前記第２部分エッジ線分の画素値と前記第４部分エッジ線分の画素値との相違度を示す第２画素値相違度に基づいて、前記第４エッジ線分上の前記境界に対する第２評価値を求め、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度と、前記第１評価値と、前記第２評価値とを用いて、前記特徴評価値を求めることを特徴とする付記５又は６記載の画像解析プログラム。
（付記８）
前記コンピュータは、前記第１部分エッジ線分の傾きと前記第３部分エッジ線分の傾きとの相違度を示す第１傾き相違度に基づいて、前記第１評価値を求め、前記第２部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの相違度を示す第２傾き相違度に基づいて、前記第２評価値を求めることを特徴とする付記７記載の画像解析プログラム。
（付記９）
前記移動体は車両であり、前記撮像装置は前記車両の前方又は後方に設置され、前記特定領域は前記面上の模様であることを特徴とする付記１乃至８のいずれか１項に記載の画像解析プログラム。
（付記１０）
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する抽出部と、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定する決定部と、
前記決定部が決定した前記境界に基づいて、前記第１領域内の前記立体物の領域を特定する特定部と、
を備えることを特徴とする画像解析装置。
（付記１１）
前記決定部は、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１０記載の画像解析装置。
（付記１２）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記決定部は、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記１１記載の画像解析装置。
（付記１３）
コンピュータが、
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
ことを特徴とする画像解析方法。
（付記１４）
前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１３記載の画像解析方法。
（付記１５）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記１４記載の画像解析方法。

１０１、１０２、３０１、１０４１ 画像
１１１、１１２ 物体
１１３、２１１ 矢印
１２１、１２２、２０７、４０１、６０２、６０３、１９０３、２５１１〜２５１４ 点
１３１〜１３４、３２２、３２３、１８２１、１８２２、１８３１、１８３２ 端点
２０１ 路面
２０２、３１１ 模様
２０３、３１２、２１３１ 立体物
２０４ 着目点
２０５ 車両
２０６ カメラ
２１２〜２１４ 方向
３２１、３２５、３２６、１８０１、１８０２、２１０１、２１０２ 輪郭線
３２４、５０２、５０４ 分割点
４０２、４０３、９０２〜９０５、１８０３ 部分輪郭線
５０１、５０３、６０１ 領域
７０１ 画像解析装置
７１１ 抽出部
７１２ 決定部
７１３ 特定部
９０１−１〜９０１−Ｎ 組み合わせ
１００１ 撮像装置
１０１１ 映像入力部
１０１２ 出力部
１０１３ 記憶部
１０２１ 特徴点抽出部
１０２２ 輪郭線抽出部
１０３１ 照合部
１０３２ 生成部
１０３３ 相違度計算部
１０３４ 類似度計算部
１０３５ 分割点決定部
１０４２ 特徴点画像
１０４３ 輪郭線情報
１０４４ 候補リスト
１０４５ 分割スコア
１０４６ 特徴類似度
１０４７ 検出結果
１３０１〜１３０３ 画素
１８１１〜１８１３ 直線
１８２３ 交点
１９０１、１９０２ 線分
２１１１〜２１１５、２１２１〜２１２５ エッジ点
２５０１〜２５１０、２５２１〜２５２８ 輝度値分布
２７０１ ＣＰＵ
２７０２ メモリ
２７０３ 入力装置
２７０４ 出力装置
２７０５ 補助記憶装置
２７０６ 媒体駆動装置
２７０７ ネットワーク接続装置
２７０８ バス
２７０９ 可搬型記録媒体

Claims (10)

1. 面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
   前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
   前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
   前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
   決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
   処理をコンピュータに実行させる画像解析プログラム。
2. 前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする請求項１記載の画像解析プログラム。
3. 前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項２記載の画像解析プログラム。
4. 前記コンピュータは、前記第２画像から抽出された複数のエッジ線分の中から、前記移動体の前記移動量と前記撮像装置の設置情報とに基づいて、前記第３エッジ線分に対応する前記第４エッジ線分を特定し、前記第１領域内の前記複数の位置が前記第２エッジ線分上に存在するという条件を用いて、前記第１領域内の前記複数の位置それぞれから前記第２領域内の前記複数の位置それぞれを求めることを特徴とする請求項３記載の画像解析プログラム。
5. 前記コンピュータは、前記第３エッジ線分の一方の端点と前記境界との間の第１部分エッジ線分の画素値と、前記第４エッジ線分の一方の端点と前記境界との間の第２部分エッジ線分の画素値との類似度を示す第１画素値類似度と、前記第３エッジ線分の他方の端点と前記境界との間の第３部分エッジ線分の画素値と、前記第４エッジ線分の他方の端点と前記境界との間の第４部分エッジ線分の画素値との類似度を示す第２画素値類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項３又は４記載の画像解析プログラム。
6. 前記コンピュータは、前記第１部分エッジ線分の傾きと前記第２部分エッジ線分の傾きとの類似度を示す第１傾き類似度と、前記第３部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの類似度を示す第２傾き類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項５記載の画像解析プログラム。
7. 前記コンピュータは、前記第１部分エッジ線分の前記画素値と前記第３部分エッジ線分の前記画素値との相違度を示す第１画素値相違度に基づいて、前記第３エッジ線分上の前記境界に対する第１評価値を求め、前記第２部分エッジ線分の画素値と前記第４部分エッジ線分の画素値との相違度を示す第２画素値相違度に基づいて、前記第４エッジ線分上の前記境界に対する第２評価値を求め、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度と、前記第１評価値と、前記第２評価値とを用いて、前記特徴評価値を求めることを特徴とする請求項５又は６記載の画像解析プログラム。
8. 前記コンピュータは、前記第１部分エッジ線分の傾きと前記第３部分エッジ線分の傾きとの相違度を示す第１傾き相違度に基づいて、前記第１評価値を求め、前記第２部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの相違度を示す第２傾き相違度に基づいて、前記第２評価値を求めることを特徴とする請求項７記載の画像解析プログラム。
9. 面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する抽出部と、
   前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定する決定部と、
   前記決定部が決定した前記境界に基づいて、前記第１領域内の前記立体物の領域を特定する特定部と、
   を備えることを特徴とする画像解析装置。
10. コンピュータが、
    面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
    前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
    前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
    前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
    決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
    ことを特徴とする画像解析方法。