JP2017083245A - 建築限界判定装置 - Google Patents

Abstract

【課題】エッジ検出や２値化処理及び塊検出に依らずに距離算出を行って、建築限界領域と障害物との離隔判定を行う建築限界判定装置を提供する。
【解決手段】レールを走行する車両の複数のカメラで前方又は後方を撮像した複数の画像データを演算処理する処理部２３が、撮像された複数の画像データから障害物の距離データを算出する距離算出部３２と、撮像された複数の画像データからレール位置を算出するレール認識部３３と、複数の地点の距離データを統合して３次元環境地図と車両傾きを求める距離データ統合部３４と、複数の地点のレール位置と車両傾きと静的な建築限界領域とを用いて、車両に対する動的な建築限界領域を算出する建築限界領域算出部３５と、建築限界領域と３次元環境地図を用いて、最寄りの障害物までの離隔距離を算出し、離隔判定を行う離隔算出部３６とを有する。
【選択図】図７

Description

本発明は、鉄道分野及び画像処理分野において、レールを走行する車両の前方又は後方の複数のカメラ画像から画像処理により建築限界領域と障害物との離隔判定を行う建築限界判定装置に関する。

カメラ画像の画像処理により支障物を検出する装置として、特許文献１では、エッジ検出をベースとした支障物検出を行っている。又、特許文献２では、２値化処理によって得られたある程度の大きさの領域を支障物として検出している。

特許第４０７８７９８号公報 特許第４４４０８０９号公報

Paul J. Besl, Neil D. McKay, "A Method for Registration of 3-D Shapes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 14, NO.2, FEBRUARY 1992, pp. 239-256 V. Kolmogorov, R. Zabih, "Multi-camera Scene Reconstruction via Graph Cuts", ECCV, VOL. 3, 2002, pp. 82-96

しかしながら、上述した特許文献１及び特許文献２には以下の問題がある。具体的には、特許文献１では、パンタグラフ周辺に限った検出しか行えず、又、エッジベースの手法のため、エッジが検出できない箇所については、ステレオ計測による距離算出が行えないという問題がある。又、特許文献２でも、パンタグラフ周辺に限った検出しか行えず、又、２値化処理や塊検出という処理を行っているため、それぞれの処理に対応できない物体については、ステレオ計測による距離算出が行えないという問題がある。

本発明は上記課題に鑑みなされたもので、エッジ検出や２値化処理及び塊検出に依らずに距離算出を行って、建築限界領域と障害物との離隔判定を行う建築限界判定装置を提供することを目的とする。

上記課題を解決する第１の発明に係る建築限界判定装置は、
レールを走行する車両の前方又は後方を画像データとして撮像する複数のカメラと、
前記複数のカメラで撮像された複数の画像データの演算処理を行う処理部とを有し、
前記処理部は、
前記複数のカメラで撮像された複数の画像データから、ブロックマッチングを用いた三角測量により障害物の距離データを算出すると共に、グラフカットにより前記距離データの最適化を行う距離算出部と、
前記複数のカメラで撮像された複数の画像データからレール位置を算出するレール認識部と、
複数の地点で撮像された前記画像データについて、前記距離算出部で算出した前記複数の地点の前記距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
前記レール認識部で算出した前記複数の地点の前記レール位置と、前記距離データ統合部で求めた前記複数の地点の前記車両傾きと、固定値として与えられた静的な建築限界領域とを用いて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
前記建築限界領域算出部で算出した前記建築限界領域と前記距離データ統合部で求めた前記３次元環境地図を用いて、前記建築限界領域から最寄りの前記障害物までの離隔距離を算出し、離隔判定を行う離隔算出部とを有する
ことを特徴とする。

上記課題を解決する第２の発明に係る建築限界判定装置は、
上記第１の発明に記載の建築限界判定装置において、
前記レール認識部は、前記画像データの前記レールの枕木方向のライン領域について、予め用意されたレールのテンプレート画像データ又はレールの輝度値の基準分布データを用いて、ラスタスキャンによるマッチングを行い、最もマッチングする位置をレール位置として算出する
ことを特徴とする。

上記課題を解決する第３の発明に係る建築限界判定装置は、
上記第１又は第２の発明に記載の建築限界判定装置において、
前記距離データ統合部は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて、前記距離算出部で算出した前記複数の地点の前記距離データを統合して、前記３次元環境地図を求めると共に前記車両傾きを求める
ことを特徴とする。

本発明によれば、ブロックマッチングとグラフカットを用いているので、エッジ検出や２値化処理、塊検出に依らず、監視画像データから平滑性を考慮した距離データの算出が可能となる。

又、本発明によれば、レール位置、車両傾きを算出しているので、レール位置と傾きと固定値として与えられた静的な建築限界領域とを用いて、車両に対する動的な建築限界領域の算出が可能である。又、３次元環境地図、建築限界領域を算出しているので、３次元環境地図、建築限界領域を用いて、障害物の離隔距離の算出、離隔判定が可能である。

又、本発明によれば、任意の枕木方向のライン領域について、予め用意されたレールのテンプレート画像データ又はレールの輝度値の基準分布データを用い、ラスタスキャンによるマッチングを行って、最もマッチングする位置をレール位置として算出しているので、監視画像データから正確にレール位置の検出が可能となる。又、異なる撮影地点における監視画像データの距離データをＩＣＰアルゴリズムで統合して、３次元環境地図を作るので、設計値が無い物体についても形状を把握することが可能であり、加えて、ＩＣＰアルゴリズムにより車両傾きの算出も可能である。

レールと電柱で構成される鉄道設備の一例を示す斜視図である。 図１に示した鉄道設備において、ある地点に位置する列車からの撮像範囲内で距離データを取得できた領域を示す図である。 図１に示した鉄道設備において、異なる地点に位置する列車からの撮像範囲内で距離データを取得できた領域を示す図である。 図２及び図３に示した取得した距離データの領域を統合した領域を示す図である。 図４に示した統合した距離データから求めた建築限界領域と障害物との離隔除離の算出を説明する図である。 本発明に係る建築限界判定装置の実施形態の一例を示す図であり、（ａ）は、その概略構成を示す上面図、（ｂ）は、撮像された監視画像を示す図である。 図６（ａ）に示した建築限界判定装置を構成する処理部を説明するブロック図である。 図６（ａ）に示した建築限界判定装置における建築限界判定方法を説明するフローチャートである。

鉄道は長大で膨大な設備を有する大規模輸送システムである。鉄道設備には検査・保守が必要であり、その自動化が望まれている。自動化の１つとしてカメラによる撮像と画像処理による自動判定がある。本発明では、カメラと画像処理を用いた新たな自動計測・保守機能として建築限界判定装置を提案している。

なお、自動計測・保守には、カメラを使う方法以外にも、高精度に距離測定ができるレーザやレーダを用いる方法もあるが、計測したものの認識や判別ができない場合や、検出の範囲が限られる場合がある。これに対して、画像の場合は、鉄道設備やレールなどの計測したものの認識や判別を行う面で有利であること、そして、機器がレーザやレーダに比べ小型で安価であること、分解能や撮像速度の面で優れており、今後も発展の可能性を残していること、撮像した画像を人間が目視検査することも可能なことから、本発明では、後述の図６に示すように、カメラ２２ａ、２２ｂ又はカメラ２４ａ、２４ｂを用いた装置構成としている。

建築限界判定を行う方法として、カメラ１台を用いて行う方法が考えられるが、この場合には、設計値が存在する対象物しか検出することができず、設計値がない場合や木々などの自然物については計測できなかった。設計値がない場合に建築限界判定を行うためには、１台ではなく複数台のカメラを使い、三角測量の原理で直接距離を求めることが有効であり、本発明では、後述の図６に示すように、複数台のカメラ２２ａ、２２ｂ又はカメラ２４ａ、２４ｂを用いた装置構成としている。

複数台のカメラを用いる方法としては、上述した特許文献１及び特許文献２などがある。例えば、特許文献１及び特許文献２では、パンタグラフ周辺に限った検出を行うために、上述したように、これに特化した手法（エッジ検出や２値化処理及び塊検出）を用いており、エッジが検出できない箇所、２値化処理や塊検出の処理に対応できない物体については、ステレオ計測による距離算出が行えないと言う制約がある。これに対して、本発明では、特許文献１及び特許文献２とは異なる後述する処理を用いることにより、上述した制約なく、車両前方又は後方全領域を想定可能であり、撮影対象も鉄道設備に限らず自然物など全ての物体を対象にすることができる。

カメラの映像から障害物の検出を行うには、まず、複数台のカメラから撮像範囲の距離算出を行う必要がある。例えば、図１に示すように、レール１１と電柱１２で構成される鉄道設備の距離データを取得することを考える。後述の図６と同様に、複数台のカメラ２２ａ、２２ｂから撮像すると、図２に示すように、カメラ２２ａ、２２ｂの画像データを使って、距離データを算出することになる。複数台のカメラ２２ａ、２２ｂが存在し、それぞれのカメラ２２ａ、２２ｂの相対的な位置姿勢関係が分かっている場合には、三角測量の原理で、カメラ２２ａ、２２ｂから障害物（例えば、電柱１２）までの距離データが算出できることが知られている。

距離を求める際には、あるカメラで見ている画像上の注目画素が他のカメラから見て画像上のどの画素になるかを見つける必要がある。その方法として、ブロックマッチングと呼ばれる、画像のある画素の周辺の画素と類似する領域を他のカメラの画像から探す手法がよく用いられる。この手法は、画像上の注目画素周辺が特徴的なテクスチャを持っている場合は上手くいくが、テクスチャの無い場合にはブロックマッチング結果が一意に決まらず、このことが原因で正しい値が出ない場合がある。

この問題を解決するため、注目画素の推定距離が周辺の推定距離と比較して大きく異ならないように、最適化にペナルティ項を用いるグラフカットと呼ばれる手法が提案されている（非特許文献２）。このブロックマッチングとグラフカットを用いる手法は、高精度に距離算出を行うことが可能である。

障害物の検出は、上述した手法を用いることで実現可能だが、これだけでは、撮影したある一地点の距離データしか得ることができない。判定対象区間全域で建築限界判定を行うためには、複数地点から撮影した距離データを統合することで３次元の地図を作り、その地図上で評価を行う必要がある。

図３に、図２の場合と異なる位置から撮像した場合の距離データの取得例を示す。図２の結果と比較すると、一部同じ区間の距離データを取得できていることがわかる。ここで、図２、図３において、点線は距離データを取得できた範囲を示しており、図２では範囲Ａの距離データを、図３では範囲Ｂの距離データを取得できている。この共通区間を用いて、２つの距離データの位置合わせを行うことで距離データの統合をすることが可能である。距離データの位置合わせには、２つの３次元点群の位置合わせを行うＩＣＰ（Iterative Closest Point）アルゴリズムと呼ばれる手法がよく用いられている（非特許文献１）。詳細は後述するが、本発明でもＩＣＰを使うことにより、距離データの統合を行い、最終的に３次元環境地図を作成している。

例えば、図２で示すある位置から撮像した場合の距離データの範囲Ａと、図３で示す図２とは異なる位置から撮像した場合の距離データの範囲Ｂを統合すると、図４に示すような３次元環境地図を作成することができる。なお、図４において、点線が示す範囲Ｃは、距離データの範囲Ａと距離データの範囲Ｂを統合した範囲を示している。

距離データの位置合わせを行うことは、距離データ同士の相対的な位置姿勢を求めるのと同義である。この位置姿勢が分かることで、撮影毎の車両の進行量や速度、車両傾きを求めることができる。この車両傾きは建築限界領域を定める上で非常に重要な要素となる。ちなみに、ＩＣＰアルゴリズムは反復計算により解を求める手法であり、結果が初期値に依存する。そのため、正しい初期値を設定することが必要であるが、本発明においては、車両がレール上しか移動しないことを利用することで、良い初期値を設定することが容易になる。

レールの検出については以下のようにしている。
建築限界判定を行うためには、３次元環境地図上で車両がどこを通るのか認識する必要がある。本発明は鉄道に用途を限定しているため、車両が通るのはレール上ということが分かっている。そこで、画像上からレールの認識を行うことで、車両の通過領域及び建築限界領域を求めることが可能になる。本発明では、前方又は後方の監視画像において、枕木方向のライン領域について、予め用意されたレールのテンプレート画像データ又はレールの輝度値の基準分布データ（基準レール輝度分布データ）を用いて、ラスタスキャンによるマッチングを行い、最もマッチングする位置をレール位置としている。このようにして検出したレール位置を元に、建築限界領域の計算を行う。

建築限界領域は静的には固定値として与えられているが、車両が傾く場合には動的に変化する。そのため、動的な建築限界領域の計算には車両傾きが必要であるが、これはすでに上記ＩＣＰアルゴリズムで車両の位置姿勢として求めている。最終的には、車両傾きを考慮した建築限界領域から各地点における最寄りの障害物までの距離を算出する。

例えば、図５に示すように、車両傾きを考慮した建築限界領域Ｄから各地点における最寄りの障害物までの距離を算出するようにしており、障害物となる電柱１２に対しては、建築限界領域Ｄと電柱１２が最も接近する地点での距離Ｌが算出される。

以上のことを考慮した本発明に係る建築限界判定装置について、図６〜図８を参照して説明する。

［実施例１］
図６は、本実施例の建築限界判定装置を示す図であり、図６（ａ）は、その概略構成を示す上面図、図６（ｂ）は、撮像された監視画像を示す図である。又、図７は、図６（ａ）に示した建築限界判定装置を構成する処理部を説明するブロック図である。又、図８は、図６（ａ）に示した建築限界判定装置における建築限界判定方法を説明するフローチャートである。

本実施例の建築限界判定装置は、図６（ａ）に示すように、レール１１を矢印Ｅの方向に走行する列車２１（車両）に設けられた２台のカメラ２２ａ、２２ｂと、カメラ２２ａ、２２ｂで撮像された画像Ｍを用い、後述する演算処理を行って、建築限界領域と障害物との離隔判定を行う処理部２３とを有している。

カメラ２２ａ、２２ｂは、列車２１の先頭に設けられ、レール１１の長手方向前方（矢印Ｅの方向）に向かって配置されており、この場合、カメラ２２ａ、２２ｂで撮像された前方の画像Ｍが後述する処理に用いられる。カメラ２２ａ、２２ｂに代えて、列車２１の末尾に設けられ、レール１１の長手方向後方に向かって配置されたカメラ２４ａ、２４ｂを用いても良く、この場合、カメラ２４ａ、２４ｂで撮像された後方の画像Ｍが後述する処理に用いられる。カメラ２２ａ、２２ｂ又はカメラ２４ａ、２４ｂは、列車２１に固定されており、列車２１の移動や動揺・傾きに依存して、周囲の撮影が可能である。なお、カメラ２２ａ、２２ｂ又はカメラ２４ａ、２４ｂは、複数台（２台以上）であれば良い。

そして、上述した処理部２３は、図７に示すように、監視画像入力部３１と、距離算出部３２と、レール認識部３３と、距離データ統合部３４と、建築限界領域算出部３５と、離隔算出部３６と、記憶部３７とを有している。

監視画像入力部３１では、前方の複数台のカメラ２２ａ、２２ｂ（又は後方の複数台のカメラ２４ａ、２４ｂ）で取得した監視画像データを記億部３７へ入力している。

距離算出部３２では、監視画像データを使用し、ブロックマッチングとグラフカットを用いる手法により障害物の距離算出を行い、算出した距離データを記億部３７へ入力している。

レール認識部３３では、監視画像データを使用し、予め用意された後述するデータを用いて、マッチングを行い、最もマッチングする位置をレール位置として算出し、そのレール位置を記億部３７へ入力している。

距離データ統合部３４では、撮像した全ての監視画像データ群から算出した全距離データを使用し、ＩＣＰアルゴリズムを用いて距離統合を行い、３次元環境地図データと各撮影位置での車両位置姿勢データを求め、その３次元環境地図データと車両位置姿勢データを記億部３７へ入力している。

建築限界領域算出部３５では、レール位置と車両位置姿勢データと予め与えられた静的な建築限界領域とを用いて、建築限界領域データを算出し、その建築限界領域データを記億部３７へ入力している。

離隔算出部３６では、３次元環境地図データと建築限界領域データを用いて、これらのデータ間の離隔を算出し、その離隔データを記億部３７へ入力している。

記億部３７では、上述した監視画像データ、距離データ、３次元環境地図データ、車両位置姿勢データ、レール位置、建築限界領域データ、離隔データを保管している。

次に、図８を参照して、以上の構成を有する建築限界判定装置における建築限界判定方法の手順を説明する。

（ステップＳ１）
前方の複数台のカメラ２２ａ、２２ｂ（又は後方の複数台のカメラ２４ａ、２４ｂ）で撮像された前方の（又は後方の）監視画像データを記憶部３７へ入力する（監視画像入力部３１）。このとき、列車２１のレール１１上での位置を示すキロ程情報（又はキロ程位置）と対応付けて、監視画像データを入力しても良い。

（ステップＳ２）
入力された監視画像データにおいて、ブロックマッチングを用いた三角測量とグラフカットを用いる手法により、障害物を検出すると共に、障害物の距離データを算出する（距離算出部３２）。

具体的には、ブロックマッチングを用いて、カメラ２２ａ、２２ｂ（又はカメラ２４ａ、２４ｂ）の一方のカメラの監視画像データのある注目画素の周辺の画素と類似する領域を、他方のカメラの監視画像データから探し、この注目画素について、三角測量の原理を用いて、距離データを算出する。監視画像データ上の注目画素周辺に特徴的なテクスチャが無い場合には、グラフカットを用いて、注目画素の推定距離データが周辺の推定距離データと比較して大きく異ならないように、ペナルティ項により距離データを最適化する。

（ステップＳ３）
入力された監視画像データにおいて、予め用意された後述するデータを用いて、マッチングを行い、最もマッチングする位置をレール位置としてレール認識を行う（レール認識部３３）。

具体的には、マッチングのために、レールのテンプレート画像データや基準レール輝度分布データを予め用意しておく。そして、監視画像データにおいて、任意の枕木方向のライン領域について、レールのテンプレート画像データや基準レール輝度分布データを用いて、ラスタスキャンによるマッチングを行い、最もマッチングする位置をレール位置として算出する。

（ステップＳ４）
前方の複数台のカメラ２２ａ、２２ｂ（又は後方の複数台のカメラ２４ａ、２４ｂ）による撮像が終了した場合にはステップＳ６へ進み、撮像が終了していない場合には、ステップＳ５へ進む。

（ステップＳ５）
撮像が終了していない場合には、前方の複数台のカメラ２２ａ、２２ｂ（又は後方の複数台のカメラ２４ａ、２４ｂ）で新しく撮像された前方の（又は後方の）監視画像データを入力し（監視画像入力部３１）、ステップＳ２へ戻る。つまり、撮像が終了するまで、ステップＳ２〜Ｓ５が繰り返し実施され、複数の監視画像データからなる監視画像データ群が記憶部３７に入力され、距離データ、レール位置が求められる。監視画像データ群の各監視画像データは、各々異なる撮影地点から撮像された画像である。

（ステップＳ６）
取得した監視画像データ群の全距離データを、ＩＣＰアルゴリズムを用いて統合して、３次元環境地図データを求めると共に、車両位置姿勢データ（車両傾き）を求める。（距離データ統合部３４）。

具体的には、ある撮影地点で撮像された監視画像データを基準とし、基準となる監視画像データの複数の点を抽出して、複数の点の３次元座標を初期値とし、次に、異なる撮影地点で撮像された統合対象の監視画像データにおいて、上記複数の点に対応する点を求め、ＩＣＰアルゴリズムを用いて、２つの監視画像データにおいて、対応する点同士の位置合わせを行って、２つの監視画像データを統合する。これを、取得した全ての監視画像データに対して行うことにより、監視画像データ群の全距離データが統合されることになり、３次元環境地図データを求めることになる。

又、ＩＣＰアルゴリズムを用いて、距離データの統合（位置合わせ）を行うと、距離データ同士の相対的な位置姿勢を求めることになるので、この位置姿勢が分かることにより、撮影毎の列車２１の車両位置姿勢データ（進行量や速度、車両傾き）も求めることになる。

（ステップＳ７）
ステップＳ６のＩＣＰアルゴリズムで求めた車両傾きに基づき、建築限界領域Ｄを算出する（図５参照）。

具体的には、ステップＳ３で算出した複数の地点のレール位置と、ステップＳ７で求めた複数の地点の車両傾きと、予め固定値として与えられた静的な建築限界領域とを用いて、列車に対する動的な建築限界領域Ｄを算出する。

（ステップＳ８）
各地点における建築限界領域Ｄから最寄りの障害物（例えば、電柱１２）までの離隔距離Ｌを算出する（図５参照）。そして、算出した離隔距離Ｌに基づいて、建築限界領域Ｄと障害物との離隔判定を行う。

以上説明したように、本実施例の建築限界判定装置は、ブロックマッチングとグラフカットを用いているので、エッジ検出や２値化処理、塊検出に依らず、監視画像データから平滑性を考慮した距離データの算出が可能となる。

又、本実施例の建築限界判定装置は、上述したように、レール位置、車両傾きを算出しているので、レール位置と車両傾きと静的な建築限界領域とを用いて、列車２１に対する動的な建築限界領域データの算出が可能である。

又、本実施例の建築限界判定装置は、任意の枕木方向のライン領域について、予め用意されたレールのテンプレート画像データ又は基準レール輝度分布データを用い、ラスタスキャンによるマッチングを行って、最もマッチングする位置をレール位置として算出しているので、監視画像データから正確にレール位置の検出が可能となる。

又、本実施例の建築限界判定装置は、異なる撮影地点における監視画像の距離データをＩＣＰアルゴリズムで統合して、３次元環境地図データを作るので、設計値が無い物体についても形状を把握することが可能であり、加えて、ＩＣＰアルゴリズムにより車両傾きの算出も可能である。

又、本実施例の建築限界判定装置は、上述したように、３次元環境地図データ、建築限界領域データを算出しているので、３次元環境地図データ、建築限界領域データを用いて、障害物の離隔距離の算出、離隔判定が可能である。

本発明は、レールを走行する車両に対する建築限界領域と障害物との離隔判定を行う際に好適なものである。

１１ レール
１２ 電柱
２１ 列車
２２ａ、２２ｂ、 カメラ
２３ 処理部
３１ 監視画像入力部
３２ 距離算出部
３３ レール認識部
３４ 距離データ統合部
３５ 建築限界領域算出部
３６ 離隔算出部
３７ 記憶部

Claims (3)

1. レールを走行する車両の前方又は後方を画像データとして撮像する複数のカメラと、
   前記複数のカメラで撮像された複数の画像データの演算処理を行う処理部とを有し、
   前記処理部は、
   前記複数のカメラで撮像された複数の画像データから、ブロックマッチングを用いた三角測量により障害物の距離データを算出すると共に、グラフカットにより前記距離データの最適化を行う距離算出部と、
   前記複数のカメラで撮像された複数の画像データからレール位置を算出するレール認識部と、
   複数の地点で撮像された前記画像データについて、前記距離算出部で算出した前記複数の地点の前記距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
   前記レール認識部で算出した前記複数の地点の前記レール位置と、前記距離データ統合部で求めた前記複数の地点の前記車両傾きと、固定値として与えられた静的な建築限界領域とを用いて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
   前記建築限界領域算出部で算出した前記建築限界領域と前記距離データ統合部で求めた前記３次元環境地図を用いて、前記建築限界領域から最寄りの前記障害物までの離隔距離を算出し、離隔判定を行う離隔算出部とを有する
   ことを特徴とする建築限界判定装置。
2. 請求項１に記載の建築限界判定装置において、
   前記レール認識部は、前記画像データの前記レールの枕木方向のライン領域について、予め用意されたレールのテンプレート画像データ又はレールの輝度値の基準分布データを用いて、ラスタスキャンによるマッチングを行い、最もマッチングする位置をレール位置として算出する
   ことを特徴とする建築限界判定装置。
3. 請求項１又は請求項２に記載の建築限界判定装置において、
   前記距離データ統合部は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて、前記距離算出部で算出した前記複数の地点の前記距離データを統合して、前記３次元環境地図を求めると共に前記車両傾きを求める
   ことを特徴とする建築限界判定装置。

Images