JP2020006788A - 建築限界判定装置 - Google Patents

Abstract

【課題】ノイズに頑健で高精度な判定を行うことができる建築限界判定装置を提供する。【解決手段】レールを走行する車両の複数のカメラで撮像した画像データを画像処理する処理部３０Ａが、教師画像データと教師ラベルデータとを保管するラベル教師データ部３１、学習モデルを予め作成するラベル学習部３２Ａ、距離データを算出する距離データ算出部４２Ａ、レール位置を算出するレール認識部４３Ａ、学習モデルを用いて各画素に対するラベルデータを求めるラベル推定部４４Ａ、ラベルデータに基づいて距離データのノイズ除去を行うノイズ除去部４５Ａ、３次元環境地図と車両傾きを求める距離データ統合部４６、車両に対する動的な建築限界領域を算出する建築限界領域算出部４７、最寄りの対象物までの離隔距離を算出し、離隔判定を行う離隔算出部４８を有する。【選択図】図２

Description

本発明は、鉄道分野及び画像処理分野において、レールを走行する車両の前方又は後方の複数のカメラ画像から画像処理により建築限界領域と障害物との離隔判定を行う建築限界判定装置に関する。

鉄道設備には検査・保守が必要であり、特許文献１、２には、建築限界領域と障害物との離隔判定を行う建築限界判定装置が提案されている。

特許文献１は、ステレオ計測により建築限界判定を行う装置である。ステレオ計測には単眼ステレオと呼ばれる１台のカメラと車速を使って計測する方法を用いている。

特許文献２も、ステレオ計測により建築限界判定を行う装置である。ステレオ計測には固定された２台以上のカメラで同期撮影した映像を用い、画像中からレール領域を認識することで建築限界領域と障害物との離隔を計測している。

なお、非特許文献１は、Semantic Segmentationという手法の調査論文であり、Semantic Segmentationに用いられる技術が記載されている。Semantic Segmentationは、画像の画素単位で、その画素が何の種類（ラベル）なのかを推定する手法であり、ラベルは予め人が決めておく必要がある。また、非特許文献２には、Semantic SegmentationのためのFully Convolutional Networksと呼ばれる深層学習法が記載されている。

特開２０１６−５９８号公報 特開２０１７−８３２４５号公報

M. Thoma、"A Survey of Semantic Segmentation"、［online］、2016年（平成28年）5月11日、［平成30年2月21日検索］、インターネット<URL: https://arxiv.org/pdf/1602.06541v2.pdf> J. Long et al.、"Fully Convolutional Networks for Semantic Segmentation"、［online］、2015年（平成27年）3月8日、［平成30年2月21日検索］、インターネット<URL: https://arxiv.org/pdf/1411.4038v2.pdf> V. Kolmogorov et al., "Multi-camera Scene Reconstruction via Graph Cuts", ECCV, VOL. 3, 2002, pp. 82-96 P. J. Besl et al., "A Method for Registration of 3-D Shapes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 14, NO.2, FEBRUARY 1992, pp. 239-256

特許文献１では単眼ステレオ計測を用いている。この手法は装置構成がシンプルで済むが、複数のカメラでステレオ計測を行う手法に比べ、結果が不安定になりやすい。よって、ステレオ計測による誤対応（２つの画像間で同一の箇所を対応付けすることで三角測量するのがステレオ計測だが、その対応付けを異なる箇所にしてしまうこと）が起こりやすいのが問題として挙げられる。また、その誤対応の解決策としてノイズ除去があるが、対応付けに用いない領域を対応付けする領域と定めてしまったり、逆に、対応付けする領域同士を限定する処理をしていなかったりすることも問題として挙げられる。

特許文献２は複数のカメラでステレオ計測を行う手法のため、特許文献１の単眼ステレオ法に比べて誤対応は起こりにくい。また、隣接画素の視差（対応付けを行い、どの程度画素位置に差があるかを求めた結果）は大きく変動しないという制約を加えた大域最適化を行うことで誤対応対策も行っている。しかしながら、特許文献１と同様に、ノイズ除去において、対応付けに用いない領域を対応付けする領域と定めてしまったり、逆に、対応付けする領域同士を限定する処理をしていなかったりすることが問題として挙げられる。

非特許文献１、２は、あくまでも、Semantic Segmentationに関わる手法を紹介した論文であり、鉄道分野における建築限界判定を行うものではない。

本発明は上記課題に鑑みなされたもので、ノイズに頑健で高精度な判定を行うことができる建築限界判定装置を提供することを目的とする。

上記課題を解決する第１の発明に係る建築限界判定装置は、
レールを走行する車両に設けられ、前記車両の前方又は後方を撮像する複数のカメラと、
前記複数のカメラで撮像された画像データの画像処理を行う処理部とを有し、
前記処理部は、
前記画像データと類似した複数の画像からなる教師画像データと、前記教師画像データの前記複数の画像の各画素にラベルを予め与えた教師ラベルデータとを保管するラベル教師データ部と、
機械学習による学習により、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとを対応付ける学習モデルを予め作成するラベル学習部と、
同時に撮像された複数の前記画像データを用い、当該複数の画像データの各画素の画素値の情報から当該複数の画像データ間で対応する画素を計測点として探索し、各々の前記計測点までの距離を第１の距離データとしてステレオ計測により算出する距離データ算出部と、
予め用意された前記レールのマッチングデータにより前記画像データから前記レールの位置を認識し、当該位置をレール位置として算出するレール認識部と、
前記画像データの各画素に対する前記ラベルの推定を前記学習モデルにより行い、推定した前記ラベルをラベルデータとして求めるラベル推定部と、
前記画像データの各画素に対する前記ラベルデータに基づいて、前記第１の距離データのノイズ除去を行い、ノイズ除去した前記第１の距離データを第２の距離データとして求めるノイズ除去部と、
複数の地点で撮像された前記画像データについての前記第２の距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
複数の地点での前記レール位置と複数の地点での前記車両傾きと固定値として与えられた静的な建築限界領域とに基づいて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
前記動的な建築限界領域と前記３次元環境地図とに基づいて、前記動的な建築限界領域から最寄りの対象物までの離隔距離を算出し、離隔判定を行う離隔算出部と
を有する
ことを特徴とする。

上記課題を解決する第２の発明に係る建築限界判定装置は、
上記第１の発明に記載の建築限界判定装置において、
前記ノイズ除去部は、前記第１の距離データのノイズ除去の際に、更に、メディアンフィルタ、ノンローカルミーンフィルタ又はジオメトリックフィルタのいずれかを用いて、ノイズ除去を行って、前記第２の距離データを求める
ことを特徴とする。

上記課題を解決する第３の発明に係る建築限界判定装置は、
レールを走行する車両に設けられ、前記車両の前方又は後方を撮像する複数のカメラと、
前記複数のカメラで撮像された画像データの画像処理を行う処理部とを有し、
前記処理部は、
前記画像データと類似した複数の画像からなる教師画像データと、前記教師画像データの前記複数の画像の各画素にラベルを予め与えた教師ラベルデータとを保管するラベル教師データ部と、
機械学習による学習により、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとを対応付ける学習モデルを予め作成するラベル学習部と、
前記画像データの各画素に対する前記ラベルの推定を前記学習モデルにより行い、推定した前記ラベルをラベルデータとして求めるラベル推定部と、
同時に撮像された複数の前記画像データと当該複数の画像データの各画素に対する前記ラベルデータとを用い、当該複数の画像データの各画素の画素値の情報と前記ラベルデータから当該複数の画像データ間で対応する画素を計測点として探索し、各々の前記計測点までの距離を第１の距離データとしてステレオ計測により算出する距離データ算出部と、
前記画像データと当該画像データの各画素に対する前記ラベルデータとを用い、予め用意された前記レールのマッチングデータと前記ラベルデータにより前記画像データから前記レールの位置を認識し、当該位置をレール位置として算出するレール認識部と、
複数の地点で撮像された前記画像データについての前記第１の距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
複数の地点での前記レール位置と複数の地点での前記車両傾きと固定値として与えられた静的な建築限界領域とに基づいて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
前記動的な建築限界領域と前記３次元環境地図とに基づいて、前記動的な建築限界領域から最寄りの対象物までの離隔距離を算出し、離隔判定を行う離隔算出部と
を有する
ことを特徴とする。

上記課題を解決する第４の発明に係る建築限界判定装置は、
上記第３の発明に記載の建築限界判定装置において、
前記処理部は、メディアンフィルタ、ノンローカルミーンフィルタ又はジオメトリックフィルタのいずれかを用いて、前記第１の距離データのノイズ除去を行い、ノイズ除去した前記第１の距離データを第２の距離データとして求めるノイズ除去部を更に有し、
前記距離データ統合部は、複数の地点で撮像された前記画像データについての前記第２の距離データを統合して前記３次元環境地図を求めると共に前記車両傾きを求める
ことを特徴とする。

上記課題を解決する第５の発明に係る建築限界判定装置は、
上記第１から第４のいずれか１つの発明に記載の建築限界判定装置において、
前記ラベル学習部は、ＳＶＭ（Support Vector Machine）、Random Forest又は深層学習のいずれかを用いた前記機械学習とSemantic Segmentationとにより、前記教師画像データの前記複数の画像から各画素を中心とした局所範囲の画像を切り出し、当該局所範囲の画像から特徴量を抽出し、当該特徴量に基づいて、当該局所範囲の画像の中心の画素と前記教師ラベルデータの前記ラベルとの対応を学習して前記学習モデルを作成し、
前記ラベル推定部は、前記Semantic Segmentationと前記学習モデルとにより、前記画像データから各画素を中心とした局所範囲の画像を切り出し、当該局所範囲の画像から特徴量を抽出し、当該特徴量に基づいて、当該局所範囲の画像の中心の画素に対する前記ラベルの推定を行って、前記画像データの各画素に対する前記ラベルの推定を行う
ことを特徴とする。

上記課題を解決する第６の発明に係る建築限界判定装置は、
上記第５の発明に記載の建築限界判定装置において、
前記ラベル学習部及び前記ラベル推定部は、前記特徴量の抽出の際に、色特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＢｏＶＷ（Bag of Visual Words）特徴量又はＴｅｘｔｏｎ特徴量のいずれか、もしくは、これらの組合せを用いる
ことを特徴とする。

上記課題を解決する第７の発明に係る建築限界判定装置は、
上記第１から第４のいずれか１つの発明に記載の建築限界判定装置において、
前記ラベル学習部は、ＦＣＮ（Fully Convolutional Networks）を用いた前記機械学習とSemantic Segmentationとにより、前記教師画像データの前記複数の画像の各画素から特徴量を抽出し、当該特徴量に基づいて、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとの対応を学習して前記学習モデルを作成し、
前記ラベル推定部は、前記Semantic Segmentationと前記学習モデルとにより、前記画像データの各画素から特徴量を抽出し、当該特徴量に基づいて、前記画像データの各画素に対する前記ラベルの推定を行う
ことを特徴とする。

上記課題を解決する第８の発明に係る建築限界判定装置は、
上記第１から第７のいずれか１つの発明に記載の建築限界判定装置において、
前記ラベル推定部は、前記ラベルの推定を行う際に、ＭＲＦ（Markov Random Field）又はＣＲＦ（Conditional Random Field）を用いる
ことを特徴とする。

本発明によれば、各画素に対するラベル推定により、高精度のノイズ除去を行うことができ、その結果、建築限界領域と障害物との離隔判定において、ノイズに頑健で高精度な判定を行うことができる。

本発明に係る建築限界判定装置の実施形態の一例を示す概略構成の上面図である。 図１に示した建築限界判定装置を構成する処理部の一例（実施例１）を説明するブロック図である。 （ａ）は、ある画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、（ｂ）は、（ａ）でのラベル推定の結果を説明する説明図、（ｃ）は、（ａ）での画素の次の画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、（ｄ）は、（ｃ）でのラベル推定の結果を説明する説明図、（ｅ）は、（ｃ）での画素の次の画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、（ｆ）は、（ｅ）でのラベル推定の結果を説明する説明図である。 （ａ）は、図１に示した建築限界判定装置で撮像された監視画像を示す図、（ｂ）は、（ａ）に示した監視画像に対するラベルの一例を説明する説明図である。 図２に示した処理部における建築限界判定方法の一例を説明するフローチャートである。 図１に示した建築限界判定装置を構成する処理部の他の一例（実施例２）を説明するブロック図である。 図６に示した処理部における建築限界判定方法の一例を説明するフローチャートである。 図１に示した建築限界判定装置を構成する処理部の他の一例（実施例３）を説明するブロック図である。 図８に示した処理部における建築限界判定方法の一例を説明するフローチャートである。 図１に示した建築限界判定装置を構成する処理部の他の一例（実施例４）を説明するブロック図である。 図１０に示した処理部における建築限界判定方法の一例を説明するフローチャートである。

本発明に係る建築限界判定装置について、その実施形態のいくつかを、図１〜図１１を参照して説明する。

［実施例１］
図１は、本実施例の建築限界判定装置の一例を示す概略構成の上面図である。また、図２は、図１に示した建築限界判定装置を構成する処理部の一例を説明するブロック図である。また、図３（ａ）は、ある画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、図３（ｂ）は、図３（ａ）でのラベル推定の結果を説明する説明図、図３（ｃ）は、図３（ａ）での画素の次の画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、図３（ｄ）は、図３（ｃ）でのラベル推定の結果を説明する説明図、図３（ｅ）は、図３（ｃ）での画素の次の画素を中心とした局所パッチ画像単位のラベル推定を説明する説明図、図３（ｆ）は、図３（ｅ）でのラベル推定の結果を説明する説明図である。また、図４（ａ）は、図１に示した建築限界判定装置で撮像された監視画像を示す図、図４（ｂ）は、図４（ａ）に示した監視画像に対するラベルの一例を説明する説明図である。

本実施例の建築限界判定装置は、複数のカメラによる撮像と画像処理を用いたものである。具体的には、図１に示すように、レール１１を矢印Ｅの方向に走行する列車２１（車両）に設けられた２台のカメラ２２ａ、２２ｂと、カメラ２２ａ、２２ｂで撮像された監視画像（図４（ａ）参照）を用い、画像処理を行って、建築限界領域と障害物との離隔判定を行う処理部３０Ａとを有している。なお、符号１２は、電柱を表している。

カメラ２２ａ、２２ｂは、列車２１の先頭に設けられ、レール１１の長手方向前方（矢印Ｅの方向）に向かって配置されており、この場合、カメラ２２ａ、２２ｂで撮像された前方の監視画像が画像処理に用いられる。カメラ２２ａ、２２ｂに代えて、列車２１の末尾に設けられ、レール１１の長手方向後方に向かって配置されたカメラ２３ａ、２３ｂを用いても良く、この場合、カメラ２３ａ、２３ｂで撮像された後方の監視画像が画像処理に用いられる。カメラ２２ａ、２２ｂ又はカメラ２３ａ、２３ｂは、列車２１に固定されており、列車２１の移動や動揺・傾きに依存して、周囲の撮像が可能である。なお、カメラ２２ａ、２２ｂ又はカメラ２３ａ、２３ｂは、複数台（２台以上）であれば良い。

このように、複数のカメラ２２ａ、２２ｂ（又はカメラ２３ａ、２３ｂ）を用いる場合、それらの相対的な位置姿勢関係は既知であるので、三角測量の原理によるステレオ計測により、対象物までの距離を直接求めることができ、設計値が有る対象物（例えば、鉄道設備など）に限らず、設計値が無い対象物（例えば、自然物など）に対しても建築限界判定を行うことができる。また、画像処理を用いる場合、計測した鉄道設備（例えば、レールなど）の認識や判別を行う面で有利であること、機器が比較的小型で安価であること、分解能や撮像速度の面で優れており、今後も発展の可能性を残していること、撮像した画像を人間が目視検査することも可能であることなどの利点がある。

更に、本実施例の建築限界判定装置では、画像中の各画素の種類（ラベル）の推定をSemantic Segmentationにより行っている。本実施例におけるSemantic Segmentationでは、非特許文献１で述べられているように、各画素を中心とした小さな矩形の局所範囲の画像（局所パッチ画像）を抽出し、その局所パッチ画像のラベル推定を行うことで、各画素のラベルの取得を実現している。

そのため、上述した処理部３０Ａは、図２に示すように、ラベル教師データ部３１と、ラベル学習部３２Ａと、監視画像入力部４１と、距離データ算出部４２Ａと、レール認識部４３Ａと、ラベル推定部４４Ａと、ノイズ除去部４５Ａと、距離データ統合部４６と、建築限界領域算出部４７と、離隔算出部４８と、記憶部４９とを有している。

ラベル教師データ部３１では、想定される撮像画像と類似した特徴を持つ十分な数の画像群からなる教師画像データＤ１と、教師画像データＤ１の画像群の各画素に手動もしくは何かしらの方法でラベルを与えた教師ラベルデータＤ２とを保管している。

上述したラベルは予め決めておく必要があり、鉄道設備においては、標識やレールなど、下記の表１に例示されたものがラベルとして使用される。

ラベル学習部３２Ａでは、ラベル教師データ部３１にある教師画像データＤ１と教師ラベルデータＤ２とを使用し、機械学習アルゴリズムの教師あり学習により学習して、教師画像データＤ１の画像群の各画素と教師ラベルデータＤ２のラベルとを対応付ける学習モデルＤ３Ａを予め作成しており、作成した学習モデルＤ３Ａを記憶部４９へ保管している。

具体的には、後述する機械学習と上述したSemantic Segmentationとにより、教師画像データＤ１の画像群の各画素を中心とした局所パッチ画像を切り出し、切り出した局所パッチ画像から特徴量を抽出し、抽出した特徴量に基づいて、局所パッチ画像の中心の画素と各画素に予めつけた教師ラベルデータＤ２のラベルとの対応を学習して、特徴量の入力に対してラベルを出力する関数を定義することにより、教師画像データＤ１の画像群の各画素と教師ラベルデータＤ２のラベルとを対応付ける学習モデルＤ３Ａを作成している。

ラベル学習部３２Ａにおいて、特徴量の抽出には、各画素の色をそのまま用いる色特徴量、画素値の勾配のヒストグラムを用いるＨＯＧ（Histograms of Oriented Gradients）特徴量、画像に写る対象のスケールや向きに頑健な特徴であるＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＨＯＧ特徴量やＳＩＦＴ特徴量がどの程度含まれているかをベクトル量子化し、ヒストグラムで特徴を表現するＢｏＶＷ（Bag of Visual Words）特徴量、畳み込みニューラルネットワークと呼ばれるＣＮＮｓ（Convolutional Neural Networks）で抽出するＴｅｘｔｏｎ特徴量のいずれか、もしくは、これらの組合せを用いる。

また、機械学習アルゴリズムには、教師あり学習を用いた識別器であり、カーネル法による非線形判別が可能なＳＶＭ（Support Vector Machine）、複数の決定木を用いて汎化性の高い分類を行えるRandom Forest、高い表現能力と汎化能力を持つ深層学習のいずれかを用いる。

監視画像入力部４１では、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）で撮像された前方の（又は後方の）監視画像データＤ１１を記憶部４９へ入力している。このとき、列車２１のレール１１上での位置を示すキロ程情報（又はキロ程位置）と対応付けて、監視画像データＤ１１を入力しても良い。

距離データ算出部４２Ａでは、同時に撮像された複数（２枚もしくはそれ以上）の監視画像データＤ１１を使用して、ステレオ対応（複数の画像間で対応する画素を計測点として探索すること）を行い、このステレオ対応により探索した計測点の三角測量を行うことにより、ステレオ計測を行っており、これにより、障害物を含む対象物までの距離データＤ１２Ａ（第１の距離データ）を算出し、算出した距離データＤ１２Ａを記憶部４９へ保管している。

つまり、この距離データ算出部４２Ａでは、同時に撮像された複数の監視画像データＤ１１の各画素の画素値の情報（例えば、色情報や輝度情報など）を用いて、これらの監視画像データＤ１１間で対応する画素を計測点として探索し、探索した各々の計測点までの距離に対する三角測量を行っており、これらの処理の際には、ブロックマッチングと呼ばれる手法とグラフカットと呼ばれる手法（非特許文献３）を用いている。

具体的には、ブロックマッチングを用いて、カメラ２２ａ、２２ｂ（又はカメラ２３ａ、２３ｂ）の一方のカメラの監視画像データＤ１１のある注目画素の周辺の画素と類似する領域を、他方のカメラの監視画像データＤ１１から探索し、この注目画素を計測点とした三角測量の原理を用いたステレオ計測により、距離データＤ１２Ａを算出する。監視画像データＤ１１上の注目画素周辺に特徴的なテクスチャが無い場合には、グラフカットを用いて、注目画素の推定距離データが周辺の推定距離データと比較して大きく異ならないように、ペナルティ項により距離データＤ１２Ａを最適化する。このブロックマッチングとグラフカットを用いることにより、エッジ検出や２値化処理、塊検出に依らず、監視画像データＤ１１から平滑性を考慮した距離データＤ１２Ａの算出が可能となる。

レール認識部４３Ａでは、監視画像データＤ１１を使用して、予め用意されたレール１１のマッチングデータにより監視画像データＤ１１からレール１１の位置を認識し、当該位置をレール位置Ｄ１３として算出し、そのレール位置Ｄ１３を記憶部４９へ保管している。

具体的には、マッチングデータとして、レール１１のテンプレート画像データやレール１１の輝度値の基準分布データ（基準レール輝度分布データ）を予め用意しておく。そして、監視画像データＤ１１において、その任意の横ライン（枕木方向のライン）の領域について、レール１１のテンプレート画像データや基準レール輝度分布データを用いて、ラスタスキャンによるマッチングを行い、最もマッチングする位置をレール位置Ｄ１３として算出する。このようにして、監視画像データＤ１１におけるレール１１の位置を認識しており、監視画像データＤ１１からレール位置Ｄ１３を正確に検出することが可能となる。

ラベル推定部４４Ａでは、監視画像データＤ１１の各画素に対するラベルの推定を学習モデルＤ３Ａにより行い、推定したラベルをラベルデータＤ１４として求め、求めたラベルデータＤ１４を記憶部４９へ保管している。

具体的には、上述したSemantic Segmentationと記憶部４９にある学習モデルＤ３Ａとにより、監視画像データＤ１１から各画素を中心とした局所パッチ画像を切り出し、切り出した局所パッチ画像から特徴量を抽出し、抽出した特徴量に基づいて、局所パッチ画像の中心の画素に対するラベルの推定を行い、当該画素に対する各ラベルの確率（尤度）を求め、各画素において確率が高いラベルを各画素に対するラベルとしてラベルデータＤ１４を求めている。

ここで、図３（ａ）〜（ｆ）を参照して、Semantic Segmentationを用いた局所パッチ画像単位でのラベル推定の一例を説明する。

ラベル推定部４４Ａでは、図３（ａ）に示すように、画像中のある画素ＰＸ１を中心とした３×３画素の領域を局所パッチ画像として切り出し、この局所パッチ画像のラベル推定を行い、画素ＰＸ１の各ラベルの確率を求め、図３（ｂ）に示すように、確率が高いラベルを画素ＰＸ１のラベル推定結果として取得する。そして、図３（ｃ）〜（ｆ）に示すように、画素ＰＸ１の次の画素ＰＸ２、画素ＰＸ２の次の画素ＰＸ３などと、順次、各画素を中心とした局所パッチ画像毎にラベル推定を行い、各画素に対する各ラベルの確率を求め、確率が高いラベルを各画素のラベル推定結果として取得していくことで、画像全体のラベル推定が可能になる。なお、ここでは、説明のため、局所パッチのサイズを３×３画素の領域としたが、局所パッチのサイズは状況に合わせて変えても良い。

更に、図４（ａ）、（ｂ）を参照して、監視画像に対するラベル推定の具体例を説明する。

図１で示したように、２台のカメラ２２ａ、２２ｂを用いて、レール１１の長手方向前方（矢印Ｅの方向）を撮像すると、図４（ａ）に示すように、前方の監視画像が撮像される。この監視画像では、一例として、前方のレール１１、電柱１２、地面１３、空１４が撮像されている。このような監視画像について、表１に例示したラベルを用いて、ラベル推定部４４Ａでラベル推定を行うと、図４（ｂ）に示すように、レール１１には「レール」、電柱１２には「電柱」、地面１３には「地面」、空１４には「空」のラベルが各々取得されることになる。

このようなラベル推定部４４Ａにおいて、特徴量の抽出には、ラベル学習部３２Ａと同様に、色特徴量、ＨＯＧ特徴量、ＳＩＦＴ特徴量、ＢｏＶＷ特徴量、Ｔｅｘｔｏｎ特徴量のいずれか、もしくは、これらの組合せを用いる。更には、ラベル推定を高精度化する後処理として、非特許文献１で述べられているように、付近の画素との整合性を見るＭＲＦ（Markov Random Field）やＣＲＦ（Conditional Random Field）といった手法を用いても良い。

つまり、ラベル推定部４４Ａでは、局所パッチ画像単位の特徴量の抽出、学習モデルによるラベル推定及び後処理を行っており、これらの処理により、各画素のラベル推定を高精度で行うことができる。

ノイズ除去部４５Ａでは、監視画像データＤ１１の各画素のラベルデータＤ１４に基づいて、距離データＤ１２Ａのノイズ除去を行い、ノイズ除去した距離データＤ１２Ａを距離データＤ１５（第２の距離データ）として記憶部４９へ保管している。

具体的には、同時に撮像した複数の監視画像データＤ１１の各画素のラベルデータＤ１４を用いて、各画素の距離データＤ１２Ａについて、ノイズ除去を行っている。例えば、ある画素にラベルデータＤ１４として「空」というラベルがついた場合、空が障害物となることはないため、その距離データＤ１２Ａをノイズとして除去することになる。そして、ノイズ除去後の距離データＤ１５が建築限界判定に用いられることになる。

なお、ここでは、表１に示した静的な障害物以外はノイズとして除去することを想定しているが、動的な障害物は除去しないなど、ラベル単位で計測対象物とするか又はノイズとするかを決めることもできる。また、ノイズ除去の際には、上述したラベルデータＤ１４に基づくノイズ除去に加えて、画像処理における一般的なノイズ除去手法であるメディアンフィルタ、ノンローカルミーンフィルタ、距離データの塊具合を評価し、孤立する点を除去するジオメトリックフィルタのいずれかによるノイズ除去も行っても良い。また、ノイズ除去を高精度化する後処理として、上述したＭＲＦやＣＲＦといった手法を用いても良い。

距離データ統合部４６では、各々異なる地点で撮像した監視画像データＤ１１から算出した距離データＤ１５の全て（全距離データＤ１５）を使用し、ＩＣＰ（Iterative Closest Point）アルゴリズムと呼ばれる手法（非特許文献４）を用いて距離統合を行い、３次元環境地図データＤ１６と各撮像地点での車両位置姿勢データＤ１７を求め、その３次元環境地図データＤ１６と車両位置姿勢データＤ１７を記憶部４９へ保管している。

具体的には、ある地点で撮像された監視画像データＤ１１を基準とし、基準となる監視画像データＤ１１の複数の点を抽出して、複数の点の３次元座標を初期値とし、次に、異なる地点で撮像された統合対象の監視画像データＤ１１において、上記複数の点に対応する点を求め、ＩＣＰアルゴリズムを用いて、２つの監視画像データＤ１１において、対応する点同士の位置合わせを行って、２つの監視画像データＤ１１を統合する。これを、全ての監視画像データＤ１１に対して行うことにより、全距離データＤ１５が統合されることになり、３次元環境地図データＤ１６を求めることになる。

つまり、距離データ統合部４６では、判定対象区間全域で建築限界判定を行うために、各々異なる地点で撮像した監視画像データＤ１１から算出した全距離データＤ１５を統合しており、これにより、３次元の地図である３次元環境地図データＤ１６を求めている。このようにして求めた３次元環境地図データＤ１６では、設計値が無い対象物（例えば、自然物）についても把握可能となる。

また、ＩＣＰアルゴリズムを用いて、距離データＤ１５の統合（位置合わせ）を行うと、距離データＤ１５同士の相対的な位置姿勢を求めることになるので、この位置姿勢が分かることにより、撮像毎の列車２１の車両位置姿勢データＤ１７（進行量や速度、車両傾き）も求めることになる。この車両傾きは建築限界領域を定める上で非常に重要な要素となる。

なお、ＩＣＰアルゴリズムは反復計算により解を求める手法であり、結果が初期値に依存する。そのため、正しい初期値を設定することが必要であるが、ここでは、車両２１がレール１１上しか移動しないことを利用することで、良い初期値を設定することが容易になる。

建築限界領域算出部４７では、複数の撮像地点でのレール位置Ｄ１３と、複数の撮像地点での車両位置姿勢データＤ１７（複数の撮像地点での車両傾き）と、予め固定値として与えられた静的な建築限界領域とを用いて、建築限界領域データＤ１８を算出し、その建築限界領域データＤ１８を記憶部４９へ保管している。つまり、列車２１に対する動的な建築限界領域データＤ１８の算出が可能となる。

離隔算出部４８では、３次元環境地図データＤ１６と建築限界領域データＤ１８を用いて、これらのデータ間の離隔距離を算出し、その離隔距離を離隔データＤ１９として記憶部４９へ保管している。例えば、３次元環境地図データＤ１６内に障害物がある場合には、車両傾きを考慮した建築限界領域データＤ１８から該当する障害物までの離隔距離を算出することになる。このようにして、障害物への離隔データＤ１９を算出することにより、建築限界領域と障害物との離隔判定を行うことができ、ノイズに頑健な離隔判定が可能となる。

記憶部４９では、上述した学習モデルＤ３Ａ、監視画像データＤ１１、距離データＤ１２Ａ、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５、３次元環境地図データＤ１６、車両位置姿勢データＤ１７、建築限界領域データＤ１８、離隔データＤ１９を保管している。

次に、上述した構成を有する本実施例の建築限界判定装置について、その建築限界判定方法の手順を、図５を参照して説明をする。ここで、図５は、図２に示した処理部における建築限界判定方法の一例を説明するフローチャートである。なお、ラベル推定には学習モデルＤ３Ａが必要であるので、事前に学習モデルＤ３Ａは用意されているものとする。

（ステップＳ１）
監視画像入力部４１は、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）で撮像された前方の（又は後方の）監視画像データＤ１１を入力する。

（ステップＳ２）
距離データ算出部４２Ａは、入力された監視画像データＤ１１を使用し、ステレオ計測と共に上述したブロックマッチングとグラフカットの手法により、対象物の距離データＤ１２Ａを算出する。

（ステップＳ３）
レール認識部４３Ａは、入力された監視画像データＤ１１を使用し、上述したマッチングデータを用いたマッチングにより、レール認識を行って、レール位置Ｄ１３を算出する。

（ステップＳ４Ａ）
ラベル推定部４４Ａは、入力された監視画像データＤ１１と学習モデルＤ３Ａを使用し、上述したSemantic Segmentationによるラベル推定により、各画素のラベルデータＤ１４を取得する。

（ステップＳ５）
ノイズ除去部４５Ａは、監視画像データＤ１１の各画素のラベルデータＤ１４に基づいて、距離データＤ１２Ａのノイズ除去を行い、距離データＤ１５として取得する。

（ステップＳ６）
処理部３０Ａは、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）による撮像が終了した場合にはステップＳ８へ進み、撮像が終了していない場合には、ステップＳ７へ進む。

（ステップＳ７）
撮像が終了していない場合には、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）で新しく撮像された前方の（又は後方の）監視画像データＤ１１を入力し（監視画像入力部４１）、ステップＳ２へ戻る。つまり、撮像が終了するまで、ステップＳ２〜Ｓ７が繰り返し実施され、各々異なる地点から撮像された監視画像データＤ１１について、距離データＤ１２Ａ、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５が求められる。

（ステップＳ８）
距離データ統合部４６は、各々の監視画像データＤ１１から算出した全距離データＤ１５を、上述したＩＣＰアルゴリズムを用いて統合して、３次元環境地図データＤ１６を求めると共に、車両位置姿勢データＤ１７を求める。

（ステップＳ９）
建築限界領域算出部４７は、レール位置Ｄ１３と車両位置姿勢データＤ１７（車両傾き）と静的な建築限界領域とに基づき、建築限界領域データＤ１８を算出する。

（ステップＳ１０）
離隔算出部４８は、各地点における建築限界領域データＤ１８から最寄りの障害物（例えば、電柱１２）までの離隔距離を離隔データＤ１９として算出する。そして、算出した離隔データＤ１９に基づいて、建築限界領域と障害物との離隔判定を行う。

以上説明したように、本実施例の建築限界判定装置は、当初算出した各画素の距離データＤ１２Ａに対して、当該画素のラベルデータＤ１４のラベルに基づいたノイズ除去ができるので、単純な外れ値を除去するといったノイズ除去手法よりも高精度なノイズ除去が可能である。その結果、建築限界領域と障害物との離隔判定において、ノイズに頑健で高精度な判定を行うことができる。

また、画像に合わせて、ラベル推定に用いる局所パッチ画像のサイズ、特徴量、識別器を選ぶことで、その画像に特化した処理を行うことができ、全て学習するよりも頑健にラベル推定を行うことができる。

［実施例２］
本実施例の建築限界判定装置について、図６及び図７を参照して説明を行う。ここで、図６は、図１に示した建築限界判定装置を構成する処理部の他の一例を説明するブロック図である。また、図７は、図６に示した処理部における建築限界判定方法の一例を説明するフローチャートである。

本実施例の建築限界判定装置は、基本的には、実施例１で説明した建築限界判定装置と同等の構成であるが、本実施例の建築限界判定装置の処理部３０Ｂの一部の構成が、実施例１の建築限界判定装置の処理部３０Ａと相違している。そのため、本実施例において、実施例１に示した構成と同等のものには同じ符号を付し、実施例１と重複する説明は省略する。

本実施例の建築限界判定装置は、図１及び図２に示した処理部３０Ａに代えて、図６に示す処理部３０Ｂを用いている。この処理部３０Ｂは、図６に示すように、ラベル教師データ部３１と、ラベル学習部３２Ｂと、監視画像入力部４１と、距離データ算出部４２Ａと、レール認識部４３Ａと、ラベル推定部４４Ｂと、ノイズ除去部４５Ａと、距離データ統合部４６と、建築限界領域算出部４７と、離隔算出部４８と、記憶部４９とを有している。

つまり、本実施例における処理部３０Ｂは、実施例１における処理部３０Ａとは、ラベル学習部３２Ｂ及びラベル推定部４４Ｂに相違がある。一方、本実施例におけるラベル教師データ部３１、監視画像入力部４１、距離データ算出部４２Ａ、レール認識部４３Ａ、ノイズ除去部４５Ａ、距離データ統合部４６、建築限界領域算出部４７、離隔算出部４８及び記憶部４９については、実施例１における構成と同等である。

処理部３０Ｂにおいて、ラベル学習部３２Ｂでは、ラベル教師データ部３１にある教師画像データＤ１と教師ラベルデータＤ２とを使用し、機械学習アルゴリズムの教師あり学習により学習して、教師画像データＤ１の画像群の各画素と教師ラベルデータＤ２のラベルとを対応付ける学習モデルＤ３Ｂを作成しており、作成した学習モデルＤ３Ｂを記憶部４９へ保管している。

ラベル学習部３２Ｂにおいて、機械学習アルゴリズムには、非特許文献１、２にあるように、画像の各画素の情報（例えば、色情報）を直接入力し、各画素に対して直接ラベルを推定することができるＦＣＮ（Fully Convolutional Networks）と呼ばれる深層学習の手法を用いている。

具体的には、上述したＦＣＮとSemantic Segmentationとにより、教師画像データＤ１の画像群の各画素から特徴量を抽出し、抽出した特徴量に基づいて、教師画像データＤ１の画像群の各画素と各画素に予めつけた教師ラベルデータＤ２のラベルとの対応を学習して、特徴量の入力に対してラベルを出力する関数を定義することにより、教師画像データＤ１の画像群の各画素と教師ラベルデータＤ２のラベルとを対応付ける学習モデルＤ３Ｂを作成している。つまり、実施例１におけるラベル学習部３２Ａとは異なり、局所パッチ画像の切り出しは行っておらず、また、特徴量の抽出も上記ＦＣＮが行っており、これはend-to-end学習と呼ばれている。

また、ラベル推定部４４Ｂでは、監視画像データＤ１１の各画素に対するラベルの推定を学習モデルＤ３Ｂにより行い、推定したラベルをラベルデータＤ１４として求め、求めたラベルデータＤ１４を記憶部４９へ保管している。

具体的には、上述したSemantic Segmentationと記憶部４９にある学習モデルＤ３Ｂにより、監視画像データＤ１１の各画素から特徴量を抽出し、抽出した特徴量に基づいて、各画素に対するラベルの推定を行い、各画素に対する各ラベルの確率（尤度）を求め、確率が高いラベルを各画素に対するラベルとしてラベルデータＤ１４を求めている。更に、ラベル推定を高精度化する後処理として、実施例１におけるラベル推定部４４Ａと同様に、ＭＲＦやＣＲＦを用いても良い。

このように、ラベル推定部４４Ｂは、実施例１におけるラベル推定部４４Ａと同様に、各画素のラベル推定を行っているが、上記ＦＣＮとSemantic Segmentationとにより作成された学習モデルＤ３Ｂを用いているため、実施例１におけるラベル推定部４４Ａとは異なり、局所パッチ画像の切り出しは行っておらず、また、特徴量の抽出も上記ＦＣＮが行っている。そのため、実施例１のような多段処理のSemantic Segmentationの途中で正しい処理が行えない（局所パッチ画像の切り出しのサイズが適切でない、特徴量の抽出が適切でないなど）という事態を防ぐことができる。

なお、記憶部４９では、実施例１と同様に、監視画像データＤ１１、距離データＤ１２Ａ、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５、３次元環境地図データＤ１６、車両位置姿勢データＤ１７、建築限界領域データＤ１８、離隔データＤ１９を保管しているが、実施例１における学習モデルＤ３Ａに代えて、学習モデルＤ３Ｂを保管している。

次に、上述した構成を有する本実施例の建築限界判定装置について、その建築限界判定方法の手順を、図７を参照して説明をする。なお、ここでも、ラベル推定には学習モデルＤ３Ｂが必要であるので、事前に学習モデルＤ３Ｂは用意されているものとする。

（ステップＳ１〜Ｓ３）
本実施例における建築限界判定方法において、ステップＳ１〜Ｓ３は、実施例１におけるステップＳ１〜Ｓ３と同じである。

（ステップＳ４Ｂ）
ラベル推定部４４Ｂは、入力された監視画像データＤ１１と学習モデルＤ３Ｂを使用し、上述したSemantic Segmentationによるラベル推定により、各画素のラベルデータＤ１４を取得する。

（ステップＳ５〜Ｓ１０）
本実施例における建築限界判定方法において、ステップＳ５〜Ｓ１０は、実施例１におけるステップＳ５〜Ｓ１０と同じである。

つまり、本実施例の建築限界判定装置も、実施例１と同様に、当初算出した各画素の距離データＤ１２Ａに対して、当該画素のラベルデータＤ１４のラベルに基づいたノイズ除去ができるので、単純な外れ値を除去するといったノイズ除去手法よりも高精度なノイズ除去が可能である。その結果、建築限界領域と障害物との離隔判定において、ノイズに頑健で高精度な判定を行うことができる。

また、本実施例では、ラベル推定において、局所パッチ画像のサイズ、特徴量、識別器を明示的に選択する必要は無く、上記ＦＣＮによりend-to-end学習することで、高精度なラベル推定を行うことができる。

［実施例３］
本実施例の建築限界判定装置について、図８及び図９を参照して説明を行う。ここで、図８は、図１に示した建築限界判定装置を構成する処理部の他の一例を説明するブロック図である。また、図９は、図８に示した処理部における建築限界判定方法の一例を説明するフローチャートである。

本実施例の建築限界判定装置も、基本的には、実施例１で説明した建築限界判定装置と同等の構成であるが、本実施例の建築限界判定装置の処理部３０Ｃの一部の構成が、実施例１の建築限界判定装置の処理部３０Ａと相違している。そのため、本実施例においても、実施例１に示した構成と同等のものには同じ符号を付し、実施例１と重複する説明は省略する。

本実施例の建築限界判定装置は、図１及び図２に示した処理部３０Ａに代えて、図８に示す処理部３０Ｃを用いている。この処理部３０Ｃは、図８に示すように、ラベル教師データ部３１と、ラベル学習部３２Ａと、監視画像入力部４１と、距離データ算出部４２Ｂと、レール認識部４３Ｂと、ラベル推定部４４Ａと、ノイズ除去部４５Ｂと、距離データ統合部４６と、建築限界領域算出部４７と、離隔算出部４８と、記憶部４９とを有している。

つまり、本実施例における処理部３０Ｃは、実施例１における処理部３０Ａとは、距離データ算出部４２Ｂ、レール認識部４３Ｂ及びノイズ除去部４５Ｂに相違がある。これは、実施例１では、各画素のラベルデータＤ１４のラベルに基づいて、当該画素の距離データＤ１２Ａに対するノイズ除去を行っているのに対して、本実施例では、各画素のラベルデータＤ１４のラベルに基づいて、当該画素の距離データＤ１２Ｂの算出を行うと共にレール位置Ｄ１３の算出を行うようにしているからである。

また、前述した図５と後述する図９との比較からも分かるように、実施例１では、距離データ算出（ステップＳ２）及びレール認識（ステップＳ３）の後であって、ノイズ除去（ステップＳ５）の前にラベル推定（ステップＳ４Ａ）を行っているのに対し、本実施例では、距離データ算出（ステップＳ１３）及びレール認識（ステップＳ１４）の前にラベル推定（ステップＳ１２Ａ）を行っており、本実施例は、実施例１とは、処理手順にも相違がある。

一方、本実施例におけるラベル教師データ部３１、ラベル学習部３２Ａ、監視画像入力部４１、ラベル推定部４４Ａ、距離データ統合部４６、建築限界領域算出部４７、離隔算出部４８及び記憶部４９については、実施例１における構成と同等である。

処理部３０Ｃにおいて、距離データ算出部４２Ｂでは、同時に撮像された複数の監視画像データＤ１１に加えて、それらのラベルデータＤ１４も使用して、ステレオ対応を行い、このステレオ対応により探索した計測点の三角測量を行うことにより、ステレオ計測を行っており、これにより、障害物を含む対象物までの距離データＤ１２Ｂ（第１の距離データ）を算出し、算出した距離データＤ１２Ｂを記憶部４９へ保管している。

つまり、この距離データ算出部４２Ｂでは、複数の監視画像データＤ１１の各画素の画素値の情報に加えて、ラベルデータＤ１４のラベル情報も用いて、これらの監視画像データＤ１１間で対応する画素を計測点として探索し、探索した各々の計測点までの距離に対する三角測量を行っている。

具体的には、ステレオ対応の際に、各画素に対して、画素値の情報（例えば、色情報や輝度情報など）だけではなく、ラベル情報（ラベルの種類の決定値もしくは各ラベルの尤度）も持たせている。例えば、色情報だけの場合には、ＲＧＢの３次元の情報となるが、ラベル情報を持たせることにより、より高次元の情報となる。表１に例示したラベルを用いて具体的に説明すると、ＲＧＢの３次元＋ラベル情報２７種類の２７次元の合計３０次元の情報とすることができる。このような高次元の情報とすることにより、ステレオ対応の際における誤対応を低減することができる。

また、ある画素において、ノイズとしたい種類のラベルの尤度が他のラベルの尤度より高かった場合には、当該画素の距離データＤ１２Ｂの算出の時点で当該距離データＤ１２Ｂを欠損とすることで、距離データ算出部４２Ｂの段階で低ノイズの距離データＤ１２Ｂを算出することができる。

このように、距離データ算出部４２Ｂは、ステレオ計測に画素値の情報だけでなくラベル情報も用いていること、そして、ノイズ除去にラベル情報を用いていることに特徴がある。

また、レール認識部４３Ｂでも、距離データ算出部４２Ｂと同様に、監視画像データＤ１１とラベルデータＤ１４を使用しており、予め用意されたレール１１のマッチングデータとラベルデータＤ１４とにより監視画像データＤ１１からレール１１の位置を認識し、当該位置をレール位置Ｄ１３として算出し、そのレール位置Ｄ１３を記憶部４９へ保管している。

具体的には、監視画像データＤ１１において、その任意の横ラインの領域について、マッチングデータ（レールのテンプレート画像データや基準レール輝度分布データ）を用いて、ラスタスキャンによるマッチングを行っているが、そのマッチングの際に、任意の横ラインの領域の各画素に対して、ラベル情報を持たせている。そして、マッチングデータに最もマッチングする位置であって、ラベル情報として「レール」の尤度が高い位置をレール位置Ｄ１３として算出する。このようにして、監視画像データＤ１１におけるレール１１の位置を認識しており、監視画像データＤ１１からレール位置Ｄ１３を正確に検出することが可能となる。

また、ノイズ除去部４５Ｂでは、距離データＤ１２Ｂのノイズ除去を、メディアンフィルタ、ノンローカルミーンフィルタ、ジオメトリックフィルタのいずれかにより行い、ノイズ除去した距離データＤ１２Ｂを距離データＤ１５（第２の距離データ）として記憶部４９へ保管している。このように、ノイズ除去部４５Ｂでは、画像処理における一般的なノイズ除去手法を用いている。但し、ラベル情報を用いたノイズ除去を上述した距離データ算出部４２Ｂで行っているので、このノイズ除去部４５Ｂは必須な構成ではなく、この構成が無い場合には、距離データ統合部４６は、距離データＤ１５に代えて、距離データＤ１２Ｂを用いて、３次元環境地図データＤ１６、車両位置姿勢データＤ１７を算出すれば良い。

なお、記憶部４９では、実施例１と同様に、学習モデルＤ３Ａ、監視画像データＤ１１、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５、３次元環境地図データＤ１６、車両位置姿勢データＤ１７、建築限界領域データＤ１８、離隔データＤ１９を保管しているが、実施例１における距離データＤ１２Ａに代えて、距離データＤ１２Ｂを保管している。

次に、上述した構成を有する本実施例の建築限界判定装置について、その建築限界判定方法の手順を、図９を参照して説明をする。なお、ここでも、ラベル推定には学習モデルＤ３Ａが必要であるので、事前に学習モデルＤ３Ａは用意されているものとする。

（ステップＳ１１）
本実施例における建築限界判定方法において、ステップＳ１１は、実施例１におけるステップＳ１と同じである。

（ステップＳ１２Ａ）
ラベル推定部４４Ａは、入力された監視画像データＤ１１と学習モデルＤ３Ａを使用し、上述したSemantic Segmentationによるラベル推定により、各画素のラベルデータＤ１４を取得する。

（ステップＳ１３）
距離データ算出部４２Ｂは、入力された監視画像データＤ１１と当該監視画像データＤ１１の各画素のラベルデータＤ１４を使用し、ステレオ計測と共にラベル情報を用いて、対象物の距離データＤ１２Ｂを算出する。

（ステップＳ１４）
レール認識部４３Ｂは、入力された監視画像データＤ１１と当該監視画像データＤ１１の各画素のラベルデータＤ１４を使用し、上述したマッチングデータを用いたマッチングとラベル情報とにより、レール認識を行って、レール位置Ｄ１３を算出する。

（ステップＳ１５）
ノイズ除去部４５Ｂは、画像処理における一般的なノイズ除去手法により、距離データＤ１２Ｂのノイズ除去を行い、距離データＤ１５として取得する。但し、上述したように、ノイズ除去部４５ＢによるステップＳ１５の手順は無くても良い。

（ステップＳ１６）
処理部３０Ｃは、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）による撮像が終了した場合にはステップＳ１８へ進み、撮像が終了していない場合には、ステップＳ１７へ進む。

（ステップＳ１７）
撮像が終了していない場合には、前方の複数のカメラ２２ａ、２２ｂ（又は後方の複数のカメラ２３ａ、２３ｂ）で新しく撮像された前方の（又は後方の）監視画像データＤ１１を入力し（監視画像入力部４１）、ステップＳ１２Ａへ戻る。つまり、撮像が終了するまで、ステップＳ１２Ａ〜Ｓ１７が繰り返し実施され、各々異なる地点から撮像された監視画像データＤ１１について、距離データＤ１２Ｂ、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５が求められる。

（ステップＳ１８〜Ｓ２０）
本実施例における建築限界判定方法において、ステップＳ１８〜Ｓ２０は、実施例１におけるステップＳ８〜Ｓ１０と同じである。

以上説明したように、本実施例の建築限界判定装置は、ステレオ計測の際に、画素値の情報だけでなく、その画素のラベル情報も加味して、ステレオ対応を行っているので、ノイズに頑健な距離データＤ１２Ｂの算出が可能となる。その結果、建築限界領域と障害物との離隔判定において、ノイズに頑健で高精度な判定を行うことができる。

また、画像に合わせて、ラベル推定に用いる局所パッチ画像のサイズ、特徴量、識別器を選ぶことで、その画像に特化した処理を行うことができ、全て学習するよりも頑健にラベル推定を行うことができる。

［実施例４］
本実施例の建築限界判定装置について、図１０及び図１１を参照して説明を行う。ここで、図１０は、図１に示した建築限界判定装置を構成する処理部の他の一例を説明するブロック図である。また、図１１は、図１０に示した処理部における建築限界判定方法の一例を説明するフローチャートである。

本実施例の建築限界判定装置は、基本的には、実施例３で説明した建築限界判定装置と同等の構成であるが、本実施例の建築限界判定装置の処理部３０Ｄの一部の構成が、実施例３の建築限界判定装置の処理部３０Ｃと相違しており、その相違している構成が実施例２の建築限界判定装置の処理部３０Ｂの一部の構成と同じ構成となっている。そのため、本実施例において、実施例１〜３に示した構成と同等のものには同じ符号を付し、実施例１〜３と重複する説明は省略する。

本実施例の建築限界判定装置は、図１及び図２に示した処理部３０Ａに代えて、図１０に示す処理部３０Ｄを用いている。この処理部３０Ｄは、図１０に示すように、ラベル教師データ部３１と、ラベル学習部３２Ｂと、監視画像入力部４１と、距離データ算出部４２Ｂと、レール認識部４３Ｂと、ラベル推定部４４Ｂと、ノイズ除去部４５Ｂと、距離データ統合部４６と、建築限界領域算出部４７と、離隔算出部４８と、記憶部４９とを有している。

つまり、本実施例における処理部３０Ｄは、実施例３における処理部３０Ｃとは、ラベル学習部３２Ｂ及びラベル推定部４４Ｂに相違があるが、これらは、実施例２における処理部３０Ｂでのラベル学習部３２Ｂ及びラベル推定部４４Ｂと同等の構成である。また、本実施例におけるラベル教師データ部３１、監視画像入力部４１、距離データ算出部４２Ｂ、レール認識部４３Ｂ、ノイズ除去部４５Ｂ、距離データ統合部４６、建築限界領域算出部４７、離隔算出部４８及び記憶部４９については、実施例３における構成と同等である。

なお、記憶部４９については、実施例３と同様に、監視画像データＤ１１、距離データＤ１２Ｂ、レール位置Ｄ１３、ラベルデータＤ１４、距離データＤ１５、３次元環境地図データＤ１６、車両位置姿勢データＤ１７、建築限界領域データＤ１８、離隔データＤ１９を保管しているが、実施例３における学習モデルＤ３Ａに代えて、学習モデルＤ３Ｂを保管している。

本実施例では、以上のような構成とすることにより、実施例１や実施例３におけるラベル学習部３２Ａやラベル推定部４４Ａとは異なり、局所パッチ画像の切り出しは行わず、また、実施例２におけるラベル学習部３２Ｂやラベル推定部４４Ｂと同様に、特徴量の抽出を上述したＦＣＮが行うようになっている。

次に、上述した構成を有する本実施例の建築限界判定装置について、その建築限界判定方法の手順を、図１１を参照して説明をする。なお、ここでも、ラベル推定には学習モデルＤ３Ｂが必要であるので、事前に学習モデルＤ３Ｂは用意されているものとする。

（ステップＳ１１）
本実施例における建築限界判定方法において、ステップＳ１１は、実施例３におけるステップＳ１１と同じである。

（ステップＳ１２Ｂ）
ラベル推定部４４Ｂは、入力された監視画像データＤ１１と学習モデルＤ３Ｂを使用し、上述したSemantic Segmentationによるラベル推定により、各画素のラベルデータＤ１４を取得する。

（ステップＳ１３〜Ｓ２０）
本実施例における建築限界判定方法において、ステップＳ１３〜Ｓ２０は、実施例３におけるステップＳ１３〜Ｓ２０と同じである。

つまり、本実施例の建築限界判定装置も、実施例３と同様に、ステレオ計測の際に、画素値の情報だけでなく、その画素のラベル情報も加味して、ステレオ対応を行っているので、ノイズに頑健な距離データＤ１２Ｂの算出が可能となる。その結果、建築限界領域と障害物との離隔判定において、ノイズに頑健で高精度な判定を行うことができる。

また、本実施例では、ラベル推定において、局所パッチ画像のサイズ、特徴量、識別器を明示的に選択する必要は無く、上記ＦＣＮによりend-to-end学習することで、高精度なラベル推定を行うことができる。

本発明は、レールを走行する車両に対する建築限界領域と障害物との離隔判定を行う際に好適なものである。

１１ レール
１２ 電柱
１３ 地面
１４ 空
２１ 列車
２２ａ、２２ｂ、２３ａ、２３ｂ カメラ
３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ 処理部
３１ ラベル教師データ部
３２Ａ、３２Ｂ ラベル学習部
４１ 監視画像入力部
４２Ａ、４２Ｂ 距離データ算出部
４３Ａ、４３Ｂ レール認識部
４４Ａ、４４Ｂ ラベル推定部
４５Ａ、４５Ｂ ノイズ除去部
４６ 距離データ統合部
４７ 建築限界領域算出部
４８ 離隔算出部
４９ 記憶部

Claims (8)

1. レールを走行する車両に設けられ、前記車両の前方又は後方を撮像する複数のカメラと、
   前記複数のカメラで撮像された画像データの画像処理を行う処理部とを有し、
   前記処理部は、
   前記画像データと類似した複数の画像からなる教師画像データと、前記教師画像データの前記複数の画像の各画素にラベルを予め与えた教師ラベルデータとを保管するラベル教師データ部と、
   機械学習による学習により、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとを対応付ける学習モデルを予め作成するラベル学習部と、
   同時に撮像された複数の前記画像データを用い、当該複数の画像データの各画素の画素値の情報から当該複数の画像データ間で対応する画素を計測点として探索し、各々の前記計測点までの距離を第１の距離データとしてステレオ計測により算出する距離データ算出部と、
   予め用意された前記レールのマッチングデータにより前記画像データから前記レールの位置を認識し、当該位置をレール位置として算出するレール認識部と、
   前記画像データの各画素に対する前記ラベルの推定を前記学習モデルにより行い、推定した前記ラベルをラベルデータとして求めるラベル推定部と、
   前記画像データの各画素に対する前記ラベルデータに基づいて、前記第１の距離データのノイズ除去を行い、ノイズ除去した前記第１の距離データを第２の距離データとして求めるノイズ除去部と、
   複数の地点で撮像された前記画像データについての前記第２の距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
   複数の地点での前記レール位置と複数の地点での前記車両傾きと固定値として与えられた静的な建築限界領域とに基づいて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
   前記動的な建築限界領域と前記３次元環境地図とに基づいて、前記動的な建築限界領域から最寄りの対象物までの離隔距離を算出し、離隔判定を行う離隔算出部と
   を有する
   ことを特徴とする建築限界判定装置。
2. 請求項１に記載の建築限界判定装置において、
   前記ノイズ除去部は、前記第１の距離データのノイズ除去の際に、更に、メディアンフィルタ、ノンローカルミーンフィルタ又はジオメトリックフィルタのいずれかを用いて、ノイズ除去を行って、前記第２の距離データを求める
   ことを特徴とする建築限界判定装置。
3. レールを走行する車両に設けられ、前記車両の前方又は後方を撮像する複数のカメラと、
   前記複数のカメラで撮像された画像データの画像処理を行う処理部とを有し、
   前記処理部は、
   前記画像データと類似した複数の画像からなる教師画像データと、前記教師画像データの前記複数の画像の各画素にラベルを予め与えた教師ラベルデータとを保管するラベル教師データ部と、
   機械学習による学習により、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとを対応付ける学習モデルを予め作成するラベル学習部と、
   前記画像データの各画素に対する前記ラベルの推定を前記学習モデルにより行い、推定した前記ラベルをラベルデータとして求めるラベル推定部と、
   同時に撮像された複数の前記画像データと当該複数の画像データの各画素に対する前記ラベルデータとを用い、当該複数の画像データの各画素の画素値の情報と前記ラベルデータから当該複数の画像データ間で対応する画素を計測点として探索し、各々の前記計測点までの距離を第１の距離データとしてステレオ計測により算出する距離データ算出部と、
   前記画像データと当該画像データの各画素に対する前記ラベルデータとを用い、予め用意された前記レールのマッチングデータと前記ラベルデータにより前記画像データから前記レールの位置を認識し、当該位置をレール位置として算出するレール認識部と、
   複数の地点で撮像された前記画像データについての前記第１の距離データを統合して３次元環境地図を求めると共に車両傾きを求める距離データ統合部と、
   複数の地点での前記レール位置と複数の地点での前記車両傾きと固定値として与えられた静的な建築限界領域とに基づいて、前記車両に対する動的な建築限界領域を算出する建築限界領域算出部と、
   前記動的な建築限界領域と前記３次元環境地図とに基づいて、前記動的な建築限界領域から最寄りの対象物までの離隔距離を算出し、離隔判定を行う離隔算出部と
   を有する
   ことを特徴とする建築限界判定装置。
4. 請求項３に記載の建築限界判定装置において、
   前記処理部は、メディアンフィルタ、ノンローカルミーンフィルタ又はジオメトリックフィルタのいずれかを用いて、前記第１の距離データのノイズ除去を行い、ノイズ除去した前記第１の距離データを第２の距離データとして求めるノイズ除去部を更に有し、
   前記距離データ統合部は、複数の地点で撮像された前記画像データについての前記第２の距離データを統合して前記３次元環境地図を求めると共に前記車両傾きを求める
   ことを特徴とする建築限界判定装置。
5. 請求項１から請求項４のいずれか１つに記載の建築限界判定装置において、
   前記ラベル学習部は、ＳＶＭ（Support Vector Machine）、Random Forest又は深層学習のいずれかを用いた前記機械学習とSemantic Segmentationとにより、前記教師画像データの前記複数の画像から各画素を中心とした局所範囲の画像を切り出し、当該局所範囲の画像から特徴量を抽出し、当該特徴量に基づいて、当該局所範囲の画像の中心の画素と前記教師ラベルデータの前記ラベルとの対応を学習して前記学習モデルを作成し、
   前記ラベル推定部は、前記Semantic Segmentationと前記学習モデルとにより、前記画像データから各画素を中心とした局所範囲の画像を切り出し、当該局所範囲の画像から特徴量を抽出し、当該特徴量に基づいて、当該局所範囲の画像の中心の画素に対する前記ラベルの推定を行って、前記画像データの各画素に対する前記ラベルの推定を行う
   ことを特徴とする建築限界判定装置。
6. 請求項５に記載の建築限界判定装置において、
   前記ラベル学習部及び前記ラベル推定部は、前記特徴量の抽出の際に、色特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＢｏＶＷ（Bag of Visual Words）特徴量又はＴｅｘｔｏｎ特徴量のいずれか、もしくは、これらの組合せを用いる
   ことを特徴とする建築限界判定装置。
7. 請求項１から請求項４のいずれか１つに記載の建築限界判定装置において、
   前記ラベル学習部は、ＦＣＮ（Fully Convolutional Networks）を用いた前記機械学習とSemantic Segmentationとにより、前記教師画像データの前記複数の画像の各画素から特徴量を抽出し、当該特徴量に基づいて、前記教師画像データの前記複数の画像の各画素と前記教師ラベルデータの前記ラベルとの対応を学習して前記学習モデルを作成し、
   前記ラベル推定部は、前記Semantic Segmentationと前記学習モデルとにより、前記画像データの各画素から特徴量を抽出し、当該特徴量に基づいて、前記画像データの各画素に対する前記ラベルの推定を行う
   ことを特徴とする建築限界判定装置。
8. 請求項１から請求項７のいずれか１つに記載の建築限界判定装置において、
   前記ラベル推定部は、前記ラベルの推定を行う際に、ＭＲＦ（Markov Random Field）又はＣＲＦ（Conditional Random Field）を用いる
   ことを特徴とする建築限界判定装置。