JP2019121979A - 画像合成システムおよび画像合成方法 - Google Patents

Abstract

【課題】劣悪な環境条件下においても走行しながら得られた画像の画質を向上させる。【解決手段】カメラ１０１−１は列車１−１に搭載され、カメラ１０１−２は列車１−２に搭載され、各カメラ１０１−１、カメラ１０１−２は同一の軌道５に沿って移動しながら同一対象物を異なる時刻に撮像し、処理装置２は、カメラ１０１−１、１０１−２が同一の軌道５に沿って移動しながら撮像した同一対象物に関する画像を合成することで、合成画像７を生成し、表示画面２Ａに表示させる。【選択図】図１

Description

本発明は、複数のカメラを用いた画像合成システムおよび画像合成方法に関する。

画像合成システムの主な用途として、例えば、遠隔地から映像を介して沿線機器のモニタリングを行う鉄道保守支援システムがある。鉄道の遠隔保守では、列車周辺の沿線機器の状態を把握するために、列車にカメラを搭載し、ネットワークまたは可搬式ストレージを介して収集した撮影映像を用いて解析を行うことがある。

特許文献１には、車外を撮る撮像装置と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機と、その測位結果から列車位置を得る列車位置検出部と、軌道に沿って設置された沿線設置機器に係る機器位置および機器画像をデータ保持する沿線設置機器データ記憶部と、撮像装置で撮った画像において機器画像を検出するに際して列車位置と機器位置とに基づいて画像探索位置を決定する沿線設置機器検出部とを備える列車搭載用画像処理システムが開示されている。

特開２０１１−２０１４２３号公報

しかしながら、高速走行しながら沿線機器を撮影する場合、短時間で列車が沿線機器を通り過ぎる。このため、低照度・霧雨・雪等の劣悪な環境下では、これらが撮影を阻害し、解析に足る画質の映像を収集するのが困難となることがあった。

本発明は、上記事情に鑑みなされたものであり、その目的は、劣悪な環境条件下においても走行しながら得られた画像の画質を向上させることが可能な画像合成システムおよび画像合成方法を提供することにある。

上記目的を達成するため、第１の観点に係る画像合成システムは、Ｎ（Ｎは２以上の整数）台のカメラと、前記Ｎ台のカメラが同一経路に沿って移動しながら撮像した同一対象物に関する画像を合成する合成部とを備える。

本発明によれば、劣悪な環境条件下においても走行しながら得られた画像の画質を向上させることができる。

図１は、第１実施形態に係る画像合成システムが適用される鉄道保守支援システムの概略構成を示す模式図である。 図２は、第１実施形態に係る画像合成システムの構成を示すブロック図である。 図３は、第１実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図４は、第１実施形態に係る画像合成システムの画像合成処理の一例を示すフローチャートである。 図５は、第１実施形態に係る画像合成システムの画像合成処理のその他の例を示すフローチャートである。 図６は、第２実施形態に係る画像合成システムの構成を示すブロック図である。 図７は、第３実施形態に係る画像合成システムの構成を示すブロック図である。 図８は、第４実施形態に係る画像合成システムの構成を示すブロック図である。 図９は、第５実施形態に係る画像合成システムの構成を示すブロック図である。 図１０は、第６実施形態に係る画像合成システムの構成を示すブロック図である。 図１１は、第７実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図１２は、第８実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図１３は、第９実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図１４は、第９実施形態に係る画像合成システムの構成を示すブロック図である。 図１５は、第９実施形態に係る画像合成システムに搭載されたカメラの使用例を図である。 図１６は、第１０実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図１７は、第１１実施形態に係る画像合成システムの画像合成方法を示す模式図である。 図１８は、第１１実施形態に係る画像合成システムの構成を示すブロック図である。 図１９は、第１２実施形態に係る画像合成システムの構成を示すブロック図である。 図２０は、第１３実施形態に係る画像合成システムが適用される道路保守支援システムの概略構成を示す模式図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。

（第１実施形態）
図１は、第１実施形態に係る画像合成システムが適用される鉄道保守支援システムの概略構成を示す模式図である。
図１において、列車１−１、１−２が走行する軌道５の周辺には沿線機器６が設けられている。図１では、軌道５が鉄道のレールである場合を示した。沿線機器６は、信号機、転轍機、電柱、電線、遮断機、踏切、踏切警報機または送電線などである。鉄道保守支援システムには、処理装置２およびカメラ１０１−１、１０１−２が設けられている。処理装置２には、表示画面２Ａが設けられている。処理装置２およびカメラ１０１−１、１０１−２は、ネットワーク３を介して接続されている。

ネットワーク３は、インターネットやデジタル専用線などのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、イーサネット（登録商標）やＷｉＦｉなどのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。ネットワーク３は、有線であってもよいし、無線であってもよいし、有線と無線が混在していてもよい。

カメラ１０１−１は列車１−１に搭載され、カメラ１０１−２は列車１−２に搭載されている。この時、各カメラ１０１−１、１０１−２は同一の軌道５に沿って移動しながら同一対象物を異なる時刻に撮像することができる。処理装置２は、カメラ１０１−１、１０１−２が同一の軌道５に沿って移動しながら撮像した同一対象物に関する画像を合成することで合成画像７を生成し、表示画面２Ａに表示させることができる。

列車１−１、１−２は異なる時刻に軌道５上を直列に走行することができる。各カメラ１０１−１、１０１−２は、列車１−１、１−２の走行中に沿線の物体を撮像することができる。この時、各列車１−１、１−２が沿線機器６に近づくと、沿線機器６が各カメラ１０１−１、１０１−２の画角に入り、各カメラ１０１−１、１０１−２で沿線機器６が撮像される。各カメラ１０１−１、１０１−２で撮像された画像はネットワーク３を介して処理装置２に伝送される。

処理装置２は、各カメラ１０１−１、１０１−２で撮像された画像を受信すると、各画像から沿線機器６の領域を抽出する。そして、処理装置２は、各画像から抽出された沿線機器６の領域を合成することで合成画像７を生成し、表示画面２Ａに表示させる。保守員４は、合成画像７を目視点検することにより、保守員４が沿線機器６から離れた遠隔地にいる場合においても、沿線機器６の実際の設置場所へ徒歩で巡視に向かうことなく、沿線機器６を保守点検することができる。

ここで、カメラ１０１−１、１０１−２が同一の軌道５に沿って移動しながら沿線機器６を撮像し、それらの沿線機器６に関する画像を合成することにより、各カメラ１０１−１、１０１−２で撮像された画像に不鮮明な部分がある場合においても、それらの不鮮明な部分が目立たなくなるように沿線機器６に関する合成画像７を生成することができる。このため、低照度・霧雨・雪等の劣悪な環境条件下において、カメラ１０１−１、１０１−２が短時間で沿線機器６を通り過ぎる場合においても、解析に足る画質の合成画像７を得ることができる。

また、カメラ１０１−１、１０１−２が移動しながら沿線機器６を撮像することにより、保守員４は、広範囲に渡って短時間に軌道５の沿線の状態を監視することができ、鉄道保守を効率化することが可能となる。

なお、上述した実施形態では、各カメラ１０１−１、１０１−２で撮像された画像から沿線機器６の領域を抽出する例を説明したが、沿線の木々の繁茂状態の確認等、列車１−１、１−２が走行する軌道５全体を俯瞰するような点検項目の場合は、沿線機器６の領域抽出は行わなくてもよい。

また、処理装置２において領域抽出および画像合成を行う処理部を独立させ、ネットワーク３上にクラウドサーバとして別途設置する構成としてもよい。さらに、各列車１−１、１−２に可搬式ストレージを搭載し、各カメラ１０１−１、１０１−２で撮像された画像を可搬式ストレージに記憶するようにしてもよい。この時、処理装置２は、可搬式ストレージに記憶されたデータを読み出すことにより、ネットワーク３を用いることなく、各カメラ１０１−１、１０１−２で撮像された画像を収集することができ、オフライン解析を行うことができる。

図２は、第１実施形態に係る画像合成システムの構成を示すブロック図である。
図２において、画像合成システムには、カメラ１０１−１〜１０１−Ｎ（Ｎは２以上の整数）、合成部１０２Ａおよび制御部１０３Ａが設けられている。合成部１０２Ａおよび制御部１０３Ａは、図１の処理装置２に設けることができる。

各カメラ１０１−１〜１０１−Ｎは同一の軌道に沿って移動しながら同一対象物を異なる時刻に撮像することができる。合成部１０２Ａは、各カメラ１０１−１〜１０１−Ｎが同一の軌道に沿って移動しながら撮像した同一対象物に関する画像を合成する。制御部１０３Ａは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像の合成条件を設定する。

各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎは合成部１０２Ａに入力される。合成部１０２Ａは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像を合成する。この時、制御部１０３Ａは、合成部１０２Ａが画像合成を行う上で必要な情報を合成部１０２Ａに提供する。例えば、制御部１０３Ａは、点検項目として指定された対象物が写っている画像を合成するように指示することができる。この時、合成部１０２Ａは、パターン照合などの方法を用いることにより、各カメラ１０１−１〜１０１−Ｎで撮像された画像から、制御部１０３Ａで指定された対象物が写っている画像を抽出し、それらの画像を合成することができる。

この時、合成部１０２Ａには、切り出し部２０２Ａおよびパターン認識部２０２Ａを設けることができる。制御部１０３Ａは、合成部１０２Ａにて合成対象となる対象パターン２０３Ａおよび対象パターン２０３Ａの配置情報３０３Ａを保持することができる。配置情報３０３Ａは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎのどの位置に対象パターン２０３Ａがあるかを示すことができる。

そして、切り出し部２０２Ａは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから配置情報３０３Ａで指定される領域を切り出す。パターン認識部２０２Ａは、切り出し部２０２Ａにて切り出された領域の画像と、制御部１０３Ａで指定される対象パターン２０３Ａとを比較し、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから、対象パターン２０３Ａと一致する画像を同一対象物に関する画像として抽出する。そして、合成部１０２Ａは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから抽出された同一対象物に関する画像を合成する。

図１の例では、対象パターン２０３Ａは、列車運行時に撮像された沿線機器６の画像である。この対象パターン２０３Ａは、例えば、列車の試験運行時に沿線機器６を撮像し、その沿線機器６の画像を対象パターン２０３Ａとすることができる。対象パターン２０３Ａの撮像は、降雪や霧などが発生していない好天時に行うことができる。列車の試験運行時に撮像された画像のどの位置に沿線機器６が配置されているかを示す情報を対象パターン２０３Ａの配置情報３０３Ａとすることができる。なお、対象パターン２０３Ａは、コンピュータグラフックスで作成するようにしてもよい。

ここで、各カメラ１０１−１、１０１−２が搭載された列車１−１、１−２は、同一の軌道５を走行する。このため、カメラ１０１−１、１０１−２が異なる列車１−１、１−２に搭載されている場合においても、各列車１−１、１−２が沿線機器６を通過する時に、各カメラ１０１−１、１０１−２で撮像された画像２０１−１〜２０１−Ｎ内において配置位置およびサイズが等しい沿線機器６の画像を取得することができる。この結果、合成部１０２Ａは、対象パターン２０３Ａおよび配置情報３０３Ａに基づいて、カメラ１０１−１、１０１−２で撮像された画像２０１−１〜２０１−Ｎから沿線機器６の画像を精度よく特定することができる。

各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像を合成する場合、各カメラ１０１−１〜１０１−Ｎで撮像された画像間で変化しない部分はそのまま残し、各カメラ１０１−１〜１０１−Ｎで撮像された画像間で変化する部分は除去することができる。

図３は、第１実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図３において、列車が軌道５上を走行している時に降雪８があったものとする。この時、降雪８は沿線機器６に対する視認性の阻害要因となり、各カメラ１０１−１〜１０１−Ｎで撮像された沿線機器６に関する画像７−１〜７−Ｎは視認性が低下している。

各画像７−１〜７−Ｎは、同一軌道５上を移動するカメラ１０１−１〜１０１−Ｎで撮像される。このため、画像７−１〜７−Ｎ間において、沿線機器６の画像の位置および大きさは一定である。一方、沿線機器６に対する降雪８による阻害要因の位置はランダムに分散する。そこで、図２の合成部１０２Ａは、例えば、画像７−１〜７−Ｎ間でメディアンフィルタのような画像処理を適用して画像７−１〜７−Ｎを合成することにより、合成画像７を生成することができる。これにより、沿線機器６の画像情報を保持しつつ、阻害要因の影響を除去することが可能となり、沿線機器６に関する合成画像７の視認性を向上させることができる。

図４は、第１実施形態に係る画像合成システムの画像合成処理の一例を示すフローチャートである。
図４において、複数のカメラ１０１−１〜１０１−Ｎによる画像は既に映像ファイルとして揃っていることを前提とする。
ステップＳ１において、合成部１０２Ａは、画像を抽出する映像ファイルを選択する。

次に、ステップＳ２において、合成部１０２Ａは、制御部１０３Ａの合成条件の設定に基づき画像を抽出する。ここで、制御部１０３Ａの設定として、沿線機器６の位置情報や物体検出情報を用いてもよい。

次に、ステップＳ３において、合成部１０２Ａは、抽出した画像を合成用画像バッファに保存する。
次に、ステップＳ４において、合成部１０２Ａは、合成に用いる全映像ファイルから画像を抽出したかどうかを判定する。合成に用いる全映像フから画像を抽出していない場合、ステップＳ１に戻り、合成に用いる全映像ファイルから画像を抽出するまでステップＳ１からＳ４の処理を繰り返す。
次に、ステップＳ５において、合成に用いる全映像ファイルから画像を抽出すると、これらの画像を合成する。

図５は、第１実施形態に係る画像合成システムの画像合成処理のその他の例を示すフローチャートである。
図５において、この処理フローを動作させる時点で、複数のカメラ１０１−１〜１０１−Ｎは移動しながら継続的に撮影を行っていることを前提とする。

ステップＳ１１において、合成部１０２Ａは、鉄道保守支援システムの動作終了命令の有無を監視し、システム動作を継続するかどうかを判定する。システム動作を継続する場合、ステップＳ１２に進み、合成部１０２Ａは、制御部１０３Ａの合成条件を満たす画像が在るかどうかを確認する。制御部１０３Ａの合成条件を満たす画像が在る場合、合成部１０２Ａは、ステップＳ１３において抽出した画像を合成用画像バッファに保存する。
次に、ステップＳ１４において、合成部１０２Ａは、合成に用いる全てのカメラ１０１−１〜１０１−Ｎの画像を抽出したかどうかを判定する。合成に用いる全てのカメラ１０１−１〜１０１−Ｎの画像を抽出していない場合、ステップＳ１１に戻り、合成に用いる全てのカメラ１０１−１〜１０１−Ｎの画像を抽出するまでステップＳ１１からＳ１４の処理を繰り返す。
次に、ステップＳ１５において、合成に用いる全てのカメラ１０１−１〜１０１−Ｎの画像を抽出すると、これらの画像を合成する。

以上のような処理フローを取ることにより、低照度・霧雨・雪等の劣悪な環境条件下においても、画像の視認性を向上させつつ、画像合成処理を連続的に行う鉄道保守支援システムを実現することが可能となる。

（第２実施形態）
図６は、第２実施形態に係る画像合成システムの構成を示すブロック図である。
図６において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎおよび位置情報取得部１０４−１〜１０４−Ｎが搭載されている。位置情報取得部１０４−１〜１０４−Ｎは、ＧＰＳ受信機であってもよいし、加速度／ジャイロセンサであってもよい。

各位置情報取得部１０４−１〜１０４−Ｎは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎの取得に併せて同時刻の各カメラ１０１−１〜１０１−Ｎのカメラ位置情報２０４−１〜２０４−Ｎを取得する。合成部１０２Ｂは、各カメラ１０１−１〜１０１−Ｎのカメラ位置情報２０４−１〜２０４−Ｎに基づいて、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像を合成する。制御部１０３Ｂは、各カメラ１０１−１〜１０１−Ｎの位置情報に基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像の合成条件を設定する。

この時、制御部１０３Ｂは、軌道５の周辺に配置された沿線機器６の位置を示す対象物位置情報２０３Ｂを保持することができる。また、制御部１０３Ｂには、カメラ位置情報２０４−１〜２０４−Ｎと対象物位置情報２０３Ｂを比較する位置情報比較部３０３Ｂを設けることができる。合成部１０２Ｂには、位置情報比較部３０３Ｂによる比較結果に基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された画像から同一対象物に関する画像を抽出する画像抽出部２０２Ｂを設けることができる。

各位置情報取得部１０４−１〜１０４−Ｎで取得されたカメラ位置情報２０４−１〜２０４−Ｎは制御部１０３Ｂに入力される。各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎは合成部１０２Ｂに入力される。そして、位置情報比較部３０３Ｂは、各位置情報取得部１０４−１〜１０４−Ｎで取得された各カメラ１０１−１〜１０１−Ｎのカメラ位置情報２０４−１〜２０４−Ｎと、軌道５の周辺に配置された沿線機器６の対象物位置情報２０３Ｂを比較する。そして、カメラ位置情報２０４−１〜２０４−Ｎと対象物位置情報２０３Ｂが一致すると、制御部１０３Ｂは、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時の画像を抽出および保存するように合成条件を設定する。そして、画像抽出部２０２Ｂは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時の画像を抽出する。そして、合成部１０２Ｂは、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時に収集された沿線機器６に関する画像を合成する。

これにより、各列車１−１〜１−Ｎの長時間走行で得られた膨大な画像２０１−１〜２０１−Ｎの中から、保守に用いる沿線機器６の複数の画像を抽出し、それらの画像を合成することが可能となる。

（第３実施形態）
図７は、第３実施形態に係る画像合成システムの構成を示すブロック図である。
図７において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎおよび位置情報取得部１１４−１〜１１４−Ｎが搭載されている。

各位置情報取得部１１４−１〜１１４−Ｎは、各カメラ１０１−１〜１０１−Ｎで撮像された画像の取得に併せて同時刻の各カメラ１０１−１〜１０１−Ｎのカメラ位置情報を取得する。ここで、各位置情報取得部１１４−１〜１１４−Ｎは、軌道５の周辺に配置された沿線機器６の位置を示す対象物位置情報２１４−１〜２１４−Ｎを予め保持することができる。合成部１０２Ｃは、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像３０１−１〜３０１−Ｎを合成する。制御部１０３Ｃは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像３０１−１〜３０１−Ｎの合成条件を設定する。

そして、各位置情報取得部１１４−１〜１１４−Ｎは、各カメラ１０１−１〜１０１−Ｎのカメラ位置情報と、軌道５の周辺に配置された沿線機器６の対象物位置情報２１４−１〜２１４−Ｎとを比較する。そして、これらの情報が一致すると、各位置情報取得部１１４−１〜１１４−Ｎは、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時に撮像した画像３０１−１〜３０１−Ｎを出力するように指示する。そして、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時に撮像された画像３０１−１〜３０１−Ｎが合成部１０２Ｃに送信される。合成部１０２Ｃは、制御部１０３Ｃの合成条件に基づいて、それらの沿線機器６に関する画像３０１−１〜３０１−Ｎを合成する。

これにより、各カメラ１０１−１〜１０１−Ｎは、各列車１−１〜１−Ｎの長時間走行で得られる膨大な画像のうち、保守に用いる沿線機器６の画像３０１−１〜３０１−Ｎのみを合成部１０２Ｃに送信することができ、画像送信時にネットワーク３にかかる負荷を低減することが可能となる。

（第４実施形態）
図８は、第４実施形態に係る画像合成システムの構成を示すブロック図である。
図８において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎ、位置情報取得部１２４−１〜１２４−Ｎおよび速度情報取得部１３４−１〜１３４−Ｎが搭載されている。速度情報取得部１３４−１〜１３４−Ｎは、速度センサを用いることができる。

各位置情報取得部１２４−１〜１２４−Ｎは、各列車１−１〜１−Ｎの列車位置情報２２４−１〜２２４−Ｎを取得する。速度情報取得部１３４−１〜１３４−Ｎは、各列車１−１〜１−Ｎの列車速度情報２３４−１〜２３４−Ｎを取得する。合成部１０２Ｇは、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像を合成する。制御部１０３Ｇは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像の合成条件を設定する。

この時、制御部１０３Ｇは、軌道５の周辺に配置された沿線機器６の位置を示す対象物位置情報２０３Ｇを保持することができる。また、制御部１０３Ｇには、沿線機器６を所定時間範囲内に通過する列車１−１〜１−Ｎを特定する列車特定部３０３Ｇを設けることができる。合成部１０２Ｇには、列車特定部３０３Ｇによる列車１−１〜１−Ｎの特定結果に基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された画像から同一対象物に関する画像を抽出する画像抽出部２０２Ｇを設けることができる。

各位置情報取得部１２４−１〜１２４−Ｎで取得された列車位置情報２２４−１〜２２４−Ｎおよび速度情報取得部１３４−１〜１３４−Ｎで取得された列車速度情報２３４−１〜２３４−Ｎは制御部１０３Ｇに入力される。各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎは合成部１０２Ｇに入力される。そして、列車特定部３０３Ｇは、列車位置情報２２４−１〜２２４−Ｎと対象物位置情報２０３Ｇとを比較し、各列車１−１〜１−Ｎと沿線機器６との距離を算出する。そして、各列車１−１〜１−Ｎの列車速度情報２３４−１〜２３４−Ｎに基づいて、各列車１−１〜１−Ｎが沿線機器６に到達するまでの時間を算出し、各列車１−１〜１−Ｎの車両長から、沿線機器６を所定時間範囲内に通過する列車１−１〜１−Ｎを特定する。

そして、制御部１０３Ｇは、各列車１−１〜１−Ｎが沿線機器６を所定時間範囲内に通過する時に、その列車１−１〜１−Ｎに搭載されたカメラ１０１−１〜１０１−Ｎで撮像された画像を抽出および保存するように合成条件を設定する。そして、画像抽出部２０２Ｇは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時の画像を抽出する。そして、合成部１０２Ｇは、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時に収集された沿線機器６に関する画像を合成する。

これにより、カメラ１０１−１〜１０１−Ｎの位置を特定するために列車位置情報２２４−１〜２２４−Ｎを用いた場合においても、各列車１−１〜１−Ｎの長時間走行で得られた膨大な画像２０１−１〜２０１−Ｎの中から、保守に用いる沿線機器６の複数の画像を抽出し、それらの画像を合成することが可能となる。

（第５実施形態）
図９は、第５実施形態に係る画像合成システムの構成を示すブロック図である。
図９において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎおよび物体検出部１０５−１〜１０５−Ｎが搭載されている。

各物体検出部１０５−１〜１０５−Ｎは、各カメラ１０１−１〜１０１−Ｎが撮像した画像から対象とする沿線機器６本体およびその近傍領域のみの画像を抽出する。この抽出には、テンプレートマッチングや機械学習等の物体検出アルゴリズムを適用することができる。

各物体検出部１０５−１〜１０５−Ｎは、沿線機器６本体およびその近傍領域のみの画像を合成部１０２Ｃに送信する。合成部１０２Ｃは、制御部１０３Ｃの合成条件に基づいて、それらの沿線機器６本体およびその近傍領域の画像を合成する。

これにより、ネットワーク３中の伝送データ量または可搬式ストレージ中の保存データ量を削減できるだけでなく、各列車１−１〜１−Ｎの振動の影響が取り除かれた画像を合成に使用できるため、画像合成時の位置合わせ処理の演算量を低減することが可能となる。

（第６実施形態）
図１０は、第６実施形態に係る画像合成システムの構成を示すブロック図である。
図１０において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎが搭載されている。さらに、この画像合成システムには、合成部１０２Ｅ、制御部１０３Ｅおよび物体検出部１０５が設けられている。

各カメラ１０１−１〜１０１−Ｎで撮像された画像は、合成部１０２Ｅおよび物体検出部１０５に送信される。物体検出部１０５は、各カメラ１０１−１〜１０１−Ｎから伝送された画像に物体検出アルゴリズムを適用し、対象とする沿線機器６が写る時刻や、各画像内における沿線機器６の領域の位置および大きさ等の情報を抽出し、制御部１０３Ｅに出力する。制御部１０３Ｅは、物体検出部１０５から出力された情報に基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された画像の合成条件を設定する。合成部１０２Ｅは、制御部１０３Ｅで設定された合成条件に基づいて、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像を合成する。

これにより、図９の物体検出部１０５−１〜１０５−Ｎが各列車１−１〜１−Ｎに搭載されていない場合においても、列車の振動の影響が取り除かれた画像を合成に使用し、画像合成時の位置合わせ処理の演算量を低減することが可能となる。

なお、鉄道保守支援システムにおいて、図６から図１０の構成を単独で用いるようにしてもよいし、図６から図１０の構成を適宜組み合わせて用いるようにしてもよい。
また、同一軌道５上を移動する複数のカメラ１０１−１〜１０１−Ｎの撮影条件は必ずしも同一とは限らず、カメラ１０１−１〜１０１−Ｎごとに撮影条件を設定してもよい。

以下、カメラ１０１−１〜１０１−Ｎごとに異なる露光条件、画角および撮影方向を設定した例を説明する。

（第７実施形態）
図１１は、第７実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図１１において、図１の列車１−１、１−２が昼間にトンネル内を走行しているものとする。この時、カメラ１０１−１にて画像Ｆ６０１が生成され、カメラ１０１−２にて画像Ｆ６０２が生成されたものとする。各画像Ｆ６０１、Ｆ６０２において、トンネル画像Ｆ１外は明るく写り、トンネル画像Ｆ１内は暗く写る。

ここで、カメラ１０１−１の撮影条件は暗めの露光条件に設定し、カメラ１０１−２の撮影条件は明るめの露光条件に設定することができる。カメラ１０１−１の撮影条件では、トンネル画像Ｆ１外の速度標識画像Ｆ２は鮮明化することができ、良好な視認性を得ることができる。一方、トンネル画像Ｆ１内の速度標識画像Ｆ３は黒潰れが発生し、速度標識画像Ｆ３の視認性は低下する。カメラ１０１−２の撮影条件では、トンネル画像Ｆ１外の速度標識画像Ｆ４は白飛びが発生し、速度標識画像Ｆ４の視認性は低下する。一方、トンネル画像Ｆ１内の速度標識画像Ｆ５は鮮明化することができ、良好な視認性を得ることができる。

この時、図２の制御部１０３Ａには、トンネルの出口付近では、高視認性が保持できている領域が合成されるように合成条件を設定することができる。高視認性が保持できている領域として、トンネルの出口の外側では、暗めの露光条件で撮像された画像を選択し、トンネルの出口の内側では、明るめ露光条件で撮像された画像を選択することができる。

合成部１０２Ａは、制御部１０３Ａで設定された合成条件に基づいて、画像Ｆ６０１、Ｆ６０２を合成することにより、合成画像Ｆ６０３を生成する。この合成画像Ｆ６０３では、トンネル画像Ｆ１内では速度標識画像Ｆ５が選択され、トンネル画像Ｆ１外では、速度標識画像Ｆ２が選択される。このため、トンネル画像Ｆ１内およびトンネル画像Ｆ１外の双方において、鮮明な速度標識画像Ｆ２、Ｆ５を保守員４に提示することができる。

この時の各カメラ１０１−１、１０１−２の撮影条件の切替方法としては、位置情報取得部にて、各カメラ１０１−１、１０１−２の位置または各列車１−１、１−２の位置を取得し、各カメラ１０１−１、１０１−２または各列車１−１、１−２がトンネルの出口に近づいた時に撮影条件を切り替えるようにしてもよい。あるいは、各列車１−１、１−２がトンネル内を走行中に物体検出部にてトンネルの出口を検出し、トンネルの出口が検出された時に撮影条件を切り替えるようにしてもよい。

あるいは、各列車１−１、１−２の走行中において、各カメラ１０１−１、１０１−２で撮像された画像全体の平均輝度を算出し、その画像全体の平均輝度の変化のパターンを監視するようにしてもよい。そして、各列車１−１、１−２の走行中に得られた画像全体の平均輝度の変化のパターンが、トンネルを通過する際の平均輝度の変化のパターンと一致した時に、各列車１−１、１−２がトンネルの出口に近づいたとみなし、各カメラ１０１−１、１０１−２の撮影条件を切り替えるようにしてもよい。

（第８実施形態）
図１２は、第８実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図１２において、３台のカメラ１０１−１、１０１−２、１０１−３が同一軌道上を移動するものとする。カメラ１０１−１の視点方向は水平に設定され、カメラ１０１−２の視点方向は上向きに設定され、カメラ１０１−３の視点方向は下向きに設定されているものとする。あるいは、カメラ１０１−１は、カメラ１０１−２、１０１−３の中央に設置し、カメラ１０１−２はカメラ１０１−１の上方に設置し、カメラ１０１−３はカメラ１０１−１の下方に設置するようにしてもよい。

カメラ１０１−１には画角の大きいレンズが取り付けられ、カメラ１０１−２、１０１−３には画角の小さいレンズが取り付けられているものとする。画角が大きいレンズを取り付けた場合は、広範囲を撮影可能だが、被写体の詳細部分の分解能は低下する。一方、画角が小さいレンズを取り付けた場合は、撮影範囲が狭いものの、所定の範囲内を高分解能で撮影することが可能である。

この時、カメラ１０１−１にて沿線機器６Ａが撮像されることで画像Ｆ７０１が生成され、カメラ１０１−２にて沿線機器６Ａが撮像されることで画像Ｆ７０２が生成され、カメラ１０１−３にて沿線機器６Ａが撮像されることで画像Ｆ７０３が生成されたものとする。カメラ１０１−１は画角が大きいので、画像Ｆ７０１には沿線機器６Ａ全体が写っている。カメラ１０１−２は画角が小さく、視点方向が上向きに設定されているので、画像Ｆ７０２には沿線機器６Ａの上部が写っている。カメラ１０１−３は画角が小さく、視点方向が下向きに設定されているので、画像Ｆ７０３には沿線機器６Ａの下部が写っている。

この時、図２の制御部１０３Ａには、例えば、画像Ｆ７０２、Ｆ７０３と類似度の高い領域を画像Ｆ７０１から抽出し、画像Ｆ７０１から抽出された領域の位置関係に基づいて画像Ｆ７０２、Ｆ７０３間の位置関係を設定し、画像Ｆ７０２、Ｆ７０３間の位置関係に基づいて画像Ｆ７０２、Ｆ７０３が合成されるように合成条件を設定することができる。合成部１０２Ａは、制御部１０３Ａで設定された合成条件に基づいて、画像Ｆ７０２、Ｆ７０３を合成することにより、合成画像Ｆ７０４を生成する。

これにより、画像Ｆ７０２、Ｆ７０３の高解像度を保持したまま、沿線機器６Ａ全体を含む合成画像Ｆ７０４を生成することができ、沿線機器６Ａを細部に渡って効率よく点検することが可能となる。

各カメラ１０１−１、１０１−２、１０１−３の撮影方向は、その移動方向に対して前方、後方、側方、斜め方向というバリエーションを取ることができる。各カメラ１０１−１、１０１−２、１０１−３の移動方向に対して各カメラ１０１−１、１０１−２、１０１−３が前方または後方を向く時は、そのカメラ１０１−１、１０１−２、１０１−３は、遠距離から沿線機器６Ａを撮影可能であるため、長時間にわたって沿線機器６Ａを視野に含めることができる。このため、各カメラ１０１−１、１０１−２、１０１−３は、合成に使用する沿線機器６Ａに関する画像量を増大することが可能だが、沿線機器６Ａに最も接近する真横通過時において、沿線機器６Ａを視野に含めることができない。

一方、各カメラ１０１−１、１０１−２、１０１−３の移動方向に対して各カメラ１０１−１、１０１−２、１０１−３が側方を向く時は、そのカメラ１０１−１、１０１−２、１０１−３は、沿線機器６Ａを視野に含めることが可能な時間は短いが、沿線機器６Ａに最も接近する真横通過時に沿線機器６Ａを大きく撮影することが可能である。

各カメラ１０１−１、１０１−２、１０１−３の移動方向に対して各カメラ１０１−１、１０１−２、１０１−３が斜め方向を向く時は、そのカメラ１０１−１、１０１−２、１０１−３は、前方または後方を向くカメラと、側方を向くカメラの中間の性質を有する。

沿線機器の種類によって点検に好適な撮影方向は様々である。このため、点検対象の沿線機器に合わせて各カメラ１０１−１、１０１−２、１０１−３の撮影方向を設定するのが望ましい。また、点検対象の沿線機器の種類が多い場合は、複数の撮影方向を有するカメラ１０１−１、１０１−２、１０１−３を組み合わせることで、列車などの移動体の周囲に対する視野を満遍なく確保することが可能となる。

以上説明した露光条件、画角および撮影方向の設定は、いずれかのみを適用する構成としてもよいし、複数の設定を組み合わせる構成としてもよい。また、それぞれの設定のバリエーション数やカメラの台数は、図１１および図１２に示した数に限定せず、より多い、もしくはより少ない設定バリエーションおよびカメラ台数であってもよい。

上述した実施形態では、同一軌道上を走行する異なる編成の列車にカメラを搭載する構成について説明したが、一編成の列車の車両ごとにカメラを搭載することにより、複数のカメラを同一軌道上で移動させるようにしてもよい。

（第９実施形態）
図１３は、第９実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図１３において、列車１の車両ごとにカメラ１０１−１、１０１−２、１０１−３が搭載されている。そして、時刻ｔ１において、列車１の先頭車両が沿線機器６付近に差し掛かると、先頭車両のカメラ１０１−１が沿線機器６を撮像することで画像Ｆ９０１を生成する。

次に、列車１が前進し、時刻ｔ２において、後続の２番目の車両が沿線機器６付近に差し掛かると、２番目の車両のカメラ１０１−２が沿線機器６を撮像することで画像Ｆ９０２を生成する。この時、２番目の車両のカメラ１０１−２は、先頭車両のカメラ１０１−１と同一の位置で沿線機器６を撮像することができ、画像Ｆ９０２は画像Ｆ９０１と同等の視野を有することができる。

次に、列車１がさらに前進し、時刻ｔ３において、後続の３番目の車両が沿線機器６付近に差し掛かると、３番目の車両のカメラ１０１−３が沿線機器６を撮像することで画像Ｆ９０３を生成する。この時、３番目の車両のカメラ１０１−２は、先頭車両のカメラ１０１−１と同一の位置で沿線機器６を撮像することができ、画像Ｆ９０３は画像Ｆ９０１と同等の視野を有することができる。

そして、合成部１０２Ａは、例えば、画像Ｆ９０１〜Ｆ９０３間でメディアンフィルタのような画像処理を適用して画像Ｆ９０１〜Ｆ９０３を合成し、合成画像Ｆ９０４を生成することができる。これにより、沿線機器６の画像情報を保持しつつ、降雪などによる阻害要因の影響を除去することが可能となり、沿線機器６の合成画像Ｆ９０４の視認性を向上させることができる。

図１４は、第９実施形態に係る画像合成システムの構成を示すブロック図である。
図１４において、画像合成システムには、カメラ１０１−１〜１０１−Ｎ、合成部１０２Ｆ、制御部１０３Ｆ、位置情報取得部１０４Ｆおよび速度情報取得部１０６Ｆが設けられている。カメラ１０１−１〜０１−Ｎは列車１の車両ごとに搭載することができる。位置情報取得部１０４Ｆおよび速度情報取得部１０６Ｆは列車１に搭載することができる。位置情報取得部１０４Ｆは、列車１の列車位置情報２２４を取得する。速度情報取得部１０６Ｆは、列車１の列車速度情報２３４を取得する。合成部１０２Ｆは、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像を合成する。制御部１０３Ｆは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像の合成条件を設定する。

この時、制御部１０３Ｆは、軌道５の周辺に配置された沿線機器６の位置を示す対象物位置情報２０３Ｆおよび列車１上の各カメラ１０１−１〜１０１−Ｎの位置を示すカメラ位置情報３０３Ｆを保持することができる。また、制御部１０３Ｆには、列車１上の各カメラ１０１−１〜１０１−Ｎの位置と対象物位置情報２０３Ｆを比較する位置情報比較部４０３Ｆを設けることができる。合成部１０２Ｆには、位置情報比較部４０３Ｆによる比較結果に基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された画像から同一対象物に関する画像を抽出する画像抽出部２０２Ｆを設けることができる。

位置情報取得部１０４Ｆで取得された列車位置情報２２４および速度情報取得部１０６Ｆで取得された列車速度情報２３４は制御部１０３Ｆに入力される。各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎは合成部１０２Ｇに入力される。そして、位置情報比較部４０３Ｆは、列車位置情報２２４、列車速度情報２３４および列車１上の各カメラ１０１−１〜１０１−Ｎのカメラ位置情報３０３Ｆに基づいて、地面を基準とした時の各カメラ１０１−１〜１０１−Ｎの位置を算出し、各カメラ１０１−１〜１０１−Ｎの位置と対象物位置情報２０３Ｆとを比較する。そして、各カメラ１０１−１〜１０１−Ｎの位置と対象物位置情報２０３Ｆが一致すると、制御部１０３Ｆは、対象物位置情報２０３Ｆと位置が一致した各カメラ１０１−１〜１０１−Ｎで撮像された画像を抽出および保存するように合成条件を設定する。そして、画像抽出部２０２Ｆは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２０１−１〜２０１−Ｎから、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時の画像を抽出する。そして、合成部１０２Ｆは、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時に収集された沿線機器６に関する画像を合成する。

これにより、カメラ１０１−１〜１０１−Ｎごとに位置情報取得部１０４Ｆを設けることなく、列車１の長時間走行で得られた膨大な画像の中から、保守に用いる沿線機器６の複数の画像を抽出し、それらの画像を合成することが可能となる。

図１５は、第９実施形態に係る画像合成システムに搭載されたカメラの使用例を図である。
図１５において、カメラ１０１−１〜１０１−Ｎは、列車１の各車両の側面の端部に搭載することができる。この時、各カメラ１０１−１〜１０１−Ｎは、列車１の静止時には同一時刻にそれぞれ異なる対象物を撮像し、列車１の移動時には異なる時刻にそれぞれ同一の対象物を撮像することができる。

この時、列車１の移動時には、カメラ１０１−１〜１０１−Ｎで撮像された画像を合成し、その合成画像を表示画面２Ａに表示させ、保守員４に提示させることができる。列車１の静止時には、駅のプラットフォーム上の状態をカメラ１０１−１〜１０１−Ｎで撮像し、駅に設置されたモニタ画面Ｆ１１００に表示させることができる。例えば、列車１の静止時には、プラットフォーム画像Ｆ１１０１と、乗客画像Ｆ１１０２と、ドア画像１Ａをモニタ画面Ｆ１１００に表示させることができる。そして、駅員はモニタ画面Ｆ１１００を確認することで、プラットフォーム上の乗客と、列車１のドアとの位置関係を把握し、列車１の停車時のドア開閉におけるプラットフォーム上の乗客の安全確保を図ることができる。

これにより、カメラ１０１−１〜１０１−Ｎを沿線機器６の保守点検に用いるだけでなく、プラットフォーム上の乗客の安全確保などの用途にも使用することができる。

（第１０実施形態）
図１６は、第１０実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図１６において、列車１にはカメラ１０１−１、１０１−２が搭載されている。ここで、カメラ１０１−１、１０１−２の視点方向は互いに異ならせることができる。この時、カメラ１０１−１、１０１−２の視点方向は互いに近づくように設定することができる。カメラ１０１−１、１０１−２の視点方向は交わるようにしてもよい。

そして、列車１が沿線機器Ｆ１２０１の付近を通過する時に、異なる視点方向からカメラ１０１−１、１０１−２にて沿線機器Ｆ１２０１が撮像されることにより、画像Ｆ１２０２、Ｆ１２０３が生成される、

この時、沿線機器Ｆ１２０１が傾いているものとすると、各画像Ｆ１２０２、Ｆ１２０３内における沿線機器画像Ｆ１２０４、Ｆ１２０５の位置および大きさは、沿線機器Ｆ１２０１と各カメラ１０１−１、１０１−２との位置関係に依って変化する。

例えば、図１６の例では、沿線機器Ｆ１２０１は、奥のカメラ１０１−２よりも手前のカメラ１０１−１に近いため、沿線機器画像Ｆ１２０４に比べて沿線機器画像Ｆ１２０５の方が大きくなっている。一台のカメラの画像のみでは次元が削減され、被写体までの距離は不定となる。これに対して、視点方向の異なる複数のカメラ１０１−１、１０１−２の画像Ｆ１２０２、Ｆ１２０３を用いることで、各カメラ１０１−１、１０１−２から被写体までの距離を算出でき、被写体の三次元形状計測が可能となる。

そこで、例えば、図１０の物体検出部１０５によって、画像Ｆ１２０２から物体領域Ｆ１２０６を抽出し、画像Ｆ１２０３から物体領域Ｆ１２０７を抽出する。そして、各物体領域Ｆ１２０６、Ｆ１２０７における沿線機器画像Ｆ１２０４、Ｆ１２０５の位置および大きさに基づいて、沿線機器Ｆ１２０１の三次元計測を行うことで、沿線機器Ｆ１２０１を真上から撮像した時の沿線機器画像Ｆ１２０９を生成することができる。そして、沿線機器画像Ｆ１２０９と建築限界Ｆ１２０８との位置関係を確認することにより、傾いた沿線機器Ｆ１２０１と列車１の抵触の有無などの点検を行うことが可能となる。

なお、物体検出部１０５による検出を機械学習で行う場合、一般には膨大な量の学習用データを準備し、物体領域の位置および大きさ情報を手動で与えて学習を行う必要がある。

そこで、視点方向や位置が既知である複数のカメラ１０１−１、１０１−２を用いて学習用データを収集し、物体および複数のカメラ１０１−１、１０１−２間の三次元的な幾何学的関係を満たすことを学習時の条件に加えることで、手動で与える情報量を削減することが可能となる。

また、物体検出に基づいて三次元計測を行う場合、検出対象の沿線機器Ｆ１２０１の物体領域が他の物体によって一部隠れていると、位置および大きさを正しく求めることができず、三次元計測結果に誤差が生じる。このような場合は、取得した画像における視認可能な領域から隠れている領域を含めた元の物体領域の位置および大きさを推定する処理を一旦行い、推定した元の物体領域を用いて三次元計測を行うことで、三次元計測結果の誤差を低減することが可能となる。

これにより、複数のカメラ１０１−１、１０１−２を用いて沿線機器Ｆ１２０１の三次元計測を行うことが可能となり、沿線機器Ｆ１２０１の二次元的な状態だけでなく沿線機器Ｆ１２０１の三次元的な状態も監視することが可能な距離鉄道保守支援システムを実現することができる。

（第１１実施形態）
図１７は、第１１実施形態に係る画像合成システムの画像合成方法を示す模式図である。
図１７において、鉄道保守支援システムが適用される環境には、カメラ１０１−１、１０１−２が移動する軌道として複数の軌道５−１、５−２が設けられている。これらの軌道５−１、５−２は互いに隣接して並列に配置されている。本実施形態では、互いに隣接して並列に配置されている複数の軌道５−１、５−２は、同一の軌道と見なす。これらの軌道５−１、５−２として、鉄道の複線を用いることができる。カメラ１０１−１は軌道５−１に沿って移動し、カメラ１０１−２は軌道５−２に移動することができる。

そして、カメラ１０１−１が沿線機器６の付近を通過する時に沿線機器６を撮像することにより、画像Ｆ１３０１を生成する。カメラ１０１−２が沿線機器６の付近を通過する時に沿線機器６を撮像することにより、画像Ｆ１３０２を生成する。

この時、各軌道５−１、５−２から沿線機器６までの距離が異なる。このため、画像Ｆ１３０１における沿線機器画像Ｆ１３０３と、画像Ｆ１３０２における沿線機器画像Ｆ１３０４とでは、各画像Ｆ１３０１、Ｆ１３０２内での位置および大きさが異なる。

そこで、例えば、図１０の物体検出部１０５によって、画像Ｆ１３０１から物体領域Ｆ１３０５を抽出し、画像Ｆ１３０２から物体領域Ｆ１３０６を抽出する。そして、各物体領域Ｆ１３０５、Ｆ１３０６の位置および大きさが等しくなるように画像処理を行うことで、沿線機器画像Ｆ１３０３、Ｆ１３０４の位置および大きさの差異が解消された補正画像Ｆ１３０７、Ｆ１３０８を生成することができる。

ここで、各画像Ｆ１３０１、Ｆ１３０２は、同一軌道５−１、５−２上を移動するカメラ１０１−１、１０１−２で撮像される。このため、画像Ｆ１３０１、Ｆ１３０２間において、沿線機器画像Ｆ１３０３、Ｆ１３０４の位置および大きさの相対関係は一定である。このため、各物体領域Ｆ１３０５、Ｆ１３０６について一定の画像処理を行うことで、沿線機器画像Ｆ１３０３、Ｆ１３０４の位置および大きさの差異を解消することができる。

この補正画像Ｆ１３０７、Ｆ１３０８間にメディアンフィルタのような画像処理を適用して補正画像Ｆ１３０７、Ｆ１３０８を合成することにより、合成画像Ｆ１３０９を生成することができる。これにより、カメラ１０１−１、１０１−２の移動経路として複数の軌道５−１、５−２がある場合においても、沿線機器６の画像情報を保持しつつ、降雪８等による阻害要因の影響を除去することが可能となり、沿線機器６の合成画像Ｆ１３０９の視認性を向上させることができる。

さらには、カメラ１０１−１の移動方向と、カメラ１０１−２の移動方向が逆である時に、カメラ１０１−１の視点方向と、カメラ１０１−２の視点方向を等しくすることができる。例えば、カメラ１０１−１が往路を走行する列車に搭載され、カメラ１０１−２が復路を走行する列車に搭載されているものとする。この時、カメラ１０１−１は前方を向くように設置し、カメラ１０１−１は後方を向くように設置することで、カメラ１０１−１の視点方向と、カメラ１０１−２の視点方向を等しくすることができる。あるいは、カメラ１０１−１は後方を向くように設置し、カメラ１０１−１は前方を向くように設置するようにしてもよい。

これにより、劣悪な環境条件に対するカメラ１０１−１、１０１−２の頑健性を高めることが可能となる。例えば、大雪時において、前方に向いたカメラのレンズに雪が付着する程の劣悪な環境条件においても、後方に向いたカメラではレンズに雪が付着するのを防止することができ、軌道５−１、５−２の周辺の対象物の状態を判断可能な情報を得ることができる。

なお、図１７の実施形態では、複数の軌道５−１、５−２として複線を用いた例を示したが、複数の軌道として複々線を用いるようにしてもよい。この時、列車に搭載されたカメラの移動方向は１つの軌道ごとに交互に異なるようにしてもよいし、２つの軌道ごとに交互に異なるようにしてもよい。例えば、軌道５−１、５−２、５−３、５−４がこの順に並列に並んでいる時に、軌道５−１、５−３では列車が往路、軌道５−２、５−４では列車が復路を進行するようにしてもよいし、軌道５−１、５−２では列車が往路、軌道５−３、５−４では列車が復路を進行するようにしてもよい。

図１８は、第１１実施形態に係る画像合成システムの構成を示すブロック図である。
図１８において、各列車１−１〜１−Ｎには、カメラ１０１−１〜１０１−Ｎ、位置情報取得部１２４−１〜１２４−Ｎ、速度情報取得部１３４−１〜１３４−Ｎおよび方向情報取得部１４４−１〜１４４−Ｎが搭載されている。

各位置情報取得部１２４−１〜１２４−Ｎは、各列車１−１〜１−Ｎの列車位置情報２２４−１〜２２４−Ｎを取得する。速度情報取得部１３４−１〜１３４−Ｎは、各列車１−１〜１−Ｎの列車速度情報２３４−１〜２３４−Ｎを取得する。方向情報取得部１４４−１〜１４４−Ｎは、各列車１−１〜１−Ｎの列車方向情報２４４−１〜２４４−Ｎを取得する。列車方向情報２４４−１〜２４４−Ｎは、各列車１−１〜１−Ｎが軌道５−１、５−２に沿って進む方向である。各列車１−１〜１−Ｎが各軌道５−１、５−２を進む方向は互いに反対方向に設定することができる。合成部１０２Ｈは、各カメラ１０１−１〜１０１−Ｎが撮像した同一対象物に関する画像を合成する。制御部１０３Ｈは、各カメラ１０１−１〜１０１−Ｎで撮像された同一対象物に関する画像の合成条件を設定する。

この時、制御部１０３Ｈは、軌道５の周辺に配置された沿線機器６の位置を示す対象物位置情報２０３Ｈを保持することができる。また、制御部１０３Ｈには、沿線機器６を所定時間範囲内に通過する列車１−１〜１−Ｎを特定する列車特定部３０３Ｈを設けることができる。合成部１０２Ｈには、列車特定部３０３Ｈによる列車１−１〜１−Ｎの特定結果および列車方向情報２３４−１〜２３４−Ｎに基づいて、各カメラ１０１−１〜１０１−Ｎで撮像された画像から同一対象物に関する画像を抽出する画像抽出部２０２Ｈを設けることができる。また、合成部１０２Ｈには、沿線機器６の画像の位置および大きさを調整する画像処理部２０２Ｈを設けることができる。

各位置情報取得部１２４−１〜１２４−Ｎで取得された列車位置情報２２４−１〜２２４−Ｎおよび速度情報取得部１３４−１〜１３４−Ｎで取得された列車速度情報２３４−１〜２３４−Ｎは制御部１０３Ｈに入力される。各カメラ１０１−１〜１０１−Ｎで撮像された画像２１１−１〜２１１−Ｎおよび列車方向情報２３４−１〜２３４−Ｎは合成部１０２Ｈに入力される。そして、列車特定部３０３Ｈは、列車位置情報２２４−１〜２２４−Ｎと対象物位置情報２０３Ｈとを比較し、各列車１−１〜１−Ｎと沿線機器６との距離を算出する。そして、各列車１−１〜１−Ｎの列車速度情報２３４−１〜２３４−Ｎに基づいて、各列車１−１〜１−Ｎが沿線機器６に到達するまでの時間を算出し、各列車１−１〜１−Ｎの車両長から、沿線機器６を所定時間範囲内に通過する列車１−１〜１−Ｎを特定する。

そして、制御部１０３Ｈは、各列車１−１〜１−Ｎが沿線機器６を所定時間範囲内に通過する時に、その列車１−１〜１−Ｎに搭載されたカメラ１０１−１〜１０１−Ｎで撮像された画像を抽出および保存するように合成条件を設定する。そして、画像抽出部２０２Ｈは、各カメラ１０１−１〜１０１−Ｎで撮像された画像２１１−１〜２１１−Ｎから、各カメラ１０１−１〜１０１−Ｎが沿線機器６の位置を移動する時の画像を抽出する。さらに、画像抽出部２０２Ｈは、列車方向情報２３４−１〜２３４−Ｎに基づいて、沿線機器６の位置を移動する時の画像から沿線機器６の画像を抽出する。

この時、図１７に示すように、各列車１−１〜１−Ｎが軌道５−１を走行している時と、各列車１−１〜１−Ｎが軌道５−２を走行している時では、沿線機器画像Ｆ１３０３、Ｆ１３０４の位置および大きさが異なる。このため、画像抽出部２０２Ｈは、列車方向情報２３４−１〜２３４−Ｎに基づいて、各列車１−１〜１−Ｎがどちらの軌道５−１、５−２を走行しているかを判断する。そして、各列車１−１〜１−Ｎが軌道５−１を走行している時は、画像Ｆ１３０１に設定された物体領域Ｆ１３０５から沿線機器画像Ｆ１３０３を抽出する。一方、各列車１−１〜１−Ｎが軌道５−２を走行している時は、画像Ｆ１３０２に設定された物体領域Ｆ１３０６から沿線機器画像Ｆ１３０４を抽出する。

次に、画像処理部２０２Ｈは、沿線機器画像Ｆ１３０３、Ｆ１３０４の位置および大きさが互いに一致するように、沿線機器画像Ｆ１３０３、Ｆ１３０４の画像処理を行うことで、補正画像Ｆ１３０７、Ｆ１３０８を生成する。そして、合成部１０２Ｈは、補正画像Ｆ１３０７、Ｆ１３０８間にメディアンフィルタのような画像処理を適用して補正画像Ｆ１３０７、Ｆ１３０８を合成する。

これにより、各列車１−１〜１−Ｎの走行経路として複数の軌道５−１、５−２が設けられている場合においても、各列車１−１〜１−Ｎの長時間走行で得られた膨大な画像２０１−１〜２０１−Ｎの中から、保守に用いる沿線機器６の複数の画像を抽出し、それらの画像を合成することが可能となる。

また、各カメラ１０１−１〜１０１−Ｎが搭載された列車１−１〜１−Ｎは、同一の軌道５−１、５−２を走行する。このため、カメラ１０１−１〜１０１−Ｎが異なる列車１−１〜１−Ｎに搭載されている場合においても、各列車１−１〜１−Ｎが沿線機器６を通過する時に、各カメラ１０１−１〜１０１−Ｎで撮像された画像２１１−１〜２１１−Ｎ内において配置位置およびサイズの相対的な関係が等しい沿線機器６の画像を取得することができる。この結果、合成部１０２Ｈは、カメラ１０１−１〜１０１−Ｎで撮像された画像２１１−１〜２１１−Ｎから沿線機器６の画像を精度よく特定することが可能となるとともに、各カメラ１０１−１〜１０１−Ｎで撮像された沿線機器６の画像について一定の画像処理を行うことで、合成に適するように沿線機器６の画像を変換することができる。
（第１２実施形態）
図１９は、第１２実施形態に係る画像合成システムの構成を示すブロック図である。
図１９の画像合成システムでは、図２の構成に解析部１０６が追加されている。解析部１０６は、合成部１０２Ａで生成された合成画像に基づいて沿線機器の異常状態を判定し、その判定結果を出力する。
これにより、保守員４は、合成画像を確認することなく、沿線機器の異常状態を認識することができる。このため、保守員４が合成画像を参照しながら、沿線機器の変形や破損等が存在するかどうかを確認する必要がなくなり、保守員４の点検の労力を軽減することが可能となる。

解析部１０６における異常状態判定方法として、例えば、機械学習を用いることができる。この場合、一般には正常状態と異常状態の両方の学習用データを準備して学習を行うことができる。ただし、沿線機器に異常が発生しているケースは非常に稀なため、必ずしも学習に足る量のデータを準備できるとは限らない。そこで、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）ツールや生成モデル技術を活用して沿線機器の異常状態の画像を作成し、学習用データとして用いるようにしてもよい。

以上、画像合成システムを鉄道保守支援システムに適用した場合について説明したが、この画像合成システムは、鉄道保守支援システム以外の用途にも適用可能である。
以下、画像合成システムを道路保守支援システムに適用した場合について説明する。

（第１３実施形態）
図２０は、第１３実施形態に係る画像合成システムが適用される道路保守支援システムの概略構成を示す模式図である。
図２０おいて、自動車Ｆ１５０１、Ｆ１５０２が走行する軌道５Ａの周辺には道路標識Ｆ１５０２が設けられている。図２０では、軌道５Ａが道路である場合を示した。道路保守支援システムには、処理装置２およびカメラ１０１−１、１０１−２が設けられている。処理装置２およびカメラ１０１−１、１０１−２は、ネットワーク３を介して接続されている。

カメラ１０１−１は自動車Ｆ１５０１に搭載され、カメラ１０１−２は自動車Ｆ１５０２に搭載されている。この時、各カメラ１０１−１、１０１−２は同一の軌道５Ａに沿って移動しながら同一対象物を異なる時刻に撮像することができる。処理装置２は、カメラ１０１−１、１０１−２が同一の軌道５Ａに沿って移動しながら撮像した道路標識Ｆ１５０２の画像を合成することで合成画像Ｆ１５０３を生成し、表示画面２Ａに表示させることができる。

自動車Ｆ１５０１、Ｆ１５０２は異なる時刻に軌道５Ａ上を直列に走行する。各カメラ１０１−１、１０１−２は、自動車Ｆ１５０１、Ｆ１５０２の走行中に道路の周辺の物体を撮像することができる。この時、各自動車Ｆ１５０１、Ｆ１５０２が道路標識Ｆ１５０２に近づくと、道路標識Ｆ１５０２が各カメラ１０１−１、１０１−２の画角に入り、各カメラ１０１−１、１０１−２で道路標識Ｆ１５０２が撮像される。各カメラ１０１−１、１０１−２で撮像された画像はネットワーク３を介して処理装置２に伝送される。

処理装置２は、各カメラ１０１−１、１０１−２で撮像された画像を受信すると、各画像から道路標識Ｆ１５０２の領域を抽出する。そして、処理装置２は、各画像から抽出された道路標識Ｆ１５０２の領域を合成することで、合成画像Ｆ１５０３を生成し、表示画面２Ａに表示させる。保守員４は、合成画像Ｆ１５０３を目視点検することにより、保守員４が道路標識Ｆ１５０２から離れた遠隔地にいる場合においても、道路標識Ｆ１５０２の実際の設置場所へ徒歩で巡視に向かうことなく、道路標識Ｆ１５０２を保守点検することができる。

ここで、カメラ１０１−１、１０１−２が同一の軌道５Ａに沿って移動しながら道路標識Ｆ１５０２を撮像し、それらの道路標識Ｆ１５０２に関する画像を合成することにより、各カメラ１０１−１、１０１−２で撮像された画像に不鮮明な部分がある場合においても、それらの不鮮明な部分が目立たなくなるように道路標識Ｆ１５０２に関する合成画像Ｆ１５０３を生成することができる。このため、低照度・霧雨・雪等の劣悪な環境条件下において、カメラ１０１−１、１０１−２が短時間で道路標識Ｆ１５０２を通り過ぎる場合においても、解析に足る画質の合成画像Ｆ１５０３を得ることができる。

なお、図２０の実施形態では、道路保守支援システムの監視対象が道路標識Ｆ１５０２である場合を示したが、道路保守支援システムの監視対象は道路標識Ｆ１５０２以外であってもよい。例えば、道路保守支援システムの監視対象は、信号機、防音壁、電灯、電柱、行先案内板、ガードレールまたは車線などであってもよい。道路の陥没、ひび割れ、損傷などが監視対象であってもよい。

なお、画像収集に使用する道路は一車線に限らず、例えば道路が片側２車線以上であってもよい。この時、自動車Ｆ１５０１、Ｆ１５０２は同一進行方向に異なる車線を走行するようにしてもよいし、自動車Ｆ１５０１、Ｆ１５０２は対向方向に異なる車線を走行するようにしてもよい。これらの場合、各カメラ１０１−１、１０１−２から道路標識Ｆ１５０２までの距離が異なる。この時、例えば、図１０の物体検出部１０５を用いて物体検出を行うことで、撮像画像内における位置および大きさの差異を解消した補正画像を生成し、それらの補正画像を合成に用いるようにしてもよい。

上述した実施形態では、複数のカメラを列車または自動車に搭載した場合について説明したが、複数のカメラは列車または自動車以外の移動体に搭載するようにしてもよい。複数のカメラは、エレベータに搭載するようにしてもよいし、製造ライン上に搭載するようにしてもよいし、人工衛星に搭載するようにしてもよい。複数のカメラをエレベータに搭載した場合は、エレベータ保守支援システムに画像合成システムを適用することができる。複数のカメラを製造ライン上に搭載した場合は、製造ライン保守支援システムに画像合成システムを適用することができる。複数のカメラを人工衛星に搭載した場合は、地上監視システムなどに画像合成システムを適用することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１−１、１−２…列車、２…処理装置、３…ネットワーク、４…保守員、５…軌道、６…沿線機器、７…合成画像、１０１−１、１０１−２、１０１−Ｎ…カメラ、１０２Ａ〜１０２Ｆ…合成部、１０３Ａ〜１０３Ｆ…制御部、１０４−１、１０４−２、１０４−Ｎ…位置情報取得部、１０５−１、１０５−２、１０５−Ｎ…物体検出部、１０６…解析部

Claims (15)

1. Ｎ（Ｎは２以上の整数）台のカメラと、
   前記Ｎ台のカメラが同一経路に沿って移動しながら撮像した同一対象物に関する画像を合成する合成部とを備える画像合成システム。
2. 前記Ｎ台のカメラで撮像された画像の合成条件を設定する制御部をさらに備える請求項１に記載の画像合成システム。
3. 前記経路は軌道である請求項１に記載の画像合成システム。
4. 前記経路は、互いに隣接して並列に配置されたＭ（Ｍは２以上の整数）個の経路からなる請求項１に記載の画像合成システム。
5. 前記経路は、互いに隣接して並列に配置された第１経路と第２経路とを備え、
   前記第１経路上のカメラの移動方向と、前記第２経路上のカメラの移動方向は逆であり、
   前記第１経路上のカメラの視点方向と、前記第２経路上のカメラの視点方向と等しい請求項４に記載の画像合成システム。
6. 前記カメラは前記経路上を移動する異なる移動体に搭載され、前記移動体は直列に移動する請求項１に記載の画像合成システム。
7. 前記カメラは前記経路上を移動する同一の移動体に搭載されている請求項１に記載の画像合成システム。
8. 前記Ｎ台のカメラの位置情報を取得する位置情報取得部を備え、
   前記合成部は、前記位置情報に基づいて抽出された同一対象物に関する画像を合成する請求項１に記載の画像合成システム。
9. 前記Ｎ台のカメラが撮像した画像から対象物を検出する物体検出部を備え、
   前記合成部は、前記物体検出部にて検出された同一対象物に関する画像を合成する請求項１に記載の画像合成システム。
10. 前記Ｎ台のカメラで撮像された画像のうち前記同一対象物に関する画像のみを前記合成部に出力する請求項１に記載の画像合成システム。
11. 前記合成部にて合成された画像に基づいて前記対象物の状態を解析する解析部を備える請求項１に記載の画像合成システム。
12. 前記Ｎ台のカメラは静止時において同一時刻にそれぞれ異なる第１対象物を撮像し、前記Ｎ台のカメラは移動時において異なる時刻にそれぞれ同一の第２対象物を撮像し、
    前記合成部は、前記第２対象物に関する画像を合成する請求項１に記載の画像合成システム。
13. 前記カメラは、視点方向が互いに異なる第１カメラと第２カメラとを備え、
    前記合成部は、前記第１カメラと前記第２カメラで撮像された視点方向が互いに異なる同一対象物に関する画像を合成する請求項１に記載の画像合成システム。
14. 前記カメラは、露光条件が互いに異なる第１カメラと第２カメラとを備え、
    前記合成部は、前記第１カメラで撮像された画像から切り取られた同一対象物の第１部分の画像と、前記第２カメラで撮像された画像から切り取られた同一対象物の第２部分の画像を合成する請求項１に記載の画像合成システム。
15. 同一経路に沿って移動しているＮ（Ｎは２以上の整数）台のカメラで同一対象物を撮像し、
    前記Ｎ台のカメラで撮像された前記同一対象物に関する画像を合成する画像合成方法。
    
    

Images