JP2021190850A - 監視装置、及び監視方法 - Google Patents

Abstract

【課題】誤検出を抑制可能な監視装置、及び監視方法を提供する。【解決手段】本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第２動画を選択する。画像選択部は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。生成部は、各第１画像と、対応する第２画像との比較情報を生成する。出力部は、比較情報に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。【選択図】図２

Description

本発明の実施形態は、監視装置、及び監視方法に関する。

鉄道の線路周辺の地上設備の点検負荷を低減するために、車両に設置したカメラで撮影した対走行動画を用いて変化箇所を検出する技術が知られている。この際、過去に撮影した基準動画と撮影した対象動画とを比較し、変化のあった箇所を検出している。ところが、陰影などの点検対象外の箇所も変化箇所として誤検出してしまう恐れがある。

特開２００８−２２７８４４号公報 特開２０１８−０２８５１６号公報

誤検出を抑制可能な監視装置、及び監視方法を提供する。

本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第２動画を選択する。画像選択部は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。生成部は、各第１画像と、対応する第２画像との比較情報を生成する。出力部は、比較情報に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。

監視システムの構成例を示すブロック図。 監視装置の構成を示すブロック図。 差分計算部の詳細な構成例を示すブロック図。 差分表示部の詳細な構成例を示すブロック図。 変化地点検出部の検出処理例を模式的に示す図。 画像生成部における生成画像の例を模式的に示す図。 監視装置の処理例を示すフローチャート。 第１実施形態の変形例に係る差分画像生成部の構成を示すブロック図。 ２実施形態に係る画像選択部の構成を示すブロック図。 第２実施形態に係る画像選択部の処理を示すフローチャート。

以下、図面を参照して、本発明の実施形態について説明する。なお、本件明細書に添付する図面においては、図示と理解のしやすさの便宜上、適宜縮尺及び縦横の寸法比等を、実物のそれらから変更し誇張してある。

（第１実施形態）
図１は、本実施形態に係る監視システム１の構成例を示すブロック図である。図１に示すように、本実施形態に係る監視システム１は、鉄道車両１０に搭載される列車位置検出装置１０ａと、撮像装置１０ｂと、記憶装置１０ｃと、通信装置１０ｄと、監視室１５に配置される監視装置２０と、表示装置３０とを備える。

鉄道車両１０は、固定された軌道である線路Ｒ１０上を走行する。列車位置検出装置１０ａは、鉄道車両１０の走行位置を時系列に検出している（特許文献２参照）。

撮像装置１０ｂは、例えばカメラでありＲ、Ｇ、Ｂ画像を走行動画として連続的に撮像可能である。この撮像装置１０ｂは、例えば鉄道車両１０の前方に固定され、同一の撮像倍率で撮像する。このため、鉄道車両１０が線路Ｒ１０上を走行中に撮像した走行動画を構成する各画像は、例えば同じ地点で撮像された場合には、同じアングル且つ同じ撮像倍率の画像となる。また、撮像装置１０ｂは、各画像を、列車位置検出装置１０ａが検出した線路Ｒ１０上の位置、及び時刻と関連づけて記憶装置１０ｃに記憶する。

また、撮像装置１０ｂが撮像した走行動画には、撮影条件が関連付けられている。撮影条件には、天候や撮影日時などが含まれる。天候は、晴れ、曇り、雨などである。日時は、撮像日付、及び撮像時刻とともに、朝方・日中・夕方などの時間帯、春夏秋冬の季節の情報を含む。

記憶装置１０ｃは、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記記憶装置１０ｃは、上述のように、撮像装置１０ｂが撮像した走行動画を構成する各画像を線路Ｒ１０上の位置、撮像日付、及び撮像時刻と関連づけて記憶する。

通信装置１０ｄは、無線によって通信可能であり、例えば監視室１５の監視装置２０と通信する。この通信装置１０ｄは、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、同時刻に記憶装置１０ｃに記憶された画像と関連づけて記憶する。通信装置１０ｄは、気象情報などを、監視室１５の監視装置２０などを介して取得してもよい。また、通信装置１０ｄは、記憶装置１０ｃに記憶された動画を監視室１５の監視装置２０に送信する。

監視装置２０は、鉄道車両１０から送信された監視対象となる第１動画と、予め記憶されている第２動画とを比較し、第１動画中で変化のあった第１画像に関する情報を出力する。なお、本実施形態では、監視対象となる走行動画を第１動画と称し、比較対象となる基準動画を第２動画と称する。また、第１動画を構成する各フレームの画像を第１画像と称し、第２動画を構成する各フレームの画像を第２画像と称する。
表示装置３０は、例えばモニタであり、監視装置２０が出力する画像、及び情報を表示する。

≪監視装置２０の構成≫
図２は、監視装置２０の構成を示すブロック図である。監視装置２０は、通信部２０２と、記憶部２０４と、基準動画選択部（動画選択部）２０６と、画像選択部２０８と、差分計算部（生成部）２１０と、差分表示部２１２（出力部）とを有する。監視装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。記憶部２０４は、後述するように、監視動作を実行するための各種のプログラムを記憶している。これにより、監視装置２０は、例えば記憶部２０４に記憶されるプログラムを実行することにより、各部を構成する。

通信部２０２は、無線によって通信可能であり、鉄道車両１０と通信し、監視対象となる第１動画を取得する。また、通信部２０２は、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、鉄道車両１０に送信してもよい。なお、第１動画は通信を用いずに、鉄道車両１０の記憶装置１０Ｃを取り外し、監視装置２０に取り付けて取得しても良い。

記憶部２０４は、走行動画記憶部２０４ａと、走行動画記群（基準）記憶部２０４ｂと、鉄道関連情報記憶部２０４ｃと、を有する。記憶部２０４は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。また、記憶部２０４は、上述したように、監視動作を実行するための各種のプログラムを記憶している。

走行動画記憶部２０４ａは、監視対象となる第１動画を記憶する。
走行動画記群（基準）記憶部２０４ｂは、基準動画である複数の第２動画を記憶する。第２動画は、例えば上述の撮像装置１０ｂにより撮像され、第１動画を撮像した区間を含む範囲で撮像された動画である。これらの第２動画は、様々な撮影条件で撮影されている。すなわち、多様な季節、日時、天候で撮像されている。これらの第２動画のそれぞれには、第１動画と同様に、列車位置検出装置１０ａが検出した線路Ｒ１０上の位置、時刻、及び撮影条件などが関連づけられている。

ここで、様々な撮影条件の基準動画が必要なのは、天候や時間が異なると日の当たり方が異なり、影が変わるためである。また、季節が異なると植物の生育状況に違いが生じるためである。基準動画は、天候×時間×季節の全組み合わせを所持しても良いが、動画容量が大きくなるため一部の組み合わせが抜けた状態でも良い。

鉄道関連情報記憶部２０４ｃは、例えば線路Ｒ１０に沿った保守要員待機所の位置情報、駅の位置情報、駅間の鉄道車両１０の走行情報などを記憶する。駅間の鉄道車両１０の走行情報には、駅間の位置ごとの走行予定時刻が関連づけられている。これにより、後述する画像選択部２０８は、鉄道車両１０の走行時刻と、鉄道車両１０の線路Ｒ１０上の走行位置とを対応づけることも可能である。ここで、位置情報とは、ＧＮＳＳによる緯度や経度等の情報や、線路のキロ程情報などである。

基準動画選択部２０６は、差分検出対象の第１動画（第１の走行動画）の撮影条件に基づいて、予め撮影された複数の基準動画群（第２動画）の中から撮影条件の近い第２動画を基準動画として選択する。より具体的には、基準動画選択部２０６は、第１動画の撮影条件を、第１動画に関連づけられた情報から取得し、複数の第２動画から撮影条件に近い第２動画を基準動画として選択する。上述のように、撮影条件とは、例えば天候や撮影日時などである。天候は、晴れ・曇り・雨などであり、撮影日時は、朝方・日中・夕方などの時間帯とともに、春夏秋冬の季節の情報も含む。

このように、基準動画選択部２０６は、撮影条件として日陰の状態、又は植物の生育状況に関連する情報を用いて、第１動画と日陰の状態が類似する第２動画、又は植物の生育状況が類する第２動画を選択する。より具体的には、基準動画選択部２０６は、撮影条件として天候または日時の少なくとも一方を用いて、照度、及び日照角度が類似する第２動画を選択する。

例えば、基準動画選択部２０６は、第１動画の撮像を開始した日時と同じ開始日時の第２動画を選択する。この場合、各第１画像を撮像したときの鉄道車両１０と対応する第２画像を撮像したときの鉄道車両１０は、同じ地点をほぼ同じ時刻に通過するので、各第１画像と対応する第２画像を撮影した時点の照度及び日照角度が類似する。このため、各第１画像と対応する第２画像の日陰の状態は類似する。ここで、日陰の状態とは、陰影の長さや、陰影内の照度と陰影外の照度との照度差などを意味する。

さらに、この場合、天候により、照度の条件を調整することがより好ましい。このため、基準動画選択部２０６は、第１動画が晴天時に撮影された場合には、第２動画も晴天時に撮影された画像を選択する。同様に、基準動画選択部２０６は、第１動画が曇天時に撮影された場合には、第２動画も曇天時に撮影された画像を選択する。

また、時間×天候×季節の全ての条件を満たす基準動画が存在しない場合もある。この場合、基準動画選択部２０６は、時間を第１優先、天候を第２優先、季節を第３優先にする等、存在する撮影条件の情報に優先順位をつけて基準動画を選択する。例えば、基準動画選択部２０６は、日陰の状態に関連する情報を優先する場合に、時間に関する情報が欠落している場合には、例えば天候を第１優先、季節を第２優先とする。日陰の状態差は、季節による日照角度差よりも、天候による照度差により、より大きくなる傾向にあるためである。また、例えば、基準動画選択部２０６は、植物の生育状況に関連する情報を優先する場合には、季節を第１優先、時間を第２優先、天候を第３優先とする。植物の生育差は、季節の相違により、最も大きくなるためである。

画像選択部２０８は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。より具体的には、画像選択部２０８は、対象フレームである第１画像の撮像地点と同地点のフレーム画像を第２動画から探索し、最も撮像地点の近い第２画像を選択する。画像選択部２０８は、鉄道車両１０の走行時刻と、鉄道車両１０の線路Ｒ１０上の走行位置とを対応づけ、第２画像を探索することも可能である。

≪差分計算部２１０の構成≫
図３は、監視装置２０の差分計算部２１０の詳細な構成例を示すブロック図である。図３に示すように、差分計算部２１０は、選択された画像間の差分量を示す値を計算する。すなわち、この差分計算部２１０は、第１動画を構成する各第１画像と、対応する第２画像との比較情報を生成する。差分計算部２１０は、差分画像生成部２１０ａと、差分値計算部２１０ｂと、を有する。

より詳細には、差分画像生成部２１０ａは、第１動画を構成する各第１画像と、対応する第２画像との差分画像を生成する。この差分画像生成部２１０ａは、例えばそれぞれの画像を平均値０、分散値１となる様に画素値の統計値を標準化し、両画像間の各画素値の差を差分画像として生成する。これにより、画像間の明るさの違いやノイズの影響を軽減することが可能となる。さらに、差分画像生成部２１０ａは、フィルタ処理により、ノイズ除去処理を行った後に差分画像を生成してもよい。これにより、ノイズによる検出誤差を低減可能となる。

また、差分画像生成部２１０ａは、画像を小領域に分割し、各領域に対して動き補償を行ってから差分画像を生成しても良い。これにより、画像間の微妙な画素ずれの影響を軽減することが可能となる。

差分値計算部２１０ｂは、差分画像から差分値を計算する。ここで、差分値は差分画像の各画素の絶対値和、二乗和である。このように、監視装置２０の差分選択部１３０によれば、画像の標準化、ノイズ除去、及び動き補償のすくなくともいずれかを行う事で、同位置画像でも生じる画像間の違いを低減する事が可能となる。このため、明るさの違いやノイズや画素ズレの影響を抑制し、点検対象物の劣化などによる変箇所化を差分としてより高精度に検出可能となる。

≪差分表示部２１２の構成≫
図４は、監視装置２０の差分表示部２１２の詳細な構成例を示すブロック図である。差分表示部２１２は、変化地点検出部２１２ａと、画像生成部２１２ｂと、表示制御部２１２ｃとを有する。

図５は、変化地点検出部２１２ａの検出処理例を模式的に示す図である。縦軸は、差分値の１画素辺りの平均値を示し、横軸は第１動画のフレーム番号を示す。すなわち、フレーム番号は、第１画像を示す番号である。図５に示すように、時系列な差分値Ｌ１０は、画像毎に異なる。つまり、各第１画像と、対応する第２画像との差が大きくなるに従い差分値は大きくなる。

変化地点検出部２１２ａは、比較情報（差分値）に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。より詳細には、変化地点検出部２１２ａは、時系列な差分値Ｌ１０が予め定められたしきい値Ｌ１２、例えば、０．５を超えた第１画像群Ｐ１０を所定の変化があった画像として検出する。すなわち、所定の変化とは、第１画像と対応する第２画像の差分値が所定値を超えることを意味する。この場合、第２画像には無かった物体が第１画像中に写っているか、第２画像中にあった物体が劣化、変化して第１画像中に写っているか、或いは、第２画像中にあった物体が消失して第１画像中に写っていないか、のいずれかの蓋然性が高くなる。しきい値Ｌ１２は全区間で一定であっても良いし、フレーム番号（撮影位置）によって変えても良い。これは、撮影位置の周辺環境によって差分が大きくなりやすい位置があるためである。

また、変化地点検出部２１２ａは、比較情報に基づき変化のあった第１画像を撮像した線路Ｒ１０上の位置に関する情報を出力する。この場合、変化地点検出部２１２ａは、例えば所定の変化のあった第１画像に関連づけられている撮像位置の情報を出力する。

図６は、画像生成部２１２ｂが生成する生成画像３００の例を模式的に示す図である。図６に示すように、画像生成部２１２ｂは、変化のあった走行画像フレームである第１画像３０２と、第１画像３０２中の変化があった領域３０２ａと、第１画像３０２に対応する基準画像である第２画像３０４と、第１画像３０２に対応する位置情報３０６と、領域３０２ａの変化理由３０８と、線路図３１０と、線路図３１０内の変化があった変化地点３１２と、最寄りの保守要員待機所３１４、３１６の情報を含む画像を生成する。

より具体的には、画像生成部２１２ｂは、変化地点検出部２１２ａの出力情報により、変化のあった第１画像３０２と、対応する第２画像３０４を記憶部２０４から取得し、生成画像３００に表示する。この際に、画像生成部２１２ｂは、差分画像生成部２１０ａが生成した差分画像中の差分値の絶対値が所定値より大きな領域を、例えばしきい値処理、及びラベリング処理により抽出し、領域３０２ａとして表示する。

また、画像生成部２１２ｂは、一般画像中の撮影対象を識別する認識器を有しており、領域３０２ａのカテゴリを変化理由３０８として表示する。例えば、画像生成部２１２ｂの認識器は、車、人、動物、建物、火災、木、植物名などを学習しており、カテゴリを変化理由３０８として表示する。一方で、領域３０２ａの差分値により、第２画像３０４にあった物体が第１画像３０２では変化、又は、無くなっていると判断される場合には、画像生成部２１２ｂの認識器は、第２画像３０４内の領域３０２ａに対応する画像領域内のカテゴリを変化理由３０８として表示する。例えば、絶対値が所定値より大きな領域の差分値がプラスであれば、第１画像内に新たな物体が映っており、マイナスであれば、第２画像中にあった物体が第１画像内では消失していることを示す。なお、プラス、マイナスは、逆でもよい。

また、画像生成部２１２ｂは、記憶部２０４内の鉄道関連情報を用いて、変化地点３１２と、最寄りの保守要員待機所３１４、３１６の情報を含む路線図画像３１０を生成する。
表示制御部２１２ｃは、この生成画像３００の情報を、表示装置３０に表示させる。これにより、監視室１５の監視員は、保守の必要性や、保守方法、保守要員への連絡先などを即時に判断することが可能となる。

また、表示制御部２１２ｃは、通信部２０２を介して、最寄りの保守要員待機所３１４、３１６に配置される別の表示装置に生成画像３００の情報を送信する。これにより、このような生成画像３００を、保守要員待機所３１４、３１６の保守要員は確認可能となる。このように、守要員待機所３１４、３１６の保守要員も、保守の必要性や、保守方法などを画像情報に基づき、即時に判断することが可能となる。

図７は、監視装置２０の処理例を示すフローチャートである。図７に示すように、まず、基準動画選択部２０６は、差分検出対象の第１動画（第１の走行画像）の撮影条件を取得する（ステップＳ１００）。

次に、基準動画選択部２０６は、複数の第２画像（基準動画）の中から取得した第１動画の撮影条件に近い第２動画を基準動画として選択する（ステップＳ１０２）。
次に、画像選択部２０８は、第１動画から差分検出の対象であるフレームの第１画像を取得する（ステップＳ１０４）。そして、第２動画から対象フレームである第１画像と同地点のフレーム画像を探索し、最も位置の近い第２画像を選択する（ステップＳ１０６）。

次に、差分計算部２１０は、第１画像と対応する第２画像との差分量を示す値を計算する（ステップＳ１０８）。差分計算部２１０は、第１動画の終端か否かを判定する（ステップＳ１１０）。終端でない場合（ステップＳ１１０のｎｏ）、差分計算部２１０は、次の第１画像に対して、ステップＳ１０４からの処理を繰り返す。

一方で、終端である場合（ステップＳ１１０のｙｅｓ）、差分表示部２１２は、フレーム毎の差分量を示す値に基づいて、第１動画の中で変化のあった第１画像に対応する地点を求め（Ｓ１０７）、変化地点の画像や情報を表示装置３０に表示し（ステップＳ１１４）、処理を終了する。このように、監視装置２０は、複数の第２動画（基準動画）群から、撮影条件に基づき第２動画を選択し、第１動画の各第１画像と対応する第２画像を比較し、変化あった地点を検出する。

以上のように、本実施形態によれば、基準動画選択部２０６が、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択し、画像選択部２０８が、各第１画像に対応する第２画像を、第１画像の撮影位置を示す情報を用いて、第２動画の中から選択することとした。これにより、第１動画を構成する各第１画像と、撮影位置及び撮影条件が対応する第２画像を比較可能となる。このため、撮影条件の相違により生じる各第１画像と対応する第２画像との画像情報の相違が低減され、変化の有った箇所の誤検出が抑制される。

（第１実施形態の変形例）
第１実施形態の変形例に係る監視装置２０は、差分計算部２１０の差分画像生成部２１０ａをニューラルネットワークで構成した点で、第１実施形態に係る監視装置２０と相違する。以下では、第１実施形態に係る監視装置２０と相違する点を説明する。

図８は、第１実施形態の変形例に係る差分画像生成部２１０ａの構成を示すブロック図である。図８に示すように、差分画像生成部２１０ａは、第１ニューラルネットワーク２１０２ａと、第２ニューラルネットワーク２１０４ａとを有する。第１ニューラルネットワーク２１０２ａは、複数の畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒｌ ｎｅｔｗｏｒｋ、以下では単にＣＮＮと記す場合がある。）を有する。

このＣＮＮは、各レイヤのニューロンがフィルタにグループ化され、各フィルタが入力データの中の異なる重複する特徴を検出する。畳み込みニューラルネットワークにおける複数レイヤのニューラルネットワークアーキテクチャは、例えば複数の畳み込みレイヤ、複数のサンプリングレイヤ、及び複数の完全に接続されたレイヤを有する。また、このＣＮＮは、例えば既存のラベル付き画像によって学習させた学習済みのＣＮＮ（例えばＩｍａｇｅＮｅｔ ｐｒｅ−ｔｒａｉｎｅｄ ｎｅｔｗｏｒｋ）である。すなわち、上段のＣＮＮのそれぞれは、第２画像の赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像それぞれから特徴量を抽出する。同様に下段のＣＮＮのそれぞれは、第１画像の赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像それぞれから特徴量を抽出する。

また、下段のＣＮＮのそれぞれは、上段のＣＮＮのそれぞれと同様の構成ある。例えば、下段のＣＮＮのそれぞれは、上段のＣＮＮのそれぞれと重み（接続係数）が同一である。本実施形態では、Ｒ、Ｇ、Ｂの三原色それぞれを標準化して入力する。

例えば１枚の第２画像は、１９２０ｘ１０８０画素の３種のデジタル画像である赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）のそれぞれを３８４ｘ２１６画素に縮小した画像を用いる。これにより、第２画像の３８４ｘ２１６×３の画素データが上段のＣＮＮに入力される。同様に、第１画像の３８４ｘ２１６×３の画素データが下段のＣＮＮに入力される。

第１ニューラルネットワーク２１０２ａは、第２画像の３８４ｘ２１６×３の画素データに対応する３Ｄの特徴量ボリュームデータと、第１画像の３８４ｘ２１６×３の画素データに対応する３Ｄの特徴量ボリュームデータと、を合成する。

第２ニューラルネットワーク２１０４ａは、第１ニューラルネットワーク２１２ａが出力する３Ｄの特徴量ボリュームデータが入力されると、第１画像と第２画像との差分画像を出力する。

この第２ニューラルネットワーク２１０４ａは、第１ニューラルネットワーク２１０２ａが合成する学習用の特徴量ボリュームデータと、教師用の３８４ｘ２１６の差分画像をセットとした学習データにより学習されたニューラルネットワークである。例えば、この第２ニューラルネットワーク２１０４ａは、各ノードの間の接続係数が初期化され、教師用の３８４ｘ２１６の差分画像付きの３Ｄの特徴量ボリュームデータが順に入力される。そして、第２ニューラルネットワーク２１０４ａは、出力する差分画像と、入力した３Ｄの特徴量ボリュームデータにセットされた教師用の３８４ｘ２１６の差分画像との誤差が少なくなるように接続係数を補正する。

この接続係数の補正は、バックプロパゲーション（誤差逆伝播法）等の処理により行われる。学習データとして、教師用の２２４×２２４の差分画像に対して、入力画像にノイズや、日陰状態の異なる情報を人工的に多様に付加することが可能である。これにより、ノイズや、照度変化による日陰状態の相違に対す影響が低減された差分画像を生成可能である第２ニューラルネットワーク２１０４ａを学習できる。つまり、第２ニューラルネットワーク２１０４ａは、第１画像と、第２画像とで、ノイズや日陰状態が相違していても、それらの影響を低減した差分画像を生成できる。

このように、第１ニューラルネットワーク２１０２ａ及び第２ニューラルネットワーク２１０４ａを用いた差分画像生成部２１０ａは、画像のノイズや、照度変化に対す影響が低減された差分画像を生成可能である。これにより、監視装置２０の誤検出がより抑制される。

（第２実施形態）
第２実施形態に係る監視装置２０は、画像選択部２０８が第１画像の位置情報に加え、第１画像と第２画像の類似性の情報を用いて、第２画像を選択する点で、第１実施形態に係る監視装置２０と相違する。以下では、第１実施形態に係る監視装置２０と相違する点を説明する。

図９は、第２実施形態に係る画像選択部２０８の構成を示すブロック図である。図９に示すように、画像選択部２０８は、候補選出部２０８ａと、類似度計算部２０８ｂと、選択部２０８ｃと、を有する。

候補選出部２０８ａは、第１動画の第１画像に対応する位置情報と最も近い位置情報を有する第２画像と、その前後における複数の第２画像を候補画像として選出する。
類似度計算部２０８ｂは、第１画像と、候補選出部２０８ａが選出した複数の第２画像それぞれとの類似度を計算する。ここで、類似度はＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）やＡＫＡＺＥ等の画像特徴点の対応点数などである。すなわち、類似度計算部２０８ｂは、第１画像と複数の第２画像との間の類似度を正規化相互相関により演算する。或いは、類似度計算部２０８ｂは、第１画像と複数の第２画像とのそれぞれの特徴点を求め、特徴点の対応点数を類似度とする。
選択部２０８ｃは、類似度に基づいて第１画像に対応する第２画像を選択する。

図１０は、第２実施形態に係る画像選択部２０８の処理を示すフローチャートである。図１０に示すように、まず、候補選出部２０８ａは、第１動画（検出対象動画）の対象フレームとなる第１画像の位置情報を取得する（ステップＳ２００）。

次に、候補選出部２０８ａは、第２行動画（基準動画）の各第２画像の位置情報を用いて、対象フレームの位置情報と最も近い位置情報のフレームを探索する（ステップＳ２０２）。続けて、候補選出部２０８ａは、その最も近い位置情報の第２画像とその前後の数フレーム分の第２画像を候補フレームとして選択する（ステップＳ２０４）。

類似度計算部２０８ｂは、候補フレームである複数の第２画像から一つの第２画像を選択し（ステップＳ２０６）、対象フレームである第１画像との類似度を計算する（ステップＳ２０６）。

類似度計算部２０８ｂは、候補フレームである複数の第２画像の全てに対して類似度を演算したか否かを判定する（ステップＳ２１０）。終了していない場合（ステップＳ２１０のｎｏ）、類似度計算部２０８ｂは、未計算の第２画像に対してステップＳ２０６からの処理を繰り返す。

一方で、候補フレームである複数の第２画像の全てに対して類似度を演算した場合（ステップＳ２１０のｙｅｓ）、選択部２０８ｃは、候補フレームである複数の第２画像の中から、類似度の最も高い第２画像を第１画像に対する画像として選択し（ステップＳ２１２）、全体処理を終了する。

以上説明したように、第２実施形態に係る画像選択部２０８によれば、画像間の類似度を用いる事で、第１画像と第２画像の撮像位置にずれがある場合でも、第１画像により類似する第２画像を選択可能となる。これにより、撮影位置のずれによる影響が低減され、監視装置２０の誤検出がより抑制される。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：監視システム、１０：鉄道車両、１０ｂ：撮像装置、２０：監視装置、３０：表示装置、２０４：記憶部、２０６：基準画像選択部、２０８：画像選択部、２０８ａ：候補選出部、２０８ｂ：類似度計算部、２０８ｃ：選択部、２１０：差分計算部、２１２：差分表示部、２１２ｃ：表示制御部、２１０２ａ：第１ニューラルネットワーク、２１０４ａ：第２ニューラルネットワーク、３００：生成画像、Ｒ１０：線路。

Claims (12)

1. 監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択する動画選択部と、
   前記第１動画を構成する各第１画像に対応する第２画像を、前記第１画像の位置を示す情報を用いて、前記第２動画の中から選択する画像選択部と、
   前記各第１画像と、前記対応する第２画像との比較情報を生成する生成部と、
   前記比較情報に基づき、前記第１動画の中で所定の変化のあった第１画像に関する情報を出力する出力部と、
   を、備える監視装置。
2. 前記動画選択部は、前記撮影条件として日陰の状態に関連する情報、又は植物の生育状況に関連する情報を用いて、前記第１動画と類似する前記第２動画を選択する、請求項１に記載の監視装置。
3. 前記動画選択部は、前記撮影条件として天候または日時の少なくとも一方を用いて、前記第１動画と照度、及び日照角度が類似する前記第２動画を選択する、請求項１に記載の監視装置。
4. 前記第１動画は、軌道上を走行する鉄道車両が搭載した撮像装置が撮影した動画であり、
   前記出力部は、前記第１画像に関する情報として、前記対応する第２画像に対して所定の変化のあった前記第１画像を撮像した前記軌道上の位置に関する情報を出力する、請求項３に記載の監視装置。
5. 前記情報に関する画像を表示部に表示させる表示制御部を、更に備え、
   前記表示制御部は、前記軌道上の位置を示す画像、前記所定の変化のあった第１画像、前記軌道上の位置に対応する第２画像、及び最寄りの保守要員待機所の情報の少なくともいずれかを前記表示部に表示させる、請求項４に記載の監視装置。
6. 前記表示制御部は、前記軌道上の位置に対応する前記第１画像と、前記変化のあった第１画像内の変化領域と、前記変化の理由に関する情報を前記表示部に表示させる、請求項５に記載の監視装置。
7. 前記画像選択部は、前記位置を示す情報を用いて選択した複数の前記第２画像の中から、前記第１画像との類似度に基づき、前記第１画像に対応する第２画像を選択する、請求項１乃至６のいずれか一項に記載の監視装置。
8. 前記画像選択部は、前記第１動画と前記第２動画とに付随する位置情報に基づき、前記第２動画の中から前記複数の第２画像を選択する、請求項７に記載の監視装置。
9. 前記画像選択部は、前記第１画像と前記複数の記第２画像とのそれぞれの特徴点を求め、前記特徴点の対応点数を類似度とする、請求項７に記載の監視装置。
10. 前記生成部は、画像を小領域に分割し各領域に対して動き補償を行ってから差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項１に記載の監視装置。
11. 前記生成部は、ニューラルネットワークを用いて差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項１に記載の監視装置。
12. 監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択する動画選択工程と、
    前記第１動画を構成する各第１画像に対応する第２画像を、前記第１画像の位置を示す情報を用いて、第２動画の中から選択する画像選択工程と、
    前記各第１画像と、前記対応する第２画像との比較情報を生成する生成工程と、
    前記比較情報に基づき、前記第１動画の中で所定の変化のあった第１画像に関する情報を出力する出力工程と、
    を、備える監視方法。

Images