JP2019142304A - 落下物検出装置及び落下物検出方法 - Google Patents

Abstract

【課題】鉄道軌道上の落下物を精度よく検出可能な、落下物検出装置及び落下物検出方法を提供する。【解決手段】鉄道車両に設けられて鉄道軌道上の落下物を検出する、落下物検出装置１０であって、前記鉄道車両の進行方向側に設けられて前記鉄道軌道を撮像する撮像装置１１と、当該撮像装置１１により撮像された画像を基にした画像を解析し、前記落下物を検出する落下物検出部１４と、を備え、前記鉄道軌道の画像と、当該画像に対応する前記落下物の有無の情報を学習データとして取り込み、前記落下物及び前記落下物の有無に関する特徴データを作成、保持する機械学習器により、前記落下物を検出する、落下物検出装置１０を提供する。【選択図】図２

Description

本発明は、落下物検出装置及び落下物検出方法に関する。

レールや枕木などの鉄道軌道上に、通常存在し得ない異物が落下物として存在している状態で、貨物や乗客を搬送する営業車両が走行すると、重大な事故が発生する可能性がある。これを抑制するために、一般に、カメラを搭載した点検車両を、営業車両の走行前に走行させ、落下物を検出することが行われている。

落下物の検出は、レーザセンサを用いて行われることがある。しかし、レーザセンサにおいては、レーザ光の照射先が遠くなると、これに伴い精度が低下することがある。そのため、カメラを用いて検出対象となる範囲を撮像し、撮像された画像を解析することにより落下物を検出することが、広く行われている。
例えば、特許文献１には、カメラを用いて検出された物体を、データベース内に蓄積された画像と比較することで、当該物体の異常性を分類する、鉄道軌道スキャニングシステムおよび方法が開示されている。

特表２００８−５０２５３８号公報

特許文献１に記載されたような、見本となる画像との比較により落下物を検出する場合においては、見本画像と比較される、撮像されて解析される画像は、その背景にバラストが写り込み、なおかつ、当該画像は鉄道が走行中に撮像されたものとなっている。すなわち、画像の背景は常に一定ではなく、このため、一定の背景において撮像された画像を単純に比較する場合に比べ、検出精度を向上するのが容易ではない。
また、落下物を例えば作業員が落したスパナであると限定した場合であっても、スパナの大きさや色には様々な種類があり、なおかつ、画像中のスパナの置かれた角度も場合により様々である。この理由においても、見本画像との比較により落下物を効果的に、精度よく検出するのは容易ではない。

本発明が解決しようとする課題は、鉄道軌道上の落下物を精度よく検出可能な、落下物検出装置及び落下物検出方法を提供することである。

本発明は、上記課題を解決するため、以下の手段を採用する。すなわち、本発明は、鉄道車両に設けられて鉄道軌道上の落下物を検出する、落下物検出装置であって、前記鉄道車両の進行方向側に設けられて前記鉄道軌道を撮像する撮像装置と、当該撮像装置により撮像された画像を基にした画像を解析し、前記落下物を検出する落下物検出部と、を備え、前記鉄道軌道の画像と、当該画像に対応する前記落下物の有無の情報を学習データとして取り込み、前記落下物及び前記落下物の有無に関する特徴データを作成、保持する機械学習器により、前記落下物を検出する、落下物検出装置を提供する。

また、本発明は、鉄道軌道上の落下物を検出する落下物検出方法であって、前記鉄道軌道の、鉄道車両の進行方向側を撮像し、前記鉄道軌道の画像と、当該画像に対応する前記落下物の有無の情報を学習データとして取り込み、前記落下物及び前記落下物の有無に関する特徴データを作成、保持する機械学習器により、撮像された画像を基にした画像を解析し、前記落下物を検出する、落下物検出方法を提供する。

本発明によれば、鉄道軌道上の落下物を精度よく検出可能な、落下物検出装置及び落下物検出方法を提供することができる。

本発明の実施形態における落下物検出装置が搭載された鉄道車両の説明図である。 前記実施形態における落下物検出装置のブロック図である。 前記実施形態における撮像装置により撮像された画像の説明図である。 前記実施形態における落下物検出部の、機械学習器のブロック図である。 前記実施形態における落下物検出方法のフローチャートである。 前記実施形態における落下物検出部内の処理のフローチャートである。 前記実施形態に関する実施結果を説明する写真である。 前記実施形態に関する実施結果を説明する写真である。 前記実施形態に関する実施結果を説明する写真である。 前記実施形態に関する実施結果を説明する写真である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態における落下物検出装置は、鉄道車両に設けられて鉄道軌道上の落下物を検出するものであり、鉄道車両の進行方向側に設けられて鉄道軌道を撮像する撮像装置と、撮像装置により撮像された画像を基にした画像を解析し、落下物を検出する落下物検出部と、を備え、鉄道軌道の画像と、この画像に対応する落下物の有無の情報を学習データとして取り込み、落下物及び落下物の有無に関する特徴データを作成、保持する機械学習器により、落下物を検出する。

図１は、実施形態における落下物検出装置が搭載された鉄道車両の説明図である。本実施形態における鉄道車両１は、貨物や乗客を搬送する営業車両が走行する前に、点検のために走行させる点検車両であり、後述の落下物検出装置はこの点検車両に設けられている。
鉄道車両１は、鉄道軌道５上を走行するように設けられている。鉄道軌道５は、道床、本実施形態においてはバラスト６と、バラスト６上に設けられた枕木７、及び枕木７上に設けられたレール８を備えている。
鉄道車両１は、進行方向Ｆを照射する照明２を備えている。

鉄道車両１は、鉄道軌道５上の落下物９を検出する落下物検出装置１０を備えている。
本実施形態において、落下物９は、例えば、鉄道軌道５近辺で夜間に作業に当たる作業員が置き忘れた、スパナやボルト等の工具や部材である。
落下物検出装置１０は、互いに通信可能に設けられた、撮像装置１１と、制御端末１２を備えている。

撮像装置１１は、鉄道車両１の進行方向Ｆ側に設けられて、鉄道軌道５を撮像し、図３を用いて後に説明するような撮像画像（撮像装置１１により撮像された画像）３０を生成する。
撮像装置１１による撮像対象を、鉄道車両１から進行方向Ｆに向かってどれくらいの距離とするかは、鉄道車両１の走行速度に応じて、例えば落下物検出装置１０により落下物９を検出した際に鉄道車両１が落下物９の手前で安全に停止できるような距離に設定すればよい。
撮像装置１１は、撮像画像３０を制御端末１２へと送信する。

図２は、落下物検出装置１０のブロック図である。落下物検出装置１０は、制御端末１２内に、入力画像生成部１３、落下物検出部１４、データ処理部１５、及び事前学習部２０を備えている。落下物検出装置１０はまた、警報器１６と表示装置１７を備えている。

入力画像生成部１３は、撮像装置１１が生成した撮像画像３０を受信する。
入力画像生成部１３は、撮像画像３０を部分的に切り出して、複数の入力画像（撮像装置１１により撮像された画像３０を基にした画像）を生成する。
図３は、撮像画像３０と入力画像３１の関係を示す説明図である。入力画像３１は、次に説明する落下物検出部１４へと渡されて、落下物検出部１４への入力とされる画像である。落下物検出部１４は、本実施形態においては、後述するように例えば２２７×２２７の、所定の大きさの解像度を備えたＲＧＢ画像を入力としている。このため、入力画像生成部１３は、撮像画像３０をこの所定の大きさに切り出す。

この、撮像画像３０からの入力画像３１の切り出しは、例えば次のように行われる。
まず、撮像画像３０から画像処理により大まかな鉄道軌道５の場所を抽出する。この抽出された鉄道軌道近傍領域３２の近傍で、最も左上に位置する基点画素３３を決定し、この基点画素３３を基点として右方向かつ下方向に所定の大きさの画素範囲３４を定め、この画素範囲３４を入力画像３１として切り出す。
次に、この画素範囲３４を右方向に所定の解像度数だけ移動させ、移動後の画素範囲３４を次の入力画像３１として切り出す。この、画素範囲３４の右方向への移動と入力画像３１の切り出しを繰り返す。
画素範囲３４が鉄道軌道近傍領域３２の右端を超えて、例えば図３に３４Ａとして示される位置に移動した際には、この画素範囲３４を入力画像３１として切り出した後に、所定の解像度数だけ下方の水平位置において、鉄道軌道近傍領域３２の左端の位置３４Ｂから画素範囲３４の右方向への移動と入力画像３１の切り出しを繰り返す。

このような処理を繰り返し、入力画像生成部１３は、撮像画像３０から複数の入力画像３１を切り出し、生成する。
入力画像生成部１３は、生成した入力画像３１を随時、落下物検出部１４へ送信する。
また、入力画像生成部１３は、撮像画像３０をデータ処理部１５へ送信する。

落下物検出部１４は、入力画像生成部１３から入力画像３１を受信する。
落下物検出部１４は、入力画像３１を解析し、落下物９を検出する。より詳細には、落下物検出部１４は、鉄道軌道５の画像と、その画像に対応する落下物９の有無の情報を学習データとして取り込み、落下物９及び落下物９の有無に関する特徴データを作成、保持する機械学習器により、落下物９を検出する。

落下物検出部１４の機械学習器は、事前学習部２０により、鉄道車両１に搭載されて実際に落下物９を検出する処理を実行する前に、事前に機械学習されている。事前学習部２０は、画像データベース２１と機械学習部２２を備えている。

画像データベース２１には、多数の学習データが格納されている。学習データは、学習画像と、当該学習画像における落下物９の存在情報が対応付けられたものである。学習画像としては、様々な鉄道軌道５の画像が用いられている。鉄道軌道５上に落下物９が落ちていない学習画像においては、落下物９が存在しない旨の情報が対応付けられている。また、鉄道軌道５上に落下物９が落ちている学習画像においては、落下物９が存在する旨の情報が対応付けられている。学習画像は、入力画像３１と同じ、例えば２２７×２２７の、所定の大きさの解像度を備えている。

機械学習部２２は、画像データベース２１内の学習データを用いて、機械学習器を機械学習する。図４に、落下物検出部１４の機械学習器４０のブロック図を示す。本実施形態においては、機械学習器４０は、第１〜第５畳み込み層４１、４２、４３、４４、４５と、第１〜第３全結合層４６、４７、４８を備えた畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下ＣＮＮと記載する）により実現されている。

まず、機械学習器４０の機械学習について説明する。学習時には、機械学習器４０の第１畳み込み層４１に、学習画像４９が入力される。
第１畳み込み層４１においては、畳み込みフィルタ処理、正規化処理、及びプーリング処理が順次実行される。

第１畳み込み層４１は、所定の数の第１フィルタ４１ｆを備えている。機械学習器４０は、各第１フィルタ４１ｆに対し、これを学習画像４９上に位置付け、第１フィルタ４１ｆ内の学習画像４９の各画素の画素値に対して、第１フィルタ４１ｆ内に画素位置に対応して設定された重みを付けて和を計算することで、畳み込みフィルタ処理を実行する。これにより、１つの画素の画素値が演算される。機械学習器４０は、第１フィルタ４１ｆを学習画像４９上で所定の解像度刻みで移動させつつ、このような畳み込みフィルタ処理を実行することで複数の画素値を演算し、これを並べて、第１フィルタ４１ｆに対応した１枚の画像を生成する。この画像は、適用された第１フィルタ４１ｆによって第１フィルタ４１ｆに対応した特徴が抽出されたものであるため、第１特徴マップ４１ｍと呼称する。
機械学習器４０は、この処理を、全ての第１フィルタ４１ｆに対して実行し、第１フィルタ４１ｆの数に応じた第１特徴マップ４１ｍを生成する。

本実施形態においては、第１フィルタ４１ｆの各々は、例えば１１×１１の画素数の、Ｒ、Ｇ、Ｂの各々のチャンネルに対応する３枚のフィルタの集合である。すなわち、より具体的には、第１畳み込み層４１で生成された第１特徴マップ４１ｍ上の任意の１画素は、学習画像４９の１１×１１のある領域に対応する。この１１×１１の画像領域は、Ｒ、Ｇ、Ｂの３つのチャンネルに対応した数が存在するため、この第１特徴マップ４１ｍ上の１つの画素の画素値は、１１×１１×３＝３６３個の学習画像４９上の画素の画素値に対する重み付き和となっている。
本実施形態においては、第１フィルタ４１ｆを学習画像４９上で例えば４画素の移動幅で移動させることにより、例えば５５×５５の画素数の、１枚の第１特徴マップ４１ｍが生成される。
本実施形態においては、例えば９６個の第１フィルタ４１ｆを備えており、この第１フィルタ４１ｆの各々により畳み込みフィルタ処理が実行されるため、計９６枚の第１特徴マップ４１ｍが生成される。

第１フィルタ４１ｆは、実際には、学習画像４９の画素値の強調や平滑化等を重みとして表現したものである。このような第１フィルタ４１ｆを用いて畳み込みフィルタ処理を実行して生成された第１特徴マップ４１ｍにおいては、エッジ特徴等の画像の濃淡パターンが効果的に抽出されている。また、学習画像４９の局所的な領域から第１フィルタ４１ｆを通して特徴を抽出するため、学習画像４９内に存在する物体の位置のずれに対して頑健となる。
各第１フィルタ４１ｆの重みは、機械学習により調整される。

次に、第１畳み込み層４１において、正規化処理が実行される。畳み込みフィルタ処理において生成された各第１特徴マップ４１ｍの画素値は、一定の範囲内に偏っている場合がある。例えば、画素値が０〜２５５の値をとり得る場合において、第１特徴マップ４１ｍの画素値が例えば１００〜１２０等の一定の範囲内に偏っている場合、この範囲を０〜２５５の範囲に正規化して広げる処理を行う。この正規化処理により、第１特徴マップ４１ｍの画素値をより広い範囲に分散させて、濃淡変化を強調することで、続くプーリング処理において効果的な特徴抽出が可能となる。

第１畳み込み層４１において、正規化処理の後に、プーリング処理が実行される。より詳細には、正規化された各第１特徴マップ４１ｍを２×２の小領域に区切り、各小領域に対して当該小領域内の画素値の最大値を算出して、１つの画素の画素値とすることで、各第１特徴マップ４１ｍの２×２の小領域の各々を１×１の画素へと変換し、情報を縮約させる。すなわち、本実施形態においては、プーリング処理は最大プーリング処理である。プーリング処理は、上記のように、正規化された各第１特徴マップ４１ｍの局所領域から最大の画素値を選択するため、画像に特化された適切な特徴のみを残すことが可能であり、以降の処理を効率的に行うことができる。

第１畳み込み層４１において生成された、プーリング処理された第１特徴マップ４１ｍは、第２畳み込み層４２の入力画像となる。

第２畳み込み層４２においては、第１畳み込み層４１と同様に、畳み込みフィルタ処理、正規化処理、及びプーリング処理が順次実行される。
第２畳み込み層４２は、第１畳み込み層４１と同様に、所定の数の第２フィルタ４２ｆを備えており、これらを用いて畳み込みフィルタ処理を実行することで、第２フィルタ４２ｆの数に応じた所定の数の第２特徴マップ４２ｍを生成する。

本実施形態においては、第２フィルタ４２ｆの各々は、例えば５×５の画素数の、プーリング処理された第１特徴マップ４１ｍの枚数に対応する９６枚のフィルタの集合である。すなわち、より具体的には、第２畳み込み層４２で生成された第２特徴マップ４２ｍ上の任意の１画素は、プーリング処理された第１特徴マップ４１ｍの５×５のある領域に対応する。この５×５の画像領域は、プーリング処理された第１特徴マップ４１ｍの枚数に対応した数が存在するため、この第２特徴マップ４２ｍ上の１つの画素の画素値は、５×５×９６＝２４００個のプーリング処理された第１特徴マップ４１ｍ上の画素の画素値に対する重み付き和となっている。
本実施形態においては、第２フィルタ４２ｆを、互いに重ねられた、プーリング処理された第１特徴マップ４１ｍ上で、例えば１画素の移動幅で移動させることにより、例えば２７×２７の画素数の、１枚の第２特徴マップ４２ｍが生成される。
本実施形態においては、例えば２５６個の第２フィルタ４２ｆを備えており、この第２フィルタ４２ｆの各々により畳み込みフィルタ処理が実行されるため、計２５６枚の第２特徴マップ４２ｍが生成される。

続いて、第２畳み込み層４２において、第１畳み込み層４１と同様に、正規化処理とプーリング処理が実行され、プーリング処理された第２特徴マップ４２ｍが生成されて、第３畳み込み層４３の入力画像となる。

第３畳み込み層４３においては、畳み込みフィルタ処理のみが実行される。
第３畳み込み層４３は、第１及び第２畳み込み層４１、４２と同様に、所定の数の第３フィルタ４３ｆを備えており、これらを用いて畳み込みフィルタ処理を実行することで、第３フィルタ４３ｆの数に応じた所定の数の第３特徴マップ４３ｍを生成する。

本実施形態においては、第３フィルタ４３ｆの各々は、例えば３×３の画素数の、プーリング処理された第２特徴マップ４２ｍの枚数に対応する２５６枚のフィルタの集合である。第３フィルタ４３ｆを、互いに重ねられた、プーリング処理された第２特徴マップ４２ｍ上で、例えば１画素の移動幅で移動させることにより、例えば１３×１３の画素数の、１枚の第３特徴マップ４３ｍが生成される。
本実施形態においては、例えば３８４個の第３フィルタ４３ｆを備えており、この第３フィルタ４３ｆの各々により畳み込みフィルタ処理が実行されるため、計３８４枚の第３特徴マップ４３ｍが生成される。
第３特徴マップ４３ｍは、第４畳み込み層４４の入力画像となる。

第４畳み込み層４４は、第３畳み込み層４３と同様に、所定の数の、例えば３８４個の第４フィルタ４４ｆにより、畳み込みフィルタ処理を実行することで、所定の数の、例えば３８４枚の第４特徴マップ４４ｍを生成する。本実施形態においては、第４フィルタ４４ｆの各々は、例えば３×３の画素数の、第３特徴マップ４３ｍの枚数に対応する３８４枚のフィルタの集合であり、各第４フィルタ４４ｆを、互いに重ねられた第３特徴マップ４３ｍ上で、例えば１画素の移動幅で移動させることで、対応する第４特徴マップ４４ｍが生成される。
第４特徴マップ４４ｍは、第５畳み込み層４５の入力画像となる。

第５畳み込み層４５は、第４畳み込み層４４と同様に、所定の数の、例えば２５６個の第５フィルタ４５ｆにより、畳み込みフィルタ処理を実行することで、所定の数の、例えば２５６枚の第５特徴マップ４５ｍを生成する。本実施形態においては、第５フィルタ４５ｆの各々は、例えば３×３の画素数の、第４特徴マップ４４ｍの枚数に対応する３８４枚のフィルタの集合であり、各第５フィルタ４５ｆを、互いに重ねられた第４特徴マップ４４ｍ上で、例えば１画素の移動幅で移動させることで、対応する第５特徴マップ４５ｍが生成される。

第５畳み込み層４５においては、更に、プーリング処理が行われ、畳み込みフィルタ処理において生成された全ての第５特徴マップ４５ｍの画素値の情報、すなわち、例えば１３×１３×２５６個の情報が、例えば４０９６個の画素値情報へと縮約される。
プーリング処理された第５特徴マップ４５ｍ、すなわち例えば４０９６個の画素値情報は、第１全結合層４６への入力となる。

第１全結合層４６は、所定の数の、例えば４０９６個のノード４６ｎを備えている。各ノード４６ｎは、プーリング処理された第５特徴マップ４５ｍの全ての画素値と結合しており、層間に結合荷重を備えている。第１全結合層４６においては、この結合荷重に基づいて、プーリング処理された第５特徴マップ４５ｍの各画素値情報に対して重み付け和を演算し、その結果にＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅｒ Ｕｎｉｔ）等の出力関数を適用した値が、各ノード４６ｎに格納される。

第２全結合層４７も、第１全結合層４６と同様に、所定の数の、例えば４０９６個のノード４７ｎを備えている。各ノード４７ｎは、第１全結合層４６の全てのノード４６ｎと結合しており、層間に結合荷重を備えている。第２全結合層４７においては、この結合荷重に基づいて、ノード４６ｎに対して重み付け和を演算し、その結果に出力関数を適用した値が、各ノード４７ｎに格納される。

第３全結合層４８は出力層である。本実施形態における機械学習器４０は、落下物の有無を判定する２クラス識別を行うものである。このため、第３全結合層４８は、第１出力ノード４８ａと第２出力ノード４８ｂの２つのノードを備えた構成となっている。
第１及び第２出力ノード４８ａ、４８ｂは、第２全結合層４７の全てのノード４７ｎと結合しており、層間に結合荷重を備えている。第３全結合層４８においては、この結合荷重に基づいて、ノード４７ｎに対して重み付け和を演算し、その結果に出力関数を適用した値が、第１及び第２出力ノード４８ａ、４８ｂに格納される。

機械学習器４０においては、第１畳み込み層４１に入力された学習画像４９が、上記のような第１〜第５畳み込み層４１、４２、４３、４４、４５と、第１〜第３全結合層４６、４７、４８において処理され、第１及び第２出力ノード４８ａ、４８ｂに処理結果が格納される。
本実施形態においては、落下物９が無い場合に第１出力ノード４８ａの値が所定の第１判定値、例えば１に近く、第２出力ノード４８ｂの値が所定の第２判定値、例えば０に近い値となるように、なおかつ、落下物９が有る場合に第１出力ノード４８ａの値が第２判定値に近く、第２出力ノード４８ｂの値が第１判定値に近い値となるように、設計されている。

この場合には、機械学習器４０に入力された学習画像４９に対応する落下物９の存在情報が、機械学習器４０に学習させる際の正解値として使用される。すなわち、学習画像４９が落下物９の無い画像である場合には、第１出力ノード４８ａの値と第１判定値及び第２出力ノード４８ｂの値と第２判定値の各々の２乗誤差を、落下物９の有る画像である場合には、第１出力ノード４８ａの値と第２判定値及び第２出力ノード４８ｂの値と第１判定値の各々の２乗誤差を、コスト関数とする。
その上で、このコスト関数を小さくするように、誤差逆伝搬法等により、第１〜第５畳み込み層４１、４２、４３、４４、４５の各第１〜第５フィルタ４１ｆ、４２ｆ、４３ｆ、４４ｆ、４５ｆの重みの値、及び、第１〜第３全結合層４６、４７、４８の各結合荷重の値を調整することで、機械学習器４０が機械学習される。これらの、各第１〜第５フィルタ４１ｆ、４２ｆ、４３ｆ、４４ｆ、４５ｆの重みの値、及び、第１〜第３全結合層４６、４７、４８の各結合荷重の値が、落下物及び落下物の有無に関する特徴データとなる。

上記の説明においては、鉄道軌道５上に落下物９が落ちている学習画像と、それに対応する落下物９の存在情報が組み合わされた学習データにより、機械学習器４０全体を学習するように説明した。しかし、実際には、精度の上で問題がなければ、鉄道の分野に限られない様々な画像を用いて、まず第１〜第５畳み込み層４１、４２、４３、４４、４５を学習し、後に、鉄道軌道５の学習画像及び鉄道軌道５上に落下物９が存在する学習画像を用いて、第１〜第３全結合層４６、４７、４８を学習してもよい。
機械学習器４０の中で、第１〜第３全結合層４６、４７、４８は、第１全結合層４６の入力となるプーリング処理された第５特徴マップ４５ｍから、落下物９の有無を判定する２クラス分類のための特徴データを保持し、これに基づいて特徴を抽出するものである。
第１〜第５畳み込み層４１、４２、４３、４４、４５も、同様に落下物９及び落下物９の有無に関する特徴データを保持するものではあるが、これらにおいては特に、落下物９のエッジや濃淡パターン等の、画像としての特徴を、より抽出する部分である。このため、精度の上で問題がなければ、第１〜第５畳み込み層４１、４２、４３、４４、４５を、鉄道の分野に限られない、一般に広く用いられている様々な画像を入力として機械学習してもよい。この場合においては、鉄道軌道５の学習画像及び鉄道軌道５上に落下物９が落ちている学習画像の数を低減し、学習を比較的容易に行うことができる。

上記のように事前学習部２０によって機械学習された、第１〜第５畳み込み層４１、４２、４３、４４、４５の各第１〜第５フィルタ４１ｆ、４２ｆ、４３ｆ、４４ｆ、４５ｆの重みの値、及び、第１〜第３全結合層４６、４７、４８の各結合荷重の値をはじめとした構成は、落下物検出部１４内に格納されている。
落下物検出部１４は、実際に鉄道車両１に搭載されて落下物９を検出する処理の際には、上記の第１〜第５畳み込み層４１、４２、４３、４４、４５、及び第１〜第３全結合層４６、４７、４８の各処理を、学習時と同様に実行する。

すなわち、撮像画像３０から切り出された入力画像３１が第１畳み込み層４１に入力されると、第１畳み込み層４１は畳み込みフィルタ処理、正規化処理、及びプーリング処理を順次実行する。続いて、第２畳み込み層４２が畳み込みフィルタ処理、正規化処理、及びプーリング処理を、第３畳み込み層４３が畳み込みフィルタ処理を、第４畳み込み層４４が畳み込みフィルタ処理を、及び第５畳み込み層４５が畳み込みフィルタ処理とプーリング処理を、それぞれ実行して、プーリング処理された第５特徴マップ４５ｍを生成する。
更に、このプーリング処理された第５特徴マップ４５ｍを入力として、第１〜第３全結合層４６、４７、４８の各々において重み付け和を演算する処理を実行し、最終的に第１及び第２出力ノード４８ａ、４８ｂに処理結果が格納される。

落下物検出部１４は、第１出力ノード４８ａが第１判定値に近い場合に、落下物９が無いと判断し、第２出力ノード４８ｂが第１判定値に近い場合に、落下物９が有ると判断する。
落下物検出部１４は、判断結果すなわち落下物９の検出結果と、その際に入力された入力画像３１とを対応させて、落下物情報として、データ処理部１５へ送信する。

データ処理部１５は、入力画像生成部１３から撮像画像３０を受信する。
また、データ処理部１５は、落下物検出部１４から、入力画像３１と落下物９の検出結果である落下物情報を受信する。
データ処理部１５は、撮像画像３０と入力画像３１を随時保存すると同時に、表示装置１７に撮像画像３０を表示する。

また、データ処理部１５は、落下物９の検出結果において、落下物９が有ると検出された場合には、警報器１６により鉄道車両１の搭乗員に落下物９の検出を通知する。
同時に、データ処理部１５は、表示装置１７に表示された撮像画像３０において、落下物情報内の入力画像３１に対応する部分を、例えば枠で囲う等により強調表示し、落下物９の場所を明示的に搭乗員に知らせる。

次に、図１〜図４、及び図５、図６を用いて、上記の落下物検出装置１０による落下物検出方法を説明する。図５は、落下物検出方法のフローチャートである。また、図６は、機械学習器４０の学習時のフローチャートであるとともに、落下物検出部１４内の処理のフローチャートである。
本落下物検出方法は、鉄道軌道上の落下物を検出するものであり、鉄道軌道の、鉄道車両の進行方向側を撮像し、鉄道軌道の画像と、画像に対応する落下物の有無の情報を学習データとして取り込み、落下物及び落下物の有無に関する特徴データを作成、保持する機械学習器により、撮像された画像を基にした画像を解析し、落下物を検出する。

まず、図６に示すように、事前学習部２０により、落下物検出部１４の機械学習器４０を機械学習する。
学習処理が開始されると（ステップＳ２０）、入力された学習画像に対し、第１畳み込み層４１が、畳み込みフィルタ処理、正規化処理、及びプーリング処理を順次実行し、プーリング処理された第１特徴マップ４１ｍを生成する（ステップＳ２２）。
第２畳み込み層４２は、プーリング処理された第１特徴マップ４１ｍに対し、畳み込みフィルタ処理、正規化処理、及びプーリング処理を順次実行し、プーリング処理された第２特徴マップ４２ｍを生成する（ステップＳ２４）。
第３畳み込み層４３は、プーリング処理された第２特徴マップ４２ｍに対し、畳み込みフィルタ処理を実行し、第３特徴マップ４３ｍを生成する（ステップＳ２６）。
第４畳み込み層４４は、第３特徴マップ４３ｍに対し、畳み込みフィルタ処理を実行し、第４特徴マップ４４ｍを生成する（ステップＳ２８）。
第５畳み込み層４５は、第４特徴マップ４４ｍに対し、畳み込みフィルタ処理とプーリング処理を実行し、プーリング処理された第５特徴マップ４５ｍ、すなわち例えば４０９６個の画素値情報を生成する（ステップＳ３０）。

第１全結合層４６は、プーリング処理された第５特徴マップ４５ｍの各画素値情報に対して重み付け和を演算し、その結果に出力関数を適用して、各ノード４６ｎに格納する（ステップＳ３２）。
第２全結合層４７は、ノード４６ｎに対して重み付け和を演算し、その結果に出力関数を適用して、各ノード４７ｎに格納する（ステップＳ３４）。
第３全結合層４８は、ノード４７ｎに対して重み付け和を演算し、その結果に出力関数を適用して、第１及び第２出力ノード４８ａ、４８ｂに格納する（ステップＳ３６）。

本実施形態においては、学習画像４９が落下物９の無い画像である場合には、第１出力ノード４８ａの値と第１判定値及び第２出力ノード４８ｂの値と第２判定値の各々の２乗誤差が、落下物９の有る画像である場合には、第１出力ノード４８ａの値と第２判定値及び第２出力ノード４８ｂの値と第１判定値の各々の２乗誤差が、コスト関数となる。
このコスト関数を小さくするように、誤差逆伝搬法等により、第１〜第５畳み込み層４１、４２、４３、４４、４５の各第１〜第５フィルタ４１ｆ、４２ｆ、４３ｆ、４４ｆ、４５ｆの重みの値、及び、第１〜第３全結合層４６、４７、４８の各結合荷重の値を調整することで、機械学習器４０を機械学習する。

上記のように機械学習が終了すると（ステップＳ３８）、機械学習された機械学習器４０の構成を、落下物検出部１４内に格納する。
その後、落下物検出装置１０を鉄道車両１に搭載し、鉄道車両１を走行させつつ、落下物検出装置１０による落下物９の検出を開始する（図５のステップＳ０）。

撮像装置１１は、鉄道軌道５を撮像し、撮像画像３０を生成する（ステップＳ２）。撮像装置１１は、撮像画像３０を入力画像生成部１３へ送信する。
入力画像生成部１３は、撮像装置１１から撮像画像３０を受信し、撮像画像３０を部分的に切り出して、複数の入力画像３１を生成する（ステップＳ４）。
入力画像生成部１３は、入力画像３１を落下物検出部１４へ送信する。
また、入力画像生成部１３は、撮像画像３０をデータ処理部１５へ送信する。

落下物検出部１４は、入力画像３１を受信して、落下物を検出する（ステップＳ６）。
すなわち、入力画像３１が第１畳み込み層４１に入力されると、第１畳み込み層４１は畳み込みフィルタ処理、正規化処理、及びプーリング処理を順次実行する（ステップＳ２２）。続いて、第２畳み込み層４２が畳み込みフィルタ処理、正規化処理、及びプーリング処理を、第３畳み込み層４３が畳み込みフィルタ処理を、第４畳み込み層４４が畳み込みフィルタ処理を、及び第５畳み込み層４５が畳み込みフィルタ処理とプーリング処理を、それぞれ実行して、プーリング処理された第５特徴マップ４５ｍを生成する（ステップＳ２４〜Ｓ３０）。
更に、このプーリング処理された第５特徴マップ４５ｍを入力として、第１〜第３全結合層４６、４７、４８の各々において重み付け和を演算する処理を実行し、最終的に第１及び第２出力ノード４８ａ、４８ｂに処理結果を格納する（ステップＳ３２〜Ｓ３６）。

落下物検出部１４は、第１出力ノード４８ａが第１判定値に近い場合に、落下物９が無いと判断し、第２出力ノード４８ｂが第１判定値に近い場合に、落下物９が有ると判断する。
落下物検出部１４は、判断結果すなわち落下物９の検出結果と、その際に入力された入力画像３１とを対応させて、落下物情報として、データ処理部１５へ送信する。

データ処理部１５は、入力画像生成部１３から撮像画像３０を受信する。
また、データ処理部１５は、落下物検出部１４から、入力画像３１と落下物９の検出結果である落下物情報を受信する。
データ処理部１５は、撮像画像３０と入力画像３１を随時保存すると同時に、表示装置１７に撮像画像３０を表示する。

また、データ処理部１５は、落下物情報を基に、落下物検出部１４が落下物９を検出したか否かを判定する（ステップＳ８）。
落下物９が有ると検出された場合には（ステップＳ８のＹｅｓ）、警報器１６により鉄道車両１の搭乗員に落下物９の検出を通知する（ステップＳ１０）。
同時に、データ処理部１５は、表示装置１７に表示された撮像画像３０において、落下物情報内の入力画像３１に対応する部分を、例えば枠で囲う等により強調表示し、落下物９の場所を明示的に搭乗員に知らせる。

落下物９が無いと判断された場合（ステップＳ８のＮｏ）、及び、落下物９が有ると判断されて搭乗員へ通知された後（ステップＳ１０）には、撮像画像３０に対して切り出される全ての入力画像３１に対する落下物９の検出処理が終了したか否かを判断する（ステップＳ１２）。
撮像画像３０に対して未処理の部分が残っている場合においては（ステップＳ１２のＮｏ）、当該部分を入力画像３１として切り出す処理へと移行する（ステップＳ４へ遷移）。
撮像画像３０に対して未処理の部分が残っていない場合においては（ステップＳ１２のＹｅｓ）、次の撮像画像３０に対する処理へと移行する（ステップＳ２へ遷移）。

次に、上記の落下物検出装置及び落下物検出方法の効果について説明する。

本実施形態の落下物検出装置１０においては、鉄道車両１に設けられて鉄道軌道５上の落下物９を検出するものであって、鉄道車両１の進行方向Ｆ側に設けられて鉄道軌道５を撮像する撮像装置１１と、撮像装置１１により撮像された画像３０を基にした画像３１を解析し、落下物９を検出する落下物検出部１４と、を備え、鉄道軌道５の画像と、画像に対応する落下物の有無の情報を学習データとして取り込み、落下物９及び落下物９の有無に関する特徴データを作成、保持する機械学習器４０により、落下物９を検出する。
上記のような構成によれば、鉄道軌道５の画像と、画像に対応する落下物の有無の情報を学習データとして取り込み、落下物９及び落下物９の有無に関する特徴データを作成、保持するように機械学習されているため、機械学習器４０は入力画像３１がこの特徴データに合致するか否かで落下物９を検出可能である。
すなわち、従来の画像処理等による、見本画像との比較により落下物９を検出する場合に比べると、画像の表面的な情報だけでなく、これを抽象化した特徴により落下物９を検出するため、落下物９の角度、大きさ、色、及び、天候や時刻に依存した明度により受ける影響等を抑制可能である。また、抽象化した特徴により落下物９を検出するため、機械学習時に画像として入力されていない種類の落下物９であっても、これを検出できる可能性が高くなる。
これにより、鉄道軌道５上の落下物９を精度よく検出可能である。

また、機械学習器４０は、ＣＮＮにより実現されている
また、撮像装置４０により撮像された画像３０を部分的に切り出して、撮像装置１１により撮像された画像３０を基にした画像３１を生成し、落下物検出部１４へ送信する、入力画像生成部１３を備えている
上記のような構成によれば、落下物検出装置１０を適切に実現可能である。

また、落下物検出部１４が落下物９を検出した際に、鉄道車両１の搭乗員へ落下物９の検出を通知する警報器１６を備えている。
上記のような構成によれば、落下物９を検出した際に搭乗員への通知が可能となるため、鉄道車両１の迅速な停止が可能となる。

また、撮像装置１１により撮像された画像３０を表示する表示装置１７を備えている。
上記のような構成によれば、落下物９の検出状況を視認することが可能となる。

［実施結果］
次に、上記実施形態における落下物検出装置１０を使用した実施結果を説明する。
図７（ａ）は、バラスト６のみを撮像した入力画像３１である。図７（ｂ）、（ｃ）は、それぞれ、バラスト６上に落下物９が異なる態様で位置している場合の入力画像３１である。
図８、図９、図１０は、それぞれ、図７（ａ）、（ｂ）、（ｃ）を機械学習された機械学習器４０へ入力画像３１として入力したときの、第５畳み込み層４５の出力、すなわちプーリング処理された第５特徴マップ４５ｍである。
特に図８と図９、１０を比べると、図９、１０には、落下物９とバラスト６の境界を示すと考えられるエッジや、濃淡パターンが、特徴として表現されていることがわかる。特に、図９と図１０により、落下物９の角度が異なる場合においても、同様な特徴が抽出されていることがわかる。

なお、本発明の落下物検出装置及び落下物検出方法は、図面を参照して説明した上述の実施形態に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。

例えば、上記実施形態においては、落下物検出装置１０は点検車両に設けられていたが、営業車両に設けられていてもよい。

また、上記実施形態においては、例えば図２において落下物検出装置１０は事前学習部２０を含むように説明されているが、機械学習器４０の学習が完了し、実際に鉄道車両１に搭載されて落下物９を検出する時点においては、事前学習部２０は取り外され、削除された構成となっていてもよい。

また、撮像画像３０からの入力画像３１の切り出しは、上記実施形態において説明したものと異なるように行われても構わない。
例えば、精度が損なわれない範囲において、撮像画像３０から、バラスト６とは異なる色合いの部分や、画素値の変化の傾向が他とは異なる部分等を落下物９である可能性が高いとしてフィルタ処理等で抽出し、抽出された部分の近傍のみから入力画像３１を切り出すようにしても構わない。

また、上記実施形態においては、学習画像４９をそのまま機械学習器４０の第１畳み込み層４１へと入力したが、これに限られない。例えば、学習画像４９に対して回転、拡大縮小、明度の変更等の様々な処理を施し、１つの学習画像４９から多くの種類の学習画像４９を生成させ、これらを第１畳み込み層４１に入力してもよい。このように学習データを増やすことにより、効果的な学習が可能となる。

また、上記実施形態において説明した、ＣＮＮの構成は、上記の説明に限られない。例えば、各畳み込み層におけるフィルタの大きさ、フィルタの数、フィルタの移動幅等は、学習が効果的になされる範囲において、適宜変更されて構わない。

これ以外にも、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。

１ 鉄道車両
５ 鉄道軌道
９ 落下物
１０ 落下物検出装置
１１ 撮像装置
１２ 制御端末
１３ 入力画像生成部
１４ 落下物検出部
１５ データ処理部
１６ 警報器
１７ 表示装置
２０ 事前学習部
２１ 画像データベース
２２ 機械学習部
３０ 撮像画像（撮像装置により撮像された画像）
３１ 入力画像（撮像装置により撮像された画像を基にした画像）
４０ 機械学習器
４９ 学習画像
Ｆ 進行方向

Claims (6)

1. 鉄道車両に設けられて鉄道軌道上の落下物を検出する、落下物検出装置であって、
   前記鉄道車両の進行方向側に設けられて前記鉄道軌道を撮像する撮像装置と、
   当該撮像装置により撮像された画像を基にした画像を解析し、前記落下物を検出する落下物検出部と、
   を備え、
   前記鉄道軌道の画像と、当該画像に対応する前記落下物の有無の情報を学習データとして取り込み、前記落下物及び前記落下物の有無に関する特徴データを作成、保持する機械学習器により、前記落下物を検出する、落下物検出装置。
2. 前記機械学習器は、畳み込みニューラルネットワークにより実現されている、請求項１に記載の落下物検出装置。
3. 前記撮像装置により撮像された前記画像を部分的に切り出して、当該撮像装置により撮像された前記画像を基にした前記画像を生成し、前記落下物検出部へ送信する、入力画像生成部を備えている、請求項１または２に記載の落下物検出装置。
4. 前記落下物検出部が前記落下物を検出した際に、前記鉄道車両の搭乗員へ前記落下物の検出を通知する警報器を備えている、請求項１から３のいずれか一項に記載の落下物検出装置。
5. 前記撮像装置により撮像された前記画像を表示する表示装置を備えている、請求項１から４のいずれか一項に記載の落下物検出装置。
6. 鉄道軌道上の落下物を検出する落下物検出方法であって、
   前記鉄道軌道の、鉄道車両の進行方向側を撮像し、
   前記鉄道軌道の画像と、当該画像に対応する前記落下物の有無の情報を学習データとして取り込み、前記落下物及び前記落下物の有無に関する特徴データを作成、保持する機械学習器により、撮像された画像を基にした画像を解析し、前記落下物を検出する、落下物検出方法。