JP2016168937A - 画像処理によるハンガー検出装置 - Google Patents

Abstract

【課題】高精度にハンガーを検出することを可能とした画像処理によるハンガー検出装置を提供する。
【解決手段】等間隔に設置されトロリ線を支持するハンガーを車両の屋根上から撮影するラインセンサカメラ２と、車両の内部に設置されラインセンサカメラ２によって得られる画像を解析する画像処理部とを備えて画像中のハンガーを検出する画像処理によるハンガー検出装置において、画像処理部に、ラインセンサカメラ２から入力されるラインセンサ画像に対してラインセンサカメラ２の撮影ライン方向及び時間方向に順次GSTH処理を行って画像中のハンガーを強調したGSTH画像を取得するGSTH処理部３１ａと、GSTH画像からハンガーを検出するハンガー検出部３１ｂとを設ける。
【選択図】図２

Description

本発明は、ハンガーを画像処理によって検出し、電車車両の走行位置やハンガーの角度異常を検出する画像処理によるハンガー検出装置に関する。

まずハンガーを検出する必要性について説明する。
鉄道事業者では、走行中に電車線路を録画し、録画画像から電車の走行位置を特定している。従来、電車の走行位置を特定する技術としてはGPSやATC技術があるが、これらは電車の運行上支障がない程度の精度を有するものの、画像中から電車の走行位置を特定するような場合には、より正確に走行位置を把握することが要求されている。

また、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜を有すると電車の集電特性を劣化させるため、ハンガーの角度を把握することも重要となっている。従来、ハンガーを検出する技術として、下記特許文献１、２が公知となっている。特許文献１は、撮影した画像からテンプレートマッチング処理または鉛直のエッジ検出処理によって、ハンガーを検出する特許である。また特許文献２は、撮影した画像から、Hough変換処理または輝度ヒストグラム処理または２本の直線の交点を検出して、ハンガーを検出する特許である。

特許5402096号公報 特許5402096号公報 特開2013-015336号公報

上記特許文献１、２に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、図８に示すように複数の線条４，５が交差する箇所では、ハンガー６を検出することが難しい。
特許文献１は鉛直のエッジ検出によってハンガーを検出する。一般的なエッジ検出は２pixel間の微分値の大きい箇所をエッジとして検出する。２pixelの局所的な検出は、誤検出が多い課題がある。
特許文献２は、Hough変換でハンガーを検出する特許である。Hough変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを見つけるので、図８のように画像全体に対して小さく写るハンガー６を検出することは難しい。

関連特許として、上記特許文献３がある。これはトロリ線の摩耗を測定する発明で、GSTH処理（図４，５参照）で背景除去を行いトロリ線の摩耗した箇所をロバストに検出する特許である。特許文献３のGSTH処理は、トロリ線の下面の照明光が白く反射することを利用する点に特徴がある。本件の目的とするハンガーには白く反射する箇所は無いので、特許文献３を使用してハンガー検出させることは難しい。

このようなことから本発明は、より高精度にハンガーを検出することを可能とした画像処理によるハンガー検出装置を提供することを目的とする。

上記の課題を解決するための第１の発明に係る画像処理によるハンガー検出装置は、
等間隔に設置されトロリ線を支持するハンガーを車両の屋根上から撮影するラインセンサカメラと、前記車両の内部に設置され前記ラインセンサカメラによって得られる画像を解析する画像処理部とを備えて前記画像中のハンガーを検出する画像処理によるハンガー検出装置であって、
前記画像処理部が、
前記ラインセンサカメラから入力されるラインセンサ画像に対して前記ラインセンサカメラの撮影ライン方向及び時間方向に順次GSTH処理を行って前記画像中の前記ハンガーを強調したGSTH画像を取得するGSTH処理部と、
前記GSTH画像からハンガーを検出するハンガー検出部と
を有することを特徴とする。

また、第２の発明に係る画像処理によるハンガー検出装置は、第１の発明において、
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について収縮処理を行った後膨張処理を行って第一のGSTH画像を取得し、前記ラインセンサ画像と前記第一のGSTH画像との差分を取って差分画像を取得し、前記差分画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した第二のGSTH画像を取得し、
前記ハンガー検出部が、前記第二のGSTH画像から前記ハンガーを検出する
ことを特徴とする。

また、第３の発明に係る画像処理によるハンガー検出装置は、第１の発明において、
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向については収縮処理のみを行ってgsth画像を取得し、前記gsth画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した前記GSTH画像を取得し、
前記ハンガー検出部が、前記GSTH画像から前記ハンガーを検出する
ことを特徴とする。

また、第４の発明に係る画像処理によるハンガー検出装置は、第１から第３のいずれか一つの発明において、
前記GSTH処理部が、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について１ラインずつ、当該撮影ライン方向で主成分の輝度値が淡色の場合は輝度値を反転し主成分の輝度値が濃色の場合は輝度値を反転しない輝度反転処理を行った後、前記GSTH処理を行う
ことを特徴とする。

本発明によれば、画像中に所定の方向で且つ所定の太さより細い直線として存在するハンガーのみを抽出することができるため、設置角度が管理値内にある正常なハンガーのみを高精度に検出することができる。

本発明の実施例１に係る画像処理によるハンガー検出装置の設置例を示す説明図である。 本発明に係る画像処理によるハンガー検出装置の装置構成を示すブロック図である。 GSTH処理を説明するための原画像の例を示す説明図である。 GSTH処理における収縮処理の一例を示す説明図である。 GSTH処理における膨張処理の一例を示す説明図である。 図３に示す原画像をGSTH処理した結果得られる変換画像を示す説明図である。 本発明の実施例１におけるハンガー検出の流れを示すフローチャートである。 ラインセンサ画像の一例を示す模式図である。 図８に示すラインセンサ画像を輝度値反転した画像を示す模式図である。 図９に示す画像をｘ方向に長い領域でGSTH処理した例を示す模式図である。 図９に示す画像と図１０に示す画像との差分をとった画像を示す模式図である。 図１１に示す画像をｙ方向に長い領域でGSTH処理した例を示す模式図である。 本発明の実施例２におけるハンガー検出の流れを示すフローチャートである。

以下、図面を参照しつつ本発明に係る画像処理によるハンガー検出装置について説明するが、本発明は以下の実施例に限定されるものではない。
以下の説明において、GSTH処理と表記する処理は図４に示す収縮処理後図５に示す膨張処理を行うものを示し、gsth処理と表記する処理はGSTH処理を簡略化した処理で、図５に示す膨張処理を行わず、図４に示す収縮処理だけを行うものを示すものとする。

〔GSTH処理を用いたハンガー検出装置：GSTH(A-GSTH(A))〕
図１から図１２を用いて本発明の実施例１に係る画像処理によるハンガー検出装置の詳細を説明する。

図１に示すように、本実施例において画像処理によるハンガー検出装置は、電車車両１の屋根上に設置されたラインセンサカメラ２と、車両１の内部に設置された画像処理部３とを備えている。
また、トロリ線４はちょう架線５に概ね等間隔に設置された複数のハンガー６によって支持されている。

ラインセンサカメラ２は、車両１の屋根上の側方に設置され、その光軸が車両１の進行方向に直交するように、且つ、その視野に一つのハンガー６が収まるように設置角度及び仰角を設定されている。ここで、図１中の一点鎖線は撮影ラインを示している。ラインセンサカメラ２によって取得した図８に示すような画像（以下、ラインセンサ画像という）Ｉは画像処理部３に入力される。
なお、図８に示す例においてラインセンサ画像Ｉには、トロリ線４、ちょう架線５、及び四つのハンガー６が表示されている。

画像処理部３はラインセンサ画像を解析してハンガー６を検出するものであり、演算装置３１と記録装置３２とから構成されている。

図２に示すように、演算装置３１はGSTH処理部３１ａ、ハンガー検出部３１ｂ、及びメモリ３１ｃを備えている。

GSTH処理部３１ａは、記録装置３２からメモリ３１ｃを経て入力されるパラメータとラインセンサカメラ２からメモリ３１ｃを経て入力されたラインセンサ画像Ｉとに基づき、ラインセンサ画像Ｉに対して画像輝度反転処理及びGSTH処理を行う。
ここで、画像輝度反転処理とはラインセンサ画像Ｉに対してｘ方向の１ラインずつ輝度値を反転する処理である。ただし、ｘ方向で主成分の輝度値が濃色の場合は、夜間やトンネルと判定し輝度反転処理は行わないものとする。
また、GSTH処理とはグレイスケール−トップハット処理（Gray Scale-Top Hat処理）であり、その名の通り、グレイスケール画像に対してＴｏｐ Ｈａｔ処理をかけるものである。Ｔｏｐ Ｈａｔ処理とは原画像に対してオープニング画像（同じ回数分収縮→膨張処理した画像）を差し引く処理のことである。

以下に、図３から図６を用いてGSTH処理部３１ａによるGSTH処理について簡単に説明する。GSTH処理は、以下の流れで行う。
（１）図４に示すように、図３に示す原画像１１に対してＮ画素（図３では三画素）の範囲（以下、探索範囲という）Ｓ_D−ｍ（ｍ＝１〜Ｍ）をずらしながらそれぞれ最も暗い画素の輝度値を別バッファ（収縮処理バッファ）１２−ｍに書き込む収縮処理を行い、収縮処理画像１２（１２−Ｍ）を作成する。
（２）続いて、図５に示すように、収縮処理画像１２に対してＮ画素（本実施例では三画素）の範囲（以下、探索範囲）Ｓ_L−ｍをずらしながらそれぞれ最も明るい画素の輝度値を別バッファ（膨張処理バッファ）１３−ｍに書き込む膨張処理を行い、オープニング画像１３（１３−Ｍ）を作成する。
（３）続いて、原画像１１から（２）で作成したオープニング画像１３（１３−Ｍ）を差し引く。
以上の処理を行うことで、図６に示すように画像内の暗い部分に囲まれた明るい画素を強調したGSTH画像１４が得られる。

GSTH処理部３１ａにおいて画像輝度反転処理後、GSTH処理が施されたラインセンサ画像（変換画像）はメモリ３１ｃを経てハンガー検出部３１ｂへ入力される。

ハンガー検出部３１ｂは、記録装置３２からメモリ３１ｃを経て入力されるパラメータとGSTH処理部３１ａからメモリ３１ｃを経て入力される変換画像とに基づいて、二値化処理等によりハンガー６を検出する。
ここで、架設されているハンガー６は所定の等間隔（距離）で設置されているので、検出したハンガー６の数を計数することにより画像中の位置を把握することができる。
また、図１２に示すように、本実施例では鉛直に設置されたハンガー６のみを検出し、傾斜したハンガー６は検出されない。また電柱間のハンガー６の数は、予め設備データとして管理されている。したがって別途電柱検出信号と連動させることで、電柱ごとのハンガー６の本数が少ない場合は、異常角度のハンガー６として検出できる。
ハンガー検出部３１ｂによって検出したハンガー６の情報は、ハンガ検出結果としてメモリ３１ｃへ出力される。

メモリ３１ｃは各種データを一時的に保管する。記録装置３２には各種データが保存される。なお、上述したパラメータは、探索範囲を設定するための画素数Ｎ、ＧＳＴＨ処理を行う際に必要となるピクセル数ｗ，ｈや、二値化しきい値等である。

以下、図７に基づいて本実施例に係る画像処理によるハンガー検出装置における処理の流れを説明する。

図７に示すように、本実施例に係る画像処理によるハンガー検出装置においては、まずラインセンサカメラ２から図８に一例を示すようなラインセンサ画像Ｉを入力する（ステップＳ１）。なお、図８に示すｘ方向は、図１におけるラインセンサカメラ２の撮影ラインに対応する。また、図８に示すｙ方向は、ラインセンサカメラ２で１ラインずつ撮影した時間である。等速走行する車両から撮影した画像は図８のようになる。

続いて、GSTH処理部３１ａにおいてラインセンサ画像Ｉに対して輝度値を反転する処理を行う（ステップＳ２）。これにより、図９に示すような輝度反転画像Ｉ_Aを得る。なお、上述したように輝度反転はラインセンサ画像Ｉのｘ方向の１ラインずつで処理し、ｘ方向で主成分の輝度値が濃色の場合は、夜間やトンネルと判定し輝度反転しないため、図８の上部に示す背景が濃色であるトンネル箇所を、空等の背景が淡色である区間と同化させることができる。

続いて、同じくGSTH処理部３１ａにおいて、図８に示す輝度反転画像Ｉ_Aをｘ方向へGSTH処理する（ステップＳ３）。すなわち、ｘ方向に長いｗ×１[pixel]の領域内で最も暗い画素を取得する図４に示す収縮処理を施し、次に最も明るい画素を取得する図５に示す膨張処理を施す。これによって図１０に示すような白色箇所がｘ方向について幅ｗ以下で抽出された第一のGSTH画像Ｉ_Bを得る。なおｗはトロリ線などの線条の幅に対応しており、実験的に算出する。図１０に示す例では、第一のGSTH画像Ｉ_Bは、輝度反転画像Ｉ_Aに対してハンガー６及び電柱や建物等の外乱７が除去された画像となっている。

続いて、同じくGSTH処理部３１ａにおいて、輝度反転画像Ｉ_Aから第一のGSTH画像Ｉ_Bを差し引いて、図１１に示すような差分画像Ｉ_Cを得る（ステップＳ４）。図１１に示す例では、差分画像Ｉ_Cは、ハンガー６及び電柱や建物等の外乱７が抽出された画像となっている。なお差分処理で負になる領域ができる場合、０以下は０に切り上げるものとする。

続いて、同じくGSTH処理部３１ａにおいて、差分画像Ｉ_Cをｙ方向へGSTH処理する（ステップＳ５）。すなわち、ｙ方向に長い１×ｈ[pixel]の領域内で最も暗い画素を取得する図４に示す収縮処理を施し、次に最も明るい画素を取得する図５に示す膨張処理を施す。これによって図１２に示すように白色箇所が、ｙ方向でかつｈ以下の長さで抽出された画像（以下、第二のGSTH画像）Ｉ_Dを得る。なおｈはハンガー６の直径に対応しており、実験的に算出する。図１２に示す例では、第二のGSTH画像Ｉ_Dは、差分画像ＩＣに対しハンガー６のみが抽出された画像となっている。
第二のGSTH画像Ｉ_Dは変換画像としてメモリ３１ｃを経てハンガー検出部３１ｂへ入力される。

続いて、ハンガー検出部３１ｂにおいて、図１２に示す第二のGSTH画像Ｉ_Dから、二値化処理等を使用してハンガー６を検出する（ステップＳ６）。架設されているハンガー６は所定の等間隔（距離）で設置されているので、検出したハンガー６の数を計数し画像中の位置を把握する。

以上のステップＰ１〜ステップＰ６の処理を全てのラインセンサ画像Ｉの入力が終了するまで行う。

このように構成される本実施例に係る画像処理によるハンガー検出装置では、GSTH処理は図４に示した収縮処理と図５に示した膨張処理を組み合わせて、かつ、ｗ×１[pixel]と１×ｈ[pixel]の領域から直線を求めることで、輝度反転画像Ｉ_A中に写る直線のなかから所定の方向で、かつ所定の太さより細い直線だけを抽出することができる。
そのため、本実施例に係る画像処理によるハンガー検出装置にはGSTHの特徴を生かした次の利点がある。
・所定の方向と所定の太さで写るハンガーだけを検出できる。
・トンネル坑口や電柱７などハンガー６とは異なる特徴を有する外乱を排除しハンガーだけを検出できる。
・本実施例では鉛直方向に設置された正常なハンガー６のみを検出し、設置角度が管理値外の正常でない斜めのハンガーは検出しない。そのため、本実施例で検出したハンガー６の本数と、予め設備データとして管理されている電柱ごとの正常なハンガー６の本数とを比較することで、異常なハンガーを検出することもできる。

〔簡略化したGSTH処理を用いたハンガー検出装置：GSTH(gsth(A))〕
以下、図１から図６及び図８から図１３を用いて本発明の実施例２に係る画像処理によるハンガー検出装置について説明する。本実施例に係る画像処理によるハンガー検出装置は、GSTH処理部３１ｂにおける処理が簡略化されている点が実施例１とは異なる。装置構成については実施例１に係る画像処理によるハンガー検出装置と同様であり、以下、重複する説明は省略し、画像処理部３における処理を中心に説明する。

図１３に基づいて、本実施例に係る画像処理によるハンガー検出装置における処理の流れを説明する。
図１３に示すように、本実施例に係る画像処理によるハンガー検出装置おいては、まずラインセンサカメラ２から図８に一例を示すようなラインセンサ画像Ｉを入力し（ステップＳ１１）、続いて、GSTH処理部３１ａにおいてラインセンサ画像Ｉに対してｘ方向で主成分の輝度値が淡色の撮影ラインについて輝度値を反転する処理を行う（ステップＳ１２）。これにより、図９に示すような輝度反転画像Ｉ_Aを得る。

続いて、同じくGSTH処理部３１ａにおいて、図８に示す輝度反転画像Ｉ_Aをｘ方向へgsth処理する（ステップＳ１３）。すなわち、ｘ方向に長いｗ×１[pixel]の領域内で最も暗い画素を取得する図４に示す収縮処理を施す一方、最も明るい画素を取得する図５に示す膨張処理は実施しない。これによって図１１に示すような白色箇所がｘ方向について幅ｗ以下で抽出されたgsth画像Ｉ_Cを得る。なおｗはトロリ線などの線条の幅に対応しており、実験的に算出する。

続いて、同じくGSTH処理部３１ａにおいて、gsth画像Ｉ_Cをｙ方向へGSTH処理する（ステップＳ１４）。すなわち、ｙ方向に長い１×ｈ[pixel]の領域内で最も暗い画素を取得する図４に示す収縮処理を施し、次に最も明るい画素を取得する図５に示す膨張処理を施す。これによって図１２に示すように白色箇所が、ｙ方向でかつｈ以下の長さで抽出されたGSTH画像Ｉ_Dを得る。なおｈはハンガー６の直径に対応しており、実験的に算出する。
GSTH画像Ｉ_Dは変換画像としてメモリ３１ｃを経てハンガー検出部３１ｂへ入力される。

続いて、ハンガー検出部３１ｂにおいて、図１２に示すGSTH画像Ｉ_Dから、二値化処理等を使用してハンガー６を検出する（ステップＳ１５）。ハンガー６は所定の間隔（距離）で設置されているので、検出したハンガー６を計数することで車両の現在位置を把握し、また、ハンガー６の設置角度には管理値があるので、所定の設置角度かどうかを検査する。

以上のステップＰ１１〜ステップＰ１５の処理を全てのラインセンサ画像Ｉの入力が終了するまで行う。

このように構成される本実施例に係る画像処理によるハンガー検出装置では、輝度反転画像Ｉ_Aをｘ方向へgsth処理する（図４に示した収縮処理のみを実施する）ことにより処理を簡略化しているので、実施例１に比べてハンガー検出処理を高速化できる利点がある。なお、gsth処理を行うことにより、画像上で検出されたハンガー６が短くはなるが、本実施例はハンガー６の有無の判定が目的であるので、検出したハンガー６が短くなっても影響はない。

本発明は、画像処理によるハンガー検出装置に適用して好適なものである。

１ 車両
２ ラインセンサカメラ
３ 画像処理部
４ トロリ線
５ ちょう架線
６ ハンガー
７ 構造物
３１ 演算装置
３１ａ GSTH処理部
３１ｂ ハンガー検出部
３１ｃ メモリ
３２ 記録装置
Ｉ ラインセンサ画像
Ｉ_A 輝度反転画像
Ｉ_B 第一のGSTH画像
Ｉ_C 差分画像，gsth画像
Ｉ_D 第二のGSTH画像，GSTH画像

Claims (4)

1. 等間隔に設置されトロリ線を支持するハンガーを車両の屋根上から撮影するラインセンサカメラと、前記車両の内部に設置され前記ラインセンサカメラによって得られる画像を解析する画像処理部とを備えて前記画像中のハンガーを検出する画像処理によるハンガー検出装置であって、
   前記画像処理部が、
   前記ラインセンサカメラから入力されるラインセンサ画像に対して前記ラインセンサカメラの撮影ライン方向及び時間方向に順次GSTH処理を行って前記画像中の前記ハンガーを強調したGSTH画像を取得するGSTH処理部と、
   前記GSTH画像からハンガーを検出するハンガー検出部と
   を有することを特徴とする画像処理によるハンガー検出装置。
2. 前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について収縮処理を行った後膨張処理を行って第一のGSTH画像を取得し、前記ラインセンサ画像と前記第一のGSTH画像との差分を取って差分画像を取得し、前記差分画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した第二のGSTH画像を取得し、
   前記ハンガー検出部が、前記第二のGSTH画像から前記ハンガーを検出する
   ことを特徴とする請求項１記載の画像処理によるハンガー検出装置。
3. 前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向については収縮処理のみを行ってgsth画像を取得し、前記gsth画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した前記GSTH画像を取得し、
   前記ハンガー検出部が、前記GSTH画像から前記ハンガーを検出する
   ことを特徴とする請求項１記載の画像処理によるハンガー検出装置。
4. 前記GSTH処理部が、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について１ラインずつ、当該撮影ライン方向で主成分の輝度値が淡色の場合は輝度値を反転し主成分の輝度値が濃色の場合は輝度値を反転しない輝度反転処理を行った後、前記GSTH処理を行う
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理によるハンガー検出装置。