JP2012015697A - Pantagraph detection device and method thereof - Google Patents

Pantagraph detection device and method thereof Download PDF

Info

Publication number
JP2012015697A
JP2012015697A JP2010148757A JP2010148757A JP2012015697A JP 2012015697 A JP2012015697 A JP 2012015697A JP 2010148757 A JP2010148757 A JP 2010148757A JP 2010148757 A JP2010148757 A JP 2010148757A JP 2012015697 A JP2012015697 A JP 2012015697A
Authority
JP
Japan
Prior art keywords
pantograph
image
pantograph detection
input image
direction code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010148757A
Other languages
Japanese (ja)
Other versions
JP5521831B2 (en
Inventor
Kazutaka Matsubara
一隆 松原
Nobuyuki Fujiwara
伸行 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2010148757A priority Critical patent/JP5521831B2/en
Publication of JP2012015697A publication Critical patent/JP2012015697A/en
Application granted granted Critical
Publication of JP5521831B2 publication Critical patent/JP5521831B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform calculation to detect a pantagraph on the roof of a passing train at a high speed while keeping accuracy.SOLUTION: In a pantagraph detection method for arranging a pantagraph detection sensor 40 and a monitoring camera 30 in the upper part of a track 2 where a train 1 passes, photographing the pantagraph 1a by the monitoring camera 30 when the pantagraph detection sensor 40 detects the pantagraph 1a, performing image processing for input images which are photographed by the monitoring camera 30, and then, keeping only images showing the pantagraph 1a, an image processor 50 performs orientation code matching with respect to the input images, so as to obtain robustness in brightness change due to sunshine change, etc., and also to stably determine presence determination of the pantagraph in the images.

Description

本発明は、パンタグラフ検出装置及びその方法に関する。詳しくは、線路上方に設置された監視カメラにより撮影した画像から通過列車のパンタグラフを検出する装置及びその方法において、特に暗い画像でも精度良く検出できるようにするものである。   The present invention relates to a pantograph detection apparatus and method. More specifically, an apparatus and method for detecting a pantograph of a passing train from an image taken by a monitoring camera installed above a track enables detection of even a dark image with high accuracy.

通過列車の屋根上状態を撮影する装置としては、線路上方にカメラと照明を設置し、録画装置を屋内に設置し、車輌接近警報装置と連動して録画を実施する装置が一般的に用いられている(非特許文献1)。
この装置は、列車が接近した際に車輌接近警報装置が発生する列車接近信号を基に、照明点灯と録画開始を行い、列車接近信号が発生している期間の画像を録画することで、その間に通過する列車の屋根上を撮影するものである。
As a device for photographing the state of a passing train on the roof, a device is generally used in which a camera and illumination are installed above the track, a recording device is installed indoors, and recording is performed in conjunction with a vehicle approach alarm device. (Non-Patent Document 1).
Based on the train approach signal generated by the vehicle approach warning device when the train approaches, this device turns on the lighting and starts recording, and records an image during the period when the train approach signal is generated. The photograph is taken on the roof of the train passing by.

撮影の開始と終了の基準となる列車接近信号を発生する車輌接近警報装置には幾つかの提案が行われている。
特許文献1は、振動センサをレールに直接磁石を利用して取り付け、鉄道車輌が接近する際の振動を検出して列車接近信号を発生した。
Several proposals have been made for a vehicle approach warning device that generates a train approach signal that serves as a reference for the start and end of imaging.
In Patent Document 1, a vibration sensor is directly attached to a rail using a magnet, and a train approach signal is generated by detecting vibration when a railway vehicle approaches.

特許文献2は、電車電流検出センサをレールにマグネットを介して取り付け、センサの出力を演算処理装置に内蔵されたアンプに接続し、演算処理部で処理された結果により警報機を鳴らした。
特許文献3は、送信手段と受信手段とを備え、送信手段で探査信号をレールに送信し、近付いた軌道車両に反射された反射信号を受信手段で受信することで、列車の接近を検出した。
In Patent Document 2, a train current detection sensor is attached to a rail via a magnet, the output of the sensor is connected to an amplifier built in the arithmetic processing unit, and an alarm is sounded based on the result processed by the arithmetic processing unit.
Patent Document 3 includes a transmission unit and a reception unit, transmits an exploration signal to the rail by the transmission unit, and receives a reflected signal reflected by the approaching track vehicle by the reception unit, thereby detecting the approach of the train. .

一方、通過列車の屋根上状態を撮影する装置として次の提案を行った(特許文献4)。
即ち、画像処理により監視カメラの画像中に進入した列車を検知し、画像中に列車が存在している期間の画像を録画することで、通過列車の屋根上状態の画像を効率よく撮影し保管した。
On the other hand, the following proposal was performed as a device which photographs the state of the passing train on the roof (Patent Document 4).
In other words, by detecting the train that entered the image of the surveillance camera by image processing and recording the image during the period when the train exists in the image, the image on the roof of the passing train is efficiently captured and stored. did.

また、画像処理を応用した物体形状検査により監視カメラの画像中に進入した列車を検知し、画像中に列車が存在している期間の画像を録画することで、通過列車の屋根上状態の画像を効率よく撮影し保管した。
更に、侵入者検知装置の技術を適用した進入検知処理により列車を検知し、画像中に列車が存在している期間の画像を録画することで、通過列車の屋根上状態の画像を効率よく撮影し保管した。
In addition, by detecting the train that entered the image of the surveillance camera by object shape inspection applying image processing, and recording the image of the period when the train exists in the image, the image on the roof of the passing train Were taken and stored efficiently.
Furthermore, by detecting the train by the approach detection process using the technology of the intruder detection device, and recording the image of the period when the train is present in the image, it is possible to efficiently capture the image on the roof of the passing train And stored.

特開2001-39304「鉄道車両が走行時発生する振動データ収集装置と同装置が出力するデータを利用する車両接近警報装置及び車両故障診断装置」Japanese Patent Laid-Open No. 2001-39304 “Vehicle Approach Alarm Device and Vehicle Failure Diagnosis Device Utilizing Data Output from Vibration Data Collection Device Generated when Railway Car Runs” 特開2002-337687「車両接近警報装置」JP 2002-337687 “Vehicle approach warning device” 特開平9-132141「軌道車両接近警報装置」Japanese Patent Laid-Open No. 9-132141 "Railway Vehicle Approach Warning Device" 特開2010-12084「画像処理による通過列車撮影装置」Japanese Patent Application Laid-Open No. 2010-12084 “Passing train photographing device by image processing”

F.ULLAH,S.KANEKO and S. IGARASHI,″Orientation Code Matching for Robust Object Search″,IEICE Trans. lnf.&Syst.,vol.E84-D,No.&pp.999-1006,2001F.ULLAH, S.KANEKO and S. IGARASHI, "Orientation Code Matching for Robust Object Search", IEICE Trans.lnf. & Syst., Vol.E84-D, No. & pp.999-1006, 2001

特許文献1,2,3の車輌接近警報装置は、接近する列車を早期に検出するものである。このため、車輌接近警報装置の発生する列車接近信号を基に、録画の開始と終了を行う通過列車撮影装置では、実際にカメラの視野内を列車が通過している時間以外の撮影時間が多く存在する。
この場合、列車の撮影されていない不必要な画像データのために、録画装置の多くの画像保管領域が使用されると共に、屋根上装置として重要な監視対象であるパンタグラフが映っている画像を検索するために、時間と労力を要する。
The vehicle approach warning devices disclosed in Patent Documents 1, 2, and 3 detect an approaching train at an early stage. For this reason, in the passing train imaging device that starts and ends the recording based on the train approach signal generated by the vehicle approach warning device, there are many imaging times other than the time during which the train actually passes through the field of view of the camera. Exists.
In this case, a lot of image storage area of the recording device is used for unnecessary image data that has not been photographed for the train, and an image showing a pantograph that is an important monitoring target as a rooftop device is searched. It takes time and effort to do so.

特許文献4は、画像処理により列車の進入を検知し、通過列車屋根上の画像を撮影する装置である。これらの装置は、画像中に列車が存在している期間の画像を録画するため、特許文献1,2,3の車輌接近警報装置を基にした通過列車撮影装置に比べて、録画装置の多くの画像保管領域を大幅に節約できる。
しかしながら、屋根上装置として重要な監視対象であるパンタグラフが映っている画像を検索するためには、特許文献1,2,3と同様に時間と労力を要する。
Patent Document 4 is an apparatus that detects an approach of a train by image processing and captures an image on a passing train roof. Since these devices record images during the period when the train is present in the images, many of the recording devices are compared to the passing train imaging device based on the vehicle approach warning device of Patent Documents 1, 2, and 3. The image storage area can be greatly saved.
However, in order to search for an image in which a pantograph that is an important monitoring target as a rooftop apparatus is shown, time and labor are required as in Patent Documents 1, 2, and 3.

上記課題を解決する本発明の請求項1に係るパンタグラフ検出装置は、列車が通過する線路上方に監視カメラを設置し、該監視カメラにより下方を撮影し、撮影した入力画像を画像処理することにより前記入力画像中にパンタグラフが映っている画像のみを保管するパンタグラフ検出装置において、前記入力画像に対して方向符号照合を行い、予め設定した方向符号探索閾値よりも適合度が高いときには前記入力画像中にパンタグラフが映っていると判断する画像処理装置を備えたことを特徴とする。
上記課題を解決する本発明の請求項2に係るパンタグラフ検出装置は、請求項1記載のパンタグラフ検出装置において、前記画像処理装置は、前記入力画像の明るさにより前記方向符号探索閾値を変動させることを特徴とする。
The pantograph detection device according to claim 1 of the present invention that solves the above-described problem is that a surveillance camera is installed above a track through which a train passes, and the lower part is photographed by the surveillance camera, and the photographed input image is processed. In the pantograph detection device that stores only an image in which a pantograph appears in the input image, direction code matching is performed on the input image, and when the degree of matching is higher than a preset direction code search threshold, And an image processing device for determining that a pantograph is shown.
The pantograph detection device according to claim 2 of the present invention that solves the above problem is the pantograph detection device according to claim 1, wherein the image processing device varies the direction code search threshold according to the brightness of the input image. It is characterized by.

上記課題を解決する本発明の請求項3に係るパンタグラフ検出装置は、請求項1又は2記載のパンタグラフ検出装置において、前記画像処理装置は、前記入力画像中において前記方向符号照合によりパンタグラフ検出を行う探索範囲として、前記パンタグラフの形状特徴を用いてエッジヒストグラムを作成し、前記エッジヒストグラムが予め設定した閾値以上の範囲に設定したことを特徴とする。
上記課題を解決する本発明の請求項4に係るパンタグラフ検出装置は、請求項3記載のパンタグラフ検出装置において、前記画像処理装置は、前記エッジヒストグラムの作成の前処理として、前記入力画像に対して画質補正を行うことを特徴とする。
The pantograph detection device according to claim 3 of the present invention that solves the above-described problems is the pantograph detection device according to claim 1 or 2, wherein the image processing device performs pantograph detection by the direction code verification in the input image. As a search range, an edge histogram is created using the shape feature of the pantograph, and the edge histogram is set to a range equal to or greater than a preset threshold value.
The pantograph detection device according to a fourth aspect of the present invention for solving the above-mentioned problems is the pantograph detection device according to the third aspect, wherein the image processing device performs preprocessing of the edge histogram on the input image. Image quality correction is performed.

上記課題を解決する本発明の請求項5に係るパンタグラフ検出装置は、請求項4記載のパンタグラフ検出装置において、前記画像処理装置は、前記画質補正として、濃度分布の線形濃度変換によるコントラスト強調を行うことを特徴とする。
上記課題を解決する本発明の請求項6に係るパンタグラフ検出装置は、請求項5記載のパンタグラフ検出装置において、前記画像処理装置は、前記コントラスト強調を行う際、前記パンタグラフを含む画像中央の一定領域内の濃度値ヒストグラムを用いることを特徴とする。
The pantograph detection device according to claim 5 of the present invention that solves the above problem is the pantograph detection device according to claim 4, wherein the image processing device performs contrast enhancement by linear density conversion of a density distribution as the image quality correction. It is characterized by that.
The pantograph detection device according to claim 6 of the present invention for solving the above problem is the pantograph detection device according to claim 5, wherein the image processing device includes a constant region at the center of the image including the pantograph when performing the contrast enhancement. The density value histogram is used.

上記課題を解決する本発明の請求項7に係るパンタグラフ検出装置は、請求項1記載のパンタグラフ検出装置において、前記線路上方にパンタグラフ検出センサをも設置し、該パンタグラフ検出センサが前記列車上のパンタグラフを検出した際に前記監視カメラにより前記パンタグラフを撮影することを特徴とする。
上記課題を解決する本発明の請求項8に係るパンタグラフ検出方法は、列車が通過する線路上方に監視カメラを設置し、該監視カメラにより下方を撮影し、撮影した入力画像を画像処理することにより前記入力画像中にパンタグラフが映っている画像のみを保管するパンタグラフ検出方法において、前記画像処理は、前記入力画像に対して方向符号照合を行い、予め設定した方向符号探索閾値よりも適合度が高いときには前記入力画像中にパンタグラフが映っていると判断することを特徴とする。
The pantograph detection device according to claim 7 of the present invention for solving the above-mentioned problems is the pantograph detection device according to claim 1, wherein a pantograph detection sensor is also installed above the track, and the pantograph detection sensor is a pantograph on the train. The pantograph is photographed by the monitoring camera when the camera is detected.
The pantograph detection method according to claim 8 of the present invention that solves the above-described problem is that a surveillance camera is installed above a track through which a train passes, the lower part is photographed by the surveillance camera, and the photographed input image is image-processed. In the pantograph detection method for storing only an image in which a pantograph is shown in the input image, the image processing performs direction code matching on the input image, and has a higher fitness than a preset direction code search threshold. Sometimes it is determined that a pantograph is shown in the input image.

上記課題を解決する本発明の請求項9に係るパンタグラフ検出方法は、請求項8記載のパンタグラフ検出方法において、前記方向符号照合は、前記入力画像の明るさにより前記方向符号探索閾値を変動させることを特徴とする。
上記課題を解決する本発明の請求項10に係るパンタグラフ検出方法は、請求項8又は9記載のパンタグラフ検出方法において、前記入力画像中において前記方向符号照合によりパンタグラフ検出を行う探索範囲は、前記パンタグラフの形状特徴を用いてエッジヒストグラムを作成し、前記エッジヒストグラムが予め設定した閾値以上の範囲に設定したことを特徴とする。
The pantograph detection method according to claim 9 of the present invention that solves the above-described problem is the pantograph detection method according to claim 8, wherein the direction code collation changes the direction code search threshold according to the brightness of the input image. It is characterized by.
The pantograph detection method according to claim 10 of the present invention that solves the above problem is the pantograph detection method according to claim 8 or 9, wherein the search range for performing pantograph detection by the direction code verification in the input image is the pantograph. An edge histogram is created using the shape feature, and the edge histogram is set in a range equal to or larger than a preset threshold value.

上記課題を解決する本発明の請求項11に係るパンタグラフ検出方法は、請求項10記載のパンタグラフ検出方法において、前記エッジヒストグラムの作成の前処理として、前記入力画像に対して画質補正を行うことを特徴とする。
上記課題を解決する本発明の請求項12に係るパンタグラフ検出方法は、請求項11記載のパンタグラフ検出方法において、前記画質補正として、濃度分布の線形濃度変換によるコントラスト強調を行うことを特徴とする。
A pantograph detection method according to an eleventh aspect of the present invention for solving the above-described problem is the pantograph detection method according to the tenth aspect, wherein image quality correction is performed on the input image as a pre-process for creating the edge histogram. Features.
A pantograph detection method according to a twelfth aspect of the present invention that solves the above problem is characterized in that, in the pantograph detection method according to the eleventh aspect, contrast enhancement is performed by linear density conversion of a density distribution as the image quality correction.

上記課題を解決する本発明の請求項13に係るパンタグラフ検出方法は、請求項12記載のパンタグラフ検出方法において、前記コントラスト強調を行う際、前記パンタグラフを含む画像中央の一定領域内の濃度値ヒストグラムを用いることを特徴とする。
上記課題を解決する本発明の請求項14に係るパンタグラフ検出方法は、請求項8記載のパンタグラフ検出方法において、前記線路上方にパンタグラフ検出センサをも設置し、該パンタグラフ検出センサが前記列車上のパンタグラフを検出した際に前記監視カメラにより前記パンタグラフを撮影することを特徴とする。
A pantograph detection method according to a thirteenth aspect of the present invention for solving the above-described problem is the pantograph detection method according to the twelfth aspect, wherein when performing the contrast enhancement, a density value histogram in a fixed region in the center of the image including the pantograph is used. It is characterized by using.
The pantograph detection method according to claim 14 of the present invention that solves the above problem is the pantograph detection method according to claim 8, wherein a pantograph detection sensor is also installed above the track, and the pantograph detection sensor is a pantograph on the train. The pantograph is photographed by the monitoring camera when the camera is detected.

請求項1、8に係る発明によれば、屋根上装置として重要な監視対象であるパンタグラフが映っている画像のみを保管するために方向符号照合を行っているため、日照変化等による明るさ変動に頑健で、画像中のパンタグラフ有無判断をより安定的に行うことができる。   According to the inventions according to claims 1 and 8, since the direction code collation is performed in order to store only the image in which the pantograph which is an important monitoring target as the rooftop device is reflected, the brightness fluctuation due to the change in sunlight or the like. Therefore, the presence / absence of the pantograph in the image can be determined more stably.

請求項2、9に係る発明によれば、方向符号照合において、入力画像の明るさにより方向符号探索閾値を変動させているため、暗い画像においてもパンタグラフを精度良く検出できる。   According to the second and ninth aspects of the invention, since the direction code search threshold is varied depending on the brightness of the input image in the direction code matching, the pantograph can be detected with high accuracy even in a dark image.

請求項3、10に係る発明によれば、パンタグラフの形状特徴を用いてエッジヒストグラムを作成しているため、パンタグラフ検出を行う探索範囲をパンタグラフが存在する可能性のある範囲に限定することができ、誤検出が少なく、高速なパンタグラフ検出が行える。   According to the third and tenth aspects of the invention, since the edge histogram is created using the shape characteristics of the pantograph, the search range for detecting the pantograph can be limited to a range where the pantograph may exist. There are few false detections and high speed pantograph detection can be performed.

請求項4、11に係る発明によれば、記エッジヒストグラムの作成の前処理として、入力画像に対して画質補正(メディアンフィルタによるノイズ除去、濃度分布の線形濃度変換によるコントラスト強調等)を行うので、暗い画像においても誤検出の少ないパンタグラフ検出が行える。   According to the inventions according to claims 4 and 11, image quality correction (noise removal by median filter, contrast enhancement by linear density conversion of density distribution, etc.) is performed on the input image as preprocessing for creating the edge histogram. In addition, pantograph detection with few false detections can be performed even in a dark image.

請求項5、12に係る発明によれば、画質補正として、濃度分布の線形濃度変換によるコントラスト強調を行うので、濃淡差が少ない暗い画像に対しても明瞭なエッジを抽出することができる。   According to the fifth and twelfth aspects of the present invention, the contrast enhancement is performed by linear density conversion of the density distribution as the image quality correction, so that a clear edge can be extracted even for a dark image with a small density difference.

請求項6、13に係る発明によれば、濃度分布の線形濃度変換によるコントラスト強調を行う際、パンタグラフを含む画像中央の一定領域内の濃度値ヒストグラムを用いることで、画像端の背景部分に影響されずにコントラスト強調を行うことができる。   According to the inventions according to claims 6 and 13, when performing contrast enhancement by linear density conversion of density distribution, the density value histogram in a certain region in the center of the image including the pantograph is used, thereby affecting the background portion of the image edge. In contrast, contrast enhancement can be performed.

請求項7、14に係る発明によれば、パンタグラフ検出センサがパンタグラフを検出した際に監視カメラによりパンタグラフを撮影するため、パンタグラフが映っている画像が大半であり、全ての画像を処理し終えるまでの時間が早い。従って、記憶装置の画像保管領域を効率よく使用することができる。   According to the inventions according to claims 7 and 14, since the pantograph is photographed by the surveillance camera when the pantograph detection sensor detects the pantograph, most of the images in which the pantograph is shown are processed until all the images are processed. The time is early. Therefore, the image storage area of the storage device can be used efficiently.

本発明の実施例1に係る装置構成を示す概略図である。It is the schematic which shows the apparatus structure which concerns on Example 1 of this invention. 明るい入力画像及び同画像におけるパンタグラフ検出照合の推移を示すグラフである。It is a graph which shows transition of a bright input image and pantograph detection collation in the image. 暗い入力画像及び同画像におけるパンタグラフ検出照合の推移を示すグラフである。It is a graph which shows transition of a pantograph detection collation in a dark input image and the same image. 線形濃度変換を示すグラフである。It is a graph which shows linear density | concentration conversion. 線形濃度変換における変換前濃度範囲の決定を示すグラフである。It is a graph which shows determination of the density range before conversion in linear density conversion. メディアンフィルタの説明図である。It is explanatory drawing of a median filter. 入力画像及び横エッジ画像の説明図である。It is explanatory drawing of an input image and a horizontal edge image. 横エッジ画像及びエッジヒストグラムの説明図である。It is explanatory drawing of a horizontal edge image and an edge histogram. 明るい画像及び横エッジ画像とエッジヒストグラムの説明図である。It is explanatory drawing of a bright image, a horizontal edge image, and an edge histogram. 暗い画像の横エッジ画像とエッジヒストグラムの説明図である。It is explanatory drawing of the horizontal edge image and edge histogram of a dark image. パンタグラフ処理検出の流れを示すフローチャートである。It is a flowchart which shows the flow of a pantograph process detection. 本発明の実施例2に係る装置構成を示す概略図である。It is the schematic which shows the apparatus structure which concerns on Example 2 of this invention.

本発明の前提となる基本的な考え方は、以下の通りである。   The basic concept which is the premise of the present invention is as follows.

先ず、パンタグラフ検出センサがパンタグラフを検出した際に監視カメラによりパンタグラフの撮影を行い、その画像を録画する。
ただし、パンタグラフ検出センサがパンタグラフ以外の車輌屋根上構造物や何らかの飛翔物に過敏反応し、パンタグラフが存在しない画像を誤って撮影する場合もある。
First, when the pantograph detection sensor detects the pantograph, the pantograph is photographed by the surveillance camera and the image is recorded.
However, the pantograph detection sensor may react to a vehicle roof structure other than the pantograph or some flying object, and erroneously capture an image without the pantograph.

そこで、録画した画像に対してパンタグラフが存在するか否かを画像処理により判断し、パンタグラフが映っている画像のみを保管する。
パンタグラフが存在するか否かの判断は、非特許文献1の方向符号照合(OCM:Orientation Code Matching)により画像中からパンタグラフを検出することで、明るさ変化や隠れに頑健な照合を行うことができる。
Therefore, whether or not a pantograph exists for the recorded image is determined by image processing, and only the image showing the pantograph is stored.
Whether or not a pantograph exists is determined by detecting a pantograph from an image by orientation code matching (OCM: Orientation Code Matching) of Non-Patent Document 1 to perform robust matching against brightness change and hiding. it can.

方向符号照合とは、画像各部分の濃淡の強さ方向を符号化し、基準画像と入力画像との符号同士を照合することで、画像データ同士の適合度合いを検査する方法である。
そのため、パンタグラフが映っている画像のみを保管するごとができるため、特許文献4よりも記憶装置の画像保管領域を効率よく使用することができ、パンタグラフが映っている画像を検索する時間と労力を省くことができる。
Direction code collation is a method of inspecting the degree of matching between image data by coding the strength direction of each image portion and collating the codes of the reference image and the input image.
Therefore, since only the image in which the pantograph is shown can be stored, the image storage area of the storage device can be used more efficiently than in Patent Document 4, and the time and labor for searching for the image in which the pantograph is shown can be saved. It can be omitted.

しかし、夜間に撮影する場合など撮影される画像が全体的に暗い場合は、濃淡差が少なくノイズが多くなるため、画像の濃淡の強さ方向を符号化する際に正確な方向符号が得られないピクセルが増える。
そのため、明るさ変動に頑健な方向符号照合を行っても、パンタグラフ基準画像との適合度が減少してしまい、パンタグラフを検出することができないという問題がある。
However, if the image to be shot is dark overall, such as when shooting at night, the difference in shading is small and the noise increases, so an accurate direction code can be obtained when coding the intensity direction of the shading of the image. No more pixels.
Therefore, there is a problem that even if the direction code collation robust to the brightness fluctuation is performed, the degree of matching with the pantograph reference image is reduced, and the pantograph cannot be detected.

また、濃淡の強さ方向がパンタグラフと良く似た車輌屋根上構造物が映っている場合、方向符号照合によりパンタグラフが映っていると誤検出するケースが多く見られるという問題がある。
以下に、このような問題を解決する実施例について図面を参照して説明する。
In addition, when a vehicle roof structure that is similar to the pantograph in the intensity direction of light and shade is reflected, there is a problem that many cases are erroneously detected that the pantograph is reflected by direction code verification.
Hereinafter, an embodiment for solving such a problem will be described with reference to the drawings.

(パンタグラフ検出センサを用いる方法) (Method using pantograph detection sensor)

本実施例では、図1に示すように、列車1が通過する線路2の上方に距離センサ等で構成されるパンタグラフ検出センサ40、監視カメラ30、照明装置20を設置し、照明装置20により下方を照明しつつ、パンタグラフ検出センサ40が列車1上のパンタグラフ1aを検出した際に監視カメラ30により下方を撮影し、パンタグラフ1aの画像を録画する。入力画像は、記憶装置(図示省略)の画像保管領域に保管される。   In this embodiment, as shown in FIG. 1, a pantograph detection sensor 40 composed of a distance sensor or the like, a monitoring camera 30, and a lighting device 20 are installed above a track 2 through which a train 1 passes. When the pantograph detection sensor 40 detects the pantograph 1a on the train 1, the lower part is photographed by the monitoring camera 30 and the image of the pantograph 1a is recorded. The input image is stored in an image storage area of a storage device (not shown).

ただし、パンタグラフ検出センサ40がパンタグラフ1a以外の車輌屋根上構造物や何らかの飛翔物に過敏反応し、パンタグラフ1aが存在しない画像を撮影する場合もある。
そこで、録画した画像に対してパンタグラフ1aが存在するか否かを画像処理装置50により判断し、パンタグラフ1aが映っている画像のみを保管する。
画像処理装置50は、方向符号照合により入力画像中からパンタグラフ1aを検出する。
However, there are cases where the pantograph detection sensor 40 reacts to a vehicle roof structure other than the pantograph 1a or some flying object and takes an image without the pantograph 1a.
Therefore, the image processing device 50 determines whether or not the pantograph 1a exists for the recorded image, and stores only the image showing the pantograph 1a.
The image processing device 50 detects the pantograph 1a from the input image by direction code verification.

方向符号照合は、画像各部分の濃淡の強さ方向を符号化し、基準画像と入力画像との符号同士を照合することで、画像データ同士の適合度合いを検査する方法で、明るさ変化や隠れに頑健な照合方法である。
即ち、パンタグラフ基準画像を画像部分の濃淡強さで符号化した方向符号画像(「基準符号画像」と呼ぶ)を作成し、さらにパンタグラフ基準画像におけるパンタグラフ部分の位置やパンタグラフ部分の範囲から成るパンタグラフ照合データを作成しておく。
Direction code verification is a method of inspecting the degree of matching between image data by coding the intensity direction of each part of the image and comparing the codes of the reference image and the input image. This is a robust verification method.
That is, a directional code image (referred to as a “reference code image”) obtained by encoding the pantograph reference image with the intensity of the image portion is created, and further, the pantograph verification including the position of the pantograph part and the range of the pantograph part in the pantograph reference image Create data.

次に、入力画像の方向符号画像(「入力符号画像」と呼ぶ)を作成し、予め設定しておいた探索範囲(「パンタグラフ探索範囲」と呼ぶ)Aにおいて、方向符号照合によりパンタグラフ基準画像におけるパンタグラフ部分との画像データ同士の比較を行い、パンタグラフ検出位置とそのパンタグラフ検出位置での方向符号照合値(「パンタグラフ検出照合値」と呼ぶ)を求める。つまり、パンタグラフ探索範囲Aとは、入力画像中において方向符号照合によりパンタグラフ検出を行う範囲のことである。   Next, a direction code image (referred to as “input code image”) of the input image is created, and in the preset search range (referred to as “pantograph search range”) A, the direction code comparison is performed in the pantograph reference image. The image data of the pantograph portion are compared with each other, and a pantograph detection position and a direction code collation value (referred to as “pantograph detection collation value”) at the pantograph detection position are obtained. That is, the pantograph search range A is a range in which pantograph detection is performed by direction code matching in the input image.

パンタグラフ検出照合値は大きいほど、パンタグラフ基準画像との適合度合いが高いことを表している。
最後に、パンタグラフ検出照合値と予め設定した閾値Thocm(「方向符号探索閾値」と呼ぶ)を比較し、適合度が高い場合は、検査した画像中にパンタグラフ1aが存在したと判断する。
The larger the pantograph detection collation value, the higher the degree of matching with the pantograph reference image.
Finally, the pantograph detection collation value is compared with a preset threshold value Th cm (referred to as “direction code search threshold value”), and if the degree of matching is high, it is determined that the pantograph 1a is present in the inspected image.

本実施例では、暗い画像の場合、基本的な考え方では、パンタグラフ基準画像との適合度が減少しパンタグラフ1aを検出できないという問題に対して、適合度の判定に用いる方向符号探索閾値Thocmを入力画像の明るさによって変動させることにより解決する。
このようにしたのは、明るい画像の適合度の推移と比べて、暗い画像の適合度は全体的に減少するためである。
In this embodiment, in the case of a dark image, the direction code search threshold value Th ocm used for the determination of the fitness is set to the problem that the fitness with the pantograph reference image decreases and the pantograph 1a cannot be detected according to the basic concept. The problem is solved by varying the brightness of the input image.
This is because the suitability of dark images generally decreases compared to the transition of the suitability of bright images.

図2(a)、図3(a)には、監視カメラ30で撮影された明るい入力画像、暗い入力画像をそれぞれ示し、図2(b)、図3(b)には、それぞれ明るい入力画像、暗い入力画像において、パンタグラフ探索範囲A内を探索したときのY座標にパンタグラフ検出照合値を投影したグラフを示す。
図2(a)(b)、図3(b)(b)に示す通り、パンタグラフ1aが存在するY座標では、パンタグラフ検出照合値が大きくなり急唆な山となっており、暗い画像では適合度が減少し全体的に山が小さくなる。なお、Y座標は、列車1の進行方向に沿った座標、つまり、縦座標である。
2A and 3A show a bright input image and a dark input image taken by the surveillance camera 30, respectively. FIGS. 2B and 3B show a bright input image, respectively. The graph which projected the pantograph detection collation value to the Y coordinate when searching in the pantograph search range A in a dark input image is shown.
As shown in FIGS. 2A, 2B and 3B, 3B, the Y coordinate where the pantograph 1a is present has a large pantograph detection collation value, which is a sharp mountain, and is suitable for dark images. The degree decreases and the mountain becomes smaller overall. The Y coordinate is a coordinate along the traveling direction of the train 1, that is, a ordinate.

式(1)に方向符号探索閾値Thocmを求める式を示す。
ここで、modeocmはパンタグラフ探索範囲における適合度のモード値(=最も出現頻度が高い値)である。
パンタグラフ1aが存在しない部分では、パンタグラフ探索範囲A内でパンタグラフ検出照合値が小さく出現頻度が高いため、モード値modeocmはパンタグラフ1aが存在しない通常部分の適合度を表すと考えることができる。
Equation (1) shows an equation for obtaining the direction code search threshold Th ocm .
Here, mode ocm is the mode value (= value with the highest appearance frequency) of the fitness in the pantograph search range.
In the portion where the pantograph 1a does not exist, since the pantograph detection collation value is small and the appearance frequency is high within the pantograph search range A, it can be considered that the mode value mode ocm represents the fitness of the normal portion where the pantograph 1a does not exist.

ocmは方向符号探索閾値の調整量を決める重み定数であり、aveは入力画像の平均輝度値である。
即ち、図2(a)(b)に示すように、画像が明るいほど(=aveが大きいほど)方向符号探索閾値Thocmは通常値から大きく離れた値に設定され、逆に、図3(a)(b)に示すように、画像が暗いほど(=aveが小さいほど)方向符号探索閾値Thocmは通常値から近い値に設定される。
W ocm is a weighting constant that determines the adjustment amount of the direction code search threshold, and ave is the average luminance value of the input image.
That is, as shown in FIG. 2 (a) (b), as the image is bright (= higher ave is large) direction code search threshold Th ocm is set largely apart value from the normal value, on the contrary, FIG. 3 ( as shown in a) (b), as the image is dark (= higher ave is small) direction code search threshold Th ocm is set to a value close to the normal value.

このように、方向符号探索閾値Thocmを画像の明るさにより変動させることで、画像の明るさに関係なくパンタグラフ部分のパンタグラフ検出照合値が方向符号探索閾値Thocmより大きくなり、暗い画像でもパンタグラフ1aの検出を行えるようになる。
Thocm=modeocm+avexWocm …(1)
In this way, by changing the direction code search threshold Th ocm according to the brightness of the image, the pantograph detection collation value of the pantograph portion becomes larger than the direction code search threshold Th ocm regardless of the brightness of the image, and even a dark image has a pantograph 1a can be detected.
Th ocm = mode ocm + avexW ocm (1)

また、本実施例では、方向符号照合の際のパンタグラフ探索範囲Aをパンタグラフ1aが存在すると思われるエリアのみに以下の様に自動的に限定することで、基本的な考え方では、車輌屋根上構造物1bなどパンタグラフ以外の物体の誤検出するケースが見られると言う問題を防ぐようにする。
即ち、パンタグラフ部分は横長の物体が集中しており(=横線が多い)、境界がはっきりとしている(=エッジ強度が大きい)という形状的な特徴がある。
In the present embodiment, the pantograph search range A at the time of direction code matching is automatically limited to the area where the pantograph 1a is supposed to exist as follows. The problem that a case where an object other than the pantograph such as the object 1b is erroneously detected is seen is prevented.
That is, the pantograph portion has a shape characteristic that horizontally long objects are concentrated (= there are many horizontal lines) and the boundary is clear (= the edge strength is large).

このようなパンタグラフ1aの形状特徴を用いることで、パンタグラフ探索範囲Aを自動設定することができると考えられるが、暗い画像では(1)濃淡差が少なく、(2)ノイズが多いため明瞭なエッジを抽出できず、パンタグラフ1aの形状特徴が捉えられないという課題がある。
そこで、入力画像に対して以下の前処理(画質補正)を施すことにより明瞭なエッジを抽出できるようにする。
It can be considered that the pantograph search range A can be automatically set by using such a shape feature of the pantograph 1a. However, in a dark image, (1) there is little contrast and (2) there is a lot of noise, so there is a clear edge. Cannot be extracted, and the shape feature of the pantograph 1a cannot be captured.
Therefore, a clear edge can be extracted by performing the following preprocessing (image quality correction) on the input image.

まず、濃度分布の線形濃度変換によるコントラスト強調を行うことにより、(1)を解決する。
線形濃度変換とは、変換前の濃度値と変換後の濃度値の関係が線形になるように濃度値を変換する操作であり、図4に示すように変換前は濃度値ヒストグラムがa〜bの濃度範囲に分布していたものが、変換後は0〜255の濃度範囲に伸張される。
First, (1) is solved by performing contrast enhancement by linear density conversion of the density distribution.
The linear density conversion is an operation of converting density values so that the relationship between the density values before conversion and the density values after conversion is linear. As shown in FIG. What has been distributed in the density range is expanded to a density range of 0 to 255 after conversion.

そのため、暗い画像を線形濃度変換した場合、隣接する画素の濃度差がより大きくなりエッジ強度が大きくなる。
なお、変換前の濃度範囲a〜bは入力画像に対して最小濃度値と最大濃度値を求めることにより決定する。
For this reason, when linear density conversion is performed on a dark image, the density difference between adjacent pixels becomes larger and the edge strength increases.
Note that the density ranges a to b before conversion are determined by obtaining the minimum density value and the maximum density value for the input image.

このとき、暗い画像における照明装置20などの非常に少数な濃度値の影響により濃度範囲a〜bが見た目よりも広範囲に設定され、コントラストの改善度合いが弱くなってしまうことを防ぐため、図5に示すように濃度値ヒストグラムにおける画素数が総画素数の一定割合を満たしていない濃度値は無視する。
また、画像端の背景部分の濃度値が濃度値ヒストグラムに影響しないようにするため、パンタグラフ1aが映る画像中央の一定領域に範囲を限定して濃度値ヒストグラムを作成するようにしている。
At this time, in order to prevent the density ranges a to b from being set wider than the appearance due to the influence of a very small number of density values such as the lighting device 20 in a dark image, the degree of improvement in contrast is weakened. As shown in FIG. 5, the density value in which the number of pixels in the density value histogram does not satisfy a certain ratio of the total number of pixels is ignored.
Further, in order to prevent the density value of the background portion at the edge of the image from affecting the density value histogram, the density value histogram is created by limiting the range to a certain area in the center of the image where the pantograph 1a is displayed.

次に、メディアンフィルタによるノイズ除去を行うことにより、(2)を解決する。
メディアンフィルタとは、図6に示すように注目画素の周囲nxnの局所領域における濃度値を順番にソートした場合、中央値を注目画素に置き換える処理である。
これによりエッジをぼかさずにノイズを除去することができる。
Next, (2) is solved by removing noise by a median filter.
The median filter is a process of replacing the median value with the target pixel when the density values in the local region of nxn around the target pixel are sequentially sorted as shown in FIG.
As a result, noise can be removed without blurring the edges.

パンタグラフ探索範囲Aの自動設定には、前処理を施した画像のエッジ画像において、図7に示すような濃淡の勾配方向が90度または270度付近である横線画素のみを抽出した画像(「横エッジ画像」と呼ぶ)を用いる。
まず、図8(a)に示すように、横幅=画像幅、縦幅=パンタグラフ1aの高さ程度の領域(「横エッジカウント領域」と呼ぶ)Bを横エッジ画像に対して縦方向に走査していく。
For the automatic setting of the pantograph search range A, an image obtained by extracting only the horizontal line pixels having the gradient direction of 90 ° or 270 ° as shown in FIG. Called edge image).
First, as shown in FIG. 8A, a region B (referred to as a “horizontal edge count region”) B whose horizontal width = image width and vertical width = pantograph 1a is scanned in the vertical direction with respect to the horizontal edge image. I will do it.

パンタグラフ部分では、エッジ強度の大きい横エッジ画素が横エッジカウント領域B内に多数存在している。
一方、車輌屋根上構造物部分は、横長でない・横長の物体が一箇所に集中しない・似た色が多いといういずれかの特徴である場合が多く、横エッジカウント領域B内に横エッジ画素がそれほど存在していないか、エッジ強度が小さい。
In the pantograph portion, a large number of horizontal edge pixels having high edge strength exist in the horizontal edge count region B.
On the other hand, the structure on the vehicle roof is often not one of the horizontally long, the horizontally long object is not concentrated in one place, or has many similar colors. Does not exist so much or edge strength is small.

そこで、評価には図8(b)に示すような横エッジカウント領域Bの中心のY座標ごとに領域内の横エッジ強度の平均値を投影したエッジヒストグラムを用いる。
パンタグラフ1aが存在する領域では、横エッジ画素数が多く、横エッジ強度も強いため、エッジ強度平均値が大きくなる。
Therefore, for the evaluation, an edge histogram is used in which the average value of the horizontal edge intensity in the area is projected for each Y coordinate at the center of the horizontal edge count area B as shown in FIG.
In the region where the pantograph 1a is present, the number of horizontal edge pixels is large and the horizontal edge strength is also high, so the edge strength average value is large.

そこで、エッジヒストグラムのエッジ強度平均値が予め設定しておいた閾値Thhist以上のY座標の場合はパンタグラフ1aが存在するとみなし、パンタグラフ探索範囲Aに設定する。
このとき、図9に示す明るい画像に比べて、図10に示す暗い画像の方がエッジ強度平均値は全体的に小さくなる。
Therefore, when the edge intensity average value of the edge histogram is a Y coordinate equal to or larger than a preset threshold Th hist, the pantograph 1a is considered to exist and is set to the pantograph search range A.
At this time, the edge intensity average value of the dark image shown in FIG. 10 is generally smaller than that of the bright image shown in FIG.

そのため、適合度の場合と同様、閾値Thhistは式(2)によって入力画像の明るさにより変動させることで求める。
ここで、modehistはエッジヒストグラムにおけるエッジ強度平均値のモード値、Whistは閾値Thhistの調整量を決める重み定数、aveは入力画像の平均輝度値である。
式(1)の場合と同様、画像が暗いほど閾値Thhistは通常値から近い値に設定される。
Therefore, as in the case of the fitness, the threshold value Th hist is obtained by changing the threshold Th hist according to the brightness of the input image according to the equation (2).
Here, mode hist is the mode value of the edge intensity average value in the edge histogram, W hist is a weight constant that determines the adjustment amount of the threshold Th hist , and ave is the average luminance value of the input image.
As in the case of Expression (1), the threshold Th hist is set closer to the normal value as the image becomes darker.

以上のように、方向符号照合の際のパンタグラフ探索範囲Aをパンタグラフ1aが存在すると思われるエリアのみに自動的に設定することにより、誤検出の可能性がある車輌屋根上構造物のほとんどの領域は方向符号照合を行うパンタグラフ探索範囲Aから外れる。
従って、誤検出が減り、精度が向上すると同時に、方向符号照合時の照合回数を減らせるので照合処理の高速化を行うことができる。
Thhist=modehist+ave×Whist …(2)
As described above, by automatically setting the pantograph search range A at the time of direction code matching only to the area where the pantograph 1a is supposed to exist, most areas of the vehicle roof structure that may be erroneously detected. Deviates from the pantograph search range A in which direction code matching is performed.
Accordingly, false detection is reduced, accuracy is improved, and at the same time, the number of collations during direction code collation can be reduced, so that collation processing can be speeded up.
Th hist = mode hist + ave × W hist (2)

以上の画像処理について、画像処理装置50は、図11に示すフローチャートに従い、以下のように行う。
(1)パンタグラフ探索範囲Aを次の(ア)〜(力)の処理で求める
(ア)入力画像に対して線形濃度変換を行い、コントラスト強調を行い(ステップS1)、
(イ) (ア)で作成した画像に対してメディアンフィルタをかけてノイズ除去を行い(ステップS2)、
(ウ) (イ)で作成した画像に対してエッジ検出を行う(ステップS3)。
About the above image processing, the image processing apparatus 50 performs as follows according to the flowchart shown in FIG.
(1) Pantograph search range A is obtained by the following processes (a) to (force). (A) Linear density conversion is performed on the input image, contrast enhancement is performed (step S1),
(A) The image created in (A) is subjected to noise removal by applying a median filter (step S2),
(C) Edge detection is performed on the image created in (a) (step S3).

(エ) (ウ)で作成した画像に対して濃淡の勾配方向が90度または270度付近である横線画素のみを残し、横エッジ画像を作成する(ステップS4)。
(オ) (エ)で作成した画像に対して横エッジカウント領域Bを縦方向に走査し、領域内の横エッジ強度の平均値を求める。求めた平均値を横エッジカウント領域B中心のY座標ごとに投影し、エッジヒストグラムを作成する(ステップS5)。
(カ) (オ)で作成したエッジヒストグラムと入力画像の明るさにより算出される閾値を用いて、パンタグラフ探索範囲Aを求める(ステップS6)。
(D) A horizontal edge image is created by leaving only the horizontal line pixels whose gradient direction is 90 degrees or around 270 degrees with respect to the image created in (c) (step S4).
(E) The horizontal edge count area B is scanned in the vertical direction with respect to the image created in (d), and the average value of the horizontal edge intensity in the area is obtained. The obtained average value is projected for each Y coordinate at the center of the horizontal edge count region B, and an edge histogram is created (step S5).
(F) The pantograph search range A is obtained using the edge histogram created in (e) and the threshold value calculated from the brightness of the input image (step S6).

(2)入力画像の方向符号画像を求め、入力符号画像を作成する(ステップS7)。
(3) (1),(2)で求めたパンタグラフ探索範囲A、入力符号画像および用意しておいた基準符号画像を用いて方向符号照合を行う(ステップS8)
(4) (3)により求まるパンタグラフ検出照合値と入力画像明るさにより算出される閾値を比較し、適合度の判定、即ち、パンタグラフ1aの有無を判定する(ステップS9)。
(2) A direction code image of the input image is obtained, and an input code image is created (step S7).
(3) Direction code verification is performed using the pantograph search range A obtained in (1) and (2), the input code image, and the prepared reference code image (step S8).
(4) The pantograph detection collation value obtained in (3) is compared with the threshold value calculated based on the input image brightness to determine the fitness, that is, the presence or absence of the pantograph 1a (step S9).

(パンタグラフ検出センサを用いない方法)
本実施例の構成を図12に示す。
本実施例は、入力画像の取得方法が実施例1とは異なる。
(Method without using pantograph detection sensor)
The configuration of this embodiment is shown in FIG.
In this embodiment, the input image acquisition method is different from that of the first embodiment.

実施例1では、列車1が通過する線路2の上方にパンタグラフ検出センサ40を設置し、センサ40が反応した場合に入力画像を取得していたが、本実施例はパンタグラフ検出センサ40を用いずに、特許文献4と同様に、監視カメラ30によって下方を撮影した画像を入力画像とする。
即ち、本実施例では、図12に示すように、列車1が通過する線路2の上方に、監視カメラ30、照明装置20を設置し、監視カメラ30により下方を撮影し、その画像を録画する。
In the first embodiment, the pantograph detection sensor 40 is installed above the track 2 through which the train 1 passes, and the input image is acquired when the sensor 40 reacts. However, in this embodiment, the pantograph detection sensor 40 is not used. Similarly to Patent Document 4, an image taken by the monitoring camera 30 is taken as an input image.
That is, in this embodiment, as shown in FIG. 12, the monitoring camera 30 and the lighting device 20 are installed above the track 2 through which the train 1 passes, the lower part is photographed by the monitoring camera 30, and the image is recorded. .

監視カメラ30により撮影された入力画像に対しては、実施例1と同様に、方向符号照合により画像中からパンタグラフ1aを検出する。その具体的な内容は、図11に示す通りである。
本実施例では、パンタグラフ検出センサ40を省くことができるため、実施例1よりも低コストで、簡単な装置構成にできる。
For the input image photographed by the monitoring camera 30, the pantograph 1a is detected from the image by direction code matching as in the first embodiment. The specific contents are as shown in FIG.
In the present embodiment, since the pantograph detection sensor 40 can be omitted, a simple apparatus configuration can be achieved at a lower cost than in the first embodiment.

本実施例では、監視カメラ30で常に下方を撮影するため、パンタグラフ1aが映っていない列車1の画像も多く撮影される。
しかし、撮影した画像全てに対して実施例1で述べたパンタグラフ検出方法を用いることによりパンタグラフ検出を行うことができるので、パンタグラフ1aが映っている画像のみを最終的に保管することができる。
In the present embodiment, since the surveillance camera 30 always captures the lower part, many images of the train 1 on which the pantograph 1a is not reflected are also captured.
However, since the pantograph detection can be performed on all the captured images by using the pantograph detection method described in the first embodiment, only the image showing the pantograph 1a can be finally stored.

また、パンタグラフ1aの検出を行うタイミングは以下の2パターンが考えられるが、いずれの場合でもパンタグラフ1aが映っている画像のみを最終的に保管することができるので、パングラフが映っている画像を手動で探す労力を省くことができる。   The timing for detecting the pantograph 1a may be the following two patterns. In either case, only an image showing the pantograph 1a can be finally stored, so an image showing the pantograph can be stored. Manual search can be saved.

・ 撮影直後の画像に対してパンタグラフ検出を行う。パンタグラフ1aが映っている画像の場合は、録画装置の画像保管領域に保管する。
・ 撮影した画像を一通り録画装置の画像保管領域に保管しておいてからパンタグラフ検出を行う。パンタグラフ1aが映っていない画像の場合は、その画像を画像保管領域から削除する。
・ Pantograph detection is performed on images immediately after shooting. In the case of an image showing the pantograph 1a, it is stored in the image storage area of the recording device.
・ Pantograph detection is performed after all the captured images are stored in the image storage area of the recording device. If the image does not show the pantograph 1a, the image is deleted from the image storage area.

ただし、実施例1と比べて本実施例の方が検出対象となる画像が多くなる(実施例1ではパンタグラフ1aが映っている列車1の画像が大半だが、本実施例は通過する列車1の画像全てを処理する)ので、全ての画像を処理し終えるまでの時間は実施例1よりも増える。   However, there are more images to be detected in the present embodiment than in the first embodiment (in the first embodiment, most images of the train 1 in which the pantograph 1a is shown, but in this embodiment, the train 1 that passes through Since all the images are processed), the time until all the images are processed is longer than that in the first embodiment.

本発明は、線路上方に設置された監視カメラにより撮影した画像から通過列車のパンタグラフを検出する技術として産業上広く利用可能なものである。   INDUSTRIAL APPLICABILITY The present invention can be widely used industrially as a technique for detecting a pantograph of a passing train from an image taken by a surveillance camera installed above the track.

1 列車
1a パンタグラフ
2 線路
20 照明装置
30 監視カメラ
40 パンタグラフ検出センサ
50 画像処理装置
A パンタグラフ探索範囲
B 横エッジカウント領域
DESCRIPTION OF SYMBOLS 1 Train 1a Pantograph 2 Track 20 Illuminating device 30 Surveillance camera 40 Pantograph detection sensor 50 Image processing apparatus A Pantograph search range B Horizontal edge count area

Claims (14)

列車が通過する線路上方に監視カメラを設置し、該監視カメラにより下方を撮影し、撮影した入力画像を画像処理することにより前記入力画像中にパンタグラフが映っている画像のみを保管するパンタグラフ検出装置において、前記入力画像に対して方向符号照合を行い、予め設定した方向符号探索閾値よりも適合度が高いときには前記入力画像中にパンタグラフが映っていると判断する画像処理装置を備えたことを特徴とするパンタグラフ検出装置。   A pantograph detection device that stores only an image in which a pantograph is shown in the input image by installing a monitoring camera above the track through which the train passes, photographing the lower side with the monitoring camera, and processing the captured input image The image processing apparatus includes: an image processing device that performs direction code matching on the input image and determines that a pantograph appears in the input image when the fitness is higher than a preset direction code search threshold. A pantograph detection device. 請求項1記載のパンタグラフ検出装置において、前記画像処理装置は、前記入力画像の明るさにより前記方向符号探索閾値を変動させることを特徴とするパンタグラフ検出装置。   The pantograph detection device according to claim 1, wherein the image processing device varies the direction code search threshold according to the brightness of the input image. 請求項1又は2記載のパンタグラフ検出装置において、前記画像処理装置は、前記入力画像中において前記方向符号照合によりパンタグラフ検出を行う探索範囲として、前記パンタグラフの形状特徴を用いてエッジヒストグラムを作成し、前記エッジヒストグラムが予め設定した閾値以上の範囲に設定したことを特徴とするパンタグラフ検出装置。   The pantograph detection device according to claim 1 or 2, wherein the image processing device creates an edge histogram using a shape characteristic of the pantograph as a search range for performing pantograph detection by the direction code matching in the input image, The pantograph detection device, wherein the edge histogram is set in a range equal to or greater than a preset threshold value. 請求項3記載のパンタグラフ検出装置において、前記画像処理装置は、前記エッジヒストグラムの作成の前処理として、前記入力画像に対して画質補正を行うことを特徴とするパンタグラフ検出装置。   4. The pantograph detection apparatus according to claim 3, wherein the image processing apparatus performs image quality correction on the input image as a pre-process for creating the edge histogram. 請求項4記載のパンタグラフ検出装置において、前記画像処理装置は、前記画質補正として、濃度分布の線形濃度変換によるコントラスト強調を行うことを特徴とするパンタグラフ検出装置。   5. The pantograph detection device according to claim 4, wherein the image processing device performs contrast enhancement by linear density conversion of a density distribution as the image quality correction. 請求項5記載のパンタグラフ検出装置において、前記画像処理装置は、前記コントラスト強調を行う際、前記パンタグラフを含む画像中央の一定領域内の濃度値ヒストグラムを用いることを特徴とするパンタグラフ検出装置。   6. The pantograph detection device according to claim 5, wherein when performing the contrast enhancement, the image processing device uses a density value histogram in a fixed region in the center of the image including the pantograph. 請求項1記載のパンタグラフ検出装置において、前記線路上方にパンタグラフ検出センサをも設置し、該パンタグラフ検出センサが前記列車上のパンタグラフを検出した際に前記監視カメラにより前記パンタグラフを撮影することを特徴とするパンタグラフ検出装置。   The pantograph detection device according to claim 1, wherein a pantograph detection sensor is also installed above the track, and the pantograph is photographed by the monitoring camera when the pantograph detection sensor detects a pantograph on the train. Pantograph detection device. 列車が通過する線路上方に監視カメラを設置し、該監視カメラにより下方を撮影し、撮影した入力画像を画像処理することにより前記入力画像中にパンタグラフが映っている画像のみを保管するパンタグラフ検出方法において、前記画像処理は、前記入力画像に対して方向符号照合を行い、予め設定した方向符号探索閾値よりも適合度が高いときには前記入力画像中にパンタグラフが映っていると判断することを特徴とするパンタグラフ検出方法。   A pantograph detection method in which a surveillance camera is installed above a track through which a train passes, the lower part is photographed by the surveillance camera, and only the image in which the pantograph is shown in the input image is stored by performing image processing on the photographed input image The image processing is characterized in that the input image is subjected to direction code collation, and it is determined that a pantograph is shown in the input image when the fitness is higher than a preset direction code search threshold. Pantograph detection method to do. 請求項8記載のパンタグラフ検出方法において、前記方向符号照合は、前記入力画像の明るさにより前記方向符号探索閾値を変動させることを特徴とするパンタグラフ検出方法。   9. The pantograph detection method according to claim 8, wherein the direction code collation changes the direction code search threshold according to the brightness of the input image. 請求項8又は9記載のパンタグラフ検出方法において、前記入力画像中において前記方向符号照合によりパンタグラフ検出を行う探索範囲は、前記パンタグラフの形状特徴を用いてエッジヒストグラムを作成し、前記エッジヒストグラムが予め設定した閾値以上の範囲に設定したことを特徴とするパンタグラフ検出方法。   10. The pantograph detection method according to claim 8 or 9, wherein an edge histogram is created using a shape characteristic of the pantograph for a search range in which pantograph detection is performed by directional code matching in the input image, and the edge histogram is set in advance. A pantograph detection method, characterized by being set in a range equal to or greater than the threshold value. 請求項10記載のパンタグラフ検出方法において、前記エッジヒストグラムの作成の前処理として、前記入力画像に対して画質補正を行うことを特徴とするパンタグラフ検出方法。   11. The pantograph detection method according to claim 10, wherein image quality correction is performed on the input image as a pre-process for creating the edge histogram. 請求項11記載のパンタグラフ検出方法において、前記画質補正として、濃度分布の線形濃度変換によるコントラスト強調を行うことを特徴とするパンタグラフ検出方法。   12. The pantograph detection method according to claim 11, wherein contrast enhancement is performed by linear density conversion of density distribution as the image quality correction. 請求項12記載のパンタグラフ検出方法において、前記コントラスト強調を行う際、前記パンタグラフを含む画像中央の一定領域内の濃度値ヒストグラムを用いることを特徴とするパンタグラフ検出方法。   13. The pantograph detection method according to claim 12, wherein when performing the contrast enhancement, a density value histogram in a fixed region in the center of the image including the pantograph is used. 請求項8記載のパンタグラフ検出方法において、前記線路上方にパンタグラフ検出センサをも設置し、該パンタグラフ検出センサが前記列車上のパンタグラフを検出した際に前記監視カメラにより前記パンタグラフを撮影することを特徴とするパンタグラフ検出方法。   9. The pantograph detection method according to claim 8, wherein a pantograph detection sensor is also installed above the track, and the pantograph is photographed by the monitoring camera when the pantograph detection sensor detects a pantograph on the train. Pantograph detection method to do.
JP2010148757A 2010-06-30 2010-06-30 Pantograph detection apparatus and method Active JP5521831B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010148757A JP5521831B2 (en) 2010-06-30 2010-06-30 Pantograph detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010148757A JP5521831B2 (en) 2010-06-30 2010-06-30 Pantograph detection apparatus and method

Publications (2)

Publication Number Publication Date
JP2012015697A true JP2012015697A (en) 2012-01-19
JP5521831B2 JP5521831B2 (en) 2014-06-18

Family

ID=45601627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010148757A Active JP5521831B2 (en) 2010-06-30 2010-06-30 Pantograph detection apparatus and method

Country Status (1)

Country Link
JP (1) JP5521831B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017219529A (en) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 Appearance abnormality inspection device, method, and program
JP2020006788A (en) * 2018-07-06 2020-01-16 株式会社明電舎 Construction limit determination device
JP2020149286A (en) * 2019-03-13 2020-09-17 株式会社明電舎 Overhead wire fitting detection device and overhead wire fitting detection method
JP2022008345A (en) * 2018-07-06 2022-01-13 株式会社明電舎 Clearance limit determination method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106428116A (en) * 2016-09-22 2017-02-22 中车南京浦镇车辆有限公司 Installing structure for pantograph information collecting and light supplementing module
EP3881043A4 (en) 2018-11-12 2022-06-29 Myant Inc. A system for an insulated temperature sensor incorporated in a base fabric layer

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017219529A (en) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 Appearance abnormality inspection device, method, and program
JP2020006788A (en) * 2018-07-06 2020-01-16 株式会社明電舎 Construction limit determination device
JP2022008345A (en) * 2018-07-06 2022-01-13 株式会社明電舎 Clearance limit determination method
JP7020322B2 (en) 2018-07-06 2022-02-16 株式会社明電舎 Building limit judgment device
JP7207479B2 (en) 2018-07-06 2023-01-18 株式会社明電舎 Building gauge determination method
JP2020149286A (en) * 2019-03-13 2020-09-17 株式会社明電舎 Overhead wire fitting detection device and overhead wire fitting detection method

Also Published As

Publication number Publication date
JP5521831B2 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
JP5521831B2 (en) Pantograph detection apparatus and method
US9984303B2 (en) Object detection system, object detection method, POI information creation system, warning system, and guidance system
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP4987826B2 (en) Number plate recognition method and number plate recognition apparatus
JP4389602B2 (en) Object detection apparatus, object detection method, and program
JP2018022220A (en) Behavior data analysis system, and behavior data analysis device, and behavior data analysis method
JP2010003177A (en) Image processor
CN107798688A (en) Motion estimate method, method for early warning and automobile anti-rear end collision prior-warning device
JP4864043B2 (en) Image processing apparatus, method, and program
TW201636572A (en) Device for hanger detection by image processing
JP2008184763A (en) Method and equipment for detecting coming-off of fastening bolt from rail joint plate
KR101026778B1 (en) Vehicle image detection apparatus
KR101236234B1 (en) Detection system of road line using both laser sensor and camera
JP6214426B2 (en) Object detection device
JP2018107665A (en) Imaging apparatus, dirt detection system, and dirt detection method
Jeong et al. Probabilistic method to determine human subjects for low-resolution thermal imaging sensor
JP4740755B2 (en) Monitoring device using images
KR102150661B1 (en) Method and Apparatus for Preprocessing Image for Detecting Objects
JP5305995B2 (en) Object identification device
JP2008180622A (en) Road surface snow accumulation detector and road surface snow accumulation detection method
JP2007060468A (en) Image sensor
JP2004295416A (en) Image processing apparatus
JP2012015698A (en) Pantograph detection device and method thereof
JP2008107857A (en) Moving body recognition method and moving body recognition apparatus
US10878542B2 (en) Method and system for filtering thermal image data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R150 Certificate of patent or registration of utility model

Ref document number: 5521831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150