JP2018144742A - Monitoring device, monitoring method, and program - Google Patents

Monitoring device, monitoring method, and program Download PDF

Info

Publication number
JP2018144742A
JP2018144742A JP2017044064A JP2017044064A JP2018144742A JP 2018144742 A JP2018144742 A JP 2018144742A JP 2017044064 A JP2017044064 A JP 2017044064A JP 2017044064 A JP2017044064 A JP 2017044064A JP 2018144742 A JP2018144742 A JP 2018144742A
Authority
JP
Japan
Prior art keywords
stereo
distance
monitoring
change
stereo camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017044064A
Other languages
Japanese (ja)
Other versions
JP6915842B2 (en
Inventor
尾崎　和也
Kazuya Ozaki
和也 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2017044064A priority Critical patent/JP6915842B2/en
Publication of JP2018144742A publication Critical patent/JP2018144742A/en
Application granted granted Critical
Publication of JP6915842B2 publication Critical patent/JP6915842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Electric Propulsion And Braking For Vehicles (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

PROBLEM TO BE SOLVED: To detect various kinds of abnormalities of a monitored target.SOLUTION: A monitoring device provided in a railway vehicle includes stereo cameras capturing stereo images of targets that are fixedly installed on sides of a track of the railway vehicle, a distance calculating unit calculating distances of the targets captured in the stereo images from the stereo cameras on the basis of the stereo images, and a monitoring unit detecting state changes of the targets on the basis of changes with time of the distances.SELECTED DRAWING: Figure 2

Description

本発明は、監視装置、監視方法及びプログラムに関する。   The present invention relates to a monitoring device, a monitoring method, and a program.

鉄道に関する設備の点検に関して幾つかの技術が提案されている。例えば、特許文献１に記載の、長尺画像を用いた鉄道施設検査方法では、移動する鉄道車両にカメラを搭載し、カメラの画像から長尺画像を生成する。そして、この方法では、長尺画像データの特徴と参照データの特徴とを比較し、トンネルのクラック発生個所などの異常個所を検出する。   Several techniques have been proposed for inspection of railway equipment. For example, in the railway facility inspection method using a long image described in Patent Document 1, a camera is mounted on a moving railway vehicle, and a long image is generated from the image of the camera. In this method, the feature of the long image data is compared with the feature of the reference data, and an abnormal portion such as a tunnel crack occurrence portion is detected.

特開２００７−２２３４７４号公報JP 2007-223474 A

特許文献１に記載されている長尺画像を用いた鉄道施設検査方法よりも、監視対象の多様な異常を検出できることが好ましい。   It is preferable that various abnormalities to be monitored can be detected rather than the railway facility inspection method using the long image described in Patent Document 1.

本発明は、上述の課題を解決することのできるクロック装置、中央演算処理装置、計数装置、計数方法及びプログラムを提供することを目的としている。   An object of the present invention is to provide a clock device, a central processing unit, a counting device, a counting method, and a program that can solve the above-described problems.

本発明の第１の態様によれば、監視装置は、鉄道車両に設けられ、前記鉄道車両の軌道の脇に固定設置された対象物のステレオ画像を撮影するステレオカメラと、前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出する距離算出部と、前記距離の経時変化に基づいて前記対象物の状態変化を検出する監視部と、を備える。   According to the first aspect of the present invention, the monitoring device is provided in the railway vehicle, and is captured in the stereo image that captures a stereo image of the object fixedly installed on the side of the track of the railway vehicle. A distance calculation unit that calculates a distance of the object from the stereo camera based on the stereo image; and a monitoring unit that detects a change in the state of the object based on a change with time of the distance.

本発明の第２の態様によれば、監視方法は、鉄道車両に設けられたステレオカメラが、前記鉄道車両の軌道の脇に固定設置された対象物のステレオ画像を撮影し、前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出し、前記距離の経時変化に基づいて前記対象物の状態変化を検出する、ことを含む。   According to the second aspect of the present invention, in the monitoring method, the stereo camera provided in the railway vehicle takes a stereo image of an object fixedly installed beside the track of the railway vehicle, and the stereo image is displayed. Calculating a distance from the stereo camera of the object to be photographed based on the stereo image, and detecting a change in the state of the object based on a change with time of the distance.

本発明の第３の態様によれば、プログラムは、コンピュータに、鉄道車両に設けられたステレオカメラが、前記鉄道車両の軌道の脇に固定設置された対象物を撮影したステレオ画像を取得させ、前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出させ、前記距離の経時変化に基づいて前記対象物の状態変化を検出させる、ためのプログラムである。   According to the third aspect of the present invention, the program causes a computer to acquire a stereo image obtained by photographing a target object fixedly installed on the side of the railroad vehicle by a stereo camera provided in the railcar. A program for calculating a distance from the stereo camera of the object shown in the stereo image based on the stereo image and detecting a change in the state of the object based on a change with time of the distance.

この発明によれば、監視対象のより多様な異常を検出することができる。   According to the present invention, it is possible to detect more various abnormalities to be monitored.

本発明の実施形態に係る監視装置の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the monitoring apparatus which concerns on embodiment of this invention. 同実施形態に係る車載装置の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the vehicle-mounted apparatus which concerns on the same embodiment. 同実施形態に係るサーバ装置の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the server apparatus which concerns on the same embodiment. 同実施形態に係る車載装置が行う処理の手順の例を示すフローチャートである。It is a flowchart which shows the example of the procedure of the process which the vehicle-mounted apparatus which concerns on the embodiment performs. 同実施形態に係るサーバ装置が、車載装置からのデータを受信して記憶する処理手順の例を示すフローチャートである。It is a flowchart which shows the example of the process sequence which the server apparatus which concerns on the embodiment receives and memorize | stores the data from a vehicle-mounted apparatus. 同実施形態に係るサーバ装置が架線柱の異常の有無を判定する処理手順の例を示すフローチャートである。It is a flowchart which shows the example of the process sequence which the server apparatus which concerns on the embodiment determines the presence or absence of an abnormality of an overhead pole. 本発明に係る監視装置の最小構成の例を示す図である。It is a figure which shows the example of the minimum structure of the monitoring apparatus which concerns on this invention.

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施形態に係る監視装置の構成を示す概略ブロック図である。図１に示すように、監視装置１は、車載装置１００と、サーバ装置２００とを備える。 Hereinafter, although embodiment of this invention is described, the following embodiment does not limit the invention concerning a claim. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
FIG. 1 is a schematic block diagram showing a configuration of a monitoring device according to an embodiment of the present invention. As shown in FIG. 1, the monitoring device 1 includes an in-vehicle device 100 and a server device 200.

監視装置１は、鉄道車両の軌道である線路の脇に固定設置された対象物の状態変化を監視する。
以下では、対象物が鉄道の架線柱であり、監視装置１が架線柱の傾きを監視する場合を例に説明する。但し、監視装置１が監視する対象物は架線柱に限らず、鉄道車両から撮影可能なものであればよい。また、監視装置１が監視する対象物の状態変化は傾きに限らず、ステレオ画像における形状変化として検出可能なものであればよい。ここでいう形状変化は、対象物の変形に限らず、対象物の傾きの変化（姿勢の変化）であってもよい。
例えば、監視装置１が、架線柱の傾きの監視に加えて、あるいは代えて、線路脇の樹木の枝の線路方向への伸びを監視するようにしてもよい。 The monitoring device 1 monitors a state change of an object fixedly installed on the side of a track that is a track of a railway vehicle.
In the following, a case where the target object is a railway overhead pole and the monitoring device 1 monitors the inclination of the overhead pole will be described as an example. However, the object monitored by the monitoring device 1 is not limited to the overhead pole, but may be any object that can be photographed from the railway vehicle. In addition, the state change of the object monitored by the monitoring device 1 is not limited to the tilt, but may be any one that can be detected as a shape change in the stereo image. The shape change here is not limited to the deformation of the object, but may be a change in inclination of the object (change in posture).
For example, in addition to or instead of monitoring the inclination of the overhead pole, the monitoring device 1 may monitor the extension of a tree branch beside the track in the track direction.

車載装置１００は鉄道車両に搭載され、鉄道車両の移動に伴って線路上を移動しながら、車両の側方に向けられたステレオカメラでステレオ画像を撮影する。車載装置１００は、架線柱が写ったステレオ画像に基づいて架線柱の状態情報を算出し、得られた状態情報をサーバ装置２００へ送信する。
車載装置１００が線路上を移動することで、監視装置１は、架線柱のように線路に沿って複数設置されている対象物を監視することができる。また、車載装置１００がステレオカメラで対象物を撮影することで、監視装置１は、ステレオカメラから見て奥行き方向における対象物の状態変化を監視することができる。
上記のように、ステレオカメラは車両の側方に設けられて向けられているので、ステレオカメラから見て奥行き方向は、車両の左右方向（水平方向、かつ、車両の進行方向に直交する方向）である。以下、ステレオカメラから見て奥行き方向を単に奥行き方向とも称する。 The in-vehicle device 100 is mounted on a railway vehicle, and takes a stereo image with a stereo camera directed to the side of the vehicle while moving on the track as the railway vehicle moves. The in-vehicle device 100 calculates the state information of the overhead pole based on the stereo image in which the overhead pole is reflected, and transmits the obtained state information to the server device 200.
As the in-vehicle device 100 moves on the track, the monitoring device 1 can monitor a plurality of objects installed along the track like an overhead pole. Moreover, the monitoring apparatus 1 can monitor the state change of the target object in the depth direction as viewed from the stereo camera by the vehicle-mounted device 100 capturing the target object with the stereo camera.
As described above, since the stereo camera is provided and directed to the side of the vehicle, the depth direction when viewed from the stereo camera is the left-right direction of the vehicle (the horizontal direction and the direction orthogonal to the traveling direction of the vehicle). It is. Hereinafter, the depth direction as viewed from the stereo camera is also simply referred to as a depth direction.

サーバ装置２００は、車載装置１００から受信した状態情報に基づいて、対象物の状態変化を検出する。具体的には、サーバ装置２００は、車載装置１００から受信した対象物の状態情報と、その対象物の過去の状態情報とを比較して、対象物の状態変化を検出する。
例えば、サーバ装置２００は、架線柱の傾きの増加を検出することで、架線柱が所定の傾き以上に傾いていることを検出する。これにより、サーバ装置２００は、架線柱が倒れる可能性を早期に検出することができる。 The server device 200 detects a state change of the object based on the state information received from the in-vehicle device 100. Specifically, the server device 200 detects the change in the state of the object by comparing the state information of the object received from the in-vehicle device 100 with the past state information of the object.
For example, the server device 200 detects an increase in the inclination of the overhead pole, thereby detecting that the overhead pole is inclined more than a predetermined inclination. Thereby, the server apparatus 200 can detect the possibility that an overhead pole falls down early.

図２は、車載装置１００の構成を示す概略ブロック図である。図２に示すように、車載装置１００は、ステレオカメラ１１０と、距離算出部１２０と、ＧＮＳＳ受信機１３０と、データ合成圧縮部１４０と、通信機１５０とを備える。 車載装置１００は車両９１０に搭載されており、車両９１０は線路９２０を走行する。線路９２０の脇には架線柱９３０が固定設置されている。   FIG. 2 is a schematic block diagram showing the configuration of the in-vehicle device 100. As illustrated in FIG. 2, the in-vehicle device 100 includes a stereo camera 110, a distance calculation unit 120, a GNSS receiver 130, a data synthesis compression unit 140, and a communication device 150. The in-vehicle device 100 is mounted on a vehicle 910, and the vehicle 910 travels on the track 920. An overhead pole 930 is fixedly installed on the side of the track 920.

ステレオカメラ１１０は、車両９１０に設けられ、線路９２０の脇に固定設置された架線柱９３０のステレオ画像を撮影する。
車両９１０が線路９２０上を繰り返し走行することで、ステレオカメラ１１０は、線路９２０の同じ位置を繰り返し通過する。従って、ステレオカメラ１１０は、同じ位置から架線柱９３０を撮影することができる。この点で、監視装置１は架線柱９３０の形状変化を高精度に検出することができる。 The stereo camera 110 is provided in the vehicle 910 and captures a stereo image of the overhead pole 930 fixedly installed on the side of the track 920.
As the vehicle 910 repeatedly travels on the track 920, the stereo camera 110 repeatedly passes through the same position on the track 920. Therefore, the stereo camera 110 can image the overhead pole 930 from the same position. In this respect, the monitoring device 1 can detect the shape change of the overhead wire column 930 with high accuracy.

図２では、車両９１０の左右両方にステレオカメラ１１０が設置されている場合の例を示しているが、車両９１０の左右のうちいずれか一方のみにステレオカメラ１１０が設置されていてもよい。車両９１０の左右のうちいずれか一方のみにステレオカメラ１１０が設置される場合、対向車両に視野を遮られない右側に設置されていてもよい。あるいは、架線柱９３０からの距離が比較的大きく架線柱９３０の比較的広範囲を撮影できるように、ステレオカメラ１１０が車両９１０の左側に設置されていてもよい。
また、架線柱９３０の上側及び下側のそれぞれで車両９１０との距離を測定して架線柱９３０の傾きを検出する場合など、ステレオカメラ１１０が車両９１０の上下それぞれに設置されていてもよい。 Although FIG. 2 shows an example in which the stereo cameras 110 are installed on both the left and right sides of the vehicle 910, the stereo cameras 110 may be installed on only one of the left and right sides of the vehicle 910. When the stereo camera 110 is installed on only one of the left and right sides of the vehicle 910, it may be installed on the right side where the field of view is not blocked by the oncoming vehicle. Alternatively, the stereo camera 110 may be installed on the left side of the vehicle 910 so that the distance from the overhead wire pillar 930 is relatively large and a relatively wide area of the overhead wire pillar 930 can be photographed.
In addition, the stereo cameras 110 may be installed above and below the vehicle 910, for example, when the distance from the vehicle 910 is measured on each of the upper side and the lower side of the overhead pole 930 to detect the inclination of the overhead pole 930.

距離算出部１２０は、ステレオカメラ１１０が撮影したステレオ画像に写る架線柱９３０のステレオカメラ１１０からの距離をステレオ画像に基づいて算出する。距離算出部１２０が架線柱９３０のステレオカメラ１１０からの距離を求める方法として、ステレオマッチング法など公知の方法を用いることができる。
距離算出部１２０は、サーバ装置２００側に設けられていてもよい。 The distance calculation unit 120 calculates the distance from the stereo camera 110 of the overhead pole 930 that appears in the stereo image captured by the stereo camera 110 based on the stereo image. A known method such as a stereo matching method can be used as a method by which the distance calculation unit 120 calculates the distance of the overhead pole 930 from the stereo camera 110.
The distance calculation unit 120 may be provided on the server device 200 side.

ＧＮＳＳ受信機１３０は、ＧＮＳＳ受信機１３０自らの位置情報を取得する。ＧＮＳＳ受信機１３０が取得する位置情報は、線路９２０上における車両９１０の位置（キロ程）を示す情報として用いることができる。キロ程を特定することで、線路９２０の脇に複数設置されている架線柱９３０の各々を識別することができる。
但し、車載装置１００がキロ程を検出する方法は、ＧＮＳＳ受信機１３０による方法に限らない。例えば、車載装置１００が、ステレオカメラ１１０が撮影した画像からマイルストーンの像を検出し、マイルストーンとステレオカメラ１１０との位置関係からキロ程を検出するようにしてもよい。 The GNSS receiver 130 acquires the position information of the GNSS receiver 130 itself. The position information acquired by the GNSS receiver 130 can be used as information indicating the position (about kilometer) of the vehicle 910 on the track 920. By specifying the kilometer, it is possible to identify each of the plurality of overhead poles 930 installed on the side of the track 920.
However, the method by which the in-vehicle device 100 detects kilometer is not limited to the method using the GNSS receiver 130. For example, the in-vehicle device 100 may detect an image of a milestone from an image captured by the stereo camera 110, and may detect about a kilometer from the positional relationship between the milestone and the stereo camera 110.

或いは、車載装置１００が、ＧＮＳＳ受信機１３０の測位結果とステレオカメラ１１０の画像との組み合わせに基づいてキロ程を検出するようにしてもよい。車載装置１００が高精度に測位を行うことができる場合、測位結果をステレオカメラ１１０の位置情報として用いることができる。これにより、ステレオカメラ１１０が前回と同じ場所から架線柱９３０を撮影しているか否かを確認することができる。   Alternatively, the in-vehicle device 100 may detect the kilometer based on the combination of the positioning result of the GNSS receiver 130 and the image of the stereo camera 110. When the in-vehicle device 100 can perform positioning with high accuracy, the positioning result can be used as position information of the stereo camera 110. Thereby, it can be confirmed whether the stereo camera 110 is photographing the overhead pole 930 from the same place as the previous time.

データ合成圧縮部１４０は、ステレオカメラ１１０の撮影画像データと、距離算出部１２０が算出した距離情報と、ＧＮＳＳ受信機１３０の測位結果データとを合成して１つのデータに纏めて圧縮する。
通信機１５０は、サーバ装置２００と通信する。特に通信機１５０は、データ合成圧縮部１４０が圧縮したデータをサーバ装置２００へ送信する。 The data synthesis / compression unit 140 synthesizes the captured image data of the stereo camera 110, the distance information calculated by the distance calculation unit 120, and the positioning result data of the GNSS receiver 130, and compresses them into one data.
The communication device 150 communicates with the server device 200. In particular, the communication device 150 transmits the data compressed by the data synthesis compression unit 140 to the server device 200.

図３は、サーバ装置２００の構成を示す概略ブロック図である。図３に示すように、サーバ装置２００は、通信部２１０と、操作入力部２２０と、表示部２３０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、受信処理部２９１と、監視部２９２とを備える。   FIG. 3 is a schematic block diagram illustrating the configuration of the server device 200. As illustrated in FIG. 3, the server device 200 includes a communication unit 210, an operation input unit 220, a display unit 230, a storage unit 280, and a control unit 290. The control unit 290 includes a reception processing unit 291 and a monitoring unit 292.

通信部２１０は、通信機１５０と通信する。特に、通信部２１０は、通信機１５０が送信したデータを受信する。
操作入力部２２０は、例えばキーボード及びマウス等の入力デバイスを備え、ユーザ操作を受ける。
表示部２３０は、例えば液晶パネル又はＬＥＤパネル等の表画面を備え、各種画像を表示する。 The communication unit 210 communicates with the communication device 150. In particular, the communication unit 210 receives data transmitted by the communication device 150.
The operation input unit 220 includes input devices such as a keyboard and a mouse and receives user operations.
The display unit 230 includes a front screen such as a liquid crystal panel or an LED panel, and displays various images.

記憶部２８０は、サーバ装置２００が備える記憶デバイスを用いて構成され、各種データを記憶する。
制御部２９０は、サーバ装置２００の各部を制御して各種処理を実行する。制御部２９０は、サーバ装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部２８０からプログラムを読み出して実行することで構成される。
受信処理部２９１は、通信部２１０を制御して車載装置１００からのデータを受信し、受信データを伸長する。 The storage unit 280 is configured using a storage device provided in the server apparatus 200 and stores various data.
The control unit 290 controls each unit of the server device 200 and executes various processes. The control unit 290 is configured by a CPU (Central Processing Unit) provided in the server device 200 reading out and executing a program from the storage unit 280.
The reception processing unit 291 controls the communication unit 210 to receive data from the in-vehicle device 100 and expands the received data.

監視部２９２は、ステレオカメラ１１０と架線柱９３０との距離の経時変化に基づいて架線柱９３０の状態変化を検出する。例えば、監視部２９２は、ステレオカメラ１１０と架線柱９３０との距離の経時変化に基づいて架線柱９３０の傾きを監視する。
監視部２９２は、車載装置１００からのデータと、記憶部２８０が記憶している過去のデータとを比較して、ステレオカメラ１１０と架線柱９３０との距離の経時変化を算出する。 The monitoring unit 292 detects a change in the state of the overhead pole 930 based on a change over time in the distance between the stereo camera 110 and the overhead pole 930. For example, the monitoring unit 292 monitors the inclination of the overhead wire column 930 based on a change over time in the distance between the stereo camera 110 and the overhead wire column 930.
The monitoring unit 292 compares the data from the in-vehicle device 100 with the past data stored in the storage unit 280, and calculates the change with time of the distance between the stereo camera 110 and the overhead pole 930.

次に、図４〜図６を参照して、監視装置１の動作について説明する。
図４は、車載装置１００が行うしょりの手順の例を示すフローチャートである。車載装置１００は、車両９１０が走行している間、図４の処理を繰り返し行う。あるいは、車載装置１００が所定のキロ程又は所定の時刻で図４の処理を行うようにしてもよい。
図４の処理で、ステレオカメラ１１０がステレオ画像を撮影する（ステップＳ１１１）。距離算出部１２０は、ステレオカメラ１１０が撮影した画像に対してパターンマッチングを行って、架線柱９３０の像を検出する（ステップＳ１１２）。そして、距離算出部１２０は、ステレオ画像に基づいてステレオカメラ１１０と架線柱９３０との距離を算出する（ステップＳ１１３）。
ＧＮＳＳ受信機１３０は、車載装置１００が撮影を行うタイミングでＧＮＳＳ受信機１３０自らの位置情報を取得する（ステップＳ１２１）。 Next, the operation of the monitoring device 1 will be described with reference to FIGS.
FIG. 4 is a flowchart illustrating an example of a procedure for the in-car device 100 to perform. The in-vehicle device 100 repeatedly performs the process of FIG. 4 while the vehicle 910 is traveling. Alternatively, the in-vehicle device 100 may perform the process of FIG. 4 at a predetermined kilometer or a predetermined time.
In the process of FIG. 4, the stereo camera 110 captures a stereo image (step S111). The distance calculation unit 120 performs pattern matching on the image captured by the stereo camera 110 and detects an image of the overhead pole 930 (step S112). Then, the distance calculation unit 120 calculates the distance between the stereo camera 110 and the overhead pole 930 based on the stereo image (step S113).
The GNSS receiver 130 acquires the position information of the GNSS receiver 130 itself at the timing when the in-vehicle device 100 performs shooting (step S121).

データ合成圧縮部１４０は、ステレオカメラ１１０が撮影したステレオ画像の画像データと、距離算出部１２０が算出したステレオカメラ１１０と架線柱９３０との距離情報と、ＧＮＳＳ受信機１３０の測位で得られた位置情報とを１つのデータに纏める（ステップＳ１３１）。纏められたデータは、車載装置１００からサーバ装置２００への送信データとして用いられる。   The data synthesis compression unit 140 is obtained by the image data of the stereo image captured by the stereo camera 110, the distance information between the stereo camera 110 and the overhead pole 930 calculated by the distance calculation unit 120, and the positioning of the GNSS receiver 130. The position information is collected into one data (step S131). The collected data is used as transmission data from the in-vehicle device 100 to the server device 200.

データ合成圧縮部１４０は更に、ステップＳ１３１で得られた送信データを圧縮する（ステップＳ１３２）。
通信機１５０は、データ合成圧縮部１４０が送信データを圧縮した圧縮データをサーバ装置２００へ送信する（ステップＳ１３３）。
ステップＳ１３３の後、図４の処理を終了する。 The data composition compression unit 140 further compresses the transmission data obtained in step S131 (step S132).
The communication device 150 transmits the compressed data obtained by compressing the transmission data by the data synthesis compression unit 140 to the server device 200 (step S133).
After step S133, the process of FIG.

図５は、サーバ装置２００が、車載装置１００からのデータを受信して記憶する処理手順の例を示すフローチャートである。サーバ装置２００は、車両９１０が走行する時間の間、図５の処理を行う。
図５の処理で、通信部２１０は、車載装置１００からの圧縮データを待ち受けて受信する（ステップＳ２１１）。 FIG. 5 is a flowchart illustrating an example of a processing procedure in which the server device 200 receives and stores data from the in-vehicle device 100. The server device 200 performs the process of FIG. 5 during the time when the vehicle 910 travels.
In the process of FIG. 5, the communication unit 210 waits for and receives the compressed data from the in-vehicle device 100 (step S211).

受信処理部２９１は、通信部２１０が圧縮データを受信したか否かを判定する（ステップＳ２１２）。受信していないと判定した場合（ステップＳ２１２：ＮＯ）、ステップＳ２１１へ戻る。一方、通信部２１０が圧縮データを受信したと判定した場合（ステップＳ２１２：ＹＥＳ）、受信処理部２９１は、得られた圧縮データを伸長する（ステップＳ２２１）。ステップＳ２２１での伸長により受信処理部２９１は、図４のステップＳ１３２でデータ合成圧縮部１４０が圧縮する前のデータを復元する。
受信処理部２９１は、伸長したデータを記憶部２８０に記憶させる（ステップＳ２２２）。
ステップＳ２２２の後ステップＳ２１１へ戻る。 The reception processing unit 291 determines whether or not the communication unit 210 has received compressed data (step S212). If it is determined that the data has not been received (step S212: NO), the process returns to step S211. On the other hand, when it is determined that the communication unit 210 has received the compressed data (step S212: YES), the reception processing unit 291 decompresses the obtained compressed data (step S221). Due to the expansion in step S221, the reception processing unit 291 restores the data before being compressed by the data synthesis compression unit 140 in step S132 of FIG.
The reception processing unit 291 stores the decompressed data in the storage unit 280 (step S222).
After step S222, the process returns to step S211.

図６は、サーバ装置２００が架線柱９３０の異常の有無を判定する処理手順の例を示すフローチャートである。サーバ装置２００が図６の処理を行うタイミングは特定のタイミングに限定されない。例えばサーバ装置２００が、例えば所定の時刻に図６の処理を行うようにしてもよい。あるいは、通信部２１０が車載装置１００からのデータを受信する毎に図６の処理を行うようにしてもよい。   FIG. 6 is a flowchart illustrating an example of a processing procedure in which the server device 200 determines whether or not the overhead pole 930 is abnormal. The timing at which the server apparatus 200 performs the processing in FIG. 6 is not limited to a specific timing. For example, the server device 200 may perform the process of FIG. 6 at a predetermined time, for example. Alternatively, the processing of FIG. 6 may be performed every time the communication unit 210 receives data from the in-vehicle device 100.

図６の処理で、監視部２９２は、記憶部２８０からデータを読み出し（ステップＳ３１１）、さらに記憶部２８０から過去データを読み出す（ステップＳ３１２）。監視部２９２がステップＳ３１１で読み出すデータ、ステップＳ３１２で読み出す過去データのいずれも、図５のステップＳ２２２で受信処理部２９１が記憶部２８０に記憶させたデータである。監視部２９２がステップＳ３１１で読み出すデータと、ステップＳ３１２で読み出すデータとは、ステレオカメラ１１０が同じ架線柱９３０を同じ位置（あるいは、およそ同じ位置）から異なる時期に撮影して得られたデータである。同じ位置から撮影したか否かは、例えば、ステレオカメラ１１０が撮影した画像中で同じ位置に架線柱９３０の像が位置するか否かで判定することができる。   In the process of FIG. 6, the monitoring unit 292 reads data from the storage unit 280 (step S311), and further reads past data from the storage unit 280 (step S312). Both the data read by the monitoring unit 292 in step S311 and the past data read in step S312 are data stored in the storage unit 280 by the reception processing unit 291 in step S222 of FIG. The data read by the monitoring unit 292 in step S311 and the data read in step S312 are data obtained by photographing the same overhead pole 930 from the same position (or approximately the same position) at different times by the stereo camera 110. . Whether or not the image is taken from the same position can be determined by whether or not the image of the overhead pole 930 is located at the same position in the image taken by the stereo camera 110, for example.

例えば、監視部２９２は、記憶部２８０が記憶しているデータのうち、未だ図６の処理を適用してないデータをステップＳ３１１で読み出す。そして、監視部２９２は、ステップＳ３１１で得られたデータの生成時期よりも所定時間（例えば１年）以上昔のデータをステップＳ３１２で読み出す。
なお、ステップＳ３１１で得られるデータと、ステップＳ３１２で得られるデータとでは、線路９２０上における車両の位置が多少異なるなど、ステレオカメラ１１０の位置が異なることが考えられる。この違いを吸収するために、監視部２９２がステップＳ３１１で取得するデータ、ステップＳ３１２で取得するデータのいずれか一方又は両方を、複数のデータの平均をとったデータにしてもよい。 For example, the monitoring unit 292 reads out data stored in the storage unit 280 that has not yet been applied with the process of FIG. 6 in step S311. Then, the monitoring unit 292 reads in step S312 data that is more than a predetermined time (for example, one year) older than the data generation time obtained in step S311.
Note that the data obtained in step S311 and the data obtained in step S312 may have different positions of the stereo camera 110, such as a slightly different position of the vehicle on the track 920. In order to absorb this difference, one or both of the data acquired by the monitoring unit 292 in step S311 and the data acquired in step S312 may be data obtained by averaging a plurality of data.

ステップＳ３１２の処理の後、監視部２９２は、ステップＳ３１１で得られたデータが示すステレオカメラ１１０と架線柱９３０との距離と、ステップＳ３１２で得られたデータが示すステレオカメラ１１０と架線柱９３０との距離と、の差を算出することで距離の変化を算出する（ステップＳ３１３）。この距離の変化は、架線柱９３０の傾きの変化を示していると考えられる。   After the process of step S312, the monitoring unit 292 displays the distance between the stereo camera 110 and the overhead pole 930 indicated by the data obtained in step S311 and the stereo camera 110 and overhead pole 930 indicated by the data obtained in step S312. The distance change is calculated by calculating the difference between the distance (step S313). This change in the distance is considered to indicate the change in the inclination of the overhead pole 930.

そして、監視部２９２は、ステップＳ３１３で算出した距離の変化が閾値より大きいか否かを判定する（ステップＳ３１４）。
変化が閾値より大きいと判定した場合（ステップＳ３１４：ＹＥＳ）、監視部２９２は異常有りの場合の処理を行う（ステップＳ３２１）。例えば、監視部２９２は、表示部２３０を制御して、架線柱９３０の点検を指示するアラームと、架線柱９３０を識別する情報としてＧＮＳＳ受信機１３０の測位結果の位置情報とを表示させる。
ステップＳ３２１の後、図６の処理を終了する。 And the monitoring part 292 determines whether the change of the distance calculated by step S313 is larger than a threshold value (step S314).
When it is determined that the change is greater than the threshold (step S314: YES), the monitoring unit 292 performs processing when there is an abnormality (step S321). For example, the monitoring unit 292 controls the display unit 230 to display an alarm instructing inspection of the overhead pole 930 and position information of a positioning result of the GNSS receiver 130 as information for identifying the overhead pole 930.
After step S321, the process of FIG.

一方、変化が閾値以下であると判定した場合（ステップＳ３１４：ＮＯ）、監視部２９２は異常無しの場合の処理を行う（ステップＳ３３１）。例えば、監視部２９２は、異常を検出しなかった旨をログに記録する。あるいは、監視部２９２が、特に処理を行わずにステップＳ３３１を終了するようにしてもよい。
ステップＳ３３１の後、図６の処理を終了する。 On the other hand, when it determines with a change being below a threshold value (step S314: NO), the monitoring part 292 performs the process when there is no abnormality (step S331). For example, the monitoring unit 292 records in the log that no abnormality has been detected. Alternatively, the monitoring unit 292 may end step S331 without performing any particular processing.
After step S331, the process of FIG.

以上のように、ステレオカメラ１１０は、車両９１０に設けられ、線路９２０の脇に固定設置された架線柱９３０のステレオ画像を撮影する。距離算出部１２０は、ステレオ画像に写る架線柱９３０のステレオカメラ１１０からの距離をステレオ画像に基づいて算出する。監視部２９２は、架線柱９３０のステレオカメラ１１０からの距離の経時変化に基づいて架線柱９３０の状態変化を検出する。
これにより、監視部２９２は、車両９１０の進行方向（前後方向）への架線柱９３０の傾きだけでなく、奥行き方向（車両９１０の左右方向）への架線柱９３０の傾きも検出することができる。この点で、監視装置１によれば、監視対象である架線柱９３０のより多様な異常を検出することができる。
なお、車両の前後方向（進行方向）への架線柱９３０の傾きについては、監視部２９２がステレオ画像内の架線柱９３０の像から傾きを計算するようにしてもよい。 As described above, the stereo camera 110 is provided in the vehicle 910 and captures a stereo image of the overhead pole 930 fixedly installed on the side of the track 920. The distance calculation unit 120 calculates the distance from the stereo camera 110 of the overhead pole 930 shown in the stereo image based on the stereo image. The monitoring unit 292 detects a change in the state of the overhead line pillar 930 based on a change with time of the distance of the overhead line pillar 930 from the stereo camera 110.
Accordingly, the monitoring unit 292 can detect not only the inclination of the overhead line column 930 in the traveling direction (front-rear direction) of the vehicle 910 but also the inclination of the overhead line column 930 in the depth direction (left-right direction of the vehicle 910). . In this regard, according to the monitoring device 1, it is possible to detect more various abnormalities of the overhead pole 930 that is the monitoring target.
Note that the inclination of the overhead line column 930 in the vehicle front-rear direction (traveling direction) may be calculated by the monitoring unit 292 from the image of the overhead line column 930 in the stereo image.

また、監視部２９２は、架線柱９３０のステレオカメラ１１０からの距離の経時変化に基づいて架線柱９３０の傾きを監視する。
これにより、監視部２９２は、例えば経時変化前後の距離の差を閾値と比較するなど、簡単な処理で架線柱９３０の傾きを検出することができる。 In addition, the monitoring unit 292 monitors the inclination of the overhead pole 930 based on the change over time of the distance of the overhead pole 930 from the stereo camera 110.
As a result, the monitoring unit 292 can detect the inclination of the overhead pole 930 by a simple process, for example, by comparing the difference in distance before and after the change with time with a threshold value.

次に、図７を参照して、本発明の最小構成について説明する。
図７は、本発明に係る監視装置の最小構成の例を示す図である。図７に示す監視装置１０は、ステレオカメラ１１と、距離算出部１２と、監視部１３とを備える。
かかる構成にて、ステレオカメラ１１は、鉄道車両に設けられ、鉄道の脇に固定設置された架線柱９３０のステレオ画像を撮影する。距離算出部１２は、ステレオ画像に写る対象物のステレオカメラ１１からの距離をステレオ画像に基づいて算出する。監視部１３は、距離の経時変化に基づいて対象物の状態変化を検出する。
これにより、監視部１３は、車両の進行方向（前後方向）への対象物の傾きだけでなく、奥行き方向（車両の左右方向）への対象物の傾きも検出することができる。この点で、監視装置１によれば、対象物のより多様な異常を検出することができる。 Next, the minimum configuration of the present invention will be described with reference to FIG.
FIG. 7 is a diagram showing an example of the minimum configuration of the monitoring apparatus according to the present invention. A monitoring apparatus 10 illustrated in FIG. 7 includes a stereo camera 11, a distance calculation unit 12, and a monitoring unit 13.
With such a configuration, the stereo camera 11 is provided in the railway vehicle and captures a stereo image of the overhead pole 930 fixedly installed on the side of the railway. The distance calculation unit 12 calculates the distance from the stereo camera 11 of the object shown in the stereo image based on the stereo image. The monitoring unit 13 detects a change in the state of the object based on the change over time of the distance.
Thereby, the monitoring unit 13 can detect not only the inclination of the object in the traveling direction (front-rear direction) of the vehicle but also the inclination of the object in the depth direction (left-right direction of the vehicle). In this regard, according to the monitoring device 1, it is possible to detect more various abnormalities of the object.

なお、車載装置１００及びサーバ装置２００の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 A program for realizing all or part of the functions of the in-vehicle device 100 and the server device 200 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. By doing so, the processing of each unit may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

１、１０ 監視装置
１１、１１０ ステレオカメラ
１２、１２０ 距離算出部
１３、２９２ 監視部
１００ 車載装置
１３０ ＧＮＳＳ受信機
１４０ データ合成圧縮部
１５０ 通信機
２００ サーバ装置
２１０ 通信部
２２０ 操作入力部
２３０ 表示部
２８０ 記憶部
２９０ 制御部
２９１ 受信処理部 1, 10 Monitoring device 11, 110 Stereo camera 12, 120 Distance calculation unit 13, 292 Monitoring unit 100 In-vehicle device 130 GNSS receiver 140 Data composition compression unit 150 Communication device 200 Server device 210 Communication unit 220 Operation input unit 230 Display unit 280 Storage unit 290 Control unit 291 Reception processing unit

Claims (4)

鉄道車両に設けられ、前記鉄道車両の軌道の脇に固定設置された対象物のステレオ画像を撮影するステレオカメラと、
前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出する距離算出部と、
前記距離の経時変化に基づいて前記対象物の状態変化を検出する監視部と、
を備える監視装置。 A stereo camera for capturing a stereo image of an object provided on a railcar and fixedly installed beside a track of the railcar;
A distance calculating unit that calculates a distance from the stereo camera of the object captured in the stereo image based on the stereo image;
A monitoring unit that detects a change in state of the object based on a change in the distance over time;
A monitoring device comprising: 前記監視部は前記距離の経時変化に基づいて前記対象物の傾きを監視する
請求項１に記載の監視装置。 The monitoring apparatus according to claim 1, wherein the monitoring unit monitors an inclination of the object based on a change with time of the distance. 鉄道車両に設けられたステレオカメラが、前記鉄道車両の軌道の脇に固定設置された対象物のステレオ画像を撮影し、
前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出し、
前記距離の経時変化に基づいて前記対象物の状態変化を検出する、
ことを含む監視方法。 A stereo camera provided in the railway vehicle takes a stereo image of an object fixedly installed on the side of the railroad track,
Calculating the distance from the stereo camera of the object in the stereo image based on the stereo image;
Detecting a change in state of the object based on a change in the distance over time;
Monitoring method including that. コンピュータに、
鉄道車両に設けられたステレオカメラが、前記鉄道車両の軌道の脇に固定設置された対象物を撮影したステレオ画像を取得させ、
前記ステレオ画像に写る前記対象物の前記ステレオカメラからの距離を前記ステレオ画像に基づいて算出させ、
前記距離の経時変化に基づいて前記対象物の状態変化を検出させる、
ためのプログラム。 On the computer,
A stereo camera provided on the railroad vehicle acquires a stereo image obtained by photographing an object fixedly installed on the side of the railroad track,
The distance from the stereo camera of the object that appears in the stereo image is calculated based on the stereo image,
Detecting a change in the state of the object based on a change in the distance over time;
Program for.
JP2017044064A 2017-03-08 2017-03-08 Monitoring equipment, monitoring methods and programs Active JP6915842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017044064A JP6915842B2 (en) 2017-03-08 2017-03-08 Monitoring equipment, monitoring methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017044064A JP6915842B2 (en) 2017-03-08 2017-03-08 Monitoring equipment, monitoring methods and programs

Publications (2)

Publication Number Publication Date
JP2018144742A true JP2018144742A (en) 2018-09-20
JP6915842B2 JP6915842B2 (en) 2021-08-04

Family

ID=63590539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017044064A Active JP6915842B2 (en) 2017-03-08 2017-03-08 Monitoring equipment, monitoring methods and programs

Country Status (1)

Country Link
JP (1) JP6915842B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223474A (en) * 2006-02-23 2007-09-06 Railway Technical Res Inst Railroad facility inspection method using long image and device therefor
US20090073428A1 (en) * 2007-08-22 2009-03-19 Steven Magnus Rail measurement system
US20140218482A1 (en) * 2013-02-05 2014-08-07 John H. Prince Positive Train Control Using Autonomous Systems
JP2015116916A (en) * 2013-12-18 2015-06-25 株式会社明電舎 Inspection device for position of utility pole in front of vehicle
JP2016192109A (en) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 Method and device for obstacle detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223474A (en) * 2006-02-23 2007-09-06 Railway Technical Res Inst Railroad facility inspection method using long image and device therefor
US20090073428A1 (en) * 2007-08-22 2009-03-19 Steven Magnus Rail measurement system
US20140218482A1 (en) * 2013-02-05 2014-08-07 John H. Prince Positive Train Control Using Autonomous Systems
JP2015116916A (en) * 2013-12-18 2015-06-25 株式会社明電舎 Inspection device for position of utility pole in front of vehicle
JP2016192109A (en) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 Method and device for obstacle detection

Also Published As

Publication number Publication date
JP6915842B2 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
US9684835B2 (en) Image processing system, image processing method, and program
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
KR102359894B1 (en) Apparatus and method for providing road surface information
EP2824416A1 (en) Distance calculation device and distance calculation method
JP6728897B2 (en) Image collecting device, image collecting system, image collecting method and program
EP3690800A2 (en) Information processing apparatus, information processing method, and program
US20120183205A1 (en) Method for displacement measurement, device for displacement measurement, and program for displacement measurement
JP2019079303A (en) Road facility inspection system, road facility inspection method, and server used therefor
JP2022054521A (en) Round inspection work evaluation system, round inspection work evaluation device, operation terminal, position detection terminal, and round inspection work evaluation method
JP2008026998A (en) Obstacle location calculation system and method
JP2008026999A (en) Obstacle detection system and obstacle detection method
JP6915842B2 (en) Monitoring equipment, monitoring methods and programs
JP2016103690A (en) Monitoring system, monitoring apparatus, and monitoring method
US20190143926A1 (en) Vehicle management system, inspection information transmission system, information management system, vehicle management program, inspection information transmission program, and information management program
JP2011180049A (en) Pantograph monitoring system
US11157750B2 (en) Captured image check system and captured image check method
EP4015990A1 (en) Image processing device
US20240013476A1 (en) Traffic event reproduction system, server, traffic event reproduction method, and non-transitory computer readable medium
US10825191B2 (en) Non-transitory computer readable recording medium, assessment method, and assessment device
JP2020035199A (en) Learning data generation device and obstacle detection system
JP2012208835A (en) Disaster detection image processing system
US10733717B2 (en) Measurement device and method for operating the same
JP2015072656A (en) Vehicle information collection device, monitoring device, vehicle information collection method, vehicle information collection system, vehicle information collection program, and monitoring program
JP2017146704A (en) Information processing device, information processing method and program
JP6552944B2 (en) Information processing apparatus and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6915842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350