JP2021192181A - Abnormality notification system and abnormality notification method - Google Patents

Abnormality notification system and abnormality notification method Download PDF

Info

Publication number
JP2021192181A
JP2021192181A JP2020098719A JP2020098719A JP2021192181A JP 2021192181 A JP2021192181 A JP 2021192181A JP 2020098719 A JP2020098719 A JP 2020098719A JP 2020098719 A JP2020098719 A JP 2020098719A JP 2021192181 A JP2021192181 A JP 2021192181A
Authority
JP
Japan
Prior art keywords
image
trained model
information processing
abnormality
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020098719A
Other languages
Japanese (ja)
Other versions
JP6961041B1 (en
Inventor
英志 早川
Eishi Hayakawa
慶介 熊木
Keisuke Kumaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Systems Corp
Original Assignee
Toyota Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Systems Corp filed Critical Toyota Systems Corp
Priority to JP2020098719A priority Critical patent/JP6961041B1/en
Application granted granted Critical
Publication of JP6961041B1 publication Critical patent/JP6961041B1/en
Publication of JP2021192181A publication Critical patent/JP2021192181A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

To notify a driver seat of a train of an abnormal state of a railroad crossing to support safe driving by a driver.SOLUTION: A server device 40 transparently superimposes a field image A and a teacher image B to generate a composite image C, and generates a trained model M based on the composite image C and correct answer data R to notify an information processing device 30 of the generated trained model M. The information processing device 30 generates an abnormality score for an input image E using this trained model M to notify a monitoring center device 60 of the abnormality score. The monitoring center device 60 notifies a display device of a train 70 of the abnormality score when the abnormality score is equal to or higher than a predetermined determination threshold value.SELECTED DRAWING: Figure 1

Description

この発明は、踏切での異常を判定し、該踏切に接近する電車に対して異常を迅速に通知することができる異常通知システム、サーバ装置、学習済モデル生成プログラム及び異常通知方法に関する。 The present invention relates to an abnormality notification system, a server device, a learned model generation program, and an abnormality notification method capable of determining an abnormality at a railroad crossing and promptly notifying the train approaching the railroad crossing of the abnormality.

従来、鉄道線路と道路が平面交差する踏切は、歩行者又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた2個以上の赤色閃光灯を交互に点滅するとともに、警報機からカンカンという音を発し、その後に自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。 Conventionally, a railroad crossing where a railroad track and a road intersect in a plane is a dangerous area where a moving object such as a pedestrian or a car and a train may collide with each other and cause a serious accident. For this reason, an alarm and a barrier are installed at the railroad crossing, and when a train approaches within a certain distance of the railroad crossing, two or more red flash lights provided on the railroad crossing blink alternately and from the alarm. It makes a clicking sound and then lowers the barrier bar of the automatic barrier to prevent moving objects from entering the railroad crossing.

このように遮断棒による踏切内への移動体の侵入を抑制したとしても、電車が踏切を通過するときに踏切内の移動体と接触し、重大事故に至るケースがある。このため、固定カメラにより踏切を撮像し、電車の運転席に搭載された表示装置に該踏切の映像を表示する技術が知られている(例えば、特許文献1を参照)。 Even if the invasion of the moving object into the railroad crossing by the blocking bar is suppressed in this way, there are cases where the train comes into contact with the moving object in the railroad crossing when passing through the railroad crossing, leading to a serious accident. Therefore, there is known a technique of capturing a railroad crossing with a fixed camera and displaying an image of the railroad crossing on a display device mounted on a driver's seat of a train (see, for example, Patent Document 1).

特開2017−087978号公報JP-A-2017-0877978

しかしながら、この特許文献1のものは、踏切におけるリアルタイムの映像が電車の表示装置に表示されるため、運転手は、この映像を見ながら異常の有無を予測しなければならない。踏切は、電車が通過する直前まで多種多様の移動体が通過するため、運転手が事前の映像を見ながら異常を予測することは難しい。 However, in the case of Patent Document 1, since a real-time image of a railroad crossing is displayed on a train display device, the driver must predict the presence or absence of an abnormality while watching this image. Since a wide variety of moving objects pass through railroad crossings until just before the train passes, it is difficult for the driver to predict anomalies while watching the images in advance.

その結果、この特許文献1を用いて電車の表示装置に映像を表示したとしても、電車の運転手が踏切内の状況に適正に対処できず、その結果として重大事故が発生する可能性がある。 As a result, even if the image is displayed on the display device of the train using this Patent Document 1, the driver of the train cannot properly deal with the situation inside the railroad crossing, and as a result, a serious accident may occur. ..

本発明は、上記の課題を解決するためになされたものであって、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することができる異常通知システム、サーバ装置、学習済モデル生成プログラム及び異常通知方法を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and is an abnormality notification system and a server device capable of notifying the driver's seat of a railroad crossing of an abnormal state of a railroad crossing and supporting safe driving by a driver. , A trained model generation program and an abnormality notification method.

上記課題を解決するため、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムであって、前記情報処理装置は、前記踏切周辺の現場画像を撮像する撮像手段と、前記撮像手段で撮像した現場画像を前記サーバ装置に通知する現場画像通知手段とを有し、前記サーバ装置は、所定の教師用画像を含む教師情報を記憶する記憶手段と、前記情報処理装置から前記現場画像を取得する現場画像取得手段と、前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段とを有し、前記情報処理装置は、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知することを特徴とする。 In order to solve the above problems, the present invention can communicate with the information processing device arranged in or near the monitoring area of the crossing through which the railroad vehicle traveling on the track or a track similar thereto passes. An abnormality notification system having a server device and a monitoring center device for monitoring the railroad vehicle, detecting an abnormality in the monitoring area and notifying the railroad vehicle, wherein the information processing device is located around the railroad crossing. It has an image pickup means for capturing a site image and a site image notification means for notifying the server device of the site image captured by the image pickup means, and the server device stores teacher information including a predetermined teacher image. A trained model generation means that generates a trained model based on a storage means, a field image acquisition means that acquires the field image from the information processing device, a teacher image stored in the storage means, and the field image. And a trained model notification means for notifying the information processing apparatus of the trained model generated by the trained model generation means, and the information processing apparatus uses the trained model received from the server apparatus. The abnormality determination is performed, and the abnormality determination result is notified to the monitoring center device.

また、本発明は、上記の発明において、前記学習済モデル生成手段は、前記記憶手段に記憶された教師用画像を前記現場画像と合成して合成画像を生成する合成画像生成手段と、前記合成画像生成手段により生成された合成画像及び異常スコアを所定の多層ニューラルネットワークに適用して教師有り学習を繰り返して学習済モデルを生成する学習手段とを有することを特徴とする。 Further, in the above invention, in the above invention, the trained model generation means is a composite image generation means for generating a composite image by synthesizing a teacher's image stored in the storage means with the field image, and the synthesis. It is characterized by having a learning means for generating a trained model by repeating supervised learning by applying a composite image and an abnormality score generated by the image generation means to a predetermined multi-layer neural network.

また、本発明は、上記の発明において、前記合成画像生成手段は、前記記憶部に記憶された教師用画像を半透明状態として前記現場画像に重畳して合成画像を生成することを特徴とする。 Further, the present invention is characterized in that, in the above invention, the composite image generation means superimposes the teacher image stored in the storage unit on the field image in a translucent state to generate a composite image. ..

また、本発明は、上記の発明において、前記情報処理装置は、前記踏切における異常を行う場合に、前記撮像手段により撮像された入力画像を前記学習済モデルに入力し、該学習済モデルから出力される危険確率に基づいて異常判定結果を算定することを特徴とする。 Further, in the above invention, in the above invention, when the information processing apparatus performs an abnormality at the crossing, the input image captured by the imaging means is input to the trained model and output from the trained model. It is characterized in that the abnormality determination result is calculated based on the risk probability to be determined.

また、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と通信可能なサーバ装置であって、所定の教師用画像を含む教師情報を記憶する記憶手段と、前記情報処理装置において撮像された現場画像を取得する現場画像取得手段と、前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段とを有することを特徴とする。 Further, the present invention is a server device capable of communicating with an information processing device arranged in or near a monitoring area of a crossing through which a railroad vehicle traveling on a track or a track similar thereto passes, and is a predetermined teacher image. It has been learned based on a storage means for storing teacher information including the above, a field image acquisition means for acquiring a field image captured by the information processing apparatus, a teacher image stored in the storage means, and the field image. It is characterized by having a trained model generation means for generating a model and a trained model notification means for notifying the information processing apparatus of the trained model generated by the trained model generation means.

また、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と通信可能なサーバ装置で実行される学習済モデル生成プログラムであって、所定の教師用画像を含む教師情報を記憶部に格納する格納手順と、前記情報処理装置において撮像された現場画像を取得する現場画像取得手順と、前記記憶部に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手順とをコンピュータに実行させることを特徴とする。 Further, the present invention is a trained model generation program executed by a server device capable of communicating with an information processing device arranged in or near a monitoring area of a crossing through which a railroad vehicle traveling on a track or a track similar thereto passes. The storage procedure for storing teacher information including a predetermined teacher image in the storage unit, the site image acquisition procedure for acquiring the site image captured by the information processing apparatus, and the teacher stored in the storage unit. It is characterized in that a computer is made to execute a trained model generation procedure for generating a trained model based on an image for use and the field image.

また、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムにおける異常通知方法であって、前記情報処理装置が、前記踏切周辺の現場画像を撮像する撮像工程と、前記情報処理装置が、前記撮像工程で撮像した現場画像を前記サーバ装置に通知する現場画像通知工程と、前記サーバ装置が、所定の教師用画像を含む教師情報を記憶部に格納する格納工程と、前記サーバ装置が、前記情報処理装置から前記現場画像を取得する現場画像取得工程と、前記記憶部に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成工程と、前記学習済モデル生成工程により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知工程と、前記情報処理装置が、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する異常判定結果通知工程とを含むことを特徴とする。 Further, the present invention comprises an information processing device arranged in or near a monitoring area of a crossing through which a railroad vehicle traveling on a track or a track similar thereto passes, a server device capable of communicating with the information processing device, and the above. It is an abnormality notification method in an abnormality notification system having a monitoring center device for monitoring a railroad vehicle, detecting an abnormality in the monitoring area, and notifying the railroad vehicle, wherein the information processing device is a site around the railroad crossing. An imaging step of capturing an image, a site image notification step of notifying the server device of a site image captured by the information processing apparatus in the imaging step, and a teacher information including a predetermined teacher image by the server device. Learning based on a storage step of storing in the storage unit, a site image acquisition step in which the server device acquires the site image from the information processing device, and a teacher image and the site image stored in the storage unit. A trained model generation step for generating a trained model, a trained model notification step for notifying the information processing device of the trained model generated by the trained model generation step, and the information processing device from the server device. It is characterized by including an abnormality determination result notification step of performing an abnormality determination using the received trained model and notifying the monitoring center device of the abnormality determination result.

本発明によれば、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することができる。 According to the present invention, it is possible to notify the driver's seat of a railroad crossing of an abnormal state of a railroad crossing and support safe driving by the driver.

図1は、実施形態に係る異常通知システムの概要の説明図である。FIG. 1 is an explanatory diagram of an outline of an abnormality notification system according to an embodiment. 図2は、図1に示した情報処理装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of the information processing apparatus shown in FIG. 図3は、図2に示した学習済モデルの一例を示す図である。FIG. 3 is a diagram showing an example of the trained model shown in FIG. 図4は、危険スコアの算定を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining the calculation of the risk score. 図5は、図1に示したサーバ装置の構成を示す機能ブロック図である。FIG. 5 is a functional block diagram showing the configuration of the server device shown in FIG. 図6は、図1に示したサーバ装置における教師有り学習の概要を説明するための説明図である。FIG. 6 is an explanatory diagram for explaining an outline of supervised learning in the server device shown in FIG. 1. 図7は、2つの画像の合成を説明するための説明図である。FIG. 7 is an explanatory diagram for explaining the composition of the two images. 図8は、図1に示した監視センタ装置の構成を示す機能ブロック図である。FIG. 8 is a functional block diagram showing the configuration of the monitoring center device shown in FIG. 1. 図9は、図5に示したサーバ装置における学習済モデルの生成手順を示すフローチャートである。FIG. 9 is a flowchart showing a procedure for generating a trained model in the server device shown in FIG. 図10は、図2に示した情報処理装置における処理手順を示すフローチャートである。FIG. 10 is a flowchart showing a processing procedure in the information processing apparatus shown in FIG. 図11は、図5に示したサーバ装置のハードウエア構成の一例を示す図である。FIG. 11 is a diagram showing an example of the hardware configuration of the server device shown in FIG.

以下に、添付図面を参照して、本発明に係る異常通知システム、サーバ装置、学習済モデル生成プログラム及び異常通知方法の好適な実施形態を詳細に説明する。 Hereinafter, preferred embodiments of the abnormality notification system, the server device, the trained model generation program, and the abnormality notification method according to the present invention will be described in detail with reference to the accompanying drawings.

<異常通知システムの概要>
まず、本実施形態に係る異常通知システムの概要について説明する。図1は、本実施形態に係る異常通知システムの概要を説明するための説明図である。なお、本実施形態では、電車が通過する踏切に適用した場合について説明する。以下では、プログラムからなるCNN(Convolutional Neural Network)の学習済モデルを用いる場合を中心に説明する。
<Overview of abnormality notification system>
First, the outline of the abnormality notification system according to the present embodiment will be described. FIG. 1 is an explanatory diagram for explaining an outline of the abnormality notification system according to the present embodiment. In this embodiment, a case where the application is applied to a railroad crossing through which a train passes will be described. In the following, the case of using a trained model of CNN (Convolutional Neural Network) consisting of a program will be mainly described.

従来、鉄道線路と道路が平面交差する踏切は、歩行者、自転車、カート、自動二輪車又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた2個以上の赤色閃光灯を交互に点滅させるとともに、警報機からカンカンという警告音を発報し、移動体に対して電車の到来を告げる。その後、自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。 Conventionally, railroad crossings where railroad tracks and roads intersect in a plane are dangerous areas where moving objects such as pedestrians, bicycles, carts, motorcycles or automobiles may collide with trains and cause serious accidents. For this reason, an alarm and a barrier are installed at the railroad crossing, and when a train approaches within a certain distance of the railroad crossing, two or more red flash lights provided on the railroad crossing blink alternately and from the alarm. It emits a warning sound and announces the arrival of a train to moving objects. After that, the barrier bar of the automatic barrier is lowered to prevent the moving object from entering the railroad crossing.

しかしながら、1両あたり30〜40tと重い車両からなる電車は、緊急ブレーキ操作によって至短時間で停止することができず、電車が緊急ブレーキを掛けてから電車が停車するまでには、数百mの距離、数十秒の時間を要する。このため、電車の運転手は、いち早く踏切内の異常状況を把握する必要がある。 However, a train consisting of heavy vehicles weighing 30 to 40 tons per car cannot be stopped in a short time due to the emergency braking operation, and it takes several hundred meters from the time the train applies the emergency brake to the time the train stops. It takes several tens of seconds for the distance. Therefore, the train driver needs to grasp the abnormal situation in the railroad crossing as soon as possible.

このため、電車が踏切手前の所定位置に到達したならば、該踏切に設置された固定カメラによる映像を該電車の運転席に搭載された表示装置に表示する技術が知られてる(特開2017−087978号公報を参照)。この先行技術によれば、例えば踏切内に自動車が立ち往生している場合に、運転手がその状況を察知して緊急ブレーキ操作を行うことができる。 Therefore, there is known a technique of displaying an image taken by a fixed camera installed at a railroad crossing on a display device mounted on the driver's seat of the train when the train reaches a predetermined position in front of the railroad crossing (Japanese Patent Laid-Open No. 2017). -087798 (see). According to this prior art, for example, when a car is stuck in a railroad crossing, the driver can detect the situation and perform an emergency braking operation.

しかしながら、この先行技術において、電車の運転手が表示装置上で視認することができる映像は、同じ時点での踏切内のリアルタイムな映像そのものであるため、運転手が踏切内での異常の兆候を見過ごしてしまう可能性がある。 However, in this prior art, the image that the train driver can see on the display device is the real-time image itself in the railroad crossing at the same time, so the driver shows signs of abnormality in the railroad crossing. It can be overlooked.

そこで、本実施形態では、踏切に設置された情報処理装置30に学習済モデルMを設け、この学習済モデルMにカメラ10で撮像した画像を入力し、学習済モデルMから出力される異常確率に基づく異常スコアを算出して、監視センタ装置60に送信するよう構成している。この監視センタ装置60が、電車70の運転席の表示装置に異常スコアを送信し、表示装置に異常スコアを表示することにより、電車70の運転者が踏切での異常を見逃す事態を低減することが可能となる。なお、この異常スコアとともに、踏切の映像を電車70の運転席の表示装置に通知して、表示装置に表示することもできる。 Therefore, in the present embodiment, the trained model M is provided in the information processing device 30 installed at the railroad crossing, the image captured by the camera 10 is input to the trained model M, and the abnormality probability output from the trained model M is obtained. The abnormality score based on the above is calculated and transmitted to the monitoring center device 60. The monitoring center device 60 transmits an abnormality score to the display device of the driver's seat of the train 70, and displays the abnormality score on the display device to reduce the situation where the driver of the train 70 overlooks the abnormality at the railroad crossing. Is possible. Along with this abnormality score, the image of the railroad crossing can be notified to the display device of the driver's seat of the train 70 and displayed on the display device.

この「異常スコア」とは、電車が該踏切を通過するときに危険の要因すなわち異常をもたらす可能性がある度合いを点数化したものであり、例えば0〜100点のいずれかとなる。100点に近いほど異常となる可能性が高くなる。なお、学習済モデルMからは「異常確率(異常をもたらす確率)」が0.00〜1.00の小数点を含む値で出力される。情報処理装置30は、この異常確率に環境要因(天候等)のパラメータ、踏切における事故率のパラメータなどの係数を掛けて重み付けを行い、0〜100の値に正規化した値を異常スコアとすることができる。 This "abnormal score" is a score obtained by scoring a factor of danger, that is, a degree of possibility of causing an abnormality when the train passes the railroad crossing, and is, for example, any of 0 to 100 points. The closer it is to 100 points, the higher the possibility of abnormality. From the trained model M, the "abnormal probability (probability of causing an abnormality)" is output as a value including a decimal point of 0.00 to 1.00. The information processing apparatus 30 weights this abnormality probability by multiplying it by a coefficient such as a parameter of an environmental factor (weather, etc.) and a parameter of an accident rate at a railroad crossing, and sets a value normalized to a value of 0 to 100 as an abnormality score. be able to.

サーバ装置40は、CNNに対して教師有り学習を行って学習済モデルMを生成し、生成した学習済モデルMを情報処理装置30に通知する装置である。CNNについての教師有り学習を行うためには、大量の教師データが必要となる。このため、本実施形態では、あらかじめ準備された教師用画像B(例えば、どこかの踏切周辺に停車した車両を含む画像)を準備しておく。一方、情報処理装置30は、カメラ10により撮像された踏切の現場画像Aをサーバ装置40に通知する。 The server device 40 is a device that performs supervised learning on the CNN to generate a trained model M, and notifies the information processing device 30 of the generated trained model M. A large amount of teacher data is required for supervised learning about CNN. Therefore, in the present embodiment, a teacher image B (for example, an image including a vehicle stopped around a railroad crossing somewhere) prepared in advance is prepared. On the other hand, the information processing device 30 notifies the server device 40 of the site image A of the railroad crossing captured by the camera 10.

サーバ装置40は、この現場画像Aに教師用画像Bを重ね合わせることにより、学習用画像を生成する。ここで、教師用画像Bを現場画像Aに重ね合わせる座標位置を変更することにより、新たな学習用画像を取得することができる。また、教師用画像Bを拡大・縮小して現場画像Aに重ね合わせることにより、新たな学習用画像を取得することができる。このため、深層学習を行う場合に問題となる学習用画像の取得が容易になる。 The server device 40 generates a learning image by superimposing the teacher image B on the site image A. Here, a new learning image can be acquired by changing the coordinate position of superimposing the teacher image B on the site image A. Further, a new learning image can be acquired by enlarging / reducing the teacher image B and superimposing it on the site image A. Therefore, it becomes easy to acquire a learning image, which is a problem when deep learning is performed.

この際、サーバ装置40は、教師用画像Bを透過的(半透明)に現場画像Aに重ね合わせるよう構成している。透過的に重ね合わせて合成画像を生成することにより、合成画像中の物体が認識し難くなり、物体の検出が難しくなる。かかる教師有り学習を繰り返すことにより、学習済モデルMが検出精度の高い堅牢なモデルとなる。実際の踏切の現場画像Aは、夜間の画像、雨天の画像などが含まれるため、このような状況においても適正な異常スコアを出力することが望まれるため、敢えて物体の検出が難しくなる合成画像Cを用いて深層学習を行っている。 At this time, the server device 40 is configured to transparently (semi-transparently) superimpose the teacher image B on the site image A. By transparently superimposing and generating a composite image, it becomes difficult to recognize the object in the composite image, and it becomes difficult to detect the object. By repeating such supervised learning, the trained model M becomes a robust model with high detection accuracy. Since the actual railroad crossing site image A includes a nighttime image, a rainy weather image, etc., it is desirable to output an appropriate abnormality score even in such a situation, so that it is a composite image that makes it difficult to detect an object. Deep learning is performed using C.

情報処理装置30は、踏切での異常を検出する場合に、カメラ10で撮像した入力画像を学習済モデルMに入力する。その結果、学習済モデルMから出力される異常確率に環境要因(天候等)のパラメータ、踏切における事故率のパラメータなどの係数を掛けて重み付けを行い、0〜100の値に正規化された異常スコアを算出する。そして、算出した異常スコアを監視センタ100に通知する。 When detecting an abnormality at a railroad crossing, the information processing apparatus 30 inputs an input image captured by the camera 10 to the trained model M. As a result, the anomaly probability output from the trained model M is weighted by multiplying it by coefficients such as parameters of environmental factors (weather, etc.) and parameters of accident rate at railroad crossings, and the anomaly normalized to a value of 0 to 100. Calculate the score. Then, the calculated abnormality score is notified to the monitoring center 100.

監視センタ装置60は、踏切の異常スコアが所定値(例えば、70)以上である場合に、該踏切に向かい、かつ、踏切から一定距離(例えば、300m)以内に所在する電車70の運転席に搭載された表示装置に対して異常スコアを通知し、電車の表示装置に異常スコアを表示する。これにより、電車の運転手が異常スコアから踏切の異常の可能性を察知することができる。 When the abnormality score of the railroad crossing is equal to or higher than a predetermined value (for example, 70), the monitoring center device 60 is placed in the driver's seat of the train 70 located toward the railroad crossing and within a certain distance (for example, 300 m) from the railroad crossing. The abnormal score is notified to the on-board display device, and the abnormal score is displayed on the display device of the train. This allows the train driver to detect the possibility of a railroad crossing abnormality from the abnormality score.

具体的には、図1に示すように、学習済モデルを生成する場合には、情報処理装置30が、カメラ10で撮像した現場画像Aをサーバ装置40に送信する(S1)。サーバ装置40は、あらかじめ記憶部に記憶した教師用画像Bを透過的に現場画像Aに重ね合わせて合成画像Cを生成する。この合成画像Cが学習用画像となる。そして、この合成画像Cと正解データ(異常確率)Rを教師データとしてCNNに付与し、バックプロパゲーション等により教師有り学習を行わせる。このようにして、多数の合成画像Cを生成し、このうちの適正な合成画像(学習用画像)と正解データRに基づいてCNNに教師有り学習を行わせ(S2)、学習済モデルMを情報処理装置30に通知する(S3)。なお、バックプロパゲーションは深層学習に関する周知技術であるため、ここではその説明を省略する。 Specifically, as shown in FIG. 1, when the trained model is generated, the information processing apparatus 30 transmits the site image A captured by the camera 10 to the server apparatus 40 (S1). The server device 40 transparently superimposes the teacher image B stored in the storage unit on the site image A to generate the composite image C. This composite image C becomes a learning image. Then, the composite image C and the correct answer data (abnormal probability) R are given to the CNN as teacher data, and supervised learning is performed by backpropagation or the like. In this way, a large number of composite images C are generated, and the CNN is subjected to supervised learning based on the appropriate composite image (learning image) and the correct answer data R (S2), and the trained model M is created. Notify the information processing apparatus 30 (S3). Since backpropagation is a well-known technique for deep learning, its description is omitted here.

ここで、上記の合成画像Cが、現実に起こりえない状況を示す画像である場合には、この合成画像Cが適正ではないため学習用画像として利用せず、合成画像Cが適正であるならば学習用画像として利用する。例えば、合成画像Cに含まれる自動車の像が空中を浮遊しているような状況を示す場合には、かかる合成画像Cは学習用画像とはしない。なお、合成画像Cが適正な状況を示すか否かは、既存の画像処理技術により行うことができる。例えば、自動車のタイヤをテンプレートマッチングにより検出し、この道路の領域を特定し、タイヤが道路と接しているか否かを判定するよう構成すればよい。なお、合成画像Cを入力して妥当性の確率を出力する新たな学習済モデルを用いて判定するよう構成することもできる。 Here, when the above-mentioned composite image C is an image showing a situation that cannot occur in reality, the composite image C is not appropriate and is not used as a learning image, and the composite image C is appropriate. For example, it is used as a learning image. For example, when the image of the automobile included in the composite image C shows a situation of floating in the air, the composite image C is not used as a learning image. Whether or not the composite image C shows an appropriate situation can be determined by the existing image processing technique. For example, the tires of an automobile may be detected by template matching, the area of the road may be specified, and it may be configured to determine whether or not the tires are in contact with the road. It should be noted that the composite image C can be input and the determination can be made by using a new trained model that outputs the probability of validity.

なお、上記の正解データRすなわち異常である確率は、教師有り学習を行う担当者が付与することができる。また、現場画像A中に異常状態が発生しているか否かを画像処理技術により検出し、この現場画像Aの異常状態に基づいて正確データRを自動的に特定することもできる。例えば、踏切内の自動車が燃えている状況は明らかな異常状態であり、この状況は公知の画像処理により検知することができる。このため、異常である確率「0.9」を自動的に算定する処理を行うことが可能である。 The correct answer data R, that is, the probability of being abnormal can be given by the person in charge of the supervised learning. Further, it is also possible to detect whether or not an abnormal state has occurred in the field image A by an image processing technique, and automatically specify the accurate data R based on the abnormal state of the field image A. For example, the situation where a car in a railroad crossing is burning is an obvious abnormal state, and this situation can be detected by known image processing. Therefore, it is possible to automatically calculate the probability of abnormality "0.9".

異常判定を行う場合には、情報処理装置30は、カメラ10から一定時間ごとに画像を取得し(S4)、この画像を入力画像として学習済モデルMに入力し、学習済モデルMから出力される異常確率に基づいて異常スコアを算出し(S5)、この異常スコアを監視センタ装置60に通知する(S6)。 When performing an abnormality determination, the information processing apparatus 30 acquires an image from the camera 10 at regular time intervals (S4), inputs this image as an input image to the trained model M, and outputs the image from the trained model M. An abnormality score is calculated based on the abnormality probability (S5), and the abnormality score is notified to the monitoring center device 60 (S6).

監視センタ装置60は、情報処理装置30から通知された異常スコアが所定値以上である場合に、この異常スコアを電車70の表示装置に通知し(S7)、表示装置に異常スコアを表示する。これにより、電車70の運転手は、踏切における異常状態を察知することができる。 When the abnormality score notified from the information processing apparatus 30 is equal to or higher than a predetermined value, the monitoring center device 60 notifies the display device of the train 70 of the abnormality score (S7), and displays the abnormality score on the display device. As a result, the driver of the train 70 can detect an abnormal state at a railroad crossing.

<情報処理装置30の構成>
次に、図1に示した情報処理装置30の構成について説明する。図2は、図1に示した情報処理装置30の構成を示す機能ブロック図である。図2に示すように、情報処理装置30は、カメラ10と接続され、記憶部31、制御部32及び通信I/F部33を有する。
<Configuration of information processing device 30>
Next, the configuration of the information processing apparatus 30 shown in FIG. 1 will be described. FIG. 2 is a functional block diagram showing the configuration of the information processing apparatus 30 shown in FIG. As shown in FIG. 2, the information processing apparatus 30 is connected to the camera 10 and has a storage unit 31, a control unit 32, and a communication I / F unit 33.

カメラ10は、例えばCCD(Charge Coupled Device)からなる撮像装置であり、踏切周辺の画像を撮像する。通信I/F部33は、サーバ装置40又は監視センタ装置50と無線通信を行うためのインタフェース部である。記憶部31は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、学習済モデルMを記憶する。 The camera 10 is an image pickup device including, for example, a CCD (Charge Coupled Device), and captures an image around a railroad crossing. The communication I / F unit 33 is an interface unit for wirelessly communicating with the server device 40 or the monitoring center device 50. The storage unit 31 is a storage device such as a hard disk device or a non-volatile memory, and stores the learned model M.

ここで、学習済モデルMの層構造について説明する。図3に示す学習済モデルMは、学習済モデルの層構造の一例を示す図であり、ここではコンボリューション層(Convolution)51、コンボリューション層(Convolution)52、アベレージプーリング層(Average Pooling)53、コンボリューション層(Convolution)54、アベレージプーリング層(Average Pooling)55、全結合層(Fully Connect)56、全結合層(Fully Connect)57及び出力層(Softmax)58を有する。 Here, the layer structure of the trained model M will be described. The trained model M shown in FIG. 3 is a diagram showing an example of the layer structure of the trained model, and here, a convolution layer (Convolution) 51, a convolution layer (Convolution) 52, and an average pooling layer (Average Pooling) 53. It has a convolution layer (Convolution) 54, an average pooling layer (Average Pooling) 55, a fully connected layer (Fully Connect) 56, a fully connected layer (Fully Connect) 57, and an output layer (Softmax) 58.

コンボリューション層51,52,54は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層53,55は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、CNNの隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層56,57は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるReLU(Rectified Linear Unit)等を用いることができる。出力層58は、全結合層57からの出力(特徴変数)を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。なお、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。なお、CNNの基本構造は公知技術であるため、ここではその詳細な説明を省略する。 The convolution layers 51, 52, 54 convolve a filter into a nearby node in the previous layer to generate a feature map in order to extract local features. The average pooling layers 53 and 55 further reduce the feature map output from the convolution layer, which is the previous layer, into a new feature map in order to summarize the local features. As described above, the hidden layer of CNN is formed by the convolution layer and the average pooling layer. The fully connected layers 56 and 57 combine the feature map from which the feature portion is extracted into one node, and output the value converted by a predetermined activation function. A well-known technique such as ReLU (Rectified Linear Unit) can be used for this activation function. The output layer 58 converts the output (characteristic variable) from the fully connected layer 57 into a probability using a softmax function, and outputs the probability of being correctly classified. It is also possible to add a dropout layer to avoid overfitting. Since the basic structure of CNN is a known technique, detailed description thereof will be omitted here.

制御部32は、情報処理装置30の全体制御を行う制御部であり、画像受付部32a、現場画像通知部32b、異常スコア算出部32c及び通知部32dを有する。実際には、これらのプログラムをCPU(Central Processing Unit)にロードして実行することにより、画像受付部32a、現場画像通知部32b、異常スコア算出部32c及び通知部32dにそれぞれ対応するプロセスを実行させることになる。 The control unit 32 is a control unit that controls the entire information processing apparatus 30, and includes an image reception unit 32a, a site image notification unit 32b, an abnormality score calculation unit 32c, and a notification unit 32d. Actually, by loading these programs into the CPU (Central Processing Unit) and executing them, the processes corresponding to the image receiving unit 32a, the site image notification unit 32b, the abnormality score calculation unit 32c, and the notification unit 32d are executed. Will let you.

画像受付部32aは、カメラ10から送信された画像を受け付ける処理部である。なお、カメラ10からMPEG等で圧縮された動画像(映像)を受け付けた場合には、この動画像から一定時間毎に画像を切り出し、現場画像Aとして記憶部31に一時記憶する。現場画像通知部32bは、現場画像Aをサーバ装置40に通知する処理部である。 The image receiving unit 32a is a processing unit that receives an image transmitted from the camera 10. When a moving image (video) compressed by MPEG or the like is received from the camera 10, an image is cut out from the moving image at regular time intervals and temporarily stored in the storage unit 31 as a field image A. The site image notification unit 32b is a processing unit that notifies the server device 40 of the site image A.

異常スコア算出部32cは、学習済モデルMを用いて異常スコアを算出する処理部であり、通知部32dは、異常スコア算出部32cにより算出された異常スコアを監視センタ装置60に通知する処理部である。具体的には、図4に示すように、カメラ10で撮像した入力画像Eを学習済モデルMに入力し、学習済モデルMから出力される異常確率(0.00〜1.00)を取得する。この異常確率を天候、踏切での過去の事故率などのパラメータにより重み付けし、この値を0〜100に正規化して異常スコアを算出する。 The abnormality score calculation unit 32c is a processing unit that calculates an abnormality score using the trained model M, and the notification unit 32d is a processing unit that notifies the monitoring center device 60 of the abnormality score calculated by the abnormality score calculation unit 32c. Is. Specifically, as shown in FIG. 4, the input image E captured by the camera 10 is input to the trained model M, and the abnormality probability (0.00 to 1.00) output from the trained model M is acquired. do. This abnormality probability is weighted by parameters such as the weather and the past accident rate at railroad crossings, and this value is normalized to 0 to 100 to calculate the abnormality score.

<サーバ装置40の構成>
次に、図1に示したサーバ装置40の構成について説明する。図5は、図1に示したサーバ装置40の構成を示す機能ブロック図である。図6は、図1に示したサーバ装置40による学習済モデルMの生成の概要を示す図である。
<Configuration of server device 40>
Next, the configuration of the server device 40 shown in FIG. 1 will be described. FIG. 5 is a functional block diagram showing the configuration of the server device 40 shown in FIG. FIG. 6 is a diagram showing an outline of generation of the trained model M by the server device 40 shown in FIG. 1.

図5に示すように、サーバ装置40は、入力部41、表示部42、通信I/F部43、記憶部44及び制御部45を有する。入力部41は、キーボードやマウス等の入力デバイスであり、表示部42は、液晶パネルやディスプレイ装置等の表示デバイスである。通信I/F部43は、情報処理装置30と無線通信を行うためのインタフェース部である。 As shown in FIG. 5, the server device 40 includes an input unit 41, a display unit 42, a communication I / F unit 43, a storage unit 44, and a control unit 45. The input unit 41 is an input device such as a keyboard and a mouse, and the display unit 42 is a display device such as a liquid crystal panel and a display device. The communication I / F unit 43 is an interface unit for wirelessly communicating with the information processing device 30.

記憶部44は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、教師用画像B、合成画像C、CNND及び学習済モデルMを記憶する。教師用画像Bは、CNNDに教師有り学習を行わせるためにあらかじめ準備された画像であり、例えば、どこかの踏切周辺に停車した車両を含む画像である。 The storage unit 44 is a storage device such as a hard disk device or a non-volatile memory, and stores a teacher's image B, a composite image C, a CNND, and a trained model M. The teacher image B is an image prepared in advance for the CNND to perform supervised learning, and is, for example, an image including a vehicle stopped around a railroad crossing somewhere.

合成画像Cは、教師用画像Bを透過的(半透明)に現場画像Aに重ね合わせつつ合成した画像である。CNNデータDは、学習済モデルMを作成するための多層の畳込モデルである。学習済モデルMは、合成画像C及び正解データR(異常確率)を用いて深層学習による挙止有り学習を行った結果得られるモデルである。 The composite image C is an image in which the teacher image B is transparently (semi-transparently) superimposed on the site image A and composited. CNN data D is a multi-layered convolutional model for creating a trained model M. The trained model M is a model obtained as a result of learning with a stop by deep learning using a composite image C and correct answer data R (abnormal probability).

制御部45は、サーバ装置40の全体制御を行う制御部であり、現場画像受信部45a、合成画像生成部45b、学習処理部45c及び学習済モデル送信部45dを有する。実際には、これらを含む学習済モデル生成プログラムをCPUにロードして実行することにより、現場画像受信部45a、合成画像生成部45b、学習処理部45c及び学習済モデル送信部45dにそれぞれ対応するプロセスを含む学習済モデル生成プロセスを実行させることになる。 The control unit 45 is a control unit that controls the entire server device 40, and includes a field image receiving unit 45a, a composite image generation unit 45b, a learning processing unit 45c, and a learned model transmission unit 45d. Actually, by loading and executing the trained model generation program including these in the CPU, it corresponds to the on-site image receiving unit 45a, the composite image generation unit 45b, the learning processing unit 45c, and the trained model transmitting unit 45d, respectively. The trained model generation process including the process will be executed.

現場画像受信部45aは、情報処理装置30から踏切の現場画像Aを受信する処理部である。合成画像生成部45bは、図6に示すように、教師用画像Bを透過的(半透明)に現場画像Aに重ね合わせつつ合成して合成画像Cを生成する処理部である。 The on-site image receiving unit 45a is a processing unit that receives the on-site image A of the railroad crossing from the information processing device 30. As shown in FIG. 6, the composite image generation unit 45b is a processing unit that transparently (semi-transparently) superimposes the teacher image B on the site image A and synthesizes the composite image C to generate the composite image C.

図7は、合成画像Cの一例を示す図である。この例では、ある踏切に停車する車両の画像が教師用画像Bとされた場合を示している。図7に示すように、合成画像Cを生成する場合には、この教師用画像Bを半透明にして現場画像Aに合成する。画像を合成する際の透過率については、あらかじめ設定されているものとする。これにより、深層学習を行うための学習データを大量に生成することができる。 FIG. 7 is a diagram showing an example of the composite image C. In this example, the case where the image of the vehicle stopped at a certain railroad crossing is regarded as the teacher image B is shown. As shown in FIG. 7, when the composite image C is generated, the teacher image B is made translucent and composited with the field image A. It is assumed that the transmittance when compositing the images is set in advance. As a result, a large amount of learning data for performing deep learning can be generated.

なお、教師用画像Bを透過的に現場画像Aに重ね合わせて合成画像Cを生成することにより、合成画像C中の物体が認識し難くなり、物体の検出が難しくなる。かかる教師有り学習を繰り返すことにより、学習済モデルMが検出精度の高い堅牢なモデルとなる。実際の踏切の現場画像Aは、夜間の画像、雨天の画像などが含まれるため、このような状況においても適正な異常スコアを出力することが望まれるため、敢えて物体の検出が難しくなる合成画像Cを用いて深層学習を行っている。 By superimposing the teacher image B on the site image A transparently to generate the composite image C, it becomes difficult to recognize the object in the composite image C, and it becomes difficult to detect the object. By repeating such supervised learning, the trained model M becomes a robust model with high detection accuracy. Since the actual railroad crossing site image A includes a nighttime image, a rainy weather image, etc., it is desirable to output an appropriate abnormality score even in such a situation, so that it is a composite image that makes it difficult to detect an object. Deep learning is performed using C.

ここで、すでに説明した通り、合成画像Cが、現実に起こりえない状況を示す画像である場合には、この合成画像Cが適正ではないため学習用画像として利用せず、合成画像Cが適正であるならば学習用画像として利用する。例えば、合成画像Cに含まれる自動車の像が空中を浮遊しているような状況を示す場合には、かかる合成画像Cは学習用画像とはしない。なお、合成画像Cが適正な状況を示すか否かは、既存の画像処理技術により行うことができる。例えば、自動車のタイヤをテンプレートマッチングにより検出し、この道路の領域を特定し、タイヤが道路と接しているか否かを判定するよう構成すればよい。なお、合成画像Cを入力して妥当性の確率を出力する新たな学習済モデルを用いて判定するよう構成することもできる。 Here, as described above, when the composite image C is an image showing a situation that cannot occur in reality, the composite image C is not appropriate and is not used as a learning image, and the composite image C is appropriate. If so, use it as a learning image. For example, when the image of the automobile included in the composite image C shows a situation of floating in the air, the composite image C is not used as a learning image. Whether or not the composite image C shows an appropriate situation can be determined by the existing image processing technique. For example, the tires of an automobile may be detected by template matching, the area of the road may be specified, and it may be configured to determine whether or not the tires are in contact with the road. It should be noted that the composite image C can be input and the determination can be made by using a new trained model that outputs the probability of validity.

学習処理部45cは、合成画像C及び正解データRを学習データとして深層学習の教師有り学習を行う処理部であり、具体的には、図6に示すように、合成画像CをCNNデータDに入力するとともに、正解データRに基づいてバックプロパゲーションを行わせ、各パスの重みを決定する教師有り学習処理を繰り返して、学習済モデルMを生成する。 The learning processing unit 45c is a processing unit that performs deep learning supervised learning using the composite image C and the correct answer data R as learning data. Specifically, as shown in FIG. 6, the composite image C is converted into CNN data D. At the same time as inputting, back propagation is performed based on the correct answer data R, and the supervised learning process for determining the weight of each path is repeated to generate the trained model M.

なお、正解データRすなわち異常である確率は、教師有り学習を行う担当者が付与することができる。また、現場画像A中に異常状態が発生しているか否かを画像処理技術により検出し、この現場画像Aの異常状態に基づいて正確データRを自動的に特定することもできる。例えば、踏切内の自動車が燃えている状況は明らかな異常状態であり、この状況は公知の画像処理により検知することができる。このため、異常である確率「0.9」を自動的に算定する処理を行うことが可能である。 The correct answer data R, that is, the probability of being abnormal can be given by the person in charge of the supervised learning. Further, it is also possible to detect whether or not an abnormal state has occurred in the field image A by an image processing technique, and automatically specify the accurate data R based on the abnormal state of the field image A. For example, the situation where a car in a railroad crossing is burning is an obvious abnormal state, and this situation can be detected by known image processing. Therefore, it is possible to automatically calculate the probability of abnormality "0.9".

学習済モデル送信部45dは、踏切に設置された情報処理装置30に学習済モデルMを通知する処理部である。なお、情報処理装置30は、この学習済モデルMを用いて異常スコアを算出することになる。 The trained model transmission unit 45d is a processing unit that notifies the information processing device 30 installed at the railroad crossing of the trained model M. The information processing apparatus 30 will calculate the abnormality score using the trained model M.

<監視センタ装置60の構成>
次に、図1に示した監視センタ装置60の構成について説明する。図4は、図1に示した監視センタ装置60の構成を示す機能ブロック図である。図4に示すように、監視センタ装置60は、入力部61、表示部62、通信I/F部63、記憶部64及び制御部65を有する。
<Configuration of monitoring center device 60>
Next, the configuration of the monitoring center device 60 shown in FIG. 1 will be described. FIG. 4 is a functional block diagram showing the configuration of the monitoring center device 60 shown in FIG. As shown in FIG. 4, the monitoring center device 60 includes an input unit 61, a display unit 62, a communication I / F unit 63, a storage unit 64, and a control unit 65.

入力部61は、キーボードやマウス等の入力デバイスであり、表示部62は、液晶パネルやディスプレイ装置等の表示デバイスである。通信I/F部63は、情報処理装置30及び電車70に搭載された表示装置と無線通信を行うためのインタフェース部である。 The input unit 61 is an input device such as a keyboard and a mouse, and the display unit 62 is a display device such as a liquid crystal panel and a display device. The communication I / F unit 63 is an interface unit for performing wireless communication with a display device mounted on the information processing device 30 and the train 70.

記憶部64は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、異常スコア64a及び判定しきい値64bを記憶する。異常スコア64aは、情報処理装置30から受信した異常スコアのログデータであり、判定しきい値64bは、電車70の表示装置に対して異常スコアを通知するか否かを判定する際に用いられるしきい値データである。 The storage unit 64 is a storage device such as a hard disk device or a non-volatile memory, and stores an abnormality score 64a and a determination threshold value 64b. The abnormality score 64a is log data of the abnormality score received from the information processing apparatus 30, and the determination threshold value 64b is used when determining whether or not to notify the display device of the train 70 of the abnormality score. Threshold data.

制御部65は、監視センタ装置60の全体制御を行う制御部であり、異常スコア受信部65a、通知判定部65b及び異常スコア通知部65cを有する。実際には、これらのプログラムをCPUにロードして実行することにより、異常スコア受信部65a、通知判定部65b及び異常スコア通知部65cにそれぞれ対応するプロセスを実行させることになる。 The control unit 65 is a control unit that controls the entire monitoring center device 60, and includes an abnormality score receiving unit 65a, a notification determination unit 65b, and an abnormality score notification unit 65c. Actually, by loading and executing these programs in the CPU, the processes corresponding to the abnormal score receiving unit 65a, the notification determination unit 65b, and the abnormal score notification unit 65c are executed.

異常スコア受信部65aは、情報処理装置30により送信された異常スコアを受信する処理部である。通知判定部65bは、異常スコア受信部65aが受信した異常スコアを電車70の表示装置に通知するか否かを判定する処理部である。例えば、記憶部64に記憶した判定しきい値64bが「70」であり、異常スコアが80である場合には、通知判定部65bは異常スコアを電車70の表示装置に通知すると判定し、異常スコアが60である場合には、通知判定部65bは異常スコアを電車70の表示装置に通知しないと判定する。 The abnormality score receiving unit 65a is a processing unit that receives the abnormality score transmitted by the information processing apparatus 30. The notification determination unit 65b is a processing unit that determines whether or not to notify the display device of the train 70 of the abnormality score received by the abnormality score receiving unit 65a. For example, when the determination threshold value 64b stored in the storage unit 64 is "70" and the abnormality score is 80, the notification determination unit 65b determines that the abnormality score is notified to the display device of the train 70, and is abnormal. When the score is 60, the notification determination unit 65b determines that the abnormality score is not notified to the display device of the train 70.

異常スコア通知部65cは、通知判定部65bにより異常スコアを電車70の表示装置に通知すると判定された場合に、電車70の表示装置に対して異常スコアを通知する処理部である。 The abnormality score notification unit 65c is a processing unit that notifies the display device of the train 70 of the abnormality score when it is determined by the notification determination unit 65b to notify the display device of the train 70 of the abnormality score.

<サーバ装置40の処理手順>
次に、サーバ装置40の処理手順について説明する。図9は、図5に示したサーバ装置90の処理手順を示すフローチャートである。サーバ装置40は、情報処理装置30から現場画像Aを受信したならば(ステップS101)、この現場画像Aに教師用画像Bを透過的に重畳して合成画像Cを生成する(ステップS102)。
<Processing procedure of server device 40>
Next, the processing procedure of the server device 40 will be described. FIG. 9 is a flowchart showing a processing procedure of the server device 90 shown in FIG. When the server device 40 receives the site image A from the information processing device 30 (step S101), the server device 40 transparently superimposes the teacher image B on the site image A to generate the composite image C (step S102).

そして、合成画像Cと正解データRを用いてCNNDに教師有り学習処理を行わせる(ステップS103)。同じ教師用画像Bを用いて所定数未満しか教師有り学習を行わなかった場合には(ステップS104;No)、教師用画像Bを重畳する際の位置又は教師用画像Bの拡大縮小率等の合成条件を変えて(ステップS105)、ステップS102に移行し、同様の処理を行う。 Then, the CNND is made to perform the supervised learning process using the composite image C and the correct answer data R (step S103). When less than a predetermined number of teachered learning is performed using the same teacher image B (step S104; No), the position when the teacher image B is superimposed, the enlargement / reduction ratio of the teacher image B, and the like are determined. The synthesis condition is changed (step S105), the process proceeds to step S102, and the same processing is performed.

これに対して、同じ教師用画像Bを用いて所定数以上教師有り学習を行った場合には(ステップS104;Yes)、ステップS101に移行して、新たな現場画像Aを取得し、同様の処理を繰り返す。 On the other hand, when a predetermined number or more of supervised learning is performed using the same teacher image B (step S104; Yes), the process proceeds to step S101 to acquire a new field image A, and the same is true. Repeat the process.

そして、所定の終了条件を満たしたならば、学習済モデルMを記憶部44に記憶するとともに(ステップS107)、学習済モデルMを情報処理装置30に送信して(ステップS108)、上記一蓮の処理を終了する。 Then, when the predetermined end condition is satisfied, the trained model M is stored in the storage unit 44 (step S107), and the trained model M is transmitted to the information processing apparatus 30 (step S108). Ends the processing of.

<情報処理装置30の処理手順>
次に、情報処理装置30により異常判定を行う場合の処理手順について説明する。図10は、図2に示した情報処理装置30により異常判定を行う場合の処理手順を示すフローチャートである。同図に示すように、情報処理装置30は、入力画像Eを受信したならば(ステップS201)、該入力画像Eを学習済モデルMに入力して異常確率(0.00〜1.00)を取得する(ステップS202)。
<Processing procedure of information processing device 30>
Next, the processing procedure when the abnormality determination is performed by the information processing apparatus 30 will be described. FIG. 10 is a flowchart showing a processing procedure when an abnormality determination is performed by the information processing apparatus 30 shown in FIG. As shown in the figure, when the information processing apparatus 30 receives the input image E (step S201), the information processing apparatus 30 inputs the input image E into the trained model M and has an abnormality probability (0.00 to 1.00). (Step S202).

その後、この異常確率に天候、踏切における事故率等のパラメータの重み付けを行い、0〜100の値に正規化して、異常スコアを算定し(ステップS203)、算定した異常スコアを監視センタ装置60に送信する(ステップS204)。かかる一連の処理を所定の終了条件を満たすまで繰り返し(ステップS205;No)、所定の終了条件を満たしたならば(ステップS205;Yes)、上記一蓮の処理を終了する。 After that, parameters such as weather and accident rate at railroad crossings are weighted to this abnormality probability, normalized to a value of 0 to 100, an abnormality score is calculated (step S203), and the calculated abnormality score is used in the monitoring center device 60. Transmit (step S204). The series of processes is repeated until a predetermined end condition is satisfied (step S205; No), and when the predetermined end condition is satisfied (step S205; Yes), the above-mentioned one lotus process is terminated.

<ハードウエアとの関係>
次に、本実施形態に係るサーバ装置40と、コンピュータの主たるハードウエア構成の対応関係について説明する。図11は、ハードウエア構成の一例を示す図である。
<Relationship with hardware>
Next, the correspondence between the server device 40 according to the present embodiment and the main hardware configuration of the computer will be described. FIG. 11 is a diagram showing an example of a hardware configuration.

一般的なコンピュータは、CPU91、ROM(Read Only Memory)92、RAM93及び不揮発性メモリ94などがバス95により接続された構成となる。不揮発性メモリ94の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。 A general computer has a configuration in which a CPU 91, a ROM (Read Only Memory) 92, a RAM 93, a non-volatile memory 94, and the like are connected by a bus 95. A hard disk device may be provided instead of the non-volatile memory 94. For convenience of explanation, only the basic hardware configuration is shown.

ここで、ROM92又は不揮発性メモリ94には、オペレーティングシステム(Operating System;以下、単に「OS」と言う)の起動に必要となるプログラム等が記憶されており、CPU91は、電源投入時にROM92又は不揮発性メモリ94からOSのプログラムをリードして実行する。 Here, the ROM 92 or the non-volatile memory 94 stores a program or the like necessary for starting the operating system (Operating System; hereinafter, simply referred to as “OS”), and the CPU 91 is the ROM 92 or the non-volatile memory when the power is turned on. The OS program is read and executed from the non-volatile memory 94.

一方、OS上で実行される各種のアプリケーションプログラムは、不揮発性メモリ94に記憶されており、CPU91がRAM93を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。 On the other hand, various application programs executed on the OS are stored in the non-volatile memory 94, and the CPU 91 executes the application program while using the RAM 93 as the main memory, so that the process corresponding to the application is executed. To.

そして、本実施形態のサーバ装置40の学習済モデル生成プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ94等に記憶され、CPU91が、この学習済モデル生成プログラムをロードして実行することになる。サーバ装置40の場合には、図5に示した現場画像受信部45a、合成画像生成部45b、学習処理部45c及び学習済モデル送信部45dに対応するルーチンを含む学習済モデル生成プログラムが不揮発性メモリ94等に記憶される。CPU91により学習済モデル生成プログラムがロード実行されることにより、現場画像受信部45a、合成画像生成部45b、学習処理部45c及び学習済モデル送信部45dに対応する学習済モデル生成プロセスが生成される。なお、教師用画像B及びCNND等は、あらかじめ不揮発性メモリ94に記憶される。 The trained model generation program of the server device 40 of the present embodiment is also stored in the non-volatile memory 94 or the like like the other application programs, and the CPU 91 loads and executes the trained model generation program. become. In the case of the server device 40, the trained model generation program including the routine corresponding to the field image receiving unit 45a, the composite image generation unit 45b, the learning processing unit 45c, and the trained model transmission unit 45d shown in FIG. 5 is non-volatile. It is stored in the memory 94 or the like. When the trained model generation program is loaded and executed by the CPU 91, a trained model generation process corresponding to the field image receiving unit 45a, the composite image generation unit 45b, the learning processing unit 45c, and the trained model transmitting unit 45d is generated. .. The teacher image B, CNND, and the like are stored in the non-volatile memory 94 in advance.

上述してきたように、本実施形態では、サーバ装置40が、現場画像Aと教師用画像Bとを透過的に重畳して合成画像Cを生成し、この合成画像Cと正解データRに基づいて学習済モデルMを生成して情報処理装置30に通知する。情報処理装置30は、この学習済モデルMを用いて入力画像Eの異常スコアを生成して監視センタ装置60に通知し、監視センタ装置60は、異常スコアが所定の判定しきい値以上である場合に電車70の表示装置に異常スコアを通知するよう構成したので、電車70の運転手は、踏切での異常を把握することができる。この際、深層学習に必要となる学習用画像を効率良く生成することが可能となる。 As described above, in the present embodiment, the server device 40 transparently superimposes the field image A and the teacher image B to generate the composite image C, and based on the composite image C and the correct answer data R. The trained model M is generated and notified to the information processing apparatus 30. The information processing device 30 generates an abnormality score of the input image E using the trained model M and notifies the monitoring center device 60, and the monitoring center device 60 has an abnormality score equal to or higher than a predetermined determination threshold value. In this case, the display device of the train 70 is configured to notify the abnormality score, so that the driver of the train 70 can grasp the abnormality at the railroad crossing. At this time, it becomes possible to efficiently generate a learning image required for deep learning.

なお、上記実施形態では、自動車が含まれる画像を教師用画像Bとして用いる場合について説明したが、人、自転車、自動二輪車などの各種移動体が含まれる画像を教師用画像Bとして用いる場合に適用することもできる。また、踏切周辺に移動体が存在しないが、踏切周辺で火災などの異常が発生した画像を教師用画像Bとして用いることもできる。 In the above embodiment, the case where the image including the automobile is used as the image B for the teacher has been described, but it is applied to the case where the image including various moving objects such as a person, a bicycle, and a motorcycle is used as the image B for the teacher. You can also do it. Further, although there is no moving object around the railroad crossing, an image in which an abnormality such as a fire has occurred around the railroad crossing can be used as the teacher image B.

また、上記実施形態では、電車の表示装置に異常スコアを表示する場合を示したが、本発明はこれに限定されるものではなく、異常スコアとともに踏切の映像を表示するよう構成することもできる。 Further, in the above embodiment, the case where the abnormal score is displayed on the display device of the train is shown, but the present invention is not limited to this, and the present invention may be configured to display the image of the railroad crossing together with the abnormal score. ..

また、上記実施形態では、サーバ装置40において深層学習による教師有り学習を行う場合を示したが、本発明はこれに限定されるものではなく、クラウド又はクラウドのエッジコンピューティングにより教師有り学習を行う場合に適用することもできる。 Further, in the above embodiment, the case where the server device 40 performs supervised learning by deep learning is shown, but the present invention is not limited to this, and supervised learning is performed by cloud or edge computing of cloud. It can also be applied in some cases.

また、上記実施形態では、本発明を電車に適用した場合を示したが、本発明はこれに限定されるものではなく、線路又はそれに準じる軌道上を走行する各種の鉄道車両に適用することもできる。 Further, in the above embodiment, the case where the present invention is applied to a train is shown, but the present invention is not limited to this, and the present invention may be applied to various railway vehicles traveling on a railroad track or a track similar thereto. can.

また、上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 In addition, each configuration shown in each of the above embodiments is a schematic function, and does not necessarily have to be physically shown. That is, the form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / integrated in any unit according to various loads and usage conditions. Can be configured.

本発明に係る異常通知システム、サーバ装置、学習済モデル生成プログラム及び異常通知方法は、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援する場合に適している。 The abnormality notification system, the server device, the trained model generation program, and the abnormality notification method according to the present invention are suitable for notifying the driver's seat of a railroad crossing of an abnormal state of a railroad crossing and supporting safe driving by a driver.

A 現場画像
B 教師用画像
C 合成画像
D CNNデータ
E 入力画像
M 学習済モデル
R 正解データ
10 カメラ
30 情報処理装置
31 記憶部
32 制御部
32a 画像受付部
32b 現場画像通知部
32c 異常スコア算出部
32d 通知部
33 通信I/F部
40 サーバ装置
41 入力部
42 表示部
43 通信I/F部
44 記憶部
45 制御部
45a 現場画像受信部
45b 合成画像生成部
45c 学習処理部
45d 学習済モデル送信部
60 監視センタ装置
61 入力部
62 表示部
63 通信I/F部
64 記憶部
64a 異常スコア
64b 判定しきい値
65 制御部
65a 異常スコア受信部
65b 通知判定部
65c 異常スコア通知部
70 電車
A Site image B Teacher image C Composite image D CNN data E Input image M Trained model R Correct answer data 10 Camera 30 Information processing device 31 Storage unit 32 Control unit 32a Image reception unit 32b Site image notification unit 32c Abnormal score calculation unit 32d Notification unit 33 Communication I / F unit 40 Server device 41 Input unit 42 Display unit 43 Communication I / F unit 44 Storage unit 45 Control unit 45a Site image reception unit 45b Composite image generation unit 45c Learning processing unit 45d Learned model transmission unit 60 Monitoring center device 61 Input unit 62 Display unit 63 Communication I / F unit 64 Storage unit 64a Abnormal score 64b Judgment threshold 65 Control unit 65a Abnormal score reception unit 65b Notification judgment unit 65c Abnormal score notification unit 70 Train

この発明は、踏切での異常を判定し、該踏切に接近する電車に対して異常を迅速に通知することができる異常通知システム及び異常通知方法に関する。 The present invention determines the abnormality of the level crossing, to the abnormality notification system及beauty abnormality notification method capable of quickly notifying an abnormality with respect to a train approaching the the tread off.

本発明は、上記の課題を解決するためになされたものであって、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することができる異常通知システム及び異常通知方法を提供することを目的とする。 The present invention was made to solve the above problems, an abnormal state of crossing notifies the driver's seat of the train, the abnormality notification system及beauty capable of supporting safe driving by the driver The purpose is to provide an abnormality notification method.

以下に、添付図面を参照して、本発明に係る異常通知システム及び異常通知方法の好適な実施形態を詳細に説明する。 Hereinafter, with reference to the accompanying drawings, a preferred embodiment of the fault notification system及beauty abnormality notifying method according to the present invention will be described in detail.

本発明に係る異常通知システム及び異常通知方法は、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援する場合に適している。 Abnormality notification system及beauty abnormality notifying method according to the present invention, an abnormal state of crossing notifies the driver's seat of the train, is suitable for the case to support safe driving by the driver.

Claims (7)

線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムであって、
前記情報処理装置は、
前記踏切周辺の現場画像を撮像する撮像手段と、
前記撮像手段で撮像した現場画像を前記サーバ装置に通知する現場画像通知手段と
を有し、
前記サーバ装置は、
所定の教師用画像を含む教師情報を記憶する記憶手段と、
前記情報処理装置から前記現場画像を取得する現場画像取得手段と、
前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、
前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段と
を有し、
前記情報処理装置は、
前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する
ことを特徴とする異常通知システム。
An information processing device arranged in or near a monitoring area of a railroad track through which a railroad vehicle traveling on a railroad track or a similar track passes, a server device capable of communicating with the information processing device, and monitoring for monitoring the railroad vehicle. An abnormality notification system having a center device, detecting an abnormality in the monitoring area, and notifying the railway vehicle.
The information processing device is
An imaging means for capturing an image of the site around the railroad crossing,
It has a site image notification means for notifying the server device of the site image captured by the image pickup means.
The server device is
A storage means for storing teacher information including a predetermined teacher image,
A site image acquisition means for acquiring the site image from the information processing device,
A trained model generation means for generating a trained model based on the teacher image stored in the storage means and the field image, and a trained model generation means.
It has a trained model notification means for notifying the information processing apparatus of the trained model generated by the trained model generation means.
The information processing device is
An abnormality notification system characterized in that an abnormality determination is made using a learned model received from the server device and the abnormality determination result is notified to the monitoring center device.
前記学習済モデル生成手段は、
前記記憶手段に記憶された教師用画像を前記現場画像と合成して合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び異常スコアを所定の多層ニューラルネットワークに適用して教師有り学習を繰り返して学習済モデルを生成する学習手段と
を有することを特徴とする請求項1に記載の異常通知システム。
The trained model generation means is
A composite image generation means for generating a composite image by synthesizing a teacher's image stored in the storage means with the field image,
The first aspect of the present invention is to have a learning means for generating a trained model by repeating supervised learning by applying a composite image and an abnormality score generated by the composite image generation means to a predetermined multi-layer neural network. Described anomaly notification system.
前記合成画像生成手段は、
前記記憶手段に記憶された教師用画像を半透明状態として前記現場画像に重畳して合成画像を生成することを特徴とする請求項2に記載の異常通知システム。
The composite image generation means is
The abnormality notification system according to claim 2, wherein the teacher image stored in the storage means is superposed on the site image in a translucent state to generate a composite image.
前記情報処理装置は、
前記踏切における異常を行う場合に、前記撮像手段により撮像された入力画像を前記学習済モデルに入力し、該学習済モデルから出力される危険確率に基づいて異常判定結果を算定することを特徴とする請求項1乃至3のいずれか一つに記載の異常通知システム。
The information processing device is
When an abnormality is performed at a railroad crossing, an input image captured by the imaging means is input to the trained model, and an abnormality determination result is calculated based on the risk probability output from the trained model. The abnormality notification system according to any one of claims 1 to 3.
線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と通信可能なサーバ装置であって、
所定の教師用画像を含む教師情報を記憶する記憶手段と、
前記情報処理装置において撮像された現場画像を取得する現場画像取得手段と、
前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、
前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段と
を有することを特徴とするサーバ装置。
A server device capable of communicating with an information processing device arranged in or near a railroad crossing monitoring area through which a railroad vehicle traveling on a railroad track or a similar track passes.
A storage means for storing teacher information including a predetermined teacher image,
An on-site image acquisition means for acquiring an on-site image captured by the information processing apparatus,
A trained model generation means for generating a trained model based on the teacher image stored in the storage means and the field image, and a trained model generation means.
A server device including a trained model notification means for notifying the information processing apparatus of a trained model generated by the trained model generation means.
線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と通信可能なサーバ装置で実行される学習済モデル生成プログラムであって、
所定の教師用画像を含む教師情報を記憶部に格納する格納手順と、
前記情報処理装置において撮像された現場画像を取得する現場画像取得手順と、
前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手順と
をコンピュータに実行させることを特徴とする学習済モデル生成プログラム。
A trained model generation program executed by a server device capable of communicating with an information processing device arranged in or near a railroad crossing monitoring area through which a railroad vehicle traveling on a railroad track or a similar track passes.
A storage procedure for storing teacher information including a predetermined teacher image in a storage unit, and
The on-site image acquisition procedure for acquiring the on-site image captured by the information processing apparatus, and the on-site image acquisition procedure.
A trained model generation program characterized by causing a computer to execute a trained model generation procedure for generating a trained model based on a teacher image stored in the storage means and the field image.
線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムにおける異常通知方法であって、
前記情報処理装置が、前記踏切周辺の現場画像を撮像する撮像工程と、
前記情報処理装置が、前記撮像工程で撮像した現場画像を前記サーバ装置に通知する現場画像通知工程と、
前記サーバ装置が、所定の教師用画像を含む教師情報を記憶部に格納する格納工程と、
前記サーバ装置が、前記情報処理装置から前記現場画像を取得する現場画像取得工程と、
前記記憶部に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成工程と、
前記学習済モデル生成工程により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知工程と、
前記情報処理装置が、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する異常判定結果通知工程と
を含むことを特徴とする異常通知方法。
An information processing device arranged in or near a monitoring area of a railroad track through which a railroad vehicle traveling on a railroad track or a similar track passes, a server device capable of communicating with the information processing device, and monitoring for monitoring the railroad vehicle. It is an abnormality notification method in an abnormality notification system having a center device, detecting an abnormality in the monitoring area, and notifying the railway vehicle.
An image pickup process in which the information processing device captures an on-site image of the area around the railroad crossing.
A site image notification step in which the information processing device notifies the server device of the site image captured in the image pickup process.
A storage step in which the server device stores teacher information including a predetermined teacher image in a storage unit, and
A site image acquisition process in which the server device acquires the site image from the information processing device, and
A trained model generation step of generating a trained model based on the teacher image stored in the storage unit and the field image, and
A trained model notification process for notifying the information processing apparatus of the trained model generated by the trained model generation step, and
The information processing apparatus includes an abnormality determination result notification step of performing an abnormality determination using a learned model received from the server apparatus and notifying the monitoring center apparatus of the abnormality determination result. ..
JP2020098719A 2020-06-05 2020-06-05 Abnormality notification system and abnormality notification method Active JP6961041B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020098719A JP6961041B1 (en) 2020-06-05 2020-06-05 Abnormality notification system and abnormality notification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020098719A JP6961041B1 (en) 2020-06-05 2020-06-05 Abnormality notification system and abnormality notification method

Publications (2)

Publication Number Publication Date
JP6961041B1 JP6961041B1 (en) 2021-11-05
JP2021192181A true JP2021192181A (en) 2021-12-16

Family

ID=78409774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020098719A Active JP6961041B1 (en) 2020-06-05 2020-06-05 Abnormality notification system and abnormality notification method

Country Status (1)

Country Link
JP (1) JP6961041B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176202A1 (en) * 2022-03-15 2023-09-21 株式会社Nttドコモ Pseudo image generation device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065330A (en) * 2018-10-15 2020-04-23 東京電力ホールディングス株式会社 Abnormality detection method, program, generation method for learnt model, and learnt model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065330A (en) * 2018-10-15 2020-04-23 東京電力ホールディングス株式会社 Abnormality detection method, program, generation method for learnt model, and learnt model

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"AIが踏切の映像を監視して異常を検知。警告とともに映像を高速伝送", MARVIN[ONLINE], JPN6021033898, 30 November 2018 (2018-11-30), ISSN: 0004584125 *
新井 英樹: "踏切安全性向上のためのセンシング・制御技術", 信号通信技術交流会[ONLINE], JPN6021033897, 13 October 2016 (2016-10-13), ISSN: 0004584126 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176202A1 (en) * 2022-03-15 2023-09-21 株式会社Nttドコモ Pseudo image generation device

Also Published As

Publication number Publication date
JP6961041B1 (en) 2021-11-05

Similar Documents

Publication Publication Date Title
CN108919256B (en) Four-dimensional real-scene traffic simulation vehicle overspeed whole-course tracking detection alarm system and method
CN107782564B (en) Automatic driving vehicle evaluation system and method
CN103080953B (en) The method and system of the thingness detection of the object detection and/or acceleration for acceleration and the purposes of methods described
CN109345829B (en) Unmanned vehicle monitoring method, device, equipment and storage medium
JP6962604B2 (en) Collaborative blindspot alerting methods and equipment for inter-vehicle communication infrastructure with fault tolerance and fracture robustness in extreme situations
JP7214640B2 (en) Management device, vehicle, inspection device, vehicle inspection system, and information processing method thereof
CN110103952A (en) Assist method, equipment, medium and the system of vehicle drive
Peng et al. Intelligent method for identifying driving risk based on V2V multisource big data
KR102514660B1 (en) Method and system for preventing traffic accident on pedestrian vehicle road
JP4814816B2 (en) Accident occurrence prediction simulation apparatus, method and program, safety system evaluation apparatus and accident alarm apparatus
US11553363B1 (en) Systems and methods for assessing vehicle data transmission capabilities
JP2022532941A (en) Devices and methods for processing vehicle signals to calculate behavioral risk measures
US11270130B2 (en) Route inspection system
JP6961041B1 (en) Abnormality notification system and abnormality notification method
KR102144778B1 (en) System and method for providing real-time updated road information
CN109895694B (en) Lane departure early warning method and device and vehicle
JP2021183429A (en) Abnormality notification system and abnormality notification method
CN106885700B (en) Simulation test device and method for blind area detection equipment
KR101736431B1 (en) System and Method for Smart Traffic Monitoring Using Multiple Image
Detzer et al. Analysis of traffic safety for cyclists: The automatic detection of critical traffic situations for cyclists
CN114882552A (en) Method for checking wearing state of person mask in operation vehicle based on deep learning
CN114987512A (en) Collecting sensor data for a vehicle
Dang et al. A Vision Based System Design for Over-Sized Vessel Detecting and Warning Using Convolutional Neural Network
CN115884911A (en) Fault detection method, fault detection device, server and vehicle
Amin et al. Intelligent Railroad Grade Crossing: Leveraging Semantic Segmentation and Object Detection for Enhanced Safety

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211012

R150 Certificate of patent or registration of utility model

Ref document number: 6961041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250