JP2022029746A - 支障物特定装置、支障物特定方法及びプログラム - Google Patents
支障物特定装置、支障物特定方法及びプログラム Download PDFInfo
- Publication number
- JP2022029746A JP2022029746A JP2020133210A JP2020133210A JP2022029746A JP 2022029746 A JP2022029746 A JP 2022029746A JP 2020133210 A JP2020133210 A JP 2020133210A JP 2020133210 A JP2020133210 A JP 2020133210A JP 2022029746 A JP2022029746 A JP 2022029746A
- Authority
- JP
- Japan
- Prior art keywords
- track
- pixel
- obstacle
- laying
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 13
- 230000008602 contraction Effects 0.000 description 28
- 238000001514 detection method Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 16
- 239000011521 glass Substances 0.000 description 13
- 238000012423 maintenance Methods 0.000 description 11
- 241000196324 Embryophyta Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
Description
線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段と、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段と、
前記線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する特定手段と、
を備えることを特徴とする支障物特定装置である。
図1は、本実施形態の支障物特定装置10の機能構成を示すブロック図である。
本実施形態の支障物特定装置10は、撮影画像においてレール、枕木及び道床などの所定の構成物(線路敷構成物)で構成される線路敷が含まれている領域である線路敷領域の内部からごみ、進入物や保線後に置き忘れた工具などの支障物を検出して示す。進入物には、自然災害などによる落石、枝、土砂、構造物の破片などが含まれてもよい。
線路敷Wを構成する線路敷構成物は、平行に延びる2本のレールR(軌条)、枕木P、バラストBや軌道スラブなどの道床などを含む。また、線路敷構成物には、これらに直接関係する建造物、設備や装置が含まれていてもよい。線路敷構成物に含まれる建造物の例は、橋などである。また、線路敷構成物に含まれる設備や装置の例は、速度制限標識、勾配標などの鉄道標識S、場所により架線柱及び架線、ポイント、踏切、各種信号設備A(例えば、ATS(Automatic train stop)の地上子)、通信設備F、電力供給設備、及びこれら信号や電力などを送受信するケーブルCなどである。撮影画像には線路敷以外も含まれ得る。線路敷以外のものとしては、例えば、線路敷Wの両側に設けられた柵、排水溝、土手や斜面、及び土手や斜面を介して接している道路、田畑、林や建物Hなどがある。
以下、線路敷画素が集まった領域を線路敷画素領域と称し、非線路敷画素が集まった領域を非線路敷画素と称する。ここでいう「集まった」は、互いに接する同一属性の画素を一まとまりとすることをいい、各領域は他の同一属性の画素と接していない1画素のみの単一画素領域も含む。
以下、上記所定の度合を膨張・収縮度合と称する。膨張・収縮度合は、膨張・収縮させる画素数として定められる。ここで、膨張・収縮させる画素数は、整数に限られなくてもよい。画素数は、膨張・収縮させる領域の最初のサイズとこの領域を所定の比率で膨張させたときのサイズとの差分に応じて定められてもよい。膨張・収縮度合は、事前の実験などを通じ、判別ぶれのサイズや誤判別領域のサイズを想定して定められる。
図4(a)に示す元の図形Woは、内部に例外部分J1(図形Woに含まれない部分)を有し、また、外側境界に微小なくぼみJ2を有する。この図形Woの境界(例外部分J1との境界(内側境界)を含む)を膨張・収縮度合だけ膨張させた図形Weは、これら例外部分J1及びくぼみJ2が埋め込まれる。図4(b)に示すように図形Weを膨張・収縮度合だけ収縮させると、これら埋め込まれた部分が消滅した図形Wrが得られる。
上記の各部分に加えて、線路敷の境界のうち一部で微小なずれM3が生じていることが分かる。このうち、上記のように、誤判定領域M2は、非線路敷画素領域のモルフォロジー変換で除去され、微小な境界判定のずれM3は、線路敷画素領域W0のモルフォロジー変換で除去され得る。領域M1などは、サイズによっては除去できない場合があってもよい。
支障物が検出されると、その支障物をそれぞれ示す表示がARグラスの表示部16により行われる。特には限られないが、ここでは、支障物を内包する矩形が表示される。支障物を内包する矩形の範囲が定められてその座標が決まると、当該座標の情報に基づいて、表示部16により矩形の表示を行わせる。ここでは、支障物領域U1、U2をそれぞれ内包する矩形Q1、Q2が特定されている。また、雑草G1に係る領域M1に対応する矩形Q3が特定されている。これらがARグラスに実際の視界と重ねて表示されることで、ユーザが支障物の候補を容易に知覚することが可能になる。
上記実施の形態では、膨張・収縮度合を予め定める例を示したが、撮影画像ごとに膨張・収縮度合を定めてもよい。例えば、制御部11は、設定手段及び特定手段として、撮影画像に対して判別された線路敷画素と非線路敷画素の分布に応じて当該撮影画像に対する膨張・収縮度合を定めることができる。具体的には、線路敷画素と非線路敷画素の分布と膨張・収縮度合との関係を予め学習した学習済モデル(膨張・収縮度合推定モデルと称する)をプログラム121の一部として記憶部12に記憶させておく。そして、制御部11は、設定手段及び特定手段として、撮影画像に対して判別された線路敷画素および非線路敷画素に互いに異なる画素値を設定した二値画像を膨張・収縮度合推定モデルに入力して得られる出力値を膨張・収縮度合として用いる。膨張・収縮度合推定モデルは、事前に線路敷が撮影された事例画像に対して制御部11が判別手段として判別した線路敷画素及び非線路敷画素に互いに異なる画素値を設定した二値画像と、各事例画像に適した膨張・収縮度合とを用いて学習される。すなわち、各事例画像に対応する二値画像をニューラルネットワーク等によりモデル化した学習モデルに入力して得られる出力値が当該事例画像に対応する膨張・収縮度合に一致するように学習モデルのパラメータが更新されて膨張・収縮度合推定モデルが学習される。
また、上記実施の形態では、ARグラスにおいて、現実の視界に重ねて支障物の範囲を表示させる例を示したが、撮影画像に支障物の範囲を重畳した画像を表示部16により表示させてもよい。この場合、表示部16は、液晶画面などの表示画面を有し、撮影画像が略リアルタイムで更新表示される。
この変形例では、ステップS11~S13の処理が追加され、ステップS8の処理が削除されている。その他の処理は、上記実施形態における支障物検出処理と同一であり、同一の処理内容には同一の符号を付して詳しい説明を省略する。
なお、非線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合と、線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合とを異ならせる場合、各度合を推定するための膨張・収縮度合推定モデルは、別々に学習されて記憶部12に記憶され、制御部11は、ステップS11の処理において各モデルに二値画像を入力してそれぞれの膨張・収縮度合を決定する。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、線路敷画素と非線路敷画素とをセマンティックセグメンテーションを利用した学習済モデルにより判別したが、これに限られない。他の画像処理方法が用いられてもよい。例えば、勾配ブースティング、ランダムフォレストなどでモデル化した学習済モデルを用いて線路敷画素と非線路敷画素とを判別することができる。その場合、制御部11は、判別手段として、例えば、画像をメッシュ分割して各メッシュでのRGBの平均と標準偏差を求め、求めた値を説明変数として用いる。すなわち、制御部11は、判別手段として、多数の学習用画像それぞれから求めた説明変数を入力して得られる出力値を当該学習用画像のアノテーションに一致させるようにパラメータを更新した学習済モデルに、撮影画像から求めた説明変数を入力して判別を行う。
このように、容易な処理でレール上のみならず線路敷内において支障物が存在する範囲を特定することができるので、支障物特定装置10は、より高い実用性をもって保線作業を支援することができる。ここでいう保線作業は、保線作業員が契約に従って保線業務に従事している場合に限られず、鉄道などに関係する者が線路敷を観察する場合全般を含んでよい。したがって、想定され得るあらゆる種類の支障物を学習させる必要がなく、また、検出漏れの可能性も低減することができるので、効率がよい。また、線路敷を基準とするので、線路敷以外の周辺環境が大きくばらついていても、ほとんど影響を受けない。さらに、線路敷の典型的な形状、配置に基づいて線路敷画素と非線路敷画素とが判別されるので、処理が重くならず、略リアルタイムでの検出及び表示に利用することができる。特に、セマンティックセグメンテーションによって判別を行う場合、撮影画像を分割して分割画像ごとに支障物が撮影された分割画像であるか否かを識別するなどの高負荷な探索を行わずに済むので、処理が迅速に終了する。したがって、この支障物特定装置10は、より実用性を向上させることができる。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
11 制御部
12 記憶部
121 プログラム
1210 学習済モデル
13 撮影部
14 計測部
15 操作受付部
16 表示部
17 通信部
A 信号設備
B バラスト
C ケーブル
F 通信設備
G1、G2 雑草
H 建物
M1 領域
M2 誤判定領域
O1、O2 支障物
P 枕木
R レール
S 鉄道標識
U1、U2 支障物領域
W 線路敷
W0 線路敷画素領域
W1 線路敷領域
線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段と、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段と、
前記判別手段により判別された非線路敷画素のうち前記線路敷領域の内部に位置するものを支障物の範囲として特定する特定手段と、
を備えることを特徴とする支障物特定装置である。
Claims (6)
- 線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段と、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段と、
前記線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する特定手段と、
を備えることを特徴とする支障物特定装置。 - 前記特定手段は、前記線路敷領域の内部に位置する前記非線路敷画素が集まった領域のサイズに応じて支障物であるか否かを判断することを特徴とする請求項1記載の支障物特定装置。
- 前記特定手段は、前記線路敷画素の領域を所定の度合にて膨張させた後に当該度合にて収縮させる処理を行い、前記線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定することを特徴とする請求項2記載の支障物特定装置。
- 前記特定手段は、前記判別手段により判別された前記線路敷画素と前記非線路敷画素との分布に応じて定められる度合にて前記線路敷画素の領域を膨張させた後に当該度合にて収縮させる処理を行い、前記線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定することを特徴とする請求項2記載の支障物特定装置。
- 線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別ステップ、
前記判別ステップでの判別結果に基づいて線路敷領域の外形状を設定する設定ステップ、
前記線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する特定ステップ、
を含むことを特徴とする支障物特定方法。 - コンピュータを、
線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段、
前記線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する特定手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020133210A JP7041723B2 (ja) | 2020-08-05 | 2020-08-05 | 支障物特定装置、支障物特定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020133210A JP7041723B2 (ja) | 2020-08-05 | 2020-08-05 | 支障物特定装置、支障物特定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022029746A true JP2022029746A (ja) | 2022-02-18 |
JP7041723B2 JP7041723B2 (ja) | 2022-03-24 |
Family
ID=80325087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020133210A Active JP7041723B2 (ja) | 2020-08-05 | 2020-08-05 | 支障物特定装置、支障物特定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7041723B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08180276A (ja) * | 1994-12-26 | 1996-07-12 | Hitachi Ltd | 障害物検知方法及びその装置 |
JP2006133941A (ja) * | 2004-11-04 | 2006-05-25 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末 |
JP2009061795A (ja) * | 2007-09-04 | 2009-03-26 | Fujitsu Ten Ltd | 駐車支援制御装置 |
JP2010006295A (ja) * | 2008-06-30 | 2010-01-14 | Kobe Steel Ltd | 落下物検知装置、移動体および落下物検知方法 |
JP2012235712A (ja) * | 2011-05-10 | 2012-12-06 | Original Soft:Kk | 芝刈り状況監視機能を有する自動芝刈り機 |
JP2019142304A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社明電舎 | 落下物検出装置及び落下物検出方法 |
JP2020006788A (ja) * | 2018-07-06 | 2020-01-16 | 株式会社明電舎 | 建築限界判定装置 |
JP2020035199A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Ihi | 学習データ生成装置及び支障物検知システム |
-
2020
- 2020-08-05 JP JP2020133210A patent/JP7041723B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08180276A (ja) * | 1994-12-26 | 1996-07-12 | Hitachi Ltd | 障害物検知方法及びその装置 |
JP2006133941A (ja) * | 2004-11-04 | 2006-05-25 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末 |
JP2009061795A (ja) * | 2007-09-04 | 2009-03-26 | Fujitsu Ten Ltd | 駐車支援制御装置 |
JP2010006295A (ja) * | 2008-06-30 | 2010-01-14 | Kobe Steel Ltd | 落下物検知装置、移動体および落下物検知方法 |
JP2012235712A (ja) * | 2011-05-10 | 2012-12-06 | Original Soft:Kk | 芝刈り状況監視機能を有する自動芝刈り機 |
JP2019142304A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社明電舎 | 落下物検出装置及び落下物検出方法 |
JP2020006788A (ja) * | 2018-07-06 | 2020-01-16 | 株式会社明電舎 | 建築限界判定装置 |
JP2020035199A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Ihi | 学習データ生成装置及び支障物検知システム |
Also Published As
Publication number | Publication date |
---|---|
JP7041723B2 (ja) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7999846B2 (en) | Image processing apparatus, image processing system, and recording medium for programs therefor | |
JP6713368B2 (ja) | 情報処理装置、表示装置、情報処理方法、及びプログラム | |
JP6364743B2 (ja) | 情報処理装置、制御方法、プログラム、及び情報システム | |
US8953838B2 (en) | Detecting ground geographic features in images based on invariant components | |
JP6615065B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Hadjidemetriou et al. | Vision-and entropy-based detection of distressed areas for integrated pavement condition assessment | |
KR101645959B1 (ko) | 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법 | |
US11990041B2 (en) | Moving body tracking system, moving body tracking method, and program | |
JP6615066B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3709264A1 (en) | Information processing apparatus and accumulated images selecting method | |
JP6956325B2 (ja) | レーン特定方法およびレーン特定装置 | |
JP6647171B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2006004435A (ja) | 扇形の検索窓を用いた線追跡アルゴリズム | |
JP7041723B2 (ja) | 支障物特定装置、支障物特定方法及びプログラム | |
JP5067847B2 (ja) | 車線認識装置及びナビゲーション装置 | |
JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN112418096A (zh) | 检测跌的方法、装置和机器人 | |
JP2013045152A (ja) | 動体追跡装置 | |
EP4334186A1 (en) | Automatic digital inspection of railway environment | |
JP6828445B2 (ja) | 対象物追跡プログラム、対象物追跡方法及び対象物追跡装置 | |
JP4850161B2 (ja) | 道路地図データ作成装置 | |
JP4696245B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP4658714B2 (ja) | 画像中の線を検出する方法、装置、プログラム、および記憶媒体 | |
CN109145424B (zh) | 一种针对探地雷达数据的桥梁数据识别方法及系统 | |
WO2022208664A1 (ja) | 画像処理装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7041723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |