JP2022074331A5

JP2022074331A5 -

Info

Publication number: JP2022074331A5
Application number: JP2020184282A
Authority: JP
Filing date: 2020-11-04
Publication date: 2023-05-11
Anticipated expiration: 2040-11-04

Description

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、状態判定装置であって、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーと、前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーと、一種類以上の点検対象設備の寸法データを格納する設備データベースと、前記三次元データから前記寸法データに合致する領域を特定し、前記特定された領域の画像と三次元データとによって教師情報を作成する教師情報作成部と、前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出部と、前記特定された領域の画像と三次元データを共に用いて、前記物体検出部の出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習部と、を備えることを特徴とする。

学習部６は、一対の画像と教師情報を用いて内部パラメータを更新してもよい。又は、学習部６は、教師情報バッファーに格納された所定数の教師情報と画像バッファーに格納された所定数の撮影画像を用いて内部パラメータを更新してもよい。複数枚の画像を用いた学習によって、より汎用的な画像特徴を学習できる。

信号機の寸法と合致する領域Ｆ２０４の探索方法の一例について説明する。まず、三次元データ（距離画像）Ｆ２０３において、地表より上の位置で所定の大きさを有する設備候補領域群Ｆ２０６を算出する。そして、設備データベース５より読み出した探索する設備の寸法の下限と上限を満たす領域を、設備候補領域群Ｆ２０６の中から抽出すると、信号機の寸法と合致する領域Ｆ２０４が特定できる。探索される設備が設置される高さ等の設置位置に関する条件が設備データベース５に記録されている場合、設備候補領域群Ｆ２０６の算出の段階又は信号機の寸法と合致する領域Ｆ２０４の特定の段階において、設置位置の条件によるフィルタリング処理によって、誤特定を低減できる。

三次元データの補間において、例えば現在の点群と過去の点群同士をマッチングしたり、若しくは、一方又は両方の点群をメッシュに変換した後にマッチングして、両者の点群が示す空間構造が一致する位置合わせパラメータの算出によって、三次元データを補間できる。特に、移動体が鉄道車両である場合、鉄道車両の走行は線路上に限定されるため、近似した条件下における三次元データを繰り返し取得でき、補間に使用するために多量の三次元データを保持し、空間計測分解能を効率的に向上できる。これによって、移動体の現在の地点における設備の寸法データに合致する領域の特定精度を高め、教師情報の作成洩れや作成ミスを低減できる。

＜実施例５＞
図９は、本発明の実施例５の設備点検システムの全体構成を示す図である。本実施例は、複数の移動体とデータセンターをエッジクラウド構成で接続し、共通の物体検出モデルを複数の移動体に分配して学習を行い、学習結果を集約して共通の物体検出モデルを更新する設備点検システムの提供を目的とする。

Claims

状態判定装置であって、
移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーと、
前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーと、
一種類以上の点検対象設備の寸法データを格納する設備データベースと、
前記三次元データから前記寸法データに合致する領域を特定し、前記特定された領域の画像と三次元データとによって教師情報を作成する教師情報作成部と、
前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出部と、
前記特定された領域の画像と三次元データを共に用いて、前記物体検出部の出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習部と、を備えることを特徴とする状態判定装置。
請求項１に記載の状態判定装置であって、
前記学習部の学習完了後は、前記第一のセンサーが撮影した画像から点検対象設備を検出することを特徴とする状態判定装置。
請求項１に記載の状態判定装置であって、
前記移動体の現在の位置情報を取得する位置情報取得部と、
前記点検対象設備の情報を前記教師情報作成部に供給する教師作成方法制御部と、を備え、
前記教師作成方法制御部は、前記設備データベースから前記点検対象設備の寸法データと設置地点情報を取得し、前記取得した設置地点情報と前記移動体の現在の位置情報とを照合して、前記点検対象設備が存在する地点に近づいたタイミングで、前記点検対象設備の情報を前記教師情報作成部に供給することを特徴とする状態判定装置。
請求項１に記載の状態判定装置であって、
移動体の現在の位置情報を取得する位置情報取得部と、
前記第二のセンサーが取得した三次元データと前記移動体の位置情報とを関連付けて保存する第二のセンサーデータベースと、
前記第二のセンサーデータベースから過去に取得した三次元データを読み出し、同一地点で過去に取得した三次元データを用いて現在の三次元データを補間し、前記補間された三次元データを出力する補間部と、を備えることを特徴とする状態判定装置。
請求項１に記載の状態判定装置であって、
前記第一のセンサーが撮影した画像から移動体の走行空間を認識し、前記認識された走行空間に基づいて前記点検対象設備が存在し得る領域を算出する走行空間認識部を備え、
前記教師情報作成部は、前記設備データベースからデータを読み込み、前記第二のセンサーが取得した三次元データのうち、前記走行空間認識部が算出した点検対象設備が存在し得る領域において、前記点検対象設備の寸法データに合致する領域を特定することによって、前記教師情報を作成することを特徴とする状態判定装置。
請求項１に記載の状態判定装置であって、
前記移動体は、鉄道車両であることを特徴とする状態判定装置。
請求項５に記載の状態判定装置であって、
前記移動体は、鉄道車両であって、
前記走行空間認識部は、前記第一のセンサーが撮影した画像から線路を検出し、移動体の走行空間を認識することを特徴とする状態判定装置。
状態判定システムであって、
請求項１から７のいずれか一つに記載の状態判定装置と、
前記状態判定装置と通信可能に接続されたセンタ装置と、を備え、
前記センタ装置は、
複数の移動体の物体検出部において共通に使用される物体検出モデルを、各移動体の物体検出部に分配するモデル分配部と、
前記複数の移動体で学習した物体検出モデルの全体又は学習によって更新された差分を集約するモデル集約部と、
前記集約された物体検出モデルに基づいて、共通で使用される物体検出モデルを更新するモデル更新部と、を有し、
前記状態判定装置の物体検出部は、前記モデル分配部によって分配された物体検出モデルを用いて、前記点検対象設備の名称及び領域を出力することを特徴とする状態判定システム。
計算機が実行する状態判定方法であって、
前記計算機は、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、一種類以上の点検対象設備の寸法データを格納する設備データベースと、を有し、
前記状態判定方法は、
前記演算装置が、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーデータ取得ステップと、
前記演算装置が、前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーデータ取得ステップと、

前記演算装置が、前記三次元データから前記寸法データに合致する領域を特定し、前記特定された領域の画像と三次元データとによって教師情報を作成する教師情報作成ステップと、
前記演算装置が、前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出ステップと、
前記演算装置が、前記特定された領域の画像と三次元データを共に用いて、前記物体検出ステップの出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習ステップと、を備えることを特徴とする状態判定方法。