JP2021147990A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021147990A
JP2021147990A JP2020099939A JP2020099939A JP2021147990A JP 2021147990 A JP2021147990 A JP 2021147990A JP 2020099939 A JP2020099939 A JP 2020099939A JP 2020099939 A JP2020099939 A JP 2020099939A JP 2021147990 A JP2021147990 A JP 2021147990A
Authority
JP
Japan
Prior art keywords
information
unit
data
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020099939A
Other languages
English (en)
Other versions
JP7047863B2 (ja
Inventor
岳士 宮良
Takeshi Miyayoshi
岳士 宮良
知紀 梅沢
Tomoki Umezawa
知紀 梅沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020099939A priority Critical patent/JP7047863B2/ja
Publication of JP2021147990A publication Critical patent/JP2021147990A/ja
Application granted granted Critical
Publication of JP7047863B2 publication Critical patent/JP7047863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Road Repair (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】路面、線路、架線等の異常を効率的かつ精度良く判断できる情報処理装置を提供することを目的とする。【解決手段】情報処理装置10は、路面Rに対して車両70が接触しながら移動することによって変化する物理量の検知信号を取得する検知装置通信部12と、車両70の画像情報を取得する撮像装置制御部41と、検知信号に基づき決定される車両70の異常の可能性を示すスコアと、画像情報を対応付けてディスプレイ106aに表示させる表示制御部14を備える。【選択図】図17

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
特許文献1には、道路を走行しながら、熱赤外線カメラ3及び可視光線カメラ4で舗装面を撮影し、舗装面の状態に応じた車両の振動を振動センサ5で検出し、走行音検出部6で車両の走行に伴って生じる音を検出し、透水性検出部7で舗装の透水性を検出し、予め道路の周辺に配置されたセンサの検出情報をICタグ通信部8で収集し、舗装面の形状を舗装面計測部9で収集する検査車両1が開示されている。
本発明は、対象部の異常を効率的かつ精度良く判断できる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
本発明に係る情報処理装置は、対象部に対して移動体が接触しながら移動することによって変化する物理量の検知情報を取得する検知情報取得部と、対象部の画像情報を取得する画像情報取得部と、検知情報に基づき決定される対象部の異常の可能性を示すスコアと、画像情報を対応付けて表示部に表示させる表示制御部と、を備える。
本発明によれば、対象部の異常を効率的かつ精度良く判断できる情報処理装置、情報処理方法およびプログラムを提供することができる。
本発明の実施形態に係る異常検知システムのシステム構成の一例を示す図である。 本実施形態に係る車両を示す図である。 情報処理装置のハードウエア構成の一例を示す図である。 車両の制御装置のハードウエア構成の一例を示す図である。 本実施形態に係る異常検知システムの機能構成の一例を示す図である。 本実施形態に係る信号処理部の詳細な機能構成の一例を示す図である。 本実施形態に係る異常検知システムにおける検知信号の記憶処理の一例を示すシーケンス図である。 本実施形態に係る条件情報管理テーブルの一例を示す概念図である。 本実施形態に係る情報処理装置における検知信号に対する信号処理の一例を示すフローチャートである。 (a)は、正常動作時における検知信号のスペクトログラムの一例を示す図であり、(b)は、異常発生時における検知信号のスペクトログラムの一例を示す図である。 本実施形態に係る検知信号管理テーブルの一例を示す概念図である。 本実施形態に係る情報処理装置における画像情報に対する処理の一例を示すフローチャートである。 本実施形態に係る画像情報管理テーブルの一例を示す概念図である。 本実施形態に係る情報処理装置におけるスコアの表示処理およびモデル情報の記憶処理の一例を示すフローチャートである。 本実施形態に係る情報処理装置に表示される出力信号選択画面の一例を示す図である。 本実施形態に係る情報処理装置における表示選択処理の一例を示すフローチャートである。 本実施形態に係る情報処理装置に表示される表示選択画面の一例を示す図である。 本実施形態に係る表示選択画面に表示される画像情報の一例を示す図である。 本実施形態に係るモデル情報管理テーブルの一例を示す概念図である。 本実施形態の第1の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。 第1の変形例に係る表示選択画面に表示される画像情報の一例を示す図である。 本実施形態の第2の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。 本実施形態の第3の変形例に係る鉄道車両を示す図である。 第3の変形例に係る条件情報管理テーブルの一例を示す概念図である。 第3の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。 本実施形態の第4の変形例に係る鉄道車両を示す図である。 第4の変形例に係る条件情報管理テーブルの一例を示す概念図である。 第4の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●システム構成
図1は、本発明の実施形態に係る異常検知システムのシステム構成の一例を示す図である。
本実施形態に係る異常検知システム1Aは、車両70と、情報処理システム5を備える。情報処理システム5は、検知装置30、撮像装置40および情報処理装置10を備える。
車両70は、路面等の対象部に対して接触しながら移動する移動体の一例である。検知装置30は、車両70が路面に接触しながら移動することに応じて変化する物理量を検知する。撮像装置40は、路面等の対象部の動画または静止画の画像を撮像する撮像部の一例である。
異常検知システム1Aは、複数の車両70を備え、複数の車両70に対応する複数の検知装置30、および複数の撮像装置40を備えてもよい。
情報処理装置10は、車両70と通信可能になるように接続され、路面等の対象部について異常の診断を行う診断装置である。情報処理装置10は、専用のソフトウエアプログラムがインストールされた汎用的なPC(Personal Computer)であってもよい。また、情報処理装置10は、単一のコンピュータによって構成されてもよいし、複数のコンピュータによって構成されてもよい。
情報処理装置10と車両70とは、どのような接続形態で接続されてもよい。例えば、情報処理装置10と車両70とは、専用の接続線、有線LAN(Local Area Network)等の有線ネットワーク、または無線ネットワーク等により接続されるものとすればよい。
検知装置30は、車両70に設置されたタイヤと路面等とが車両70の移動中に接触することにより発する振動もしくは音等の物理量を検知し、検知した物理量の情報を検知信号(センサデータ)として、情報処理装置10へ出力するセンサである。検知装置30は、例えば、マイク、振動センサ、加速度センサ、またはAEセンサ等で構成され、例えば、振動または音等の物理量の変化を検出する。
これらの検出手段は、タイヤの近傍に設置される。設置方法は、ネジによる固定、マグネットによる固定、接着剤による接着、または、穴開け加工等を行ってそこに埋め込むことによる設置等の方法により設置される。なお、検知装置30の個数は、任意であってよい。また、同一の物理量を検知する複数の検知装置30を備えてもよいし、相互に異なる物理量を検知する複数の検知装置30を備えてもよい。
ここで、情報処理装置10と検知装置30の間には、検知装置30からの出力信号をフィルタリングする数種類のフィルタ、または、フィルタを選択するフィルタ選択手段が必要に応じて設けてもよい。
図2は、本実施形態に係る車両を示す図である。車両70は、制御装置70A、タイヤ50および検知装置30を備える。また、車両70は、車両70の進行方向側の路面Rを撮像するように配置される第1の撮像装置40Aと、車両70の後方の路面Rを垂直方向から撮像するように配置される第2の撮像装置40Bと、を備える。タイヤ50は、路面R等の対象部に対して接触しながら移動する移動部材の一例である。
検知装置30は、車両70に予め備えられているものとしてもよく、または車両70に対して後から取り付けられるものとしてもよい。
●ハードウエア構成
続いて、図3および図4を用いて、本実施形態における情報処理装置10および車両70のハードウエア構成を説明する。なお、図3および図4に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
〇情報処理装置のハードウエア構成〇
図3は、本実施形態に係る情報処理装置のハードウエア構成の一例を示す図である。
情報処理装置10は、コンピュータによって構築されており、図23に示すように、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HD(Hard Disk)104、HDD(Hard Disk Drive)コントローラ105、ディスプレイI/F106および通信I/F107を備えている。
これらのうち、CPU101は、情報処理装置10全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。HD104は、プログラム等の各種データを記憶する。HDDコントローラ105は、CPU101の制御にしたがってHD104に対する各種データの読み出しまたは書き込みを制御する。ディスプレイI/F106は、ディスプレイ106aに画像を表示させる回路である。ディスプレイ106aは、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部の一種である。通信I/F107は、車両70等の外部装置との通信に用いられるインターフェースである。通信I/F107は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に対応したNIC(Network Interface Card)等である。
また、情報処理装置10は、センサI/F108、音入出力I/F109、入力I/F110、メディアI/F111、DVD−RW(Digital Versatile Disk Rewritable)ドライブ112を備えている。
センサI/F108は、検知装置30に含まれるセンサアンプ302を介して検知信号を受信するインターフェースである。音入出力I/F109は、CPU101の制御に従ってスピーカ109aおよびマイク109bとの間で音信号の入出力を処理する回路である。入力I/F110は、情報処理装置10に所定の入力手段を接続させるためのインターフェースである。。キーボード110aは、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス110bは、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。キーボード708aおよびマウス708bに代えて、タッチパネル等を入力手段としてもよい。メディアI/F111は、フラッシュメモリ等の記録メディア111aに対するデータの読み出しまたは書き込み(記憶)を制御する。DVD−RWドライブ112は、着脱可能な記録媒体の一例としてのDVD−RW112aに対する各種データの読み出しまたは書き込みを制御する。なお、DVD−RWに限らず、DVD−R等であってもよい。また、DVD−RWドライブ112は、ブルーレイディスクに対する各種データの読み出しまたは書き込みを制御するブルーレイドライブであってもよい。
また、情報処理装置10は、バスライン113を備えている。バスライン113は、CPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたHDやCD−ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内または国外へ提供されることができる。
〇車両のハードウエア構成〇
図4は、本実施形態に係る車両の制御装置のハードウエア構成の一例を示す図である。
図4に示すように、制御装置70Aは、CPU701、ROM702、RAM703、ディスプレイI/F704、通信I/F705、駆動回路706、音出力I/F707、入力I/F708、およびセンサI/F709を備えている。
これらのうち、CPU701は、制御装置70A全体の動作を制御する。ROM702は、IPL等のCPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。ディスプレイI/F704は、ディスプレイ704aに画像を表示させる回路である。ディスプレイ704aは、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部の一種である。
通信I/F705は、情報処理装置10等の外部装置との通信に用いられるインターフェースである。通信I/F705は、例えば、TCP/IPに対応したNIC等である。
駆動回路706は、モータ706aの駆動を制御する回路である。モータ706aは、タイヤ50を駆動させる。
音出力I/F707は、CPU701の制御に従ってスピーカ707aおよびマイク707bとの間で音信号の出力を処理する回路である。入力I/F708は、制御装置70Aに所定の入力手段を接続させるためのインターフェースである。キーボード708aは、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス708bは、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。キーボード708aおよびマウス708bに代えて、タッチパネル等を入力手段としてもよい。
また、制御装置70Aは、バスライン710を備えている。バスライン710は、CPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、検知装置30は、センサ301およびセンサアンプ302を備えており、車両70が路面Rに接触しながら移動することに応じて変化する振動または音等の物理量を検知する。センサ301は、上述のように、車両70のタイヤ50と路面Rとが車両70の移動中に接触することにより発する振動もしくは音等の物理量を検知する。また、センサ301は、検知した物理量の情報に基づく検知信号(センサデータ)を取得する。センサ301は、例えば、マイク、振動センサ、加速度センサ、またはAEセンサ等である。センサアンプ302は、センサ301の検知感度等を調整し、かつセンサ301によって検出された検知信号を出力する。
●機能構成
図5は、本実施形態に係る異常検知システムの機能構成の一例を示す図である。
〇情報処理装置の機能構成〇
まず、情報処理装置10の機能構成について説明する。情報処理装置10によって実現される機能は、送受信部11、検知装置通信部12、受付部13、表示制御部14、音制御部15、生成部16、信号処理部17、選択部18、判断部21、記憶・読出部19、撮像装置制御部41および記憶部1000を含む。
送受信部11は、車両70等の外部装置との間で各種データ(または情報)の送受信を行う機能である。送受信部11は、例えば、車両70の現在の動作に係る処理情報(走行情報)を受信する。送受信部11は、主に、図3に示した通信I/F107、およびCPU101で実行されるプログラム等によって実現される。送受信部11は、処理情報取得部の一例である。
検知装置通信部12は、検知装置30との間でデータ通信を行う機能である。検知装置通信部12は、例えば、検知装置30によって検知された物理量に係る検知信号(センサデータ)を受信する。検知装置通信部12は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。検知装置通信部12は、検知情報を取得する検知情報取得部の一例である。また、検知装置通信部12によって受信される検知信号は、路面Rに対して車両70が接触しながら移動することに応じて変化する物理量に係る検知情報の一例である。
受付部13は、図3に示したキーボード110a等の入力手段に対するユーザ入力を受け付ける機能である。受付部13は、例えば、出力信号選択画面200(図15参照)に対する入力に応じて、出力項目の選択を受け付ける。受付部13は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
表示制御部14は、図3に示したディスプレイ106aに各種画面を表示させる機能である。表示制御部14は、例えば、ディスプレイ106aに出力信号選択画面200(図15参照)を表示させる。具体的には、表示制御部14は、例えば、OSで動作するソフトウエアアプリケーションを起動・実行することで、HTML(HyperText Markup Language)を少なくとも含み、CSS(Cascading Style Sheets)またはJAVA SCRIPT(登録商標)等を含むWebAPP(WebApplication)をダウンロードする。そして、表示制御部14は、そのWebAPPによって生成された各種画像データを、ディスプレイ106aに表示させる。表示制御部14は、例えば、XML(Extensible Markup Language)、JSON(JavaScript Object Notation)またはSOAP(Simple Object Access Protocol)形式等のデータを含むHTML5によって生成された画像データを、ディスプレイ106aに表示させる。表示制御部14は、主に、図3に示したディスプレイI/F106、およびCPU101で実行されるプログラム等によって実現される。
音制御部15は、図3に示したスピーカ109aから音信号を出力する機能である。音制御部15は、スピーカ109aから出力させる検知信号を設定し、設定した検知信号をスピーカ109aから音響出力させる。音制御部15は、主に、図3に示した音入出力I/F109、およびCPU101で実行されるプログラム等によって実現される。
生成部16は、ディスプレイ106aに表示させる各種画像データを生成する機能である。生成部16は、例えば、ディスプレイ106aに表示させる出力信号選択画面200(図15参照)に係る画像データを生成する。生成部16は、例えば、記憶部1000に記憶されたデータをレンダリングし、レンダリングされたデータを表示させるための画像データを生成する。レンダリングとは、Webページ記述用の言語(HTML、CSSまたはXML等)で記述されたデータを解釈し、実際に画面に表示される文字や画像データ等の配置を計算する処理である。さらに、生成部16は、送受信部11によって処理情報が受信された場合に、受信された処理情報を含む条件情報を識別するための条件IDを生成する。生成部16は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
信号処理部17は、検知装置通信部12によって受信された検知信号の信号処理を行う機能である。信号処理部17の詳細な説明は、後述する。信号処理部17は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
選択部18は、ユーザからの信号出力要求に基づいて、音響出力させる検知信号を選択する機能である。選択部18は、例えば、受付部13によって受け付けられた信号出力要求に含まれる出力項目データに対応する条件情報に関連づけて記憶された検知信号を選択する。選択部18は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
判断部21は、主に、図3に示したCPU101の処理によって実現され、各種判断を行う機能である。判断部21は、例えば、選択部18によって選択された複数の検知信号に係る信号データの差分を算出する。判断部21は、異常判断部の一例である。
撮像装置制御部41は、第1の撮像装置40Aおよび第2の撮像装置40Bを含む撮像装置40との間で制御信号および画像データの通信を行う機能である。撮像装置制御部41は、例えば、撮像装置40に対して撮像開始信号を送信する。また、撮像装置制御部41は、路面Rの画像情報を取得する画像情報取得部の一例であり、例えば、撮像装置40により撮像された路面Rの動画または静止画の画像情報を受信する。撮像装置制御部41は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
記憶・読出部19は、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶・読出部19は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。記憶部1000は、主に、図3に示したROM102、HD104および記録メディア111aによって実現される。
また、記憶部1000には、条件情報管理DB1001、検知信号管理DB1003およびモデル情報管理DB1005、および画像情報管理DB1007が構築されている。このうち、条件情報管理DB1001は、後述の条件情報管理テーブルによって構成されている。検知信号管理DB1003は、後述の検知信号管理テーブルによって構成されている。モデル情報管理DB1005は、後述のモデル情報管理テーブルによって構成されている。画像情報管理DB1007は、後述の画像情報管理テーブルによって構成されている。記憶・読出部19は、記憶制御部の一例である。
〇検知装置の機能構成〇
次に、検知装置30の機能構成について説明する。検知装置30によって実現される機能は、装置接続部31および検知信号取得部32を含む。
装置接続部31は、検知信号取得部32によって取得された検知信号を、情報処理装置10へ送信する機能である。装置接続部31は、主に、図4に示したセンサアンプ302によって実現される。
検知信号取得部32は、車両70が路面Rに接触しながら移動することによって変化する振動または音等の物理量を検知し、物理量の情報を検知信号として取得する機能である。検知信号取得部32は、主に、図4に示したセンサ301によって実現される。検知信号取得部32は、車両70のタイヤ50と路面Rとが車両70の移動中に接触することにより発する振動もしくは音等を検知し、検知した物理量の情報を検知情報(センサデータ)として取得する。例えば、路面Rのひび割れ等が発生すると、タイヤ50と路面Rの接触時の音が変化する。そのため、検知信号取得部32は、マイク等のセンサ301を用いて音響データを検知し、検知した音響データに係る検知信号を、装置接続部31を介して、情報処理装置10へ送信する。検知信号取得部32は、主に、図4に示したセンサ301によって実現される。
〇車両の機能構成〇
次に、車両70の制御装置70Aによって実現される機能は、送受信部71、主制御部72、駆動制御部73、駆動部74、設定部75、受付部76、表示制御部77および音制御部78を含む。
送受信部71は、情報処理装置10等の外部装置との間で各種データ(または情報)の送受信を行う機能である。送受信部71は、車両70の現在の動作に係る処理情報を、情報処理装置10へ送信する。送受信部71は、主に、図4に示した通信I/F705、およびCPU701で実行されるプログラム等によって実現される。
主制御部72は、駆動部74の動作を制御するための制御データを生成して出力する。また、主制御部72は、車両70の動作に係る処理情報を送受信部71に出力する。主制御部72は、例えば、現在の車両70の動作に対応する情報を、逐次、送受信部71を介して情報処理装置10へ送信する。主制御部72は、車両70が走行する際、適宜、駆動する駆動部74の種類、または駆動部74の駆動状態(回転数、回転速度等)を変更する。主制御部72は、動作の種類を変更するごとに、変更した動作の種類に対応する情報を、送受信部71を介して情報処理装置10へ逐次送信する。主制御部72は、主に、図4に示したCPU701で実行されるプログラム等によって実現される。
駆動制御部73は、主制御部72により求められた制御データに基づいて、駆動部74を駆動制御する機能である。駆動制御部73は、例えば、図4に示す駆動回路706によって実現される。駆動制御部73は、主に、図4に示した駆動回路706、およびCPU701で実行されるプログラム等によって実現される。
駆動部74は、駆動制御部73による駆動制御の対象となる機能である。駆動部74は、駆動制御部73による制御によってタイヤ50を駆動する。駆動部74は、駆動制御部73によって駆動制御されるアクチュエータであり、主に、図4に示すモータ706a等によって実現される。なお、駆動部74は、車両70の走行に用いられ、制御の対象となるものであればどのようなアクチュエータであってもよい。また、駆動部74は、二つ以上備えられていてもよい。
設定部75は、車両70の現在の動作に対応する条件情報を設定する機能である。設定部75は、主に、図4に示したCPU701で実行されるプログラム等によって実現される。
受付部76は、図4に示したキーボード708a等の入力手段に対するユーザ入力を受け付ける機能である。受付部76は、例えば、ディスプレイ704aに表示された出力信号選択画面200(図15参照)に対する入力に応じて、出力項目の選択を受け付ける。受付部76は、主に、図4に示した入力I/F708、およびCPU701で実行されるプログラム等によって実現される。
表示制御部77は、図4に示したディスプレイ704aに各種画面情報を表示させる機能である。表示制御部77は、例えば、ディスプレイ704aに出力信号選択画面200(図15参照)を表示させる。表示制御部77は、主に、図4に示したディスプレイI/F704、およびCPU701で実行されるプログラム等によって実現される。
音制御部78は、図4に示されているCPU701からの命令によって実現され、スピーカ707aから音信号を出力する機能である。音制御部78は、スピーカ707aから出力させる検知信号を設定し、設定した検知信号をスピーカ707aから音響出力させる。音制御部78は、主に、図4に示した音出力I/F707、およびCPU701で実行されるプログラム等によって実現される。
図6は、本実施形態に係る信号処理部の詳細な機能構成の一例を示す図である。図6に示す信号処理部17は、増幅処理部171、A/D変換部172、特徴量抽出部173、D/A変換部174およびスコア算出部175を含む。
増幅処理部171は、検知装置通信部12によって受信された検知信号の増幅処理を行う機能である。増幅処理部171は、例えば、検知装置通信部12によって受信されたアナログ信号を任意の大きさに増幅する。また、増幅処理部171は、例えば、A/D変換部172によって変換されたデジタル信号を任意の大きさに増幅する。
A/D変換部172は、増幅処理部171によって増幅処理されたアナログ信号を、デジタル信号に変換する処理を行う機能である。
特徴量抽出部173は、検知装置通信部12によって受信された検知信号の特徴を示す特徴量(特徴情報)を抽出する機能である。特徴量は、検知信号の特徴を示す情報であればどのような情報であってもよい。例えば、検知信号が音響データである場合、特徴量抽出部173は、エネルギー、周波数スペクトル、時間またはMFCC(メル周波数ケプストラム係数)等を特徴量として抽出してもよい。
D/A変換部174は、増幅処理部171によって増幅処理されたデジタル信号を、アナログ信号に変換する処理を行う機能である。
スコア算出部175は、特徴量抽出部173が抽出した検知信号の特徴量(例えば、周波数スペクトル)から路面Rの異常の可能性を示す可能性情報の一例としてのスコアを算出する。スコア算出部175は、路面Rの異常の可能性を示す可能性情報を決定する可能性情報決定部の一例である。
〇検知信号の記憶処理〇
図7は、本実施形態に係る異常検知システムにおける検知信号の記憶処理の一例を示すシーケンス図である。
ステップS11において、制御装置70Aの送受信部71は、情報処理システム5を構成する情報処理装置10へ、現在の車両70の動作に係る処理情報を送信する。具体的には、制御装置70Aの設定部75は、車両70の走行開始時に、具体的な走行内容を示す処理情報を設定する。処理情報は、上述のように、車両70の動作の種類ごとに定められる情報である。そして、送受信部71は、設定部75によって設定された処理情報を、情報処理装置10へ送信する。これにより、情報処理装置10の送受信部11は、制御装置70Aから送信された処理情報を受信する(処理情報取得ステップの一例)。
ステップS12において、情報処理装置10の生成部16は、送受信部11によって受信された処理情報を含む条件情報を識別するための条件IDを生成する。
そして、ステップS13において、記憶・読出部19は、生成部16によって生成された条件IDと、送受信部11によって受信された処理情報と関連づけた条件情報を、条件情報管理DB1001に記憶して管理する(記憶制御ステップの一例)。その際、記憶・読出部19は、関連する処理を示す処理情報に対して付与される関連IDも、条件情報管理DB1001に記憶して管理する。条件情報管理DB1001は、条件IDごとに、車両70により実行される具体的な走行処理の内容を示す処理情報を関連づけて条件情報管理テーブルに記憶・管理している。
ステップS14において、情報処理システム5を構成する検知装置30の検知信号取得部32は、車両70の走行により発生した振動または音等の物理量を検知する。ここでは、検知信号取得部32は、車両70の走行によって発生した音を検知し、検知した音に係る検知信号(音響信号)を取得する。
ステップS15において、検知装置30の装置接続部31は、ステップS14によって取得された検知信号を、情報処理装置10へ送信する。これにより、情報処理装置10の検知装置通信部12は、検知装置30から送信された検知信号を受信する(検知情報取得ステップの一例)。
ステップS16において、情報処理装置10の信号処理部17は、検知装置通信部12によって受信された検知信号の信号処理を行う。
ステップS17において、情報処理装置10の記憶・読出部19は、信号処理部17によって処理された信号データを、制御装置70Aから送信された処理情報に対応付けて、検知信号管理DB1003に記憶する(記憶制御ステップの一例)。情報処理装置10は、ステップS12によって生成された条件IDごとに、ステップS11によって受信された処理情報に含まれる走行時間データ、ステップS15によって受信された検知信号に係る信号データ、信号処理部17によって処理された信号データ(周波数データ、スコアデータ)、およびステップS11によって受信された処理情報に含まれる処理情報データを関連づけて検知信号管理テーブルに記憶して管理する。情報処理装置10は、走行時間データに代えて、走行距離データを記憶して管理してもよい。
すなわち、記憶・読出部19は、制御装置70Aから送信された複数の処理情報のそれぞれの処理情報に対応付けて、複数の特徴量のそれぞれの特徴量(周波数データ)を検知信号管理DB1003に記憶させる。
〇条件情報管理テーブル
図8は、本実施形態に係る条件情報管理テーブルの一例を示す概念図である。図5に示した記憶部1000には、図7のステップS13で説明した条件情報管理DB1001が、図8に示すような条件情報管理テーブルによって構成されている。
図8に示す条件情報管理テーブルは、車両70の動作に係る処理情報を車両70が行った動作ごとに管理するためのものである。条件情報管理テーブルには、条件IDごとに処理情報が関連づけられた条件情報が記憶して管理されている。条件IDは、処理情報を含む条件情報を識別するための識別情報である。処理情報は、車両70の動作の種類ごとに定められる情報である。図8に示すように、処理情報には、車両70が走行する道路名、車両70が走行する路面Rの舗装材料の種別、および車両70のタイヤ50の材質等の種別の情報が含まれる。路面Rの舗装材料の種別は、対象部の種別の一例であり、タイヤ50の材質等の種別は、移動部材の種別の一例である。
処理情報に含まれる項目は、さらに、車両70に対するユーザの操作履歴情報、走行開始日時、走行時間(車両70の移動時間の一例)、および車両70の走行速度等を示す情報が含まれていてもよい。さらに、走行距離(車両70の移動距離の一例)が含まれていてもよく、走行時間に代えて走行距離が含まれてもよい。走行時間または走行距離を含む走行情報は、移動情報の一例である。
条件情報管理テーブルには、さらに、車両70による動作のうち関連する動作(処理)を識別するための関連IDが関連づけられて記憶して管理されている。関連IDは、条件情報管理テーブルに含まれる処理情報のうち、関連する処理を示す処理情報に対して同一の関連IDが付与されている。図8の例では、条件ID;「A000001」と条件ID;「A00003」によって識別される処理情報に、同一の関連ID;「R001」が付与されている。ここで、関連IDが付与される関連する処理とは、例えば、舗装材料とタイヤ種別が同一で、道路名の異なる処理である。
次に、図9乃至図10を用いて、図7のステップS16に対応する、信号処理部17による検知信号に対する処理について説明する。
図9は、本実施形態に係る情報処理装置における検知信号に対する信号処理の一例を示すフローチャートである。
まず、ステップS151において、情報処理装置10は、検知装置通信部12によって検知信号が受信(取得)された場合、処理をステップS152へ移行させる。一方で、情報処理装置10は、検知装置通信部12によって検知信号が受信(取得)されるまでステップS151の処理を繰り返す。
ステップS152において、信号処理部17の増幅処理部171は、検知装置通信部12によって受信(取得)された検知信号の増幅処理を行い、検知信号を任意の大きさに増幅させる。ステップS153において、信号処理部17のA/D変換部172は、増幅処理部171によって増幅されたアナログ信号を、デジタル信号に変換する。
ステップS154において、信号処理部17の特徴量抽出部173は、A/D変換部172によって変換されたデジタル信号の特徴を示す特徴量(特徴情報)を抽出する処理を行う(特徴量抽出ステップの一例)。具体的には、特徴量抽出部173は、A/D変換部172によって変換されたデジタル信号に含まれる周波数スペクトルを抽出する。
ステップS155において、信号処理部17のスコア算出部175は、特徴量抽出部173が抽出した検知信号の特徴量(例えば、周波数スペクトル)から路面Rの異常の可能性を示すスコアを算出する。
具体的には、スコア算出部175は、検知情報の特徴情報が正常であることの尤もらしさを示す尤度を、記憶部1000のモデル情報管理DB1005に記憶される正常データを示す特徴情報のモデル情報を用いて算出し、尤度の逆数をスコアとして算出する。
スコア算出部175は、スコアを段階的にランク付けして算出してもよく、0、1の2値で算出してもよい。また、スコア算出部175は、算出したスコアを累積してもよい。
また、スコア算出部175は、検知情報の特徴情報が異常であることの尤もらしさを示す尤度を、モデル情報管理DB1005に記憶される異常データを示す特徴情報のモデル情報を用いてスコアとして算出してもよい。
ここで、図9のステップS154に対応する、車両70の走行中に検知される検知信号の周波数成分について説明する。
図10(a)は、車両70が、正常な路面R上を走行する際に検知される検知信号のスペクトログラムを示し、図10(b)は、車両70が、異常が発生している路面R上を走行する際に検知される検知信号のスペクトログラムを示す。図10(b)に示すように、路面Rに異常が発生した場合、30000Hz付近に周波数成分が現れる。
そして、図9のステップS155に示すスコア算出ステップでは、例えば、図10(b)に示すスペクトログラムが、異常データを示すモデル情報である場合、特徴量抽出部173が抽出した検知信号のスペクトログラムが、30000Hz付近の周波数成分をどの程度含むかによって、検知信号のスペクトログラムが異常であることの尤もらしさを示す尤度をスコアとして算出する。
〇検知信号管理テーブル
図11は、本実施形態に係る検知信号管理テーブルの一例を示す概念図である。記憶部1000には、図7のステップS17で説明した検知信号管理DB1003が、図11に示すような検知信号管理テーブルによって構成されている。
図11に示す検知信号管理テーブルは、車両70の制御装置70Aから送信された処理情報に対応付けて、検知装置30から送信された検知信号を管理するためのものである。検知信号管理テーブルには、条件IDごとに、制御装置70Aから送信された走行時間データ、検知信号、特徴量抽出部173によって抽出された周波数データ、スコア算出部175によって算出されたスコアデータおよび制御装置70Aから送信された走行時間毎の処理情報データが関連づけられて記憶して管理されている。条件IDは、図8に示した条件情報管理テーブルに含まれる条件情報を識別するための識別情報である。これにより、条件ID毎に、信号データ(検知信号)は、関連データ(処理された信号データ(周波数データ、スコアデータ)、走行時間データおよび走行時間毎の処理情報データ)と関連付けて記憶される。検知信号管理テーブルには、走行時間データおよび走行時間毎の処理情報データに代えて、走行距離データおよび走行距離毎の処理情報データを記憶して管理されてもよい。
図12は、本実施形態に係る情報処理装置における画像情報に対する処理の一例を示すフローチャートである。
情報処理装置10は、路面Rの画像を撮像する撮像装置40を備えるが、画像情報に基づき路面Rの異常を判断する場合、効率面での課題があった。
すなわち、画像情報に基づき異常判断するためには、正常な画像も含む膨大な容量の画像情報を保存する必要があり、異常判断するための画像処理の時間も膨大にかかってしまう。
一方、画像情報に基づく異常判断の効率を向上させるために、撮像装置40による撮像の頻度を下げた場合、肝心な異常状態を示す画像を取得できないおそれがあり、異常判断の精度が低下する。
本実施形態では、以上の課題に鑑み、効率的かつ精度良く路面Rの異常を判断できる情報処理装置10を提供することを目的とする。
情報処理装置10の撮像装置制御部41は、スコア算出部175が算出したスコアが閾値以上か判断する(ステップS21)。
撮像装置制御部41は、ステップS21で閾値以上と判断した場合、撮像装置40に対して撮像を開始させるための撮像開始信号を送信する(ステップS22、撮像制御ステップの一例)。すなわち、撮像装置制御部41は、検知信号に基づき算出されるスコアに基づき、撮像装置40を制御する。一方、撮像装置制御部41は、ステップS21で閾値未満と判断した場合、処理を終了する。
なお、情報処理装置10は、スコア算出部175が算出したスコアに関わらないタイミングで撮像装置40に撮像を開始させ、撮像装置制御部41は、スコア算出部175が算出したスコアが閾値以上の場合、撮像装置40に対して撮像を終了させるための撮像終了信号を送信するタイミングを遅くしても良い。
撮像装置制御部41は、ステップS22に続いて、撮像装置40が撮像した動画または静止画の画像データを撮像装置40から取得する(ステップS23、画像情報取得ステップの一例)。
情報処理装置10の記憶・読出部19は、撮像装置制御部41が取得した動画または静止画の画像データを、車両70の制御装置70Aから送信された処理情報に対応付けて、検知信号管理DB1003に記憶する(ステップS24)。
情報処理装置10は、図7に示したステップS12によって生成された条件IDごとに、ステップS11によって受信された処理情報に含まれる走行時間に関連づけて動画または静止画の画像データを画像情報管理テーブルに記憶して管理する。情報処理装置10は、走行時間データに代えて、走行距離データを記憶して管理してもよい。
情報処理装置10の信号処理部17のスコア算出部175は、撮像装置制御部41が取得した動画または静止画の画像データから路面Rの異常の可能性を示す第2の可能性情報の一例としての第2のスコアを算出する(ステップS25)。
具体的には、スコア算出部175は、画像データが正常であることの尤もらしさを示す尤度を、記憶部1000のモデル情報管理DB1005に記憶される正常データを示すモデル情報を用いて算出し、尤度の逆数を第2のスコアとして算出する。
スコア算出部175は、第2のスコアを段階的にランク付けして算出してもよく、0、1の2値で算出してもよい。
また、スコア算出部175は、画像データが異常であることの尤もらしさを示す尤度を、モデル情報管理DB1005に記憶される異常データを示すモデル情報を用いて第2のスコアとして算出してもよい。
情報処理装置10の判断部21は、スコア算出部175が算出した第2のスコアが閾値以上か判断し(ステップS26)、閾値以上と判断した場合は、路面Rが異常であると判断する(ステップS27)。すなわち、判断部21は、スコアと、画像情報に基づき決定される路面Rの異常の可能性を示す第2のスコアに基づいて、路面Rの異常を判断する。
情報処理装置10は、路面Rが異常であると判断した場合、ディスプレイ106aやスピーカ109a等を用いて表示や音による警報を出力する。
以上説明したように、情報処理装置10は、撮像装置40により撮像された路面Rの画像情報を取得する撮像装置制御部41を備え、撮像装置制御部41は、検知信号に基づき、撮像装置40を制御する。
これにより、情報処理装置10は、検知信号に基づいて路面Rの画像情報を取得するタイミングを決められるため、効率的に路面Rの画像情報を取得できる。
撮像装置制御部41は、検知信号に基づき決定される路面Rの異常の可能性を示すスコアに基づき撮像装置40を制御する。
これにより、情報処理装置10は、スコアに基づき路面Rの異常の可能性が高いときに、効率的に路面Rの画像情報を取得できる。
情報処理装置10は、スコアと、画像情報に基づいて、路面Rの異常を判断する判断部21を備える。具体的には、判断部21は、スコアと、画像情報に基づき決定される路面Rの異常の可能性を示す第2のスコアに基づいて、路面Rの異常を判断する。
以上により、情報処理装置10は、効率的かつ精度良く、路面Rの異常を判断することができる。
図13は、本実施形態に係る画像情報管理テーブルの一例を示す概念図である。
記憶部1000には、図5で説明した画像情報管理DB1007が、図13に示すような画像情報管理テーブルによって構成されている。
図13に示す画像情報管理テーブルは、撮像装置制御部41が取得した動画または静止画の画像データを管理するためのものである。
画像情報管理テーブルには、条件IDごとに、車両70の制御装置70Aから送信された走行時間データおよび動画または静止画の画像データが関連づけられて記憶して管理されている。条件IDは、図8に示した条件情報管理テーブルに含まれる条件情報を識別するための識別情報である。画像情報管理テーブルには、走行時間データに代えて、走行距離データを記憶して管理されてもよい。
ここで、図11に示す検知信号管理テーブルは、条件ID毎に、信号データ(検知信号)と、関連データ(処理された信号データ(周波数データ、スコアデータ)、走行時間データおよび走行時間毎の処理情報データ)と関連付けて記憶しており、検知信号管理テーブルが記憶して管理する条件IDは、画像情報管理テーブルが記憶して管理する条件IDと共通である。
したがって、情報処理装置10は、図11に示す検知信号管理テーブルと、図13に示す画像情報管理テーブルとを兼ね備えることにより、条件ID毎に、動画または静止画の画像データと、信号データ(検知信号)と、関連データ(処理された信号データ(周波数データ、スコアデータ)、走行時間データおよび走行時間毎の処理情報データ)と、を関連付けて記憶している。
〇信号データの表示処理およびモデル情報の記憶処理〇
図14は、本実施形態に係る情報処理装置におけるスコアの表示処理およびモデル情報の記憶処理の一例を示すフローチャートである。
ステップS31において、情報処理装置10の表示制御部14は、ディスプレイ106aに出力信号選択画面200を表示させる。具体的には、表示制御部14は、ディスプレイ106aに表示された所定の入力画面に対する入力を受付部13が受け付けることによって、出力信号選択画面200を表示させる。
ステップS32において、ユーザが出力項目の入力を行うことによって、受付部13は、入力された出力項目データを含む信号選択要求を受け付ける。
ステップS33において、情報処理装置10は、受付部13によって受け付けられた出力項目データに基づいて、スコアの表示処理、およびモデル情報として記憶させる信号データの選択処理を実行する(選択ステップの一例)。
ステップS34において、記憶・読出部19は、選択された信号データをモデル情報としてモデル情報管理DB1005に記憶する。
図15は、本実施形態に係る情報処理装置に表示される出力信号選択画面の一例を示す図である。
図15は、図14に示したフローチャートのステップS31およびステップS32に対応する、情報処理装置に表示される出力信号選択画面の一例を示す図である。図15に示す出力信号選択画面200は、表示させるスコアおよびモデル情報として記憶させる信号データをユーザに選択させるための表示画面である。出力信号選択画面200には、表示させるスコアおよびモデル情報として記憶させる検知信号を特定するための出力項目選択領域210、スコアを表示させるための「VIEW」ボタン225、および処理を中止する場合に押下される「CANCEL」ボタン203が含まれている。
ここで、出力項目選択領域210には、処理情報に含まれる各種項目のデータが選択可能になっている。出力項目選択領域210には、例えば、道路を選択可能な道路選択領域211、舗装材料を選択可能な舗装材料選択領域212、およびタイヤ50を選択可能なタイヤ選択領域213が含まれている。図15の例では、受付部13は、出力項目データとして、道路;「R101」、舗装材料;「アスファルト」、タイヤ;「A」のデータを受け付ける。なお、出力項目選択領域210に含まれる各選択領域に対応する項目は、これに限られず、処理情報に示される項目に応じて適宜追加変更されても良い。
そして、図15に示した「VIEW」ボタン225を押下することによって、出力項目選択領域210で選択された信号データについて、表示処理が行われる。
以上説明した図14および図15において、情報処理装置10に出力信号選択画面200を表示させてユーザに出力対象の検知信号を選択させる例を説明したが、車両70の制御装置70Aに出力信号選択画面200を表示させてユーザに出力対象の検知信号を選択させる構成であってもよい。
図16は、本実施形態に係る情報処理装置における表示選択処理の一例を示すフローチャートである。図16は、図14に示したフローチャートのステップS33に対応する表示選択処理の一例を示すフローチャートである。
ステップS331において、選択部18は、図8に示した条件情報管理テーブルに記憶された処理情報のうち、図14に示したステップS32によって受け付けられた出力項目データに対応する処理情報を選択する。具体的には、記憶・読出部19は、条件情報管理DB1001から条件情報管理テーブルを読み出す。そして、選択部18は、読み出された条件情報管理テーブルに含まれる条件情報のうち、受付部13によって受け付けられた出力項目データに対応する処理情報を含む条件情報を選択する。この場合、選択部18は、例えば、図15に示した出力項目選択領域210に入力された出力項目データに対応する処理情報である条件ID;「A000001」の条件情報を選択する。
ステップS332において、選択部18は、図11に示した検知信号管理テーブルに記憶されたデータのうち、ステップS331によって選択された処理情報に関連づけられた条件IDと同一の条件IDに関連づけられた信号データおよび関連データを選択する。具体的には、記憶・読出部19は、検知信号管理DB1003から検知信号管理テーブルを読み出す。そして、選択部18は、読み出された検知信号管理テーブルに含まれるデータのうち、選択された条件情報に含まれる条件IDに関連づけられた信号データおよび関連データを選択する。この場合、選択部18は、例えば、条件ID;「A000001」に関連づけられた信号データおよび関連データを選択する。
ステップS333において、選択部18は、図13に示した画像情報管理テーブルに記憶されたデータのうち、ステップS331によって選択された処理情報に関連づけられた条件IDと同一の条件IDに関連づけられた画像データを選択する。具体的には、記憶・読出部19は、画像情報管理DB1007から画像情報管理テーブルを読み出す。そして、選択部18は、読み出された画像情報管理テーブルに含まれるデータのうち、選択された条件情報に含まれる条件IDに関連づけられた画像データを選択する。この場合、選択部18は、例えば、条件ID;「A000001」に関連づけられた画像データを選択する。
ステップS334において、情報処理装置10の表示制御部14は、ディスプレイ106aに情報表示選択画面250を表示させる。そして、表示制御部14は、ステップS332で選択された信号データおよび関連データ、およびステップS333で選択された画像データを、条件IDを介して対応付けて情報表示選択画面250に表示させる。
ステップS335において、ユーザが情報表示選択画面250で区間を選択しすることによって、受付部13は、区間の選択を受け付ける(受付ステップの一例)。
ステップS336において、選択部18は、ステップS332によって選択された信号データおよび関連データのうち、ステップS335によって選択された区間に係る信号データおよび関連データを選択する。
図17は、本実施形態に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。図18は、本実施形態に係る表示選択画面に表示される画像情報の一例を示す図である。
図17は、図16に示したフローチャートのステップS334およびステップS335に対応する、情報処理装置に表示される情報表示選択画面の一例を示す図である。図17に示す情報表示選択画面250は、選択部18によって選択された信号データに係る検知信号のスコアを表示し、検知信号の特定の区間を選択するための表示画面である。
ユーザは、情報表示選択画面250に表示されるスコアを確認することにより、路面Rの異常の可能性を確認できるが、実際に異常と判断するためには、路面Rを目視で確認する必要があり、異常判断の精度面での課題があった。
路面Rを目視で確認するために、情報表示選択画面250に車両70の画像データを表示させることが行われるが、多量の画像データの中から異常を示す画像データを目視で確認するのは困難である。そこで、情報処理装置10が、画像データを画像処理して異常を判断することが考えられるが、そうすると膨大な容量の画像情報を保存する必要があり、画像処理により異常判断する時間も膨大にかかるため、効率面での課題がある。
本実施形態では、以上の課題に鑑み、効率的かつ精度良く路面Rの異常を判断できる情報処理装置10を提供することを目的とする。。
情報表示選択画面250には、選択部18によって選択された関連データに係る走行時間データが走行時間順にユーザが確認可能な状態で表示されている。
また、情報表示選択画面250には、選択部18によって選択された関連データに係る特徴量の一例としての周波数スペクトログラム、スコアデータ、および走行時間毎の処理情報データの一例としてのユーザ操作履歴データが、それぞれ走行時間データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、画像データAが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。
すなわち、表示制御部14は、走行時間、周波数スペクトル、操作履歴情報およびスコアをディスプレイ106aの情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の操作履歴情報のそれぞれの操作履歴情報と、複数のスコアのそれぞれのスコアと、画像情報を情報表示選択画面250に表示させる(表示ステップの一例)。図17の例では、表示制御部14は、複数のスコアをつないで折れ線グラフとして表示するとともに、この複数のスコアを示す折れ線グラフの横軸方向の位置に対応付けて、画像情報を表示させている。
また、表示制御部14は、複数のスコアのうちの極大値のスコアに対応付けて、画像情報を情報表示選択画面250に表示させる。ここで、極大値のスコアは、図12のステップS21で説明した閾値以上のスコアである。
さらに、情報表示選択画面250には、特定の区間として走行時間区間を入力する入力領域222、区間の選択処理を行う場合に押下される「OK」ボタン251、および区間の選択処理を中止する場合に押下される「CANCEL」ボタン253が含まれている。
図17に示すように、走行時間1001〜1250のスコアのうち、走行時間1230以降にスコアが上昇し、走行時間1250付近のスコアが最も高くなっている。
ここで、情報表示選択画面250には、スコアに対応付けて路面Rの画像データAが表示されており、ユーザは、走行時間1250付近の極大値のスコアに対応する路面Rの画像データAを確認することができる。
図17の例の場合、路面Rの画像データには、通常よりもひび割れが多く含まれているため、ユーザは、スコアが高くなった原因がひび割れによるものと判断することができる。
すなわち、スコアと、スコアに対応付けられた画像情報を確認することにより、路面Rの異常を精度良く判断することができる。
なお、画像データは、極大値のスコアに対応付けて表示するだけでなく、図12のステップS21で説明した閾値以上の複数のスコアの全てに対応付けて表示してもよい。その場合、全ての画像データを同時に表示すると画面が煩雑になるため、複数のスコアのそれぞれに対応付けられた画像データのうち、マウス等で選択したスコアに対応付けられた画像データのみ表示することが好ましい。また、スコアの変化が大きい場合に、変化前、変化後または変化前後のスコアに対応付けて画像データを表示しても良い。
さらに、図17を用いて、走行時間1001〜1250のデータの中から、正常データを選択する例を示す。スコアデータの一例としてのスコアを見ると、走行時間1001〜1230までが値が低いことがわかる。システム上で自動的に、「スコアが小さい箇所を正常である」や、「サイクルが若い(例えば1001〜1105)サイクルが正常である」と設定すると、この区間が正常データとして選択されうる。
しかしながら、走行時間1001〜1230の区間の周波数データを見ると、低域にノイズが乗っていることがわかる。一方、走行時間1105〜1207の区間の周波数データを見ると、走行時間1001〜1230の区間のように、低域のノイズは乗っていないことがわかる。
したがって、ユーザは、走行時間1001〜1230の一部である走行時間1001〜1230の区間のデータが、走行時間1001〜1230の区間のデータよりも、正常データとして相応しいと適切に判断できる。
さらに、走行時間1001〜1230の区間のユーザ操作履歴を見ると、特殊モードの運転、例えば、頻繁な速度変化を繰り返していることがわかる。特殊モードの運転の実施区間の中で、上述した低域ノイズが発生していることがわかる。このことから特殊モードの運転の実施区間は正常データの選択として適さないことが判断できる。したがって、ユーザは、特殊モードの運転を実施していない走行時間1105〜1207が正常データとして相応しいとより適切に判断できる。
そして、ユーザが、入力領域222に『1105〜1207』と入力して「OK」ボタン251を押下すると、受付部13は、『走行時間1105〜1207』の選択を受け付ける。これにより、走行時間1001〜1230の一部である『走行時間1105〜1207』に対応する検知信号または周波数スペクトルを正常データとして適切に設定することができる。
また、受付部13が受け付ける『走行時間1105〜1207』という情報は、入力領域222に表示されているため、ユーザは、入力領域222に表示されている内容を確認しながら、『走行時間1105〜1207』に対応する検知信号または周波数スペクトルを正常データとして確実に設定することができる。
なお、上記の説明では、入力領域222に『1105〜1207』と入力して「OK」ボタン251を押下すると、受付部13は、『走行時間1105〜1207』の選択を受け付けたが、例えば、表示されている周波数データ、スコアおよびユーザ操作履歴のうち、『走行時間1105〜1207』の部分をマウス等で選択して「OK」ボタン251を押下することにより、受付部13は、『走行時間1105〜1207』の選択を受け付けてもよい。
以上説明したように、情報処理装置10は、検知信号に基づき決定される路面Rの異常の可能性を示すスコアと、画像情報を対応付けてディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備える。
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、路面Rの異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、路面Rの異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、路面Rの異常を効率的かつ精度良く判断できる。
表示制御部14は、検知信号の周波数スペクトルを情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルを情報表示選択画面250に表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行時間のそれぞれの走行時間と、複数の周波数スペクトルのそれぞれの周波数スペクトルと、画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面Rの異常を効率的かつ精度良く判断することができる。
表示制御部14は、操作履歴情報を情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数の操作履歴情報のそれぞれの操作履歴情報を情報表示選択画面250に表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行時間のそれぞれの走行時間と、複数の操作履歴情報のそれぞれの操作履歴情報と、画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面Rの異常を効率的かつ精度良く判断することができる。
情報処理装置10は、複数の走行時間における一部の複数の走行時間の入力を受け付ける受付部13を備える。
これにより、ユーザは、ディスプレイ106aでスコアと、スコアに対応付けられた画像情報を確認した上で、複数の走行時間における一部の複数の走行時間を入力することができる。よって、一部の複数の走行時間のそれぞれの走行時間に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に設定することができる。
情報処理装置10は、表示制御部14により、受付部13が受け付ける一部の複数の走行時間を情報表示選択画面250に表示させる。これにより、ユーザは、入力した一部の複数の走行時間を確認することができるため、一部の複数の走行時間のそれぞれの走行時間に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして確実に設定することができる。
また、以上説明したように、情報処理装置10は、画像情報をディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備えるとともに、図12で説明したように、撮像装置40により撮像された路面Rの画像情報を取得する撮像装置制御部41を備え、撮像装置制御部41は、検知信号に基づき、撮像装置40を制御する。
これにより、情報処理装置10は、検知信号に基づいて路面Rの画像情報を取得するタイミングを決められるため、効率的に路面Rの画像情報を取得できる。また、ユーザは、情報表示選択画面250で画像情報を確認することにより、路面Rの異常を精度良く判断することができる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、効率的かつ精度良く、路面Rの異常を判断することができる。
撮像装置制御部41は、検知信号に基づき決定される路面Rの異常の可能性を示すスコアに基づき撮像装置40を制御する。
これにより、情報処理装置10は、スコアに基づき路面Rの異常の可能性が高いときに、効率的に路面Rの画像情報を取得できる。
表示制御部14は、スコアを情報表示選択画面250に表示させる。これにより、ユーザは、情報表示選択画面250でスコアと、画像情報を確認することにより、路面Rの異常を精度良く判断することができる。
表示制御部14は、スコアに対応付けて画像情報を情報表示選択画面250に表示させる。これにより、ユーザは、情報表示選択画面250でスコアと、画像情報を対応付けて確認することにより、路面Rの異常を精度良く判断することができる。
図19は、本実施形態に係るモデル情報管理テーブルの一例を示す概念図である。記憶部1000には、図14のステップS34で説明したように、図19に示すようなモデル情報管理テーブルによって構成されているモデル情報管理DB1005が構築されている。
モデル情報管理テーブルには、記憶・読出部19によって、関連IDごとに、走行時間データ、検知信号、周波数データ、スコアデータがそれぞれ関連づけられて複数記憶して管理されている。
そして、記憶・読出部19は、受付部13で受け付けられた複数の走行時間のうちの一部の走行時間のそれぞれの走行時間に対応付けられた検知信号、および周波数データを記憶して更新する。
図19の例では、関連ID;「R001」のモデル情報として、図17で説明した受付部13で受け付けられた走行時間データ;1105〜1207の走行時間データのそれぞれに対応する検知信号、周波数データ、スコアデータが関連づけられて記憶して管理されている。これにより、走行時間1001〜1230の一部である走行時間1105〜1207に対応する検知信号、周波数データ、スコアデータを正常データとして適切に記憶させることができる。
なお、モデル情報管理テーブルには、走行時間データを記憶することなく、関連IDごとに、検知信号、周波数データ、スコアデータがそれぞれ関連づけられて時系列順で複数記憶して管理されてもよい。また、モデル情報管理テーブルには、周波数データ、スコアデータを記憶せずに、モデル情報管理テーブルに記憶された検知信号に基づき、再度、図9のステップS154およびステップS155の処理を行って、周波数データを抽出し、スコアデータを算出しても良い。
以上説明したように、情報処理装置10は、受付部13で受け付けられた一部の複数の走行時間のそれぞれの走行時間に対応付けられた複数の周波数スペクトルのそれぞれの周波数スペクトルを記憶部1000に記憶させる記憶・読出部19を備える。
これにより、一部の複数の走行時間のそれぞれの走行時間に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に記憶させることができる。
図9で説明したように、情報処理装置10は、記憶部1000が記憶する複数の周波数スペクトルと、検知装置通信部12により取得された検知信号の特徴を示す周波数スペクトルとに基づき、スコアを決定するスコア算出部175を備える。
ここで、図19で説明したように、記憶部1000が記憶する複数の周波数スペクトルは更新されるため、情報処理装置10は、路面Rの異常の可能性を示すスコアを精度良く決定することができる。
図20は、本実施形態の第1の変形例に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。図21は、本実施形態の第1の変形例に係る表示選択画面に表示される画像情報の一例を示す図である。
情報表示選択画面250には、図17と同様に、周波数スペクトログラム、スコアデータ、およびユーザ操作履歴データが、それぞれ走行時間データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、画像データが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。図20の例では、スコアの極大値が2箇所あるため、2箇所の極大値のスコアのそれぞれのスコアに対応付けて、画像データA、Bが表示されている。また、画像データA、Bは、第1の撮像装置40Aにより撮像された車両70の進行方向側の路面Rの画像データA1、B1と、第2の撮像装置40Bにより垂直方向から撮像された車両70の後方の路面Rの画像データA2、B2を含んでいる。
すなわち、表示制御部14は、スコアおよび画像情報をディスプレイ106aの情報表示選択画面250にそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
図20は、走行時間801〜900のデータの中から、異常データを選択する例を示す。スコアデータの一例としてのスコアを見ると、走行時間840付近と走行時間865以降の値が高いことがわかる。システム上で自動的に、「スコアが高い箇所を正常である」と設定すると、この2つの区間が異常データとして選択されうる。
しかしながら、走行時間840の直前の周波数データを見ると、一旦データが途切れていることがわかる。また、走行時間840付近では、周波数データもいつもと値の出方が同じであることがわかる。すなわち、周波数データが途切れたことに起因して周波数データの変化を示すスコアが上昇したため、路面Rの異常が起きた可能性は低いと考えられる。
一方で走行時間865以降は、周波数データを見ると低域に異常振動が乗っていることがわかり、路面Rになんらかの異常が発生した可能性が高い。このことから、ユーザは、走行時間回数801〜900の一部である走行時間865〜900のデータが、走行時間840付近のデータよりも異常データとしてふさわしいと適切に判断できる。
さらに、走行時間840の直前のユーザ操作履歴を見ると、電源をOFF→ONさせていることがわかる。この直後のスコアが高いのは暖機運転が影響しているためと考えられる。一方で走行時間865以降は、ユーザが特に操作した形跡がないのもかかわらず、周波数データでは低域に異常振動が乗っており、路面Rになんらかの異常が発生した可能性が高い。このことからユーザは、走行時間801〜900の一部である走行時間865〜900のデータが、走行時間840付近のデータよりも異常データとしてふさわしいとより適切に判断できる。
そして、ユーザは、走行時間840付近の極大値のスコアに対応する画像データに示される路面Rの状態と、走行時間865以降の極大値のスコアに対応する画像データに示される路面Rの状態を比較することにより、走行時間801〜900の一部である走行時間865〜900のデータが異常データとしてふさわしいことを画像データから確認できる。
すなわち、スコアと、スコアに対応付けられた画像情報を確認することにより、路面Rの異常を精度良く判断することができる。
なお、図20では、走行時間を用いた例を説明したが、走行時間に代えて走行距離を用いた場合も同様である。
以上説明したように、表示制御部14は、スコアおよび画像情報を情報表示選択画面250にそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面Rの異常を精度良く判断することができる。
表示制御部14は、走行時間を情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数のスコアのそれぞれのスコアと、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行時間のそれぞれの走行時間と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面Rの異常を精度良く判断することができる。
図22は、本実施形態の第2の変形例に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。
情報表示選択画面250には、スコアデータが走行時間データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、図1920と同様に、2箇所の極大値のスコアのそれぞれのスコアに対応付けて、画像データA、Bが表示されており、画像データA、Bは、第1の撮像装置40Aにより撮像された車両70の進行方向側の路面Rの画像データA1、B1と、第2の撮像装置40Bにより垂直方向から撮像された車両70の後方の路面Rの画像データA2、B2を含んでいる
図22は、走行時間801〜900の中から、複数の異常データを選択する例を示す。
スコアデータの一例としてのスコアを見ると、走行時間801〜900間のスコアで2箇所高くなっていることが分かる。システム上で自動的に、「スコアが高い箇所を正常である」と設定すると、この2つの区間が異常データとして選択されうる。
しかし、ここで、この2箇所のスコアに対応する画像データを比較して、全く異なる傾向にあることが判断できる場合がある。この場合、この2箇所の異なる異常データを、それぞれ、異常1、異常2と呼ぶとすると、ユーザは、それぞれを別々の異常データとして判断することができる。
図22では、走行時間を用いた例を説明したが、走行時間に代えて走行距離を用いた場合も同様である。
図23は、本実施形態の第3の変形例に係る鉄道車両を示す図である。
鉄道車両70Rは、図2に示した車両70の変形例であり、制御装置70A、車輪50w、検知装置30および線路rを撮像するように配置される撮像装置40を備える。
鉄道車両70Rは、対象部の一例である線路rに対して接触しながら移動する移動体の一例である。車輪50wは、線路rに対して接触しながら移動する移動部材の一例である。検知装置30は、鉄道車両70Rの車輪50wが線路rに接触しながら移動することに応じて変化する物理量を検知する。撮像装置40は、線路rの動画または静止画の画像を撮像する撮像部の一例である。
図24は、第3の変形例に係る条件情報管理テーブルの一例を示す概念図である。
図5に示した記憶部1000には、図7のステップS13で説明した条件情報管理DB1001が、図24に示すような条件情報管理テーブルによって構成されている。
図24に示す条件情報管理テーブルは、鉄道車両70Rの動作に係る処理情報を鉄道車両70Rが行った動作ごとに管理するためのものである。条件情報管理テーブルには、条件IDごとに処理情報が関連づけられた条件情報が記憶して管理されている。条件IDは、処理情報を含む条件情報を識別するための識別情報である。処理情報は、鉄道車両70Rの動作の種類ごとに定められる情報である。図24に示すように、処理情報には、鉄道車両70Rが走行する路線名、鉄道車両70Rが走行する線路rの材質等の種別、および鉄道車両70Rの材質等の車輪50wの種別の情報が含まれる。線路rの材質等の種別は、対象部の種別の一例であり、車輪50wの材質等の種別は、移動部材の種別の一例である。
処理情報に含まれる項目は、さらに、鉄道車両70Rに対するユーザの操作履歴情報、走行開始日時、走行時間(鉄道車両70Rの移動時間の一例)、および鉄道車両70Rの走行速度等を示す情報が含まれていてもよい。さらに、走行距離(鉄道車両70Rの移動距離の一例)が含まれていてもよく、走行時間に代えて走行距離が含まれてもよい。走行時間または走行距離を含む走行情報は、移動情報の一例である。
条件情報管理テーブルには、さらに、鉄道車両70Rによる動作のうち関連する動作(処理)を識別するための関連IDが関連づけられて記憶して管理されている。関連IDは、条件情報管理テーブルに含まれる処理情報のうち、関連する処理を示す処理情報に対して同一の関連IDが付与されている。図24の例では、条件ID;「A000001」と条件ID;「A00003」によって識別される処理情報に、同一の関連ID;「R001」が付与されている。ここで、関連IDが付与される関連する処理とは、例えば、線路種別と車輪種別が同一で、路線名の異なる処理である。
図25は、第3の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。
図25は、図16に示したフローチャートのステップS334およびステップS335に対応する、情報処理装置に表示される情報表示選択画面の一例を示す図である。図25に示す情報表示選択画面250は、選択部18によって選択された信号データに係る検知信号のスコアを表示し、検知信号の特定の区間を選択するための表示画面である。
情報表示選択画面250には、選択部18によって選択された関連データに係る走行時間データが走行時間順にユーザが確認可能な状態で表示されている。
また、情報表示選択画面250には、選択部18によって選択された関連データに係る特徴量の一例としての周波数スペクトログラム、スコアデータ、および走行時間毎の処理情報データの一例としてのユーザ操作履歴データが、それぞれ走行時間データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、線路rの画像データAが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。
すなわち、表示制御部14は、走行時間、周波数スペクトル、操作履歴情報およびスコアをディスプレイ106aの情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の操作履歴情報のそれぞれの操作履歴情報と、複数のスコアのそれぞれのスコアと、画像情報を情報表示選択画面250に表示させる(表示ステップの一例)。
また、表示制御部14は、複数のスコアのうちの極大値のスコアに対応付けて、画像情報を情報表示選択画面250に表示させる。ここで、極大値のスコアは、図12のステップS21で説明した閾値以上のスコアである。
さらに、情報表示選択画面250には、特定の区間として走行時間区間を入力する入力領域222、区間の選択処理を行う場合に押下される「OK」ボタン251、および区間の選択処理を中止する場合に押下される「CANCEL」ボタン253が含まれている。
以上説明したように、情報処理装置10は、検知信号に基づき決定される線路rの異常の可能性を示すスコアと、画像情報を対応付けてディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備える。
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、線路rの異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、線路rの異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、線路rの異常を効率的かつ精度良く判断できる。
図26は、本実施形態の第4の変形例に係る鉄道車両を示す図である。
図26に示す鉄道車両70Rは、図23に示した鉄道車両70Rの変形例であり、制御装置70A、パンタグラフ50P、検知装置30および架線Wを撮像するように配置される撮像装置40を備える。
鉄道車両70Rは、対象部の一例である架線Wに対して接触しながら移動する移動体の一例である。パンタグラフ50Pは、架線Wに対して接触しながら移動する移動部材の一例である。検知装置30は、鉄道車両70Rのパンタグラフ50Pが架線Wに接触しながら移動することに応じて変化する物理量を検知する。撮像装置40は、架線Wの動画または静止画の画像を撮像する撮像部の一例である。
図27は、第4の変形例に係る条件情報管理テーブルの一例を示す概念図である。
図5に示した記憶部1000には、図7のステップS13で説明した条件情報管理DB1001が、図27に示すような条件情報管理テーブルによって構成されている。
図27に示す条件情報管理テーブルは、鉄道車両70Rの動作に係る処理情報を鉄道車両70Rが行った動作ごとに管理するためのものである。条件情報管理テーブルには、条件IDごとに処理情報が関連づけられた条件情報が記憶して管理されている。条件IDは、処理情報を含む条件情報を識別するための識別情報である。処理情報は、鉄道車両70Rの動作の種類ごとに定められる情報である。図24に示すように、処理情報には、鉄道車両70Rが走行する路線名、架線Wの材質等の種別、および鉄道車両70Rのパンタグラフ50Pの材質等の種別の情報が含まれる。架線Wの材質等の種別は、対象部の種別の一例であり、パンタグラフ50Pの材質等の種別は、移動部材の種別の一例である。
処理情報に含まれる項目は、さらに、鉄道車両70Rに対するユーザの操作履歴情報、走行開始日時、走行時間(鉄道車両70Rの移動時間の一例)、および鉄道車両70Rの走行速度等を示す情報が含まれていてもよい。さらに、走行距離(鉄道車両70Rの移動距離の一例)が含まれていてもよく、走行時間に代えて走行距離が含まれてもよい。走行時間または走行距離を含む走行情報は、移動情報の一例である。
条件情報管理テーブルには、さらに、鉄道車両70Rによる動作のうち関連する動作(処理)を識別するための関連IDが関連づけられて記憶して管理されている。関連IDは、条件情報管理テーブルに含まれる処理情報のうち、関連する処理を示す処理情報に対して同一の関連IDが付与されている。図27の例では、条件ID;「A000001」と条件ID;「A00003」によって識別される処理情報に、同一の関連ID;「R001」が付与されている。ここで、関連IDが付与される関連する処理とは、例えば、架線種別とパンタグラフ種別が同一で、路線名の異なる処理である。
図28は、第4の変形例に係る情報処理装置に表示される表示選択画面の一例を示す図である。
図28は、図16に示したフローチャートのステップS334およびステップS335に対応する、情報処理装置に表示される情報表示選択画面の一例を示す図である。図28に示す情報表示選択画面250は、選択部18によって選択された信号データに係る検知信号のスコアを表示し、検知信号の特定の区間を選択するための表示画面である。
情報表示選択画面250には、選択部18によって選択された関連データに係る走行時間データが走行時間順にユーザが確認可能な状態で表示されている。
また、情報表示選択画面250には、選択部18によって選択された関連データに係る特徴量の一例としての周波数スペクトログラム、スコアデータ、および走行時間毎の処理情報データの一例としてのユーザ操作履歴データが、それぞれ走行時間データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、架線Wの画像データAが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。
すなわち、表示制御部14は、走行時間、周波数スペクトル、操作履歴情報およびスコアをディスプレイ106aの情報表示選択画面250に複数表示させるとともに、複数の走行時間のそれぞれの走行時間に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の操作履歴情報のそれぞれの操作履歴情報と、複数のスコアのそれぞれのスコアと、画像情報を情報表示選択画面250に表示させる(表示ステップの一例)。
また、表示制御部14は、複数のスコアのうちの極大値のスコアに対応付けて、画像情報を情報表示選択画面250に表示させる。ここで、極大値のスコアは、図12のステップS21で説明した閾値以上のスコアである。
さらに、情報表示選択画面250には、特定の区間として走行時間区間を入力する入力領域222、区間の選択処理を行う場合に押下される「OK」ボタン251、および区間の選択処理を中止する場合に押下される「CANCEL」ボタン253が含まれている。
以上説明したように、情報処理装置10は、検知信号に基づき決定される架線Wの異常の可能性を示すスコアと、架線Wの画像情報を対応付けてディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備える。
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、架線Wの異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、架線Wの異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、架線Wの異常を効率的かつ精度良く判断できる。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置10は、路面R、線路rおよび架線W等の対象部に対して車両70および鉄道車両70R等の移動体が接触しながら移動することによって変化する物理量の検知信号(検知情報の一例)を取得する検知装置通信部12(検知情報取得部の一例)と、路面R等の画像情報を取得する撮像装置制御部41(画像情報取得部の一例)と、検知信号に基づき決定される路面R等の異常の可能性を示すスコア(可能性情報の一例)と、画像情報を対応付けてディスプレイ106a(表示部の一例)に表示させる表示制御部14を備える。
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、路面R等の異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、路面R等の異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、路面R等の異常を効率的かつ精度良く判断することができる。
表示制御部14は、スコアおよび画像情報をディスプレイ106aにそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報をディスプレイ106aに表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面R等の異常を効率的かつ精度良く判断することができる。
表示制御部14は、車両70等の走行距離(移動距離の一例)または走行時間(移動時間の一例)を示す走行情報(移動情報の一例)をディスプレイ106aに複数表示させるとともに、複数の走行情報のそれぞれの走行情報に対応付けて、複数のスコアのそれぞれのスコアと、複数の画像情報のそれぞれの画像情報をディスプレイ106aに表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行情報のそれぞれの走行情報と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面R等の異常を効率的かつ精度良く判断することができる。
表示制御部14は、検知信号の周波数スペクトル(検知情報の特徴を示す特徴情報の一例)をディスプレイ106aに複数表示させるとともに、複数の走行情報のそれぞれの走行情報に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルをディスプレイ106aに表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行情報のそれぞれの走行情報と、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面R等の異常を精度良く判断することができる。
情報処理装置10は、車両70等に対するユーザの操作履歴を示す操作履歴情報(移動体の動作に係る処理情報の一例)を取得する送受信部11(処理情報取得部の一例)を、さらに備え、表示制御部14は、操作履歴情報をディスプレイ106aに複数表示させるとともに、複数の走行情報のそれぞれの走行情報に対応付けて、複数の操作履歴情報のそれぞれの操作履歴情報をディスプレイ106aに表示させる。
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の走行情報のそれぞれの走行情報と、複数の操作履歴情報のそれぞれの操作履歴情報と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、路面R等の異常を効率的かつ精度良く判断することができる。
情報処理装置10は、複数の走行情報における一部の複数の走行情報の入力を受け付ける受付部13を備える。
これにより、ユーザは、ディスプレイ106aでスコアと、スコアに対応付けられた画像情報を確認した上で、複数の走行情報における一部の複数の走行情報を入力することができる。よって、一部の複数の走行情報のそれぞれの走行情報に対応する複数の検知信号または周波数スペクトルのそれぞれの検知信号または周波数スペクトルを正常データまたは異常データとして適切に設定することができる。
情報処理装置10は、表示制御部14により、受付部13が受け付ける一部の複数の走行情報をディスプレイ106aに表示させる。これにより、ユーザは、入力した一部の複数の走行情報を確認することができるため、一部の複数の走行情報のそれぞれの走行情報に対応する複数の検知信号または周波数スペクトルのそれぞれの検知信号または周波数スペクトルを正常データまたは異常データとして確実に設定することができる。
情報処理装置10は、受付部13で受け付けられた一部の複数の走行情報のそれぞれの走行情報に対応付けられた複数の周波数スペクトルのそれぞれの周波数スペクトルを記憶部1000に記憶させる記憶・読出部19(記憶制御部の一例)を備える。
これにより、一部の複数の走行情報のそれぞれの走行作情報に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に記憶させることができる。
情報処理装置10は、記憶部1000が記憶する複数の周波数スペクトルと、検知装置通信部12により取得された検知信号の特徴を示す周波数スペクトルとに基づき、スコアを決定するスコア算出部175(スコア決定部の一例)を備える。
これにより、情報処理装置10は、路面R等の異常の可能性を示すスコアを精度良く決定することができる。
●補足●
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable Read−Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)−ROM、CD−RW(Re−Writable)、DVD−ROM、DVD−RAM、DVD−RW、ブルーレイディスク、SDカード、MO(Magneto−Optical disc)等の装置可読な記録媒体に格納して頒布することもできる。
さらに、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog−HDL等により記述されたデータとして記録媒体により配布することができる。
これまで本発明の一実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1A,1C 異常検知システム
5 情報処理システム
10 情報処理装置
11 送受信部(処理情報取得部の一例)
12 検知装置通信部(検知情報取得部の一例)
18 選択部
19 記憶・読出部(記憶制御部の一例)
21 判断部(異常判断部の一例)
30 検知装置
40 撮像装置(撮像部の一例)
41 撮像装置制御部(画像情報取得部の一例)
70 車両(移動体の一例)
70R 鉄道車両(移動体の一例)
R 路面(対象部の一例)
r 線路(対象部の一例)
W 架線(対象部の一例)
106a ディスプレイ(表示部の一例)
173 特徴量抽出部
175 スコア算出部(可能性情報決定部の一例)
200 出力信号選択画面
250 情報表示選択画面
1000 記憶部
特許第5014464号公報
本発明に係る情報処理装置は、対象部に対して移動体が接触しながら移動することによって変化する物理量の検知情報を取得する検知情報取得部と、対象部の画像情報を取得する画像情報取得部と、検知情報に基づき決定される対象部の異常の可能性を示す可能性情報と、画像情報を対応付けて表示部に表示させる表示制御部と、を備える。
しかしながら、走行時間1001〜1105の区間の周波数データを見ると、低域にノイズが乗っていることがわかる。一方、走行時間1105〜1230の区間の周波数データを見ると、走行時間1001〜1105の区間のように、低域のノイズは乗っていないことがわかる。
したがって、ユーザは、走行時間1001〜1230の一部である走行時間1105〜1230の区間のデータが、走行時間1001〜1105の区間のデータよりも、正常データとして相応しいと適切に判断できる。
本発明に係る情報処理装置は、対象部に対して移動体が接触しながら移動することによって変化する物理量の検知情報を取得する検知情報取得部と、移動体の移動する進行方向側における対象部の第1の画像情報と、移動体の移動する後方における対象部の第2の画像情報と、を取得する画像情報取得部と、検知情報に基づき決定される対象部の異常の可能性を示す可能性情報と、第1の画像情報および第2の画像情報を対応付けて表示部に表示させる表示制御部と、を備える。

Claims (13)

  1. 対象部に対して移動体が接触しながら移動することによって変化する物理量の検知情報を取得する検知情報取得部と、
    前記対象部の画像情報を取得する画像情報取得部と、
    前記検知情報に基づき決定される前記対象部の異常の可能性を示す可能性情報と、前記画像情報を対応付けて表示部に表示させる表示制御部と、を備えた情報処理装置。
  2. 前記表示制御部は、前記可能性情報および前記画像情報を前記表示部にそれぞれ複数表示させるとともに、
    前記複数の可能性情報のそれぞれの可能性情報に対応付けて、前記複数の画像情報のそれぞれの画像情報を前記表示部に表示させる請求項1記載の情報処理装置。
  3. 前記表示制御部は、前記移動体の移動距離または移動時間を示す移動情報を前記表示部に複数表示させるとともに、
    前記複数の移動情報のそれぞれの移動情報に対応付けて、前記複数の可能性情報のそれぞれの可能性情報と、前記複数の画像情報のそれぞれの画像情報を前記表示部に表示させる請求項2記載の情報処理装置。
  4. 前記表示制御部は、前記検知情報の特徴を示す特徴情報を前記表示部に複数表示させるとともに、
    前記複数の移動情報のそれぞれの移動情報に対応付けて、前記複数の特徴情報のそれぞれの特徴情報を前記表示部に表示させる請求項3記載の情報処理装置。
  5. 前記特徴情報は、前記検知情報の周波数スペクトルを含み、
    前記表示制御部は、前記複数の移動情報のそれぞれの移動情報に対応付けて、複数の前記周波数スペクトルのそれぞれの周波数スペクトルを前記表示部に表示させる請求項4記載の情報処理装置。
  6. 前記移動体の動作に係る処理情報を取得する処理情報取得部を、さらに備え、
    前記表示制御部は、さらに、前記処理情報を前記表示部に複数表示させるとともに、前記複数の移動情報のそれぞれの移動情報に対応付けて、前記複数の処理情報のそれぞれの処理情報を前記表示部に表示させる請求項3〜5の何れか記載の情報処理装置。
  7. 前記処理情報は、前記移動体に対するユーザの操作履歴を示す操作履歴情報を含み、
    前記表示制御部は、前記操作履歴情報を前記表示部に複数表示させるとともに、前記複数の移動情報のそれぞれの移動情報に対応付けて、前記複数の操作履歴情報のそれぞれの操作履歴情報を前記表示部に表示させる請求項6記載の情報処理装置。
  8. 前記複数の移動情報における一部の複数の移動情報の入力を受け付ける受付部を備えた請求項3〜7の何れか記載の情報処理装置。
  9. 前記表示制御部は、
    前記受付部が受け付ける前記一部の複数の移動情報を前記表示部に表示させる請求項8記載の情報処理装置。
  10. 前記受付部で受け付けられた前記一部の複数の移動情報のそれぞれの移動情報に対応付けられた前記検知情報の特徴を示す特徴情報を記憶部に記憶させる記憶制御部を備えたことを特徴とする請求項8または9記載の情報処理装置。
  11. 前記記憶部が記憶する前記特徴情報と、前記検知情報取得部により取得された検知情報の特徴を示す特徴情報とに基づき、前記可能性情報を決定する可能性情報決定部を備えた請求項10記載の情報処理装置。
  12. 対象部に対して移動体が接触しながら移動することによって変化する物理量の検知情報を取得する検知情報取得ステップと、
    前記対象部の画像情報を取得する画像情報取得ステップと、
    前記検知情報に基づき決定される前記対象部の異常の可能性を示す可能性情報と、前記画像情報を対応付けて表示部に表示させる表示ステップと、を備えた情報処理方法。
    方法。
  13. コンピュータに請求項12記載の情報処理方法を実行させるプログラム。
JP2020099939A 2020-03-13 2020-06-09 情報処理装置、情報処理方法およびプログラム Active JP7047863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020099939A JP7047863B2 (ja) 2020-03-13 2020-06-09 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020044318A JP7447578B2 (ja) 2020-03-13 2020-03-13 情報処理装置、情報処理方法およびプログラム
JP2020099939A JP7047863B2 (ja) 2020-03-13 2020-06-09 情報処理装置、情報処理方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020044318A Division JP7447578B2 (ja) 2020-03-13 2020-03-13 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021147990A true JP2021147990A (ja) 2021-09-27
JP7047863B2 JP7047863B2 (ja) 2022-04-05

Family

ID=77766816

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020044318A Active JP7447578B2 (ja) 2020-03-13 2020-03-13 情報処理装置、情報処理方法およびプログラム
JP2020099939A Active JP7047863B2 (ja) 2020-03-13 2020-06-09 情報処理装置、情報処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020044318A Active JP7447578B2 (ja) 2020-03-13 2020-03-13 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (2) JP7447578B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215272A (ja) * 2016-06-02 2017-12-07 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017145928A1 (ja) * 2016-02-25 2018-08-23 株式会社村田製作所 検知装置および路面情報システム、並びに車両
WO2018173907A1 (ja) * 2017-03-23 2018-09-27 日立オートモティブシステムズ株式会社 車両制御装置
JP2018195118A (ja) * 2017-05-18 2018-12-06 日本電信電話株式会社 路面データ収集装置、方法、及びプログラム
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115687A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 道路保守支援システム
JP6291864B2 (ja) * 2014-01-27 2018-03-14 富士通株式会社 無線端末装置、測定処理方法、測定処理プログラム及びイベント位置解析システム
EP3848509A1 (en) 2015-07-21 2021-07-14 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
JP2017145928A (ja) 2016-02-19 2017-08-24 中日本ハイウェイ・エンジニアリング名古屋株式会社 スパイラル式ケーブル防護用割管

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017145928A1 (ja) * 2016-02-25 2018-08-23 株式会社村田製作所 検知装置および路面情報システム、並びに車両
JP2017215272A (ja) * 2016-06-02 2017-12-07 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018173907A1 (ja) * 2017-03-23 2018-09-27 日立オートモティブシステムズ株式会社 車両制御装置
JP2018195118A (ja) * 2017-05-18 2018-12-06 日本電信電話株式会社 路面データ収集装置、方法、及びプログラム
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム

Also Published As

Publication number Publication date
JP7447578B2 (ja) 2024-03-12
JP2021144601A (ja) 2021-09-24
JP7047863B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
JP5585193B2 (ja) 事象データ処理方法、プログラム及び装置
JP7181595B2 (ja) 検査システム、異常特定方法
JP5783551B2 (ja) エレベータの異常音検出装置
JP4858913B2 (ja) データ記憶装置、データ記憶方法、及びデータ記憶用プログラム
CN106782459B (zh) 基于移动终端应用程序的钢琴自动演奏控制系统及方法
JP7047863B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7158437B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7131578B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP3920715B2 (ja) 振動信号の処理方法
JP7375692B2 (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2022044175A1 (ja) データ処理装置、データ処理方法およびデータ処理プログラム
JP3283024B2 (ja) 騒音測定管理システム及び該システム用記録媒体
JP6518309B1 (ja) 走行状態再現システム
WO2021182328A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016105267A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7167953B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6790356B2 (ja) フィールド機器、設定装置、及び設定プログラム
JP2020044824A (ja) 音情報処理装置、音情報処理システム及び音情報処理プログラム
JP2003149090A (ja) 回転機の軸受診断装置
JP6884076B2 (ja) 情報処理装置およびコンピュータプログラム
KR102500140B1 (ko) 초음파 대역의 음향 신호를 이용한 설비 고장 예측 시스템 및 그 방법
JP2006094307A (ja) 音響検査方法及び音響発生検査装置
KR20140000032A (ko) 차량 외부 환경에 따른 컨텐츠 추천 시스템 및 방법
JP6036242B2 (ja) 心音情報処理装置、心音情報処理方法およびプログラム
JP7425430B2 (ja) レールの普通継目の時間位置を特定するための方法及びプログラム、並びに情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200611

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210927

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151