JP2019175065A - 保守支援システム、画像表示方法および画像管理方法 - Google Patents
保守支援システム、画像表示方法および画像管理方法 Download PDFInfo
- Publication number
- JP2019175065A JP2019175065A JP2018061673A JP2018061673A JP2019175065A JP 2019175065 A JP2019175065 A JP 2019175065A JP 2018061673 A JP2018061673 A JP 2018061673A JP 2018061673 A JP2018061673 A JP 2018061673A JP 2019175065 A JP2019175065 A JP 2019175065A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- terminal
- server system
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】点検対象物の画像を用いた点検作業の効率性を向上させる。【解決手段】サーバシステム100は、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、点検対象物に関する利用者特性との対応関係を保持し、端末104からの画像の要求に基づいて、利用者特性に対応した表示情報を画像とともに端末104に出力し、端末104は、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、点検対象物に関する利用者特性との対応関係の登録をサーバシステム100に指示し、サーバシステム100から受信した表示情報に基づいて、点検対象物の画像を表示する。【選択図】図1
Description
本発明は、社会インフラストラクチャー(以下、インフラと略称する)の保守に用いることが可能な保守支援システム、画像表示方法および画像管理方法に関する。
近年、電力・鉄道・通信をはじめとした社会インフラの保守の効率化や精度向上を目指して画像解析などの様々な技術が用いられるようになっている。また、社会インフラの保守は様々な部署がそれぞれ担当してきたが、360°カメラで撮影した全天球パノラマ画像などでは、必要な設備のみを表示するのではなく、前後・上下・左右を漏れなく表示することができるため、各部門で共通に画像を利用することができるようになった。例えば、配電分野を例に挙げると、電柱の装柱設備は配電担当、通信設備は電子通信担当、電柱の敷地は用地担当と担当が分かれているが、全天球パノラマ画像はこれらの担当部署で共同利用が可能となる。
本技術分野の背景技術として、特許文献1に開示された技術がある。特許文献1には、端末装置で撮影された対象物の画像と、記憶装置に保持されている対象物の過去の画像から、画像における対象物部分から算出される特徴点と背景部分から算出される特徴点との重みを変えて過去と現在の対象物の画像の位置合せを行うことで、対象物そのものの経時変化と、対象物の背景と相対的な経時変化を両方検出する変化検出部を有する計算機と、検出された対象物の経時変化の情報を表示する表示部を有する端末装置と、から構成されるシステムが開示されている。
しかしながら、特許文献1に開示された技術では、インフラ保守の多様化が考慮されていない。このため、撮像された画像に複数の点検対象物が含まれ、かつ点検対象物毎に点検担当部署が異なる場合には、点検作業効率の向上に改善の余地があった。
本発明は、上記事情に鑑みなされたものであり、その目的は、点検対象物の画像を用いた点検作業の効率性を向上させることが可能な保守支援システム、画像表示方法および画像管理方法を提供することにある。
上記目的を達成するため、第1の観点に係る保守支援システムは、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、前記点検対象物に関する利用者特性との対応関係を記憶する記憶部と、前記利用者特性に対応する前記表示情報を出力するインターフェースとを備える。
本発明によれば、点検対象物の画像を用いた点検作業の効率性を向上させることができる。
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、第1実施形態に係る保守支援システムの概略構成を示すブロック図である。
図1において、保守支援システムには、サーバシステム100、携帯情報端末102A〜102C、撮影装置103および端末104が設けられている。サーバシステム100は、ネットワーク101を介して携帯情報端末102A〜102Cおよび端末104と接続可能である。ネットワーク101は、インターネットなどのWAN(Wide Area Network)であってもよいし、WiFiなどのLAN(Local Area Network)であってもよいし、WANとLANが混在していてもよい。携帯情報端末102A〜102Cと端末104は無線通信可能である。携帯情報端末102A〜102Cと端末104の間の無線通信は、WiFiまたはBluetooth(登録商標)などの近距離無線通信である。なお、携帯情報端末102A〜102Cと端末104の通信手段は無線通信に限定するものではなく、有線通信も可能である。
図1において、保守支援システムには、サーバシステム100、携帯情報端末102A〜102C、撮影装置103および端末104が設けられている。サーバシステム100は、ネットワーク101を介して携帯情報端末102A〜102Cおよび端末104と接続可能である。ネットワーク101は、インターネットなどのWAN(Wide Area Network)であってもよいし、WiFiなどのLAN(Local Area Network)であってもよいし、WANとLANが混在していてもよい。携帯情報端末102A〜102Cと端末104は無線通信可能である。携帯情報端末102A〜102Cと端末104の間の無線通信は、WiFiまたはBluetooth(登録商標)などの近距離無線通信である。なお、携帯情報端末102A〜102Cと端末104の通信手段は無線通信に限定するものではなく、有線通信も可能である。
保守支援システムは、電力・鉄道・通信などの社会インフラの保守に用いることができる。サーバシステム100は、保守支援に用いられる画像などの情報を管理することができる。各携帯情報端末102A〜102Cは、撮影装置103の遠隔操作に用いることができる。携帯情報端末102A〜102Cは、スマートフォン、PDA(Personal Digital Assistant)またはタブレット端末などを用いることができる。撮影装置103は、インフラ設備の点検対象物を撮像することができる。撮影装置103は、点検対象物の近傍に設置することができる。撮影装置103は、全天球カメラを用いることができる。端末104は、撮影装置103で撮像された点検対象物の表示に用いることができる。端末104は、デスクトップパソコンなど用いることができる。
ここで、サーバシステム100は、撮影装置103で撮像されたインフラ設備の点検対象物に関する画像を、携帯情報端末102A〜102Cを介してネットワーク101経由で受信することができる。また、サーバシステム100は、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、点検対象物に関する利用者特性との対応関係を保持することができる。そして、端末104からの画像の要求に基づいて、利用者特性に対応した表示情報を画像とともに端末104に出力することができる。
画像の表示情報は、画像の初期表示位置、画像の表示サイズおよび画像の視点方向を示す方位情報を含むことができる。利用者特性は、インフラ設備の点検対象物の利用者の特性である。ここで言う利用者は、インフラ設備の点検対象物を保守、点検、修理または管理する担当者を含む。利用者特性は、例えば、点検対象物を保守する担当者または担当者が所属する部署とすることができる。
端末104は、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、点検対象物に関する利用者特性との対応関係の登録をサーバシステム100に指示することができる。また、端末104は、利用者特性に対応した表示情報をサーバシステム100から受信し、サーバシステム100から受信した表示情報に基づいて、点検対象物の画像を表示することができる。
インフラ設備が電力である時の点検対象物は、例えば、電柱、アーム、開閉器、変圧器、結合器、制御器、電線、電柱が設置されている用地などを挙げることができる。インフラ設備が鉄道である時の点検対象物は、例えば、信号機、転轍機、電柱、電線、遮断機、踏切、踏切警報機、送電線などを挙げることができる。インフラ設備が道路である時の点検対象物は、例えば、信号機、防音壁、電灯、電柱、行先案内板、ガードレール、車線などを挙げることができる。
なお、図1では、撮影装置103は、携帯情報端末102A〜102Cを介してサーバシステム100に画像を送信する構成を示したが、撮影装置103がネットワーク101経由でサーバシステム100と通信可能ならば、撮影装置103からサーバシステム100に画像を直接送信するようにしてもよい。
また、図1では、各携帯情報端末102A〜102Cが撮影装置103を操作することで画像を撮像する方法について説明したが、各携帯情報端末102A〜102Cが全天球カメラ機能を備える場合、各携帯情報端末102A〜102Cが点検対象物を直接撮像し、その撮像画像をサーバシステム100に送信するようにしてもよい。
図2は、図1のサーバシステムの構成例を示すブロック図である。
図2において、サーバシステム100には、CPU(Central Processing Unit)200、ネットワークインタフェース201、I/O部202、データベース203、操作部204、表示部205および記憶部206が設けられている。CPU200、ネットワークインタフェース201、I/O部202、データベース203、操作部204、表示部205および記憶部206は、バス210を介して接続されている。記憶部206には、登録プログラム207が記憶されている。
図2において、サーバシステム100には、CPU(Central Processing Unit)200、ネットワークインタフェース201、I/O部202、データベース203、操作部204、表示部205および記憶部206が設けられている。CPU200、ネットワークインタフェース201、I/O部202、データベース203、操作部204、表示部205および記憶部206は、バス210を介して接続されている。記憶部206には、登録プログラム207が記憶されている。
CPU200は、プログラムに従って演算処理を実行することでサーバシステム100全体を制御する。CPU200の代わりに、プロセッサまたはマイクロプロセッサを用いるようにしてもよい。ネットワークインタフェース201は、ネットワーク101を介して携帯情報端末102A〜102Cおよび端末104と通信する。I/O部202は、例えばUSB(Universal Serial Bus)等の規格に準拠した外部機器との間でデータを入出力する。データベース203は、インフラ設備の点検対象物の保守および点検などに関するデータを格納する。操作部204は、サーバシステム100の操作環境を提供する。操作部204は、キーボードおよびマウスであってもよい。表示部205は、サーバシステム100の操作環境や処理結果などを表示する。表示部205は、液晶ディスプレイなどであってもよい。操作部204および表示部205は、操作部204および表示部205が一体化したタッチパネルであってもよい。記憶部206は、CPU200で実行される実行プログラムを保持したり、CPU200がプログラムを実行するためのワークエリアを提供したりする。記憶部206は、登録プログラム207を保持する。登録プログラム207は、サーバシステム100にインストール可能なソーフトウェアであってもよいし、サーバシステム100に組み込まれたファームウェアであってもよい。
CPU200が登録プログラム207を実行することにより、インフラ設備の点検対象物(以下、対象設備と言うことがある)が撮像された画像の表示方法を示す表示情報と、点検対象物に関する利用者特性との対応関係をデータベース203に登録することができる。
データベース203には、設備情報データ211、設備画像データ212、地図データ213、作業履歴データ214および利用者データ215が格納されている。設備情報データ211は、対象設備の位置を示すデータである。設備画像データ401は、対象設備の撮影情報や画像を示すデータである。地図データ213は、対象設備の位置を地図上で示すデータである。地図データ213には、GIS(Graphical Information System)データベースと同様に、道路や建物等の位置情報が格納される。作業履歴データ214は、対象設備の改修の作業履歴を示すデータである。利用者データ215は、対象設備が撮像された画像の表示方法を示す表示情報と、対象設備に関する利用者特性との対応関係を示すデータである。
図3は、図1の携帯情報端末の構成例を示すブロック図である。
図3において、携帯情報端末102Aには、無線通信部301、表示部302、音声入力部303、音声出力部304、日時取得部305、位置情報取得部306、CPU307、操作部308、メモリ309、3軸加速度センサ310、3軸地磁気センサ311、撮影部312および短距離無線通信部315が設けられている。CPU307は、無線通信部301、表示部302、音声入力部303、音声出力部304、日時取得部305、位置情報取得部306、操作部308、メモリ309、3軸加速度センサ310、3軸地磁気センサ311、撮影部312および短距離無線通信部315に接続されている。
図3において、携帯情報端末102Aには、無線通信部301、表示部302、音声入力部303、音声出力部304、日時取得部305、位置情報取得部306、CPU307、操作部308、メモリ309、3軸加速度センサ310、3軸地磁気センサ311、撮影部312および短距離無線通信部315が設けられている。CPU307は、無線通信部301、表示部302、音声入力部303、音声出力部304、日時取得部305、位置情報取得部306、操作部308、メモリ309、3軸加速度センサ310、3軸地磁気センサ311、撮影部312および短距離無線通信部315に接続されている。
無線通信部301は、ネットワーク101を介してサーバシステム100と通信する。表示部302は、携帯情報端末102Aの操作環境や処理結果などを表示する。表示部302は、液晶ディスプレイなどであってもよい。音声入力部303は、音声入力を行う。音声入力部303は、マイクロフォンを備えることができる。音声出力部304は、音声出力を行う。音声出力部304は、スピーカを備えることができる。日時取得部305は、現在の日時を取得する。位置情報取得部306は、GPS(Global Positioning System)情報313に基づいて、携帯情報端末102Aの位置情報を取得する。CPU307は、携帯情報端末102A全体を制御する。操作部308は、携帯情報端末102Aの操作環境を提供する。操作部308は、タッチキーであってもよい。操作部308および表示部302は、操作部308および表示部302が一体化したタッチパネルであってもよい。メモリ309は、音声入力部303から入力された音声データを記憶したり、日時取得部305で取得された日時データを記憶したり、位置情報取得部306で取得された位置情報を記憶したり、撮影部312で撮影された画像を記憶したりする。3軸加速度センサ310は、携帯情報端末102Aの加速度のX軸成分、Y軸成分およびZ軸成分を取得する。3軸地磁気センサ311は、携帯情報端末102Aの現在位置の地磁気のX軸成分、Y軸成分およびZ軸成分を取得する。撮影部312は、対象設備314を撮影する。撮影部312は、デジタルカメラであってもよい。短距離無線通信部315は、撮影装置103と通信する。
図4は、図1の撮影装置の構成例を示すブロック図である。
図4において、撮影装置103には、短距離無線通信部401、表示部402、日時取得部405、位置情報取得部406、CPU407、操作部408、メモリ409、3軸加速度センサ410、3軸地磁気センサ411および撮影部412が設けられている。CPU407は、短距離無線通信部401、表示部402、日時取得部405、位置情報取得部406、操作部408、メモリ409、3軸加速度センサ410、3軸地磁気センサ411および撮影部412に接続されている。
図4において、撮影装置103には、短距離無線通信部401、表示部402、日時取得部405、位置情報取得部406、CPU407、操作部408、メモリ409、3軸加速度センサ410、3軸地磁気センサ411および撮影部412が設けられている。CPU407は、短距離無線通信部401、表示部402、日時取得部405、位置情報取得部406、操作部408、メモリ409、3軸加速度センサ410、3軸地磁気センサ411および撮影部412に接続されている。
短距離無線通信部401は、携帯情報端末102Aと通信する。表示部402は、撮影装置103の操作環境や処理結果などを表示する。表示部402は、液晶ディスプレイなどであってもよい。日時取得部405は、現在の日時を取得する。位置情報取得部406は、GPS情報413に基づいて、撮影装置103の位置情報を取得する。CPU407は、撮影装置103全体を制御する。操作部408は、撮影装置103の操作環境を提供する。操作部408は、タッチキーであってもよい。操作部408および表示部402は、操作部408および表示部402が一体化したタッチパネルであってもよい。メモリ409は、日時取得部405で取得された日時データを記憶したり、位置情報取得部406で取得された位置情報を記憶したり、撮影部412で撮影された画像を記憶したりする。3軸加速度センサ410は、撮影装置103の加速度のX軸成分、Y軸成分およびZ軸成分を取得する。3軸地磁気センサ411は、撮影装置103の設置位置の地磁気のX軸成分、Y軸成分およびZ軸成分を取得する。撮影部412は、対象設備414を撮影する。撮影部412は、全天球デジタルカメラであってもよい。
図5は、図1の端末の構成例を示すブロック図である。
図5において、端末104には、CPU500、ネットワークインタフェース501、I/O部502、データベース503、操作部504、表示505および記憶部506が設けられている。CPU500、ネットワークインタフェース501、I/O部502、データベース503、操作部504、表示部505および記憶部506は、バス510を介して接続されている。
図5において、端末104には、CPU500、ネットワークインタフェース501、I/O部502、データベース503、操作部504、表示505および記憶部506が設けられている。CPU500、ネットワークインタフェース501、I/O部502、データベース503、操作部504、表示部505および記憶部506は、バス510を介して接続されている。
CPU500は、端末104全体を制御する。ネットワークインタフェース501は、ネットワーク101を介してサーバシステム100と通信する。I/O部502は、例えばUSBの規格に準拠した外部機器との間でデータを入出力する。データベース503は、対象設備の画像を地図上で選択する地図データを格納することができる。操作部504は、端末104の操作環境を提供する。操作部504は、キーボードおよびマウスであってもよい。表示部505は、端末104の操作環境や処理結果などを表示する。表示部505は、液晶ディスプレイなどであってもよい。操作部504および表示部505は、操作部504および表示部505が一体化したタッチパネルであってもよい。記憶部506は、CPU500で実行される実行プログラムを保持したり、CPU500がプログラムを実行するためのワークエリアを提供したりする。記憶部506は、表示制御プログラム507を保持する。
CPU500が表示制御プログラム507を実行することにより、利用者特性に対応した表示情報をサーバシステム100から受信し、サーバシステム100から受信した表示情報に基づいて、点検対象物の画像を表示することができる。
以下、実施形態に係る保守支援システムの具体例について説明する。なお、以下の説明では、インフラ設備の点検対象物が電力配電設備である場合を例にとる。
図6は、図2の設備情報データの一例を示す図である。
図6において、設備情報データ211には、電力配電設備における点検対象となる電柱等に関するデータが格納される。具体的には、設備情報データ211には、設備ID600と設備の位置情報602とが対応付けられて格納される。設備ID600には、設備名称601を付してもよい。設備の位置情報602は、緯度603および経度604を含む。例えば、電柱には、設備ID=106が付与され、設備ID=106に対応して緯度=35.6852、経度=6139.7458という位置情報が登録されている。
図6は、図2の設備情報データの一例を示す図である。
図6において、設備情報データ211には、電力配電設備における点検対象となる電柱等に関するデータが格納される。具体的には、設備情報データ211には、設備ID600と設備の位置情報602とが対応付けられて格納される。設備ID600には、設備名称601を付してもよい。設備の位置情報602は、緯度603および経度604を含む。例えば、電柱には、設備ID=106が付与され、設備ID=106に対応して緯度=35.6852、経度=6139.7458という位置情報が登録されている。
図7は、図2の作業履歴データの一例を示す図である。
図7において、作業履歴データ214には、電力配電設備における過去の点検の履歴情報が格納される。具体的には、作業履歴データ214には、設備ID700、前回作業年月日702、報告書703、改修要否704および改修年月日705が対応付けられて格納されている。設備ID700には、設備名称701を付してもよい。例えば、変圧器には、設備ID=107が付与され、設備ID=107に対応して2015/10/03と2016/12/21という前回作業年月日が登録されている。2015/10/03という前回作業年月日に対しては、改修要否が要に設定され、2015/12/15という改修年月日が登録されている。
図7において、作業履歴データ214には、電力配電設備における過去の点検の履歴情報が格納される。具体的には、作業履歴データ214には、設備ID700、前回作業年月日702、報告書703、改修要否704および改修年月日705が対応付けられて格納されている。設備ID700には、設備名称701を付してもよい。例えば、変圧器には、設備ID=107が付与され、設備ID=107に対応して2015/10/03と2016/12/21という前回作業年月日が登録されている。2015/10/03という前回作業年月日に対しては、改修要否が要に設定され、2015/12/15という改修年月日が登録されている。
図8は、図2の設備画像データの一例を示す図である。
図8において、設備画像データ212には、電力配電設備の点検の際に撮影された設備の画像データが格納される。具体的には、設備画像データ212には、画像ID800と画像データ805が対応付けられて格納されている。画像データ805のフォーマットとして、例えば、Exif(Exchangeable image file format)(登録商標)を採用することができる。Exifフォーマットは、写真用のメタデータを含む画像フォーマットであり、様々なメタデータを写真に付加することができる。画像データ805とともに、設備の撮影情報も、画像ID800に対応付けられて格納されている。設備の撮影情報は、撮影日時801、撮影位置802、撮影方角803および撮影時の姿勢角度804を含むことができる。
図8において、設備画像データ212には、電力配電設備の点検の際に撮影された設備の画像データが格納される。具体的には、設備画像データ212には、画像ID800と画像データ805が対応付けられて格納されている。画像データ805のフォーマットとして、例えば、Exif(Exchangeable image file format)(登録商標)を採用することができる。Exifフォーマットは、写真用のメタデータを含む画像フォーマットであり、様々なメタデータを写真に付加することができる。画像データ805とともに、設備の撮影情報も、画像ID800に対応付けられて格納されている。設備の撮影情報は、撮影日時801、撮影位置802、撮影方角803および撮影時の姿勢角度804を含むことができる。
撮影位置802は、緯度および経度を含む。姿勢角度804は、姿勢角度A、B、Cを含む。姿勢角度Aは、Roll角とも呼び、撮影装置103の向く方位角である。姿勢角度Bは、Pitch角とも呼び、撮影装置103の仰角である。姿勢角度Cは、Yaw角とも呼び、撮影装置103の左右方向の傾き度合いである。
例えば、設備画像データ212には、画像ID=1104に対応して画像1が登録され、画像ID=1105に対応して画像2が登録され、画像ID=1300に対応して画像4が登録されている。また、画像ID=1104に対応して、2016/06/01/12:00という撮影日時、緯度=356.58、経度=139.7455という撮影位置、254という撮影方角、A=254、B=10、C=0という姿勢角度が登録されている。
図9は、図8の姿勢角度を示す図である。
図9において、空間内の点を実際の画面の位置に変換するには、撮影装置103の向きを取得する必要がある。撮影装置103の向いている方位、見上げている角度(仰角)、さらに撮影装置103の画面の傾きを把握したうえで、空間内の点がどの座標に対応しているかを計算する。
図9において、空間内の点を実際の画面の位置に変換するには、撮影装置103の向きを取得する必要がある。撮影装置103の向いている方位、見上げている角度(仰角)、さらに撮影装置103の画面の傾きを把握したうえで、空間内の点がどの座標に対応しているかを計算する。
撮影装置103の向きは、水平方向を表すYaw、見上げる/見下ろすという仰角の変化を表すPitch、画面の傾きを表すRollで表現される。これらは世界座標系(ワールド座標系)と呼ばれる基準となる座標系からのずれを与えることで一意に決定される。
これらの姿勢角度A、B、Cは撮影装置103の3軸加速度センサ410から得られるX、Y、Z軸方向の加速度成分と、3軸地磁気センサ411から得られるX、Y、Z軸方向の地磁気成分から算出される。なお、撮影装置103から情報が取得できない場合、携帯情報端末102Aの3軸加速度センサ310および3軸地磁気センサ311より取得することができる。
図10は、図2の利用者データの一例を示す図である。
図10において、利用者データ215には、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報905と、点検対象物に関する利用者特性との対応関係が画像ID800ごとに格納される。図10では、利用者特性として、点検対象物の担当者が所属する部署901およびその担当者の氏名903を示した。部署901には部署コード902が設定され、氏名903には氏名コード904が設定される。
そして、部署コード902および氏名コード904に対応させて、画像1、2、・・、4ごとに表示情報905が格納される。各画像1、2、・・、4に対応させて、画像ID800が格納される。図10では、表示情報905として、画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを例にとった。初期表示位置x、yは、表示画面上で画像を開いた時に、その表示画面の中心に自動的に配置される画像の座標を示すことができる。
図10において、利用者データ215には、インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報905と、点検対象物に関する利用者特性との対応関係が画像ID800ごとに格納される。図10では、利用者特性として、点検対象物の担当者が所属する部署901およびその担当者の氏名903を示した。部署901には部署コード902が設定され、氏名903には氏名コード904が設定される。
そして、部署コード902および氏名コード904に対応させて、画像1、2、・・、4ごとに表示情報905が格納される。各画像1、2、・・、4に対応させて、画像ID800が格納される。図10では、表示情報905として、画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを例にとった。初期表示位置x、yは、表示画面上で画像を開いた時に、その表示画面の中心に自動的に配置される画像の座標を示すことができる。
画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βは、点検対象物の担当者またはその担当者が所属する部署に応じて任意に設定することができる。例えば、画像1が全天球パノラマ画像であり、電柱、電線、変圧器、制御器などの複数の点検対象物が1枚の画像1に写っているものとする。そして、変圧器の保守を担当する担当者が、画像1を参照することで変圧器を点検するものとする。ここで、変圧器の保守を担当する担当者にとっては、変圧器が画像1の端に配置されている状態よりも、画像1の中央に配置されている状態の方が、変圧器の状態を確認しやすい。さらに、画像1を参照しながら変圧器の状態を確認するに当たっては、担当者にとって確認しやすい変圧器のサイズがある。さらに、変圧器に錆や損傷がある場合、その錆や損傷の状態を確認しやすい方位がある。
ここで、変圧器の保守を担当する担当者が山田太郎であるものとすると、変圧器が画像1の表示画面の中央に表示されるように初期表示位置x11、y11を設定し、その初期表示位置x11、y11を山田太郎の氏名コード=A01に対応させて格納する。さらに、山田太郎が変圧器の状態を確認しやすいように表示サイズα11および方位β11を設定し、その表示サイズα11および方位β11を山田太郎の氏名コード=A01に対応させて格納する。
また、電柱の保守を担当する担当者が川野花子であるものとすると、電柱が画像1の表示画面の中央に表示されるように初期表示位置x12、y12を設定し、その初期表示位置x12、y12を川野花子の氏名コード=A02に対応させて格納する。さらに、川野花子が電柱の状態を確認しやすいように表示サイズα12および方位情報β12を設定し、その表示サイズα12および方位情報β12を川野花子の氏名コード=A02に対応させて格納する。
さらに、制御器の保守を担当する担当者が田中次郎であるものとすると、制御器が画像1の表示画面の中央に表示されるように初期表示位置x13、y13を設定し、その初期表示位置x13、y13を田中次郎の氏名コード=A03に対応させて格納する。さらに、田中次郎が制御器の状態を確認しやすいように表示サイズα13および方位情報β13を設定し、その表示サイズα13および方位情報β13を田中次郎の氏名コード=A03に対応させて格納する。
図10の利用者データ215において、画像1では、部署コード902および氏名コード904ごとに異なるように画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを設定した。
画像2では、部署コード902ごとに異なり、氏名コード904で共通化されるように画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを設定した。
画像4では、部署コード902および氏名コード904で共通化されるように画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを設定した。
画像2では、部署コード902ごとに異なり、氏名コード904で共通化されるように画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを設定した。
画像4では、部署コード902および氏名コード904で共通化されるように画像の初期表示位置x、y、画像の表示サイズαおよび画像の方位情報βを設定した。
なお、図10では、部署コード902および氏名コード904に対応させて表示情報905を格納した例を示したが、部署コード902のみに対応させて表示情報905を格納するようにしてもよいし、氏名コード904のみに対応させて表示情報905を格納するようにしてもよい。
図11は、図1の撮影装置の動作の流れを示すシーケンス図である。
図11において、携帯情報端末102Aは、撮影装置103に対象設備414の撮影を指示する(1001)。この時、画像の撮影要求が携帯情報端末102Aから撮影装置103に送信される(1002)。撮影装置103は、画像の撮影要求を携帯情報端末102Aから受信すると、対象設備414を撮影し(1003)、対象設備414の画像をメモリ409に記憶する(1004)。
図11において、携帯情報端末102Aは、撮影装置103に対象設備414の撮影を指示する(1001)。この時、画像の撮影要求が携帯情報端末102Aから撮影装置103に送信される(1002)。撮影装置103は、画像の撮影要求を携帯情報端末102Aから受信すると、対象設備414を撮影し(1003)、対象設備414の画像をメモリ409に記憶する(1004)。
次に、撮影装置103は、対象設備414の画像を携帯情報端末102Aに送信する(1005)。この時、撮影装置103は、対象設備414の画像の撮影日時、撮影位置および撮影装置103の姿勢角度の情報も携帯情報端末102Aに送信することができる。撮影装置103は、対象設備414の画像を携帯情報端末102Aに送信すると、対象設備414の画像をメモリ409から消去する(1007)。
携帯情報端末102Aは、対象設備414の画像を撮影装置103から受信すると、音声入力部303を介して入力されたコメントをその画像に付加する(1006)。ここで、携帯情報端末102Aの操作者は、音声でコメントを入力することにより、携帯情報端末102Aのキーを操作する必要がなくなる。このため、携帯情報端末102Aの操作者は、点検作業中に携帯端末の操作が出来るように例えば親指と人差し指と中指の指先端部分に導電糸を使用するなどの加工を施した手袋をしたままコメントを入力することができ、コメント入力を効率よく実行することができる。そして、携帯情報端末102Aは、対象設備414の画像およびコメントをメモリ309に記憶する(1008)。この時、携帯情報端末102Aは、対象設備414の画像の撮影日時、撮影位置および姿勢角度の情報もメモリ309に記憶することができる。
図12は、図1のサーバシステムへの画像のアップロード方法を示すシーケンス図である。
図12において、携帯情報端末102Aは、対象設備414の画像をアップロードする(1111)。この時、対象設備414の画像がサーバシステム100にアップロードされる(1112)。サーバシステム100は、アップロードされた対象設備414の画像をデータベース203に記憶する(1113)。携帯情報端末102Aは、対象設備414の画像に付されたコメント、撮影日時、撮影位置および姿勢角度の情報もサーバシステム100にアップロードすることができる。
図12において、携帯情報端末102Aは、対象設備414の画像をアップロードする(1111)。この時、対象設備414の画像がサーバシステム100にアップロードされる(1112)。サーバシステム100は、アップロードされた対象設備414の画像をデータベース203に記憶する(1113)。携帯情報端末102Aは、対象設備414の画像に付されたコメント、撮影日時、撮影位置および姿勢角度の情報もサーバシステム100にアップロードすることができる。
サーバシステム100は、対象設備414の画像、コメント、撮影日時、撮影位置および姿勢角度の情報を、図8の設備画像データ212として保持する。この時、サーバシステム100は、対象設備414の画像ごとに一意に画像IDを付加する。サーバシステム100は、対象設備414の画像をデータベース203に記憶すると、完了通知を携帯情報端末102Aに送信する(1114)。携帯情報端末102Aは、サーバシステム100から完了通知を受信すると、対象設備414の画像をメモリ309から消去する(1115)。
図13は、図1のサーバシステムへの利用者特性に応じた画像の登録方法を示すシーケンス図である。
図13において、端末104は、地図データを取得し(1201)、その地図を表示部505に表示する。端末104が地図データを保持していない場合は、端末104は地図データをサーバシステム100から取得するようにしてもよい。この地図データ上には、対象設備414の画像の撮影位置をピン表示することができる。
図13において、端末104は、地図データを取得し(1201)、その地図を表示部505に表示する。端末104が地図データを保持していない場合は、端末104は地図データをサーバシステム100から取得するようにしてもよい。この地図データ上には、対象設備414の画像の撮影位置をピン表示することができる。
次に、端末104は、地図データ上で画像を選択する(1202)。この画像の選択は、対象設備414の保守の担当者が操作部504を介して地図データ上のピンをクリックすることで実行することができる。この時、画像の要求が端末104からサーバシステム100に送信される(1203)。サーバシステム100は、画像の要求を端末104から受信すると、その要求された画像をデータベース203から読み出し(1204)、その画像を端末104に送信する(1205)。この時、サーバシステム100は、その画像に付されたコメント、撮影日時、撮影位置および姿勢角度の情報も端末104に送信することができる。
次に、端末104は、その画像についての初期表示位置登録を指示する(1206)。この時、端末104は、初期表示位置登録に対応する利用者特性を指定することができる。この利用者特性は、図10の部署コード902または氏名コード904で特定することができる。初期表示位置および利用者特性は、対象設備414の保守の担当者が端末104上で設定することができる。
対象設備414の保守の担当者が端末104上で初期表示位置を設定する場合、サーバシステム100から受信した画像を表示部505に表示させることができる。そして、対象設備414の保守の担当者が表示部505を介して画像を参照しながら、初期表示位置を設定することができる。
端末104が初期表示位置登録を指示すると、画像の初期表示位置が利用者特性とともに端末104からサーバシステム100に送信される(1207)。サーバシステム100は、画像の初期表示位置および利用者特性を受信すると、利用者特性に対応させて画像の初期表示位置をデータベース203に記憶する(1208)。
例えば、変圧器の保守を担当する山田太郎が、図10の画像1の初期表示位置x11、y11を端末104上で設定するものとする。この時、例えば、変圧器が写った画像1を表示部505に表示させ、変圧器が表示画面の中央にくるように画像1をドラッグさせ、決定ボタンをクリックすることで、初期表示位置x11、y11を設定することができる。この初期表示位置x11、y11は、山田太郎の部署コード=Haidenおよび氏名コード=A01とともに端末104からサーバシステム100に送信される。サーバシステム100は、初期表示位置x11、y11、部署コード=Haidenおよび氏名コード=A01を受信すると、部署コード=Haidenおよび氏名コード=A01に対応させて画像1の初期表示位置x11、y11を利用者データ215に格納する。
次に、端末104は、その画像についての縮尺登録を指示する(1209)。この時、対象設備414の保守の担当者が表示部505を介して画像を参照しながら、その画像の縮尺を設定することができる。
次に、端末104が縮尺登録を指示すると、画像の縮尺が端末104からサーバシステム100に送信される(1210)。サーバシステム100は、画像の縮尺を受信すると、その画像の初期表示位置を登録した時の利用者特性に対応させて画像の縮尺をデータベース203に記憶する(1211)。
例えば、変圧器の保守を担当する山田太郎が、図10の画像1の表示サイズα11を端末104上で設定するものとする。この時、例えば、変圧器が写った画像1が表示部505に表示されている時に、画像1内で変圧器が見やすくなるように画像1上でホィールを回転させることで表示サイズα11を設定することができる。サーバシステム100は、表示サイズα11を受信すると、部署コード=Haidenおよび氏名コード=A01に対応させて画像1の表示サイズα11を利用者データ215に格納する。
次に、端末104は、その画像についての方位登録を指示する(1212)。この時、対象設備414の保守の担当者が表示部505を介して画像を参照しながら、その画像の方位を設定することができる。
次に、端末104が方位登録を指示すると、画像の方位が端末104からサーバシステム100に送信される(1213)。サーバシステム100は、画像の方位を受信すると、その画像の初期表示位置を登録した時の利用者特性に対応させて画像の方位をデータベース203に記憶する(1214)。
例えば、変圧器の保守を担当する山田太郎が、図10の画像1の方位β11を端末104上で設定するものとする。この時、例えば、変圧器に錆があるものとする。そして、変圧器が写った画像1が表示部505に表示されている時に、変圧器の錆が画像1内で見やすくなるように画像1上でクリックしながら回転させることで方位β11を設定することができる。サーバシステム100は、方位β11を受信すると、部署コード=Haidenおよび氏名コード=A01に対応させて画像1の方位β11を利用者データ215に格納する。
次に、サーバシステム100は、その画像について、初期表示位置、縮尺および方位の登録結果を端末104に送信する(1215)。端末104は、サーバシステム100に登録された初期表示位置、縮尺および方位に基づいて画像を表示する(1216)。
この時、例えば、図10の画像1が、初期表示位置x11、y11、表示サイズα11および方位β11に従って端末104の表示部505に自動的に表示される。これにより、端末104上で画像1を開くだけで、画像1に写った変圧器の錆が見やすくなるように表示部505に画像1を表示させることができ、変圧器の保守を担当する山田太郎は、画像1に写った変圧器の錆を容易に確認することができる。
図14は、図1の端末への利用者特性に応じた画像の表示方法を示すシーケンス図である。
図14において、端末104は、氏名コードを確認する(1301)。この時、端末104は、端末104へのログイン時のログインパスワードと氏名コードとの対応関係を保持することができる。そして、端末104へのログイン時に入力されたログインパスワードから氏名コードを確認することができる。
図14において、端末104は、氏名コードを確認する(1301)。この時、端末104は、端末104へのログイン時のログインパスワードと氏名コードとの対応関係を保持することができる。そして、端末104へのログイン時に入力されたログインパスワードから氏名コードを確認することができる。
図15は、図5の端末へのログイン時のログインパスワードと氏名コードとの対応関係の一例を示す図である。
図15において、テーブル1501には、端末104のログインパスワード907に対応して部署コード902および氏名コード904が登録されている。端末104は、ログインパスワード907が入力された時にテーブル1501を参照することで、部署コード902または氏名コード904を確認することができる。
図15において、テーブル1501には、端末104のログインパスワード907に対応して部署コード902および氏名コード904が登録されている。端末104は、ログインパスワード907が入力された時にテーブル1501を参照することで、部署コード902または氏名コード904を確認することができる。
なお、氏名コードの確認方法として、ログインパスワードを参照する方法以外にも、例えば、端末104を利用する利用者の顔画像を登録し、その顔画像と氏名コードとの対応関係を保持するようにしてもよい。そして、端末104は、端末104の利用者の顔認証を行うことで氏名コードを確認するようにしてもよい。
図14に戻り、端末104は、画像を選択する(1302)。この時、その選択された画像の要求が氏名コードとともに端末104からサーバシステム100に送信される(1303)。サーバシステム100は、画像の要求を氏名コードとともに端末104から受信すると、その要求された画像をデータベース203から読み出し(1304)、その画像を端末104に送信する(1305)。この時、サーバシステム100は、その氏名コードに対応した初期表示位置を、図10の利用者データ215から読み出し、その画像とともに端末104に送信する(1305)。さらに、サーバシステム100は、その氏名コードに対応した表示サイズおよび方位が図10の利用者データ215に登録されている場合、その氏名コードに対応した表示サイズおよび方位も、その画像とともに端末104に送信する。また、サーバシステム100は、その画像に付されたコメント、撮影日時、撮影位置および姿勢角度の情報も端末104に送信する。
次に、端末104は、サーバシステム100から送信された初期表示位置、縮尺および方位に基づいて画像を表示する(1306)。
例えば、今回の端末104の利用者が、変圧器の保守を担当する山田太郎であったものとする。この時、山田太郎は、端末104にログインするために、図15のログインパスワード=PW01を端末104に入力する。端末104は、ログインパスワード=PW01を受け付けると、図15のテーブル1501を参照し、今回の端末104の利用者の氏名コードがA01であることを確認する。
次に、端末104は、例えば、図10の画像1を選択したものとすると、画像1の要求が氏名コード=A01とともに端末104からサーバシステム100に送信される。サーバシステム100は、図10の利用者データ215を参照することにより、その氏名コード=A01に対応した画像1の初期表示位置x11、y11、表示サイズα11および方位β11を取得する。そして、サーバシステム100は、画像1、初期表示位置x11、y11、表示サイズα11および方位β11を端末104に送信する。
次に、端末104は、サーバシステム100から送信された初期表示位置x11、y11、表示サイズα11および方位β11に基づいて画像1を表示する(1306)。この時、端末104は、画像1を開いた時に、画像1に写った変圧器の錆が見やすくなるように表示部505に画像1を表示させることができる。このため、変圧器の保守を担当する山田太郎は、画像1に写った変圧器の初期表示位置、表示サイズおよび方位を調整することなく、画像1に写った変圧器の錆を容易に確認することができ、画像1を用いた変圧器の保守や点検を効率よく実施することができる。
以下、実施形態に係る保守支援システムについて、図3の携帯情報端末102Aおよび図5の端末104の画面表示例を用いて説明する。
図16は、図1の撮影装置への撮影指示時の携帯情報端末の画面表示例を示す図である。
図16において、携帯情報端末102Aには、表示画面1701および操作画面1702が設けられている。表示画面1701には、撮影装置103で撮影される対象設備414の周辺の地図が表示されている。そして、担当者が操作画面1702上で撮影ボタンを押下すると、対象設備414の画像の撮影要求が携帯情報端末102Aから撮影装置103に送信される。
図16は、図1の撮影装置への撮影指示時の携帯情報端末の画面表示例を示す図である。
図16において、携帯情報端末102Aには、表示画面1701および操作画面1702が設けられている。表示画面1701には、撮影装置103で撮影される対象設備414の周辺の地図が表示されている。そして、担当者が操作画面1702上で撮影ボタンを押下すると、対象設備414の画像の撮影要求が携帯情報端末102Aから撮影装置103に送信される。
撮影装置103は、画像の撮影要求を携帯情報端末102Aから受信すると、対象設備414の撮影し、対象設備414の画像を携帯情報端末102Aに送信する。また、撮影装置103は、対象設備414の画像の撮影日時、撮影位置および撮影装置103の姿勢角度の情報も携帯情報端末102Aに送信する。この時、携帯情報端末102Aは、対象設備414の位置を表示画面1701の地図上にピン表示P0で示すことができる。
携帯情報端末102Aは、対象設備414の画像を撮影装置103から受信すると、対象設備414の画像をサーバシステム100にアップロードする。この時、携帯情報端末102Aは、アップロードされる画像にコメントを付すことができる。
図17は、図1のサーバシステムに登録される画像の選択時の端末の画面表示例を示す図である。
図17において、端末104には、表示画面1401および操作画面1402が設けられている。表示画面1401には、図8の設備画像データ212に登録されている画像データ805の撮像位置802の周辺の地図が表示されている。この時、画像データ805の撮像位置802を表示画面1401の地図上にピン表示P1、P2、P4で示すことができる。図17の例では、図8の画像1、2、4のそれぞれの撮像位置をピン表示P1、P2、P4で示した。
図17において、端末104には、表示画面1401および操作画面1402が設けられている。表示画面1401には、図8の設備画像データ212に登録されている画像データ805の撮像位置802の周辺の地図が表示されている。この時、画像データ805の撮像位置802を表示画面1401の地図上にピン表示P1、P2、P4で示すことができる。図17の例では、図8の画像1、2、4のそれぞれの撮像位置をピン表示P1、P2、P4で示した。
そして、担当者がピン表示P1、P2、P4のいずれかを表示画面1401上で選択すると、そのピン表示P1、P2、P4に対応した画像1、2、4の要求が端末104からサーバシステム100に送信される。サーバシステム100は、画像1、2、4の要求を端末104から受信すると、その要求された画像1、2、4を端末104に送信する。
図18は、図1のサーバシステムへの画像の登録時の端末の画面表示例を示す図である。
図18において、例えば、担当者がピン表示P1を図17の表示画面1401上で選択したものとすると、そのピン表示P1に対応した画像1がサーバシステム100から端末104に送信される。
図18において、例えば、担当者がピン表示P1を図17の表示画面1401上で選択したものとすると、そのピン表示P1に対応した画像1がサーバシステム100から端末104に送信される。
そして、端末104は、画像1を画像表示画面1403に表示する。また、端末104は、画像1に関する画像情報を画像情報表示画面1404に表示する。この画像情報は、画像1の撮影日時、撮影位置およびコメントなどを含むことができる。さらに、端末104は、画像表示画面1403に表示された画像11を操作する操作情報を操作画面1402に表示する。例えば、端末104は、クリック:回転/ドラッグ:移動・ホイール/回転という操作情報を操作画面1402に表示することができる。クリック:回転という操作では、画像1の方位を変化させることができる。ドラッグ:移動という操作では、画像1を画像表示画面1403内で上下左右に移動させることができる。ホイール/回転という操作では、画像1を拡縮することができる。
画像1は、全天球パノラマ画像とすることができる。この時、画像表示画面1403に画像1全体が表示されているものとすると、開閉器11、制御器12、変圧器13、電柱14および電線15などの複数の対象設備が画像表示画面1403に表示されることがある。
この時、例えば、変圧器13の保守を担当する山田太郎が、画像1を参照しながら変圧器13の点検を行うものとする。この時、山田太郎は、変圧器13の錆が画像1内で見やすくなるように画像1を操作画面1402上で操作する。ここで、山田太郎は、操作画面1402上でドラッグ:移動という操作を行うことで画像1の初期表示位置x11、y11を設定することができる。山田太郎は、操作画面1402上でホイール/回転という操作を行うことで画像1の表示サイズα11を設定することができる。山田太郎は、操作画面1402上でクリック:回転という操作を行うことで画像1の方位β11を設定することができる。
山田太郎は、画像1の初期表示位置x11、y11、表示サイズα11および方位β11を決定した後、画像情報編集ボタン1405を押下する。この時、画像1の初期表示位置x11、y11、表示サイズα11および方位β11が、山田太郎の部署コード=Haidenおよび氏名コード=A01とともに端末104からサーバシステム100に送信される。サーバシステム100は、初期表示位置x11、y11、表示サイズα11、方位β11、部署コード=Haidenおよび氏名コード=A01を受信すると、部署コード=Haidenおよび氏名コード=A01に対応させて、画像1の初期表示位置x11、y11、表示サイズα11、方位β11を利用者データ215に格納する。
図19は、図18のサーバシステムへの画像の登録後の端末の画面表示例を示す図である。
図19において、例えば、山田太郎が、端末104上で画像1を見ながら変圧器13の保守を行うものとする。この時、山田太郎が端末104の電源をオンすると、端末104の表示部505にはログイン画面1406が表示される。ここで、山田太郎がログイン画面1406上でログインパスワード=PW01を入力したものとする。この時、端末104は、図15のテーブル1501を参照し、ログインパスワード=PW01に対応した氏名コードがA01であることを確認する。
図19において、例えば、山田太郎が、端末104上で画像1を見ながら変圧器13の保守を行うものとする。この時、山田太郎が端末104の電源をオンすると、端末104の表示部505にはログイン画面1406が表示される。ここで、山田太郎がログイン画面1406上でログインパスワード=PW01を入力したものとする。この時、端末104は、図15のテーブル1501を参照し、ログインパスワード=PW01に対応した氏名コードがA01であることを確認する。
次に、端末104は、例えば、図10の画像1を選択したものとすると、画像1の要求が氏名コード=A01とともに端末104からサーバシステム100に送信される。サーバシステム100は、図10の利用者データ215を参照することにより、その氏名コード=A01に対応した画像1の初期表示位置x11、y11、表示サイズα11および方位β11を取得する。そして、サーバシステム100は、画像1、初期表示位置x11、y11、表示サイズα11および方位β11を端末104に送信する。
次に、端末104は、サーバシステム100から送信された初期表示位置x11、y11、表示サイズα11および方位β11に基づいて画像1を画像表示画面1403に表示する。この時、端末104は、画像表示画面1403の中心位置に画像1の変圧器13を拡大して自動的に表示するとともに、錆が見やすい方向に画像1の視点方向を自動的に調整して変圧器13を表示することができる。このため、変圧器13の保守を担当する山田太郎は、画像表示画面1403上で画像1を開くだけで、変圧器13の錆を画像1上で即座に確認することができる。このため、図18に示すように、開閉器11、制御器12、変圧器13、電柱14および電線15などの複数の対象設備が画像1に写っている場合においても、画像1を用いた変圧器13の保守や点検を効率よく実施することができる。
上述した第1実施形態では、利用者データ215に登録される画像の初期表示位置、表示サイズおよび方位を担当者が設定する方法について説明したが、利用者データ215に登録される画像の初期表示位置、表示サイズおよび方位をサーバシステムが自動的に設定するようにしてもよい。以下の第2実施形態では、利用者データ215に登録される画像の初期表示位置、表示サイズおよび方位をサーバシステムが自動的に設定する方法について説明する。
図20は、第2実施形態に係る保守支援システムに適用されるサーバシステムの構成例を示すブロック図である。
図20のサーバシステム100Aにおいて、記憶部221には、特徴抽出プログラム221、縮尺変換プログラム222および方位変換プログラム223が記憶されている。データベース203には、設備情報データ211、設備画像データ212、作業履歴データ214および利用者データ215に加え、利用者履歴データ216が格納されている。利用者履歴データ216は、利用者データ215の過去の履歴を示すデータである。利用者履歴データ216に格納されている画像の初期表示位置、表示サイズおよび方位は、利用者履歴データ216に登録されている担当者や部署の嗜好を反映することができる。
図20のサーバシステム100Aにおいて、記憶部221には、特徴抽出プログラム221、縮尺変換プログラム222および方位変換プログラム223が記憶されている。データベース203には、設備情報データ211、設備画像データ212、作業履歴データ214および利用者データ215に加え、利用者履歴データ216が格納されている。利用者履歴データ216は、利用者データ215の過去の履歴を示すデータである。利用者履歴データ216に格納されている画像の初期表示位置、表示サイズおよび方位は、利用者履歴データ216に登録されている担当者や部署の嗜好を反映することができる。
CPU200が特徴抽出プログラム221を実行することにより、対象設備が撮像された画像から対象設備を抽出することができる。CPU200が縮尺変換プログラム222を実行することにより、特徴抽出プログラム221で抽出された対象設備の縮尺を変換することができる。CPU200が方位変換プログラム223を実行することにより、特徴抽出プログラム221で抽出された対象設備の方位を変換することができる。対象設備の縮尺および方位を変換するに当たっては、利用者履歴データ216に登録されている利用者特性ごとの表示サイズおよび方位を参照することができる。
図21は、第2実施形態に係る利用者特性に応じた画像の登録方法を示すシーケンス図である。
図21において、端末104は、地図データを取得し(1601)、その地図を表示部505に表示する。次に、端末104は、地図データ上で画像を選択する(1602)。
図21において、端末104は、地図データを取得し(1601)、その地図を表示部505に表示する。次に、端末104は、地図データ上で画像を選択する(1602)。
地図データ上で画像が選択されると、画像の要求が端末104からサーバシステム100Aに送信される(1603)。サーバシステム100Aは、画像の要求を端末104から受信すると、その要求された画像をデータベース203から読み出し(1604)、その画像を端末104に送信する(1605)。この時、サーバシステム100Aは、その画像に付されたコメント、撮影日時、撮影位置および姿勢角度の情報も端末104に送信することができる。
次に、端末104は、その画像の表示情報についての自動登録を指示する(1606)。この時、端末104は、表示情報が自動登録される画像についての利用者特性を指定することができる。この利用者特性は、図10の部署コード902または氏名コード904で特定することができる。端末104は、端末104のログイン時に入力されたログインパスワードに基づいて図15のテーブル1501を参照することにより、図10の部署コード902または氏名コード904を取得することができる。
端末104が表示情報の自動登録を指示すると、自動登録の要求が利用者特性とともに端末104からサーバシステム100Aに送信される(1607)。サーバシステム100Aは、自動登録の要求を受信すると、CPU200が特徴抽出プログラム221を実行することにより、対象設備が撮像された画像から対象設備を抽出する(1608)。対象設備の抽出では、例えば、パターンマッチングを用いることができる。このパターンマッチングでは、対象設備のパターンを予め保持することができる。そして、画像から抽出されたパターンと対象設備のパターンとを照合することにより、対象設備が撮像された画像から対象設備を抽出することができる。
サーバシステム100Aは、対象設備が撮像された画像から対象設備を抽出すると、抽出した対象設備が表示画面の中央に表示されるように、利用者特性に対応させて画像の初期表示位置をデータベース203に記憶する(1609)。ここで、サーバシステム100Aは、対象設備の抽出結果に複数の対象設備が含まれる場合、利用者特性に対応させて自動登録の対象となる対象設備を選択することができる。
例えば、変圧器の保守を担当する山田太郎が、端末104上で画像1の表示情報の自動登録を指示するものとする。この時、サーバシステム100Aが図18の画像1から対象設備の特徴抽出を実施すると、開閉器11、制御器12、変圧器13、電柱14および電線15などの複数の対象設備が抽出される。これらの複数の対象設備のうち、今回の自動登録の対象が変圧器13の初期表示位置であることをサーバシステム100Aが認識できるようにするために、サーバシステム100Aは、図22のテーブル1801を保持することができる。
図22のテーブル1801には、対象設備の特徴908に対応して部署コード902および氏名コード904が登録されている。対象設備の特徴908は、対象設備の形状、色、模様などで指定することができる。対象設備の特徴908は、対象設備の一部または全部のパターンであってもよい。
ここで、図18の画像1の変圧器13の特徴がFA01であるものとする。この時、テーブル1801には、変圧器13の特徴FA01に対応して、山田太郎の部署コード=Haidenまたは氏名コード=A01を登録することができる。そして、サーバシステム100Aは、図21の1608の特徴抽出で画像1から特徴FA01を抽出すると、その特徴FA01を持つ変圧器13の初期表示位置が今回の自動登録の対象であると認識することができる。
次に、サーバシステム100Aにおいて、CPU200が縮尺変換プログラム222を実行することにより、特徴抽出プログラム221で抽出された対象設備の縮尺を変換する(1610)。この時、縮尺変換プログラム222は、特徴抽出プログラム221で抽出された対象設備の縮尺を決定するに当たり、図20の利用者履歴データ216を参照することができる。例えば、縮尺変換プログラム222は、山田太郎の部署コード=Haidenまたは氏名コード=A01に対応して登録された過去の変圧器13についての表示サイズを利用者履歴データ216から取得することができる。そして、利用者履歴データ216から取得した表示サイズに設定することにより、山田太郎の嗜好に合わせて対象設備の縮尺を決定することができる。
次に、サーバシステム100Aは、対象設備の縮尺を決定すると、その画像の初期表示位置を登録した時の利用者特性に対応させて対象設備の縮尺をデータベース203に記憶する(1611)。
次に、サーバシステム100Aにおいて、CPU200が方位変換プログラム223を実行することにより、特徴抽出プログラム221で抽出された対象設備の方位を変換する(1612)。この時、方位変換プログラム223は、特徴抽出プログラム221で抽出された対象設備の方位を決定するに当たり、図20の利用者履歴データ216を参照することができる。例えば、方位変換プログラム223は、山田太郎の部署コード=Haidenまたは氏名コード=A01に対応して登録された過去の変圧器13についての方位を利用者履歴データ216から取得することができる。そして、利用者履歴データ216から取得した方位に設定することにより、山田太郎の嗜好に合わせて対象設備の方位を決定することができる。
次に、サーバシステム100Aは、対象設備の方位を決定すると、その画像の初期表示位置を登録した時の利用者特性に対応させて対象設備の方位をデータベース203に記憶する(1613)。
次に、サーバシステム100Aは、その対象設備を含む画像について、初期表示位置、縮尺および方位の登録結果を端末104に送信する(1614)。端末104は、サーバシステム100Aに登録された初期表示位置、縮尺および方位に基づいて画像を表示する(1615)。
これにより、担当者が画像1の初期表示位置、縮尺および方位を指定することなく、端末104上で画像1を開くだけで、画像1に写った変圧器の錆が見やすくなるように表示部505に画像1を表示させることができる。このため、変圧器の保守を担当する山田太郎は、開閉器11、制御器12、変圧器13、電柱14および電線15などの複数の対象設備が画像1に写っている場合においても、画像1の表示位置、縮尺および方位の操作を行うことなく、画像1に写った変圧器の錆を容易に確認することができる。
100 サーバシステム、101 ネットワーク、102A〜102C 携帯情報端末、103 撮影装置、104 端末、200 CPU、201 ネットワークインタフェース、202 I/O部、203 データベース、204 操作部、205 表示部、206 記憶部、207 登録プログラム、208 特徴抽出プログラム、210 バス、211 設備情報データ、212 設備画像データ、213 地図データ、214 作業履歴データ、215 利用者データ
Claims (12)
- インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、前記点検対象物に関する利用者特性との対応関係を記憶する記憶部と、
前記利用者特性に対応する前記表示情報を出力するインターフェースとを備える保守支援システム。 - 前記表示情報は、前記画像の表示位置である請求項1に記載の保守支援システム。
- 前記表示情報は、前記画像の初期表示位置、前記画像の表示サイズおよび前記画像の視点方向を示す方位情報を含む請求項1に記載の保守支援システム。
- 前記利用者特性は、前記点検対象物を保守する担当者または前記担当者が所属する部署である請求項1に記載の保守支援システム。
- 前記画像は全天球パノラマ画像であり、
前記全天球パノラマ画像は、前記インフラ設備の複数の点検対象物の画像を含む請求項1に記載の保守支援システム。 - 前記複数の点検対象物の中には、少なくとも電柱が含まれる請求項1に記載の保守支援システム。
- 演算処理を実行するCPUを備え、
前記CPUは、
特徴抽出処理に基づいて前記画像から前記点検対象物を抽出し、
前記特徴抽出処理に基づいて抽出された点検対象物についての前記画像上での表示方法を示す表示情報と、前記利用者特性とを対応させて前記記憶部に登録する請求項1に記載の保守支援システム。 - 前記CPUは、前記点検対象物が前記画像の表示画面の中央に配置されるように前記画像の表示位置を設定する請求項7に記載の保守支援システム。
- 前記CPUは、前記利用者特性に対応する前記表示情報の履歴に基づいて、前記点検対象物の画像の表示サイズおよび前記点検対象物の画像の視点方向を示す方位情報を設定する請求項8に記載の保守支援システム。
- 端末とサーバとを備える画像表示方法であって、
前記端末は、
インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、前記点検対象物に関する利用者特性との対応関係の登録を前記サーバに指示し、
前記サーバに登録された前記利用者特性に対応した前記表示情報を前記サーバから受信し、
前記サーバから受信した前記利用者特性に対応した前記表示情報に基づいて前記画像を表示する画像表示方法。 - 前記端末は、
前記利用者特性とログインパスワードとの対応関係を保持し、
前記ログインパスワードに基づいて前記利用者特性を判別する請求項10に記載の画像表示方法。 - 端末とサーバとを備える画像管理方法であって、
前記サーバは、
インフラ設備の点検対象物が撮像された画像の表示方法を示す表示情報と、前記点検対象物に関する利用者特性との対応関係を保持し、
前記端末からの前記画像の要求に基づいて、前記利用者特性に対応した表示情報を前記画像とともに前記端末に出力する画像管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061673A JP2019175065A (ja) | 2018-03-28 | 2018-03-28 | 保守支援システム、画像表示方法および画像管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061673A JP2019175065A (ja) | 2018-03-28 | 2018-03-28 | 保守支援システム、画像表示方法および画像管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019175065A true JP2019175065A (ja) | 2019-10-10 |
Family
ID=68168875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018061673A Pending JP2019175065A (ja) | 2018-03-28 | 2018-03-28 | 保守支援システム、画像表示方法および画像管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019175065A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11879732B2 (en) | 2019-04-05 | 2024-01-23 | Ikegps Group Limited | Methods of measuring structures |
-
2018
- 2018-03-28 JP JP2018061673A patent/JP2019175065A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11879732B2 (en) | 2019-04-05 | 2024-01-23 | Ikegps Group Limited | Methods of measuring structures |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941713B2 (en) | Image analysis system | |
WO2015014018A1 (zh) | 移动终端基于图像识别技术的室内定位与导航方法 | |
JP6236199B2 (ja) | 配筋検査システム | |
JP6614335B2 (ja) | 画像表示システム、端末、方法およびプログラム | |
US20130201214A1 (en) | Methods, Apparatuses, and Computer-Readable Storage Media for Providing Interactive Navigational Assistance Using Movable Guidance Markers | |
JP6316176B2 (ja) | 点検履歴管理システム、点検履歴管理方法 | |
JP2015001756A (ja) | 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末 | |
US11048345B2 (en) | Image processing device and image processing method | |
JP2016018463A (ja) | 状態変化管理システム及び状態変化管理方法 | |
JP2019082933A (ja) | 報告書作成システム | |
JP7048357B2 (ja) | 撮影画像事前確認システム及び撮影画像事前確認方法 | |
JP2012234451A (ja) | 情報通信システム、携帯端末、情報処理方法、及びプログラム | |
JP2022155553A (ja) | 業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム | |
JP2022027802A (ja) | 情報処理装置およびプログラム | |
JP5642735B2 (ja) | 工事作業支援システム及びその動作方法 | |
JP2019175065A (ja) | 保守支援システム、画像表示方法および画像管理方法 | |
JP2019168756A (ja) | 建設現場端末、建設現場システム、及びプログラム | |
JP7012485B2 (ja) | 画像情報処理装置および画像情報処理方法 | |
JP2011039130A (ja) | 連携表示装置、連携表示方法、及びプログラム | |
KR20190020858A (ko) | 애자 고유 식별 장치 및 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능한 저장 매체 | |
KR20210112551A (ko) | 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법 | |
JP5470237B2 (ja) | 無線ネットワークの保守端末および保守システム | |
JP5221580B2 (ja) | 画像表示システム、携帯情報端末及び画像表示プログラム | |
JP5634925B2 (ja) | 整備情報表示装置、整備情報表示方法、及びプログラム | |
JP2016115082A (ja) | 画像検索システム及び画像検索方法 |