JP2020166586A - メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム - Google Patents

メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム Download PDF

Info

Publication number
JP2020166586A
JP2020166586A JP2019066910A JP2019066910A JP2020166586A JP 2020166586 A JP2020166586 A JP 2020166586A JP 2019066910 A JP2019066910 A JP 2019066910A JP 2019066910 A JP2019066910 A JP 2019066910A JP 2020166586 A JP2020166586 A JP 2020166586A
Authority
JP
Japan
Prior art keywords
display
image
reading
meter
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019066910A
Other languages
English (en)
Other versions
JP7248483B2 (ja
Inventor
克朗 菊地
Katsuro Kikuchi
克朗 菊地
健太郎 大西
Kentaro Onishi
健太郎 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2019066910A priority Critical patent/JP7248483B2/ja
Publication of JP2020166586A publication Critical patent/JP2020166586A/ja
Priority to JP2023016787A priority patent/JP2023054015A/ja
Application granted granted Critical
Publication of JP7248483B2 publication Critical patent/JP7248483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】カメラ撮影を伴うメータ読み取り作業現場での段階的で有効な作業支援ができるメータ読み取り作業装置および方法を提供する。【解決手段】メータ装置の読み取り対象領域A2の画像P12に基づいてメータ装置の指示値Vmを読み取る作業を、ガイド情報G11,G12−G14の提示によって支援しつつ実行するメータ読み取り作業装置であって、メータ装置を撮影するカメラと、カメラの撮影画像を表示するディスプレイ12と、音声を出力するスピーカと、カメラ撮影された読み取り対象領域A2の画像P12の複数段階の認識状態に応じた作業支援情報を、ディスプレイ12およびスピーカのうちいずれか一方または双方から出力させる制御手段とを備える。【選択図】図2

Description

本発明は、メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システムに関し、特に移動式のカメラにより各種メータの撮影画像から指示値を読み取るメータ読み取り作業装置および方法ならびにメータ読み取り作業支援システムに関する。
各種の工場やプラント等において、メータ装置の指示値(メータ値)を読み取る作業は、従来、作業員が巡回して目視確認するのが専らであったが、近時、メータ装置のカメラ撮影画像からその指示値を読み取ることで、設備の点検や監視業務の効率化を図るようにした読み取り作業装置および方法やそのようなフィールド作業の支援システムが提案されている。
この種のメータ読み取り作業装置および方法ならびに作業支援システムとしては、例えば撮像画像を表示する画像表示部に、その撮影画像と併せて、入力画像から認識処理の対象領域を取得するためのガイド情報を表示する一方、そのガイド情報に基づいて画像処理の対象領域を抽出する処理対象領域抽出/判定部を設けて、読み取り対象領域の画像を確実に撮影可能な操作ガイドを画像表示により提示するようにしたものが知られている(例えば、特許文献1参照)。
また、2次元バーコードの位置検出シンボルの検出可否によって読み取り度合いを判断し、その読み取り度合いをインジケータに反映することで、2次元バーコードからの情報読み取りが可能か否かを利用者に知らせ、インジケータを確認しながら、撮像物認識装置の位置を調整可能にするものが知られている(例えば、特許文献2参照)。
特開2004−213215号公報 特開2005−122609号公報
上述のような従来のメータ読み取り作業装置および方法ならびにメータ読み取り作業支援システムにあっては、カメラ撮影時に認識処理対象領域の形状特定を容易化するガイド表示や所定の画像読み取り度合いでの自動認識処理といった点に注目したものであったため、作業環境によっては、ガイド表示画像の視覚的な認識が容易でなかったり、読み取り対象のメータ装置の特定や作業順序の把握が難しかったりすることがあった。また、メータ読み取り作業のチェックや、作業後の報告その他の作業についても有効な作業支援を行うことができていなかった。
また、所定の作業手順や予定に従った読み取り対象メータの特定ができる場合でも、そのカメラ撮影時の危険予測や傷害事故の未然防止を図る機能、作業ミスや作業忘れの発生防止機能、作業内容のチェックリストや作業報告書等の成果物の生成機能等といったように、作業環境の良し悪しや現場作業者の作業スキルの程度等に応じた有効な作業支援情報を的確に提示し、カメラ撮影を伴うメータ読み取りのフィールド作業を効果的に支援することができていなかった。
これに対し、実際の作業現場では、作業スキルが低く、現場で使用される言語や用語等に不慣れな労働者が作業を行うケースが増えており、作業ミスや作業忘れの発生、作業中の傷害事故の発生等が懸念される。また、事故発生による社会的影響は大きく、その防止策や再発防止策としての作業品質の向上に加え、2人作業での確認、作業チェックリストや作業報告書の詳細化がより高度に要求されてきている。よって、そのような要求に十分に応え得るメータ読み取り作業方法やその支援システムの提供が望まれる。
本発明は、前述のような従来の課題を解消すべくなされたものであり、カメラ撮影を伴うメータ読み取り作業現場での段階的で有効な作業支援や、その作業のチェック、作業後の成果物の生成等を有効に支援することができるメータ読み取り作業装置および方法ならびにメータ読み取り作業支援システムを提供することを目的とする。
1)本発明に係るメータ読み取り作業装置は、上記目的達成のため、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援しつつ実行するメータ読み取り作業装置であって、前記メータ装置を撮影するカメラと、前記カメラの撮影画像を表示するディスプレイと、音声を出力するスピーカと、前記カメラで撮影された前記読み取り対象領域の画像の複数段階の認識状態に応じた前記作業支援情報を、前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力させる制御手段と、を備えることを特徴とするものである。
この構成により、本発明では、メータ装置の指示値が読み取り可能に認識されるまで、カメラ撮影画像の認識状態に応じた作業支援情報が画像表示または/および音声出力で提示されることとなる。よって、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できるようにカメラの良好な位置や姿勢、視線方向等の撮影条件等を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。また、例えば熟練者の作業内容を不慣れな作業者に提示することで、現場作業者の作業ミスや事故防止を図ることができ、現場作業者と管理者の2人で行っていたようなメータ読み取りおよびチェック作業と同等な作業を、自動読み取りとその読み取り結果のチェックとして1人でも実施可能となる。
2)本発明のメータ読み取り作業装置は、前記ディスプレイの表示領域内に、前記作業支援情報として、前記読み取り対象領域の画像が表示されるべき注目領域を特定するガイド情報を表示するガイド表示手段と、前記読み取り対象領域の画像が所定認識確度以上の画像として前記注目領域内に含まれるか否かを判定する読み取り対象抽出手段と、前記注目領域内の前記所定認識確度以上の画像から前記指示値を読み取り可能に認識する認識処理手段と、を含む構成とすることができる。
この構成により、カメラの撮影を注目領域に集中させた後にその撮影画像の認識確度を高めることができ、所定認識確度以上の読み取り対象領域の画像を迅速的確に撮影画像中に含めることができるようになる。
3)本発明のメータ読み取り作業装置は、前記ディスプレイに表示される前記撮影画像中に複数のマーカ画像を設定するマーカ設定手段と、前記ディスプレイの表示領域内に、前記作業支援情報として、前記複数のマーカ画像がそれぞれ表示されるべき複数のマーカ表示領域を特定するガイド情報を表示するガイド表示手段と、前記複数のマーカ画像の表示と前記複数のマーカ表示領域との幾何学的な対応度合いに応じて前記読み取り対象領域の画像が表示されるべき注目領域を特定するとともに、該注目領域に入った前記撮影画像の一部が前記読み取り対象領域の前記所定認識確度以上の画像か否かの判定を実行する読み取り対象抽出手段と、前記注目領域内の前記所定認識確度以上の画像から前記指示値を読み取り可能に認識する認識処理手段と、を含む構成とすることができる。
この場合、複数のマーカ画像がそれぞれのマーカ表示領域に表示されるか否かによって、読み取り対象領域の画像が表示されるべき注目領域の特定と、読み取り対象領域の画像が所定認識確度以上の画像として注目領域内に含まれるか否かの判定とが可能となり、比較的簡単な処理で、所定認識確度以上の読み取り対象領域の画像を迅速的確に撮影画像中に含めることができる。
4)本発明のメータ読み取り作業装置においては、前記ディスプレイの表示領域内に、それぞれに前記読み取り対象領域内の指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記カメラの撮影画像を表示する撮影画像表示領域を併せて設定し、前記複数の指示値表示領域に、それぞれの領域に対応する前記指示値の一部を、前記指示値の一部の画像の認識確度に応じた表示態様で表示するようにしてもよい。
この構成により、メータ装置の指示値の所定桁数ごとに指示値表示領域を設定することで、各指示値表示領域内の指示値(一部)の画像の認識確度に応じた撮影条件を設定可能となり、認識確度の低い一部の指示値画像の認識確度を高める認識処理を早期に実行可能となる。
5)本発明のメータ読み取り作業装置において、前記制御手段は、前記複数段階の認識状態として、前記メータ装置の種別を特定する第1の認識段階と、前記読み取り対象領域を特定する第2の認識段階と、前記読み取り対象領域の画像に基づいて前記指示値を認識する第3の認識段階と、を設定し、前記作業支援情報に、前記第1ないし第3の各認識段階の状態の表示を含める構成とすることができる。
この構成により、メータ装置の指示値を読み取り可能に認識するまでの第1ないし第3の各認識段階で、その認識状態の表示あるいは次段階へのガイド情報の表示が可能となり、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できる。
6)本発明のメータ読み取り作業装置において、前記制御手段は、前記ディスプレイの表示領域内にメータ情報表示領域を設定し、前記メータ情報表示領域内の画像に基づいて、前記読み取り対象領域の位置または前記指示値の読み取り条件を判定するとともに、前記複数段階のうち所定段階の認識状態下で、前記作業支援情報として前記読み取り対象領域の位置または前記指示値の読み取りに関するガイド情報を出力する構成とすることができる。
この構成により、読み取り対象領域の位置情報または指示値の読み取り条件を判定するためのメータ情報表示領域をディスプレイの表示領域内に設定しておくので、読み取り対象領域の画像の認識と併せて読み取り対象領域の位置または指示値の読み取り条件を容易に判定可能となる。
7)本発明のメータ読み取り作業装置においては、前記作業支援情報の提示条件が、前記複数段階の認識状態に応じて前記スピーカから出力する音を変化させる条件を含むものであってもよい。音の変化は、例えば、音の周波数または間欠出力する音の周期を変化させる条件を含むものであってもよい。
この場合、複数段階の認識状態の変化を、スピーカからの出力音の周波数または間欠出力音の周期の変化として容易に把握可能となる。
8)本発明に係るメータ読み取り作業方法は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援しつつ実行するメータ読み取り作業方法であって、前記メータ装置を撮影する移動可能なカメラと、前記カメラの撮影画像を表示するディスプレイと、音声を出力するスピーカと、を準備し、前記カメラで撮影された前記読み取り対象領域の画像の複数段階の認識状態に応じて前記作業支援情報を生成し、該作業支援情報を、前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力させることを特徴とするものである。
この構成により、本発明では、メータ装置の指示値が読み取り可能に認識されるまで、カメラ撮影画像の認識状態に応じて、作業支援情報が画像表示または/および音声出力で提示されることとなる。よって、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できるようにカメラの良好な位置や姿勢、視線方向等の撮影条件等を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。また、例えば熟練者の作業内容を不慣れな作業者に提示することで、現場作業者の作業ミスや事故防止を図ることができ、現場作業者と管理者の2人で行っていたようなメータ読み取りおよびチェック作業と同等な作業を、自動読み取りとその読み取り結果のチェックとして1人でも実施可能となる。
9)本発明のメータ読み取り作業方法において、前記複数段階の認識状態は、前記ディスプレイに表示される前記撮影画像中に前記読み取り対象領域の画像が含まれないか所定認識確度未満である読み取り対象未確定段階と、前記ディスプレイに表示される前記撮影画像中に前記読み取り対象領域の画像が前記所定認識確度以上で含まれる読み取り対象確定段階と、を含む構成とすることができる。
この構成により、カメラの撮影画像中に所定認識確度以上の読み取り対象領域の画像が含まれるか否かによって、読み取り対象領域の認識状態を容易に複数段階に判別可能となる。
10)本発明のメータ読み取り作業方法においては、前記読み取り対象領域内に、それぞれに対応する前記指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記読み取り対象領域の画像の認識状態に応じた作業支援情報として、前記複数の指示値表示領域の撮影画像をそれぞれ2値化した複数の分割認識状態画像を表示するようにしてもよい。
この構成により、複数の指示値表示領域のうち一部の画像が所定確度以下となった場合、その認識段階では、白抜けや黒潰れにより当該表示領域における正常な指示値が得られない2値化画像が表示され得るので、撮影画像の確度に応じた表示の変化と認識処理の結果とを共に端的に視認可能に提示できる。
11)本発明に係るメータ読み取り作業支援システムは、カメラ付の通信端末によってメータ装置の読み取り対象領域が所定の認識状態で撮影されたとき、前記通信端末から取得した前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る読み取り装置と、前記指示値の読み取り作業のための作業支援情報を前記通信端末に送信し、出力させる支援情報提示装置と、を備えたメータ読み取り作業支援システムであって、前記支援情報提示装置は、前記カメラによる撮影の開始から該撮影した画像を基に前記読み取り対象領域の画像が読み取り可能に認識されるまでの撮影画像の複数段階の認識状態に応じて、前記作業支援情報の提示条件を変化させ、前記作業支援情報を前記通信端末に画像および音声の少なくとも一方の情報形態で送信するとともに、該作業支援情報の出力を前記複数段階の認識状態に応じて変化させることを特徴とするものである。
この構成により、メータ装置の指示値を読み取り可能に認識するまで、カメラでの撮影画像の認識状態に応じた作業支援情報を提示できることから、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できるようにカメラの位置や姿勢を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
12)本発明に係るメータ読み取り作業支援方法は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援するメータ読み取り作業支援方法であって、前記メータ装置を撮影する移動可能なカメラと、前記カメラの撮影画像を表示するディスプレイと、音声を出力するスピーカと、を準備するとともに、前記カメラの撮影の開始から該撮影した画像を前記メータ装置の指示値を読み取り可能に認識するまでの複数段階の認識状態に応じて、前記作業支援情報の提示条件を可変に設定しておき、前記カメラでの撮影に際して、前記作業支援情報を前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力するとともに、該作業支援情報の出力を前記認識状態に応じて変化させることを特徴とするものである。
この構成により、メータ装置の指示値を読み取り可能に認識するまで、カメラでの撮影画像の認識状態に応じた作業支援情報を提示できることから、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できるようにカメラの位置や姿勢を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
本発明によれば、カメラ撮影を伴うメータ読み取り作業現場での段階的で有効な作業支援や、その作業のチェック、作業後の成果物の生成等を有効に支援することができるメータ読み取り作業装置および方法を提供することができる。
本発明に係る第1ないし第6実施形態のメータ読み取り作業方法を実施する一実施形態のメータ読み取り作業装置の概略構成図である。 本発明の一実施形態のメータ読み取り作業装置において第1実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、その作業者側情報端末のディスプレイに作業支援情報を表示可能な3つの注目領域を設定した画面表示状態を示している。 本発明の一実施形態のメータ読み取り作業装置において第2実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、その作業者側情報端末のディスプレイに作業支援情報である複数のマーカ画像とそれらによって囲まれた1つの注目領域を設定した画面表示状態を示している。 本発明の一実施形態のメータ読み取り作業装置において第3実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、(a)はその作業者側情報端末のディスプレイに読み取り対象領域のカメラ撮影画像が表示されている状態を、(b)はその読み取り対象領域内のメータ指示値の認識状態を複数桁分の2値化画像で表示している状態を、それぞれ示している。 本発明の一実施形態のメータ読み取り作業装置において第4実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、その作業者側情報端末のディスプレイに作業支援情報である複数のマーカ画像を表示するとともに、複数のマーカ画像の重心で囲まれた撮影画像表示領域である一方の注目領域と、一方の注目領域に近接配置された認識段階および認識処理結果の表示領域である他方の注目領域とを表示する画面の表示状態を示している。 本発明の一実施形態のメータ読み取り作業装置において第5実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、その作業者側情報端末のディスプレイに互いに平行に離間する上下の認識状態表示領域と、上下の認識状態表示領域の間に位置する撮影画像表示領域とを表示する画面の表示状態を示している。 本発明の一実施形態のメータ読み取り作業装置において第6実施形態のメータ読み取り作業方法を実施する場合の作業者側情報端末の正面図で、その作業者側情報端末のディスプレイに傾斜した作業支援情報である複数のマーカ画像とそれらによって囲まれた1つの注目領域が同図中時計方向に傾いた同図中右側の傾斜表示状態と、その注目領域の傾きが補正された同図中左側の補正済み表示状態とを示している。 本発明の一実施形態のメータ読み取り作業装置における読み取り設定情報例を示す図表であり、(a)は傾き補正用のカラーマーカの認識誘導用の読み取り設定情報例を、(b)は低認識状態であることの判定条件の読み取り設定情報例を、それぞれ示している。 本発明の一実施形態のメータ読み取り作業装置を用い、本発明の第1ないし第6実施形態のメータ読み取り作業方法を複数のメータ装置に順次実施する場合の説明図である。 本発明の各実施形態において読み取り対象となるメータ装置の例を示す。 本発明の第2実施形態のメータ読み取り作業方法における事前の設定処理を行うメータ読み取り制御装置の画面表示例を示す。 本発明の第2実施形態のメータ読み取り作業方法における事前の設定処理を行うメータ読み取り制御装置のさらに別の画面表示例を示す 本発明の第2実施形態のメータ読み取り作業方法において事前に行われる設定処理の説明図である。
以下、本発明を実施するための形態について、図面を参照しつつ説明する。
図1ないし図8は、本発明の第1ないし第6実施形態のメータ読み取り作業方法を実施可能な一実施形態に係るメータ読み取り作業装置を示している。
まず、構成について説明する。
図1に示す本実施形態のメータ読み取り作業装置1は、メータ読み取り作業を支援するフィールド作業支援サービスが可能な装置として構成されている。
このメータ読み取り作業装置1は、スマートフォンやタブレット型情報端末等の通信端末10であり、該通信端末10が、メータ装置Mtを撮影するカメラ11と、カメラ11の撮影画像を表示するディスプレイ12と、音声を出力するスピーカ13と、メータ読み取り制御装置15(制御手段)と、を備えている。
メータ読み取り作業装置1の構成としては、(1)上述したようなスマートフォンやタブレット型情報端末等のポータブルなスマートデバイスを単独で含む構成の他に、(2)スマートデバイス(スマートフォンやタブレット型情報端末)と、外部カメラ(スマートデバイスと有線あるいは無線で接続)と、を含む構成、(3)ヘッドマウントディスプレイ(HMD)を単独で含む構成、(4)HMD(カメラ機能のみ利用)と、スマートデバイス(スマートフォンやタブレット型情報端末)と、を含む構成、(5)HMDと、外部カメラ(HMDと有線あるいは無線で接続)と、を含む構成、(6)スマートデバイス(カメラ、ディスプレイ、スピーカ含む)と、ノート型PC(メータ読み取り制御装置含む)と、を含む構成のいずれかであってもよい。上記構成(2)や(5)の外部カメラは、高い位置や作業者の背面など、ディスプレイ表示とカメラ撮影を両立できない場合に使用するのに好都合である。
また、通信端末10は、移動可能なカメラ11とディスプレイ12および/またはスピーカ13とを具備するものであればよく、特定の機器に限定されるものではない。さらに、カメラ11、ディスプレイ12、スピーカ13がそれぞれ単独で着用可能なウェアラブルデバイス等として構成されていてもよいし、スピーカ13は、ワイヤレスヘッドフォンや骨伝導ヘッドフォン等でもよく、あるいは、振動や熱等を発生する他の情報伝達手段であってもよい。
以下の説明では、カメラ11、ディスプレイ12、スピーカ13がそれぞれ単独で着用可能なウェアラブルデバイス等として構成されているメータ読み取り作業装置1を用いて実施形態を説明する。
メータ読み取り制御装置15は、メータ読み取り部51(認識処理手段)と、ガイド情報判定部52(読み取り対象抽出手段)と、ガイド情報出力部53(ガイド表示手段)と、読み取り設定情報蓄積部54とを具備している。
メータ読み取り部51は、通信端末10のカメラ11から画像データを受信可能な通信ポートと、カメラ11からの画像データを受信したとき、読み取り設定情報蓄積部54に予め記憶格納された設定情報に基づきメータ装置Mtの読み取り対象領域Zが所定の認識状態で撮影されたか否かを判定する画像判定プログラムと、メータ装置Mtの読み取り対象領域Zが所定の認識状態で撮影されたと判定されたとき、その受信画像データに対し所定の認識処理を実行する認識処理プログラムと、を有している。
このメータ読み取り部51は、通信端末10によってメータ装置Mtの読み取り対象領域Zが所定の認識状態で撮影されたとき、メータ装置Mtに対応する読み取り対象領域A2の画像P12を取得し、認識処理プログラムによりメータ装置Mtの指示値Vm(メータ値)を読み取るようになっている。
ガイド情報判定部52は、メータ読み取り部51からの読み取り情報および読み取り設定情報蓄積部54に予め記憶格納された設定情報に基づいて、カメラ撮影または/および撮影画像の認識状態に関連する所定のガイド情報の要否や必要なガイド情報の内容を判定する判定処理プログラムを内蔵しており、そのガイド情報に係る判定結果をガイド情報出力部53に出力するようになっている。ここにいう所定のガイド情報とは、カメラ11によるメータ読み取り作業のための撮影に有用な複数種別のガイド情報であり、カメラ撮影画像の認識確度その他の認識状態の表示や音声出力に関連する情報を含んでいる。なお、ここにいう認識確度とは、画像認識結果の確からしさの程度であり、尤度や確率とも考えることもできる。
ガイド情報出力部53は、ガイド情報判定部52からその判定結果に応じて出力されるガイド情報や画像の認識状態の表示等に関連する設定情報を、その画面表示が可能な画像信号形態および/または音声出力が可能な信号形態に変換して、ディスプレイ12およびスピーカ13のうち少なくとも一方から情報出力させるようになっている。
ガイド情報出力部53は、また、ガイド情報判定部52および読み取り設定情報蓄積部54と協働して、カメラ撮影を伴うメータ読み取り作業現場での段階的な作業のチェックシートや、その作業後の成果物であるレポート等を生成し出力する機能を発揮するようにプログラムされている。
読み取り設定情報蓄積部54は、通信端末10によりメータ装置Mtの読み取り対象領域Zが所定の認識状態で撮影されたか否かをメータ読み取り部51にて判定するために必要な設定情報と、メータ読み取り部51からの読み取り情報に基づきカメラ撮影または/および撮影画像の認識状態に関連する所定のガイド情報の要否を判定したり必要なガイド情報の内容を判定したりするための設定情報を、予めの設定情報入力により取り込み、記憶保存するストレージデバイスで構成されている。
また、メータ読み取り制御装置15は、上述したようにスマートフォンやタブレット型情報端末等の通信端末10に含まれるが、この構成に限定されず、通信端末10とデータ通信が可能で持ち運び可能な可搬型のもので、例えば通信端末10との近距離無線通信が可能なノート型PCで構成されていてもよい。また、メータ読み取り制御装置15は、スマートフォンやタブレット型情報端末等の通信端末10に対し閉域網内での無線通信が可能なデータベースサーバ等によって構成されてもよい。このように、メータ読み取り作業装置1を構成するマートフォンやタブレット型情報端末等の通信端末10とは別体で、通信端末10と通信接続されたメータ読み取り制御装置15を備えたものをメータ読み取り作業システムともいう。
このメータ読み取り制御装置15は、カメラ11による撮影画像が受信されると、メータ装置Mtの指示値Vmの読み取り作業のための作業支援情報を通信端末10に送信し、そのディスプレイ12やスピーカ13から出力させる支援情報提示装置となっている。
メータ読み取り作業装置1は、また、メータ装置Mtの読み取り対象領域Zが通信端末10のカメラ11で撮影されディスプレイ12に表示されるとき、メータ読み取り制御装置15によって、ディスプレイ12上の表示領域A1に表示される複数種の画像P11、P12等、特にメータ装置Mtの読み取り対象領域Zに対応するディスプレイ12上の読み取り対象領域A2の画像P12に基づき、現場作業者がメータ装置Mtの指示値Vmを読み取る作業(典型的には、検針作業)を作業支援情報の提示によって支援しつつ実行するようになっている。この場合の作業支援情報は、表示領域A1内の複数の注目領域R11,R21およびR22内に表示されるそれぞれの領域内の画像P11,P21等である。
この作業支援情報の生成のために、メータ読み取り制御装置15の読み取り設定情報蓄積部54には、複数種のメータ装置Mtについてのメータ読み取り作業を作業支援情報を提示しつつ実行するための複数(例えば、第1ないし第6)の作業支援プログラムと、それぞれの作業支援プログラムに用いるメータ装置Mt毎のCSV形式のパラメータ設定ファイル等が記憶格納されている。
そして、メータ読み取り制御装置15は、作業支援プログラムを実行し、カメラ11による撮影画像が受信されると、まず、表示領域A1の上部側で注目領域R11の略四角形の輪郭を赤線等で強調表示するガイド情報G11を表示して、メータ装置Mtに予め貼られた所定の個体識別コード、例えばQRコード(登録商標)等の二次元コードを注目領域R11内に映し出す撮影操作によってコードスキャンをうながすようになっている。
このコードスキャンは、例えば二次元コードの画像P11の隅部の形状パターンをパターンマッチングにより検出し、公知の二次元コードスキャン処理を実行することでなされる。ここでの個体識別コードは、カラーコードやバーコードその他の識別コードであってもよい。
メータ装置Mtに予め貼られたその個体識別コードがカメラ11で撮影されてコードスキャンされたとき、メータ読み取り制御装置15は、その個体識別コードに対応する読み取り設定情報蓄積部54内の設定情報に基づいてメータ装置Mtの読み取り対象領域A2の画像P12や検針対象の指示針の画像P21を特定する。その際、その画像P12、P21に対応する目盛等のガイド情報G12、G13,G14を特定する設定情報抽出処理を実行してもよい。
必要に応じて付与されるガイド情報G12、G13,G14は、例えばアナログメータであれば、最小値指示位置と最大値指示位置、中央値指示位置、区切り位置、針の色や本数等であり、デジタルメータであれば、表示エリア、表示値の桁数、小数点位置等である。
メータ読み取り制御装置15は、ガイド情報G11で示す第1の注目領域R11内に入った二次元コードの画像P11と、第2の注目領域R21内に表示されている読み取り対象領域A2の画像P12と、第3の注目領域R22内に表示される文字情報等とを選択的に単独でまたは組み合わせて表示出力することにより、カメラ11の撮影画像から指示値の読み取りが可能となるまでの複数段階の画像認識状態の変化を、ディスプレイ12の表示内容の変化やスピーカ13の音声出力内容等によって、作業者が認識できるように提示させることができる。
すなわち、メータ読み取り制御装置15は、作業支援情報の提示をディスプレイ12およびスピーカ13のうちいずれか一方または双方から出力させる制御手段となっている。
より具体的には、メータ読み取り制御装置15は、第1の注目領域R11内に二次元コードの画像P11がコードスキャン可能に入るまでの段階と、注目領域R11内に二次元コードの画像P11がコードスキャン可能に入るとともに読み取り対象領域A2の画像P12が第2の注目領域R21内に表示される段階と、カメラ11の撮影範囲の適否やカメラ11の視線方向を移動させるべき方向、認識確度その他の認識状態の表示等の形で、複数の画像P11,P12の認識状態に応じた作業支援情報を第3の注目領域R22内に文字等で表示しながら、カメラ11の撮影画像が指示値の読み取りが可能な状態となるのを待つ段階と、を区別可能な作業支援情報の提示を行うことができる。
第1の注目領域R11内に二次元コードの画像P11がコードスキャン可能に入るまでの段階では、二次元コードの画像P11が位置、サイズ、傾きに関して第1の注目領域R11に合致しているほど、読み取り対象領域A2の画像P12(メータ画像)が、メータ読み取り設定時に想定していた画像内位置に合っているので、メータ読み取りの認識確度が高くなる。第1の注目領域R11内に二次元コードの画像P11がコードスキャン可能に入るまでの段階を作業者に知らせることで、作業者はメータ読み取りの認識確度を迅速に高めることができる。その際、二次元コードの画像P11が、位置、サイズ、傾きに関して第1の注目領域R11に合致している度合を、作業支援情報として提示するようにしてもよい。
メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15は、図2に示すような画面表示形態で画像認識状態に応じた段階的なガイド表示を行う第1の作業支援プログラムのみならず、メータMtの種別に応じ、図3ないし図5に示すような複数の表示形態でそれぞれの画像認識状態に応じた段階的なガイド表示を実行できるようになっており、そのために、読み取り設定情報蓄積部54には、第2ないし第6の作業支援プログラムが記憶格納されている。
具体的には、メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15が第2の作業支援プログラムを実行する場合、図3に示すように、メータ読み取り制御装置15のガイド情報出力部53は、ディスプレイ12の表示領域A1内に、作業支援情報として、読み取り対象領域A2の画像P12が表示されるべき注目領域R21を特定するマーカ表示エリアのガイド情報G21−G24を表示させるガイド表示手段の機能を有する。
この場合、メータ読み取り制御装置15のメータ読み取り制御装置15は、注目領域R21内に映し出された読み取り対象領域A2の画像P12が所定認識確度以上の画像か否かを判定する読み取り対象抽出手段として機能し、メータ読み取り部51は、注目領域R21内の所定認識確度以上の画像から指示値Vmを読み取り可能に認識する認識処理手段として機能する。
メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15が第3の作業支援プログラムを実行する場合、図4(a)および図4(b)のそれぞれに示すように、メータ読み取り制御装置15は、読み取り設定情報蓄積部54内に、ディスプレイ12の表示領域A1内に表示される撮影画像中に所定形状の複数の色付きのマーカ画像M21−M24を読み取り設定情報の一部として設定するよう、読み取り設定情報作成部55(マーカ設定手段)を有している。
ここで、図4(a)は、読み取り対象領域A2の画像P30を二値化(白黒)処理してライブビュー表示しているものを例示しており、図4(b)は、読み取り対象領域A2の画像P30が指示値Vmの背景を所定桁数毎に分割して複数の指示値表示領域P31−P34としたものを例示している。
図4(a)に示す前者の場合、メータ読み取り制御装置15のガイド情報出力部53は、ディスプレイ12の表示領域A1内に、作業支援情報として、複数のマーカ画像M21−M24がそれぞれ表示されるべき複数のマーカ表示領域を特定するガイド情報G21−G24を表示するガイド表示手段の機能を有している。また、ガイド情報判定部52は、複数のマーカ画像M21−M24の表示と複数のマーカ表示領域を示すガイド情報G21−G24との幾何学的な対応度合いに応じて、読み取り対象領域の画像P30が表示されるべき注目領域R21を特定するとともに、その注目領域R21に入った撮影画像の一部が読み取り対象領域(A2)の所定認識確度以上の画像であるか否かの判定を実行する読み取り対象抽出手段の機能を有している。さらに、メータ読み取り部51は、注目領域R21内の所定認識確度以上の画像P30から指示値Vmを読み取り可能に認識する認識処理手段の機能を有している。
図4(b)に示す後者の場合、メータ読み取り制御装置15は、読み取り設定情報蓄積部54内に、前述の読み取り設定情報作成部55(マーカ設定手段)を有している。このメータ読み取り制御装置15は、ディスプレイ12の表示領域A1内に、それぞれに読み取り対象領域A2内の指示値の一部を表示し、全体としては指示値Vmを表示する複数の指示値表示領域P31−P34を予め設定するとともに、カメラ11の撮影画像を表示する撮影画像表示領域R21を併せて設定している。
そして、メータ読み取り制御装置15のガイド情報出力部53は、複数の指示値表示領域P31−P34のそれぞれに、各領域に対応する指示値の一部を、その指示値の一部の画像の認識確度に応じた表示態様で表示するようになっている。
具体的には、図4(b)に示すように、読み取り対象領域A2の4桁の指示値表示領域P31−P34のうち3桁目の指示値表示領域P33で数字がつぶれており、その桁位置について的確な指示値読み取りができない場合、この3桁目の2値化画像表示が部分的に白抜けあるいは黒潰れが生じて正常な数値表示とならないのに対して、他の桁位置の2値化画像表示が正常な数値表示となる。この場合、カメラ11の撮影方向のずれの影響が数値表示形状によって相違することや、3桁目について汚れの付着や影、映り込み等の可能性があることが考えられるため、注目領域R22内にそのような点を指摘するメッセージをガイド情報として表示することができる。
これに対し、図4(a)に示すように、カメラ11の撮影画像のうち読み取り対象領域A2の画像P30を二値化(白黒)処理してディスプレイ12の注目領域R21内にライブビュー表示するとともに、各表示桁範囲内の画像認識または/および文字認識処理の結果に応じて、注目領域R22内にメッセージをガイド情報として表示することができる。
一方、メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15が図5に示すような表示態様で第4の作業支援プログラムを実行する場合、メータ読み取り制御装置15は、前述の読み取り設定情報作成部55(マーカ設定手段)を有する。
図5に示すように、ここでの読み取り対象領域A2の画像P30は、注目領域R22内に指示値Vmの背景を一体に表示するライブビュー画像として表示される一方、表示領域A1内で注目領域R21より上方側に位置する注目領域R41内には、読み取り対象領域A2の画像P40を文字認識処理して読み取った桁毎の数値、あるいは文字認識処理中を示す回転矢印表示が桁毎に表示されるようになっている。
この場合、メータ読み取り制御装置15は、ディスプレイ12の表示領域A1内に、作業支援情報として、複数のマーカ画像M21−M24および複数のマーカ表示領域を特定するガイド情報G21−G24を表示するガイド表示手段の機能と、表示領域A1内で上方側の注目領域R41内に、それぞれに読み取り対象領域A2内の指示値の一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P41−P44を設定するとともに、カメラ11の撮影画像を表示する撮影画像表示領域R21を併せて設定し、複数の指示値表示領域P41−P44に、それぞれの領域に対応する指示値Vmの一部を、その一部の画像の認識確度に応じた表示態様で表示するようになっている。
この場合も、読み取り対象領域A2の4桁の指示値表示領域P41−P44のうち3桁目、4桁目の指示値表示領域P43、P44で数字がつぶれており、その桁位置について的確な指示値読み取りができないため、この3桁目、4桁目の認識処理結果を示す指示値表示領域P43、P44には、文字認識処理中を示す回転矢印表示が桁毎に表示される。
また、メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15が図6に示すような表示態様で第5の作業支援プログラムを実行する場合、メータ読み取り制御装置15は、前述の読み取り設定情報作成部55(マーカ設定手段)を有する。
図6に示すように、この場合の読み取り対象領域A2の画像P12は、上方側の注目領域R51と下方側の注目領域R22とで挟まれた、注目領域R21内に指示値Vmの背景を一体に表示するアナログメータのライブビュー画像として表示されている。
メータ読み取り制御装置15は、表示領域A1内で上方側に位置する注目領域R51内に、読み取り対象領域A2の画像P12から長短2種類のメータ指示針Pt1、Pt2の輪郭を認識処理して読み取り、その針毎の指示値の表示領域P51,P52(同図中の「メータ1」、「メータ2」)に、それぞれの指示値を読み取り値または「認識中」の語で表示するようになっている。
ここで、上方側の注目領域R51内の2つの表示領域P51、P52は、それぞれにメータ読み取り対象領域A2内の指示値の一部である各指示針を表示し、全体として2針の指示値Vmを表示するように設定されており、カメラ11の撮影画像をライブビュー表示する撮影画像表示領域R21を併せて設定することで、複数の指示値表示領域P51、52に、それぞれ対応する指示針Pt1またはPt2の指示値の一部を、その一部の画像の認識確度に応じた表示態様で表示するようになっている。
この場合も、例えば読み取り対象領域A2の指示針Pt1、Pt2のうち片方Pt2の輪郭形状が把握できない場合、その指示針について的確な指示値読み取りができないことが生じ得る。
メータ読み取り作業装置1の通信端末10およびメータ読み取り制御装置15が図7に示すような表示態様で第6の作業支援プログラムを実行する場合、メータ読み取り制御装置15は、前述の読み取り設定情報作成部55(マーカ設定手段)を有する。
読み取り設定情報蓄積部54に記憶させる読み取り設定情報の例を図8(a)および図8(b)に例示している。
本実施形態のメータ読み取り作業装置1においては、図8(a)に示すように、メータID「m001」について傾き補正用の4つのカラーマーカのそれぞれの中心点、例えば画面上の重心の座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)とする。また、マーカ色を「赤」とする。
本実施形態では、傾き補正用のマーカは4個であるが、個数は4に限定されず、複数個あればよく、2個、3個、或いは5個以上であってもよい。また、本実施形態における傾き補正用のマーカは、メータ装置Mtに貼り付けた四角いシールを想定しているが、これに限定されず、例えば、表示領域A1の注目領域R11に表示された二次元バーコード(QRコード(登録商標))の4角であってもよいし、あるいはメータ装置Mtにおいて一意的に特定可能な任意の箇所であってもよい。
また、本実施形態では、傾き補正用に複数個のマーカを用いているが、これに限定されず、特定の物(例えばメータ装置Mt)の輪郭を利用して画像の傾き補正を行ってもよい。この場合には、設定時にメータ装置Mtの形状等の輪郭を抽出、記憶しておき、この輪郭とメータ読み取り時に抽出したメータ装置Mtの輪郭とを比較し、その輪郭のずれから画像の傾き補正を行うようにしてもよい。この方式の場合は、設定時とメータ読み取り時の特定対象物の輪郭の一致時、ずれの大きさを基に作業者をガイドする。
また、図8(b)に示すように、メータID「m001」について傾き補正用の4つのカラーマーカのそれぞれの中心点、例えば画面上の重心の座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)とする。また、マーカ色を「赤」とするとともに、メータ桁数を4桁とする。また、映り込み、低照度、低コントラスト、白飛び、黒潰れ等によって文字認識できないことを桁毎に判定するための判定閾値(認識確度等)等が設定されている。
次に、前述の第1ないし第6の作業支援プログラムを実行することでなされる本発明に係るメータ読み取り作業方法の第1ないし第6実施形態について説明する。
以下に説明する第1ないし第6実施形態のメータ読み取り作業方法は、説明の便宜上、図9に示すような複数のメータ装置Mt1ないしMt12の指示値の読み取り作業を、予め作成されて読み取り設定情報蓄積部54に記憶格納された作業手順書に従って行う際に、順次実行されるものとする。
(メータ読み取り作業方法の第1実施形態)
図2および図9に示すように、第1実施形態のメータ読み取り作業方法は、メータ装置Mt1の撮影画像を映すディスプレイ12上の表示領域A1内で、ディスプレイ12上の読み取り対象領域A2の画像P12に基づいてメータ装置Mt1の指示値Vmを読み取る作業を、作業支援情報G11等の提示によって支援しつつ実行するものである。
具体的には、まず、メータ装置Mtを撮影する移動可能なカメラ11と、カメラの撮影画像を表示するディスプレイ12と、音声を出力するスピーカ13と、をそれぞれ準備する。
次いで、カメラ11で撮影された読み取り対象領域A2の画像P12または/および注目領域R11の画像P11の複数段階の認識状態に応じて、最上段の注目領域R11内に二次元バーコードの画像P11を映し出させた後、中段の注目領域R21内にメータ読み取り対象領域の画像P12、および必要に応じてガイド情報G12−G14を表示させ、さらに、下段の注目領域R22内に画像P11、P12の認識状態、特にその認識確度に応じて、その認識状態に対応する作業支援情報として予め設定されている作業支援情報を、ディスプレイ12およびスピーカ13のうちいずれか一方または双方から出力させる。
したがって、本実施形態では、複数段階の認識状態が、ディスプレイ12に表示される撮影画像中に読み取り対象領域A2または/および注目領域R11の画像P12または/およびP11が含まれないか所定認識確度未満である読み取り対象未確定段階と、ディスプレイ12に表示される撮影画像中に読み取り対象領域A2の画像P12が所定認識確度以上で含まれる読み取り対象確定段階と、を含む作業手順となる。
また、本実施形態における複数段階の認識状態は、メータ装置Mtの種別を特定する第1の認識段階と、読み取り対象領域A2を特定する第2の認識段階と、読み取り対象領域A2の画像に基づいて指示値Vmを認識する第3の認識段階と、を含んだ作業手順となり、作業支援情報が、第1ないし第3の各認識段階の状態の表示または次段階へのガイド情報の表示を含むものとなる。
より具体的には、ディスプレイ12上の表示領域A1内で、まず、第1の注目領域R11内に二次元コードの画像P11がコードスキャン可能に映し出されるまでの撮影前段階では、第1の注目領域R11内に画像は表示されず、第2の注目領域R21内には読み取り対象領域A2からはずれた撮影画像が単に表示される。
カメラ11での撮影が開始される段階に入ると、注目領域R11内に二次元コードの画像P11がコードスキャン可能に入るとともに、読み取り対象領域A2の画像P12が第2の注目領域R21内に表示される状態になるようカメラ撮影操作がなされる。
この撮影開始段階では、カメラ11の撮影範囲の適否や、カメラ11の視線方向を移動させるべき方向、認識確度その他の認識状態の表示等の形で、複数の画像P11,P12の認識状態に応じた作業支援情報を第3の注目領域R22内に文字等で表示する。
このような作業支援情報により、撮影開始から所定認識確度での認識画像の取得段階までの間、現場作業者は、カメラ11の撮影画像が指示値Vmの読み取りが早期に可能な状態となるように、ガイド情報に基づいてカメラ11の位置や姿勢その他の撮影条件や環境条件を変化させ、認識画像を早期に取得することができる。
(メータ読み取り作業方法の第2実施形態)
図3に示す表示形態で実行される第2実施形態のメータ読み取り作業方法では、予めの設定処理で、図11ないし図13に示すように、メータ装置Mt(例えば、Mt3)の正常な撮影画像を解析して、カメラ11の撮影画像中における読み取り対象領域A2やその近傍領域、メータ装置Mtの指示針の輪郭や背景色の相違、目盛表示、メモリ値表示、メータ装置Mt個体識別記号、型式表示その他の特徴パターンを抽出しておき、カメラ11の撮影画像中の特徴パターンを基準として読み取り対象領域A2および複数のマーカ画像M21−M24の位置を特定しておく(マーカ設定段階)。
例えば、図11に示すような複数針のメータ装置Mt3の場合、針数が2であること、小数点以下の桁数が2桁であること、最小値が0、最大値が6、2針の各針画像P21,P22の色等が、設定値情報として予め登録され、CSVファイル等のファイル形式で設定情報ファイルとして記憶保存される。また、図12に示すように、マーカM21−M23等を設定しておき、マーカの色や数、撮影画像の表示位置の補正手順等を設定しておくこともできる。
次いで、ディスプレイ12の表示領域A1内に、複数のマーカ画像M21−M24がそれぞれ表示されるべき複数、例えば4つのマーカ表示領域を特定するガイド情報G21−G24を表示する(ガイド表示段階)。
次いで、カメラ11の撮影状態に応じてその撮影画像中の複数のマーカ画像M21−M24を特定して表示領域A1内に表示させ、複数のマーカ画像M21−M24の表示とガイド情報G21−G24に対応する複数のマーカ表示領域との幾何学的な対応度合いに応じて、読み取り対象領域の画像P12が表示されるべき注目領域R21を特定する。
ここにいう「幾何学的な対応度合い」とは、例えば幾何学的な一致率が所定範囲内に入り、実質的に複数のマーカ画像M21−M24の表示とガイド情報G21−G24に対応する複数のマーカ表示領域とが重なる状態であるが、必ずしも一致する必要はなく、双方の重心間距離の大小に応じて異なるガイド情報を提示することも可能である。
注目領域R21の特定に次いで、注目領域R21に入った撮影画像の一部が読み取り対象領域A2の所定認識確度以上の画像P12か否かの判定を実行する読み取り対象抽出を実行する。
ここでの認識確度は、例えば数のマーカ画像M21−M24の重心位置とガイド情報G21−G24に対応する複数のマーカ表示領域の重心位置との一致度合い、あるいは、相対距離の小ささを段階的に評価したものであってもよい。
次いで、注目領域R21に入った撮影画像の一部が読み取り対象領域A2の所定認識確度以上の画像P12であると判定されたとき、その所定認識確度以上の画像P12から指示値Vmを読み取り可能に認識する認識処理を実行し、指示針の画像P21の先端の指示値Vmを読み取る。
(メータ読み取り作業方法の第3実施形態)
図4に示す表示形態で実行される第3実施形態のメータ読み取り作業方法では、まず、カメラ11の撮影画像および作業支援情報を表示可能なディスプレイ12を準備し、そのディスプレイ12の表示領域A1内に、それぞれに読み取り対象領域A2内の指示値の一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P31−P34を予め設定する。
また、カメラ11の撮影画像を表示する撮影画像表示領域R21を併せて設定し、複数の指示値表示領域P31−P34に、それぞれの領域に対応する指示値の一部を、指示値の一部の各画像P31−P34の認識確度に応じた表示態様で表示する。
この場合、桁毎に読み取り結果を表示出力し、一度読み取った桁でも、より認識確度の高い結果が出た場合は、上書きしてもよい。
また、認識確度の違いを、フォントや背景色の違いとして表示出力してもよい。
注目領域R21をライブビュー画像の表示領域とし、その撮影画像表示領域R21内に図4(a)に示すように、読み取り対象領域A2内の画像P30を一体画像として表示することもできるし、図4(b)に示すように、読み取り対象領域A2内の複数の指示値表示領域の画像P31−P34として表示出力することもできる。
このとき、複数の指示値表示領域P31−P34に、それぞれの領域に対応する指示値の一部を、指示値の一部の画像の認識確度に応じた表示態様で表示出力でき、読み取り桁位置での読み取り値の表示出力と認識できなかった桁位置での未確定表示の出力とを併せて表示出力することもできる。また、このとき、複数の指示値表示領域P31−P34の表示画像自体の相違として現れる作業支援情報は、前述の第1ないし第3の各認識段階の状態の表示または次段階へのガイド情報の表示を含むものとなる。
(メータ読み取り作業方法の第4実施形態)
図5に示す表示形態で実行される第4実施形態のメータ読み取り作業方法では、まず、ディスプレイ12の表示領域A1内に、複数のマーカ画像M21−M24がそれぞれ表示されるべき複数、例えば4つのマーカ表示領域を特定するガイド情報G21−G24を表示する(ガイド表示段階)。
次いで、カメラ11の撮影状態に応じてその撮影画像中の複数のマーカ画像M21−M24を特定して表示領域A1内に表示させ、複数のマーカ画像M21−M24の表示とガイド情報G21−G24に対応する複数のマーカ表示領域との幾何学的な対応度合いに応じて、読み取り対象領域の画像P30およびリアル表示側の注目領域R21および認識結果側の注目領域R41を特定する。
例えば、複数のマーカ画像M21−M24がガイド情報G21−G24に対応する複数のマーカ表示領域に表示されるか否かによって、読み取り対象領域A2の画像P30が表示されるべき注目領域R21を特定するとともに、読み取り対象領域A2の画像P30が所定認識確度以上の複数の桁画像P41−P44またはその数値の認識情報として注目領域R41内に表示され得るか否かの判定とを実行する(読み取り対象抽出段階)。
このとき、読み取り対象領域A2の画像P30は、注目領域R21内に指示値Vmの背景と一体に表示するライブビュー画像として表示する。
認識結果側の注目領域R41内には、読み取り対象領域A2の画像P30を文字認識処理した結果に応じて、読み取った桁毎の数値、あるいは文字認識処理中を示す回転矢印表示を桁毎に表示する。
この場合、ディスプレイ12の表示領域A1内に作業支援情報として表示される複数のマーカ画像M21−M24および複数のガイド情報G21−G24は、表示領域A1内で上方側の注目領域R41内に、それぞれに読み取り対象領域A2内の指示値の一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P41−P44を設定可能にする基準位置を特定するものとなる。
そして、リアルビュー表示側の注目領域R21と、認識結果側の複数の指示値表示領域P41−P44を表示する注目領域R41とを併用することから、撮影画像の認識状態をその認識確度に応じてより的確に表示可能となる。
(メータ読み取り作業方法の第5実施形態)
図6に示す表示形態で実行される第5実施形態のメータ読み取り作業方法では、まず、ディスプレイ12の表示領域A1内に、上方側の注目領域R51と、下方側の注目領域22と、これら双方に挟まれた中段の注目領域R21とを設定しておき、カメラ11での画像撮影時に、その注目領域R21内に読み取り対象領域A2の画像P12をライブビュー画像として表示する。
次いで、表示領域A1内で上方側に位置する注目領域R51内に、読み取り対象領域A2の画像P12から長短2種類のメータ指示針Pt1、Pt2の輪郭を検出する処理を実行して、それぞれの指示値を表示領域P51,P52に読み取り値または「認識中」の語で表示する。
図6の表示例では、読み取り対象領域A2の指示針Pt1、Pt2のうち片方Pt2の輪郭形状が未認識の状態となっているので、この段階では、表示領域P52に「認識中」の文字表示がなされるのと併せて、下方側の注目領域R22に認識結果待ちであることを表示する。
本実施形態においても、2つの表示領域P51、P52が全体として2針の指示値Vmを数値表示するとともに、撮影画像表示領域としての注目領域R21にカメラ11の撮影画像をライブビュー表示するので、指示針Pt1またはPt2の指示値Vmの画像の認識確度をその認識確度に応じてより的確に表示可能となる。
(メータ読み取り作業方法の第6実施形態)
図7に示す表示形態で実行される第6実施形態のメータ読み取り作業方法では、まず、ディスプレイ12の表示領域A1内に、複数のマーカ画像M21−M24がそれぞれ表示されるべき複数のマーカ表示領域を特定するガイド情報G21−G24を表示する。
次いで、カメラ11の撮影状態に応じてその撮影画像中の複数のマーカ画像M21−M24を特定して表示領域A1内に表示させ、複数のマーカ画像M21−M24の表示とガイド情報G21−G24に対応する複数のマーカ表示領域との幾何学的な対応度合いに応じて、読み取り対象領域の画像P30が表示されるべき注目領域R21を特定する。
次いで、ディスプレイ12の表示領域A1内に表示されるガイド情報G21−G24で特定される複数のマーカ表示領域に対し、カメラ11で撮影されディスプレイ12の表示領域A1内に表示される複数のマーカ画像M21−M24の幾何学的なずれ量を算出する。
すなわち、設定時に表示領域A1内の複数のマーカ表示領域として設定されたガイド情報G21−G24のマーカ点(重心)の座標E21−E24と、カメラ撮影時に認識されたマーカ画像M21−M24のマーカ点(重心)の座標e21−e24との対応関係から、ずれ量やそのずれの方向を求める。例えば、設定時と読み取り時のマーカ4点の座標を基に幾何変換行列を求め、その行列を使ったアフィン変換等により、画像の傾きや遠近のずれ量を算出する。
このようにして、複数、例えば4つのマーカ画像M21−M24の座標e21−e24で特定される四角形の画像(e21−e24)および注目領域R21内の4つの複数のマーカ表示領域の設定座標E21−E24で特定される四角形の画像(E21−E24)との幾何変換処理によって、ディスプレイ12に表示する画像に対してずれ量を縮小する幾何補正等の補正処理を実行することができる。
次に、本実施形態の作用について説明する。
(発明装置の作用)
上述のように構成された本実施形態のメータ読み取り作業装置およびメータ読み取り作業支援システムにおいては、メータ装置Mtの読み取り対象領域A2の画像P12もしくはP30に基づいてメータ装置Mtの指示値Vmを読み取る作業を、作業支援情報の提示によって支援しつつ実行するものであり、メータ装置Mtを撮影する移動可能なカメラ11と、カメラ11の撮影画像を表示するディスプレイ12と、音声を出力するスピーカ13と、カメラ11で撮影された読み取り対象領域A2や注目領域R11等の画像P12、P11の認識状態に応じた作業支援情報であるガイド情報G11(必要に応じてG12−G14も)、あるいはG21−G24や指示値Vmの桁毎の認識状態表示、注目領域R22内のメッセージ等を、ディスプレイ12およびスピーカ13のうちいずれか一方または双方から出力させるように構成されている。
したがって、本実施形態では、メータ装置Mtの指示値Vmが読み取り可能に認識されるまで、カメラ撮影画像の認識状態に応じた作業支援情報がディスプレイ12の画像表示または/およびスピーカ13の音声出力で提示されることとなる。したがって、撮影条件の良くない環境下であっても、カメラ11での撮影画像を認識率の良好な画像として取得できるようにカメラ11の位置や姿勢、視線方向等の撮影条件を良好に誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
また、作業支援情報によって、熟練者の作業内容を不慣れな作業者に提示することで、現場作業者の作業ミスや事故防止を図ることができ、従来は現場作業者と管理者の2人で行っていたようなメータ読み取りおよびチェック作業と同等な作業を、自動読み取りとその読み取り結果のチェック作業として1人でも実施可能となる。さらに、本実施形態では、チェックシートやレポート出力機能を有しているので、現場作業者の作業ミスや作業忘れも防止でき、成果物の作成が自動化でできるため、作業品質の担保が容易になる。
また、本実施形態では、移動可能な情報通信端末10がカメラ11、ディスプレイ12、スピーカ13、およびメータ読み取り制御装置15を一体で備えて構成されているので、軽量・コンパクトな装置構成を実現できる。
さらに、本実施形態では、ディスプレイ12の表示領域A1内に、読み取り対象領域A2の画像P12やメータ種別特定用の画像P11が表示されるべき注目領域R21、R11を特定するガイド情報G11−G14あるいはG21−G24を表示するガイド情報出力部53と、読み取り対象領域A2の画像P12やメータ種別特定用の画像P11が所定認識確度以上の画像として注目領域R11、R21内に含まれるか否かを判定するガイド情報判定部52と、注目領域R11、R21内の所定認識確度以上の画像P12やP11から指示値Vmを読み取り可能に認識するメータ読み取り部51とを有している。
したがって、カメラ11の撮影を注目領域R21やR11に集中させた後に、その撮影画像の認識確度を高めることができ、所定認識確度以上の読み取り対象領域A2の画像を迅速的確に撮影画像中に含めるようなカメラ操作が可能となる。
しかも、本実施形態では、ディスプレイ12の表示画像中に複数のマーカ画像M21−M24を設定する読み取り設定情報作成部55と、ディスプレイ12の表示領域A1内に複数のマーカ表示領域をガイド情報G21−G24によりガイド表示させるガイド情報出力部53と、マーカ画像M21−M24の表示と対応するマーカ表示領域との幾何学的な対応度合いに応じて読み取り対象領域A2の画像P30が表示されるべき注目領域R21(もしくはR41)を特定するとともに、その注目領域R21に入った撮影画像の一部が読み取り対象領域A2で所定認識確度以上の画像となっているか否かの判定を実行するガイド情報判定部52と、注目領域R21内の所定認識確度以上の画像P30(もしくはP40)から指示値Vmを読み取り可能に認識するメータ読み取り部51とを含む構成となっている。
したがって、複数のマーカ画像M21−M24がそれぞれのマーカ表示領域に対応して表示されるか否かによって、読み取り対象領域A2の画像P12が表示されるべき注目領域R21の特定と、読み取り対象領域A2の画像P12が注目領域R21内で所定認識確度以上の画像として認識されたか否かの判定とが可能となり、比較的簡単な処理で、所定認識確度以上の読み取り対象領域A2の画像P12を迅速的確に撮影画像中に含めることができる。
加えて、本実施形態のメータ読み取り作業装置では、ディスプレイ12の表示領域A1内でガイド情報G21−G24により設定される複数のマーカ表示領域に対して撮影画像中の複数のマーカ画像M21−M24の幾何学的なずれ量を算出し、複数のマーカ画像M21−M24および注目領域R21の画像P30の幾何変換処理によって、ディスプレイ12に表示する画像P30に対してずれ量を縮小する補正処理を実行する。
したがって、メータ装置Mtの読み取り対象領域Zに対する撮影時のカメラ11の傾き等のずれ量を補正し、ディスプレイ12上の表示画像におけるそのずれ量を縮小することで、撮影時の操作負担を軽減できる。
また、本実施形態では、ディスプレイ12の表示領域A1内に、それぞれに読み取り対象領域A2内の指示値Vmの一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P31−P34(もしくは(P41−P44)もしくは(P51,52))を予め設定するとともに、カメラ11の撮影画像を表示する撮影画像表示領域としての注目領域R21を併せて設定し、複数の指示値表示領域P31−P34に、それぞれの領域に対応する指示値Vmの一部を、指示値Vmの一部の画像P31、P32、P33またはP34の認識確度に応じた表示態様で表示する。
したがって、メータ装置Mtの指示値Vmの所定桁数ごとに指示値表示領域P31−P34を設定することで、各指示値表示領域P31、P32、P33またはP34内の指示値Vm(一部)の画像の認識確度に応じた撮影条件を設定可能となり、認識確度の低い一部の指示値画像P31−P34のいずれかの認識確度を高める認識処理を早期に実行可能となる。
また、本実施形態において、可搬型のメータ読み取り制御装置15は、複数段階の認識状態として、個体識別コードや特徴パターン等からメータ装置Mtの種別を特定する第1の認識段階と、種別が特定されたメータ装置Mtの設定情報に基づいて読み取り対象領域A2を特定する第2の認識段階と、読み取り対象領域A2の画像P12(もしくはP30)に基づいて指示値Vmを認識する第3の認識段階とを設定し、作業支援情報に、第1ないし第3の各認識段階の状態の表示(ガイド表示G11の表示、個体識別コード等の画像P11の表示、読み取り対象領域A2の画像P12を映すべき注目領域R21の表示、読み取り値の表示等)または次段階へのガイド情報(ガイド情報G11、ガイド情報G12−G14、ガイド情報G21−G24、および注目領域R22内ガイド情報)を含める構成となっている。
したがって、メータ装置Mtの指示値Vmを読み取り可能に認識するまでの第1ないし第3の各認識段階で、その認識状態の表示あるいは次段階へのガイド情報の表示が可能となり、撮影条件の良くない環境下でもカメラ11での撮影画像を認識率の良好な画像として取得できる。
さらに、本実施形態では、メータ読み取り制御装置15は、ディスプレイ12の表示領域A1内にメータ情報表示領域R11またはR21を設定し、メータ情報表示領域R11またはR21内の画像P11またはP12に基づいて、読み取り対象領域A2の位置または指示値Vmの読み取り条件G12−G14を判定するとともに、複数段階のうち所定段階の認識状態下で、作業支援情報として読み取り対象領域A2の位置または指示値(Vm)の読み取りに関するガイド情報(R22内表示)を出力する構成としている。
この構成により、読み取り対象領域の位置情報または指示値の読み取り条件を判定するためのメータ情報表示領域をディスプレイの表示領域内に設定しておくので、読み取り対象領域の画像の認識と併せて読み取り対象領域の位置または指示値の読み取り条件を容易に判定可能となる。
本実施例のメータ読み取り作業装置では、作業支援情報の提示条件が、複数段階の認識状態に応じてスピーカ13から出力する音を変化させる条件を含むものである。
したがって、複数段階の認識状態の変化を、スピーカ13からの出力音の変化、例えば出力音の周波数または間欠出力音の周期の変化などとして、明確にかつ容易に把握可能となる。
(発明方法の作用)
第1ないし第6実施形態のメータ読み取り作業方法では、読み取り対象領域A2の画像P12もしくはP30に基づいてメータ装置Mtの指示値Vmを読み取る作業を、作業支援情報の提示によって支援しつつ実行するに際して、カメラ11で撮影された読み取り対象領域A2の画像P12の複数段階の認識状態に応じてガイド情報G11(必要に応じてG12−G14も)あるいはG21−G24を生成し、その作業支援情報を、ディスプレイ12およびスピーカ13のうちいずれか一方または双方から出力させる。
したがって、本実施形態の方法では、メータ装置Mtの指示値Vmが読み取り可能に認識されるまで、カメラ撮影画像の認識状態に応じて、作業支援情報がディスプレイ12の画像表示または/およびスピーカ13の音声出力で提示されることとなる。よって、撮影条件の良くない環境下でもカメラ11での撮影画像を認識率の良好な画像として取得できるようにカメラ11の良好な位置や姿勢、視線方向等の撮影条件等を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
例えば、読み取り対象領域A2に対するガイド表示がなされるにもかかわらず、読み取り対象領域A2の外観状態によって照明等の映り込みや同色物の誤認識、作業環境の明るさや距離の適否等が生じやすい作業環境となる場合であっても、効果的な作業支援情報を提示することができる。
また、例えば熟練者の作業内容を不慣れな作業者に提示することで、現場作業者の作業ミスや事故防止を図ることができ、現場作業者と管理者の2人で行っていたようなメータ読み取りおよびチェック作業と同等な作業を、自動読み取りとその読み取り結果のチェックとして1人でも実施可能となる。
本実施形態のメータ読み取り作業方法では、また、複数段階の認識状態は、ディスプレイ12に表示される撮影画像中に読み取り対象領域A2または/およびR11の画像P12または/およびP11が含まれないか所定認識確度未満である読み取り対象未確定段階と、ディスプレイ12に表示される撮影画像中に読み取り対象領域の画像P12または/およびP11が所定認識確度以上で含まれる読み取り対象確定段階とを含んでいる。
したがって、カメラ11の撮影画像中に所定認識確度以上の読み取り対象領域の画像が含まれるか否かによって、読み取り対象領域A2の画像P12の認識状態を容易に複数段階に判別可能となる。
さらに、第2ないし第6実施形態のメータ読み取り作業方法は、ディスプレイ12の表示領域A1内に、作業支援情報として、個体識別用の画像P11が表示されるべき注目領域R11を特定するガイド情報G11や、読み取り対象領域A2の画像P12が表示されるべき注目領域R21を特定するガイド情報G21−G24を表示するガイド表示段階と、複数のマーカ画像M21−M24の表示と複数のマーカ表示領域との幾何学的な対応度合いに応じて読み取り対象領域の画像P12またはP30が表示されるべき注目領域R21(もしくはR41)を特定するとともに、その注目領域R21に入った撮影画像の一部が読み取り対象領域A2の所定認識確度以上の画像か否かの判定を実行する読み取り対象抽出段階と、注目領域R21内の所定認識確度以上の画像から指示値Vmを読み取り可能に認識する認識処理段階とを含んでいる。
したがって、カメラの撮影を注目領域に集中させた後にその撮影画像の認識確度を高めることができ、所定認識確度以上の読み取り対象領域の画像を迅速的確に撮影画像中に含めることができる。
しかも、第2ないし第6実施形態のメータ読み取り作業方法では、ディスプレイ12に表示される撮影画像中に複数のマーカ画像M21−M24を設定するマーカ設定段階と、ディスプレイ12の表示領域A1内に、作業支援情報として、複数のマーカ画像M21−M24がそれぞれ表示されるべき複数のマーカ表示領域を特定するガイド情報G21−G24を表示するガイド表示段階と、複数のマーカ画像M21−M24が複数のマーカ表示領域に表示されるか否かによって、読み取り対象領域A2の画像P12が表示されるべき注目領域R21を特定するとともに、読み取り対象領域A2の画像P12が所定認識確度以上の画像か否かの判定とを実行する読み取り対象抽出段階と、注目領域R21内の所定認識確度以上の画像から指示値Vmを読み取り可能に認識する認識処理段階とを含んでいる。
したがって、複数のマーカ画像M21−M24がそれぞれ対応するマーカ表示領域に表示されるか否かによって、読み取り対象領域A2の画像P12が表示されるべき注目領域R21が特定され、読み取り対象領域A2の画像P12が所定認識確度以上の画像か否かを判定することが可能となる。よって、比較的簡単な処理で、所定認識確度以上の読み取り対象領域A2の画像P12を迅速的確にカメラ11の撮影画像中に含めることができる。
また、第6実施形態のメータ読み取り作業方法においては、ディスプレイ12の表示領域A1内に設定された複数のマーカ表示領域に対し、カメラ11で撮影されディスプレイ12の表示領域内に表示される複数のマーカ画像M21−M24の幾何学的なずれ量を算出して、複数のマーカ画像M21−M24および注目領域R21の画像P12の幾何変換処理によって、ディスプレイ12に表示する画像に対してずれ量を縮小する補正処理を実行する。
したがって、メータ装置の読み取り対象領域に対する撮影時のカメラの傾き等のずれ量を補正し、ディスプレイ表示画像におけるそのずれ量を縮小することで、撮影時の操作負担を軽減できる。なお、ずれ量を補正する撮影姿勢の補正方向を矢印表示したり操作方向の表示または音声による指示、例えば「左に回転して下さい」と表示したりすることができる。また、ずれ方向(ロール、ヨー、ピッチ等)を音色で判別可能に出力したり、ずれ量自体は音量で表現したりすることが考えられる。
第3ないし第6実施形態のメータ読み取り作業方法では、カメラ11の撮影画像および作業支援情報を表示可能なディスプレイ12を準備し、ディスプレイ12の表示領域A1内に、それぞれに読み取り対象領域A2内の指示値Vmの一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P31−P34等(もしくは(P41−P44)もしくは(P51,P52))を予め設定するとともに、カメラ11の撮影画像を表示する撮影画像表示領域R21を併せて設定し、複数の指示値表示領域P31−P34等に、それぞれの領域に対応する指示値Vmの一部を、その一部の画像の認識確度に応じた表示態様で表示する。
したがって、メータ装置Mtの指示値Vmの所定桁数ごとに指示値表示領域P31−P34等を設定することで、各指示値表示領域P31−P34内の指示値画像の認識確度に応じた撮影条件を設定可能となり、認識確度の低い一部の指示値画像の認識確度を高めるようなカメラ操作の誘導および認識処理を早期に実行可能となる。
第1ないし第6実施形態のメータ読み取り作業方法では、複数段階の認識状態は、メータ装置Mtの種別を特定する第1の認識段階と、読み取り対象領域A2を特定する第2の認識段階と、読み取り対象領域A2の画像P12またはP30に基づいて指示値Vmを認識する第3の認識段階とを含み、作業支援情報が、第1ないし第3の各認識段階の状態の表示または次段階へのガイド情報の表示を含んでいる。
したがって、メータ装置Mtの指示値Vmを読み取り可能に認識するまでの第1ないし第3の各認識段階で、その認識状態の表示あるいは次段階へのガイド情報G11,G12−G14,G21−G24等の表示が可能となり、撮影条件の良くない環境下でもカメラでの撮影画像を認識率の良好な画像として取得できる。
第1実施形態のメータ読み取り作業方法では、ディスプレイ12の表示領域A1内に撮影画像の表示領域A2と固体意識別コード等のメータ情報の表示領域R11とを設定し、ディスプレイ12の表示領域A1内の画像P11,P12等に基づいて、読み取り対象領域A2の位置または指示値Vmの読み取り条件を判定するとともに、複数段階のうち所定段階の認識状態下で、作業支援情報として読み取り対象領域A2の位置または指示値Vmの読み取りに関するガイド情報G11、及び必要に応じてG12−G14を出力する。
したがって、読み取り対象領域A2の位置情報または指示値Vmの読み取り条件を判定するためのメータ情報表示領域R11をディスプレイ12の表示領域A1内に設定しておくことにより、読み取り対象領域A2の画像P12の認識と併せて読み取り対象領域A2の位置または指示値Vmの読み取り条件を容易に判定可能となる。
なお、各実施形態のメータ読み取り作業方法においては、複数段階のうち各段階におけるカメラの撮影回数を、その各段階の認識状態に応じて可変に設定しておき、複数段階のうち所定段階におけるカメラの撮影回数を、その所定段階の撮影画像の認識確度が低いほど多回数になるように変化させることにより、所定段階におけるカメラ11の撮影画像中に所定認識確度以上の読み取り対象領域A2の画像P12が含まれる確率を選択的に増加させ、その段階におけるカメラ11の撮影画像の認識確度を指示値Vmを読み取り可能な確度範囲内に高めることができる。
そのようにすると、メータ装置Mtの指示値Vmの読み取り対象領域A2が低認識確度となる所定段階では、カメラ11での撮影回数を増やし、撮影画像の認識確度を高めることで、認識確度の良好なメータ読み取りが可能となる。
また、第3、第4および第6実施形態のメータ読み取り作業方法においては、読み取り対象領域A2内に、それぞれに対応する指示値Vmの一部を表示し、全体として指示値Vmを表示する複数の指示値表示領域P31−P34等(P41−P44もしくはP51,P52でもよい)を予め設定するとともに、読み取り対象領域A2の画像P12の認識状態に応じた作業支援情報として、複数の指示値表示領域P31−P34等の撮影画像をそれぞれ2値化した複数の分割認識状態画像P30を表示するようにしてもよい。
この場合、複数の指示値表示領域P30のうち一部の画像が所定確度以下となった場合、その認識段階では、白抜けや黒潰れ等により当該表示領域P31、P32,P33またはP34における正常な指示値が得られない2値化画像が表示され得るので、撮影画像の確度に応じた表示の変化と認識処理の結果とを共に端的に視認可能に提示できる。
各実施形態のメータ読み取り作業方法においては、作業支援情報の提示条件が、複数段階の認識状態に応じてスピーカ13から出力する音を変化させる条件を含んでいる。
したがって、複数段階の認識状態の変化を、スピーカ13からの出力音の変化、例えば出力音の周波数または間欠出力音の周期の変化等、すなわち、音の強弱やパターン変化等に比して段階的な変化を聴覚的に把握し易い音の変化とすることで、認識状態の変化を容易に把握可能となる。
さらに、上述の各実施形態では、通信端末10が、カメラ11、ディスプレイ12、スピーカ13、およびメータ読み取り制御装置15を含む構成であり、メータ読み取り制御装置15が、カメラ11によりメータ装置Mtの読み取り対象領域が所定の認識状態で撮影されたとき、カメラ11から取得した読み取り対象領域A2の画像に基づいてメータ装置Mtの指示値Vmを読み取るメータ読み取り部51と、指示値Vmの読み取り作業のための作業支援情報をディスプレイ12に送信し、出力させるガイド情報出力部53と、を備えている。また、支援情報提示装置となるメータ読み取り制御装置15が、カメラ11による撮影の開始からその撮影画像を基に読み取り対象領域の画像が読み取り可能に認識されるまでの撮影画像の複数段階の認識状態に応じて、作業支援情報の提示条件を変化させ、作業支援情報をディスプレイ12およびスピーカ13に画像および音声の少なくとも一方の情報形態で送信するとともに、その作業支援情報の出力を複数段階の認識状態に応じて変化させる。
したがって、メータ装置Mtの指示値Vmを読み取り可能に認識するまで、カメラ11での撮影画像の認識状態に応じた作業支援情報を提示できることから、撮影条件の良くない環境下でもカメラ11での撮影画像を認識率の良好な画像として取得できるようにカメラ11の位置や姿勢を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
同様に、各実施形態では、メータ装置Mtの読み取り対象領域A2の画像P12に基づいてメータ装置Mtの指示値Vmを読み取る作業を、ガイド情報G11および必要に応じてG12−G14等(ガイド情報G21−G24あるいはP31−P34でもよい)の提示によって支援するメータ読み取り作業支援方法を実施することとなる。そして、この方法では、予め、メータ装置Mtを撮影する移動可能なカメラ11と、カメラ11の撮影画像を表示するディスプレイ12と、音声を出力するスピーカ13とを準備しておき、カメラ11の撮影の開始からその撮影画像をメータ装置Mtの指示値Vmを読み取り可能に認識するまでの複数段階の認識状態に応じて、ガイド情報G11およびG12−G14等の提示条件を可変に設定し、カメラ11での撮影に際して、そのガイド情報G11およびG12−G14等をディスプレイ12およびスピーカ13のうちいずれか一方または双方から出力するとともに、そのガイド情報G11およびG12−G14等の出力を認識状態に応じて変化させる。
したがって、メータ装置Mtの指示値Vmを読み取り可能に認識するまで、カメラ11での撮影画像の認識状態に応じた作業支援情報を提示できることから、撮影条件の良くない環境下でもカメラ11での撮影画像を認識率の良好な画像として取得できるようにカメラの位置や姿勢を誘導でき、メータ読み取り作業の実用性向上やメータ指示値の読み取り精度向上を図ることができる。
以上のように、本発明の各実施形態によれば、カメラ撮影を伴うメータ読み取り作業現場での段階的で有効な作業支援や、その作業のチェック、作業後の成果物の生成等を有効に支援することができるメータ読み取り作業装置および方法ならびにメータ読み取り作業支援システムを提供することができる。
なお、上述の各実施形態におけるマーカ画像M21−M24は4つとしたが、マーカは2つ以上でよい。ガイド表示やそのメッセージは、一例に過ぎないものであり、図10に示すようなメータ装置の多様な形態に応じて異なるガイド表示が採用できることはいうまでもない。
以上説明したように、本発明は、カメラ撮影を伴うメータ読み取り作業現場での段階的で有効な作業支援や、その作業のチェック、作業後の成果物の生成等を有効に支援することができるメータ読み取り作業装置および方法を提供することができる。このような本発明は、移動式のカメラにより各種メータの撮影画像から指示値を読み取るメータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム全般に有用である。
1 メータ読み取り作業装置
10 情報通信端末(通信端末)
11 カメラ
12 ディスプレイ
13 スピーカ
15 メータ読み取り制御装置(制御手段)
51 メータ読み取り部(認識処理手段)
52 ガイド情報判定部(読み取り対象抽出手段)
53 ガイド情報出力部(ガイド表示手段)
54 読み取り設定情報蓄積部
55 読み取り設定情報作成部
A1 表示領域
A2 読み取り対象領域
E21、E22、E23、E24 座標(マーカ表示領域の設定座標、ガイド情報のマーカ点の座標)
e21、e22、e23、e24 マーカ画像のマーカ点の座標
G11 ガイド情報(作業支援情報)
G12、G13、G14 ガイド情報(作業支援情報)
G21、G22、G23、G24 ガイド情報(作業支援情報)
M21、M22、M23、M24 マーカ画像
Mt メータ装置
P11 画像(メータ情報画像)
P12 読み取り対象領域の画像
Pt1、Pt2 指示針
P30 画像(指示値表示領域、分割認識状態画像)
P31、P32、P33、P34 指示値表示領域(指示値表示領域の画像)
P40、P50 画像
P41、P42、P43、P44 桁画像(指示値表示領域)
P51、P52 表示領域(指示値表示領域)
R11 注目領域(メータ情報表示領域、第1の注目領域)
R21 注目領域(撮影画像表示領域、第2の注目領域)
R22 注目領域(第3の注目領域)
R31、R41、R51 注目領域

Claims (12)

  1. メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援しつつ実行するメータ読み取り作業装置であって、
    前記メータ装置を撮影するカメラと、
    前記カメラの撮影画像を表示するディスプレイと、
    音声を出力するスピーカと、
    前記カメラで撮影された前記読み取り対象領域の画像の複数段階の認識状態に応じた前記作業支援情報を、前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力させる制御手段と、を備えることを特徴とするメータ読み取り作業装置。
  2. 前記ディスプレイの表示領域内に、前記作業支援情報として、前記読み取り対象領域の画像が表示されるべき注目領域を特定するガイド情報を表示するガイド表示手段と、
    前記読み取り対象領域の画像が所定認識確度以上の画像として前記注目領域内に含まれるか否かを判定する読み取り対象抽出手段と、
    前記注目領域内の前記所定認識確度以上の画像から前記指示値を読み取り可能に認識する認識処理手段と、を含むことを特徴とする請求項1に記載のメータ読み取り作業装置。
  3. 前記ディスプレイに表示される前記撮影画像中に複数のマーカ画像を設定するマーカ設定手段と、
    前記ディスプレイの表示領域内に、前記作業支援情報として、前記複数のマーカ画像がそれぞれ表示されるべき複数のマーカ表示領域を特定するガイド情報を表示するガイド表示手段と、
    前記複数のマーカ画像の表示と前記複数のマーカ表示領域との幾何学的な対応度合いに応じて前記読み取り対象領域の画像が表示されるべき注目領域を特定するとともに、該注目領域に入った前記撮影画像の一部が前記読み取り対象領域の前記所定認識確度以上の画像か否かの判定を実行する読み取り対象抽出手段と、
    前記注目領域内の前記所定認識確度以上の画像から前記指示値を読み取り可能に認識する認識処理手段と、を含むことを特徴とする請求項1に記載のメータ読み取り作業装置。
  4. 前記ディスプレイの表示領域内に、それぞれに前記読み取り対象領域内の指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記カメラの撮影画像を表示する撮影画像表示領域を併せて設定し、
    前記複数の指示値表示領域に、それぞれの領域に対応する前記指示値の一部を、前記指示値の一部の画像の認識確度に応じた表示態様で表示することを特徴とする請求項1ないし3のいずれか一項に記載のメータ読み取り作業装置。
  5. 前記制御手段は、複数段階の認識状態として、前記メータ装置の種別を特定する第1の認識段階と、前記読み取り対象領域を特定する第2の認識段階と、前記読み取り対象領域の画像に基づいて前記指示値を認識する第3の認識段階と、を設定し、
    前記作業支援情報に、前記第1ないし第3の各認識段階の状態の表示または次段階へのガイド情報を含めることを特徴とする請求項1ないし4のいずれか一項に記載のメータ読み取り作業装置。
  6. 前記制御手段は、前記ディスプレイの表示領域内にメータ情報表示領域を設定し、
    前記メータ情報表示領域内の画像に基づいて、前記読み取り対象領域の位置または前記指示値の読み取り条件を判定するとともに、
    前記複数段階のうち所定段階の認識状態下で、前記作業支援情報として前記読み取り対象領域の位置または前記指示値の読み取りに関するガイド情報を出力することを特徴とする請求項1ないし5のいずれか一項に記載のメータ読み取り作業装置。
  7. 前記作業支援情報の提示条件が、前記複数段階の認識状態に応じて前記スピーカから出力する音を変化させる条件を含むことを特徴とする請求項1ないし5のいずれか一項に記載のメータ読み取り作業装置。
  8. メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援しつつ実行するメータ読み取り作業方法であって、
    前記メータ装置を撮影する移動可能なカメラと、前記カメラの撮影画像を表示するディスプレイと、音声を出力するスピーカと、を準備し、
    前記カメラで撮影された前記読み取り対象領域の画像の複数段階の認識状態に応じて前記作業支援情報を生成し、該作業支援情報を、前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力させることを特徴とするメータ読み取り作業方法。
  9. 前記複数段階の認識状態は、前記ディスプレイに表示される前記撮影画像中に前記読み取り対象領域の画像が含まれないか所定認識確度未満である読み取り対象未確定段階と、前記ディスプレイに表示される前記撮影画像中に前記読み取り対象領域の画像が前記所定認識確度以上で含まれる読み取り対象確定段階と、を含むことを特徴とする請求項8に記載のメータ読み取り作業方法。
  10. 前記読み取り対象領域内に、それぞれに対応する前記指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、
    前記読み取り対象領域の画像の認識状態に応じた作業支援情報として、前記複数の指示値表示領域の撮影画像をそれぞれ2値化した複数の分割認識状態画像を表示することを特徴とする請求項8または9に記載のメータ読み取り作業方法。
  11. カメラ付の通信端末によってメータ装置の読み取り対象領域が所定の認識状態で撮影されたとき、前記通信端末から取得した前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る読み取り装置と、
    前記指示値の読み取り作業のための作業支援情報を前記通信端末に送信し、出力させる支援情報提示装置と、を備えたメータ読み取り作業支援システムであって、
    前記支援情報提示装置は、
    前記カメラによる撮影の開始から該撮影した画像を基に前記読み取り対象領域の画像が読み取り可能に認識されるまでの撮影画像の複数段階の認識状態に応じて、前記作業支援情報の提示条件を変化させ、
    前記作業支援情報を前記通信端末に画像および音声の少なくとも一方の情報形態で送信するとともに、該作業支援情報の出力を前記複数段階の認識状態に応じて変化させることを特徴とするメータ読み取り作業支援システム。
  12. メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を、作業支援情報の提示によって支援するメータ読み取り作業支援方法であって、
    前記メータ装置を撮影する移動可能なカメラと、前記カメラの撮影画像を表示するディスプレイと、音声を出力するスピーカと、を準備するとともに、
    前記カメラの撮影の開始から該撮影した画像を前記メータ装置の指示値を読み取り可能に認識するまでの複数段階の認識状態に応じて、前記作業支援情報の提示条件を可変に設定しておき、
    前記カメラでの撮影に際して、前記作業支援情報を前記ディスプレイおよび前記スピーカのうちいずれか一方または双方から出力するとともに、該作業支援情報の出力を前記認識状態に応じて変化させることを特徴とするメータ読み取り作業支援方法。
JP2019066910A 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム Active JP7248483B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019066910A JP7248483B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム
JP2023016787A JP2023054015A (ja) 2019-03-29 2023-02-07 メータ読み取り作業支援システムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019066910A JP7248483B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023016787A Division JP2023054015A (ja) 2019-03-29 2023-02-07 メータ読み取り作業支援システムおよび方法

Publications (2)

Publication Number Publication Date
JP2020166586A true JP2020166586A (ja) 2020-10-08
JP7248483B2 JP7248483B2 (ja) 2023-03-29

Family

ID=72715243

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019066910A Active JP7248483B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム
JP2023016787A Pending JP2023054015A (ja) 2019-03-29 2023-02-07 メータ読み取り作業支援システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023016787A Pending JP2023054015A (ja) 2019-03-29 2023-02-07 メータ読み取り作業支援システムおよび方法

Country Status (1)

Country Link
JP (2) JP7248483B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139349A (ja) * 2004-11-10 2006-06-01 Nikon Corp 情報伝送装置、情報受信装置および情報送信装置
JP2006309405A (ja) * 2005-04-27 2006-11-09 Chugoku Electric Power Co Inc:The メータ認識システム、メータ認識方法、およびメータ認識プログラム
JPWO2011046127A1 (ja) * 2009-10-14 2013-03-07 日本電気株式会社 データ収集システム、携帯端末、シール及びデータ収集方法
JP2017188049A (ja) * 2016-04-08 2017-10-12 株式会社東芝 点検支援端末、点検支援方法及びプログラム
JP2018109801A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置
JP2019012474A (ja) * 2017-06-30 2019-01-24 株式会社メルカリ 商品出品支援システム、商品出品支援プログラム及び商品出品支援方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011046127A (ja) 2009-08-27 2011-03-10 Nippon Shokubai Co Ltd 表面粗化セラミックグリーンシートの製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139349A (ja) * 2004-11-10 2006-06-01 Nikon Corp 情報伝送装置、情報受信装置および情報送信装置
JP2006309405A (ja) * 2005-04-27 2006-11-09 Chugoku Electric Power Co Inc:The メータ認識システム、メータ認識方法、およびメータ認識プログラム
JPWO2011046127A1 (ja) * 2009-10-14 2013-03-07 日本電気株式会社 データ収集システム、携帯端末、シール及びデータ収集方法
JP2017188049A (ja) * 2016-04-08 2017-10-12 株式会社東芝 点検支援端末、点検支援方法及びプログラム
JP2018109801A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置
JP2019012474A (ja) * 2017-06-30 2019-01-24 株式会社メルカリ 商品出品支援システム、商品出品支援プログラム及び商品出品支援方法

Also Published As

Publication number Publication date
JP2023054015A (ja) 2023-04-13
JP7248483B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
CN109690570B (zh) 一种机房管理方法及动环系统
JP7408865B2 (ja) メータ読み取り作業装置および方法ならびにメータ読み取り作業システム
JP5701262B2 (ja) 検査支援システム及び方法
WO2019087870A1 (ja) 作業支援装置、作業支援方法及びプログラム
JP2014211763A5 (ja)
JP2021114700A (ja) 作業支援システム及び作業支援方法
KR20130006878A (ko) 스마트 기기에서의 기초마커를 이용한 객체 이미지 복원 방법 및 그 기초마커를 이용하여 객체이미지를 복원하는 스마트 기기
CN208366871U (zh) 检测系统
CN113066195A (zh) 电力设备巡检方法、装置、ar眼镜和存储介质
JP2018055370A (ja) 検査装置
CN107229887A (zh) 多码扫描设备及多码扫描方法
US9881192B2 (en) Systems and methods for electronically pairing devices
CN106595476A (zh) 基于ar技术的零配件检测方法和装置
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
JP7248483B2 (ja) メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム
JP2014093870A (ja) 配電盤ケーブル結線確認装置と画像処理システム
JP2014035635A (ja) 対象物管理システム
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN115601699A (zh) 一种安全帽佩戴检测方法、电子设备以及计算机可读介质
CN103900711A (zh) 红外挑选装置和红外挑选方法
JP2007293721A (ja) 巡回点検支援システム
CN111435511B (zh) 订单处理方法、装置、设备、系统及可读存储介质
JP7013612B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及びコンピュータ装置
JP6514310B1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN112525914A (zh) 产品检测装置及方法、产品流水线

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230316

R150 Certificate of patent or registration of utility model

Ref document number: 7248483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150