JP2023080125A - メータ読み取り作業装置および方法ならびにメータ読み取り作業システム - Google Patents

メータ読み取り作業装置および方法ならびにメータ読み取り作業システム Download PDF

Info

Publication number
JP2023080125A
JP2023080125A JP2023051859A JP2023051859A JP2023080125A JP 2023080125 A JP2023080125 A JP 2023080125A JP 2023051859 A JP2023051859 A JP 2023051859A JP 2023051859 A JP2023051859 A JP 2023051859A JP 2023080125 A JP2023080125 A JP 2023080125A
Authority
JP
Japan
Prior art keywords
meter
image
recognition
value
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023051859A
Other languages
English (en)
Other versions
JP7408865B2 (ja
Inventor
克朗 菊地
Katsuro Kikuchi
健太郎 大西
Kentaro Onishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2023051859A priority Critical patent/JP7408865B2/ja
Publication of JP2023080125A publication Critical patent/JP2023080125A/ja
Application granted granted Critical
Publication of JP7408865B2 publication Critical patent/JP7408865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にする。【解決手段】メータ読み取り作業装置１は、移動可能なカメラ１１で撮影されたメータ装置Ｍｔの読み取り対象領域の画像を取得する画像取得部２１１と、読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部２１２と、カメラ１１の操作者が視認可能なディスプレイ１２の画面上に、それぞれに指示値の一部を表示し、全体として指示値を表示する複数の指示値表示領域を予め設定し、該指示値の一部の認識状態のそれぞれを該指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部２２と、を有し、出力態様制御部２２は、指示値の一部の認識状態のそれぞれを表す画像として、指示値の一部のそれぞれの撮影画像に対応する２値化画像を該指示値表示領域のそれぞれにリアルタイムに表示する。【選択図】図１

Description

本発明は、メータ読み取り作業装置および方法ならびにメータ読み取り作業システムに関し、特に移動式のカメラにより各種メータの撮影画像から指示値を読み取るメータ読み取り作業装置および方法ならびにメータ読み取り作業システムに関する。
各種の工場やプラント等において、メータ装置の指示値（メータ値）を読み取る作業は、従来、作業員が巡回して目視確認するのが専らであったが、近時、メータ装置をカメラで撮影した撮影画像からその指示値を読み取ることで、設備の点検や監視業務の効率化を図るようにした技術が提案されている。
例えば特許文献１には、カメラで撮影したメータ画像から指示領域を切り取り、切り取った指示領域を画像処理することによってメータ指示値を読み取る装置が開示されている。また、特許文献１には、種々のメータ形式に対応するための基準画像パターンとカメラで撮影したメータ画像とを照合してメータ形式を特定することや、読み取り対象のメータの指示面全体をカバーで覆うとともに、カバーの中心部にカメラを設置し、さらに、カメラの周囲にリングライトを配置することで、メータの指示面を常に一定の安定した明るさに保つことが開示されている。
特開２０００－１８２０２１号公報
しかしながら、メータ装置は、各種の工場やプラント等を始めとする様々な場所に設置されており、様々な撮影条件下でメータ装置の撮影を行う必要がある。撮影条件は、例えばメータ装置の設置場所、設置場所の周辺環境から照射される光の照度（光量）や向き等によってそれぞれ異なっており、また、撮影時刻によっても異なっている。したがって、カメラによるメータ読み取り作業には、メータ装置をカメラで撮影して良好な撮影画像を得るために様々な撮影条件に対応する必要があるという課題がある。
特許文献１に開示されている技術は、上記の課題を解決することを意図しており、カメラにカバーを設けるとともに周囲にリングライトを配置することで、メータ装置を撮影する際の撮影条件を一定条件に維持することで、撮影画像が良好な認識状態となるようにしている。しかしながら、カバーやリングライト等の極めて限定された物理的な構成要素を準備することは決して容易ではなく、作業者は複雑となる装置構成を取り扱わなくてはならず利便性に劣るという課題がある。
本発明は、前述のような従来の課題を解消すべくなされたものであり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするメータ読み取り作業装置および方法ならびにメータ読み取り作業システムを提供する。
上記目的を達成するため、本発明に係るメータ読み取り作業装置は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置（２０）であって、
移動可能なカメラ（１１）で撮影された前記メータ装置の読み取り対象領域の画像を取得する画像取得部（２１１）と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部（２１２）と、
前記カメラの操作者が視認可能なディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部（２２）と、を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
この構成により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この構成により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記画像認識部が、前記メータ値を含む画像を読み取り対象領域に設定するとともに、前記メータ値を含む画像の読み取り対象領域を前記メータ値の桁数に基づいて自動で分割することで、前記メータ値の各桁の数値の画像を含む複数の読み取り対象領域を設定することを特徴とする。
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁をメータ値の桁数に基づいて自動的に分割および設定されるため、作業者はメータ値の各桁の読み取り対象領域を逐次設定する必要はなく、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記出力態様制御部は、前記メータ値の各桁の認識状態を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁に分割して各桁の認識状態をそれぞれ個別に表示することで、作業者はメータ値の各桁のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記出力態様制御部は、前記メータ値の撮影画像から認識される前記メータ値の各桁の読み取り結果を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁に分割して各桁の認識状態および読み取り結果をそれぞれ個別に表示することで、作業者はメータ値の各桁のそれぞれの認識状態および読み取り結果を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数の指示値標示物の位置により複数の数値を指示するアナログメータ装置であり、前記出力態様制御部は、前記複数の指示値標示物が指示する前記複数の数値の認識状態のそれぞれを前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。
この構成により、アナログメータ装置で指示される複数の数値の認識状態をそれぞれ個別に表示することで、作業者は複数の数値のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記アナログメータ装置は前記複数の指示値標示物として複数の指示針を備えており、前記複数の指示針のそれぞれが示す目盛位置により前記複数の数値が特定されることを特徴とする。
この構成により、アナログメータ装置の複数の指示針で示される複数の数値の認識状態をそれぞれ個別に表示することで、作業者は複数の数値のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明に係るメータ読み取り作業装置は、さらに、前記カメラの撮影の開始から該撮影された画像を前記メータ装置の指示値を読み取り可能に認識するまでの複数段階のうちの所定段階において、前記読み取り対象領域の画像に含まれる認識対象物の認識状態が所定以上の良好な認識状態となる画像が撮影されなかった場合には、所定以上の良好な認識状態となる画像が撮影されるまで前記カメラによる前記読み取り対象領域の撮影を行うよう制御する画像処理制御部と、を備えることを特徴とする。
この構成により、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
上記目的を達成するため、本発明に係るメータ読み取り作業方法は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を支援するメータ読み取り作業方法であって、
前記メータ装置を撮影する移動可能なカメラと、少なくとも前記カメラの撮影画像を表示可能なディスプレイとを準備するとともに、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、
前記カメラの撮影画像から認識される前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するものであって、
前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
この動作により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この動作により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
上記目的を達成するため、本発明に係るメータ読み取り作業システムは、メータ装置の読み取り対象領域の画像を撮影するカメラ（１１）と、
操作者が視認可能なディスプレイ（１２）と、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置（２０）と、を有するメータ読み取り作業システム（１）であって、
前記メータ読み取り作業装置は、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像を取得する画像取得部（２１１）と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部（２１２）と、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部（２２）と、
を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
この構成により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この構成により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
本発明によれば、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするメータ読み取り作業装置および方法ならびにメータ読み取り作業システムを提供することができる。
本発明の第１～第５実施形態におけるメータ読み取り作業システムの一例を 示す概略構成図である。 本発明の第１～第５実施形態において、メータ読み取り作業装置の画像処理 制御部により実行される処理の概要を示すフローチャートである。 本発明の第１～第５実施形態において、メータ読み取り作業装置の出力態様 制御部により実行される処理の概要を示すフローチャートである。 本発明の第１実施形態において、メータ読み取り作業中の通信端末のディス プレイに表示された表示画面の一例を示す通信端末の正面図である。 本発明の第２実施形態において、メータ読み取り作業中の通信端末のディス プレイに表示された表示画面の一例を示す通信端末の正面図である。 本発明の第３実施形態において、メータ読み取り作業中の通信端末のディス プレイに表示された表示画面の一例を示す通信端末の正面図である。 本発明の第４実施形態において、メータ読み取り作業中の通信端末のディス プレイに表示された表示画面の一例を示す通信端末の正面図である。 本発明の第５実施形態において、メータ読み取り作業中の通信端末のディス プレイに表示された表示画面の一例を示す通信端末の正面図である。 本発明が適用可能な各種メータ装置の一例を示す図である。 本発明の第１～第５実施形態における基本的な処理の流れを示すフローチ ャートである。
以下、本発明の実施するための形態について、図面を参照しつつ説明する。
本発明は、メータ装置の読み取り対象領域の画像に基づいてメータ装置の指示値を読み取る作業を行う際に、メータ装置の撮影条件を一定の条件下に維持しようとするのではなく、様々な撮影条件下で撮影された画像を取得して、その撮影画像からメータ装置の指示値を良好な認識状態で認識することを基本概念としている。本発明は、例えば撮影時刻の異なる様々な撮影条件下で撮影された複数枚の撮影画像を取得し、複数枚の撮影画像において、良好な撮影条件で撮影された良好な認識状態となる撮影画像を抽出することで具現化される。また、本発明は、例えば撮影画像内に複数の認識対象箇所を設定し、複数の認識対象箇所において、良好な撮影条件で撮影された良好な認識状態となる認識対象箇所を抽出することで具現化される。
まず、図１を参照しながら、本発明の第１～第５実施形態のメータ読み取り作業方法を実施可能なメータ読み取り作業システムについて説明する。
図１は、本発明の第１～第５実施形態におけるメータ読み取り作業システムの一例を示す概略構成図である。図１に示すメータ読み取り作業システム１は、メータ装置Ｍｔの読み取り対象領域の画像に基づいてメータ装置Ｍｔの指示値を読み取る作業を実行するシステムである。
図１には、好適な一例として、通信端末１０とメータ読み取り作業装置２０とが一体となったメータ読み取り作業システム１が図示されている。通信端末１０は、例えばカメラ１１、ディスプレイ１２、スピーカ１３を備えたスマートフォンやタブレット型情報端末等であり、メータ読み取り作業装置２０の機能がプログラムとしてスマートフォンに実装されている。
通信端末１０の構成としては、（１）上述したようなスマートフォンやタブレット型情報端末等のポータブルなスマートデバイスを単独で含む構成の他に、（２）スマートデバイス（スマートフォンやタブレット型情報端末）と、外部カメラ（スマートデバイスと有線あるいは無線で接続）と、を含む構成、（３）ヘッドマウントディスプレイ（ＨＭＤ）を単独で含む構成、（４）ＨＭＤ（カメラ機能のみ利用）と、スマートデバイス（スマートフォンやタブレット型情報端末）と、を含む構成、（５）ＨＭＤと、外部カメラ（ＨＭＤと有線あるいは無線で接続）と、を含む構成、（６）スマートデバイス（カメラ、ディスプレイ、スピーカ含む）と、ノート型ＰＣ（メータ読み取り制御装置含む）と、を含む構成のいずれかであってもよい。上記構成（２）や（５）の外部カメラは、高い位置や作業者の背面など、ディスプレイ表示とカメラ撮影を両立できない場合であっても使用できる。
通信端末１０は、メータ装置Ｍｔを撮影するカメラ１１と、カメラ１１の撮影画像をリアルタイムに表示する（ライブビューとも呼ばれる）ことが可能なディスプレイ１２と、音声を出力するスピーカ１３と、メータ読み取り作業装置２０とを有している。
また、通信端末１０は、カメラ１１とディスプレイ１２および／またはスピーカ１３とを具備するものであればよく、特定の機器に限定されるものではない。さらに、カメラ１１、ディスプレイ１２、スピーカ１３がそれぞれ単独で着用可能なウェアラブルデバイス等として構成されていてもよいし、スピーカ１３は、ワイヤレスヘッドフォンや骨伝導ヘッドフォン等でもよく、あるいは、振動や熱等を発生する他の情報伝達手段であってもよい。
メータ読み取り作業装置２０は、一例として、通信端末１０において実行可能なプログラムとして実装される機能を表しており、メータ読み取り部２１と、出力態様制御部２２と、情報出力部２３と、読み取り設定情報格納部２４とを有している。
メータ読み取り部２１は、画像取得部２１１と、画像認識部２１２と、画像処理制御部２１３と、認識確度計算部２１４とを含んで構成されている。
画像取得部２１１は、通信端末１０のカメラ１１で撮影された画像を取得する機能を有している。画像取得部２１１は、カメラ１１に対して撮影指示を送信し、この撮影指示に応じてカメラ１１により撮影された撮影画像を取得してもよく、あるいは、カメラ１１からリアルタイムに送信されてくる映像に対して画像キャプチャ処理等を行うことで撮影画像を取得してもよい。また、メータ読み取り作業を行うカメラ１１の操作者（以下、作業者と記載する）に逐次撮影動作（例えばシャッタを切る動作）を行わせることなく、作業者がメータ装置Ｍｔにカメラ１１を向ける動作を行うだけで、画像取得部２１１が自動的に撮影画像を取得することが好ましい。
画像認識部２１２は、画像取得部２１１により取得したカメラ１１の撮影画像に対して画像認識処理を行う機能を有している。撮影画像はメータ装置Ｍｔの一部または全体を含む画像であり、画像認識部２１２は、画像認識処理を行うことによって、メータ装置Ｍｔの読み取り対象領域の画像に含まれる認識対象物を認識することが可能である。なお、画像認識部２１２における画像認識方式は特に限定されるものではなく、例えばパターンマッチング等の画像認識方式を用いることが可能である。また、画像認識部２１２を推定器や分類器で構成してもよい。
メータ装置Ｍｔの読み取り作業では、カメラの撮影の開始からメータ装置Ｍｔの指示値を読み取るまでの動作を、複数段階（例えば第１～第３の認識段階）に分けることができる。画像認識部２１２は、複数段階のそれぞれの段階において、各段階における認識対象物を画像認識処理によって特定することが可能である。
第１の認識段階では、画像認識部２１２は、例えば個体識別コードやメータ装置Ｍｔの表示面の形状パターン等を認識対象物として、メータ装置Ｍｔの種別を特定するための画像認識処理を行う。第２の認識段階では、画像認識部２１２は、例えばメータ装置Ｍｔの指示値標示物（例えば、指示針やメータ値標示板）を含む領域を特定するためのずれ補正用マーカや、メータ装置Ｍｔの表示面の形状パターン等を認識対象物として、カメラ１１で撮影された画像の傾きを補正するための画像認識処理を行う。第３の認識段階では、画像認識部２１２は、指示値標示物を含む画像の領域を特定して指示値を読み取るための画像認識処理を行う。
画像処理制御部２１３は、画像取得部２１１および画像認識部２１２における処理を制御することで、カメラの撮影の開始からメータ装置Ｍｔの指示値を読み取るまでの一連の動作を制御する機能を有している。画像処理制御部２１３は、例えば後で詳述する図２に示すフローチャートに係る制御処理を実行することが可能である。
認識確度計算部２１４は、画像認識部２１２における認識対象物の認識について、その認識の精度（認識確度）を計算する機能を有している。なお、本明細書においては、認識確度とは、画像認識部２１２による認識対象物の認識状態がどの程度信頼できるものであるかを表す数値を意味している。例えば画像認識部２１２における画像認識処理にパターンマッチングを採用した場合には、パターンマッチングの一致率を認識確度とみなすことができる。また、例えば画像認識部２１２を分類器で構成した場合には、分類器から出力される分類結果の確率値を認識確度とみなすことができる。
出力態様制御部２２は、画像認識部２１２による認識状態や認識結果、認識確度計算部２１４により計算された認識確度等に基づいて、通信端末１０に対する出力態様を決定する機能を有している。出力態様制御部２２は、出力態様として、出力すべき情報の内容、出力すべき情報の形式（例えば画像および／または音声）、出力タイミング等を決定することができる。出力態様制御部２２は、例えば後で詳述する図３に示すフローチャートに係る制御処理を実行することが可能である。
情報出力部２３は、出力態様制御部２２で決定された情報をディスプレイ１２やスピーカ１３から出力する機能を有している。情報出力部２３は、出力する情報が画像情報である場合には、ディスプレイ１２で表示可能な形態で出力し、出力する情報が音声情報である場合には、スピーカ１３において音声出力可能な形態で出力する。
読み取り設定情報格納部２４は、画像処理制御部２１３や出力態様制御部２２における処理に必要な情報を格納する機能を有している。読み取り設定情報格納部２４に読み取り設定情報として格納される情報としては、メータ装置Ｍｔの正常な撮影画像を解析することで得られる様々な情報、例えば、メータ装置Ｍｔの個体識別記号や形状パターン、認識対象物の形状や輪郭、認識対象物が含まれる読み取り対象領域の位置や範囲、指示針を持つメータ装置Ｍｔの場合には指示針の位置や輪郭および色、指示針が指し示す目盛表示の数値、デジタル数値を表示するメータ装置Ｍｔの場合には、指示値の位置や桁数等が挙げられる。
また、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定するために必要な設定情報、例えば、認識確度に係る判断で用いられる閾値等も読み取り設定情報として格納される。さらには、作業者によるメータ読み取り作業を支援するガイド情報の要否を判定したり必要なガイド情報の内容を判定したりするために必要な設定情報等も読み取り設定情報として格納される。
メータ読み取り作業装置２０は、上述したようにスマートフォンやタブレット型情報端末等の通信端末１０に含まれる構成であってもよいが、この構成に限定されるものではない。メータ読み取り作業装置２０は、例えば、通信端末１０とデータ通信が可能なコンピュータにより実現可能であり、例えば通信端末１０との近距離無線通信が可能なノート型コンピュータであってもよく、通信端末１０とネットワークを通じて通信が可能なサーバ装置等であってもよい。メータ読み取り作業システム１は、スマートフォンやタブレット型情報端末等の通信端末１０とメータ読み取り作業装置２０とが一体であってもよく、通信端末１０とメータ読み取り作業装置２０とが別体で通信接続された構成であってもよい。
また、図１では、メータ読み取り作業装置２０が有する各機能をブロック図により表現しているが、各ブロックで表される機能は、その機能を実現するよう作成されたプログラムをＣＰＵ（中央演算処理装置）等のプロセッサで実行することにより実現され得る。すなわち、メータ読み取り作業装置２０は、ＣＰＵ等のプロセッサと、プロセッサにより読み取り可能な状態で所定のプログラムおよび読み取り設定情報等を含む各種設定情報が格納された補助記憶装置（不揮発性メモリ）とにより構成することができる。
次に、図１に示すメータ読み取り作業装置２０において実行される処理について説明する。図１０は、図１に示すメータ読み取り作業システム１の基本的な処理の流れを示すフローチャートである。メータ読み取り作業システム１は、カメラ１１によってメータ装置Ｍｔを撮影して（ステップＳ１）、当該撮影画像からメータ装置Ｍｔを特定する第１の認識段階に係る処理を行い（ステップＳ２）、当該撮影画像からマーカ等を抽出して撮影画像の傾き補正を行う第２の認識段階に係る処理を行い（ステップＳ３）、当該撮影画像からメータ装置Ｍｔの指示針やメータ値等のメータ指示値を含む領域を抽出して読み取り処理を行う第３の認識段階に係る処理を行う（ステップＳ４）。
なお、第２の認識段階の傾き補正は、例えばメータ指示値を含む領域を特定するためのマーカ情報を利用して行うことが可能であり、傾き補正を行ったほうがメータ指示値の数値認識精度をより高くすることができる。ただし、第２の認識段階の傾き補正は必ずしも必須の処理ではなく、実施態様により任意選択的に行うことができる処理である。例えば、デジタルメータ装置では、画像のパターンマッチベースによってメータ指示値の読み取りを行う場合、撮影画像の向きを予め合わせる必要があることから傾き補正を行うことが好ましいが、一方、機械学習ベースで読み取りを行う場合には、傾きがある状態で学習を行うことで、傾き補正により撮影画像の向きを合わせることなく読み取りを行うことが可能である。
以下、図２を参照しながら画像処理制御部２１３により実行される処理の概要を説明し、図３を参照しながら出力態様制御部２２により実行される処理の概要について説明する。
図２は、本発明の第１～第５実施形態において、メータ読み取り作業装置２０の画像処理制御部２１３により実行される処理の概要を示すフローチャートである。なお、ここでは基本的な処理について説明し、より具体的な処理の適用については後述する。
図２には、メータ読み取り作業装置２０の画像処理制御部２１３が各認識段階で実行する処理の一例が示されている。
図１０の基本的な処理の流れに示すように、画像取得部２１１がカメラ１１で撮影された撮影画像を取得した後に、第１～第３の認識段階の各々の段階に係る処理が順次実行される。各段階においては、まず画像処理制御部２１３が、画像認識部２１２に、カメラ１１で撮影された撮影画像に係る画像認識処理を行わせる（ステップＳ１０３）。
ステップＳ１０３の画像認識処理では、例えば撮影画像内に含まれるメータ装置Ｍｔの個体識別コード、ずれ補正用マーカ、指示値を表す指示値標示物（例えば、指示針やメータ値標示板）等の認識対象物や、これらの認識対象物を含む領域等、各認識段階で認識対象としている認識対象物の特定および読み取りが行われる。さらにステップＳ１０３の画像認識処理において、認識確度計算部２１４により認識対象物の認識に係る認識確度の計算が行われてもよい。
画像処理制御部２１３は、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定する（ステップＳ１０５）。ここでは、画像処理制御部２１３は、認識対象物が適切に認識されて情報の読み取りができたかどうかを表す認識の成否を判定してもよい。また、認識確度計算部２１４により認識確度の計算が行われている場合には、認識確度が所定の閾値以上となっているかどうかを判断することで、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定してもよい。認識確度に係る判断で用いられる閾値は、事前に定めた任意の値を用いることが可能であり、各段階における認識対象物毎に異なる閾値を設定することが可能である。閾値は、例えば読み取り設定情報格納部２４等に、画像処理制御部２１３により参照可能な状態で予め格納される。
ステップＳ１０５で認識対象物が所定以上の良好な認識状態で認識されていない場合には、図１０に示すフローチャートにおけるカメラ１１による撮影処理（ステップＳ１）に戻り、第１の認識段階からの処理が再度開始される。例えば第３の認識段階（指示値の読み取り処理）において指示値が良好に認識できなかった場合には、カメラ１１による撮影が行われて、第１の認識段階（メータ装置Ｍｔの特定）に係る処理以降が再度実行される。
一方、ステップＳ１０５で認識対象物が所定以上の良好な認識状態で認識された場合には、ステップＳ１０３の認識結果を確定し（ステップＳ１０７）、処理を終了する。
図１０に示すように、本発明に係る基本的な処理の流れは、まずカメラ１１による撮影を行ったうえで、撮影画像に基づいて複数の認識段階（第１～第３の認識段階）が実行される。そして、いずれかの段階で良好な認識状態が得られなかったとき、カメラ１１による撮影に戻り、複数の認識段階（第１～第３の認識段階）が再び実行される。このように本発明では、認識対象物が良好な認識状態で認識されない場合には再びカメラ１１による撮影が行われるようになっており、すなわち、所定以上の良好な認識状態で認識されるまでカメラ１１による撮影が行われる。認識対象物の認識確度が低い場合には、撮影画像が得られるまでカメラによる撮影を行うようにすることで、結果的にカメラ１１の撮影回数が多くなり、これによって認識確度の高い撮影画像を取得できる確率が増加し、認識対象物を適切に認識することができるようになる。
また、画像処理制御部２１３は、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階の各段階間における移行をすぐに行うように制御する。すなわち、画像処理制御部２１３は、メータ装置Ｍｔの種別を特定する第１の認識段階に係る処理において認識対象物を適切に認識できた場合には、カメラ１１で撮影された画像の傾きを補正する第２の認識段階の処理に移行し、さらに、第２の認識段階に係る処理において認識対象物を適切に認識できた場合には、指示値標示物を含む画像の領域を特定して指示値を認識する第３の認識段階に係る処理に移行するようになっている。このように、前段階の処理を完了した場合に次の段階の処理をすぐに開始することで、カメラ１１による撮影の開始から指示値の読み取りまでの一連の処理が連続して実行され、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させることが可能となる。作業者は、カメラ１１をメータ装置Ｍｔに向けるだけで指示値の読み取りが行われる自動化を体感できるようになる。
なお、ここではステップＳ１０３において、例えば１枚の撮影画像の認識確度と閾値とを比較する単純な例を挙げているが、複数枚の撮影画像の認識確度が所定の条件を満たしたかどうかに基づく判定が行われてもよい。例えば、連続して取得した複数枚の撮影画像の認識確度がいずれも閾値以上である場合や、所定の枚数の撮影画像のうち認識確度が閾値以上であるものが所定の比率以上存在する場合等に、所定以上の良好な認識状態で認識されたと判定してもよい。
また、１つの撮影画像に複数の認識対象物が含まれている場合には、複数の認識対象物のそれぞれについて個別に、上述した図２に示すフローチャートの処理が実行されてもよい。例えば、複数の認識対象物を含む撮影画像から複数の認識対象物のそれぞれを含む領域を特定して、各々の領域において個別に認識対象物の認識を行うようにしてもよい。この場合、複数の認識対象物のすべての認識結果が確定するまで撮影画像の取得および画像認識処理が繰り返し実行される。
上述した１つの撮影画像に複数の認識対象物が含まれている場合の一例としては、後述するように、例えば４桁の指示値の各桁を認識対象物として設定する場合（図６および図７参照）や、長短２種類の指示針を認識対象物として設定する場合（図８参照）等が挙げられる。これらの場合には、複数の認識対象物のそれぞれに対して画像認識処理が行われるため、個々の認識対象物の認識結果が確定するタイミングがずれることがあり、認識結果が確定した認識対象物と未確定の認識対象物が混在した状態となることがある。このように、認識結果が確定した認識対象物と認識結果が未確定の認識対象物とが混在した状態となる点も本発明の特徴であり、この状態をディスプレイ１２上に表示することも有用であり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、作業者による作業を支援することが可能となる。
図３は、本発明の第１～第５実施形態において、メータ読み取り作業装置２０の出力態様制御部２２により実行される処理の概要を示すフローチャートである。なお、ここでは基本的な処理について説明し、より具体的な処理の適用については、特に第３～第５実施形態にて後述する。
図３には、上述した１つの撮影画像に複数の認識対象物が含まれている場合において、メータ読み取り作業装置２０の出力態様制御部２２が実行する処理の一例が示されている。図３に示すフローチャートでは説明を明瞭にするため、Ｎ個（Ｎは２以上の整数）の認識対象物が存在すると仮定し、それぞれの認識対象物をパラメータｉ（ｉは１～Ｎの整数）で識別する。
まず、出力態様制御部２２は、複数の認識対象物のそれぞれの認識結果を取得する（ステップＳ２０１）。複数の認識対象物のそれぞれの認識結果とは、例えば図２に示すフローチャートのステップＳ１０７において確定される認識結果である。図３に示すフローチャートに係る処理は、図２に示すフローチャートに係る処理と並列して実行されるものである。したがって、ステップＳ２０１で取得した認識結果は、図２に示すフローチャートに係る処理の進行状況に依存して、その認識結果が確定している場合もありまだ確定していない場合もある。
出力態様制御部２２は、ある認識対象物（ｉ＝１）を処理対象とし（ステップＳ２０３）、その認識対象物の認識結果が確定しているかどうかを判定する（ステップＳ２０５）。
その認識対象物の認識結果がまだ確定していない場合には、出力態様制御部２２は、認識結果が未確定であることを示す情報をディスプレイ１２上に表示させる（ステップＳ２０７）。一方、その認識対象物の認識結果が確定している場合には、出力態様制御部２２は、認識結果をディスプレイ１２上に表示させる。このとき、認識確度計算部２１４により認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（ステップＳ２０９）。
今回の認識確度が前回の認識確度より向上している場合には、出力態様制御部２２は、今回の認識結果を前回の認識結果に上書きする形でディスプレイ１２上に表示させる（ステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、出力態様制御部２２は、前回の認識結果をそのまま保持し、その結果、前回の認識結果の表示がディスプレイ１２上に維持される（ステップＳ２１３）。
上記の処理は、Ｎ個全ての認識対象物に対して実行される。出力態様制御部２２は、未処理の認識対象物が残っているかどうかを判断し（ステップＳ２１５）、未処理の認識対象物が残っている場合には、次の認識対象物（ｉ＝ｉ＋１）を処理対象として（ステップＳ２１７）、ステップＳ２０５以降の処理を実行する。すべての認識対象物に対する処理が完了した場合には処理は終了となるが、認識結果が未確定の認識対象物が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。
図３に示すフローチャートに係る処理は、図２に示すフローチャートに係る処理と並列して繰り返し実行され得るものであり、複数の認識対象物のそれぞれの認識状態の変化に伴って、ディスプレイ１２上の表示を変化させることができるようになっている。具体的には、例えば後述するように、指示値の各桁を認識対象物として、図６の指示値表示領域Ｐ３１～Ｐ３４や図７の指示値表示領域Ｐ４１～Ｐ４４内に指示値の各桁の認識結果を認識状態に応じて個別に表示することが可能である。また、各指示針の指示値を認識対象物として、図８の指示値表示領域Ｐ５１、Ｐ５２内に、各指示針の指示値の認識結果を認識状態に応じて個別に表示することが可能である。これにより、指示値のどの桁が認識できておりどの桁が認識できていないか、あるいは、どの指示針が認識できておりどの指示針が認識できていないかをディスプレイ１２上に表示することができ、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、作業者による作業を支援することが可能となる。
（第１実施形態）
本発明の第１実施形態について説明する。図４は、本発明の第１実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。
本発明の第１実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、１つの指示針が指し示す方向により指示値を表すアナログメータ装置であり、メータ装置Ｍｔ本体の上部に二次元コードが貼付されている。
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
このメータ装置Ｍｔに係るメータ読み取り作業では、まず第１の認識段階において、メータ装置Ｍｔの種別を特定する二次元コードを読み取る処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像から、二次元コード画像Ｐ１１を含む読み取り対象領域Ｒ１１を特定して、図４に示すように、読み取り対象領域Ｒ１１を示す略四角形の輪郭を赤線等で強調表示するガイド情報Ｇ１１をディスプレイ１２上に表示させる。このガイド情報Ｇ１１が表示されることで、作業者は、二次元コード画像Ｐ１１の認識処理の最中でありカメラ１１によって二次元コードを撮影する必要があることを把握できる。
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として二次元コードの特定および読み取り処理を行い（図２のステップＳ１０３）、二次元コードからメータ装置Ｍｔの個体識別コードを適切に読み取ることができたかどうかを判定する（図２のステップＳ１０５）。
二次元コードから個体識別コードを適切に読み取ることができた場合には、読み取られた個体識別コードを認識結果として確定して（図２のステップＳ１０７）、次の第２段階に係る処理へ移行する。一方、個体識別コードを適切に読み取ることができなかった場合には、カメラ１１の撮影画像を再び取得し、個体識別コードを適切に読み取ることができるまで上記の処理を繰り返し行う。
メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりしてもよい。認識状態には、二次元コードの存在自体が認識できていない状態や、二次元コードの存在は認識できているが個体識別コードの読み取りが適切に行われていない状態等があり、通信端末１０において、これらの認識状態を報知できるようにしてもよい。例えば、ディスプレイ１２上の画面表示において、強調表示している略四角形の輪郭の色や線種などを認識状態に応じて変化させてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。さらに、計算された認識確度も同様に画面表示および／または音声出力されてもよい。
なお、ここでは、メータ装置Ｍｔ本体に貼付されている二次元コードから読み取られる個体識別コードに基づいてメータ装置Ｍｔの種別が特定される場合を想定しているが、メータ装置Ｍｔの種別の特定は、これに限定されるものではない。例えば、メータ読み取り作業装置２０は、カラーコードやバーコードからメータ装置Ｍｔの種別を特定してもよく、メータ装置Ｍｔの指示値表示面全体の形状からパターンマッチングによってメータ装置Ｍｔの種別を特定してもよい。さらには、カメラ１１をメータ装置Ｍｔに向ける操作前に、作業者がテキスト入力したりリストから選択したりすることでメータ装置Ｍｔの種別を入力してもよい。作業者がメータ装置Ｍｔの種別を入力した場合には、カメラ１１の撮影画像からメータ装置Ｍｔの種別を特定する第１段階に係る処理は省略される。
第１の認識段階の完了後すぐに実行される第２段階においては、カメラ１１で撮影された画像の傾きを補正する処理が行われる。このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、例えば認識対象物としてずれ補正用マーカ（図２には不図示）等を認識し（図２のステップＳ１０３）、カメラ１１で撮影された画像の傾きが適切かどうかを判定する（図２のステップＳ１０５）。なお、カメラ１１で撮影された画像の傾きを補正する方法は特に限定されるものはなく、例えばパターンマッチングによって読み取り対象領域Ｒ２１の周囲に存在する要素を特定してもよく、あるいは、後述の第２実施形態において説明するように、ずれ補正用に設けられたマーカの位置から読み取り対象領域Ｒ２１を特定してもよい。
カメラ１１で撮影された画像の傾きが適切であることを認識対象物から確認できた場合には、画像の傾きが適切であることを認識結果として確定して（図２のステップＳ１０７）、次の第３段階に係る処理へ移行する。一方、カメラ１１で撮影された画像の傾きが適切であると判定できなかった場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。また、第１段階と同様に、メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
第２の認識段階の完了後すぐに実行される第３段階においては、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する処理が行われる。このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として指示値を表す指示針画像Ｐ２１の特定および指示値の読み取りを行い（図２のステップＳ１０３）、指示針の特定および指示値の読み取りが適切に行われたかどうかを判定する（図２のステップＳ１０５）。なお、指示針の特定方法および指示値の読み取り方法は特に限定されるものはなく、例えば指示針に着けられている色から指示針の存在や指示針が指し示す方向等を特定してもよい。指示針が指し示す方向に対応する指示値は、例えば、読み取り設定情報として格納されている当該メータ装置Ｍｔの目盛画像や目盛設定値等から特定することができる。
指示針の特定および指示値の読み取りが適切に行われた場合には、読み取られた指示値を認識結果として確定して（図２のステップＳ１０７）、確定した指示値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、指示針の特定および指示値の読み取りが適切に行われなかった場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。また、第１段階と同様に、メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
以上説明したように、本発明の第１実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
また、本発明の第１実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
（第２実施形態）
本発明の第２実施形態について説明する。図５は、本発明の第２実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第２実施形態では、主に、カメラ１１で撮影された画像の傾きを補正する第２段階においてマーカ画像を利用する場合について説明する。
本発明の第２実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、本発明の第１実施形態で説明したメータ装置Ｍｔと同様に、１つの指示針が指し示す方向により指示値を表すアナログメータ装置である。ただし、本発明の第２実施形態におけるメータ装置Ｍｔには、指示針を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
マーカは、指示値標示物を含む領域を示す役割に加えて、画像読み取りの際のずれを補正する際の基準としての役割を有しており、マーカの個数は３つ以上であることが好ましい。また、本発明の第２実施形態では、マーカを利用して指示値標示物を含む領域を特定するが、指示値標示物を含む領域に対して位置が相対的に固定されている任意の設置物を利用して指示値標示物を含む領域を特定してもよい。例えば、図２に示す二次元コードの四隅の位置やメータ装置Ｍｔの表示面の形状パターン等を基準として指示値標示物を含む領域を特定してもよい。
ここでは、第２段階以降の処理について説明する。第２段階においては、カメラ１１で撮影された画像の傾きを補正する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像において、図５に示すように、４つのマーカ画像Ｍ２１～Ｍ２４が表示されるべき領域を指定するガイド情報Ｇ２１～Ｇ２４をディスプレイ１２上に表示させる。このガイド情報Ｇ２１～Ｇ２４が表示されることで、作業者は、指示針を含む読み取り対象領域Ｒ２１を特定する処理の最中であり、４つのマーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように撮影する必要があることを把握できる。
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物としてマーカを認識し（図２のステップＳ１０３）、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされたかどうかを判定する（図２のステップＳ１０５）。
なお、複数のマーカ画像Ｍ２１～Ｍ２４の表示とガイド情報Ｇ２１～Ｇ２４との重なりは、必ずしも完全に一致する必要はなく、例えばマーカ画像Ｍ２１～Ｍ２４とガイド情報Ｇ２１～Ｇ２４との幾何学的な対応度合いに基づいて、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされたかどうかの判定が行われる。ここにいう「幾何学的な対応度合い」とは、例えばマーカ画像Ｍ２１～Ｍ２４のそれぞれの中心点と、ガイド情報Ｇ２１～Ｇ２４のそれぞれの中心点の位置関係との一致率であり、この一致率が所定以上の良好な状態となった場合に、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるよう位置決めされたと判定することができる。
マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされた場合には、画像の傾きが適切であることを認識結果として確定して（図２のステップＳ１０７）、次の第３段階に係る処理へ移行する。一方、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされていない場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。
このとき、メータ読み取り作業装置２０は、例えば認識状態を出力したり、マーカ画像Ｍ２１～Ｍ２４とガイド情報Ｇ２１～Ｇ２４との幾何学的な対応度合いを認識確度として計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。図５には一例として、マーカ画像Ｍ２１～Ｍ２４と同一色の背景画像Ｆが映り込んで誤認識されており、右下のマーカ画像Ｍ２４が適切に認識できていない状態が図示されている。上記の状態を作業者に通知するため、ガイド情報表示領域Ｒ２２に「色マーカが認識できません。右上領域が映らないようにしてください。」等のメッセージをガイド情報として表示することが可能である。
第２の認識段階の完了後すぐに実行される第３段階においては、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する処理が行われる。なお、本発明の第２実施形態における第３段階の処理は、上述した本発明の第１実施形態における第３段階の処理と同一であり、ここでは説明を省略する。
以上説明したように、本発明の第２実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
また、本発明の第２実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
（第３実施形態）
本発明の第３実施形態について説明する。図６は、本発明の第３実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第３実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
本発明の第３実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、４桁のメータ値をデジタル表示するデジタルメータ装置であり、メータ値標示板を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。なお、メータ値の桁数は４桁に限定されるものではなく、複数桁（２桁以上）のメータ値であってもよい。
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
ここでは、第３段階の処理について説明する。第３段階においては、メータ値標示板の画像を含む読み取り対象領域Ｒ２１を特定してメータ値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像の読み取り対象領域Ｒ２１内の画像から、メータ値標示板を含む画像を抽出するとともにメータ値の各桁の画像を更に抽出し、認識対象物として各桁の数値を個別に読み取り、図６に示すように、各桁の数値の読み取り結果をディスプレイ１２上に表示させる。１つの撮影画像内に、複数の認識対象箇所として各桁の数値の画像を含む読み取り対象領域を設定することで、複数の認識対象箇所のそれぞれに対して個別に数値の読み取り処理を行い、数値全体の読み取り処理の効率化を図ることが可能となる。なお、各桁の数値の画像を含む読み取り対象領域の設定は、例えば、メータ値を含む画像を１つの読み取り対象領域に設定し、さらにメータ値を含む画像の読み取り対象領域をメータ値の桁数（図６の例では４桁）に基づいて認識して自動で分割することで実現可能である。
例えば、メータ値の各桁（指示値の一部）に対応するとともに、全体としてメータ値（指示値全体）を表示する複数の指示値表示領域Ｐ３１～Ｐ３４をディスプレイ１２上のライブビュー画像を表示する領域内に設定し、メータ値の一部である各桁の数値の認識状態に応じて、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに、撮影画像を２値化処理することによって生成された各桁の数値を表す２値化画像を表示する。これにより、メータ値の各桁の数値の読み取りが個別に行われるとともに、各桁の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している桁位置および読み取り結果が未確定の桁位置を把握し、読み取り結果が未確定の桁位置を適切に撮影する必要があることを把握できる。また、２値化画像は、例えば写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を顕現しており、撮影画像の認識状態を端的に表していると言えるものである。２値化画像の表示により、作業者は撮影画像の認識状態を確認することが可能となり、カメラ１１の位置や姿勢を変える等の簡単な動作で撮影条件の改善を図ることが可能となる。
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、読み取り対象領域Ｒ２１において認識対象物としてデジタル数字でメータ値が表示されているメータ値標示板の画像を抽出し、さらにメータ値の各桁の画像を抽出してメータ値の各桁の数値を個別に読み取り（図２のステップＳ１０３）、メータ値の各桁の数値の読み取りが適切に行われたかどうかを桁毎に個別に判定する（図２のステップＳ１０５）。
メータ値のすべての桁の読み取りが適切に行われた場合には、読み取られたメータ値を認識結果として確定して（図２のステップＳ１０７）、確定したメータ値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、メータ値の一部の桁の読み取りが適切に行われなかった場合には、適切に読み取りが行われている桁については読み取られたメータ値を認識結果として確定したうえで、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。なお、メータ読み取り作業装置２０は、例えば認識状態を通信端末１０へ出力したり、各桁の数値の認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
また、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各桁の数値の読み取り結果を取得し（図３のステップＳ２０１）、各桁の数値毎に読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
読み取り結果がまだ確定していない桁の数値については、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に、読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している場合には、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に、その桁の数値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての桁の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の桁が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。
以上の処理により、デジタル数字で表示されているメータ値について、メータ値の桁毎に読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った桁であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各桁の数値の認識確度を計算してその認識確度を出力してもよい。例えば、各桁の数値の認識確度に応じて、各桁に対応する指示値表示領域Ｐ３１～Ｐ３４の輪郭を強調表示したり、各桁の数値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
図６には一例として、１、２、４桁目のメータ値の読み取り結果が確定している一方、３桁目の数値は画像が不鮮明であり読み取り結果が未確定である状態が図示されている。上記の状態を作業者に通知するため、ガイド情報表示領域Ｒ２２に「３桁目の数値がつぶれています。撮影向きを調整してください。」等のメッセージをガイド情報として表示したり、読み取り結果が確定している１、２、４桁目のメータ値を枠線で囲う強調表示を行ったりすることが可能である。
上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各桁画像の認識状態や読み取り結果として確定される各桁のメータ値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することでメータ値の桁毎の認識状態や読み取り結果を確認することが可能である。例えば、図６の例では、１、２、４桁目のメータ値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図６の例では、３桁目のメータ値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
また、図６には一例として、ライブビュー画像を表示する領域内の複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の読み取り結果を表す２値化画像を表示しているが、さらに、ディスプレイ１２上にカメラ１１のライブビュー画像を同時に表示してもよい。例えば、ライブビュー画像で映し出されたメータ値標示板の画像と並列して２値化画像を表示してもよく、メータ値標示板の画像の上に、各桁の読み取り結果を表す２値化画像を半透明化した状態で重畳表示してもよい。
以上説明したように、本発明の第３実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
また、本発明の第３実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、メータ値の各桁をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの桁の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
（第４実施形態）
本発明の第４実施形態について説明する。図７は、本発明の第４実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第４実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
本発明の第４実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、本発明の第３実施形態で説明したメータ装置Ｍｔと同様に、４桁のメータ値をデジタル表示するデジタルメータ装置であり、メータ値標示板を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。なお、メータ値の桁数は４桁に限定されるものではなく、複数桁（２桁以上）のメータ値であってもよい。
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
ここでは、第３段階の処理について説明する。第３段階においては、メータ値標示板の画像を含む読み取り対象領域Ｒ２１を特定してメータ値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像の読み取り対象領域Ｒ２１内の画像から、メータ値標示板を含む画像を抽出するとともにメータ値の各桁の画像を更に抽出し、認識対象物として各桁の数値を個別に読み取り、図７に示すように、各桁の数値の読み取り結果をディスプレイ１２上に表示させる。１つの撮影画像内に、複数の認識対象箇所として各桁の数値の画像を含む読み取り対象領域を設定することで、複数の認識対象箇所のそれぞれに対して個別に数値の読み取り処理を行い、数値全体の読み取り処理の効率化を図ることが可能となる。なお、各桁の数値の画像を含む読み取り対象領域の設定は、例えば、メータ値を含む画像を１つの読み取り対象領域に設定し、さらにメータ値を含む画像の読み取り対象領域をメータ値の桁数（図７の例では４桁）に基づいて認識して自動で分割することで実現可能である。
本発明の第４実施形態では、例えば、メータ値の各桁（指示値の一部）に対応するとともに、全体としてメータ値（指示値全体）を表示する複数の指示値表示領域Ｐ４１～Ｐ４４をディスプレイ１２上のライブビュー画像を表示する領域の外側（ディスプレイ１２の表示画面上部）に設定し、メータ値の一部である各桁の数値の認識状態に応じて、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の数値を表示する。これにより、メータ値の各桁の数値の読み取りが個別に行われるとともに、各桁の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している桁位置および読み取り結果が未確定の桁位置を把握し、読み取り結果が未確定の桁位置を適切に撮影する必要があることを把握できる。
本発明の第４実施形態における画像認識処理および指示値読み取り処理は、上述した本発明の第３実施形態において図２のフローチャートを参照しながら説明した処理と同一であり、ここでは説明を省略する。
メータ読み取り作業装置２０では、図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各桁の数値の読み取り結果を取得し（図３のステップＳ２０１）、各桁の数値毎に読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
読み取り結果がまだ確定していない桁の数値については、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に、例えば図７に示すように、読み取り結果が未確定であり現在読み取り処理中であることを示す回転矢印表示等の読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している桁の数値については、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に、その桁の数値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての桁の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の桁が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。
以上の処理により、デジタル数字で表示されているメータ値について、メータ値の桁毎に読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った桁であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各桁の数値の認識確度を計算してその認識確度を出力してもよい。例えば、各桁の数値の認識確度に応じて、各桁に対応する指示値表示領域Ｐ４１～Ｐ４４の輪郭を強調表示したり、各桁の数値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
図７には一例として、１、２桁目のメータ値の読み取り結果が確定している一方、３、４桁目の数値の読み取り結果が未確定である状態が図示されている。上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各桁画像の認識状態や読み取り結果として確定される各桁のメータ値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することでメータ値の桁毎の認識状態や読み取り結果を確認することが可能である。例えば、図７の例では、１、２桁目のメータ値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図７の例では、３、４桁目のメータ値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
また、図７の一例では、ライブビュー画像を表示する領域内に、撮影画像を２値化処理することによって生成された２値化画像Ｐ３０が表示される。２値化画像の表示により、作業者は撮影画像の認識状態を確認することが可能となり、カメラ１１の位置や姿勢を変える等の簡単な動作で撮影条件の改善を図ることが可能となる。
また、図７には一例として、ライブビュー画像を表示する領域に撮影画像のメータ値全体を含む２値化画像Ｐ３０が表示されているが、例えば本発明の第３実施形態と組み合わせて、ライブビュー画像を表示する領域内に複数の指示値表示領域Ｐ３１～Ｐ３４を設定し、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の読み取り結果を表す２値化画像を表示してもよい。
以上説明したように、本発明の第４実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
また、本発明の第４実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、メータ値の各桁をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの桁の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
（第５実施形態）
本発明の第５実施形態について説明する。図８は、本発明の第５実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第４実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
本発明の第５実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、２つの指示針が指し示す方向により２つの指示値を表すアナログメータ装置である。なお、指示針の数は２つに限定されるものではなく、複数（２つ以上）の数の指示針であってもよい。
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
ここでは、第３段階の処理について説明する。第３段階においては、第２段階で特定された読み取り対象領域Ｒ２１内の画像から複数の指示針が指し示す指示値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像から、読み取り対象領域Ｒ２１内の画像から複数の指示針を含む画像を特定するとともに複数の指示針画像Ｐｔ１、Ｐｔ２を更に特定し、認識対象物として複数の指示針が指し示す複数の指示値を個別に読み取り、図８に示すように、複数の指示針が指し示す複数の指示値の読み取り結果をディスプレイ１２上に表示させる。
例えば、複数の指示針が指し示す複数の指示値のそれぞれ（指示値の一部）に対応するとともに、全体として複数の指示値（指示値全体）を表示する複数の指示値表示領域Ｐ５１、Ｐ５２をディスプレイ１２上のライブビュー画像を表示する領域の外側（ディスプレイ１２の表示画面上部）に設定し、複数の指示値のそれぞれの認識状態に応じて、複数の指示値表示領域Ｐ５１、Ｐ５２のそれぞれに複数の指示値を表示する。これにより、複数の指示針が指し示す複数の指示値の読み取りが個別に行われるとともに、複数の指示値の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している指示値および読み取り結果が未確定の指示値を把握し、読み取り結果が未確定の指示値に係る指示針を適切に撮影する必要があることを把握できる。
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として複数の指示針画像Ｐｔ１、Ｐｔ２を抽出し、複数の指示針が指し示す各指示値を個別に読み取り（図２のステップＳ１０３）、各指示値の読み取りが適切に行われたかどうかを個別に判定する（図２のステップＳ１０５）。
複数の指示針が指し示す複数の指示値すべての読み取りが適切に行われた場合には、読み取られた指示値を認識結果として確定して（図２のステップＳ１０７）、確定した指示値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、複数の指示値のうちの一部の指示値の読み取りが適切に行われなかった場合には、適切に読み取りが行われている指示値については読み取られた指示値を認識結果として確定したうえで、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。なお、メータ読み取り作業装置２０は、例えば認識状態を出力したり、各指示値の数値の認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
また、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各指示値の読み取り結果を取得し（図３のステップＳ２０１）、各指示値の読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
読み取り結果がまだ確定していない指示値については、その指示値に対応する指示値表示領域Ｐ５１、Ｐ５２に、読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している指示値については、その指示値に対応する指示値表示領域Ｐ５１、Ｐ５２に、その指示値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その指示値に対応する指示値表示領域Ｐ３１～Ｐ３４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての指示値の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の指示値が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。
以上の処理により、複数の指示針が指し示す複数の指示値について、複数の指示値のそれぞれの読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った指示値であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各指示値の認識確度を計算してその認識確度を出力してもよい。例えば、各指示値の認識確度に応じて、各指示値に対応する指示値表示領域Ｐ５１、Ｐ５２の輪郭を強調表示したり、各指示値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
図８には一例として、２つの指示針のうちの一方（「メータ１」）の指示値の読み取り結果が確定している一方、他方（「メータ２」）の指示値の読み取り結果が未確定である状態が図示されている。上記の状態を作業者に通知するため、読み取り結果が確定している「メータ１」の指示値表示領域Ｐ５１には、読み取られた指示値「２９．５」を表示する一方、読み取り結果が未確定である「メータ２」の指示値表示領域Ｐ５２には「認識中」のメッセージをガイド情報として表示することが可能である。
上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各指示針が指し示す各指示値の認識状態や読み取り結果として確定される各指示値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することで各指示値の認識状態や読み取り結果を確認することが可能である。例えば、図８の例では、「メータ１」の指示値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図８の例では、「メータ２」の指示値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
以上説明したように、本発明の第５実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
また、本発明の第５実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、複数の指示針が指し示す各指示値をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの指示針の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
なお、上述の各実施形態において例示したメータ装置Ｍｔは一例に過ぎない。図９には、例えばデジタルメータ装置Ｍｔａ～Ｍｔｃ、回転式メータ装置Ｍｔｄ、指示針を持つアナログメータ装置Ｍｔｅ、Ｍｔｆ、棒状温度計Ｍｔｇ、フロートメータ装置Ｍｔｈの多様なメータ装置Ｍｔａ～Ｍｔｈが図示されている。各メータ装置Ｍｔａ～Ｍｔｈはいずれも読み取り対象領域（指示値標示域）Ｚａ～Ｚｈを有している。本発明によれば、作業者が各種メータ装置Ｍｔの設置場所を巡回し、設置場所ごとに異なる種類のメータ装置Ｍｔ（例えば、図９に示すメータ装置Ｍｔａ～Ｍｔｈを含む各種メータ装置Ｍｔ）をカメラ１１で撮影することで、様々な場所に設置されている様々なメータ装置Ｍｔのメータ読み取り作業を行うことが可能となる。
本発明は、上記の実施の形態や変形例に限定されるものではなく、本発明の技術的思想を逸脱しない範囲における種々の変形例および設計変更等をその技術的範囲に包含するものである。
以上説明したように、本発明は、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするという効果を有し、メータ読み取り作業装置および方法ならびにメータ読み取り作業システム全般に有用である。
１ メータ読み取り作業システム
１０ 通信端末
１１ カメラ
１２ ディスプレイ
１３ スピーカ
２０ メータ読み取り作業装置
２１ メータ読み取り部
２２ 出力態様制御部
２３ 情報出力部
２４ 読み取り設定情報格納部
２１１ 画像取得部
２１２ 画像認識部
２１３ 画像処理制御部
２１４ 認識確度計算部
Ｆ 背景画像
Ｇ１１、Ｇ２１～Ｇ２４ ガイド情報
Ｍ２１～Ｍ２４ マーカ画像Ｍ
Ｍｔ、Ｍｔａ～Ｍｔｈ メータ装置
Ｒ２２ ガイド情報表示領域
Ｒ１１、Ｒ２１、Ｚ、Ｚａ～Ｚｈ 読み取り対象領域
Ｐ１１ 二次元コード画像
Ｐ２１ 指示針画像
Ｐ３０ メータ値全体を含む２値化画像
Ｐ３１～Ｐ３４、Ｐ４１～Ｐ４４、Ｐ５１、Ｐ５２ 指示値表示領域
Ｐｔ１、Ｐｔ２ 指示針画像

Claims (9)

  1. メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置であって、
    移動可能なカメラで撮影された前記メータ装置の読み取り対象領域の画像を取得する画像取得部と、
    前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部と、
    前記カメラの操作者が視認可能なディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部と、を備え、
    前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り装置。
  2. 前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記画像認識部が、前記メータ値を含む画像を読み取り対象領域に設定するとともに、前記メータ値を含む画像の読み取り対象領域を前記メータ値の桁数に基づいて自動で分割することで、前記メータ値の各桁の数値の画像を含む複数の読み取り対象領域を設定することを特徴とする請求項１に記載のメータ読み取り作業装置。
  3. 前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記出力態様制御部は、前記メータ値の各桁の認識状態を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする請求項１または２に記載のメータ読み取り作業装置。
  4. 前記出力態様制御部は、前記メータ値の撮影画像から認識される前記メータ値の各桁の読み取り結果を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする請求項３に記載のメータ読み取り作業装置。
  5. 前記メータ装置が複数の指示値標示物の位置により複数の数値を指示するアナログメータ装置であり、前記出力態様制御部は、前記複数の指示値標示物が指示する前記複数の数値の認識状態のそれぞれを前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする請求項１に記載のメータ読み取り作業装置。
  6. 前記アナログメータ装置は前記複数の指示値標示物として複数の指示針を備えており、前記複数の指示針のそれぞれが示す目盛位置により前記複数の数値が特定されることを特徴とする請求項５に記載のメータ読み取り作業装置。
  7. 前記カメラの撮影の開始から該撮影された画像を前記メータ装置の指示値を読み取り可能に認識するまでの複数段階のうちの所定段階において、前記読み取り対象領域の画像に含まれる認識対象物の認識状態が所定以上の良好な認識状態となる画像が撮影されなかった場合には、所定以上の良好な認識状態となる画像が撮影されるまで前記カメラによる前記読み取り対象領域の撮影を行うよう制御する画像処理制御部と、を備えることを特徴とする請求項１ないし６のいずれか１項に記載のメータ読み取り作業装置。
  8. メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を支援するメータ読み取り作業方法であって、
    前記メータ装置を撮影する移動可能なカメラと、少なくとも前記カメラの撮影画像を表示可能なディスプレイとを準備するとともに、
    前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、
    前記カメラの撮影画像から認識される前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するものであって、
    前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り作業方法。
  9. メータ装置の読み取り対象領域の画像を撮影するカメラと、
    操作者が視認可能なディスプレイと、
    前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置と、を有するメータ読み取り作業システムであって、
    前記メータ読み取り作業装置は、
    前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像を取得する画像取得部と、
    前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部と、
    前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部と、
    を備え、
    前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り作業システム。
JP2023051859A 2019-03-29 2023-03-28 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム Active JP7408865B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023051859A JP7408865B2 (ja) 2019-03-29 2023-03-28 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019066911A JP7253957B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム
JP2023051859A JP7408865B2 (ja) 2019-03-29 2023-03-28 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019066911A Division JP7253957B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Publications (2)

Publication Number Publication Date
JP2023080125A true JP2023080125A (ja) 2023-06-08
JP7408865B2 JP7408865B2 (ja) 2024-01-05

Family

ID=72717472

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019066911A Active JP7253957B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム
JP2023051859A Active JP7408865B2 (ja) 2019-03-29 2023-03-28 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019066911A Active JP7253957B2 (ja) 2019-03-29 2019-03-29 メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Country Status (1)

Country Link
JP (2) JP7253957B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7463263B2 (ja) * 2020-12-10 2024-04-08 株式会社日立ビルシステム 保守作業遠隔管理サーバおよび保守作業遠隔管理方法
WO2022180963A1 (ja) * 2021-02-25 2022-09-01 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体
CN114179110A (zh) * 2021-12-31 2022-03-15 国家石油天然气管网集团有限公司 一种巡检机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288780A (ja) 2001-03-28 2002-10-04 Mitsubishi Electric Corp メータ自動読取装置およびそれを利用した計測システム
JP4592311B2 (ja) 2004-03-23 2010-12-01 中国電力株式会社 指示値認識方法、指示値認識システム、指示値認識プログラム、指示値認識プログラムを記録した記録媒体
JP4498203B2 (ja) 2005-04-27 2010-07-07 中国電力株式会社 メータ認識システム、メータ認識方法、およびメータ認識プログラム
JP5601250B2 (ja) 2011-03-08 2014-10-08 富士通株式会社 画像データの処理方法、プログラム、および端末装置
JP2017188049A (ja) 2016-04-08 2017-10-12 株式会社東芝 点検支援端末、点検支援方法及びプログラム
JP6804292B2 (ja) 2016-12-28 2020-12-23 オムロンヘルスケア株式会社 端末装置

Also Published As

Publication number Publication date
JP2020166587A (ja) 2020-10-08
JP7408865B2 (ja) 2024-01-05
JP7253957B2 (ja) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7408865B2 (ja) メータ読み取り作業装置および方法ならびにメータ読み取り作業システム
US9491370B2 (en) Methods and apparatuses for providing guide information for a camera
JP6260620B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP2928180A1 (en) Image processing apparatus, method for controlling image processing apparatus and program
US7286725B2 (en) Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method
JP6514390B1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN112640415B (zh) 仪表读取装置、抄表系统和存储介质
CN112639901A (zh) 仪表读取装置、仪表读取方法和计算机程序
CN114063769A (zh) 用于工业增强现实应用的快速激活技术
JP5152281B2 (ja) 画像処理装置、方法及びプログラム
CN108198226B (zh) 一种陶瓷颜色识别方法、电子设备、存储介质及装置
JP2020160691A (ja) 遠隔メータ読取コンピュータ、その方法及びプログラム
US11842452B2 (en) Portable display device with overlaid virtual information
JP7248483B2 (ja) メータ読み取り作業装置および方法ならびにメータ読み取り作業支援システム
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019197537A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP7450319B2 (ja) 既設盤現地調査システム
JP7013612B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及びコンピュータ装置
CN111435511A (zh) 订单处理方法、装置、设备、系统及可读存储介质
JP2020057298A (ja) 判定装置、判定方法及び判定プログラム
KR102243505B1 (ko) 강재 정보 처리 장치 및 그 방법
JP7290498B2 (ja) デジタル表示読取装置及びプログラム
WO2024018973A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
US11170507B2 (en) Image processing apparatus, method and program
JP2023084389A (ja) 更新盤設計支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231220

R150 Certificate of patent or registration of utility model

Ref document number: 7408865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150