JP2020181464A - メータ読取システム、メータ読取方法及びプログラム - Google Patents
メータ読取システム、メータ読取方法及びプログラム Download PDFInfo
- Publication number
- JP2020181464A JP2020181464A JP2019085398A JP2019085398A JP2020181464A JP 2020181464 A JP2020181464 A JP 2020181464A JP 2019085398 A JP2019085398 A JP 2019085398A JP 2019085398 A JP2019085398 A JP 2019085398A JP 2020181464 A JP2020181464 A JP 2020181464A
- Authority
- JP
- Japan
- Prior art keywords
- meter
- reading
- image
- angle
- start point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
- Image Analysis (AREA)
Abstract
【課題】メータの値を人による目視に頼ることなくより正確に読み取り可能であり、かつ読取画像に対する前処理量を低減したメータ読取システムを提供する。【解決手段】メータを撮像したメータ画像を取得する取得手段と、該取得手段が取得したメータ画像からメータが示す測定値を読み取る読取手段と、を備え、メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して目盛りを指し示す回転式の指針と、を備えたアナログ式メータであり、メータにおける目盛りの始点及び終点と、始点及び終点における各測定値と、を設定させる設定手段と、設定された始点及び終点間の回転中心を基準とした角度及び各測定値に基づいて、メータにおける単位角度あたりの基準測定値を算出する基準値算出手段と、を備え、読取手段は、取得手段が取得したメータ画像における指針の始点からの角度と、基準測定値と、に基づいてメータが示す測定値を算出する。【選択図】図9
Description
本発明は、メータの値を自動で読み取るメータ読取システムに関する。
工場や家庭には、温度計や湿度計、電流計などいったアナログメータや、電気メータ、ガスメータ、水道メータなど文字盤が回転する回転式メータ、セグ液晶を備えたデジタルメータなど様々なタイプのメータが設置されている。
これらのメータの値を記録、管理して、電気やガスなどの使用量の推移や、工場内での環境変化の把握など様々な用途に利用したいという要望がある。
従来、メータの値を記録する場合、アナログメータの指針が指し示す値や、回転式メータの文字盤の値、セグ液晶に表示される数値などを、読み取りを行う者(工場の担当者、検針業者、居住者など)が目視で読み取り、読み取った数値をメータの値としてデータベースに登録するなどしていた。
しかしながら、工場などに設置されるメータの数が多い場合や、検針業者が各家庭に設置されたメータ類を巡回して読み取っていくようなケースでは、人による目視に頼ったメータ読み取りは非常に煩雑であるとともに負担が大きい。
また、目視での読み取りの場合、値の読み間違えが発生する懸念があり、特にアナログメータの場合、値と値の間などの針がどの値を指しているか読み取りを行う者によって解釈が分かれる場合もがある。その結果、必ずしも正確にメータの値を記録できない場合があった。
これらのメータの値を記録、管理して、電気やガスなどの使用量の推移や、工場内での環境変化の把握など様々な用途に利用したいという要望がある。
従来、メータの値を記録する場合、アナログメータの指針が指し示す値や、回転式メータの文字盤の値、セグ液晶に表示される数値などを、読み取りを行う者(工場の担当者、検針業者、居住者など)が目視で読み取り、読み取った数値をメータの値としてデータベースに登録するなどしていた。
しかしながら、工場などに設置されるメータの数が多い場合や、検針業者が各家庭に設置されたメータ類を巡回して読み取っていくようなケースでは、人による目視に頼ったメータ読み取りは非常に煩雑であるとともに負担が大きい。
また、目視での読み取りの場合、値の読み間違えが発生する懸念があり、特にアナログメータの場合、値と値の間などの針がどの値を指しているか読み取りを行う者によって解釈が分かれる場合もがある。その結果、必ずしも正確にメータの値を記録できない場合があった。
それに対し、人による目視に頼るのではなく、メータの値を自動的に読み取るための読取装置が各種提案されている。
特許文献1、特許文献2には、アナログメータを読み取るための読取装置が開示されている。
これらの文献に開示の技術では、メータを撮像した撮像画像に対して画像認識を行う。撮像画像内で認識される指針と、目盛りを表す円弧との関係性(交点)に基づいて指示値を読みとる。
そして、メータを撮像するうえで避けがたい、針の影や画像の傾きによる読み取り誤差を避けるために、様々な前処理を行う。
特許文献1の読取装置では、制御部は、メータの2次元画像データにおいて、読取装置のカメラからみて、メータの指針と常に重なる仮想線を固定面上に設定し、その仮想線に対応する輝度データや色差信号を含む1次元データを抽出する。仮想線は例えば、指針の回転中心を中心とする円弧状の線である。
制御部は、この1次元データに基づいて、指針に対応する仮想線上の画素位置を決定し、指針の指示値を判定する。
なお、太陽光などで文字盤上に指針の影ができると、1次元データにおいて、指針と影の画素が区別しにくくなるため、メータを照らす光とは異なる光源(レーザ光)を用いて、仮想線と同心円となる軌跡が生まれるように照射を行うことで、指針と影の画素が区別して、指針に対応する仮想線上の画素位置を決定し易くする。
影の位置のレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にあるのに対し、指針におけるレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にはない(指針と文字盤との間に距離があるため)。指針の位置ではレーザ光が検出されず、影の位置ではレーザ光が検出されるため、文字盤上のレーザ光の軌跡となるべき円弧に沿った1次元データでは、指針の位置における輝度信号、色差信号、および/またはその両方が、他の部分のものとは異なった値となる。よって、1次元データにおいて、指針と影の画素が区別しやすくなる。
また、特許文献2の針式メータ検出装置においては、線状画像生成部は、入力画像に対して例えば二値化処理を施し、さらに二値化画像から、針の色に相当する画素値を持つ線状画像を生成する。線抽出部は、線状画像にハフ変換や確率的ハフ変換等を施して、線を抽出する。針線選択部は、画像中の針式メータの回転中心点と、線抽出部で抽出された線(抽出線)の情報(位置および長さもしくは形状)とを基に、抽出線の中から針に相当する線(針線)を選択する。
さらに、針角度算出部は、針線選択部により選択された針線の角度を算出する。針角度算出部は、画像の幅方向、高さ方向をx座標、y座標とする画像系において、画像を解析し、あらかじめ定められた基準線に対する針線の角度を算出する。
特許文献2ではさらに、撮像時に傾いたメータ画像が入力された場合に傾き補正を行ったうえで針角度を算出する。メータを正面から撮像したDB画像と呼ぶ画像を用意し、傾いて撮像されたメータ画像から抽出した特徴点の組み合わせを、基準となるDB画像と比較することで、画像の傾きを補正するためのパラメータを求める。針角度算出部は、求められたパラメータを用いて画像の傾き補正を行ったうえで、針角度を算出する。
また、特許文献3には、アナログメータ、デジタルメータを読み取る装置が開示されている。
特許文献3において、アナログメータを撮像した画像は2値化され、あらかじめ設定された指針パターンとパターンマッチングを行うことによって、アナログメータの指示値が読み取られる。デジタルメータについては、撮影した画像内の数値を縦方向、横方向のセグメント化に分割し、セグメントのON/OFFの情報として読み取る。
特許文献1、特許文献2には、アナログメータを読み取るための読取装置が開示されている。
これらの文献に開示の技術では、メータを撮像した撮像画像に対して画像認識を行う。撮像画像内で認識される指針と、目盛りを表す円弧との関係性(交点)に基づいて指示値を読みとる。
そして、メータを撮像するうえで避けがたい、針の影や画像の傾きによる読み取り誤差を避けるために、様々な前処理を行う。
特許文献1の読取装置では、制御部は、メータの2次元画像データにおいて、読取装置のカメラからみて、メータの指針と常に重なる仮想線を固定面上に設定し、その仮想線に対応する輝度データや色差信号を含む1次元データを抽出する。仮想線は例えば、指針の回転中心を中心とする円弧状の線である。
制御部は、この1次元データに基づいて、指針に対応する仮想線上の画素位置を決定し、指針の指示値を判定する。
なお、太陽光などで文字盤上に指針の影ができると、1次元データにおいて、指針と影の画素が区別しにくくなるため、メータを照らす光とは異なる光源(レーザ光)を用いて、仮想線と同心円となる軌跡が生まれるように照射を行うことで、指針と影の画素が区別して、指針に対応する仮想線上の画素位置を決定し易くする。
影の位置のレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にあるのに対し、指針におけるレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にはない(指針と文字盤との間に距離があるため)。指針の位置ではレーザ光が検出されず、影の位置ではレーザ光が検出されるため、文字盤上のレーザ光の軌跡となるべき円弧に沿った1次元データでは、指針の位置における輝度信号、色差信号、および/またはその両方が、他の部分のものとは異なった値となる。よって、1次元データにおいて、指針と影の画素が区別しやすくなる。
また、特許文献2の針式メータ検出装置においては、線状画像生成部は、入力画像に対して例えば二値化処理を施し、さらに二値化画像から、針の色に相当する画素値を持つ線状画像を生成する。線抽出部は、線状画像にハフ変換や確率的ハフ変換等を施して、線を抽出する。針線選択部は、画像中の針式メータの回転中心点と、線抽出部で抽出された線(抽出線)の情報(位置および長さもしくは形状)とを基に、抽出線の中から針に相当する線(針線)を選択する。
さらに、針角度算出部は、針線選択部により選択された針線の角度を算出する。針角度算出部は、画像の幅方向、高さ方向をx座標、y座標とする画像系において、画像を解析し、あらかじめ定められた基準線に対する針線の角度を算出する。
特許文献2ではさらに、撮像時に傾いたメータ画像が入力された場合に傾き補正を行ったうえで針角度を算出する。メータを正面から撮像したDB画像と呼ぶ画像を用意し、傾いて撮像されたメータ画像から抽出した特徴点の組み合わせを、基準となるDB画像と比較することで、画像の傾きを補正するためのパラメータを求める。針角度算出部は、求められたパラメータを用いて画像の傾き補正を行ったうえで、針角度を算出する。
また、特許文献3には、アナログメータ、デジタルメータを読み取る装置が開示されている。
特許文献3において、アナログメータを撮像した画像は2値化され、あらかじめ設定された指針パターンとパターンマッチングを行うことによって、アナログメータの指示値が読み取られる。デジタルメータについては、撮影した画像内の数値を縦方向、横方向のセグメント化に分割し、セグメントのON/OFFの情報として読み取る。
上記の特許文献に開示されている読取装置や検針装置によっては、人による目視による比べて正確にメータの値を読み取り、記録することが出来る。
しかしながら、メータを撮像する時の角度、影の影響を防ぐために画像に対する前処理が必要であって煩雑である。
本発明は上記の問題点を鑑みてなされたものであり、メータの測定値を人による目視に頼ることなくより正確に読み取り可能であり、かつ読取画像に対する前処理量を低減したメータ読取システムを提供することを目的とする。
しかしながら、メータを撮像する時の角度、影の影響を防ぐために画像に対する前処理が必要であって煩雑である。
本発明は上記の問題点を鑑みてなされたものであり、メータの測定値を人による目視に頼ることなくより正確に読み取り可能であり、かつ読取画像に対する前処理量を低減したメータ読取システムを提供することを目的とする。
上記の課題を解決するために、本発明は、メータが示す測定値を読み取るメータ読取システムであって、前記メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、前記メータにおける前記目盛りの始点及び終点と、前記始点及び前記終点における各測定値とを予め設定させる設定手段と、設定された前記始点及び前記終点間の前記回転中心を基準とした角度及び前記各測定値に基づいて、前記メータにおける単位角度あたりの単位測定値を算出する基準値算出手段と、前記メータを撮像したメータ画像を取得する取得手段と、前記取得手段が取得した前記メータ画像における前記指針の前記始点からの角度と、前記単位測定値と、に基づいて前記メータが示す測定値を算出する読取手段と、を備えることを特徴とする。
上記のように構成することにより、本発明によれば、メータの値を人による目視に頼ることなく正確に読み取り可能なメータ読み取りシステムを実現することが出来る。
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
本実施形態に係るシステムは、家庭や工場、ビルなどに設置された各種のメータを自動的に読み取って、読み取り値(メータの測定値)を帳簿データベースに登録するためのメータ読み取りシステムである。
本実施形態に係るシステムは、家庭や工場、ビルなどに設置された各種のメータを自動的に読み取って、読み取り値(メータの測定値)を帳簿データベースに登録するためのメータ読み取りシステムである。
図1は、本実施形態に係るメータ読み取りシステムのシステム構成を示す図である。
図1に示すように、メータ読み取りシステム1は、例えば工場や家庭などに設置されたメータと、カメラを備えてメータの画像(メータ画像)を撮像して送信可能な携帯情報端末(スマートフォンなど)10と、携帯情報端末から送信されたメータ画像を受信してメータ値の読み取りを行い、帳簿データベース(図13)に登録するメータ管理サーバ20と、を備えている。
メータ管理サーバ20は、例えばインターネット上に公開されており、アクセスポイントを経由してインターネットに接続する携帯情報端末10と通信可能となっている。あるいは、メータ管理サーバ20はファイヤウォール内、すなわち社内LANやイントラネット上に設置されていてもよい。
図1に示すように、メータ読み取りシステム1は、例えば工場や家庭などに設置されたメータと、カメラを備えてメータの画像(メータ画像)を撮像して送信可能な携帯情報端末(スマートフォンなど)10と、携帯情報端末から送信されたメータ画像を受信してメータ値の読み取りを行い、帳簿データベース(図13)に登録するメータ管理サーバ20と、を備えている。
メータ管理サーバ20は、例えばインターネット上に公開されており、アクセスポイントを経由してインターネットに接続する携帯情報端末10と通信可能となっている。あるいは、メータ管理サーバ20はファイヤウォール内、すなわち社内LANやイントラネット上に設置されていてもよい。
本システムにおける読み取りの対象となるメータは、目盛りと指針によって測定値を表すアナログメータ、7セグ液晶によって測定値を示すデジタルメータ、数値が刻印あるいは印字された複数の回転ダイヤルによって測定値を示す回転式メータ、その他目盛りの間隔が一定ではない電流計タイプのメータ等を含む。
本実施形態のシステムは、このようなメータをスマートフォンなどで撮像したメータ画像に基づいて、メータの測定値を自動的に読み取り、メータ管理サーバ20で管理する。メータ画像を用いた測定値の読み取りには、ディープラーニングの手法を用いることが出来る。
本実施形態のシステムは、このようなメータをスマートフォンなどで撮像したメータ画像に基づいて、メータの測定値を自動的に読み取り、メータ管理サーバ20で管理する。メータ画像を用いた測定値の読み取りには、ディープラーニングの手法を用いることが出来る。
なお、メータ画像に基づく測定値の認識(読み取り)は、画像を撮像した携帯情報端末10のアプリ上で行われてもよいし、メータ画像をアップロードしたメータ管理サーバ20上で行われてもよい。
読み取られた測定値は、メータ毎に紐付けされてメータ管理サーバ20の帳簿データベース(図13)に格納される。
メータ管理サーバ20は、利用者からのアクセスに応じて、帳簿データベースに格納される測定値を、利用者毎、メータ毎のグラフとして提示することが出来る。
読み取られた測定値は、メータ毎に紐付けされてメータ管理サーバ20の帳簿データベース(図13)に格納される。
メータ管理サーバ20は、利用者からのアクセスに応じて、帳簿データベースに格納される測定値を、利用者毎、メータ毎のグラフとして提示することが出来る。
図2は、本実施形態のメータ読み取りシステムを構成する携帯情報端末の機能構成を示す図であり、(a)はハードウェア構成を示す機能ブロック図、(b)はソフトウェアによる機能構成を示すブロック図である。
図2(a)に示すように、携帯情報端末(スマートフォン)20は、装置全体の制御を行うオペレーティングシステム(iOS、Android等)ともにメータ読取アプリを実行するアプリケーションプロセッサ(以下、単にプロセッサ)12と、プロセッサ12による処理のために各種のプログラムや一時データ、変数が展開されるRAM(Random Access Memory)13と、プログラムやデータが格納される記憶部としてのフラッシュメモリ(フラッシュROM)14と、を備えている。
図2(a)に示すように、携帯情報端末(スマートフォン)20は、装置全体の制御を行うオペレーティングシステム(iOS、Android等)ともにメータ読取アプリを実行するアプリケーションプロセッサ(以下、単にプロセッサ)12と、プロセッサ12による処理のために各種のプログラムや一時データ、変数が展開されるRAM(Random Access Memory)13と、プログラムやデータが格納される記憶部としてのフラッシュメモリ(フラッシュROM)14と、を備えている。
また、携帯情報端末10は、不図示のアンテナと、無線通信を行うためのモデムやベースバンド部を含む無線部15と、カメラ17、タッチパネルを前面側に備えたディスプレイ16と、を備えている。
プロセッサ12には、主に演算処理を行うCPU、主に描画処理を行うGPUが内蔵されている。
プロセッサ12、RAM13、フラッシュROM14、無線部15は、単一のSoC(System on Chip)11として統合されている。
プロセッサ12には、主に演算処理を行うCPU、主に描画処理を行うGPUが内蔵されている。
プロセッサ12、RAM13、フラッシュROM14、無線部15は、単一のSoC(System on Chip)11として統合されている。
図2(b)に示すように、プロセッサ12は、本実施形態のメータ読み取りに関連する機能として、メータ画像撮像処理部51、メータ画像送信処理部52、コード読取処理部53、コード表示処理部54、通信制御部55を備えている。
メータ画像撮像処理部51は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、メータの画像(メータ画像)を撮像する処理を行う処理部である。
メータ画像送信処理部52は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、撮像したメータ画像を、メータ管理サーバ20に送信(アップロード)する処理を行う処理部である。
コード読取処理部53は、メータ画像撮像処理部51が撮像したメータ画像に含まれるQRコード(登録商標)を読み取り、メータの識別情報を取得する処理を行う処理部である。
メータ画像撮像処理部51は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、メータの画像(メータ画像)を撮像する処理を行う処理部である。
メータ画像送信処理部52は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、撮像したメータ画像を、メータ管理サーバ20に送信(アップロード)する処理を行う処理部である。
コード読取処理部53は、メータ画像撮像処理部51が撮像したメータ画像に含まれるQRコード(登録商標)を読み取り、メータの識別情報を取得する処理を行う処理部である。
メータ画像送信処理部52は、メータ画像をメータ管理サーバ20に送信する際、コード読取処理部53がQRコード(登録商標)から取得した識別情報も合わせて送信する。
後述するように、メータ管理サーバ20の帳簿デーベースには、メータが識別情報に関連づけられて管理されている。
メータ画像とともに識別情報が送信されることで、メータ画像送信処理部52側でメータを特定し、同メータについて継続的に測定値を蓄積していくことが出来る。
利用者としても、メータ画像を撮像するだけで、同時にQRコード(登録商標)が撮像され、識別情報が取得されるので、別途、メータを特定するための作業や操作が必要なく非常に便利である。
後述するように、メータ管理サーバ20の帳簿デーベースには、メータが識別情報に関連づけられて管理されている。
メータ画像とともに識別情報が送信されることで、メータ画像送信処理部52側でメータを特定し、同メータについて継続的に測定値を蓄積していくことが出来る。
利用者としても、メータ画像を撮像するだけで、同時にQRコード(登録商標)が撮像され、識別情報が取得されるので、別途、メータを特定するための作業や操作が必要なく非常に便利である。
コード表示処理部54は、下記に説明するようにメータを一意に識別する情報を含むQRコード(登録商標)を含まないメータ画像をメータ管理サーバ20にアップロードすることによってメータ管理サーバ20で付与されたQRコード(登録商標)をディスプレイ16上に表示し、印刷等のために外部出力を実行する処理を行う処理部である。
また、通信制御部55は、無線部15を制御して携帯情報端末10をネットワークに接続するための処理を行う。
また、通信制御部55は、無線部15を制御して携帯情報端末10をネットワークに接続するための処理を行う。
なお、上記したように、メータ画像を用いたメータの測定値の読み取りを、メータ管理サーバ20で行うのではなく、携帯情報端末10で行うように構成してもよい。
その場合、携帯情報端末10は、後述するメータ管理サーバ20が備えるメータ値読み取り処理部63と同等の処理部を備える。
また、携帯情報端末10は、読み取った測定値を、QRコード(登録商標)に基づく識別情報とともにメータ管理サーバ20に送信する。なお、測定値の読み取りを携帯情報端末10で行う場合でもあっても、メータ管理サーバ20で管理して参照可能とするために、撮像したメータ画像がメータ管理サーバ20にアップロードされることが望ましい。
その場合、携帯情報端末10は、後述するメータ管理サーバ20が備えるメータ値読み取り処理部63と同等の処理部を備える。
また、携帯情報端末10は、読み取った測定値を、QRコード(登録商標)に基づく識別情報とともにメータ管理サーバ20に送信する。なお、測定値の読み取りを携帯情報端末10で行う場合でもあっても、メータ管理サーバ20で管理して参照可能とするために、撮像したメータ画像がメータ管理サーバ20にアップロードされることが望ましい。
図3は、本実施形態のメータ読み取りシステムを構成するメータ管理サーバの機能構成を示す図であり、(a)はハードウェア構成を示す機能ブロック図、(b)はソフトウェアによる機能構成を示すブロック図である。
図3(a)に示すように、メータ管理サーバ20は、装置全体の制御を行う汎用のオペレーティングシステムを実行するともメータ管理処理を実現するプログラムを実行するCPU(Central Processing Unit)21と、CPU21による処理のために各種のプログラムや一時データ、変数が展開されるRAM(Random Access Memory)22と、プログラムやデータが格納される記憶部23としてのHDD(Hard Disk Drive)や不図示のROM(Read Only Memory)を備えている。記憶部23としては、HDDに限らず、SSD(Solid State Drive)等を用いてもよい。
図3(a)に示すように、メータ管理サーバ20は、装置全体の制御を行う汎用のオペレーティングシステムを実行するともメータ管理処理を実現するプログラムを実行するCPU(Central Processing Unit)21と、CPU21による処理のために各種のプログラムや一時データ、変数が展開されるRAM(Random Access Memory)22と、プログラムやデータが格納される記憶部23としてのHDD(Hard Disk Drive)や不図示のROM(Read Only Memory)を備えている。記憶部23としては、HDDに限らず、SSD(Solid State Drive)等を用いてもよい。
記憶部23には、帳簿データベースや学習モデル、メータ画像が格納されている。
帳簿データベース自体は、メータ管理サーバ20自体とは異なるハードウェアに格納されていてももちろんよく、ネットワークを介して接続可能なデータベースサーバに格納されていてもよい。
また、メータ管理サーバ20は、ネットワークに接続するためのイーサネット(登録商標)アダプタなどのネットワークインターフェイス14と、液晶モニタ等の表示装置と、キーボードやマウス等の入力装置(何れも不図示)と、を備えている。
帳簿データベース自体は、メータ管理サーバ20自体とは異なるハードウェアに格納されていてももちろんよく、ネットワークを介して接続可能なデータベースサーバに格納されていてもよい。
また、メータ管理サーバ20は、ネットワークに接続するためのイーサネット(登録商標)アダプタなどのネットワークインターフェイス14と、液晶モニタ等の表示装置と、キーボードやマウス等の入力装置(何れも不図示)と、を備えている。
図3(b)に示すように、CPU21は、処理部として、学習モデル生成処理部61、メータ画像受信処理部62、メータ値読み取り処理部63、データベース管理処理部64、グラフ生成処理部65、情報公開処理部66、通信制御部67を実行する。
また、記憶部23には、学習モデル記憶部71、メータ画像記憶部72、帳簿データベース73が設定されている。
学習モデル生成処理部61は、収集された大量のメータ画像に対してディープラーニングによるパターン学習を行い、学習モデル(分類モデル)を生成する処理を行う処理である。生成された学習モデルは、学習モデル記憶部71に格納される。
また、記憶部23には、学習モデル記憶部71、メータ画像記憶部72、帳簿データベース73が設定されている。
学習モデル生成処理部61は、収集された大量のメータ画像に対してディープラーニングによるパターン学習を行い、学習モデル(分類モデル)を生成する処理を行う処理である。生成された学習モデルは、学習モデル記憶部71に格納される。
メータ画像受信処理部62は、携帯情報端末10から、メータ画像を受信する処理を行う処理部(取得手段)である。受信したメータ画像は、メータ画像記憶部72に格納される。
メータ値読み取り処理部63は、携帯情報端末10から受信したメータ画像に上記分類モデルを適用してメータの測定値の読み取りを行う処理部である。読み取られた測定値は、帳簿データベース73(読み取り値記憶部)に格納される。
データベース管理処理部64は、帳簿データベースを管理する処理部である。
メータ値読み取り処理部63が読みとった測定値をメータごと、利用者ごとに帳簿データベースに格納する。また、新規のメータが登録された場合や、識別情報が含まれないメータ画像が送信されてきた場合には、識別情報を新たに生成して携帯情報端末10に供給することが出来る。
グラフ生成処理部65は、帳簿データベース73に格納されている測定値の情報を時系列に沿ってプロットした測定グラフを生成する処理を行う処理部である。
メータ値読み取り処理部63は、携帯情報端末10から受信したメータ画像に上記分類モデルを適用してメータの測定値の読み取りを行う処理部である。読み取られた測定値は、帳簿データベース73(読み取り値記憶部)に格納される。
データベース管理処理部64は、帳簿データベースを管理する処理部である。
メータ値読み取り処理部63が読みとった測定値をメータごと、利用者ごとに帳簿データベースに格納する。また、新規のメータが登録された場合や、識別情報が含まれないメータ画像が送信されてきた場合には、識別情報を新たに生成して携帯情報端末10に供給することが出来る。
グラフ生成処理部65は、帳簿データベース73に格納されている測定値の情報を時系列に沿ってプロットした測定グラフを生成する処理を行う処理部である。
情報公開処理部66は、いわゆるウェブサーバとしての機能を有し、携帯情報端末10からの要求に応じて、グラフ生成処理部65が生成した測定グラフを表示するためのHTML(HyperText Markup Language)ページを送信する処理を行う処理部である。
情報公開処理部66(ウェブサーバ)は、携帯情報端末10からの初期設定操作を受け付ける設定手段としても機能する。
また、情報公開処理部66は、測定グラフにおいて測定値がダブルクリックやタップ等されると、メータ画像記憶部72に格納されている、対応するメータ画像(生データ)を表示する。
情報公開処理部66(ウェブサーバ)は、携帯情報端末10からの初期設定操作を受け付ける設定手段としても機能する。
また、情報公開処理部66は、測定グラフにおいて測定値がダブルクリックやタップ等されると、メータ画像記憶部72に格納されている、対応するメータ画像(生データ)を表示する。
また、測定グラフに表示される測定値に誤りがあった場合、情報公開処理部66は、HMTLページを介した利用者による修正値の入力を受け入れ、データベース管理処理部64に帳簿データベース73の値を修正させることが出来る。
通信制御部67は、ネットワークインターフェイス24を制御してメータ管理サーバ20をネットワークに接続するための処理を行う処理部である。
通信制御部67は、ネットワークインターフェイス24を制御してメータ管理サーバ20をネットワークに接続するための処理を行う処理部である。
図4は、本実施形態のシステムにおける、読み取り対象となるメータの登録処理を説明する図である。
なお、これはあくまで一例であり、別の流れでメータの登録処理が行われてもよい。
ステップS1において、携帯情報端末10は、情報公開処理部66(ウェブサーバ)を介した、メータ管理サーバ20に対する利用者のログイン処理を行う。メータ管理サーバ20に利用者の登録がない場合、利用者の新規登録を行う。
ログイン処理が終了すると、携帯情報端末10は、ステップS2において、読み取り対象となるメータの画像を送信して新規登録を行う。この時点で、メータの種類や仕様などを利用者自身で選択、設定できるようにしてもよい。
なお、これはあくまで一例であり、別の流れでメータの登録処理が行われてもよい。
ステップS1において、携帯情報端末10は、情報公開処理部66(ウェブサーバ)を介した、メータ管理サーバ20に対する利用者のログイン処理を行う。メータ管理サーバ20に利用者の登録がない場合、利用者の新規登録を行う。
ログイン処理が終了すると、携帯情報端末10は、ステップS2において、読み取り対象となるメータの画像を送信して新規登録を行う。この時点で、メータの種類や仕様などを利用者自身で選択、設定できるようにしてもよい。
次に、ステップS3において、携帯情報端末10は、必要に応じた初期設置(後述するアナログメータのパラメータ入力など)を行う。
ステップS2の登録処理、ステップS3の設定処理が終了すると、メータ管理サーバ20は、ステップS4において、帳簿データベース73に識別情報を新規登録する。
そして、メータ管理サーバ20は、ステップS5において、識別情報を携帯情報端末10に送信する。
識別情報を受信した携帯情報端末10は、ステップS6において、識別情報に基づくQRコード(登録商標)を表示画面(ディスプレイ16)に表示し、必要に応じてプリンタ等に外部出力する。
ステップS2の登録処理、ステップS3の設定処理が終了すると、メータ管理サーバ20は、ステップS4において、帳簿データベース73に識別情報を新規登録する。
そして、メータ管理サーバ20は、ステップS5において、識別情報を携帯情報端末10に送信する。
識別情報を受信した携帯情報端末10は、ステップS6において、識別情報に基づくQRコード(登録商標)を表示画面(ディスプレイ16)に表示し、必要に応じてプリンタ等に外部出力する。
なお、メータ画像の撮像に応じて、メータの識別情報及びそれに基づくQRコード(登録商標)を携帯端末情報10で作成し、携帯端末情報10が識別情報をメータ管理サーバ20にアップロードするようにしてもよい。
いずれの場合も、携帯情報端末20でメータを撮影すると、結果として、当該のメータに一意に対応したQRコード(登録商標)が出力される。
上記一連の処理が行われたあと、出力されたQRコード(登録商標)を印刷したシール等をメータ(メータのケース部)に貼り付けて撮像を行うことで、メータ画像と識別情報を紐付けてサーバにアップロードし、読み取られた測定値をメータに容易に紐付けて帳簿データベース73に格納することができる。
メータをメータ管理サーバ20においても特定した状態で、メータ画像を送信(アップロード)し、測定値の読み取り及び管理を行うことが出来る。
いずれの場合も、携帯情報端末20でメータを撮影すると、結果として、当該のメータに一意に対応したQRコード(登録商標)が出力される。
上記一連の処理が行われたあと、出力されたQRコード(登録商標)を印刷したシール等をメータ(メータのケース部)に貼り付けて撮像を行うことで、メータ画像と識別情報を紐付けてサーバにアップロードし、読み取られた測定値をメータに容易に紐付けて帳簿データベース73に格納することができる。
メータをメータ管理サーバ20においても特定した状態で、メータ画像を送信(アップロード)し、測定値の読み取り及び管理を行うことが出来る。
図5は、携帯情報端末のプロセッサによるメータ撮影処理を説明するフローチャートである。
ステップS101において、プロセッサ12は、メータ読取アプリが起動中であるか否かを判定する。
メータ読取アプリが起動中であると判定した場合(ステップS101でYes)、プロセッサ12は、ステップS102において、メータの撮影操作が行われたか否かを判定する。
メータの撮影操作が行われたと判定した場合(ステップS102でYes)、プロセッサ12(メータ画像撮像処理部51)は、ステップS103において、メータの撮影処理を行って今回のメータ撮影処理を終了する。
ステップS101において、プロセッサ12は、メータ読取アプリが起動中であるか否かを判定する。
メータ読取アプリが起動中であると判定した場合(ステップS101でYes)、プロセッサ12は、ステップS102において、メータの撮影操作が行われたか否かを判定する。
メータの撮影操作が行われたと判定した場合(ステップS102でYes)、プロセッサ12(メータ画像撮像処理部51)は、ステップS103において、メータの撮影処理を行って今回のメータ撮影処理を終了する。
ステップS102において、メータ撮影操作が行われたと判定しなかった場合(ステップS102でNo)、プロセッサ12は、ステップS104において、ステップS103で撮影したメータ画像の送信操作が行われたか否かを判定する。
メータ画像の送信操作が行われたか否かを判定した場合(ステップS104でYes)、プロセッサ12(メータ画像送信処理部52)は、ステップS105において、ネットワークI/Fを介してメータ画像を送信する処理を行って今回のメータ撮影処理を終了する。
ステップS101においてメータ読取アプリが起動中ではないと判定した場合(ステップS101でNo)、プロセッサ12は、ステップS106において、メータ読取アプリの起動操作が行われた否かを判定する。
メータ読取アプリの起動操作が行われたと判定した場合(ステップS106でYes)、プロセッサ102は、ステップS107においてメータ読取アプリを起動し、今回のメータ撮影処理を終了する。
メータ画像の送信操作が行われたか否かを判定した場合(ステップS104でYes)、プロセッサ12(メータ画像送信処理部52)は、ステップS105において、ネットワークI/Fを介してメータ画像を送信する処理を行って今回のメータ撮影処理を終了する。
ステップS101においてメータ読取アプリが起動中ではないと判定した場合(ステップS101でNo)、プロセッサ12は、ステップS106において、メータ読取アプリの起動操作が行われた否かを判定する。
メータ読取アプリの起動操作が行われたと判定した場合(ステップS106でYes)、プロセッサ102は、ステップS107においてメータ読取アプリを起動し、今回のメータ撮影処理を終了する。
図6は、メータ管理サーバのCPUによる、メータ画像受信時処理を説明するフローチャートである。
CPU21(メータ画像受信処理部62)は、ステップS201において、メータ読取アプリ(携帯情報端末10)から、メータ画像を受信したか否かを判定する。
メータ画像を受信したと判定した場合(ステップS201でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS202において、メータ画像を解析する。
ステップS203において、CPU21(メータ画像読み取り処理部63)は、メータ画像が識別情報を含むか否かを判定する。
CPU21(メータ画像受信処理部62)は、ステップS201において、メータ読取アプリ(携帯情報端末10)から、メータ画像を受信したか否かを判定する。
メータ画像を受信したと判定した場合(ステップS201でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS202において、メータ画像を解析する。
ステップS203において、CPU21(メータ画像読み取り処理部63)は、メータ画像が識別情報を含むか否かを判定する。
もしメータ画像が識別情報を含まない場合は(ステップS203でNo)、CPU21(データベース管理処理部64)は、ステップ215において、新規の識別情報を作成して帳簿データベースに登録する。そして、CPU21は、ステップS216において、作成した識別情報を携帯情報端末10に送信する。
メータ画像が識別情報を含むと判定した場合(ステップS203でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS204において、識別情報を取得し、ステップS205において、識別情報に基づいて帳簿データベースを参照してメータの種類を特定する。
帳簿データベース73には、識別情報に対応するメータの種類が設定されている。メータの種類は、利用者による登録時に指定されてもよいし、メータ管理サーバ20におけるメータ読み取り時の画像処理の過程で識別されてもよい。
QRコード(登録商標)に、メータの識別情報のみならずメータの種類などの情報を含めておけば、携帯情報端末10からの情報のみで、メータ管理サーバ20を参照することなく、メータの種類を特定することが出来る。
メータ画像が識別情報を含むと判定した場合(ステップS203でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS204において、識別情報を取得し、ステップS205において、識別情報に基づいて帳簿データベースを参照してメータの種類を特定する。
帳簿データベース73には、識別情報に対応するメータの種類が設定されている。メータの種類は、利用者による登録時に指定されてもよいし、メータ管理サーバ20におけるメータ読み取り時の画像処理の過程で識別されてもよい。
QRコード(登録商標)に、メータの識別情報のみならずメータの種類などの情報を含めておけば、携帯情報端末10からの情報のみで、メータ管理サーバ20を参照することなく、メータの種類を特定することが出来る。
CPU21(メータ画像読み取り処理部63)は、ステップS206において、メータ画像に係るメータが、アナログメータであるか否かを判定する。
メータ画像に係るメータがアナログメータであったと判定した場合(ステップS206でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS207において、メータ画像に対してアナログメータ用の読み取り手法を実行する。
ステップS206において、メータ画像に係るメータがアナログメータではなかったと判定した場合(ステップS206でNo)、CPU21(メータ画像読み取り処理部63)は、ステップS208において、メータ画像に係るメータが、7セグ方式のデジタルメータであるか否かを判定する。
メータ画像に係るメータがデジタルメータであったと判定した場合(ステップS208でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS209において、メータ画像に対してデジタルメータ用の読み取り手法を実行する。
メータ画像に係るメータがアナログメータであったと判定した場合(ステップS206でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS207において、メータ画像に対してアナログメータ用の読み取り手法を実行する。
ステップS206において、メータ画像に係るメータがアナログメータではなかったと判定した場合(ステップS206でNo)、CPU21(メータ画像読み取り処理部63)は、ステップS208において、メータ画像に係るメータが、7セグ方式のデジタルメータであるか否かを判定する。
メータ画像に係るメータがデジタルメータであったと判定した場合(ステップS208でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS209において、メータ画像に対してデジタルメータ用の読み取り手法を実行する。
ステップS208において、メータ画像に係るメータがデジタルメータではないと判定した場合(ステップS208でNo)、CPU21(メータ画像読み取り処理部63)は、ステップS210において、メータ画像に係るメータが、回転式メータであるか否かを判定する。
メータ画像に係るメータが回転式メータであったと判定した場合(ステップS210でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS211において、メータ画像に対して回転式メータ用の読み取り手法を実行する。
ステップS210において、メータ画像に係るメータが回転式メータではないと判定した場合(ステップS210でNo)、CPU21(メータ画像読み取り処理部63)は、ステップS212において、メータ画像に対して、電流計用の読み取り手法を実行する。
メータ画像に係るメータが回転式メータであったと判定した場合(ステップS210でYes)、CPU21(メータ画像読み取り処理部63)は、ステップS211において、メータ画像に対して回転式メータ用の読み取り手法を実行する。
ステップS210において、メータ画像に係るメータが回転式メータではないと判定した場合(ステップS210でNo)、CPU21(メータ画像読み取り処理部63)は、ステップS212において、メータ画像に対して、電流計用の読み取り手法を実行する。
CPU21(メータ画像読み取り処理部63)は、ステップS213において、ステップS207、ステップS209、ステップS211、ステップS212の処理で得られた読み取り値(測定値)と、読み取り日時を帳簿データベースに登録(追加)する。
さらに、CPU21(メータ画像読み取り処理部63)は、ステップS214において、識別情報、読み取り値に関連付けて、メータ画像をメータ画像記憶部72に格納する。
さらに、CPU21(メータ画像読み取り処理部63)は、ステップS214において、識別情報、読み取り値に関連付けて、メータ画像をメータ画像記憶部72に格納する。
上記のような処理が行われることで、本実施形態のメータ読み取りシステムによれば、利用者がメータの写真を携帯情報端末(スマートフォン)10で撮影し、メータ読みとりアプリを利用してメータ管理サーバ20にアップロードするだけで、メータの測定値が自動的に読み取られ、読み取り値は撮像日時に紐付けられて順次帳簿データベース73に格納されていき、例えばWebブラウザ等を介して随時確認可能となる。
多くのメータが設置された工場などの現場でそれらのメータの測定値を読み取る場合でも、利用者の側ではメータの違いを意識することなく、メータを撮像した画像をアップロードするだけでメータ毎に測定値を確認することが出来る。
本実施形態のメータ読み取りシステムによれば、利用者が目視でメータを読み取って手動でデータベース等に入力するような方法に比べ、圧倒的に簡便且つ正確に、メータの測定値を活用することが出来る。
本実施形態のメータ読み取りシステムによれば、利用者が目視でメータを読み取って手動でデータベース等に入力するような方法に比べ、圧倒的に簡便且つ正確に、メータの測定値を活用することが出来る。
さらに、メータの識別情報は、QRコード(登録商標)ではなくRFID(Radio Frequency IDentifier)を用いて携帯情報端末10に取得されてもよい。
その場合、メータ(メータのケース部)には少なくとも識別情報を書き込んだRFIDタグを貼付し、携帯情報端末10にはRFIDのリーダを備える。
メータ画像を撮像するために携帯情報端末10をメータ(メータのケース部)に近づけるだけで、識別情報を取得することが出来る。
複数のメータが並んで設置されている場合でも、携帯情報端末10は、電波強度等の情報を用いて、撮像したメータに貼付されたRFIDを識別することが出来る。
その場合、メータ(メータのケース部)には少なくとも識別情報を書き込んだRFIDタグを貼付し、携帯情報端末10にはRFIDのリーダを備える。
メータ画像を撮像するために携帯情報端末10をメータ(メータのケース部)に近づけるだけで、識別情報を取得することが出来る。
複数のメータが並んで設置されている場合でも、携帯情報端末10は、電波強度等の情報を用いて、撮像したメータに貼付されたRFIDを識別することが出来る。
以下に、本実施形態における、メータのタイプ毎の自動読み取り方法について説明する。
<アナログメータの読み取り方法>
[初期設定]
上記したように、本実施形態におけるアナログメータの自動読み取りにおいて、読み取りを行いたいアナログメータに関して初期設定を行う。
この初期設定は、図6のフローチャートに含まれる処理とは別に、事前に行っておく処理(図4の処理)である。
図7は、本実施形態におけるアナログメータの初期設定画面を示す図である。
図7の初期設定画面は、図4に説明したように、メータ管理サーバ20にログインしてアナログメータを登録時に表示される画面である。
図7の表示は、登録が必要な情報を説明するための例示に過ぎず、この内容に限定されることはない。
<アナログメータの読み取り方法>
[初期設定]
上記したように、本実施形態におけるアナログメータの自動読み取りにおいて、読み取りを行いたいアナログメータに関して初期設定を行う。
この初期設定は、図6のフローチャートに含まれる処理とは別に、事前に行っておく処理(図4の処理)である。
図7は、本実施形態におけるアナログメータの初期設定画面を示す図である。
図7の初期設定画面は、図4に説明したように、メータ管理サーバ20にログインしてアナログメータを登録時に表示される画面である。
図7の表示は、登録が必要な情報を説明するための例示に過ぎず、この内容に限定されることはない。
図7に示すように、初期設定画面では、利用者がアップロードしたアナログメータの正面からの撮像画像に対して、目盛りの回転中心、始点、終点を登録させる。
図7に示されるように、世の中に存在するアナログメータは、360度(全周)にわたって、目盛りが設けられたメータばかりではない。
後述する、モデル作成工程、本工程(読み取り処理)で用いる情報として、目盛りの始点と終点を指定させる。目盛りの始点及び終点における測定値も入力させる。
全周に亘って目盛りが存在するメータであっても、目盛りの始点、終点は当然あり、これらを登録させる。始点、終点における測定値も同様に登録させる。
図7に示されるように、世の中に存在するアナログメータは、360度(全周)にわたって、目盛りが設けられたメータばかりではない。
後述する、モデル作成工程、本工程(読み取り処理)で用いる情報として、目盛りの始点と終点を指定させる。目盛りの始点及び終点における測定値も入力させる。
全周に亘って目盛りが存在するメータであっても、目盛りの始点、終点は当然あり、これらを登録させる。始点、終点における測定値も同様に登録させる。
入力された情報は、設定情報として、メータの識別情報に関連づけてメータ管理サーバ20のHDD23に格納される。
なお、図7の設定は、携帯情報端末10が備えるディスプレイ16上に表示された初期設定画面に対するタッチパネル操作によって行うことが想定されうる。
スマートフォンなどの端末上で始点、終点をタップする細やかな操作を行うことは難度が高い可能性がある。そこで、メータ画像の中から、目盛りのライン(360度)を画像認識し、そのライン上で始点から終点までの範囲を利用者がなぞって指定することで、始点、終点を設定できるようにしてもよい。
なお、図7の設定は、携帯情報端末10が備えるディスプレイ16上に表示された初期設定画面に対するタッチパネル操作によって行うことが想定されうる。
スマートフォンなどの端末上で始点、終点をタップする細やかな操作を行うことは難度が高い可能性がある。そこで、メータ画像の中から、目盛りのライン(360度)を画像認識し、そのライン上で始点から終点までの範囲を利用者がなぞって指定することで、始点、終点を設定できるようにしてもよい。
なお、目盛りの範囲(始点、終点の位置)、始点、終点における測定値の読み取り(指定)は、画像処理によって自動化するようにしてもよい。この場合、図4の画面を使った設定作業は不要となる。
また、販売されている様々なアナログメータの画像、情報(目盛り範囲や始点、終点の測定値)をメータ管理サーバ20に収集しておき、利用者がアップロードしたメータ画像がどのメータに該当するかを提案するようにしてもよい。
提案されたメータと利用者が実際に利用している(測定値を自動読み取りしたい)メータが一致していれば、初期設定を行うことなく、始点、終点の位置、始点、終点における測定値はメータ管理サーバ20に格納されているものを利用することが出来る。
このようなメータの提案は、ディープラーニング手法を用いることなく、特徴点をとってマッチ率が高いメータを提案することで実現することが出来る。
また、販売されている様々なアナログメータの画像、情報(目盛り範囲や始点、終点の測定値)をメータ管理サーバ20に収集しておき、利用者がアップロードしたメータ画像がどのメータに該当するかを提案するようにしてもよい。
提案されたメータと利用者が実際に利用している(測定値を自動読み取りしたい)メータが一致していれば、初期設定を行うことなく、始点、終点の位置、始点、終点における測定値はメータ管理サーバ20に格納されているものを利用することが出来る。
このようなメータの提案は、ディープラーニング手法を用いることなく、特徴点をとってマッチ率が高いメータを提案することで実現することが出来る。
[分類モデルの作成]
本実施形態のシステムにおいて、メータ管理サーバ20がアナログメータの測定値を自動で読み取るためには、利用者(携帯情報端末10)がアップロードしたアナログメータの画像と、予め作成した分類モデル(学習モデル)と、を比較することによって、アナログメータの指針の測定位置を判断し、測定値の読み取りを行う。
まず、自動的な測定値の読み取りが行えるようにするための事前の準備として、「分類モデル」の作成を行う。これは、図6のフローチャートに含まれる処理とは別に行っておく処理である。
本実施形態のシステムにおいて、メータ管理サーバ20がアナログメータの測定値を自動で読み取るためには、利用者(携帯情報端末10)がアップロードしたアナログメータの画像と、予め作成した分類モデル(学習モデル)と、を比較することによって、アナログメータの指針の測定位置を判断し、測定値の読み取りを行う。
まず、自動的な測定値の読み取りが行えるようにするための事前の準備として、「分類モデル」の作成を行う。これは、図6のフローチャートに含まれる処理とは別に行っておく処理である。
図8は、本実施形態におけるアナログメータの分類モデルの作成処理を説明する概略図である。
この処理は、メータ管理サーバ20が備える学習モデル生成処理部61によって実行できるが、分類モデルの作成自体は他の装置で行っても構わない。
図8(1)において、全周(360度)に亘って目盛りを有したアナログメータにおいて、0度から360度の間で1度ずつ指針を動かしたアナログメータの画像100を用意する。
この処理は、メータ管理サーバ20が備える学習モデル生成処理部61によって実行できるが、分類モデルの作成自体は他の装置で行っても構わない。
図8(1)において、全周(360度)に亘って目盛りを有したアナログメータにおいて、0度から360度の間で1度ずつ指針を動かしたアナログメータの画像100を用意する。
全周に亘っては目盛りが設けられていない図7のようなアナログメータの場合は、始点から終点の間で指針を1度ずつ動かした画像である。
学習用に用意されるアナログメータの画像は、指針の角度ごとに、アナログメータを正面から撮像した画像に加え、様々な角度から斜めに撮像したものを含む。
また画像処理によって様々な向きの画像を作成することで、学習用の画像の枚数を補うことも出来る。
学習用に用意されるアナログメータの画像は、指針の角度ごとに、アナログメータを正面から撮像した画像に加え、様々な角度から斜めに撮像したものを含む。
また画像処理によって様々な向きの画像を作成することで、学習用の画像の枚数を補うことも出来る。
図8(2)において、学習モデル生成処理部61は、図8(1)で用意された各メータ画像に対して、ケース部や周辺部分を除いたメータ本体部分をクロッピングして、メータ本体画像101を得る。
本実施形態では、携帯情報端末10(スマートフォン)のカメラを利用してメータを撮像する。固定カメラではないので、カメラの画角内のどこにメータ本体部分が位置するのかを予め決めておくことが出来ない。従って、物体検知の手法によって予めメータ本体部分を切り出すクロッピングの処理を行う。
本実施形態では、携帯情報端末10(スマートフォン)のカメラを利用してメータを撮像する。固定カメラではないので、カメラの画角内のどこにメータ本体部分が位置するのかを予め決めておくことが出来ない。従って、物体検知の手法によって予めメータ本体部分を切り出すクロッピングの処理を行う。
図8(3)において、学習モデル生成処理部61は、切り出したメータ本体画像101に対して、エッジ検出(汎用技術)を行う。
これにより、分類モデルMを生成する際に、メータ本体画像における背景の影響を除去し、メータ本体画像における針の形や目盛りの細かな違いを吸収し、より汎用的なモデルを生成することが出来る。
これにより、分類モデルMを生成する際に、メータ本体画像における背景の影響を除去し、メータ本体画像における針の形や目盛りの細かな違いを吸収し、より汎用的なモデルを生成することが出来る。
図8(4)において、学習モデル生成処理部61は、エッジ検出後のメータ本体画像におけるメータのパターン(目盛り、針の位置)を、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)によって発見する。
図8(5)において、学習モデル生成処理部61は、発見したパターンに対して、始点を基準とした0度から360度の指針の位置のタグ付け(アノテーション)を行い、分類モデルMを作成する。
メータ画像ごとの角度の情報は、学習モデル生成処理部61に対するメータ画像の入力に事前に与えておくことが出来る。
以上の処理により、利用者が、メータを撮影したメータ画像をアップロードしたときにメータ画像を、指針の角度によって分類可能な分類モデルMが作成された。
図8(5)において、学習モデル生成処理部61は、発見したパターンに対して、始点を基準とした0度から360度の指針の位置のタグ付け(アノテーション)を行い、分類モデルMを作成する。
メータ画像ごとの角度の情報は、学習モデル生成処理部61に対するメータ画像の入力に事前に与えておくことが出来る。
以上の処理により、利用者が、メータを撮影したメータ画像をアップロードしたときにメータ画像を、指針の角度によって分類可能な分類モデルMが作成された。
[読み取り処理]
事前準備として上記モデル生成、初期設定が終了した状態で、メータ測定値の読み取りが行われる。これは、図6のフローチャートにおけるステップS207で、メータ値読み取り処理部63が実行する処理である。
図9は、本実施形態におけるアナログメータの読み取り処理を説明する図である。
図9(1)において、メータ値読み取り処理部63は、上記のモデル生成処理と同様に、アップロードされたメータ画像110に対してクロッピングを行い、メータ本体部分を切り出して、メータ本体画像111を得る。
図9(2)において、メータ値読み取り処理部63は、切り出されたメータ本体画像111に対してエッジ検出をかけ、背景や、指針の形状、目盛りの細かな違いの影響を除去する。
図9(3)において、ここまでの準備が終了すると、メータ値読み取り処理部63は、メータ本体画像111と、図7の処理で作成した360度の分類モデルMと、比較する(分類問題)。すなわち、メータ画像に対して、ディープラーニングのモデルとして指針の位置(角度)の分類モデルを適用する。
事前準備として上記モデル生成、初期設定が終了した状態で、メータ測定値の読み取りが行われる。これは、図6のフローチャートにおけるステップS207で、メータ値読み取り処理部63が実行する処理である。
図9は、本実施形態におけるアナログメータの読み取り処理を説明する図である。
図9(1)において、メータ値読み取り処理部63は、上記のモデル生成処理と同様に、アップロードされたメータ画像110に対してクロッピングを行い、メータ本体部分を切り出して、メータ本体画像111を得る。
図9(2)において、メータ値読み取り処理部63は、切り出されたメータ本体画像111に対してエッジ検出をかけ、背景や、指針の形状、目盛りの細かな違いの影響を除去する。
図9(3)において、ここまでの準備が終了すると、メータ値読み取り処理部63は、メータ本体画像111と、図7の処理で作成した360度の分類モデルMと、比較する(分類問題)。すなわち、メータ画像に対して、ディープラーニングのモデルとして指針の位置(角度)の分類モデルを適用する。
図9(4)において、最も相関する(あてはまる)モデルに基づいて、アップロードされたメータ画像における目盛りの(始点からの)角度が判定される。
図9(5)において、メータ値読み取り処理部63は、メータの測定値(実測値)を求める。
図8で行った初期設定において、目盛りの始点、終点の位置、そしてそれぞれの測定値が設定されている。従って、メータ値読み取り処理部63は、これらの情報から下式1に基づいて1度(単位角度)あたりの値(単位測定値)が算出可能である(基準値算出手段)。
(式1)単位測定値=(設定された終点の測定値−設定された始点の測定値)/始点終点間の指針の角度)
単位測定値は、予め演算してメータ管理サーバ20に格納しておいてもよい。
図9(5)において、メータ値読み取り処理部63は、メータの測定値(実測値)を求める。
図8で行った初期設定において、目盛りの始点、終点の位置、そしてそれぞれの測定値が設定されている。従って、メータ値読み取り処理部63は、これらの情報から下式1に基づいて1度(単位角度)あたりの値(単位測定値)が算出可能である(基準値算出手段)。
(式1)単位測定値=(設定された終点の測定値−設定された始点の測定値)/始点終点間の指針の角度)
単位測定値は、予め演算してメータ管理サーバ20に格納しておいてもよい。
メータ値読み取り処理部63は、図9(4)で判定された目盛りの角度と1度あたりの測定値の情報を用いて、下式2に基づいてメータの測定値を読み取ることが出来る。
(式2)測定値(実測値)=単位測定値×モデルに基づく角度+設定された始点の測定値
指針と目盛りの交点を求めることで測定値を求める従来の手法(特許文献1、特許文献2)であれば、メータの画像が傾くと角度にズレが生じてしまうが、CNNを使った上記の手法であれば、メータ画像の中でメータが回転していたり、ずれたりしていても一意の測定値を得ることが出来る。
(式2)測定値(実測値)=単位測定値×モデルに基づく角度+設定された始点の測定値
指針と目盛りの交点を求めることで測定値を求める従来の手法(特許文献1、特許文献2)であれば、メータの画像が傾くと角度にズレが生じてしまうが、CNNを使った上記の手法であれば、メータ画像の中でメータが回転していたり、ずれたりしていても一意の測定値を得ることが出来る。
以上説明したように、本実施形態では、アナログメータにおける初期位置と角度を、ディープラーニング手法によってモデル化したうえで、携帯情報端末10から送信された測定対象のメータの画像とモデルとのマッチングを行う。
丸いメータであれば、指針の角度が0度から360度まで分類されるため360度分類で指針の角度をとらえることが出来る。
また、初期設定において、始点から終点までの扇型の範囲を指定することで指針が移動可能な角度が求まる。
その範囲における最小と最大の測定値を指定することで、指針が1度動く(回転する)ことで、メータの測定値がどの程度を変化するか(単位測定値)を算出できる。
上記したように、測定対象のメータにおける指針の角度は、携帯情報端末10から送信されたメータ画像に分類モデルを適用することによって判定し、判定した角度と、角度あたりの測定値(単位測定値)、及び最小値を用いてメータの測定値を算出する。
丸いメータであれば、指針の角度が0度から360度まで分類されるため360度分類で指針の角度をとらえることが出来る。
また、初期設定において、始点から終点までの扇型の範囲を指定することで指針が移動可能な角度が求まる。
その範囲における最小と最大の測定値を指定することで、指針が1度動く(回転する)ことで、メータの測定値がどの程度を変化するか(単位測定値)を算出できる。
上記したように、測定対象のメータにおける指針の角度は、携帯情報端末10から送信されたメータ画像に分類モデルを適用することによって判定し、判定した角度と、角度あたりの測定値(単位測定値)、及び最小値を用いてメータの測定値を算出する。
従来は、メータの読み取りに固定カメラが用いられ汎用化が難しかったが、本実施形態の手法によれば、携帯情報端末(スマートフォン)で撮像した1枚のメータ画像における指針の角度を360度から分類することが出来る。
本実施形態では、アナログメータの自動読み取りにあたってディープラーニングの手法を直接的に用いて測定値の読み取りを行うのではない。
本実施形態では、アナログメータの指針の角度の学習モデルを作成し、それを用いて、携帯情報端末10から送信されたメータ画像内の指針の角度を割り出す。そして、割り出された角度と、予め登録あるいは演算してある指針1度あたりの測定値を用いて、センサの測定値を正確に読みとることが出来る。
いわば、本実施形態ではアナログメータの自動読み取りにあたって、ディープラーニングの手法を間接的に利用することで、より精度の高い読み取りを実現している。ディープラーニングを用いて指針が示す数値を直接読み出すのに比べ、指針の角度という図形パターンを処理する方が正確である。
本実施形態では、アナログメータの自動読み取りにあたってディープラーニングの手法を直接的に用いて測定値の読み取りを行うのではない。
本実施形態では、アナログメータの指針の角度の学習モデルを作成し、それを用いて、携帯情報端末10から送信されたメータ画像内の指針の角度を割り出す。そして、割り出された角度と、予め登録あるいは演算してある指針1度あたりの測定値を用いて、センサの測定値を正確に読みとることが出来る。
いわば、本実施形態ではアナログメータの自動読み取りにあたって、ディープラーニングの手法を間接的に利用することで、より精度の高い読み取りを実現している。ディープラーニングを用いて指針が示す数値を直接読み出すのに比べ、指針の角度という図形パターンを処理する方が正確である。
上記では、アナログメータの読み取り処理をメータ管理サーバ20で行う処理を説明したが、それに限らず携帯情報端末10で行ってもよい。
その場合、携帯情報端末10は読み取った測定値を識別情報とともにメータ管理サーバ20にアップロードする。
あるいは、ディープラーニング手法による指針の角度の認識を携帯情報端末10で行ったうえで、測定値の演算は、メータ管理サーバ20で行うようにしてもよい。
初期設定において、実際のメータの構成によらず、利用者の都合によって始点、終点を自由に設定することが出来る。
例えば、メータにおいて目盛りがマイナスの数値から始まっているメータの場合、「0」を始点に選択することが出来る。
その場合、携帯情報端末10は読み取った測定値を識別情報とともにメータ管理サーバ20にアップロードする。
あるいは、ディープラーニング手法による指針の角度の認識を携帯情報端末10で行ったうえで、測定値の演算は、メータ管理サーバ20で行うようにしてもよい。
初期設定において、実際のメータの構成によらず、利用者の都合によって始点、終点を自由に設定することが出来る。
例えば、メータにおいて目盛りがマイナスの数値から始まっているメータの場合、「0」を始点に選択することが出来る。
<デジタルメータの読み取り方法>
次に、本実施形態における7セグ液晶(セグメント液晶)を使ったデジタルメータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS209で、メータ値読み取り処理部63が実行する処理である。
図10は、本実施形態におけるデジタルメータの読み取り処理を説明する図である。
本実施形態において、デジタルメータについては、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)とRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)を用いて、測定値の読み取り(認識)を行う。
次に、本実施形態における7セグ液晶(セグメント液晶)を使ったデジタルメータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS209で、メータ値読み取り処理部63が実行する処理である。
図10は、本実施形態におけるデジタルメータの読み取り処理を説明する図である。
本実施形態において、デジタルメータについては、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)とRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)を用いて、測定値の読み取り(認識)を行う。
より詳しくは、CNNを用いてメータの画像認識を行い、そして、認識されたメータ画像を左から右への時系列データとして扱い、RNNを使って文字変換していく。すなわち、ディープラーニング手法を用いた簡易OCR(Optical Character Recognition/Reader)である。
なお、デジタルメータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
なお、デジタルメータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
図10(1)において、デジタルメータは、ケース部と、ケース部に設けられたメータ本体部(7セグ液晶/セグメント液晶)と、を備えている。メータ値読み取り処理部63は、アップロードされたケース部を含むメータ画像120から、メータ本体部分をクロッピングする処理を行う(切出手段)。この処理により得られた画像は、メータ本体画像121である。
(特定の表示形状の)数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像121に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして、後段のCNN、RNNによるOCRの精度が下がってしまう。
(特定の表示形状の)数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像121に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして、後段のCNN、RNNによるOCRの精度が下がってしまう。
図10(2)において、メータ値読み取り処理部63は、切り出したメータ本体画像121をグレースケール化して、セグ液晶のRGB成分の影響を除去する。
図10(3)において、CNNを適用して、グレースケール化したメータ本体画像の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図10(4)において、特徴量のデータを時系列的な連続データとして扱い、RNNに落とし込んで数値を左から右に読んでいくことで、数値が認識される。
図10(3)において、CNNを適用して、グレースケール化したメータ本体画像の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図10(4)において、特徴量のデータを時系列的な連続データとして扱い、RNNに落とし込んで数値を左から右に読んでいくことで、数値が認識される。
デジタルメータに付したQRコード(登録商標)に含まれる識別情報によって、どのタイプ(セグで表示される数字の字体など)のデジタルメータであるのかを識別し、最適なモデルをメータ画像に適用してクロッピングを行う。
メータのケース部には、測定値を表示するメータ本体部分以外にも、型番や型式、製造番号、年式、単位など様々な数値が書かれていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
ディープラーニング手法を用いることで、メータ画像120中のどこに数値(メータ本体画像121)があるのかを正確に判定することが出来る。
ディープラーニングを使うモデルを工夫して正確にメータ本体画像121のクロッピングを行い、その後は、メータ本体画像121に適用するCNN、RNNに任せて文字(数値)認識を行う。
メータのケース部には、測定値を表示するメータ本体部分以外にも、型番や型式、製造番号、年式、単位など様々な数値が書かれていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
ディープラーニング手法を用いることで、メータ画像120中のどこに数値(メータ本体画像121)があるのかを正確に判定することが出来る。
ディープラーニングを使うモデルを工夫して正確にメータ本体画像121のクロッピングを行い、その後は、メータ本体画像121に適用するCNN、RNNに任せて文字(数値)認識を行う。
<回転式メータの読み取り方法>
次に、本実施形態における回転式メータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS211で、メータ値読み取り処理部63が実行する処理である。
図11は、本実施形態における回転式メータの読み取り処理を説明する図である。
回転式メータは0〜9まで数値を記載した回転式リールが回転し、所定の位置に停止した数値が測定値となるものである。
基本的には上記のデジタルメータの同様に数値を読み取るメータであり、回転式メータの測定値の読み取りは、デジタルメータの場合と同様の処理を行いうる。
回転式メータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのように目盛りの始点や終点を定義する意義はない。
次に、本実施形態における回転式メータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS211で、メータ値読み取り処理部63が実行する処理である。
図11は、本実施形態における回転式メータの読み取り処理を説明する図である。
回転式メータは0〜9まで数値を記載した回転式リールが回転し、所定の位置に停止した数値が測定値となるものである。
基本的には上記のデジタルメータの同様に数値を読み取るメータであり、回転式メータの測定値の読み取りは、デジタルメータの場合と同様の処理を行いうる。
回転式メータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのように目盛りの始点や終点を定義する意義はない。
図11(1)において、回転式メータは、ケース部と、ケース部に設けられたメータ本体部(横方向に複数連設された回転式リール)と、を備えている。メータ値読み取り処理部63は、携帯情報端末10からアップロードされたケース部を含むメータ画像130から、メータ本体部分をクロッピングする処理を行い(切出手段)、メータ本体画像131を得る。
(特定の表示形状の)数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像131に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして後段のCNN、RNNによるOCRの精度が下がる。
特に電力計などの場合、メータ本体部分以外のケース部には、型番や型式、製造番号、年式、単位など様々な数値や番号が印字されていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
回転式メータのケース部に付したQRコード(登録商標)に含まれる識別情報によって、どのタイプ(リールに表示される数字の字体など)の回転式メータであるのかを識別し、最適なモデルをメータ画像130に適用して、メータ本体画像131のクロッピングを行う。
(特定の表示形状の)数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像131に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして後段のCNN、RNNによるOCRの精度が下がる。
特に電力計などの場合、メータ本体部分以外のケース部には、型番や型式、製造番号、年式、単位など様々な数値や番号が印字されていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
回転式メータのケース部に付したQRコード(登録商標)に含まれる識別情報によって、どのタイプ(リールに表示される数字の字体など)の回転式メータであるのかを識別し、最適なモデルをメータ画像130に適用して、メータ本体画像131のクロッピングを行う。
図11(2)において、メータ値読み取り処理部63は、切り出したメータ本体画像131をグレースケール化してRGB成分の影響を除去する。
図11(3)において、グレースケール化したメータ本体画像131にCNNを適用して、メータ本体画像131の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図11(3)において、グレースケール化したメータ本体画像131にCNNを適用して、メータ本体画像131の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図11(4)において、特徴量のデータを時系列的な連続データとして扱い、RNNに落とし込んで数値を左から右に読んでいくことで、数値(測定値)が認識される。
図10で説明したデジタルメータと大きく異なる部分は、回転式リールが、2つの数値を上下に表示したまま停止することがある点である(図1に示した水道メータの例を参照)。特に、複数ケタの回転式メータにおいて、末尾の1ケタがそのような状態になることが多い。
RNNによる分類によっては、このように複数の数字が部分的に表示されていて複数以上の分類の選択肢がある場合であっても確率(パーセント)が出る。例えば、末尾1ケタの数値が「9」である確率が90%、「8」がある確率が10%であるというような出力となる。この確率をもとに数字を選択することで、正確に回転式メータを読み取ることが出来る。
図10で説明したデジタルメータと大きく異なる部分は、回転式リールが、2つの数値を上下に表示したまま停止することがある点である(図1に示した水道メータの例を参照)。特に、複数ケタの回転式メータにおいて、末尾の1ケタがそのような状態になることが多い。
RNNによる分類によっては、このように複数の数字が部分的に表示されていて複数以上の分類の選択肢がある場合であっても確率(パーセント)が出る。例えば、末尾1ケタの数値が「9」である確率が90%、「8」がある確率が10%であるというような出力となる。この確率をもとに数字を選択することで、正確に回転式メータを読み取ることが出来る。
<電流計タイプのメータの読み取り方法>
次に、本実施形態における電流計タイプのメータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS212で、メータ値読み取り処理部63が実行する処理である。
図12は、本実施形態における電流計タイプのメータの読み取り処理を説明する図である。
なお、電流計の読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
電流計タイプのメータの大きな特徴は、指針によって目盛りを指し示すことで測定値を表す点でアナログメータと共通するが、一般的なアナログメータとは異なり目盛りの幅が常に均一ではない点である。
次に、本実施形態における電流計タイプのメータの読み取り方法を説明する。これは、図6のフローチャートにおけるステップS212で、メータ値読み取り処理部63が実行する処理である。
図12は、本実施形態における電流計タイプのメータの読み取り処理を説明する図である。
なお、電流計の読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
電流計タイプのメータの大きな特徴は、指針によって目盛りを指し示すことで測定値を表す点でアナログメータと共通するが、一般的なアナログメータとは異なり目盛りの幅が常に均一ではない点である。
より詳しくは、図12から分かるように数値(測定値)が大きくなるほどに、目盛りの幅が狭くなっていく。上記に説明したアナログメータのように、指針の角度と、始点、終点の位置、各位置での測定値の情報を用いて、単純に測定値を算出することが出来ない。
0Aから5Aまでの間、5Aから10Aまでの間、10Aから15Aまでの間において、数値(測定値)自体は線形に変化しているにも関わらず、目盛りの幅は段階をおって狭くなっている。
本実施形態では、このようなタイプのメータを自動読み取りするために、人がこのタイプのメータを読む際のやり方を踏襲する。すなわち、指針の角度(測定位置)と、指針の測定位置の前後の数値(基準測定値)に基づいて、測定値を割り出すのである。
0Aから5Aまでの間、5Aから10Aまでの間、10Aから15Aまでの間において、数値(測定値)自体は線形に変化しているにも関わらず、目盛りの幅は段階をおって狭くなっている。
本実施形態では、このようなタイプのメータを自動読み取りするために、人がこのタイプのメータを読む際のやり方を踏襲する。すなわち、指針の角度(測定位置)と、指針の測定位置の前後の数値(基準測定値)に基づいて、測定値を割り出すのである。
電流計は、ケース部と、ケース部に設けられたメータ本体部と、を備えている。メータ本体部には、扇型の目盛りと指針を備えている。図12のメータにおいて、指針の回転中心と、円弧状の目盛りの中心は一致又は略一致しているものとする。
図12(1)において、メータ値読み取り処理部63は、アップロードされたケース部を含むメータ画像140から、メータ本体部分をクロッピングする処理を行い(切出手段)、メータ本体画像141を得る。必要に応じてエッジ検出処理も行う。
図12(2)において、メータ本体画像141に対してCNNを適用して、メータ本体画像141の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図12(3)において、特徴量のデータを時系列的な連続データとして扱い、RNNに落とし込んで数値を左から右に読んでいくことで、メータ本体画像141における数値(測定値)が認識される。
図12(1)において、メータ値読み取り処理部63は、アップロードされたケース部を含むメータ画像140から、メータ本体部分をクロッピングする処理を行い(切出手段)、メータ本体画像141を得る。必要に応じてエッジ検出処理も行う。
図12(2)において、メータ本体画像141に対してCNNを適用して、メータ本体画像141の特徴量を学習させる。OCRとしての処理であり、基本的に左から右に文字を読む前提である。
図12(3)において、特徴量のデータを時系列的な連続データとして扱い、RNNに落とし込んで数値を左から右に読んでいくことで、メータ本体画像141における数値(測定値)が認識される。
図12(4)において、メータ本体画像141を精査して、指針Sの測定位置150と、その前後に表示された数値の最小値160及び最大値161(基準測定値)を読み取る(ここでは、最小値160が「10」、最大値161が「15」)。
図12(5)において、基準測定値としての最小値「10」が付加された基準位置161と基準測定値としての最大値「15」が付加された基準位置162の間における、一方の基準位置162に対する測定位置150の位置(指針Sの角度)に基づいて測定値を算出する。
角度とは、指針Sの回転中心あるいは扇型の目盛りの中心を中心とした角度である。
基準位置162と基準位置163との間の角度Aと、基準位置(最小値「10」)162と測定位置150との間の角度B(指針Sの角度)と、の関係に基づいてメータが示す測定値を算出する。
図12(5)において、基準測定値としての最小値「10」が付加された基準位置161と基準測定値としての最大値「15」が付加された基準位置162の間における、一方の基準位置162に対する測定位置150の位置(指針Sの角度)に基づいて測定値を算出する。
角度とは、指針Sの回転中心あるいは扇型の目盛りの中心を中心とした角度である。
基準位置162と基準位置163との間の角度Aと、基準位置(最小値「10」)162と測定位置150との間の角度B(指針Sの角度)と、の関係に基づいてメータが示す測定値を算出する。
図12のタイプのメータでは、例えば指針が差し示している基準位置間の目盛りは間隔が一定であり、角度1度当たりの測定値も均等である。
従って、下式3に基づいて、上記角度Aに対する上記角度Bの比率を求め、基準測定値160(最小値「10」)と基準測定値161(最大値「15」)の間の差分(「5」)を同比率に従って分割した値を、基準測定値160(最小値「10」)に加算することでメータが示す測定値を算出することが出来る。
(式3)測定値=(角度B/角度A)×(最大値−最小値)+最小値
指針の角度Bは、所定の基準測定値の間にあるときの、基準位置に対する指針の角度(位置)をアノテーションした分類モデルを予め作成し、メータ本体画像141をこれと比較することによって取得(判定)することが出来る。これは、図7乃至図9で説明したアナログメータと同様の考え方を適用できる。
従って、下式3に基づいて、上記角度Aに対する上記角度Bの比率を求め、基準測定値160(最小値「10」)と基準測定値161(最大値「15」)の間の差分(「5」)を同比率に従って分割した値を、基準測定値160(最小値「10」)に加算することでメータが示す測定値を算出することが出来る。
(式3)測定値=(角度B/角度A)×(最大値−最小値)+最小値
指針の角度Bは、所定の基準測定値の間にあるときの、基準位置に対する指針の角度(位置)をアノテーションした分類モデルを予め作成し、メータ本体画像141をこれと比較することによって取得(判定)することが出来る。これは、図7乃至図9で説明したアナログメータと同様の考え方を適用できる。
上記のようにCNN、RNNを利用したOCR処理は、左から右に数値を読んでいくため、左から右に数値が表示されている電流計タイプの数値を読み出すことには好適である。
なお、図7乃至図9で説明したアナログメータでは、目盛りの数値が円周に沿って表示されているため、左から右に数値を読んでいくOCR処理とは相性が悪い。
従って、図10で電流計タイプのメータについて説明したように、指針が示す前後の数値と、その間における指針の角度を用いて測定値を読み取ることは難しい。従って、図7乃至図9で説明したように、利用者が指定した始点と終点の数値と、その間における指針の角度を用いて、メータの測定値を読み取るようにしている。
なお、図7乃至図9で説明したアナログメータでは、目盛りの数値が円周に沿って表示されているため、左から右に数値を読んでいくOCR処理とは相性が悪い。
従って、図10で電流計タイプのメータについて説明したように、指針が示す前後の数値と、その間における指針の角度を用いて測定値を読み取ることは難しい。従って、図7乃至図9で説明したように、利用者が指定した始点と終点の数値と、その間における指針の角度を用いて、メータの測定値を読み取るようにしている。
図13は、本実施形態における帳簿データベースの一例を示す図である。
上記に説明した方法で読み取られたメータの計測値は、図13に示すような帳簿データベースに格納されて管理される。
帳簿データベースには、識別情報としてのメータIDと、メータタイプ(アナログ、デジタル、回転式等)、測定値の読み取りに必要なパラメータ(アナログメータでは、始点終点位置と各確定値の情報、それ以外では、メータ本体画像をクロッピングするための数字モデル情報)、時系列順の測定値が格納される。上記したように測定値の日時はメータ画像を撮像した日時であり、画像データに埋め込まれた情報である。
上記に説明した方法で読み取られたメータの計測値は、図13に示すような帳簿データベースに格納されて管理される。
帳簿データベースには、識別情報としてのメータIDと、メータタイプ(アナログ、デジタル、回転式等)、測定値の読み取りに必要なパラメータ(アナログメータでは、始点終点位置と各確定値の情報、それ以外では、メータ本体画像をクロッピングするための数字モデル情報)、時系列順の測定値が格納される。上記したように測定値の日時はメータ画像を撮像した日時であり、画像データに埋め込まれた情報である。
以上説明したように、本実施形態のメータ読み取り装置(メータ管理サーバ20)では、QRコード(登録商標)等を使用してメータを識別する。
QRコード(登録商標)に含まれる情報には、メータを一意に特定するための識別情報をはじめ、メータの種類(アナログメータ、デジタルメータ、回転式メータ、電流計タイプメータ)を特定する情報を含んでいる。
メータ管理サーバ20は、携帯情報端末10から送信されるメータ画像に含まれるQRコード(登録商標)に含まれるメータのタイプに応じて、読み取りのための仕組みを切り替えて、適切にメータの読み取りを行うことが出来る。
QRコード(登録商標)に含まれる情報には、メータを一意に特定するための識別情報をはじめ、メータの種類(アナログメータ、デジタルメータ、回転式メータ、電流計タイプメータ)を特定する情報を含んでいる。
メータ管理サーバ20は、携帯情報端末10から送信されるメータ画像に含まれるQRコード(登録商標)に含まれるメータのタイプに応じて、読み取りのための仕組みを切り替えて、適切にメータの読み取りを行うことが出来る。
[第1の発明]
メータが示す測定値を読み取るメータ読取システムであって、メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、メータにおける目盛りの始点及び終点と、始点及び終点における各測定値とを予め設定させる設定手段(情報公開処理部66)と、設定された始点及び終点間の回転中心を基準とした角度及び各測定値に基づいて、メータにおける単位角度あたりの単位測定値を算出する基準値算出手段(メータ値読み取り処理部63)と、メータを撮像したメータ画像を取得する取得手段(メータ画像受信処理部62)と、取得手段が取得したメータ画像における指針の始点からの角度と、単位測定値と、に基づいてメータが示す測定値を算出する読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第1の発明によれば、アナログメータを携帯情報端末によって撮像したメータ画像における始点からの指針の角度と、角度あたりの測定値の情報に基づいて、アナログメータの測定値を自動的かつ簡単に読み取ることが出来る。
メータが示す測定値を読み取るメータ読取システムであって、メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、メータにおける目盛りの始点及び終点と、始点及び終点における各測定値とを予め設定させる設定手段(情報公開処理部66)と、設定された始点及び終点間の回転中心を基準とした角度及び各測定値に基づいて、メータにおける単位角度あたりの単位測定値を算出する基準値算出手段(メータ値読み取り処理部63)と、メータを撮像したメータ画像を取得する取得手段(メータ画像受信処理部62)と、取得手段が取得したメータ画像における指針の始点からの角度と、単位測定値と、に基づいてメータが示す測定値を算出する読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第1の発明によれば、アナログメータを携帯情報端末によって撮像したメータ画像における始点からの指針の角度と、角度あたりの測定値の情報に基づいて、アナログメータの測定値を自動的かつ簡単に読み取ることが出来る。
[第2の発明]
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられたセグメント液晶によって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段(メータ画像受信処理部62)と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段と、切出手段(メータ値読み取り処理部63)によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第2の発明によれば、デジタルメータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいてデジタルメータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像からデジタルメータの測定値を自動的かつ正確に読み取ることが出来る。
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられたセグメント液晶によって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段(メータ画像受信処理部62)と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段と、切出手段(メータ値読み取り処理部63)によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第2の発明によれば、デジタルメータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいてデジタルメータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像からデジタルメータの測定値を自動的かつ正確に読み取ることが出来る。
[第3の発明]
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられた複数の回転式ダイヤルによって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段(メータ画像受信処理部62)と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段(メータ値読み取り処理部63)と、切出手段によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第3の発明によれば、回転式メータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいて回転式メータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像から回転式メータの測定値を自動的かつ正確に読み取ることが出来る。
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられた複数の回転式ダイヤルによって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段(メータ画像受信処理部62)と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段(メータ値読み取り処理部63)と、切出手段によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第3の発明によれば、回転式メータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいて回転式メータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像から回転式メータの測定値を自動的かつ正確に読み取ることが出来る。
[第4の発明]
メータが示す測定値を読み取るメータ読取システムであって、メータは、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備え、メータを撮像したメータ画像を取得する取得手段(メータ画像受信処理部62)と、取得手段が取得したメータ画像から、目盛りの全体と、目盛りを指し示す指針の少なくとも一部を含むメータ本体画像を切り出す切出手段(メータ値読み取り処理部63)と、メータ本体画像から、指針が指し示す測定位置を検出するとともに、測定位置の前後における目盛り上の基準位置に付加表示される2つの基準測定値を読み取り、2つの基準位置間の角度と、2つの基準位置のうち何れか一方を基準とした指針の角度と、に基づいて、メータが示す測定値を算出する読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第4の発明によれば、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備えた電流計タイプのメータを携帯情報端末によって撮像したメータ画像における、指針が指し示す測定位置の前後における目盛り上の基準位置に付加表示される2つの基準測定値を読み取ることにより、2つの基準位置間の角度、2つの基準位置のうち何れか一方を基準とした指針の角度、一方の基準測定値に基づいて、当該タイプのメータの測定値を自動的かつ正確に読み取ることが出来る。
メータが示す測定値を読み取るメータ読取システムであって、メータは、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備え、メータを撮像したメータ画像を取得する取得手段(メータ画像受信処理部62)と、取得手段が取得したメータ画像から、目盛りの全体と、目盛りを指し示す指針の少なくとも一部を含むメータ本体画像を切り出す切出手段(メータ値読み取り処理部63)と、メータ本体画像から、指針が指し示す測定位置を検出するとともに、測定位置の前後における目盛り上の基準位置に付加表示される2つの基準測定値を読み取り、2つの基準位置間の角度と、2つの基準位置のうち何れか一方を基準とした指針の角度と、に基づいて、メータが示す測定値を算出する読取手段(メータ値読み取り処理部63)と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第4の発明によれば、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備えた電流計タイプのメータを携帯情報端末によって撮像したメータ画像における、指針が指し示す測定位置の前後における目盛り上の基準位置に付加表示される2つの基準測定値を読み取ることにより、2つの基準位置間の角度、2つの基準位置のうち何れか一方を基準とした指針の角度、一方の基準測定値に基づいて、当該タイプのメータの測定値を自動的かつ正確に読み取ることが出来る。
1…メータ読み取りシステム、10…携帯情報端末、12…プロセッサ、13…RAM、14…フラッシュROM、15…無線部、16…ディスプレイ、17…カメラ、20…メータ管理サーバ、21…CPU、22…RAM23…記憶部、24…ネットワークインターフェイス、51…メータ画像撮像処理部、52…メータ画像送信処理部、53…コード読取処理部、54…コード表示処理部、55…通信制御部、61…学習モデル生成処理部、62…メータ画像受信処理部、63…メータ値読み取り処理部、64…データベース管理処理部、65…グラフ生成処理部、66…情報公開処理部、67…通信制御部、71…学習モデル記憶部、72…メータ画像記憶部、73…帳簿データベース
Claims (5)
- メータが示す測定値を読み取るメータ読取システムであって、
前記メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、
前記メータにおける前記目盛りの始点及び終点と、前記始点及び前記終点における各測定値とを予め設定させる設定手段と、
設定された前記始点及び前記終点間の前記回転中心を基準とした角度及び前記各測定値に基づいて、前記メータにおける単位角度あたりの単位測定値を算出する基準値算出手段と、
前記メータを撮像したメータ画像を取得する取得手段と、
前記取得手段が取得した前記メータ画像における前記指針の前記始点からの角度と、前記単位測定値と、に基づいて前記メータが示す測定値を算出する読取手段と、を備えることを特徴とするメータ読取システム。 - 請求項1に記載のメータ読取システムにおいて、
前記始点から前記終点までの間で前記指針の角度を変更した複数のメータ画像と、各メータ画像における前記始点からの前記指針の角度と、に基づく分類モデルを生成するモデル生成手段を備え、
前記読取手段は、前記モデル生成手段が生成した前記分類モデルに基づいて、前記取得手段が取得した前記メータ画像における前記指針の前記始点からの角度を決定することを特徴とするメータ読取システム。 - 請求項1又は2に記載のメータ読取システムにおいて、
前記読取手段が読み取った前記メータの測定値を格納するデータベースを備えることを特徴するメータ読取システム。 - 取得手段と、読取手段と、設定手段と、基準値算出手段と、を備え、メータが示す測定値を読み取るメータ読取システムのメータ読取方法であって、
前記メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、
前記設定手段が、前記メータにおける前記目盛りの始点及び終点と、前記始点及び前記終点における各測定値とを設定させる設定ステップと、
前記基準値算出手段が、設定された前記始点及び前記終点間の前記回転中心を基準とした角度及び前記各測定値に基づいて、前記メータにおける単位角度あたりの単位測定値を算出する算出ステップと、
前記取得手段が、前記メータを撮像したメータ画像を取得する取得ステップと、
前記読取手段が、前記取得手段が取得した前記メータ画像における前記指針の前記始点からの角度と、前記単位測定値と、に基づいて前記メータが示す測定値を算出する読取ステップと、を含むことを特徴とするメータ読取方法。 - 請求項4に記載のメータ読取方法をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019085398A JP2020181464A (ja) | 2019-04-26 | 2019-04-26 | メータ読取システム、メータ読取方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019085398A JP2020181464A (ja) | 2019-04-26 | 2019-04-26 | メータ読取システム、メータ読取方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020181464A true JP2020181464A (ja) | 2020-11-05 |
Family
ID=73024715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019085398A Pending JP2020181464A (ja) | 2019-04-26 | 2019-04-26 | メータ読取システム、メータ読取方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020181464A (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0279699A (ja) * | 1988-09-16 | 1990-03-20 | Hitachi Ltd | 遠隔計測装置 |
JP2000182021A (ja) * | 1998-12-16 | 2000-06-30 | Toshiba Corp | メータ読取り装置 |
JP2003223693A (ja) * | 2002-01-30 | 2003-08-08 | Kyushu Electric Power Co Inc | 指示計器読み取り装置 |
JP2014032039A (ja) * | 2012-08-01 | 2014-02-20 | Mitsubishi Heavy Ind Ltd | 検査支援システム及び方法 |
JP2016212044A (ja) * | 2015-05-13 | 2016-12-15 | 大成建設株式会社 | 指針値読取装置および指針値読取プログラム |
JP2018045655A (ja) * | 2016-09-16 | 2018-03-22 | 株式会社東芝 | 監視装置 |
US20180211122A1 (en) * | 2017-01-20 | 2018-07-26 | Jack Cooper Logistics, LLC | Artificial intelligence based vehicle dashboard analysis |
CN109409385A (zh) * | 2018-10-16 | 2019-03-01 | 南京鑫和汇通电子科技有限公司 | 一种指针式仪表自动识别方法 |
-
2019
- 2019-04-26 JP JP2019085398A patent/JP2020181464A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0279699A (ja) * | 1988-09-16 | 1990-03-20 | Hitachi Ltd | 遠隔計測装置 |
JP2000182021A (ja) * | 1998-12-16 | 2000-06-30 | Toshiba Corp | メータ読取り装置 |
JP2003223693A (ja) * | 2002-01-30 | 2003-08-08 | Kyushu Electric Power Co Inc | 指示計器読み取り装置 |
JP2014032039A (ja) * | 2012-08-01 | 2014-02-20 | Mitsubishi Heavy Ind Ltd | 検査支援システム及び方法 |
JP2016212044A (ja) * | 2015-05-13 | 2016-12-15 | 大成建設株式会社 | 指針値読取装置および指針値読取プログラム |
JP2018045655A (ja) * | 2016-09-16 | 2018-03-22 | 株式会社東芝 | 監視装置 |
US20180211122A1 (en) * | 2017-01-20 | 2018-07-26 | Jack Cooper Logistics, LLC | Artificial intelligence based vehicle dashboard analysis |
CN109409385A (zh) * | 2018-10-16 | 2019-03-01 | 南京鑫和汇通电子科技有限公司 | 一种指针式仪表自动识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
CN102521560B (zh) | 高鲁棒仪表指针图像识别方法 | |
EP3151197B1 (en) | Automatic measurement of objects in images | |
JP6522869B1 (ja) | アナログメータの指針の指示値の自動読み取りシステム及び自動読み取り方法 | |
CN105043271A (zh) | 长度测量方法及装置 | |
CN112639901B (zh) | 仪表读取装置、仪表读取方法和存储介质 | |
CN111738229B (zh) | 一种指针表盘刻度的自动读取方法 | |
US20180085048A1 (en) | Electronic apparatus and method for providing skin inspection information thereof | |
JP7408865B2 (ja) | メータ読み取り作業装置および方法ならびにメータ読み取り作業システム | |
JP2020181467A (ja) | メータ読取システム、メータ読取方法及びプログラム | |
CN113837159A (zh) | 一种基于机器视觉的仪表示数识别方法和装置 | |
CN110633620A (zh) | 指针式仪表刻度识别方法及电子设备 | |
EP2816504A1 (en) | Character-extraction method and character-recognition device and program using said method | |
JP2020181466A (ja) | メータ読取システム、メータ読取方法及びプログラム | |
KR20230042369A (ko) | 이미지 데이터를 이용한 측정 데이터 생성 | |
JP6803940B2 (ja) | 遠隔メータ読取コンピュータ、その方法及びプログラム | |
CN113076730A (zh) | 一种试验报告智能管理方法、装置、系统及存储介质 | |
JP2020181464A (ja) | メータ読取システム、メータ読取方法及びプログラム | |
JP2020181465A (ja) | メータ読取システム、メータ読取方法及びプログラム | |
JP6514401B1 (ja) | 情報処理装置、学習装置、情報処理システム、情報処理方法及びコンピュータプログラム | |
CN114648810B (zh) | 一种交互式步态识别方法、装置及电子设备 | |
JP7116770B2 (ja) | アナログメータの指針の指示値の読み取り方法およびアナログメータの指針の指示値の読み取りシステム | |
KR101757258B1 (ko) | 문자인식 기능이 내장된 방문검침 용 모바일 기기 및 이를 이용한 방문검침 수행방법 | |
CN114898347A (zh) | 一种指针式仪表机器视觉识别方法 | |
CN111091910B (zh) | 基于画钟测试的智能评估系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210706 |