JP2020181467A - Meter reading system, meter reading method, and program - Google Patents
Meter reading system, meter reading method, and program Download PDFInfo
- Publication number
- JP2020181467A JP2020181467A JP2019085401A JP2019085401A JP2020181467A JP 2020181467 A JP2020181467 A JP 2020181467A JP 2019085401 A JP2019085401 A JP 2019085401A JP 2019085401 A JP2019085401 A JP 2019085401A JP 2020181467 A JP2020181467 A JP 2020181467A
- Authority
- JP
- Japan
- Prior art keywords
- meter
- image
- reading
- pointer
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、メータの値を自動で読み取るメータ読取システムに関する。 The present invention relates to a meter reading system that automatically reads meter values.
工場や家庭には、温度計や湿度計、電流計などいったアナログメータや、電気メータ、ガスメータ、水道メータなど文字盤が回転する回転式メータ、セグ液晶を備えたデジタルメータなど様々なタイプのメータが設置されている。
これらのメータの値を記録、管理して、電気やガスなどの使用量の推移や、工場内での環境変化の把握など様々な用途に利用したいという要望がある。
従来、メータの値を記録する場合、アナログメータの指針が指し示す値や、回転式メータの文字盤の値、セグ液晶に表示される数値などを、読み取りを行う者（工場の担当者、検針業者、居住者など）が目視で読み取り、読み取った数値をメータの値としてデータベースに登録するなどしていた。
しかしながら、工場などに設置されるメータの数が多い場合や、検針業者が各家庭に設置されたメータ類を巡回して読み取っていくようなケースでは、人による目視に頼ったメータ読み取りは非常に煩雑であるとともに負担が大きい。
また、目視での読み取りの場合、値の読み間違えが発生する懸念があり、特にアナログメータの場合、値と値の間などの針がどの値を指しているか読み取りを行う者によって解釈が分かれる場合もがある。その結果、必ずしも正確にメータの値を記録できない場合があった。
In factories and homes, there are various types of analog meters such as thermometers, hygrometers, and ammeters, rotary meters with rotating dials such as electric meters, gas meters, and water meters, and digital meters equipped with seg liquid crystal. A meter is installed.
There is a desire to record and manage the values of these meters and use them for various purposes such as changes in the amount of electricity and gas used and changes in the environment in factories.
Conventionally, when recording the value of the meter, the person who reads the value indicated by the pointer of the analog meter, the value of the dial of the rotary meter, the value displayed on the Seg LCD, etc. (factory staff, meter reader) , Residents, etc.) visually read and registered the read values in the database as meter values.
However, in cases where the number of meters installed in factories is large, or in cases where a meter reader patrols and reads the meters installed in each home, meter reading that relies on human visual inspection is extremely difficult. It is complicated and burdensome.
In addition, in the case of visual reading, there is a concern that a mistake in reading the value may occur, and especially in the case of an analog meter, when the interpretation differs depending on the person who reads the value, such as between the values. There is also. As a result, it may not always be possible to accurately record the meter value.
それに対し、人による目視に頼るのではなく、メータの値を自動的に読み取るための読取装置が各種提案されている。
特許文献１、特許文献２には、アナログメータを読み取るための読取装置が開示されている。
これらの文献に開示の技術では、メータを撮像した撮像画像に対して画像認識を行う。撮像画像内で認識される指針と、目盛りを表す円弧との関係性（交点）に基づいて指示値を読みとる。
そして、メータを撮像するうえで避けがたい、針の影や画像の傾きによる読み取り誤差を避けるために、様々な前処理を行う。
特許文献１の読取装置では、制御部は、メータの２次元画像データにおいて、読取装置のカメラからみて、メータの指針と常に重なる仮想線を固定面上に設定し、その仮想線に対応する輝度データや色差信号を含む１次元データを抽出する。仮想線は例えば、指針の回転中心を中心とする円弧状の線である。
制御部は、この１次元データに基づいて、指針に対応する仮想線上の画素位置を決定し、指針の指示値を判定する。
なお、太陽光などで文字盤上に指針の影ができると、１次元データにおいて、指針と影の画素が区別しにくくなるため、メータを照らす光とは異なる光源（レーザ光）を用いて、仮想線と同心円となる軌跡が生まれるように照射を行うことで、指針と影の画素が区別して、指針に対応する仮想線上の画素位置を決定し易くする。
影の位置のレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にあるのに対し、指針におけるレーザ光の軌跡は、文字盤上におけるレーザ光の軌跡の円周上にはない（指針と文字盤との間に距離があるため）。指針の位置ではレーザ光が検出されず、影の位置ではレーザ光が検出されるため、文字盤上のレーザ光の軌跡となるべき円弧に沿った１次元データでは、指針の位置における輝度信号、色差信号、および／またはその両方が、他の部分のものとは異なった値となる。よって、１次元データにおいて、指針と影の画素が区別しやすくなる。
また、特許文献２の針式メータ検出装置においては、線状画像生成部は、入力画像に対して例えば二値化処理を施し、さらに二値化画像から、針の色に相当する画素値を持つ線状画像を生成する。線抽出部は、線状画像にハフ変換や確率的ハフ変換等を施して、線を抽出する。針線選択部は、画像中の針式メータの回転中心点と、線抽出部で抽出された線（抽出線）の情報（位置および長さもしくは形状）とを基に、抽出線の中から針に相当する線（針線）を選択する。
さらに、針角度算出部は、針線選択部により選択された針線の角度を算出する。針角度算出部は、画像の幅方向、高さ方向をｘ座標、ｙ座標とする画像系において、画像を解析し、あらかじめ定められた基準線に対する針線の角度を算出する。
特許文献２ではさらに、撮像時に傾いたメータ画像が入力された場合に傾き補正を行ったうえで針角度を算出する。メータを正面から撮像したＤＢ画像と呼ぶ画像を用意し、傾いて撮像されたメータ画像から抽出した特徴点の組み合わせを、基準となるＤＢ画像と比較することで、画像の傾きを補正するためのパラメータを求める。針角度算出部は、求められたパラメータを用いて画像の傾き補正を行ったうえで、針角度を算出する。
また、特許文献３には、アナログメータ、デジタルメータを読み取る装置が開示されている。
特許文献３において、アナログメータを撮像した画像は２値化され、あらかじめ設定された指針パターンとパターンマッチングを行うことによって、アナログメータの指示値が読み取られる。デジタルメータについては、撮影した画像内の数値を縦方向、横方向のセグメント化に分割し、セグメントのＯＮ／ＯＦＦの情報として読み取る。
On the other hand, various reading devices have been proposed for automatically reading the meter value instead of relying on human visual inspection.
In the techniques disclosed in these documents, image recognition is performed on the captured image captured by the meter. The indicated value is read based on the relationship (intersection) between the pointer recognized in the captured image and the arc representing the scale.
Then, various preprocessing is performed in order to avoid reading errors due to the shadow of the needle and the inclination of the image, which are unavoidable when imaging the meter.
In the reading device of
The control unit determines the pixel position on the virtual line corresponding to the pointer based on the one-dimensional data, and determines the indicated value of the pointer.
If a shadow of the pointer is formed on the dial by sunlight or the like, it becomes difficult to distinguish the pointer and the shadow pixel in the one-dimensional data. Therefore, a light source (laser light) different from the light that illuminates the meter is used. By irradiating so that a locus that is concentric with the virtual line is generated, the pointer and the shadow pixel can be distinguished, and the pixel position on the virtual line corresponding to the pointer can be easily determined.
The trajectory of the laser beam at the shadow position is on the circumference of the trajectory of the laser beam on the dial, whereas the trajectory of the laser beam in the pointer is on the circumference of the trajectory of the laser beam on the dial. Not (because there is a distance between the pointer and the dial). Since the laser beam is not detected at the pointer position and the laser beam is detected at the shadow position, the one-dimensional data along the arc that should be the trajectory of the laser beam on the dial shows the luminance signal at the pointer position. The color difference signal and / or both have different values than those of the other parts. Therefore, in the one-dimensional data, the pointer and the shadow pixel can be easily distinguished.
Further, in the needle type meter detection device of Patent Document 2, the linear image generation unit performs, for example, binarization processing on the input image, and further, from the binarized image, a pixel value corresponding to the color of the needle is obtained. Generate a linear image to have. The line extraction unit extracts a line by performing a Hough transform, a stochastic Hough transform, or the like on a linear image. The needle line selection unit is a needle from the extraction line based on the rotation center point of the needle type meter in the image and the information (position and length or shape) of the line (extraction line) extracted by the line extraction unit. Select the line (needle line) corresponding to.
Further, the needle angle calculation unit calculates the angle of the needle line selected by the needle line selection unit. The needle angle calculation unit analyzes the image in an image system in which the width direction and the height direction of the image are the x-coordinate and the y-coordinate, and calculates the angle of the needle line with respect to a predetermined reference line.
Further, in Patent Document 2, when a meter image tilted at the time of imaging is input, the needle angle is calculated after performing tilt correction. To correct the tilt of an image by preparing an image called a DB image obtained by capturing the meter from the front and comparing the combination of feature points extracted from the meter image captured at an angle with a reference DB image. Find the parameters. The needle angle calculation unit calculates the needle angle after correcting the inclination of the image using the obtained parameters.
Further, Patent Document 3 discloses a device for reading an analog meter and a digital meter.
In Patent Document 3, the image captured by the analog meter is binarized, and the indicated value of the analog meter is read by performing pattern matching with a preset pointer pattern. For the digital meter, the numerical value in the captured image is divided into vertical and horizontal segmentation and read as ON / OFF information of the segment.
上記の特許文献に開示されている読取装置や検針装置によっては、人による目視による比べて正確にメータの値を読み取り、記録することが出来る。
しかしながら、メータを撮像する時の角度、影の影響を防ぐために画像に対する前処理が必要であって煩雑である。
本発明は上記の問題点を鑑みてなされたものであり、メータの測定値を人による目視に頼ることなくより正確に読み取り可能であり、かつ読取画像に対する前処理量を低減したメータ読取システムを提供することを目的とする。
Depending on the reading device and the meter reading device disclosed in the above patent document, it is possible to read and record the meter value more accurately than by visual inspection by a human.
However, preprocessing for the image is required to prevent the influence of the angle and shadow when the meter is imaged, which is complicated.
The present invention has been made in view of the above problems, and provides a meter reading system that can read the measured values of the meter more accurately without relying on human visual inspection and reduces the amount of preprocessing for the read image. The purpose is to provide.
上記の課題を解決するために、本発明は、メータが示す測定値を読み取るメータ読取システムであって、前記メータは、円弧状の目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す指針と、を備え、前記メータを撮像したメータ画像を取得する取得手段と、前記取得手段が取得した前記メータ画像から、前記目盛りの全体と、前記目盛りを指し示す前記指針の少なくとも一部を含むメータ本体画像を切り出す切出手段と、前記メータ本体画像から、前記指針が指し示す前記測定位置を検出するとともに、前記測定位置の前後における前記目盛り上の基準位置に付加表示される２つの基準測定値を読み取り、２つの前記基準位置間の角度と、２つの前記基準位置のうちの何れか一方を基準とした前記指針の角度と、２つの前記基準測定値のうちの何れか一方と、に基づいて、前記メータが示す測定値を算出する読取手段と、を備えることを特徴とする。 In order to solve the above problems, the present invention is a meter reading system that reads a measured value indicated by a meter, and the meter rotates around an arcuate scale and a predetermined rotation center on the scale. A pointer that points to the measurement position of the meter, and an acquisition means that acquires a meter image obtained by imaging the meter, and from the meter image acquired by the acquisition means, the entire scale and at least the pointer that indicates the scale The measurement position pointed to by the pointer is detected from the cutting means for cutting out the meter body image including a part thereof and the meter body image, and is additionally displayed at the reference position on the scale before and after the measurement position. Read one reference measurement value, the angle between the two reference positions, the angle of the pointer based on one of the two reference positions, and one of the two reference measurement values. A reading means for calculating the measured value indicated by the meter based on the above.
上記のように構成することにより、本発明によれば、メータの値を人による目視に頼ることなく正確に読み取り可能なメータ読み取りシステムを実現することが出来る。 With the above configuration, according to the present invention, it is possible to realize a meter reading system that can accurately read the meter value without relying on human visual inspection.
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
本実施形態に係るシステムは、家庭や工場、ビルなどに設置された各種のメータを自動的に読み取って、読み取り値（メータの測定値）を帳簿データベースに登録するためのメータ読み取りシステムである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The system according to the present embodiment is a meter reading system for automatically reading various meters installed in homes, factories, buildings, etc., and registering the readings (measured values of the meters) in the book database.
図１は、本実施形態に係るメータ読み取りシステムのシステム構成を示す図である。
図１に示すように、メータ読み取りシステム１は、例えば工場や家庭などに設置されたメータと、カメラを備えてメータの画像（メータ画像）を撮像して送信可能な携帯情報端末（スマートフォンなど）１０と、携帯情報端末から送信されたメータ画像を受信してメータ値の読み取りを行い、帳簿データベース（図１３）に登録するメータ管理サーバ２０と、を備えている。
メータ管理サーバ２０は、例えばインターネット上に公開されており、アクセスポイントを経由してインターネットに接続する携帯情報端末１０と通信可能となっている。あるいは、メータ管理サーバ２０はファイヤウォール内、すなわち社内ＬＡＮやイントラネット上に設置されていてもよい。
FIG. 1 is a diagram showing a system configuration of a meter reading system according to the present embodiment.
As shown in FIG. 1, the
The
本システムにおける読み取りの対象となるメータは、目盛りと指針によって測定値を表すアナログメータ、７セグ液晶によって測定値を示すデジタルメータ、数値が刻印あるいは印字された複数の回転ダイヤルによって測定値を示す回転式メータ、その他目盛りの間隔が一定ではない電流計タイプのメータ等を含む。
本実施形態のシステムは、このようなメータをスマートフォンなどで撮像したメータ画像に基づいて、メータの測定値を自動的に読み取り、メータ管理サーバ２０で管理する。メータ画像を用いた測定値の読み取りには、ディープラーニングの手法を用いることが出来る。
The meters to be read in this system are an analog meter that shows the measured value by the scale and pointer, a digital meter that shows the measured value by the 7-segment liquid crystal, and a rotation that shows the measured value by multiple rotary dials with or printed numerical values. Includes type meters and other ammeter-type meters with non-constant scale intervals.
The system of the present embodiment automatically reads the measured value of the meter based on the meter image captured by a smartphone or the like, and manages the meter by the
なお、メータ画像に基づく測定値の認識（読み取り）は、画像を撮像した携帯情報端末１０のアプリ上で行われてもよいし、メータ画像をアップロードしたメータ管理サーバ２０上で行われてもよい。
読み取られた測定値は、メータ毎に紐付けされてメータ管理サーバ２０の帳簿データベース（図１３）に格納される。
メータ管理サーバ２０は、利用者からのアクセスに応じて、帳簿データベースに格納される測定値を、利用者毎、メータ毎のグラフとして提示することが出来る。
The recognition (reading) of the measured value based on the meter image may be performed on the application of the
The read measured values are linked to each meter and stored in the book database (FIG. 13) of the
The
図２は、本実施形態のメータ読み取りシステムを構成する携帯情報端末の機能構成を示す図であり、（ａ）はハードウェア構成を示す機能ブロック図、（ｂ）はソフトウェアによる機能構成を示すブロック図である。
図２（ａ）に示すように、携帯情報端末（スマートフォン）２０は、装置全体の制御を行うオペレーティングシステム（ｉＯＳ、Ａｎｄｒｏｉｄ等）ともにメータ読取アプリを実行するアプリケーションプロセッサ（以下、単にプロセッサ）１２と、プロセッサ１２による処理のために各種のプログラムや一時データ、変数が展開されるＲＡＭ（Random Access Memory）１３と、プログラムやデータが格納される記憶部としてのフラッシュメモリ（フラッシュＲＯＭ）１４と、を備えている。
FIG. 2 is a diagram showing a functional configuration of a mobile information terminal constituting the meter reading system of the present embodiment, (a) is a functional block diagram showing a hardware configuration, and (b) is a block showing a functional configuration by software. It is a figure.
As shown in FIG. 2A, the mobile information terminal (smartphone) 20 includes an application processor (hereinafter, simply a processor) 12 that executes a meter reading application together with an operating system (IOS, Android, etc.) that controls the entire device. , RAM (Random Access Memory) 13 in which various programs, temporary data, and variables are expanded for processing by the
また、携帯情報端末１０は、不図示のアンテナと、無線通信を行うためのモデムやベースバンド部を含む無線部１５と、カメラ１７、タッチパネルを前面側に備えたディスプレイ１６と、を備えている。
プロセッサ１２には、主に演算処理を行うＣＰＵ、主に描画処理を行うＧＰＵが内蔵されている。
プロセッサ１２、ＲＡＭ１３、フラッシュＲＯＭ１４、無線部１５は、単一のＳｏＣ（System on Chip）１１として統合されている。
Further, the
The
The
図２（ｂ）に示すように、プロセッサ１２は、本実施形態のメータ読み取りに関連する機能として、メータ画像撮像処理部５１、メータ画像送信処理部５２、コード読取処理部５３、コード表示処理部５４、通信制御部５５を備えている。
メータ画像撮像処理部５１は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、メータの画像（メータ画像）を撮像する処理を行う処理部である。
メータ画像送信処理部５２は、本実施形態に係るメータ読取アプリを構成し、利用者の操作に基づいて、撮像したメータ画像を、メータ管理サーバ２０に送信（アップロード）する処理を行う処理部である。
コード読取処理部５３は、メータ画像撮像処理部５１が撮像したメータ画像に含まれる ＱＲコード（登録商標）を読み取り、メータの識別情報を取得する処理を行う処理部である。
As shown in FIG. 2B, the
The meter image imaging processing unit 51 is a processing unit that constitutes the meter reading application according to the present embodiment and performs processing for capturing an image (meter image) of the meter based on the operation of the user.
The meter image
The code
メータ画像送信処理部５２は、メータ画像をメータ管理サーバ２０に送信する際、コード読取処理部５３が ＱＲコード（登録商標）から取得した識別情報も合わせて送信する。
後述するように、メータ管理サーバ２０の帳簿デーベースには、メータが識別情報に関連づけられて管理されている。
メータ画像とともに識別情報が送信されることで、メータ画像送信処理部５２側でメータを特定し、同メータについて継続的に測定値を蓄積していくことが出来る。
利用者としても、メータ画像を撮像するだけで、同時に ＱＲコード（登録商標）が撮像され、識別情報が取得されるので、別途、メータを特定するための作業や操作が必要なく非常に便利である。
When the meter image
As will be described later, the meter is managed in association with the identification information in the book database of the
By transmitting the identification information together with the meter image, the meter image
As a user, just by capturing the meter image, the QR code (registered trademark) is imaged at the same time and the identification information is acquired, so it is very convenient without the need for separate work or operation to identify the meter. is there.
コード表示処理部５４は、下記に説明するようにメータを一意に識別する情報を含む ＱＲコード（登録商標）を含まないメータ画像をメータ管理サーバ２０にアップロードすることによってメータ管理サーバ２０で付与された ＱＲコード（登録商標）をディスプレイ１６上に表示し、印刷等のために外部出力を実行する処理を行う処理部である。
また、通信制御部５５は、無線部１５を制御して携帯情報端末１０をネットワークに接続するための処理を行う。
The code
In addition, the
なお、上記したように、メータ画像を用いたメータの測定値の読み取りを、メータ管理サーバ２０で行うのではなく、携帯情報端末１０で行うように構成してもよい。
その場合、携帯情報端末１０は、後述するメータ管理サーバ２０が備えるメータ値読み取り処理部６３と同等の処理部を備える。
また、携帯情報端末１０は、読み取った測定値を、 ＱＲコード（登録商標）に基づく識別情報とともにメータ管理サーバ２０に送信する。なお、測定値の読み取りを携帯情報端末１０で行う場合でもあっても、メータ管理サーバ２０で管理して参照可能とするために、撮像したメータ画像がメータ管理サーバ２０にアップロードされることが望ましい。
As described above, the reading of the measured value of the meter using the meter image may be performed not by the
In that case, the
Further, the
図３は、本実施形態のメータ読み取りシステムを構成するメータ管理サーバの機能構成を示す図であり、（ａ）はハードウェア構成を示す機能ブロック図、（ｂ）はソフトウェアによる機能構成を示すブロック図である。
図３（ａ）に示すように、メータ管理サーバ２０は、装置全体の制御を行う汎用のオペレーティングシステムを実行するともメータ管理処理を実現するプログラムを実行するＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１による処理のために各種のプログラムや一時データ、変数が展開されるＲＡＭ（Random Access Memory）２２と、プログラムやデータが格納される記憶部２３としてのＨＤＤ（Hard Disk Drive）や不図示のＲＯＭ（Read Only Memory）を備えている。記憶部２３としては、ＨＤＤに限らず、ＳＳＤ（Solid State Drive）等を用いてもよい。
FIG. 3 is a diagram showing a functional configuration of a meter management server constituting the meter reading system of the present embodiment, (a) is a functional block diagram showing a hardware configuration, and (b) is a block showing a functional configuration by software. It is a figure.
As shown in FIG. 3A, the
記憶部２３には、帳簿データベースや学習モデル、メータ画像が格納されている。
帳簿データベース自体は、メータ管理サーバ２０自体とは異なるハードウェアに格納されていてももちろんよく、ネットワークを介して接続可能なデータベースサーバに格納されていてもよい。
また、メータ管理サーバ２０は、ネットワークに接続するためのイーサネット（登録商標）アダプタなどのネットワークインターフェイス１４と、液晶モニタ等の表示装置と、キーボードやマウス等の入力装置（何れも不図示）と、を備えている。
The
Of course, the book database itself may be stored in hardware different from that of the
Further, the
図３（ｂ）に示すように、ＣＰＵ２１は、処理部として、学習モデル生成処理部６１、メータ画像受信処理部６２、メータ値読み取り処理部６３、データベース管理処理部６４、グラフ生成処理部６５、情報公開処理部６６、通信制御部６７を実行する。
また、記憶部２３には、学習モデル記憶部７１、メータ画像記憶部７２、帳簿データベース７３が設定されている。
学習モデル生成処理部６１は、収集された大量のメータ画像に対してディープラーニングによるパターン学習を行い、学習モデル（分類モデル）を生成する処理を行う処理である。生成された学習モデルは、学習モデル記憶部７１に格納される。
As shown in FIG. 3B, the
Further, in the
The learning model
メータ画像受信処理部６２は、携帯情報端末１０から、メータ画像を受信する処理を行う処理部（取得手段）である。受信したメータ画像は、メータ画像記憶部７２に格納される。
メータ値読み取り処理部６３は、携帯情報端末１０から受信したメータ画像に上記分類モデルを適用してメータの測定値の読み取りを行う処理部である。読み取られた測定値は、帳簿データベース７３（読み取り値記憶部）に格納される。
データベース管理処理部６４は、帳簿データベースを管理する処理部である。
メータ値読み取り処理部６３が読みとった測定値をメータごと、利用者ごとに帳簿データベースに格納する。また、新規のメータが登録された場合や、識別情報が含まれないメータ画像が送信されてきた場合には、識別情報を新たに生成して携帯情報端末１０に供給することが出来る。
グラフ生成処理部６５は、帳簿データベース７３に格納されている測定値の情報を時系列に沿ってプロットした測定グラフを生成する処理を行う処理部である。
The meter image
The meter value
The database
The measured value read by the meter value
The graph
情報公開処理部６６は、いわゆるウェブサーバとしての機能を有し、携帯情報端末１０からの要求に応じて、グラフ生成処理部６５が生成した測定グラフを表示するためのＨＴＭＬ（HyperText Markup Language）ページを送信する処理を行う処理部である。
情報公開処理部６６（ウェブサーバ）は、携帯情報端末１０からの初期設定操作を受け付ける設定手段としても機能する。
また、情報公開処理部６６は、測定グラフにおいて測定値がダブルクリックやタップ等されると、メータ画像記憶部７２に格納されている、対応するメータ画像（生データ）を表示する。
The information
The information disclosure processing unit 66 (web server) also functions as a setting means for receiving an initial setting operation from the
Further, when the measured value is double-clicked or tapped on the measurement graph, the information
また、測定グラフに表示される測定値に誤りがあった場合、情報公開処理部６６は、ＨＭＴＬページを介した利用者による修正値の入力を受け入れ、データベース管理処理部６４に帳簿データベース７３の値を修正させることが出来る。
通信制御部６７は、ネットワークインターフェイス２４を制御してメータ管理サーバ２０をネットワークに接続するための処理を行う処理部である。
Further, when there is an error in the measured value displayed on the measurement graph, the information
The
図４は、本実施形態のシステムにおける、読み取り対象となるメータの登録処理を説明する図である。
なお、これはあくまで一例であり、別の流れでメータの登録処理が行われてもよい。
ステップＳ１において、携帯情報端末１０は、情報公開処理部６６（ウェブサーバ）を介した、メータ管理サーバ２０に対する利用者のログイン処理を行う。メータ管理サーバ２０に利用者の登録がない場合、利用者の新規登録を行う。
ログイン処理が終了すると、携帯情報端末１０は、ステップＳ２において、読み取り対象となるメータの画像を送信して新規登録を行う。この時点で、メータの種類や仕様などを利用者自身で選択、設定できるようにしてもよい。
FIG. 4 is a diagram illustrating a registration process of a meter to be read in the system of the present embodiment.
Note that this is just an example, and the meter registration process may be performed in a different flow.
In step S1, the
When the login process is completed, the
次に、ステップＳ３において、携帯情報端末１０は、必要に応じた初期設置（後述するアナログメータのパラメータ入力など）を行う。
ステップＳ２の登録処理、ステップＳ３の設定処理が終了すると、メータ管理サーバ２０は、ステップＳ４において、帳簿データベース７３に識別情報を新規登録する。
そして、メータ管理サーバ２０は、ステップＳ５において、識別情報を携帯情報端末１０に送信する。
識別情報を受信した携帯情報端末１０は、ステップＳ６において、識別情報に基づく ＱＲコード（登録商標）を表示画面（ディスプレイ１６）に表示し、必要に応じてプリンタ等に外部出力する。
Next, in step S3, the
When the registration process of step S2 and the setting process of step S3 are completed, the
Then, the
In step S6, the
なお、メータ画像の撮像に応じて、メータの識別情報及びそれに基づく ＱＲコード（登録商標）を携帯端末情報１０で作成し、携帯端末情報１０が識別情報をメータ管理サーバ２０にアップロードするようにしてもよい。
いずれの場合も、携帯情報端末２０でメータを撮影すると、結果として、当該のメータに一意に対応した ＱＲコード（登録商標）が出力される。
上記一連の処理が行われたあと、出力された ＱＲコード（登録商標）を印刷したシール等をメータ（メータのケース部）に貼り付けて撮像を行うことで、メータ画像と識別情報を紐付けてサーバにアップロードし、読み取られた測定値をメータに容易に紐付けて帳簿データベース７３に格納することができる。
メータをメータ管理サーバ２０においても特定した状態で、メータ画像を送信（アップロード）し、測定値の読み取り及び管理を行うことが出来る。
In addition, according to the imaging of the meter image, the identification information of the meter and the QR code (registered trademark) based on the identification information are created by the mobile
In either case, when the meter is photographed by the
After the above series of processing is performed, the meter image and the identification information are linked by attaching a sticker or the like on which the output QR code (registered trademark) is printed to the meter (meter case) and taking an image. It can be uploaded to the server, and the read measured value can be easily associated with the meter and stored in the
With the meter specified on the
図５は、携帯情報端末のプロセッサによるメータ撮影処理を説明するフローチャートである。
ステップＳ１０１において、プロセッサ１２は、メータ読取アプリが起動中であるか否かを判定する。
メータ読取アプリが起動中であると判定した場合（ステップＳ１０１でＹｅｓ）、プロセッサ１２は、ステップＳ１０２において、メータの撮影操作が行われたか否かを判定する。
メータの撮影操作が行われたと判定した場合（ステップＳ１０２でＹｅｓ）、プロセッサ１２（メータ画像撮像処理部５１）は、ステップＳ１０３において、メータの撮影処理を行って今回のメータ撮影処理を終了する。
FIG. 5 is a flowchart illustrating a meter shooting process by the processor of the mobile information terminal.
In step S101, the
When it is determined that the meter reading application is running (Yes in step S101), the
When it is determined that the meter shooting operation has been performed (Yes in step S102), the processor 12 (meter image imaging processing unit 51) performs the meter shooting process in step S103 to end the current meter shooting process.
ステップＳ１０２において、メータ撮影操作が行われたと判定しなかった場合（ステップＳ１０２でＮｏ）、プロセッサ１２は、ステップＳ１０４において、ステップＳ１０３で撮影したメータ画像の送信操作が行われたか否かを判定する。
メータ画像の送信操作が行われたか否かを判定した場合（ステップＳ１０４でＹｅｓ）、プロセッサ１２（メータ画像送信処理部５２）は、ステップＳ１０５において、ネットワークＩ／Ｆを介してメータ画像を送信する処理を行って今回のメータ撮影処理を終了する。
ステップＳ１０１においてメータ読取アプリが起動中ではないと判定した場合（ステップＳ１０１でＮｏ）、プロセッサ１２は、ステップＳ１０６において、メータ読取アプリの起動操作が行われた否かを判定する。
メータ読取アプリの起動操作が行われたと判定した場合（ステップＳ１０６でＹｅｓ）、プロセッサ１０２は、ステップＳ１０７においてメータ読取アプリを起動し、今回のメータ撮影処理を終了する。
If it is not determined in step S102 that the meter imaging operation has been performed (No in step S102), the
When it is determined whether or not the meter image transmission operation has been performed (Yes in step S104), the processor 12 (meter image transmission processing unit 52) transmits the meter image via the network I / F in step S105. Processing is performed and the meter shooting process this time is completed.
If it is determined in step S101 that the meter reading application is not running (No in step S101), the
When it is determined that the start operation of the meter reading application has been performed (Yes in step S106), the
図６は、メータ管理サーバのＣＰＵによる、メータ画像受信時処理を説明するフローチャートである。
ＣＰＵ２１（メータ画像受信処理部６２）は、ステップＳ２０１において、メータ読取アプリ（携帯情報端末１０）から、メータ画像を受信したか否かを判定する。
メータ画像を受信したと判定した場合（ステップＳ２０１でＹｅｓ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０２において、メータ画像を解析する。
ステップＳ２０３において、ＣＰＵ２１（メータ画像読み取り処理部６３）は、メータ画像が識別情報を含むか否かを判定する。
FIG. 6 is a flowchart illustrating processing at the time of receiving a meter image by the CPU of the meter management server.
In step S201, the CPU 21 (meter image reception processing unit 62) determines whether or not the meter image has been received from the meter reading application (mobile information terminal 10).
When it is determined that the meter image has been received (Yes in step S201), the CPU 21 (meter image reading processing unit 63) analyzes the meter image in step S202.
In step S203, the CPU 21 (meter image reading processing unit 63) determines whether or not the meter image contains identification information.
もしメータ画像が識別情報を含まない場合は（ステップＳ２０３でＮｏ）、ＣＰＵ２１（データベース管理処理部６４）は、ステップ２１５において、新規の識別情報を作成して帳簿データベースに登録する。そして、ＣＰＵ２１は、ステップＳ２１６において、作成した識別情報を携帯情報端末１０に送信する。
メータ画像が識別情報を含むと判定した場合（ステップＳ２０３でＹｅｓ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０４において、識別情報を取得し、ステップＳ２０５において、識別情報に基づいて帳簿データベースを参照してメータの種類を特定する。
帳簿データベース７３には、識別情報に対応するメータの種類が設定されている。メータの種類は、利用者による登録時に指定されてもよいし、メータ管理サーバ２０におけるメータ読み取り時の画像処理の過程で識別されてもよい。
ＱＲコード（登録商標）に、メータの識別情報のみならずメータの種類などの情報を含めておけば、携帯情報端末１０からの情報のみで、メータ管理サーバ２０を参照することなく、メータの種類を特定することが出来る。
If the meter image does not include the identification information (No in step S203), the CPU 21 (database management processing unit 64) creates new identification information and registers it in the book database in
When it is determined that the meter image contains the identification information (Yes in step S203), the CPU 21 (meter image reading processing unit 63) acquires the identification information in step S204, and in step S205, the book database based on the identification information. Refer to to identify the type of meter.
In the
If the QR code (registered trademark) includes not only the meter identification information but also information such as the meter type, the meter type can be obtained only from the
ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０６において、メータ画像に係るメータが、アナログメータであるか否かを判定する。
メータ画像に係るメータがアナログメータであったと判定した場合（ステップＳ２０６でＹｅｓ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０７において、メータ画像に対してアナログメータ用の読み取り手法を実行する。
ステップＳ２０６において、メータ画像に係るメータがアナログメータではなかったと判定した場合（ステップＳ２０６でＮｏ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０８において、メータ画像に係るメータが、７セグ方式のデジタルメータであるか否かを判定する。
メータ画像に係るメータがデジタルメータであったと判定した場合（ステップＳ２０８でＹｅｓ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２０９において、メータ画像に対してデジタルメータ用の読み取り手法を実行する。
In step S206, the CPU 21 (meter image reading processing unit 63) determines whether or not the meter related to the meter image is an analog meter.
When it is determined that the meter related to the meter image is an analog meter (Yes in step S206), the CPU 21 (meter image reading processing unit 63) executes a reading method for the analog meter on the meter image in step S207. ..
When it is determined in step S206 that the meter related to the meter image is not an analog meter (No in step S206), the CPU 21 (meter image reading processing unit 63) uses the 7-segment system for the meter related to the meter image in step S208. It is judged whether or not it is a digital meter of.
When it is determined that the meter related to the meter image is a digital meter (Yes in step S208), the CPU 21 (meter image reading processing unit 63) executes a reading method for the digital meter on the meter image in step S209. ..
ステップＳ２０８において、メータ画像に係るメータがデジタルメータではないと判定した場合（ステップＳ２０８でＮｏ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２１０において、メータ画像に係るメータが、回転式メータであるか否かを判定する。
メータ画像に係るメータが回転式メータであったと判定した場合（ステップＳ２１０でＹｅｓ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２１１において、メータ画像に対して回転式メータ用の読み取り手法を実行する。
ステップＳ２１０において、メータ画像に係るメータが回転式メータではないと判定した場合（ステップＳ２１０でＮｏ）、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２１２において、メータ画像に対して、電流計用の読み取り手法を実行する。
When it is determined in step S208 that the meter related to the meter image is not a digital meter (No in step S208), in step S210, the meter related to the meter image is a rotary meter in the CPU 21 (meter image reading processing unit 63). It is determined whether or not it is.
When it is determined that the meter related to the meter image is a rotary meter (Yes in step S210), the CPU 21 (meter image reading processing unit 63) performs a reading method for the rotary meter on the meter image in step S211. Run.
If it is determined in step S210 that the meter related to the meter image is not a rotary meter (No in step S210), the CPU 21 (meter image reading processing unit 63) is for an ammeter with respect to the meter image in step S212. Perform the reading method of.
ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２１３において、ステップＳ２０７、ステップＳ２０９、ステップＳ２１１、ステップＳ２１２の処理で得られた読み取り値（測定値）と、読み取り日時を帳簿データベースに登録（追加）する。
さらに、ＣＰＵ２１（メータ画像読み取り処理部６３）は、ステップＳ２１４において、識別情報、読み取り値に関連付けて、メータ画像をメータ画像記憶部７２に格納する。
In step S213, the CPU 21 (meter image reading processing unit 63) registers (adds) the reading value (measured value) obtained in the processing of step S207, step S209, step S211 and step S212 and the reading date and time in the book database. To do.
Further, in step S214, the CPU 21 (meter image reading processing unit 63) stores the meter image in the meter
上記のような処理が行われることで、本実施形態のメータ読み取りシステムによれば、利用者がメータの写真を携帯情報端末（スマートフォン）１０で撮影し、メータ読みとりアプリを利用してメータ管理サーバ２０にアップロードするだけで、メータの測定値が自動的に読み取られ、読み取り値は撮像日時に紐付けられて順次帳簿データベース７３に格納されていき、例えばＷｅｂブラウザ等を介して随時確認可能となる。
By performing the above processing, according to the meter reading system of the present embodiment, the user takes a picture of the meter with the mobile information terminal (smartphone) 10 and uses the meter reading application to use the meter management server. Just by uploading to 20, the measured value of the meter is automatically read, and the read value is linked to the imaging date and time and sequentially stored in the
多くのメータが設置された工場などの現場でそれらのメータの測定値を読み取る場合でも、利用者の側ではメータの違いを意識することなく、メータを撮像した画像をアップロードするだけでメータ毎に測定値を確認することが出来る。
本実施形態のメータ読み取りシステムによれば、利用者が目視でメータを読み取って手動でデータベース等に入力するような方法に比べ、圧倒的に簡便且つ正確に、メータの測定値を活用することが出来る。
Even when reading the measured values of those meters at the site such as a factory where many meters are installed, the user side does not have to be aware of the difference between the meters and just uploads the image of the meter for each meter. You can check the measured value.
According to the meter reading system of the present embodiment, it is possible to utilize the measured value of the meter overwhelmingly more easily and accurately than the method in which the user visually reads the meter and manually inputs it into a database or the like. You can.
さらに、メータの識別情報は、 ＱＲコード（登録商標）ではなくＲＦＩＤ（Radio Frequency IDentifier）を用いて携帯情報端末１０に取得されてもよい。
その場合、メータ（メータのケース部）には少なくとも識別情報を書き込んだＲＦＩＤタグを貼付し、携帯情報端末１０にはＲＦＩＤのリーダを備える。
メータ画像を撮像するために携帯情報端末１０をメータ（メータのケース部）に近づけるだけで、識別情報を取得することが出来る。
複数のメータが並んで設置されている場合でも、携帯情報端末１０は、電波強度等の情報を用いて、撮像したメータに貼付されたＲＦＩＤを識別することが出来る。
Further, the identification information of the meter may be acquired by the
In that case, an RFID tag on which at least identification information is written is attached to the meter (case portion of the meter), and the
Identification information can be acquired simply by bringing the
Even when a plurality of meters are installed side by side, the
以下に、本実施形態における、メータのタイプ毎の自動読み取り方法について説明する。
＜アナログメータの読み取り方法＞
［初期設定］
上記したように、本実施形態におけるアナログメータの自動読み取りにおいて、読み取りを行いたいアナログメータに関して初期設定を行う。
この初期設定は、図６のフローチャートに含まれる処理とは別に、事前に行っておく処理（図４の処理）である。
図７は、本実施形態におけるアナログメータの初期設定画面を示す図である。
図７の初期設定画面は、図４に説明したように、メータ管理サーバ２０にログインしてアナログメータを登録時に表示される画面である。
図７の表示は、登録が必要な情報を説明するための例示に過ぎず、この内容に限定されることはない。
The automatic reading method for each type of meter in the present embodiment will be described below.
<How to read the analog meter>
[Initial setting]
As described above, in the automatic reading of the analog meter in the present embodiment, the initial setting is performed for the analog meter to be read.
This initial setting is a process (process of FIG. 4) that is performed in advance separately from the process included in the flowchart of FIG.
FIG. 7 is a diagram showing an initial setting screen of the analog meter in this embodiment.
As described in FIG. 4, the initial setting screen of FIG. 7 is a screen displayed when logging in to the
The display in FIG. 7 is merely an example for explaining the information that needs to be registered, and is not limited to this content.
図７に示すように、初期設定画面では、利用者がアップロードしたアナログメータの正面からの撮像画像に対して、目盛りの回転中心、始点、終点を登録させる。
図７に示されるように、世の中に存在するアナログメータは、３６０度（全周）にわたって、目盛りが設けられたメータばかりではない。
後述する、モデル作成工程、本工程（読み取り処理）で用いる情報として、目盛りの始点と終点を指定させる。目盛りの始点及び終点における測定値も入力させる。
全周に亘って目盛りが存在するメータであっても、目盛りの始点、終点は当然あり、これらを登録させる。始点、終点における測定値も同様に登録させる。
As shown in FIG. 7, on the initial setting screen, the rotation center, start point, and end point of the scale are registered in the image captured from the front of the analog meter uploaded by the user.
As shown in FIG. 7, analog meters existing in the world are not limited to meters with scales over 360 degrees (entire circumference).
The start point and end point of the scale are specified as the information used in the model creation process and the main process (reading process), which will be described later. The measured values at the start and end points of the scale are also input.
Even if the meter has a scale over the entire circumference, there are naturally start points and end points of the scale, and these are registered. The measured values at the start and end points are also registered in the same way.
入力された情報は、設定情報として、メータの識別情報に関連づけてメータ管理サーバ２０のＨＤＤ２３に格納される。
なお、図７の設定は、携帯情報端末１０が備えるディスプレイ１６上に表示された初期設定画面に対するタッチパネル操作によって行うことが想定されうる。
スマートフォンなどの端末上で始点、終点をタップする細やかな操作を行うことは難度が高い可能性がある。そこで、メータ画像の中から、目盛りのライン（３６０度）を画像認識し、そのライン上で始点から終点までの範囲を利用者がなぞって指定することで、始点、終点を設定できるようにしてもよい。
The input information is stored in the
It can be assumed that the setting of FIG. 7 is performed by touch panel operation on the initial setting screen displayed on the display 16 included in the
It may be difficult to perform detailed operations by tapping the start point and end point on a terminal such as a smartphone. Therefore, the start point and the end point can be set by recognizing the scale line (360 degrees) from the meter image and specifying the range from the start point to the end point on the line by the user. May be good.
なお、目盛りの範囲（始点、終点の位置）、始点、終点における測定値の読み取り（指定）は、画像処理によって自動化するようにしてもよい。この場合、図４の画面を使った設定作業は不要となる。
また、販売されている様々なアナログメータの画像、情報（目盛り範囲や始点、終点の測定値）をメータ管理サーバ２０に収集しておき、利用者がアップロードしたメータ画像がどのメータに該当するかを提案するようにしてもよい。
提案されたメータと利用者が実際に利用している（測定値を自動読み取りしたい）メータが一致していれば、初期設定を行うことなく、始点、終点の位置、始点、終点における測定値はメータ管理サーバ２０に格納されているものを利用することが出来る。
このようなメータの提案は、ディープラーニング手法を用いることなく、特徴点をとってマッチ率が高いメータを提案することで実現することが出来る。
Note that the reading (designation) of the measured values at the scale range (start point, end point position), start point, and end point may be automated by image processing. In this case, the setting work using the screen of FIG. 4 becomes unnecessary.
In addition, images and information (measured values of scale range, start point, and end point) of various analog meters sold are collected in the
If the proposed meter and the meter actually used by the user (who wants to automatically read the measured value) match, the measured values at the start point, end point position, start point, and end point can be obtained without making initial settings. What is stored in the
The proposal of such a meter can be realized by proposing a meter having a high match rate by taking feature points without using a deep learning method.
［分類モデルの作成］
本実施形態のシステムにおいて、メータ管理サーバ２０がアナログメータの測定値を自動で読み取るためには、利用者（携帯情報端末１０）がアップロードしたアナログメータの画像と、予め作成した分類モデル（学習モデル）と、を比較することによって、アナログメータの指針の測定位置を判断し、測定値の読み取りを行う。
まず、自動的な測定値の読み取りが行えるようにするための事前の準備として、「分類モデル」の作成を行う。これは、図６のフローチャートに含まれる処理とは別に行っておく処理である。
[Creation of classification model]
In the system of the present embodiment, in order for the
First, a "classification model" is created as a preliminary preparation for enabling automatic reading of measured values. This is a process to be performed separately from the process included in the flowchart of FIG.
図８は、本実施形態におけるアナログメータの分類モデルの作成処理を説明する概略図である。
この処理は、メータ管理サーバ２０が備える学習モデル生成処理部６１によって実行できるが、分類モデルの作成自体は他の装置で行っても構わない。
図８（１）において、全周（３６０度）に亘って目盛りを有したアナログメータにおいて、０度から３６０度の間で１度ずつ指針を動かしたアナログメータの画像１００を用意する。
FIG. 8 is a schematic diagram illustrating a process of creating a classification model of an analog meter in the present embodiment.
This process can be executed by the learning model
In FIG. 8 (1), in an analog meter having a scale over the entire circumference (360 degrees), an
全周に亘っては目盛りが設けられていない図７のようなアナログメータの場合は、始点から終点の間で指針を１度ずつ動かした画像である。
学習用に用意されるアナログメータの画像は、指針の角度ごとに、アナログメータを正面から撮像した画像に加え、様々な角度から斜めに撮像したものを含む。
また画像処理によって様々な向きの画像を作成することで、学習用の画像の枚数を補うことも出来る。
In the case of an analog meter as shown in FIG. 7 in which no scale is provided over the entire circumference, it is an image in which the pointer is moved once from the start point to the end point.
The analog meter images prepared for learning include images taken from the front of the analog meter for each angle of the pointer, as well as images taken at an angle from various angles.
It is also possible to supplement the number of images for learning by creating images in various directions by image processing.
図８（２）において、学習モデル生成処理部６１は、図８（１）で用意された各メータ画像に対して、ケース部や周辺部分を除いたメータ本体部分をクロッピングして、メータ本体画像１０１を得る。
本実施形態では、携帯情報端末１０（スマートフォン）のカメラを利用してメータを撮像する。固定カメラではないので、カメラの画角内のどこにメータ本体部分が位置するのかを予め決めておくことが出来ない。従って、物体検知の手法によって予めメータ本体部分を切り出すクロッピングの処理を行う。
In FIG. 8 (2), the learning model
In the present embodiment, the meter is imaged using the camera of the mobile information terminal 10 (smartphone). Since it is not a fixed camera, it is not possible to determine in advance where the meter body is located within the angle of view of the camera. Therefore, the cropping process of cutting out the meter main body portion in advance is performed by the object detection method.
図８（３）において、学習モデル生成処理部６１は、切り出したメータ本体画像１０１に対して、エッジ検出（汎用技術）を行う。
これにより、分類モデルＭを生成する際に、メータ本体画像における背景の影響を除去し、メータ本体画像における針の形や目盛りの細かな違いを吸収し、より汎用的なモデルを生成することが出来る。
In FIG. 8 (3), the learning model
As a result, when the classification model M is generated, the influence of the background in the meter body image can be removed, the fine differences in the needle shape and scale in the meter body image can be absorbed, and a more general-purpose model can be generated. You can.
図８（４）において、学習モデル生成処理部６１は、エッジ検出後のメータ本体画像におけるメータのパターン（目盛り、針の位置）を、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）によって発見する。
図８（５）において、学習モデル生成処理部６１は、発見したパターンに対して、始点を基準とした０度から３６０度の指針の位置のタグ付け（アノテーション）を行い、分類モデルＭを作成する。
メータ画像ごとの角度の情報は、学習モデル生成処理部６１に対するメータ画像の入力に事前に与えておくことが出来る。
以上の処理により、利用者が、メータを撮影したメータ画像をアップロードしたときにメータ画像を、指針の角度によって分類可能な分類モデルＭが作成された。
In FIG. 8 (4), the learning model
In FIG. 8 (5), the learning model
The angle information for each meter image can be given in advance to the input of the meter image to the learning model
Through the above processing, a classification model M is created in which the meter image can be classified according to the angle of the pointer when the user uploads the meter image taken by the meter.
［読み取り処理］
事前準備として上記モデル生成、初期設定が終了した状態で、メータ測定値の読み取りが行われる。これは、図６のフローチャートにおけるステップＳ２０７で、メータ値読み取り処理部６３が実行する処理である。
図９は、本実施形態におけるアナログメータの読み取り処理を説明する図である。
図９（１）において、メータ値読み取り処理部６３は、上記のモデル生成処理と同様に、アップロードされたメータ画像１１０に対してクロッピングを行い、メータ本体部分を切り出して、メータ本体画像１１１を得る。
図９（２）において、メータ値読み取り処理部６３は、切り出されたメータ本体画像１１１に対してエッジ検出をかけ、背景や、指針の形状、目盛りの細かな違いの影響を除去する。
図９（３）において、ここまでの準備が終了すると、メータ値読み取り処理部６３は、メータ本体画像１１１と、図７の処理で作成した３６０度の分類モデルＭと、比較する（分類問題）。すなわち、メータ画像に対して、ディープラーニングのモデルとして指針の位置（角度）の分類モデルを適用する。
[Reading process]
As a preliminary preparation, the meter measurement value is read with the above model generation and initial setting completed. This is a process executed by the meter value
FIG. 9 is a diagram illustrating a reading process of the analog meter in the present embodiment.
In FIG. 9 (1), the meter value
In FIG. 9 (2), the meter value
In FIG. 9 (3), when the preparations up to this point are completed, the meter value
図９（４）において、最も相関する（あてはまる）モデルに基づいて、アップロードされたメータ画像における目盛りの（始点からの）角度が判定される。
図９（５）において、メータ値読み取り処理部６３は、メータの測定値（実測値）を求める。
図８で行った初期設定において、目盛りの始点、終点の位置、そしてそれぞれの測定値が設定されている。従って、メータ値読み取り処理部６３は、これらの情報から下式１に基づいて１度（単位角度）あたりの値（単位測定値）が算出可能である（基準値算出手段）。
（式１）単位測定値＝（設定された終点の測定値−設定された始点の測定値）／始点終点間の指針の角度）
単位測定値は、予め演算してメータ管理サーバ２０に格納しておいてもよい。
In FIG. 9 (4), the angle (from the start point) of the scale in the uploaded meter image is determined based on the most correlated (applicable) model.
In FIG. 9 (5), the meter value
In the initial setting performed in FIG. 8, the start point and end point positions of the scale, and the measured values of each are set. Therefore, the meter value
(Equation 1) Unit measurement value = (measurement value of set end point-measurement value of set start point) / angle of pointer between start point and end point)
The unit measurement value may be calculated in advance and stored in the
メータ値読み取り処理部６３は、図９（４）で判定された目盛りの角度と１度あたりの測定値の情報を用いて、下式２に基づいてメータの測定値を読み取ることが出来る。
（式２）測定値（実測値）＝単位測定値×モデルに基づく角度＋設定された始点の測定値
指針と目盛りの交点を求めることで測定値を求める従来の手法（特許文献１、特許文献２）であれば、メータの画像が傾くと角度にズレが生じてしまうが、ＣＮＮを使った上記の手法であれば、メータ画像の中でメータが回転していたり、ずれたりしていても一意の測定値を得ることが出来る。
The meter value
(Equation 2) Measured value (actual measurement value) = Unit measured value x Angle based on model + Measured value of set start point Conventional method of obtaining measured value by finding the intersection of pointer and scale (
以上説明したように、本実施形態では、アナログメータにおける初期位置と角度を、ディープラーニング手法によってモデル化したうえで、携帯情報端末１０から送信された測定対象のメータの画像とモデルとのマッチングを行う。
丸いメータであれば、指針の角度が０度から３６０度まで分類されるため３６０度分類で指針の角度をとらえることが出来る。
また、初期設定において、始点から終点までの扇型の範囲を指定することで指針が移動可能な角度が求まる。
その範囲における最小と最大の測定値を指定することで、指針が１度動く（回転する）ことで、メータの測定値がどの程度を変化するか（単位測定値）を算出できる。
上記したように、測定対象のメータにおける指針の角度は、携帯情報端末１０から送信されたメータ画像に分類モデルを適用することによって判定し、判定した角度と、角度あたりの測定値（単位測定値）、及び最小値を用いてメータの測定値を算出する。
As described above, in the present embodiment, the initial position and angle of the analog meter are modeled by the deep learning method, and then the image of the meter to be measured transmitted from the
If it is a round meter, the angle of the pointer is classified from 0 degree to 360 degrees, so that the angle of the pointer can be grasped by the 360 degree classification.
Further, in the initial setting, the angle at which the pointer can be moved can be obtained by specifying the fan-shaped range from the start point to the end point.
By specifying the minimum and maximum measured values in that range, it is possible to calculate how much the measured value of the meter changes (unit measured value) by moving (rotating) the pointer once.
As described above, the angle of the pointer in the meter to be measured is determined by applying the classification model to the meter image transmitted from the
従来は、メータの読み取りに固定カメラが用いられ汎用化が難しかったが、本実施形態の手法によれば、携帯情報端末（スマートフォン）で撮像した１枚のメータ画像における指針の角度を３６０度から分類することが出来る。
本実施形態では、アナログメータの自動読み取りにあたってディープラーニングの手法を直接的に用いて測定値の読み取りを行うのではない。
本実施形態では、アナログメータの指針の角度の学習モデルを作成し、それを用いて、携帯情報端末１０から送信されたメータ画像内の指針の角度を割り出す。そして、割り出された角度と、予め登録あるいは演算してある指針１度あたりの測定値を用いて、センサの測定値を正確に読みとることが出来る。
いわば、本実施形態ではアナログメータの自動読み取りにあたって、ディープラーニングの手法を間接的に利用することで、より精度の高い読み取りを実現している。ディープラーニングを用いて指針が示す数値を直接読み出すのに比べ、指針の角度という図形パターンを処理する方が正確である。
Conventionally, a fixed camera was used to read the meter and it was difficult to generalize it. However, according to the method of the present embodiment, the angle of the pointer in one meter image captured by a personal digital assistant (smartphone) is set to 360 degrees. Can be classified.
In the present embodiment, the measured value is not read by directly using the deep learning method in the automatic reading of the analog meter.
In the present embodiment, a learning model of the pointer angle of the analog meter is created, and the angle of the pointer in the meter image transmitted from the
So to speak, in the present embodiment, in the automatic reading of the analog meter, a deep learning method is indirectly used to realize more accurate reading. It is more accurate to process the graphic pattern of the angle of the pointer than to directly read the numerical value indicated by the pointer using deep learning.
上記では、アナログメータの読み取り処理をメータ管理サーバ２０で行う処理を説明したが、それに限らず携帯情報端末１０で行ってもよい。
その場合、携帯情報端末１０は読み取った測定値を識別情報とともにメータ管理サーバ２０にアップロードする。
あるいは、ディープラーニング手法による指針の角度の認識を携帯情報端末１０で行ったうえで、測定値の演算は、メータ管理サーバ２０で行うようにしてもよい。
初期設定において、実際のメータの構成によらず、利用者の都合によって始点、終点を自由に設定することが出来る。
例えば、メータにおいて目盛りがマイナスの数値から始まっているメータの場合、「０」を始点に選択することが出来る。
In the above, the process of performing the reading process of the analog meter by the
In that case, the
Alternatively, the
In the initial setting, the start point and the end point can be freely set according to the convenience of the user regardless of the actual meter configuration.
For example, in the case of a meter whose scale starts from a negative numerical value, "0" can be selected as a starting point.
＜デジタルメータの読み取り方法＞
次に、本実施形態における７セグ液晶（セグメント液晶）を使ったデジタルメータの読み取り方法を説明する。これは、図６のフローチャートにおけるステップＳ２０９で、メータ値読み取り処理部６３が実行する処理である。
図１０は、本実施形態におけるデジタルメータの読み取り処理を説明する図である。
本実施形態において、デジタルメータについては、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）とＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）を用いて、測定値の読み取り（認識）を行う。
<How to read the digital meter>
Next, a method of reading a digital meter using a 7-segment liquid crystal (segment liquid crystal) in the present embodiment will be described. This is a process executed by the meter value
FIG. 10 is a diagram illustrating a reading process of a digital meter according to the present embodiment.
In the present embodiment, for the digital meter, the measured value is read (recognized) by using CNN (Convolutional Neural Network) and RNN (Recurrent Neural Network).
より詳しくは、ＣＮＮを用いてメータの画像認識を行い、そして、認識されたメータ画像を左から右への時系列データとして扱い、ＲＮＮを使って文字変換していく。すなわち、ディープラーニング手法を用いた簡易ＯＣＲ（Optical Character Recognition/Reader）である。
なお、デジタルメータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
More specifically, the image recognition of the meter is performed using CNN, the recognized meter image is treated as time series data from left to right, and the characters are converted using RNN. That is, it is a simple OCR (Optical Character Recognition / Reader) using a deep learning method.
Regarding the reading of the digital meter, the initial setting as performed for the reading of the analog meter is not performed. Basically, it is a process of reading the numerical value displayed on the meter, and there is no point in defining the start point and end point of the scale like an analog meter.
図１０（１）において、デジタルメータは、ケース部と、ケース部に設けられたメータ本体部（７セグ液晶／セグメント液晶）と、を備えている。メータ値読み取り処理部６３は、アップロードされたケース部を含むメータ画像１２０から、メータ本体部分をクロッピングする処理を行う（切出手段）。この処理により得られた画像は、メータ本体画像１２１である。
（特定の表示形状の）数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像１２１に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして、後段のＣＮＮ、ＲＮＮによるＯＣＲの精度が下がってしまう。
In FIG. 10 (1), the digital meter includes a case portion and a meter main body portion (7-segment liquid crystal / segment liquid crystal) provided in the case portion. The meter value
It is possible to perform accurate cropping using a model specialized for numerical values (of a specific display shape). If the cropping accuracy is low, the
図１０（２）において、メータ値読み取り処理部６３は、切り出したメータ本体画像１２１をグレースケール化して、セグ液晶のＲＧＢ成分の影響を除去する。
図１０（３）において、ＣＮＮを適用して、グレースケール化したメータ本体画像の特徴量を学習させる。ＯＣＲとしての処理であり、基本的に左から右に文字を読む前提である。
図１０（４）において、特徴量のデータを時系列的な連続データとして扱い、ＲＮＮに落とし込んで数値を左から右に読んでいくことで、数値が認識される。
In FIG. 10 (2), the meter value
In FIG. 10 (3), CNN is applied to learn the feature amount of the grayscale meter main body image. It is a process as OCR, and it is basically a premise that characters are read from left to right.
In FIG. 10 (4), the numerical value is recognized by treating the feature amount data as time-series continuous data, dropping it into an RNN, and reading the numerical value from left to right.
デジタルメータに付した ＱＲコード（登録商標）に含まれる識別情報によって、どのタイプ（セグで表示される数字の字体など）のデジタルメータであるのかを識別し、最適なモデルをメータ画像に適用してクロッピングを行う。
メータのケース部には、測定値を表示するメータ本体部分以外にも、型番や型式、製造番号、年式、単位など様々な数値が書かれていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
ディープラーニング手法を用いることで、メータ画像１２０中のどこに数値（メータ本体画像１２１）があるのかを正確に判定することが出来る。
ディープラーニングを使うモデルを工夫して正確にメータ本体画像１２１のクロッピングを行い、その後は、メータ本体画像１２１に適用するＣＮＮ、ＲＮＮに任せて文字（数値）認識を行う。
The identification information included in the QR code (registered trademark) attached to the digital meter identifies which type of digital meter (such as the font of numbers displayed in the segment), and applies the optimum model to the meter image. And crop.
In addition to the meter body that displays measured values, the case of the meter often has various numerical values such as model number, model, serial number, year, and unit. If the number of models such as the font of the meter body is small, it may be erroneously detected, and many models are required.
By using the deep learning method, it is possible to accurately determine where in the
A model that uses deep learning is devised to accurately crop the
＜回転式メータの読み取り方法＞
次に、本実施形態における回転式メータの読み取り方法を説明する。これは、図６のフローチャートにおけるステップＳ２１１で、メータ値読み取り処理部６３が実行する処理である。
図１１は、本実施形態における回転式メータの読み取り処理を説明する図である。
回転式メータは０〜９まで数値を記載した回転式リールが回転し、所定の位置に停止した数値が測定値となるものである。
基本的には上記のデジタルメータの同様に数値を読み取るメータであり、回転式メータの測定値の読み取りは、デジタルメータの場合と同様の処理を行いうる。
回転式メータの読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのように目盛りの始点や終点を定義する意義はない。
<How to read the rotary meter>
Next, a reading method of the rotary meter in this embodiment will be described. This is a process executed by the meter value
FIG. 11 is a diagram illustrating a reading process of the rotary meter according to the present embodiment.
In the rotary meter, the rotary reel on which the numerical values are described from 0 to 9 rotates, and the numerical value stopped at a predetermined position becomes the measured value.
Basically, it is a meter that reads a numerical value in the same manner as the above digital meter, and reading of the measured value of the rotary meter can be performed in the same manner as in the case of the digital meter.
No initial settings are made for reading the rotary meter as was for reading the analog meter. Basically, it is a process of reading the numerical value displayed on the meter, and there is no point in defining the start point and end point of the scale as in the analog meter.
図１１（１）において、回転式メータは、ケース部と、ケース部に設けられたメータ本体部（横方向に複数連設された回転式リール）と、を備えている。メータ値読み取り処理部６３は、携帯情報端末１０からアップロードされたケース部を含むメータ画像１３０から、メータ本体部分をクロッピングする処理を行い（切出手段）、メータ本体画像１３１を得る。
（特定の表示形状の）数値に特化したモデルを用いて、精度よくクロッピングを行うことが出来る。クロッピングの精度が低いと、メータ本体画像１３１に数字の部分以外の領域が多く含まれたり、別の部分の数字が切りだされたりするなどして後段のＣＮＮ、ＲＮＮによるＯＣＲの精度が下がる。
特に電力計などの場合、メータ本体部分以外のケース部には、型番や型式、製造番号、年式、単位など様々な数値や番号が印字されていることが多い。メータ本体部分の字体等のモデル数が少ないと誤検知することがあり、多くのモデルが必要となる。
回転式メータのケース部に付した ＱＲコード（登録商標）に含まれる識別情報によって、どのタイプ（リールに表示される数字の字体など）の回転式メータであるのかを識別し、最適なモデルをメータ画像１３０に適用して、メータ本体画像１３１のクロッピングを行う。
In FIG. 11 (1), the rotary meter includes a case portion and a meter main body portion (a plurality of rotary reels connected in the lateral direction) provided in the case portion. The meter value
It is possible to perform accurate cropping using a model specialized for numerical values (of a specific display shape). If the accuracy of cropping is low, the accuracy of OCR by CNN and RNN in the subsequent stage is lowered because the meter
In particular, in the case of a wattmeter or the like, various numerical values and numbers such as a model number, model, serial number, year, and unit are often printed on the case portion other than the meter body portion. If the number of models such as the font of the meter body is small, it may be erroneously detected, and many models are required.
The identification information included in the QR code (registered trademark) attached to the case of the rotary meter identifies which type (such as the font of the numbers displayed on the reel) the rotary meter is, and selects the optimum model. It is applied to the
図１１（２）において、メータ値読み取り処理部６３は、切り出したメータ本体画像１３１をグレースケール化してＲＧＢ成分の影響を除去する。
図１１（３）において、グレースケール化したメータ本体画像１３１にＣＮＮを適用して、メータ本体画像１３１の特徴量を学習させる。ＯＣＲとしての処理であり、基本的に左から右に文字を読む前提である。
In FIG. 11 (2), the meter value
In FIG. 11 (3), CNN is applied to the grayscale meter
図１１（４）において、特徴量のデータを時系列的な連続データとして扱い、ＲＮＮに落とし込んで数値を左から右に読んでいくことで、数値（測定値）が認識される。
図１０で説明したデジタルメータと大きく異なる部分は、回転式リールが、２つの数値を上下に表示したまま停止することがある点である（図１に示した水道メータの例を参照）。特に、複数ケタの回転式メータにおいて、末尾の１ケタがそのような状態になることが多い。
ＲＮＮによる分類によっては、このように複数の数字が部分的に表示されていて複数以上の分類の選択肢がある場合であっても確率（パーセント）が出る。例えば、末尾１ケタの数値が「９」である確率が９０％、「８」がある確率が１０％であるというような出力となる。この確率をもとに数字を選択することで、正確に回転式メータを読み取ることが出来る。
In FIG. 11 (4), the numerical value (measured value) is recognized by treating the feature amount data as time-series continuous data, dropping it into an RNN, and reading the numerical value from left to right.
The major difference from the digital meter described with reference to FIG. 10 is that the rotary reel may stop while displaying two numerical values up and down (see the example of the water meter shown in FIG. 1). In particular, in a multi-digit rotary meter, the last single digit is often in such a state.
Depending on the classification by RNN, even if a plurality of numbers are partially displayed and there are a plurality of classification options, a probability (percentage) is obtained. For example, the output is such that the probability that the last single digit value is "9" is 90%, and the probability that there is "8" is 10%. By selecting a number based on this probability, the rotary meter can be read accurately.
＜電流計タイプのメータの読み取り方法＞
次に、本実施形態における電流計タイプのメータの読み取り方法を説明する。これは、図６のフローチャートにおけるステップＳ２１２で、メータ値読み取り処理部６３が実行する処理である。
図１２は、本実施形態における電流計タイプのメータの読み取り処理を説明する図である。
なお、電流計の読み取りに関して、アナログメータの読み取りについて行ったような初期設定は行わない。基本的に、メータに表示された数値を読みとる処理となり、アナログメータのような目盛りの始点や終点を定義する意義はない。
電流計タイプのメータの大きな特徴は、指針によって目盛りを指し示すことで測定値を表す点でアナログメータと共通するが、一般的なアナログメータとは異なり目盛りの幅が常に均一ではない点である。
<Ammeter type meter reading method>
Next, a reading method of an ammeter type meter in this embodiment will be described. This is a process executed by the meter value
FIG. 12 is a diagram illustrating a reading process of an ammeter type meter according to the present embodiment.
Regarding the reading of the ammeter, the initial setting as in the reading of the analog meter is not performed. Basically, it is a process of reading the numerical value displayed on the meter, and there is no point in defining the start point and end point of the scale like an analog meter.
A major feature of the ammeter type meter is that it is common with analog meters in that it indicates the measured value by pointing the scale with a pointer, but unlike general analog meters, the width of the scale is not always uniform.
より詳しくは、図１２から分かるように数値（測定値）が大きくなるほどに、目盛りの幅が狭くなっていく。上記に説明したアナログメータのように、指針の角度と、始点、終点の位置、各位置での測定値の情報を用いて、単純に測定値を算出することが出来ない。
０Ａから５Ａまでの間、５Ａから１０Ａまでの間、１０Ａから１５Ａまでの間において、数値（測定値）自体は線形に変化しているにも関わらず、目盛りの幅は段階をおって狭くなっている。
本実施形態では、このようなタイプのメータを自動読み取りするために、人がこのタイプのメータを読む際のやり方を踏襲する。すなわち、指針の角度（測定位置）と、指針の測定位置の前後の数値（基準測定値）に基づいて、測定値を割り出すのである。
More specifically, as can be seen from FIG. 12, the larger the numerical value (measured value), the narrower the width of the scale. Unlike the analog meter described above, it is not possible to simply calculate the measured value by using the angle of the pointer, the position of the start point and the end point, and the information of the measured value at each position.
From 0A to 5A, from 5A to 10A, and from 10A to 15A, the width of the scale narrows step by step even though the numerical value (measured value) itself changes linearly. ing.
In this embodiment, in order to automatically read such a type of meter, a person follows the method of reading this type of meter. That is, the measured value is calculated based on the angle of the pointer (measurement position) and the numerical values before and after the measurement position of the pointer (reference measurement value).
電流計は、ケース部と、ケース部に設けられたメータ本体部と、を備えている。メータ本体部には、扇型の目盛りと指針を備えている。図１２のメータにおいて、指針の回転中心と、円弧状の目盛りの中心は一致又は略一致しているものとする。
図１２（１）において、メータ値読み取り処理部６３は、アップロードされたケース部を含むメータ画像１４０から、メータ本体部分をクロッピングする処理を行い（切出手段）、メータ本体画像１４１を得る。必要に応じてエッジ検出処理も行う。
図１２（２）において、メータ本体画像１４１に対してＣＮＮを適用して、メータ本体画像１４１の特徴量を学習させる。ＯＣＲとしての処理であり、基本的に左から右に文字を読む前提である。
図１２（３）において、特徴量のデータを時系列的な連続データとして扱い、ＲＮＮに落とし込んで数値を左から右に読んでいくことで、メータ本体画像１４１における数値（測定値）が認識される。
The ammeter includes a case portion and a meter main body portion provided in the case portion. The meter body is equipped with a fan-shaped scale and pointer. In the meter of FIG. 12, it is assumed that the center of rotation of the pointer and the center of the arcuate scale are coincident or substantially coincident.
In FIG. 12 (1), the meter value
In FIG. 12 (2), CNN is applied to the meter
In FIG. 12 (3), the numerical value (measured value) in the meter
図１２（４）において、メータ本体画像１４１を精査して、指針Ｓの測定位置１５０と、その前後に表示された数値の最小値１６０及び最大値１６１（基準測定値）を読み取る（ここでは、最小値１６０が「１０」、最大値１６１が「１５」）。
図１２（５）において、基準測定値としての最小値「１０」が付加された基準位置１６１と基準測定値としての最大値「１５」が付加された基準位置１６２の間における、一方の基準位置１６２に対する測定位置１５０の位置（指針Ｓの角度）に基づいて測定値を算出する。
角度とは、指針Ｓの回転中心あるいは扇型の目盛りの中心を中心とした角度である。
基準位置１６２と基準位置１６３との間の角度Ａと、基準位置（最小値「１０」）１６２と測定位置１５０との間の角度Ｂ（指針Ｓの角度）と、の関係に基づいてメータが示す測定値を算出する。
In FIG. 12 (4), the meter
In FIG. 12 (5), one reference position between the
The angle is an angle centered on the center of rotation of the pointer S or the center of the fan-shaped scale.
The meter is based on the relationship between the angle A between the
図１２のタイプのメータでは、例えば指針が差し示している基準位置間の目盛りは間隔が一定であり、角度１度当たりの測定値も均等である。
従って、下式３に基づいて、上記角度Ａに対する上記角度Ｂの比率を求め、基準測定値１６０（最小値「１０」）と基準測定値１６１（最大値「１５」）の間の差分（「５」）を同比率に従って分割した値を、基準測定値１６０（最小値「１０」）に加算することでメータが示す測定値を算出することが出来る。
（式３）測定値＝（角度Ｂ／角度Ａ）×（最大値−最小値）＋最小値
指針の角度Ｂは、所定の基準測定値の間にあるときの、基準位置に対する指針の角度（位置）をアノテーションした分類モデルを予め作成し、メータ本体画像１４１をこれと比較することによって取得（判定）することが出来る。これは、図７乃至図９で説明したアナログメータと同様の考え方を適用できる。
In the meter of the type shown in FIG. 12, for example, the scales between the reference positions indicated by the pointers have a constant interval, and the measured values per degree of the angle are also uniform.
Therefore, the ratio of the angle B to the angle A is obtained based on the following equation 3, and the difference between the reference measurement value 160 (minimum value "10") and the reference measurement value 161 (maximum value "15") ("" The measured value indicated by the meter can be calculated by adding the value obtained by dividing 5 ”) according to the same ratio to the reference measured value 160 (minimum value“ 10 ”).
(Equation 3) Measured value = (angle B / angle A) × (maximum value-minimum value) + minimum value The pointer angle B is the angle of the pointer with respect to the reference position when it is between a predetermined reference measurement value. A classification model in which the position) is annotated can be created in advance, and the
上記のようにＣＮＮ、ＲＮＮを利用したＯＣＲ処理は、左から右に数値を読んでいくため、左から右に数値が表示されている電流計タイプの数値を読み出すことには好適である。
なお、図７乃至図９で説明したアナログメータでは、目盛りの数値が円周に沿って表示されているため、左から右に数値を読んでいくＯＣＲ処理とは相性が悪い。
従って、図１０で電流計タイプのメータについて説明したように、指針が示す前後の数値と、その間における指針の角度を用いて測定値を読み取ることは難しい。従って、図７乃至図９で説明したように、利用者が指定した始点と終点の数値と、その間における指針の角度を用いて、メータの測定値を読み取るようにしている。
Since the OCR process using CNN and RNN as described above reads the numerical value from left to right, it is suitable for reading the ammeter type numerical value in which the numerical value is displayed from left to right.
In the analog meters described with reference to FIGS. 7 to 9, since the numerical values on the scale are displayed along the circumference, they are incompatible with the OCR process of reading the numerical values from left to right.
Therefore, as described for the ammeter type meter in FIG. 10, it is difficult to read the measured value using the values before and after the pointer indicates and the angle of the pointer between them. Therefore, as described with reference to FIGS. 7 to 9, the measured value of the meter is read by using the numerical values of the start point and the end point designated by the user and the angle of the pointer between them.
図１３は、本実施形態における帳簿データベースの一例を示す図である。
上記に説明した方法で読み取られたメータの計測値は、図１３に示すような帳簿データベースに格納されて管理される。
帳簿データベースには、識別情報としてのメータＩＤと、メータタイプ（アナログ、デジタル、回転式等）、測定値の読み取りに必要なパラメータ（アナログメータでは、始点終点位置と各確定値の情報、それ以外では、メータ本体画像をクロッピングするための数字モデル情報）、時系列順の測定値が格納される。上記したように測定値の日時はメータ画像を撮像した日時であり、画像データに埋め込まれた情報である。
FIG. 13 is a diagram showing an example of a book database according to the present embodiment.
The measured values of the meters read by the method described above are stored and managed in a book database as shown in FIG.
In the book database, the meter ID as identification information, meter type (analog, digital, rotary type, etc.), parameters necessary for reading the measured value (for analog meters, information on the start point and end point position and each fixed value, and others. Then, the numerical model information for cropping the meter body image) and the measured values in chronological order are stored. As described above, the date and time of the measured value is the date and time when the meter image was captured, and is the information embedded in the image data.
以上説明したように、本実施形態のメータ読み取り装置（メータ管理サーバ２０）では、 ＱＲコード（登録商標）等を使用してメータを識別する。
ＱＲコード（登録商標）に含まれる情報には、メータを一意に特定するための識別情報をはじめ、メータの種類（アナログメータ、デジタルメータ、回転式メータ、電流計タイプメータ）を特定する情報を含んでいる。
メータ管理サーバ２０は、携帯情報端末１０から送信されるメータ画像に含まれる ＱＲコード（登録商標）に含まれるメータのタイプに応じて、読み取りのための仕組みを切り替えて、適切にメータの読み取りを行うことが出来る。
As described above, in the meter reading device (meter management server 20) of the present embodiment, the meter is identified by using a QR code (registered trademark) or the like.
The information included in the QR code (registered trademark) includes identification information for uniquely identifying the meter, as well as information for identifying the type of meter (analog meter, digital meter, rotary meter, ammeter type meter). Includes.
The
［第１の発明］
メータが示す測定値を読み取るメータ読取システムであって、メータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータであり、メータにおける目盛りの始点及び終点と、始点及び終点における各測定値とを予め設定させる設定手段（情報公開処理部６６）と、設定された始点及び終点間の回転中心を基準とした角度及び各測定値に基づいて、メータにおける単位角度あたりの単位測定値を算出する基準値算出手段（メータ値読み取り処理部６３）と、メータを撮像したメータ画像を取得する取得手段（メータ画像受信処理部６２）と、取得手段が取得したメータ画像における指針の始点からの角度と、単位測定値と、に基づいてメータが示す測定値を算出する読取手段（メータ値読み取り処理部６３）と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第１の発明によれば、アナログメータを携帯情報端末によって撮像したメータ画像における始点からの指針の角度と、角度あたりの測定値の情報に基づいて、アナログメータの測定値を自動的かつ簡単に読み取ることが出来る。
[First invention]
It is a meter reading system that reads the measured value indicated by the meter, and the meter has a scale arranged along the circumference and a rotary pointer that rotates around a predetermined rotation center to indicate the measurement position on the scale. It is an analog type meter provided with, and is between a setting means (information disclosure processing unit 66) for presetting the start point and end point of the scale on the meter and each measured value at the start point and end point, and the set start point and end point. A reference value calculation means (meter value reading processing unit 63) that calculates a unit measurement value per unit angle in a meter based on an angle with respect to the center of rotation and each measurement value, and a meter image obtained by imaging the meter are acquired. A reading means (meter value reading) that calculates the measured value indicated by the meter based on the acquisition means (meter image reception processing unit 62), the angle from the start point of the pointer in the meter image acquired by the acquisition means, and the unit measurement value. It features a meter reading system including a processing unit 63).
According to the first invention according to the present embodiment, the measured value of the analog meter is determined based on the angle of the pointer from the starting point in the meter image captured by the portable information terminal and the information of the measured value per angle. It can be read automatically and easily.
［第２の発明］
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられたセグメント液晶によって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段（メータ画像受信処理部６２）と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段と、切出手段（メータ値読み取り処理部６３）によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段（メータ値読み取り処理部６３）と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第２の発明によれば、デジタルメータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいてデジタルメータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像からデジタルメータの測定値を自動的かつ正確に読み取ることが出来る。
[Second invention]
It is a meter reading system that reads the measured value indicated by the meter, and the meter is a digital meter including a case portion and a meter main body portion that displays the measured value by a segment liquid crystal provided in the case portion. An acquisition means (meter image reception processing unit 62) that acquires identification information indicating that the meter is a digital meter together with a meter image obtained by capturing the meter, and the meter image corresponds to the meter body based on the identification information. A cutting means for cutting out the meter body image and a reading means (meter value reading processing unit 63) for recognizing the measured value in the meter body image cut out by the cutting means (meter value reading processing unit 63) and reading the measured value. It features a meter reading system comprising.
According to the second invention according to the present embodiment, the meter body image is cut out from the meter image by a method specialized for the digital meter based on the identification information included in the meter image captured by the digital meter. , The measured value of the digital meter can be read automatically and accurately from the image of the meter body.
［第３の発明］
メータが示す測定値を読み取るメータ読取システムであって、メータは、ケース部と、該ケース部に設けられた複数の回転式ダイヤルによって測定値を表示するメータ本体部と、を備えたデジタル式メータであり、メータを撮像したメータ画像とともに、メータがデジタル式メータであることを示す識別情報を取得する取得手段（メータ画像受信処理部６２）と、識別情報に基づいて、メータ画像からメータ本体部に対応するメータ本体画像を切り出す切出手段（メータ値読み取り処理部６３）と、切出手段によって切り出されたメータ本体画像における測定値を認識して、測定値を読み取る読取手段（メータ値読み取り処理部６３）と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第３の発明によれば、回転式メータを携帯情報端末によって撮像したメータ画像に含まれる識別情報に基づいて回転式メータに特化した手法によってメータ画像からメータ本体画像を切り出すことにより、メータ本体画像から回転式メータの測定値を自動的かつ正確に読み取ることが出来る。
[Third invention]
A meter reading system that reads the measured value indicated by the meter, and the meter is a digital meter including a case portion and a meter main body portion that displays the measured value by a plurality of rotary dials provided in the case portion. This is an acquisition means (meter image reception processing unit 62) that acquires identification information indicating that the meter is a digital meter together with a meter image obtained by capturing the meter, and a meter main body unit from the meter image based on the identification information. A cutting means (meter value reading processing unit 63) for cutting out the meter body image corresponding to the above, and a reading means (meter value reading processing) for recognizing the measured value in the meter body image cut out by the cutting means and reading the measured value. It is characterized by a meter reading system including a unit 63).
According to the third invention according to the present embodiment, the meter main body image is cut out from the meter image by a method specialized for the rotary meter based on the identification information included in the meter image captured by the mobile information terminal. As a result, the measured value of the rotary meter can be automatically and accurately read from the image of the meter body.
［第４の発明］
メータが示す測定値を読み取るメータ読取システムであって、メータは、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備え、メータを撮像したメータ画像を取得する取得手段（メータ画像受信処理部６２）と、取得手段が取得したメータ画像から、目盛りの全体と、目盛りを指し示す指針の少なくとも一部を含むメータ本体画像を切り出す切出手段（メータ値読み取り処理部６３）と、メータ本体画像から、指針が指し示す測定位置を検出するとともに、測定位置の前後における目盛り上の基準位置に付加表示される２つの基準測定値を読み取り、２つの基準位置間の角度と、２つの基準位置のうち何れか一方を基準とした指針の角度と、に基づいて、メータが示す測定値を算出する読取手段（メータ値読み取り処理部６３）と、を備えるメータ読取システムを特徴とする。
本実施形態に係る第４の発明によれば、円弧状の目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す指針と、を備えた電流計タイプのメータを携帯情報端末によって撮像したメータ画像における、指針が指し示す測定位置の前後における目盛り上の基準位置に付加表示される２つの基準測定値を読み取ることにより、２つの基準位置間の角度、２つの基準位置のうち何れか一方を基準とした指針の角度、一方の基準測定値に基づいて、当該タイプのメータの測定値を自動的かつ正確に読み取ることが出来る。
[Fourth Invention]
It is a meter reading system that reads the measured value indicated by the meter, and the meter has an arcuate scale and a pointer that rotates around a predetermined rotation center to indicate a measurement position on the scale, and images the meter. An acquisition means for acquiring a meter image (meter image reception processing unit 62) and a cutting means for cutting out a meter body image including the entire scale and at least a part of a pointer pointing to the scale from the meter image acquired by the acquisition means (meter image reception processing unit 62). The measurement position pointed to by the pointer is detected from the meter value reading processing unit 63) and the meter body image, and the two reference measurement values additionally displayed at the reference positions on the scale before and after the measurement position are read and the two references are used. It is provided with a reading means (meter value reading processing unit 63) for calculating a measured value indicated by a meter based on an angle between positions and an angle of a pointer based on one of two reference positions. It features a meter reading system.
According to the fourth invention according to the present embodiment, a current meter type meter provided with an arcuate scale and a pointer that rotates around a predetermined rotation center and points to a measurement position on the scale is carried as portable information. By reading the two reference measurement values additionally displayed at the reference position on the scale before and after the measurement position pointed by the pointer in the meter image captured by the terminal, the angle between the two reference positions and the two reference positions Based on the angle of the pointer with respect to either one and the reference measurement value of one, the measurement value of the meter of the type can be read automatically and accurately.
１…メータ読み取りシステム、１０…携帯情報端末、１２…プロセッサ、１３…ＲＡＭ、１４…フラッシュＲＯＭ、１５…無線部、１６…ディスプレイ、１７…カメラ、２０…メータ管理サーバ、２１…ＣＰＵ、２２…ＲＡＭ２３…記憶部、２４…ネットワークインターフェイス、５１…メータ画像撮像処理部、５２…メータ画像送信処理部、５３…コード読取処理部、５４…コード表示処理部、５５…通信制御部、６１…学習モデル生成処理部、６２…メータ画像受信処理部、６３…メータ値読み取り処理部、６４…データベース管理処理部、６５…グラフ生成処理部、６６…情報公開処理部、６７…通信制御部、７１…学習モデル記憶部、７２…メータ画像記憶部、７３…帳簿データベース
1 ... meter reading system, 10 ... portable information terminal, 12 ... processor, 13 ... RAM, 14 ... flash ROM, 15 ... wireless unit, 16 ... display, 17 ... camera, 20 ... meter management server, 21 ... CPU, 22 ...
Claims (5)
前記メータは、円弧状の目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す指針と、を備え、
前記メータを撮像したメータ画像を取得する取得手段と、
前記取得手段が取得した前記メータ画像から、前記目盛りの全体と、前記目盛りを指し示す前記指針の少なくとも一部を含むメータ本体画像を切り出す切出手段と、
前記メータ本体画像から、前記指針が指し示す前記測定位置を検出するとともに、前記測定位置の前後における前記目盛り上の基準位置に付加表示される２つの基準測定値を読み取り、２つの前記基準位置間の角度と、２つの前記基準位置のうちの何れか一方を基準とした前記指針の角度と、２つの前記基準測定値のうちの何れか一方と、に基づいて、前記メータが示す測定値を算出する読取手段と、を備えることを特徴とするメータ読取システム。 A meter reading system that reads the measured values indicated by the meter.
The meter includes an arcuate scale and a pointer that rotates around a predetermined center of rotation and points to a measurement position on the scale.
An acquisition means for acquiring a meter image obtained by imaging the meter, and
A cutting means for cutting out the entire meter image including at least a part of the pointer pointing to the scale and the meter main body image from the meter image acquired by the acquisition means.
From the meter body image, the measurement position pointed to by the pointer is detected, and two reference measurement values additionally displayed at the reference position on the scale before and after the measurement position are read, and between the two reference positions. The measured value indicated by the meter is calculated based on the angle, the angle of the pointer based on one of the two reference positions, and one of the two reference measured values. A meter reading system comprising:
前記基準位置間で前記指針の角度を変更した複数のメータ画像と、各メータ画像における基準位置からの前記指針の角度と、に基づく分類モデルを生成するモデル生成手段を備え、
前記読取手段は、前記モデル生成手段が生成した前記分類モデルに基づいて、前記取得手段が取得した前記メータ画像における前記指針の角度を決定することを特徴とするメータ読取システム。 In the meter reading system according to claim 1,
A model generation means for generating a classification model based on a plurality of meter images in which the angle of the pointer is changed between the reference positions and the angle of the pointer from the reference position in each meter image is provided.
The reading means is a meter reading system characterized in that the angle of the pointer in the meter image acquired by the acquiring means is determined based on the classification model generated by the model generating means.
前記読取手段が読み取った前記メータの測定値を格納するデータベースを備えることを特徴するメータ読取システム。 In the meter reading system according to claim 1 or 2.
A meter reading system comprising a database for storing the measured values of the meter read by the reading means.
前記メータは、円弧状の目盛りと、所定の回転中心を中心に回転して前記目盛り上の測定位置を指し示す指針と、を備え、
前記取得手段が、前記メータを撮像したメータ画像を取得する取得ステップと、
前記切出手段が、前記取得手段が取得した前記メータ画像から、前記目盛りの全体と、前記目盛りを指し示す前記指針の少なくとも一部を含むメータ本体画像を切り出す切出ステップと、
前記読取手段が、前記メータ本体画像から、前記指針が指し示す前記測定位置を検出するとともに、前記測定位置の前後における目盛り上の基準位置に付加表示される２つの基準測定値を読み取り、２つの前記基準位置間の角度と、２つの前記基準位置のうち何れか一方を基準とした前記指針の角度と、に基づいて、前記メータが示す測定値を算出するステップと、を含む、ことを特徴とするメータ読取方法。 It is a meter reading method of a meter reading system that includes an acquisition means, a reading means, and a cutting means, and reads a measured value indicated by a meter.
The meter includes an arcuate scale and a pointer that rotates around a predetermined center of rotation and points to a measurement position on the scale.
An acquisition step in which the acquisition means acquires a meter image obtained by capturing the meter,
A cutting step in which the cutting means cuts out a meter body image including the entire scale and at least a part of the pointer pointing to the scale from the meter image acquired by the acquisition means.
The reading means detects the measurement position pointed to by the pointer from the meter body image, and reads two reference measurement values additionally displayed at reference positions on the scale before and after the measurement position. It is characterized by including a step of calculating a measured value indicated by the meter based on an angle between reference positions and an angle of the pointer with reference to one of the two reference positions. Meter reading method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019085401A JP2020181467A (en) | 2019-04-26 | 2019-04-26 | Meter reading system, meter reading method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019085401A JP2020181467A (en) | 2019-04-26 | 2019-04-26 | Meter reading system, meter reading method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020181467A true JP2020181467A (en) | 2020-11-05 |
Family
ID=73024627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019085401A Pending JP2020181467A (en) | 2019-04-26 | 2019-04-26 | Meter reading system, meter reading method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020181467A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023010338A (en) * | 2021-07-09 | 2023-01-20 | 株式会社東芝 | Information processing apparatus and computer program |
| JP7411534B2 (en) | 2020-11-20 | 2024-01-11 | 株式会社日立システムズ | Instrument reading system, instrument reading program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10206134A (en) * | 1997-01-17 | 1998-08-07 | Matsushita Electric Works Ltd | Position detecting method by image processing |
| JP2008243103A (en) * | 2007-03-29 | 2008-10-09 | Yamaguchi Univ | Image processing device, method, and program |
| JP2017224252A (en) * | 2016-06-17 | 2017-12-21 | 株式会社日立製作所 | Measured value reading device, measured value reading method and program |
-
2019
- 2019-04-26 JP JP2019085401A patent/JP2020181467A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10206134A (en) * | 1997-01-17 | 1998-08-07 | Matsushita Electric Works Ltd | Position detecting method by image processing |
| JP2008243103A (en) * | 2007-03-29 | 2008-10-09 | Yamaguchi Univ | Image processing device, method, and program |
| JP2017224252A (en) * | 2016-06-17 | 2017-12-21 | 株式会社日立製作所 | Measured value reading device, measured value reading method and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7411534B2 (en) | 2020-11-20 | 2024-01-11 | 株式会社日立システムズ | Instrument reading system, instrument reading program |
| JP2023010338A (en) * | 2021-07-09 | 2023-01-20 | 株式会社東芝 | Information processing apparatus and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521560B (en) | Instrument pointer image identification method of high-robustness rod | |
| CN110659636B (en) | Pointer instrument reading identification method based on deep learning | |
| US9965159B2 (en) | Automatic measurement of objects in images | |
| CN105091922B (en) | A kind of pointer gauge Recognition of Reading method based on virtual dial plate | |
| JP6522869B1 (en) | Automatic reading system and reading method of indication value of pointer of analog meter | |
| CN111738229B (en) | Automatic reading method for scale of pointer dial | |
| Wagner et al. | DIGITIZATION OF PROHLE METER PHOTOGRAPHS | |
| US20180085048A1 (en) | Electronic apparatus and method for providing skin inspection information thereof | |
| JP7408865B2 (en) | Meter reading work device and method and meter reading work system | |
| JP2020181467A (en) | Meter reading system, meter reading method, and program | |
| JP2020038188A (en) | Meter reading device, meter reading method, and computer program | |
| EP2573637A2 (en) | System and method for equipment monitoring component configuration | |
| CN110633620A (en) | Pointer instrument scale identification method and electronic equipment | |
| JP2020181466A (en) | Meter reading system, meter reading method, and program | |
| CN113837159A (en) | Instrument reading identification method and device based on machine vision | |
| CN112640415A (en) | Meter reading device, meter reading system and computer program | |
| JP6803940B2 (en) | Remote meter reading computer, its method and program | |
| CN113076730A (en) | Test report intelligent management method, device, system and storage medium | |
| JP2020181464A (en) | Meter reading system, meter reading method, and program | |
| JP2020181465A (en) | Meter reading system, meter reading method, and program | |
| CN111199191A (en) | Pointer instrument automatic reading method based on scale searching | |
| JP2019158748A (en) | Analog device meter-read system and method | |
| JP2020052981A (en) | Information processing device, learning device, information processing system, information processing method, and computer program | |
| CN115588196A (en) | Pointer type instrument reading method and device based on machine vision | |
| KR101757258B1 (en) | Mobile device with character recognition for the visiting metering and method of visiting metering using thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210629 |