JP2023046516A - Information processing device, information processing method and computer program - Google Patents
Information processing device, information processing method and computer program Download PDFInfo
- Publication number
- JP2023046516A JP2023046516A JP2021155143A JP2021155143A JP2023046516A JP 2023046516 A JP2023046516 A JP 2023046516A JP 2021155143 A JP2021155143 A JP 2021155143A JP 2021155143 A JP2021155143 A JP 2021155143A JP 2023046516 A JP2023046516 A JP 2023046516A
- Authority
- JP
- Japan
- Prior art keywords
- detection unit
- written
- circle
- value
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title description 23
- 238000004590 computer program Methods 0.000 title description 6
- 238000003672 processing method Methods 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 50
- 238000012545 processing Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 230000002776 aggregation Effects 0.000 description 12
- 238000004220 aggregation Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Image Processing (AREA)
Abstract
Description
この発明の実施形態は、情報処理装置、情報処理方法およびコンピュータプログラムに関する。 TECHNICAL FIELD Embodiments of the present invention relate to an information processing apparatus, an information processing method, and a computer program.
近時、メータの検針作業を支援するサービスが提供されている。このサービスでは、AI(Artificial Intelligence)を活用して、算用数字で表示されるメータ値を機器で読み取るが、読み取りの対象となるメータがアナログメータ(指針による数値表示)の場合には、その形状や目盛り表示方法が多様であるため、個々のメーター表示タイプごとに詳細な設定が必要になり、初期設定が多く、作業負荷が生じる。 Recently, services have been provided to support meter reading work. This service utilizes AI (Artificial Intelligence) to read meter values displayed in Arabic numerals with a device. Due to the variety of shapes and scale display methods, detailed settings are required for each individual meter display type, resulting in a large amount of initial settings and a heavy workload.
本発明が解決しようとする課題は、アナログメータを読み取る検針作業において、初期設定が少なく、作業負荷を軽減することが可能な情報処理装置、情報処理方法およびコンピュータプログラムを提供することを目的とする。 The problem to be solved by the present invention is to provide an information processing device, an information processing method, and a computer program capable of reducing the initial setting and reducing the work load in the meter reading work of reading an analog meter. .
実施形態のコンピュータプログラムは、指針検出部と、表記数字検出部と、円検出部と、交点検出部と、交点数字検出部と、計測値検出部としてコンピュータを機能させる。指針検出部は、表示盤上に記された表記数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、指針の先端の位置を検出する。表記数字検出部は、画像データに基づいて、表記数字の位置と値を検出する。円検出部は、表記数字検出部が検出した表記数字の位置を通る円と、この円の中心の位置を検出する。交点検出部は、指針検出部が検出した指針の先端と円検出部が検出した円の中心を結ぶ線分と、円検出部が検出した円の円周との交点の位置を求める。交点数字検出部は、表記数字検出部が検出した表記数字のうち、交点の一方の円周上に位置する第1の表記数字と、交点の他方の円周上に位置する第2の表記数字をそれぞれ検出する。計測値検出部は、第1の表記数字の位置、第2の表記数字の位置、円の中心の位置、交点の位置、第1の表記数字の値、および第2の表記数字の値に基づいて、指針が示す計測値を検出する。 A computer program according to an embodiment causes a computer to function as a pointer detection section, a notation number detection section, a circle detection section, an intersection detection section, an intersection number detection section, and a measurement value detection section. The pointer detection unit detects the position of the tip of the pointer based on image data captured by an analog meter that indicates the measured value based on the positional relationship between the numbers written on the display panel and the pointer. The notation number detection unit detects the position and value of the notation number based on the image data. The circle detection unit detects a circle passing through the positions of the written numerals detected by the written numeral detection unit and the position of the center of this circle. The intersection detection unit obtains the position of the intersection of the line segment connecting the tip of the pointer detected by the pointer detection unit and the center of the circle detected by the circle detection unit and the circumference of the circle detected by the circle detection unit. The intersection numeral detection unit detects, of the notation numerals detected by the notation number detection unit, the first notation numerals positioned on one circumference of the intersection and the second notation numerals positioned on the other circumference of the intersection. are detected respectively. Based on the position of the first written numeral, the position of the second written numeral, the position of the center of the circle, the position of the intersection point, the value of the first written numeral, and the value of the second written numeral to detect the measured value indicated by the pointer.
以下、図面を参照して、一実施形態について説明する。
図1は、一実施形態に係わる情報処理装置、情報処理方法およびコンピュータプログラムを含む情報処理システムの構成を示すものである。なお、以下の説明では、上記情報処理装置、情報処理方法およびコンピュータプログラムを、工場や事業所の設備、種々の計測器などで用いられる各種メータの検針作業に適用した場合を例に挙げて説明するが、これに限定されるものではない。
An embodiment will be described below with reference to the drawings.
FIG. 1 shows the configuration of an information processing system including an information processing device, an information processing method, and a computer program according to one embodiment. In the following description, the information processing apparatus, information processing method, and computer program described above are applied to the reading of various meters used in facilities of factories and business establishments, various measuring instruments, etc., as an example. However, it is not limited to this.
(構成)
この情報処理システムは、図1に示すように、携帯型端末装置100、無線基地局200、クライアント端末300、サーバ400、ネットワーク500を備えたクラウドコンピューティングを実現するシステムであって、各種の設備や計測器に搭載されたメータMT1~MTnにて視覚的に表示される情報を取得して処理を行う。
(composition)
This information processing system is, as shown in FIG. and the information visually displayed by the meters MT1 to MTn mounted on the measuring instrument is acquired and processed.
なお、メータMT1~MTnは、例えば、電流、電圧、気体や液体の圧力や流量などを計測した値や、設備や機器の稼働状態を示した値を表示するものが想定されるが、これら以外の物理量や状態を示すものであってもよい。 Note that the meters MT1 to MTn are assumed to display, for example, values obtained by measuring current, voltage, pressure and flow rate of gases and liquids, and values indicating the operating status of facilities and equipment. may indicate the physical quantity or state of
またメータMT1~MTnには、数値メータと、アナログメータの2つのタイプがあり、検針員による検針の対象には、両タイプが混在し得る。 Moreover, the meters MT1 to MTn are of two types, a numerical meter and an analog meter, and the objects of meter reading by the meter reader can be both types.
数値メータは、回転式またはデジタル式のいずれの方式で計測値などを視覚的に示す計器である。デジタル式の場合は、例えば、0~9までの数字が表示される7セグメントディスプレイを複数使用して数値を示す構成が考えられる。回転式の場合は、例えば、0~9までの算用数字が記載された数字車を複数連ねて並べたメカ式であって、数字車が回転することで数値を示す直読式の構成が考えられる。 A numeric meter is an instrument that visually indicates a measured value or the like in either rotary or digital form. In the case of a digital type, for example, it is conceivable to use a plurality of 7-segment displays that display numbers from 0 to 9 to indicate numerical values. In the case of a rotary type, for example, a mechanical type in which a plurality of number wheels with numerals from 0 to 9 are arranged in a row, and a direct reading type configuration that indicates the numerical value by rotating the number wheel can be considered. be done.
アナログメータは、メータの読み値として算用数字や目盛りが記された表示盤上を指針が移動して、数字や目盛りと指針との相対的な位置関係で計測値などを視覚的に示す計器である。以下の説明では、メータの読み値として表示盤上に表記された数字を表記数字と称する。 An analog meter is a measuring instrument that visually indicates the measured value by moving the needle on a display panel on which Arabic numerals and scales are marked as the reading of the meter, and the relative positional relationship between the numbers and the scale and the needle. is. In the following description, the number written on the display panel as the reading of the meter will be referred to as the written number.
携帯型端末装置100は、メータの検針にあたる検針員が携帯する端末装置であって、検針現場に設置されたメータMT1~MTnの計測値を光学的に読み取って帳票としてデータ化し、サーバ400に送信するための情報処理装置である。詳細については、後述する。
The
無線基地局200は、携帯型端末装置100と無線通信し、携帯型端末装置100をネットワーク500に接続するものである。例えば、ネットワーク500が事業所内に構築されたLANの場合、通信方式として無線LAN(IEEE802.11シリーズ)を採用したアクセスポイントである。またネットワーク500が通信事業者の移動通信網の場合、3G、3.9G(LTE(登録商標)など)、4G、5G等の規格に対応した無線通信を行う基地局装置である。
The
すなわち、無線LANや携帯電話網は例に過ぎず、携帯型端末装置100を無線通信によりネットワーク500に接続できるものであれば、これらの無線通信方式に限定されるものではなく、Bluetooth(登録商標)を含め、いずれの無線通信方式であっても適用可能である。またネットワーク500は、1つのネットワークに限らず、複数のネットワーク(例えば、構内LANと移動通信網)が相互に接続されたものであってもよい。
That is, the wireless LAN and the mobile phone network are only examples, and the
クライアント端末300は、当該システムが提供する検針サービスの利用者の管理部門に設置され、その部門のオペレータが使用する端末であって、例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ等の情報処理装置である。
The
そして、クライアント端末300は、携帯型端末装置100によってサーバ400にアップロードされたデータファイルをダウンロードし、参照・閲覧、編集・集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。
The
またクライアント端末300は、携帯型端末装置100の全ての機能または一部のデータ処理機能を備えて、携帯型端末装置100と同様の処理を実行してもよい。すなわち、クライアント端末300は、検針現場でのメータの撮影を除いて(すなわち、上記撮影は携帯型端末装置100が行い)、それ以外の携帯型端末装置100上で実行可能なデータ処理を代わりに行うように同様の情報処理機能を備えてもよい。
Also, the
サーバ400は、当該システムが提供するクラウドコンピューティングの中枢をなすものであって、携帯型端末装置100やクライアント端末300からアップロードされる情報の保存や管理、上記情報に所定のデータ処理を施したり、あるいはこの保存した情報やデータ処理した情報を携帯型端末装置100やクライアント端末300に提供(ダウンロード)し、当該システムの利用者間でのデータ共有を実現する。
The
また、サーバ400は、携帯型端末装置100やクライアント端末300によるデータ処理の一部または全部を各装置に代わって担うことで、各装置のコンピュータ資源の節約を可能にする。そしてまたサーバ400は、携帯型端末装置100、クライアント端末300が使用するOS(Operating System)やアプリケーションソフトウェアを各装置に提供したり、最新の情報にアップデートしてサービスを実現する。
In addition, the
このように、サーバ400のデータベースには、携帯型端末装置100からアップロードされた検針データを保存し、また、携帯型端末装置100やクライアント端末300の各種プログラムが保存される。
In this way, the database of the
サーバ400によって提供されるサービスは、サービスの提供を受けるクライアントが所有する(あるいは貸与された)携帯型端末装置100やクライアント端末300に対して、サブスクリプション方式で提供することも考えられる。
The service provided by the
次に、図2を参照して、携帯型端末装置100について説明する。
携帯型端末装置100は、前述したように、メータの検針にあたる検針員が検針現場で携帯し、オペレータとして使用する端末であって、スマートフォン、タブレット型コンピュータまたはラップトップ型のパーソナルコンピュータ等の携帯可能な情報処理装置である。
Next, the
As described above, the
また携帯型端末装置100は、図2に示すように、一般的なコンピュータと同様のハードウェア構成であって、バスで接続された、少なくとも通信部101、入力部102、表示部103、カメラ104、GNSS(Global Navigation Satellite System)受信部105、記憶部106、制御部110を備える。
As shown in FIG. 2, the
通信部101は、無線基地局200との間で無線通信リンクを確立して通信を行う無線通信インターフェースであって、無線基地局200およびネットワーク500を介して、サーバ400と通信を行う。無線通信は、無線基地局200の仕様に合わせた通信方式に対応する。この通信方式の例としては、無線LAN(IEEE802.11シリーズ)、3G、3.9G(LTE(登録商標)など)、4G、5G、Bluetooth(登録商標)等、様々な規格が考えられるが、いずれでもかまわないし、これらに限定されるものでもない。
The
入力部102は、後述する表示部103上に載置されたタッチパネルや、携帯型端末装置の筐体上に設けられたキースイッチなどの入力デバイスを備え、検針員から与えられる種々の情報の入力や指示を検出する。上記タッチパネルは、尖筆(スタイラス)や指を使って入力が行えるものであり、静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式が適用可能である。
The
表示部103は、表示デバイスを備え、検針員に対して視覚的に情報を提供するものであり、例えば、情報の入力欄やソフトウェアキー、各種画像(写真、CG(コンピュータグラフィックス)画像)を表示する。
The
情報の入力欄やソフトウェアキーは、後述する制御部110の制御により、前述の入力部102に対する操作に対応するように表示がなされる。表示デバイスとしては、液晶パネルや有機EL(Electro Luminescence)パネル、電子ペーパーなど種々のデバイスが適用可能である。
The information input fields and software keys are displayed so as to correspond to the operations on the
カメラ104は、複数枚のレンズやこれらのレンズ間の距離を可変するズーム機構などを備えた光学系と、例えばCMOS(Complementary MOS)などのイメージセンサを備えた撮像部と、撮像部によって得られた撮像信号から所定の形式(例えば、JPEG(Joint Photographic Experts Group))の画像データを生成する信号処理部とを備えたデジタルカメラである。
The
なお、カメラ104によって得られた画像データには、撮影した日時や場所、撮影条件(シャッター速度や絞り値、画角、緯度や経度など)を示す付加情報(例えば、Exif(Exchangeable image file format)データ)が、制御部110によって付加されて記録される。
Note that the image data obtained by the
GNSS受信部105は、複数のGNSS衛星や地上の基準局などから発射される信号を用いて位置測定(測位)を行ったり、現在時刻の受信などを行うものである。
The
記憶部106は、後述する制御部110のOSやアプリケーションソフトウェア、アプリケーションソフトウェアの運用に伴って生成されたデータ、各種パラメータ、検針員から入力されたデータ、カメラ104によって撮像された画像データ(メータMT1~MTnの計測値を撮影したものなど)、サーバ400から取得(ダウンロード)したデータ、その他、情報処理のための一時的なデータなどを記憶するものであり、RAM(Random Access Memory)やROM(Read Only Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などの記録デバイスがデータの特性に合わせて、組み合わせて設けられる。
また記憶部106は、帳票データ106aと、設定情報データ106bと、メータ画像データ106cを記憶するほか、様々なデータを記憶する。
The
The
帳票データ106aは、所定の検針期間毎に、各メータの指針値を集計するために作成されるデータであって、新しいデータが作成されるとサーバ400にアップロードされる。具体的には、帳票データ106aは、例えば、検針現場ごとに作成されるデータで、「メータ情報」、「メータ画像」、「今回の検針値」、「前回との差」、「前回の検針値」、「前回に求めた差」などの情報が対応付けられたデータであって、検針現場に複数のメータが設置されている場合には、各メータについての上記情報を含んでいる。
The
ここで、「メータ情報」は、メータを識別するためのマスターコード、メータが計測する対象(例えば、テナント、駐車場、共有スペースなど)を示す識別情報、種別(例えば、ガス、電気、水道など)を含む。「メータ画像」は、検針値の根拠となる画像、すなわち、検針の際に撮影した画像である。 Here, "meter information" is the master code for identifying the meter, identification information indicating the object to be measured by the meter (e.g., tenant, parking lot, shared space, etc.), type (e.g., gas, electricity, water, etc.) )including. A “meter image” is an image that serves as the basis for the meter reading, that is, an image taken during meter reading.
「今回の検針値」は、今回の検針で読み取った値である。「前回との差」は、今回の検針値と前回の検針値の差分である。「前回の検針値」は、前回の検針で読み取った値である。「前回に求めた差」は、前回の検針値と前々回の検針値の差分である。 The "current meter reading value" is the value read in the current meter reading. "Difference from last time" is the difference between the current meter reading value and the previous meter reading value. The "previous meter reading value" is the value read in the last meter reading. The "difference obtained last time" is the difference between the previous meter reading value and the meter reading value before last.
設定情報データ106bは、各メータの検針値を集計するために必要な設定情報である。具体的には、帳票データ106aと同様に、各検針現場の各メータ毎に作成されるものである。
The setting
メータ画像データ106cは、検針のために、メータの検針値をカメラ104が撮影した画像データであり、実際に検針値を得るために使用された場合、その画像から必要な部分が切り取られ、メータ画像として上記帳票データ106aに記録される。
The
制御部110は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ、チップセット、RAMやROMなどを備え、携帯型端末装置100の各部を統括して制御する。
The
ROMは、ファームウェアや設定値(各種パラメータ)を記憶する。CPUは、上記ファームウェアにしたがって、記憶部106からOSやアプリケーションソフトウェアをRAMに読み込んで、OSやアプリケーションソフトウェアを実行し、またRAMをワークエリア(作業領域)として使用することで、各種制御機能を実現する。
The ROM stores firmware and setting values (various parameters). The CPU reads the OS and application software from the
制御部110は、OSやアプリケーションソフトウェアを実行することで、少なくとも以下の制御機能を実現する。すなわち、制御部110は、ソフトウェア(プログラム)をプロセッサ実行することにより、通信制御部111、入力制御部112、表示制御部113、画像処理部114、位置情報処理部115、検針データ集計処理部116として機能し、これらの機能が互いに連携して機能することができる。
The
なお、これらの各機能の一部または全部を他の機能と統合したり、あるいは111~116の各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。 It should be noted that part or all of each of these functions can be integrated with other functions, or each function of 111 to 116 can be divided into a plurality of functional blocks from a different point of view and explained using different expressions. .
通信制御部111は、通信部101を制御して、所定の通信プロトコルにしたって無線基地局200と無線通信リンクを確立し、さらにネットワーク500を通じてサーバ400と通信を行うもので、例えば、サーバ400からのデータダウンロードおよびサーバ400へのデータアップロードを行う。
The
入力制御部112は、入力部102を制御し、入力部102が検出した結果から、入力部102に対する検針員の操作から検針員の要求を解釈したり、情報(文字列など)の入力、データの取り込みや紐づけの変更を受け付けたり、カメラ104によって撮像された画像データの取り込みなどを行う。
The
表示制御部113は、表示部103を制御して、文字や画像を含む種々の情報や、グラフィカルユーザインタフェイス(以下、GUI(Graphical User Interface))を表示させる。GUIの例としては、前述した情報の入力欄やソフトウェアキーであり、これらの表示は、入力部102のタッチパネルを通じた入力に対応している。その他、画像の取り込み位置を示したりするガイド表示を行う。
The
画像処理部114は、カメラ104によって撮像された画像データに対して画像処理を施すものであって、例えば、認識エンジンとしての機能と、解析エンジンとしての機能を備える。
The
認識エンジンは、例えばAI(Artificial Intelligence)などによるパターン認識によって、カメラ104によって得られた画像データに基づく画像から、種々の情報を認識する処理を行うものである。
具体的には、認識エンジンは、例えば、QRコード(登録商標)を検出したり、画像に写るメータのタイプを数値メータかアナログメータかを区別(判定)したり、そのメータの表示盤上の計測値を表示している部分を検出したり、また表示盤内のオブジェクト(数値メータの計測値の数字列、アナログメータの指針や表記数字など)やその配置(座標)を検出する機能を備える。
The recognition engine performs processing for recognizing various types of information from an image based on image data obtained by the
Specifically, the recognition engine detects, for example, a QR code (registered trademark), distinguishes (determines) whether the type of meter in the image is a numerical meter or an analog meter, Equipped with a function to detect the part where the measured value is displayed, and to detect the objects in the display panel (numerical value string of the numerical meter, needle and notation number of the analog meter, etc.) and their arrangement (coordinates). .
一方、解析エンジンは、認識エンジンによって検出された情報を解析する処理を行うものである。
具体的には、解析エンジンは、メータ部分の画像について、QRコードの解読や、光学的文字認識などの文字認識処理(OCR(Optical Character Recognition))により数値メータの計測値をテキスト化したり、アナログメータのメータ部分に記されたオブジェクトの位置関係から指針が示す値を検出する。
On the other hand, the analysis engine performs processing for analyzing information detected by the recognition engine.
Specifically, the analysis engine analyzes the image of the meter part, converts the measurement value of the numerical meter into text by decoding the QR code, character recognition processing such as optical character recognition (OCR (Optical Character Recognition)), and analog The value indicated by the pointer is detected from the positional relationship of the objects marked on the meter part of the meter.
なお、解析エンジンは、文字認識処理については、複数種類が準備される。各解析エンジンは、メータの種類毎に対応し、それぞれ対応するメータの表記数字に合った解析アルゴリズムを用いて、表示される計測値をテキスト化する。 Multiple types of analysis engines are prepared for character recognition processing. Each analysis engine corresponds to each type of meter, and converts the displayed measured value into text using an analysis algorithm that matches the notation number of the corresponding meter.
具体的には、メータによって、算用数字の書体が異なっていたり、表記数字と背景色の組み合わせが異なるため、それぞれのメータの表示に合った解析アルゴリズムを有する解析エンジンが準備されている。 Specifically, since the typeface of Arabic numerals differs depending on the meter, and the combination of written numerals and background colors differs, an analysis engine having an analysis algorithm suitable for the display of each meter is prepared.
位置情報処理部115は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果と、GNSS受信部105による測位結果、および/または通信制御部111によって無線基地局200から得た測位情報に基づいて、携帯型端末装置100の位置を測位する。
The position
検針データ集計処理部116は、検針データの集計に関わる種々の処理を統括して制御するものであって、帳票作成部116a、数値メータ検針部116b、アナログメータ検針部116c、修正処理部116dを備える。
The meter reading data
帳票作成部116aは、後述する数値メータ検針部116bやアナログメータ検針部116cによって読み取られた検針値、あるいは、修正処理部116dによって修正された指針値に基づいて、帳票データを作成する処理を行う。
The
数値メータ検針部116bは、画像処理部114の認識エンジンと解析エンジンを必要に応じて利用し、数値メータを撮影した画像に基づいて、数値メータに表示される計測値の数字列を指針値として読み取る処理を行う。
The numerical
アナログメータ検針部116cは、画像処理部114の認識エンジンと解析エンジンを必要に応じて利用し、アナログメータを撮影した画像に基づいて、アナログメータに指針で示される値を指針値として読み取る処理を行うものであって、指針検出部、表記数字検出部、円検出部、交点検出部、交点数字検出部、計測値検出部の一例である。
The analog meter
修正処理部116dは、入力部102を通じた検針員からの指示にしたがって、指針値を修正する指示を受け付けて、数値メータ検針部116bやアナログメータ検針部116cが読み取った指針値を修正する処理を行う。
The
(動作)
次に、上記構成の情報処理システムの動作について説明する。以下の説明では、携帯型端末装置100における処理のうち、特に、検針データの集計処理(以下、検針データ集計処理と称する)について説明する。
(motion)
Next, the operation of the information processing system configured as described above will be described. In the following description, among the processes in the portable
この検針データ集計処理は、検針データ集計処理部116によってなされ、検針員によるメータMT1~MTnに対する検針作業を支援し、メータMT1~MTnに表示される計測値を読み取って、これを集計した帳票データ106aを作成するものである。
This meter reading data aggregation processing is performed by the meter reading data
また、この検針データ集計処理は、アプリケーションソフトウェア(プログラム)を実行した制御部110が検針データ集計処理部116として機能することにより実現される。なお、以下の説明では、1つのアプリケーションソフトウェアとして説明するが、複数のアプリケーションソフトウェアが連携、あるいは連続して動作することで実現するようにしてもよい。
Moreover, this meter reading data totalization processing is realized by the
アプリケーションソフトウェアが実行されると、検針データ集計処理部116の帳票作成部116aが、帳票データ106aのひな形を表示する。具体的には、帳票作成部116aは、記憶部106に記憶される帳票データ106aのひな形データを読み出し、読み出したひな形データを表示制御部113に出力する。これに対して、表示制御部113は、上記ひな形データに基づいて、表示部103に帳票のひな形を表示する。
When the application software is executed, the
続いて、検針データ集計処理部116は、表示制御部113に指示を与えて、表示部103に検針の対象となるメータのタイプの入力を求める表示を行う。すなわち、数値メータの検針か、アナログメータの検針かを検針員に問い、選択させるための表示を行い、入力部102を通じて検針員の選択を入力制御部112が受け付ける。
Subsequently, the meter reading data
ここで、検針員が数値メータを検針するモードを選択した場合には、この入力を入力制御部112が検出して、この検出結果に応動して、検針データ集計処理部116は、数値メータ検針部116bによる数値メータ検針処理を開始する。
Here, when the meter reader selects the mode for reading the numerical meter, the
すなわち、数値メータ検針処理では、検針データ集計処理部116や画像処理部114によって、数値メータに表示される数値をOCRによって読み取ってテキスト化し、その後、テキスト化した検針値を帳票作成部116aが上記帳票データ106aに入力する。
That is, in the numerical meter reading process, the meter reading data
一方、検針員がアナログメータを検針するモードを選択した場合には、この入力を入力制御部112が検出して、この検出結果に応動して、検針データ集計処理部116は、アナログメータ検針部116cによるアナログメータ検針処理を行う。以下、図3を参照して、その詳細について説明する。
On the other hand, when the meter reader selects the mode for reading the analog meter, the
なお、上述したように、検針員が数値メータの検針かアナログメータの検針かを入力部102を通じて指示するようにしてもよいし、前述したように、カメラ104で検針対象のメータを撮影し、認識エンジンが画像に写るメータのタイプを数値メータかアナログメータかを区別(判定)するようにしてもよい。
As described above, the meter reader may indicate through the
図3および図4は、アナログメータ検針処理を説明するためのフローチャートである。このアナログメータ検針処理は、アナログタイプのメータから検針値を読み取る処理であって、前述したように、アプリケーションソフトウェア(プログラム)を実行した制御部110が、画像処理部114や検針データ集計処理部116として機能することにより実現される。 3 and 4 are flowcharts for explaining the analog meter reading process. This analog meter reading process is a process of reading a meter value from an analog type meter. It is realized by functioning as
まず、ステップS301では、アナログメータ検針部116cが、記憶部106から設定情報データ106bを読み出し、ステップS302に移行する。ここで、読み出された設定情報データ106bは、以後の処理において、初期設定のパラメータ(初期設定値)として用いられる。
First, in step S301, the analog
設定情報データ106bの一例としては、種々のアナログメータについて、メータの識別情報に対応づけて、表示盤上に表示されている数値の最小値と最大値などを記録した情報や、メータを識別するためにAI(Artificial Intelligence)学習させた学習データなどが含まれる。
Examples of the setting
学習データは、アナログメータを撮影した画像において、メータの中心点、指針の可動範囲の開始点と終了点、表示盤の最も下側の底点、指針の範囲(最小値、最大値)、しきい値など設定した情報に基づいて、機械学習によって生成される。 The learning data consists of the center point of the meter, the start and end points of the movable range of the pointer, the lowest point of the display panel, the range of the pointer (minimum value, maximum value), and the Generated by machine learning based on set information such as thresholds.
ステップS302では、アナログメータ検針部116cが、カメラ104を起動して、アナログメータMT(例えば、メータMT1~MTnのいずれか)を撮像して画像データを得て、ステップS303に移行する。
In step S302, the analog
具体的には、ステップS302では、カメラ104が起動され、カメラ104によって撮像された映像が表示部103に表示され、検針員がこの表示を確認して撮影構図を調整しながら、アナログメータMT全体が写る状態でシャッタ操作を行う。
Specifically, in step S302, the
これにより、アナログメータMT全体が写る画像データを得られ、表示部103には、撮影されたアナログメータMTの表示がなされる。なお、以下の説明では、画像データのうち、アナログメータMTを撮影した画像データを撮像データと称する。
As a result, image data representing the entire analog meter MT is obtained, and the captured analog meter MT is displayed on the
ステップS303では、アナログメータ検針部116cが、ステップS302で得た撮像データに基づいて、撮影したアナログメータMTを表示部103に表示するとともに、撮像データに写るアナログメータMTの表示盤上の表記数字と指針を検出する。なお、この検出には、画像処理部114の認識エンジンが用いられる。
In step S303, the analog meter
またステップS303では、アナログメータ検針部116cが、上記表示したアナログメータMT上に、上記検出した表記数字と指針をそれぞれ矩形の枠線で囲って表示し、ステップS304に移行する。図5に、表記数字をそれぞれ囲う枠線の一例を示す。これらの表示は、表示制御部113を通じて行われ、以下で説明する表示についても同様である。
Further, in step S303, the analog
なお、アナログメータMT上の表記数字と指針の検出は、例えば、AIを利用することで実現できる。すなわち、設定情報データ106bに含まれる学習データと撮像データに基づいて、アナログメータ検針部116cがアナログメータMTの種類などを特定するとともに、さらに、この特定したアナログメータMTについての学習データから表示盤上の表記数字と指針を検出する。
It should be noted that the detection of the written numbers and pointers on the analog meter MT can be realized by using AI, for example. That is, based on the learning data and the imaging data included in the setting
ステップS304では、アナログメータ検針部116cが、ステップS303で表示した表記数字を囲う枠線の中心の位置(座標)を検出し、ステップS305に移行する。ここで検出された座標は、以下の説明において、表記数字座標と称する。この表記数字座標は、表示したアナログメータMT上に設定した2次元の座標軸に基づくものであって、以下の説明における座標についても、上記座標軸を基準にしたものである。
In step S304, the analog
ステップS305では、アナログメータ検針部116cが、ステップS304で検出した表記数字座標に基づいて、枠線の中心を通る円(近似円)を求める。具体的には、表記数字座標が円周上に存在する近似円を求める。さらに、アナログメータ検針部116cは、この円の中心点Oの座標とその半径Rを算出し、ステップS306に移行する。図6に、上記円と中心点Oの一例を示す。
In step S305, the analog meter
ステップS306では、アナログメータ検針部116cが、指針を囲う枠線と円の中心点Oに基づいて、指針の先端Aの座標Acを検出し、ステップS307に移行する。図7に、指針を囲う枠線と円の中心点Oの一例を示す。
In step S306, the analog
具体的には、図8に示す例では、指針を囲う矩形の枠線の4つの頂点のうち、円の中心点Oから近い頂点と対角をなす頂点を指針の先端Aの座標Acとして検出する。ただし、指針の角度によっては、図9に示すように、円の中心Oから近い点である頂点b1ではなく、ふさわしくない頂点b2を検出する可能性がある。 Specifically, in the example shown in FIG. 8, of the four vertices of the rectangular frame surrounding the pointer, the vertex that is diagonal to the vertex near the center point O of the circle is detected as the coordinate Ac of the tip A of the pointer. do. However, depending on the angle of the pointer, as shown in FIG. 9, there is a possibility that an inappropriate vertex b2 is detected instead of the vertex b1, which is a point close to the center O of the circle.
このため、枠線の各辺の中点c1~c4と中心Oの距離を考慮するようにして、頂点b1を検出し、この頂点b1と対角をなす、指針の先端Aに相当する頂点a(の座標Ac)を検出するようにしてもよい。 For this reason, the vertex b1 is detected by considering the distance between the midpoints c1 to c4 of each side of the frame line and the center O, and the vertex a corresponding to the tip A of the pointer, which is diagonal to this vertex b1, is detected. (Coordinate Ac of) may be detected.
ステップS307では、アナログメータ検針部116cが、ステップS304で検出した表記数字座標を順番に配列し、ステップS308に移行する。具体的には、図10において矢印で示すように、円の中心点Oの下方の円周上を起点Sとして、時計回りに円周上の表記数字座標を順に並べる。これは、一般的なアナログメータが、時計回りに読み値が変化する(大きくなる)ことを考慮したものである。
In step S307, the analog
ステップS308では、アナログメータ検針部116cが、図11に示すように、ステップS303で囲った枠線内の表記数字の数値を読み取り、ステップS309に移行する。
In step S308, as shown in FIG. 11, the analog
なお、表記数字の数値の読み取り(検出)は、例えば、AIを利用することで実現できる。すなわち、設定情報データ106bに含まれる学習データと撮像データに基づいて、アナログメータ検針部116cがアナログメータMTの種類などを特定するとともに、さらに、この特定したアナログメータMTについての学習データから表示盤上の表記数字の数値を検出する。
It should be noted that the reading (detection) of the numerical value of the written numerals can be realized by using AI, for example. That is, based on the learning data and the imaging data included in the setting
ステップS309では、アナログメータ検針部116cが、ステップS308で読み取った数値に「0」があるか否かを判定する。ここで、ステップS308で読み取った数値に「0」がある場合には、ステップS310に移行し、一方、「0」がない場合には、ステップS312に移行する。
In step S309, the analog
ステップS310では、アナログメータ検針部116cが、ステップS307で行った配列とステップS308で読み取った数値に基づいて、中心点Oからみて、数値「0」の表記数字の左側に数値が存在するか否かを判定する。ここで、左側に数値が存在する場合には、ステップS311に移行し、一方、左側に数値が存在しない場合には、ステップS314に移行する。
In step S310, the analog
ステップS311では、アナログメータ検針部116cが、ステップS308で読み取った数値のうち、数値「0」より左側に存在する数値については、同じ大きさのマイナス(負)の値に変換し、ステップS314に移行する。なお、右側に存在する数値については、プラス(正)の値のままにする。
In step S311, among the numerical values read in step S308, the analog
例えば、図12に示すようなアナログメータの場合、数値「0」の左側に数値「0.05」と「0.1」が存在するため、これらの数値をそれぞれ「-0.05」と「-0.1」に変換する。 For example, in the case of an analog meter as shown in FIG. 12, there are numerical values "0.05" and "0.1" on the left side of the numerical value "0", so these numerical values are changed to "-0.05" and " −0.1”.
ステップS312では、アナログメータ検針部116cが、ステップS307で行った配列とステップS308で読み取った数値に基づいて、隣接する2つの数値を比較し、数値が右側の数値以上となっている数値が存在するか否かを判定する。すなわち、中心点Oからみて、左側の数値が右側の数値以上の数値となっているものが存在するか否かを判定する。ここで、右側の数値以上の数値が存在する場合には、ステップS311に移行し、一方、右側の数値以上の数値が存在しない場合には、ステップS314に移行する。
In step S312, the analog
ステップS313では、アナログメータ検針部116cが、ステップS308で読み取った数値のうち、数値が右側の数値以上となっている数値について、同じ大きさのマイナスの値に変換し、ステップS314に移行する。
In step S313, the analog
例えば、図12に示すようなアナログメータの場合、左端の数値「0.1」の右側には数値「0.05」が存在するため、この数値「0.1」を「-0.1」に変換する。同様に、左側の数値「0.05」の右側には数値「0」が存在するため、この数値「0.05」を「-0.05」に変換する。 For example, in the case of an analog meter as shown in FIG. 12, since the numerical value "0.05" exists on the right side of the leftmost numerical value "0.1", this numerical value "0.1" is changed to "-0.1". Convert to Similarly, since the number "0" exists on the right side of the number "0.05" on the left, this number "0.05" is converted to "-0.05".
ステップS314では、アナログメータ検針部116cが、例えば図13に示すように、ステップS306で検出した指針の先端Aの座標AcとステップS305で検出した円の中心点Oの座標を結ぶ線分と、ステップS305で求めた円Oの円周との交点Xの座標Xcを検出し、図4のステップS401に移行する。ここで、交点Xが無い場合には、座標Xcを求めずにステップS401に移行する。
In step S314, the analog meter
ステップS401では、アナログメータ検針部116cが、ステップS314で交点Xの座標Xcが検出できたか否かを判定する。交点Xの座標Xcが検出できた(すなわち交点Xがある)場合には、ステップS403に移行し、一方、交点Xが無いなど、交点Xの座標Xcが検出できない場合には、ステップS402に移行する。
In step S401, the analog
ステップS402では、アナログメータ検針部116cが、指針を延長して、延長した指針と円周の交点Xを作成し、その交点Xの座標Xcを検出し、ステップS402に移行する。なお、交点Xの座標Xcの検出は、例えば、ステップS306で検出した指針の先端Aの座標Acと中心点Oに基づいて、中心点Oから座標Acの方向に延長することで実現できる。
In step S402, the analog
ステップS403では、アナログメータ検針部116cが、ステップS314あるいはステップS402で検出した交点Xの座標Xcの左右の円周上にある表記数字を探索し、それらの表記数字があるか否かを判定する。図14の例では、交点Xの座標Xcの左の円周上に表記数字NLとして「20」が存在し、右の円周上の表記数字NRとして「40」が存在している。
In step S403, the analog
ここで、左右の両方に表記数字を検出できた場合には、ステップS404に移行し、一方、表記数字が左右の一方にしか無い場合には、指針値として、最小値(NRのみ検出時)あるいは最大値(NLのみ検出時)を検出したものとして、ステップS409に移行する。 Here, if notation numbers can be detected on both the left and right sides, the process proceeds to step S404. On the other hand, if there are notation numbers on only one of the left and right sides, the minimum value (when only NR is detected) is used as the guideline value. Alternatively, assuming that the maximum value (when only NL is detected) is detected, the process proceeds to step S409.
より具体的に例を挙げて説明する。図15(a)では、図14と同様に、交点Xの座標Xcの左の円周上に表記数字NLとして「20」が存在し、右の円周上の表記数字NRとして「40」が存在しているため、ステップS404に移行する。 A more specific example will be described. In FIG. 15(a), as in FIG. 14, "20" is present as the written numeral NL on the left circle of the coordinate Xc of the intersection point X, and "40" is present as the written numeral NR on the right circle. Since it exists, it transfers to step S404.
これに対して図15(b)に示すように、中心点Oから見て交点Xの左側(円周の起点まで)には、表記数字が存在しない場合、指針値として、初期設定値に基づく最小値を検出したものとして確定し、ステップS409に移行する。 On the other hand, as shown in FIG. 15(b), when there is no notation number on the left side of the intersection X (up to the starting point of the circumference) as viewed from the center point O, the guideline value is based on the initial set value. It is determined that the minimum value has been detected, and the process proceeds to step S409.
なお、交点Xの右側(円周の終点まで)に表記数字が存在しない場合には、指針値として、初期設定値に基づく最大値を検出したものとして確定し、ステップS409に移行する。 If there is no notation number on the right side of the intersection X (up to the end point of the circle), it is determined that the maximum value based on the initial set value has been detected as the indicator value, and the process proceeds to step S409.
また、図15(c)に示すように、指針が表記数字「40」と重なってしまい、ステップS303やステップS304で表記数字「40」が検出されない場合には、この表記数字「40」は検出されていないため、ステップS403の判定で用いられることはない。 Also, as shown in FIG. 15(c), if the pointer overlaps the notation number "40" and the notation number "40" is not detected in steps S303 and S304, this notation number "40" will be detected. Since it has not been performed, it is not used in the determination of step S403.
しかしながら、それ以外の左右の表記数字「20」と「60」がそれぞれNL、NRとしてステップS303やステップS304で検出されているので、ステップS403でこれらの表記数字の存在が検出され、ステップS404に移行する。 However, since the left and right written numerals "20" and "60" are detected as NL and NR in steps S303 and S304, respectively, the presence of these written numerals is detected in step S403, and the process proceeds to step S404. Transition.
さらには、図15(d)に示すように、指針が表記数字「40」と重なってしまうとともに、なんらかの理由で、ステップS303やステップS304で表記数字「60」が検出されない場合には、この表記数字「40」と「60」は検出されていないため、この表記数字「40」と「60」はステップS403の判定で用いられることはない。 Furthermore, as shown in FIG. 15(d), if the pointer overlaps the notation number "40" and the notation number "60" is not detected in steps S303 and S304 for some reason, this notation Since the numbers "40" and "60" are not detected, the notation numbers "40" and "60" are not used in the determination of step S403.
しかしながら、それ以外の左右の表記数字「20」と「80」がステップS303やステップS304で検出されているので、ステップS403でこれらの表記数字がそれぞれNL、NRとして検出され、ステップS404に移行する。 However, since the left and right written numerals "20" and "80" are detected in steps S303 and S304, these written numerals are detected as NL and NR, respectively, in step S403, and the process proceeds to step S404. .
ステップS404では、アナログメータ検針部116cが、まず、ステップS403で検出した2つ表記数字NL、NRのうち、交点Xの左側の表記数字NLの座標と中心点Oの座標を結ぶ線分と、交点Xの座標と中心点Oの座標を結ぶ線分とがなす角度S1を検出する。図16に一例を示す。
In step S404, the analog meter
つづいて、アナログメータ検針部116cは、ステップS403で検出した2つ表記数字NL、NRのうち、交点Xの右側の表記数字NRの座標と中心点Oの座標を結ぶ線分と、交点Xの座標と中心点Oの座標を結ぶ線分とがなす角度S2を検出し、ステップS405に移行する。
Subsequently, the analog meter
ステップS405では、アナログメータ検針部116cが、角度S1、S2、半径R、左側の表記数字NLの数値VL、右側の表記数字NRの数値VRとに基づいて、交点Xに相当する指針値VDを算出し、ステップS406に移行する。図17に一例を示す。
ここで指針値VDの算出式の一例としては、VD=(S1*VR+S2*VL)/(S1+S2)が考えられる。
In step S405, the analog meter
Here, VD=(S1*VR+S2*VL)/(S1+S2) can be considered as an example of a formula for calculating the guideline value VD.
ステップS406では、アナログメータ検針部116cが、ステップS308で読み取った表記数字の数値に基づいて、小数点下の桁数のうち、最大の桁数を検出し、ステップS402に移行する。
In step S406, the analog
ここで、例えば、図18のようなアナログメータの場合、読み取った数値は、整数値であるため、小数点下の最大の桁数は0と検出する。また図19のようなアナログメータの場合、読み取った数値には、「0.1」と「0.05」が含まれており、「0.05」に基づいて、最大の桁数は2と検出する。 Here, for example, in the case of an analog meter as shown in FIG. 18, since the read numerical value is an integer value, 0 is detected as the maximum number of digits after the decimal point. In the case of an analog meter as shown in Fig. 19, the read values include "0.1" and "0.05", and the maximum number of digits is 2 based on "0.05". To detect.
ステップS407では、アナログメータ検針部116cが、ステップS406で検出した最大桁数に1を加えた値を有効小数点下桁数として求める。そして、アナログメータ検針部116cは、ステップS405の算出結果のうち、有効小数点下桁数までの値を指針値として確定し、ステップS408に移行する。
In step S407, the analog
具体的には、例えば図18に示すようなアナログメータにおいて、ステップS405において、指針値として「30.04567…」が算出された場合、有効小数点下桁数が1であることより、指針値は小数第1位までの「30.0」として確定する。なお、小数第1位の値は、小数第2位の値を四捨五入することにより決定する。 Specifically, for example, in an analog meter as shown in FIG. Determine as "30.0" to one decimal place. The first decimal place value is determined by rounding off the second decimal place value.
ステップS408では、アナログメータ検針部116cが、ステップS302で得た撮像データに基づいて、撮影したアナログメータMTの画像のうち、指針とその近傍の表記数値や、交点Xを含む範囲をトリミングしたトリミング画像のデータ(以下、トリミング撮像データと称する)を生成し、ステップS409に移行する。
In step S408, the analog meter
ステップS409では、修正処理部116dが、表示中の画像に代わって、ステップS408で生成したトリミング撮像データに基づいて、上記トリミング画像を表示部103に表示するとともに、ステップS403で確定した指針値、あるいはステップS407で確定した指針値を表示部103に表示し、ステップS410に移行する。
In step S409, the
具体的には、例えば、図20のような表示が表示部103になされる。すなわち、撮像データのうち交点Xを含む範囲を拡大したトリミング画像が表示されるとともに、ソフトウェアキーとして機能するGUI(Graphical User Interface)として、ドラムロール表示とスライドバー表示がなされる。
Specifically, for example, a display as shown in FIG. 20 is displayed on the
このドラムロール表示は、指針値を修正するための入力インタフェースであって、指針値の各桁の値にそれぞれ対応するドラムロール(数字車)をグラフィックにより仮想的に表示するものである。表示されたドラムロールは、表示部103上に載置されたタッチパネル(入力部102)を通じて操作することが可能である。
This drum roll display is an input interface for correcting the indicator value, and graphically displays a virtual drum roll (number wheel) corresponding to each digit of the indicator value. The displayed drum roll can be operated through a touch panel (input unit 102 ) placed on the
例えば、各ドラムロールを上下に回転させるフリック入力を入力部102が検出して、これに応動してドラムロールの映像を回転させて表示し、それに合わせて表示される任意の値に指針値を変更することができる。
For example, the
スライドバー表示は、ドラムロール間に小数点を設定するための入力インタフェースであって、ドラムロールの位置に上下方向で対応しており、ポインタPを左右にスライドさせることで、桁(ドラムロール)の間に小数点を設定することができる。 The slide bar display is an input interface for setting the decimal point between the drum rolls, and corresponds to the position of the drum roll in the vertical direction. A decimal point can be set in between.
図21にその例を示す。図21(a)~(e)では、ポインタPの位置に応じて、指針値の小数点の位置が変化する様子を示したものである。図21では、指針値の小数点の位置とポインタPの位置が上下方向で一致するように設定したものである。 An example is shown in FIG. 21A to 21E show how the position of the decimal point of the guideline value changes according to the position of the pointer P. FIG. In FIG. 21, the position of the decimal point of the indicator value and the position of the pointer P are set so as to coincide with each other in the vertical direction.
なお、ポインタPの位置と、ドラムロールで表される数字列中の小数点の位置は、必ずしも上下方向で一致するものでなくてもよい。例えば、指針値の数字列の表示範囲に対して、それよりも広い範囲でスライドバーを表示するなど、表示部103上で表示可能な範囲を小数点の入力のために最大限に用いてもよく、その場合は、ポインタPの可動範囲内におけるポインタPの相対的な位置に応じて、小数点の位置が可変される。
Note that the position of the pointer P and the position of the decimal point in the number string represented by the drum roll do not necessarily match in the vertical direction. For example, the range that can be displayed on the
ステップS410では、修正処理部116dが、表示部103に表示される指針値について、検針員に対して確認の入力を求める。ここで、OKの入力操作が入力部102に対して行われた場合には、表示している指針値を検針値として決定し、ステップS412に移行し、一方、NGの入力操作が入力部102に対して行われた場合には、ステップS411に移行する。
In step S<b>410 , the
ステップS411では、修正処理部116dが、前述したドラムロール表示およびスライドバー表示に対する操作を入力部102を通じて検出し、検針員から指針値の修正指示を受け付けて表示し、修正(表示)された指針値を検針値として決定し、ステップS412に移行する。
In step S411, the
ステップS412では、帳票作成部116aが、検針の対象となったアナログメータの識別情報に対応づけて、ステップS302で得た撮像データ、ステップS408で生成したトリミング撮像データ、ステップS410あるいはステップS411で決定された検針値を帳票データ106aとして記憶部106に保存し、ステップS413に移行する。
In step S412, the
ステップS413では、アナログメータ検針部116cが、入力部102を通じて検針員から作業終了の指示が与えられたか否かを判定する。ここで、作業終了の指示を検出した場合には、当該処理を終了し、一方、引き続き作業を行う旨の指示があった場合には、ステップS302に移行して、改めてアナログメータMTの検針を行う。
In step S413, the analog
(まとめ)
以上のように、上記構成の携帯型端末装置100では、検針員がアナログメータを検針する場合に、アナログメータの表示盤を撮影した画像データに基づき、指針を挟むように存在する2つの表記数字NL、NRを検出し、指針の左側の表記数字NLの値VLとメータの中心点Oと指針の先端Aがなす角度S1と、指針の右側の表記数字NLの値VRとメータの中心点Oと指針の先端Aがなす角度S2と、2つの表記数字の値VLとVRから、指針値を算出するようにしている。
(summary)
As described above, in the portable
したがって、上記構成の携帯型端末装置100によれば、検針員は、アナログメータを検針する場合に、表示タイプに合わせた煩雑な初期設定を行うことなく、アナログメータを撮影するだけで検針を行うことができるので、作業負荷を軽減することができる。
Therefore, according to the portable
アナログメータの例としては、図22に示す交流電流計、図23に示す真空計、図24に示す連成計などが考えられる。図22に示す交流電流計は、目盛り幅が不均等で途中で目盛りが途切れている。図23に示す真空計は、0が最大であり、左回りに指針が回転し、指針値はすべてマイナスの値である。図24に示す連成計は、0が最小値と最大値の間にあり、左右にマイナスとプラスの値がそれぞれ存在するものの、マイナスの表記が行われていない。これらのいずれのアナログメータについても、携帯型端末装置100によれば、検針を行うことができる。
Examples of analog meters include an AC ammeter shown in FIG. 22, a vacuum gauge shown in FIG. 23, and a compound gauge shown in FIG. The AC ammeter shown in FIG. 22 has an uneven scale width and the scale is interrupted in the middle. In the vacuum gauge shown in FIG. 23, 0 is the maximum, the pointer rotates counterclockwise, and all the pointer values are negative values. In the compound gauge shown in FIG. 24, 0 is between the minimum value and the maximum value, and there are negative and positive values on the left and right sides, respectively, but the negative notation is not performed. Any of these analog meters can be read by the mobile
また、上記構成の携帯型端末装置100では、帳票データ106aには、アナログメータの検針値と、その検針値を検出した元となる撮像データを対応付けて保存するようにしている。このため、後に帳票データ106aを閲覧した者が確認を行うことができる。
Further, in the portable
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。 It should be noted that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the present invention at the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. Further, for example, a configuration in which some components are deleted from all the components shown in the embodiments is also conceivable. Furthermore, components described in different embodiments may be combined as appropriate.
また、上記実施形態では、アナログメータの撮影と、アナログメータの測定値の検出と、その検出値を記録した帳票データ106aの作成を携帯型端末装置100で行う場合を例に挙げて説明したが、これに限定されるものではない。
Further, in the above-described embodiment, the case where the mobile
すなわち、アナログメータの撮影についてのみ携帯型端末装置100で行い、アナログメータの測定値の検出と、その検出値を記録した帳票データ106aの作成については、クライアント端末300やサーバ400における情報処理で実現するようにしてもよい。この場合、上記実施形態で説明したハードウェアやソフトウェアがクライアント端末300やサーバ400に設けられる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
That is, only the photographing of the analog meter is performed by the portable
In addition, it goes without saying that various modifications can be made in the same way without departing from the scope of the present invention.
100…携帯型端末装置、101…通信部、102…入力部、103…表示部、104…カメラ、105…GNSS受信部、106…記憶部、106a…帳票データ、106b…設定情報データ、106c…メータ画像データ、110…制御部、111…通信制御部、112…入力制御部、113…表示制御部、114…画像処理部、115…位置情報処理部、116…検針データ集計処理部、116a…帳票作成部、116b…数値メータ検針部、116c…アナログメータ検針部、116d…修正処理部、200…無線基地局、300…クライアント端末、400…サーバ、500…ネットワーク、MT1~MTn…メータ。
DESCRIPTION OF
Claims (7)
表示盤上に記された表記数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針の先端の位置を検出する指針検出部と、
前記画像データに基づいて、表記数字の位置と値を検出する表記数字検出部と、
前記表記数字検出部が検出した表記数字の位置を通る円と、この円の中心の位置を検出する円検出部と、
前記指針検出部が検出した指針の先端と前記円検出部が検出した円の中心を結ぶ線分と、前記円検出部が検出した円の円周との交点の位置を求める交点検出部と、
前記表記数字検出部が検出した表記数字のうち、前記交点の一方の円周上に位置する第1の表記数字と、前記交点の他方の円周上に位置する第2の表記数字をそれぞれ検出する交点数字検出部と、
前記第1の表記数字の位置、前記第2の表記数字の位置、前記円の中心の位置、前記交点の位置、前記第1の表記数字の値、および前記第2の表記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。 the computer,
a pointer detection unit that detects the position of the tip of the pointer based on image data captured by an analog meter that indicates the measured value in terms of the positional relationship between the numbers written on the display panel and the pointer;
a written numeral detection unit that detects the positions and values of written numerals based on the image data;
a circle passing through the position of the notation number detected by the notation number detection unit, and a circle detection unit detecting the position of the center of this circle;
an intersection detection unit for determining a position of an intersection of a line segment connecting the tip of the pointer detected by the pointer detection unit and the center of the circle detected by the circle detection unit and the circumference of the circle detected by the circle detection unit;
Among the written numerals detected by the written numeral detection unit, a first written numeral positioned on one circumference of the intersection and a second written numeral positioned on the other circumference of the intersection are detected. an intersection numeral detection unit for
Based on the position of the first written numeral, the position of the second written numeral, the position of the center of the circle, the position of the intersection point, the value of the first written numeral, and the value of the second written numeral A program for causing the pointer to function as a measured value detection unit that detects the measured value indicated by the pointer.
前記第1の表記数字と前記円の中心とを結ぶ線分と、前記交点と前記円の中心を結ぶ線分とがなす第1の角度を検出する第1角度検出部と、
前記第2の表記数字と前記円の中心とを結ぶ線分と、前記交点と前記円の中心を結ぶ線分とがなす第2の角度を検出する第2角度検出部と、
前記第1の角度、前記第2の角度、前記第1の表記数字の値、および前記第2の表記数字の値に基づいて、前記指針が示す計測値を算出する算出部と
を備える、請求項1に記載のプログラム。 The measured value detection unit is
a first angle detection unit for detecting a first angle formed by a line segment connecting the first notation number and the center of the circle and a line segment connecting the intersection and the center of the circle;
a second angle detection unit for detecting a second angle formed by a line segment connecting the second notation number and the center of the circle and a line segment connecting the intersection and the center of the circle;
a calculation unit that calculates a measurement value indicated by the pointer based on the first angle, the second angle, the value of the first written numeral, and the value of the second written numeral, Item 1. The program according to item 1.
前記画像データに基づいて、表記数字の位置と値を検出する表記数字検出部と、
前記表記数字検出部が検出した表記数字の位置を通る円と、この円の中心の位置を検出する円検出部と、
前記指針検出部が検出した指針の先端と前記円検出部が検出した円の中心を結ぶ線分と、前記円検出部が検出した円の円周との交点の位置を求める交点検出部と、
前記表記数字検出部が検出した表記数字のうち、前記交点の一方の円周上に位置する第1の表記数字と、前記交点の他方の円周上に位置する第2の表記数字をそれぞれ検出する交点数字検出部と、
前記第1の表記数字の位置、前記第2の表記数字の位置、前記円の中心の位置、前記交点の位置、前記第1の表記数字の値、および前記第2の表記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
を備える情報処理装置。 a pointer detection unit that detects the position of the tip of the pointer based on image data captured by an analog meter that indicates the measured value in terms of the positional relationship between the numbers written on the display panel and the pointer;
a written numeral detection unit that detects the positions and values of written numerals based on the image data;
a circle passing through the position of the notation number detected by the notation number detection unit, and a circle detection unit detecting the position of the center of this circle;
an intersection detection unit for determining a position of an intersection of a line segment connecting the tip of the pointer detected by the pointer detection unit and the center of the circle detected by the circle detection unit and the circumference of the circle detected by the circle detection unit;
Among the written numerals detected by the written numeral detection unit, a first written numeral positioned on one circumference of the intersection and a second written numeral positioned on the other circumference of the intersection are detected. an intersection numeral detection unit for
Based on the position of the first written numeral, the position of the second written numeral, the position of the center of the circle, the position of the intersection point, the value of the first written numeral, and the value of the second written numeral and a measured value detection unit that detects a measured value indicated by the pointer.
前記画像データに基づいて、表記数字の位置と値を検出する表記数字検出工程と、
前記表記数字検出工程で検出した表記数字の位置を通る円と、この円の中心の位置を検出する円検出工程と、
前記指針検出工程で検出した指針の先端と前記円検出工程で検出した円の中心を結ぶ線分と、前記円検出工程で検出した円の円周との交点の位置を求める交点検出工程と、
前記表記数字検出工程で検出した表記数字のうち、前記交点の一方の円周上に位置する第1の表記数字と、前記交点の他方の円周上に位置する第2の表記数字をそれぞれ検出する交点数字検出工程と、
前記第1の表記数字の位置、前記第2の表記数字の位置、前記円の中心の位置、前記交点の位置、前記第1の表記数字の値、および前記第2の表記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出工程と
を備える情報処理方法。
a pointer detection step of detecting the position of the tip of the pointer based on image data obtained by photographing an analog meter that indicates the measured value in terms of the positional relationship between the numbers written on the display panel and the pointer;
a written numeral detection step of detecting positions and values of written numerals based on the image data;
A circle passing through the position of the written numeral detected in the written numeral detection step, and a circle detection step of detecting the position of the center of this circle;
an intersection detection step of obtaining a position of an intersection of a line segment connecting the tip of the pointer detected in the pointer detection step and the center of the circle detected in the circle detection step and the circumference of the circle detected in the circle detection step;
Among the notation numerals detected in the notation numeral detection step, first notation numerals positioned on one circumference of the intersection and second notation numerals positioned on the other circumference of the intersection are detected. an intersection digit detection step for
Based on the position of the first written numeral, the position of the second written numeral, the position of the center of the circle, the position of the intersection point, the value of the first written numeral, and the value of the second written numeral and a measured value detection step of detecting a measured value indicated by the pointer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155143A JP7242795B1 (en) | 2021-09-24 | 2021-09-24 | Information processing device, information processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155143A JP7242795B1 (en) | 2021-09-24 | 2021-09-24 | Information processing device, information processing method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7242795B1 JP7242795B1 (en) | 2023-03-20 |
JP2023046516A true JP2023046516A (en) | 2023-04-05 |
Family
ID=85641213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155143A Active JP7242795B1 (en) | 2021-09-24 | 2021-09-24 | Information processing device, information processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7242795B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7402458B1 (en) * | 2023-06-26 | 2023-12-21 | 株式会社ルクレ | Construction record photo management device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114828A (en) * | 2005-10-18 | 2007-05-10 | Yamaguchi Univ | Image processing apparatus and image processing method |
JP2014032039A (en) * | 2012-08-01 | 2014-02-20 | Mitsubishi Heavy Ind Ltd | Inspection support system and method |
JP2015141039A (en) * | 2014-01-27 | 2015-08-03 | 矢崎総業株式会社 | Pointer-indicated value calculating method |
JP2018106522A (en) * | 2016-12-27 | 2018-07-05 | 株式会社日立製作所 | Automatic inspection system and automatic inspection method |
-
2021
- 2021-09-24 JP JP2021155143A patent/JP7242795B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114828A (en) * | 2005-10-18 | 2007-05-10 | Yamaguchi Univ | Image processing apparatus and image processing method |
JP2014032039A (en) * | 2012-08-01 | 2014-02-20 | Mitsubishi Heavy Ind Ltd | Inspection support system and method |
JP2015141039A (en) * | 2014-01-27 | 2015-08-03 | 矢崎総業株式会社 | Pointer-indicated value calculating method |
JP2018106522A (en) * | 2016-12-27 | 2018-07-05 | 株式会社日立製作所 | Automatic inspection system and automatic inspection method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7402458B1 (en) * | 2023-06-26 | 2023-12-21 | 株式会社ルクレ | Construction record photo management device |
Also Published As
Publication number | Publication date |
---|---|
JP7242795B1 (en) | 2023-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102750079B (en) | Terminal unit and object control method | |
ES2811800T3 (en) | Image processing device, image processing method and program | |
CN103733229A (en) | Information processing device, information processing method, and program | |
JP6334927B2 (en) | Additional information display device and additional information display program | |
CN110032964A (en) | Image processing method, method, apparatus, equipment and the storage medium for identifying visual angle | |
JP6527386B2 (en) | Pointer value reader and pointer value reading program | |
JP7242795B1 (en) | Information processing device, information processing method, and computer program | |
CN107492126A (en) | Calibration method, device, system, medium and the equipment of camera central shaft | |
US20240037769A1 (en) | Body Measurement Prediction from Depth Images and Associated Methods and Systems | |
JP2011237552A (en) | Map reading device, map reading program and map reading method | |
JP7434257B2 (en) | Information processing equipment and programs | |
JP2005032028A (en) | Method for reading indicator value of indicator needle rotating meter, device for reading indicator value of indicator needle rotating meter, and program for reading meter indicator value | |
JP2023010338A (en) | Information processing apparatus and computer program | |
JP2002314994A (en) | System and method for estimating camera position | |
JP7287408B2 (en) | Display method, information processing device, and program | |
JP2023111319A (en) | Program, information processing apparatus, and information processing method | |
JP2011039130A (en) | Linked display device, linked display method, and program | |
CN113272626B (en) | Concentric distance ring and distance visualization | |
JP6957679B1 (en) | Information processing equipment and computer programs | |
CN114660927A (en) | Control method and device of photoelectric pod | |
CN111506280A (en) | Graphical user interface for indicating off-screen points of interest | |
JP2005267365A (en) | Method for reading pointer value of pointer rotary meter, device for reading pointer value of pointer rotary meter and program for reading meter pointer value | |
JP2006277608A (en) | Meter recognition system, meter recognition method and meter recognition program | |
JP7411534B2 (en) | Instrument reading system, instrument reading program | |
JP2019175065A (en) | Maintenance support system, image display method, and image management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7242795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |