JP2020191086A - 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム - Google Patents

計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム Download PDF

Info

Publication number
JP2020191086A
JP2020191086A JP2020086227A JP2020086227A JP2020191086A JP 2020191086 A JP2020191086 A JP 2020191086A JP 2020086227 A JP2020086227 A JP 2020086227A JP 2020086227 A JP2020086227 A JP 2020086227A JP 2020191086 A JP2020191086 A JP 2020191086A
Authority
JP
Japan
Prior art keywords
data
unit
image
analysis
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020086227A
Other languages
English (en)
Other versions
JP7507600B2 (ja
Inventor
孝海 小西
Takami Konishi
孝海 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASIS CORP
Original Assignee
BASIS CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASIS CORP filed Critical BASIS CORP
Publication of JP2020191086A publication Critical patent/JP2020191086A/ja
Application granted granted Critical
Publication of JP7507600B2 publication Critical patent/JP7507600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】機器に表示された文字情報の確認又は入力作業にかかる工数を軽減する計量メータ・設置機器情報管理システムを提供する。【解決手段】計量メータ・設置機器情報管理システム1は、機器に表示された文字情報を撮影し、撮影した画像データを送信する携帯端末10に通信回線6により接続する管理サーバ7を備える計量メータ・設置機器情報管理システムであって、管理サーバは、通信回線を介して携帯端末から送信された画像データを受信する通信部と、通信部により受信した画像データと入力データとを記憶する記憶部25と、記憶部に記憶された画像データから文字情報を、機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取る画像解析部55と、記憶部に記憶された入力データと画像解析部により読み取られた解析データとを比較して異なる場合に、比較結果を出力する比較検証部45と、を備える。【選択図】図2

Description

本発明は、計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムに係り、特に、建物に設備された機器から文字情報を読み取り管理する計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムに関する。
電気、ガス、水道、通信といったインフラに関する事業では、資源の使用量に対して課金するシステムとなっており、資源の使用量は計量メータで管理されている。通常の検針方法では、まず、事業者から検針業務を委託された検針者(作業者)が現地に行き、目視で計量メータの値(指針値)を確認する。検針者は、計量メータの指針値や計器番号などの検針データと、カメラ付きの携帯端末で撮影した計量メータの画像を携帯端末でクラウド上のデータ管理サーバにアップロードする。検針データは、検針者の目視による確認と手入力により入力されるため、誤っている場合がある。そのため、管理者はデータ管理サーバにアップロードされた検針データに誤りがないかを確認するため、管理者用端末でデータ管理サーバにアクセスし、検針者によりアップロードされた計量メータの画像と検針データとをすべて比較して再確認する。日々データ管理サーバにアップロードされるデータは多量であるため、従来の検針方法及び検針システムでは管理者による確認作業に工数がかかるという課題があった。
また、計量メータやそれに付属する通信機器は、検満時や故障時等の交換作業の観点から製造番号等の個体識別番号で管理されている。個体識別番号を管理する場合、事業者から通信機器の設置・交換を委託された作業者が現地に行き、設置・交換した後、通信機器の製造番号(個体識別番号)等の個体識別データと通信機器の画像を携帯端末によりクラウド上のデータ管理サーバにアップロードされる。従来、個体識別データは作業者の目視による確認と手入力により入力されるため、入力されたデータが誤っている場合があった。また、通信機器の個体識別データと通信機器の画像の値が一致していたとしても、委託された計器番号とは異なる計量メータに誤って通信機器を設置してしまう場合があった。そのため、管理者はデータ管理サーバにアップロードされた個体識別データに誤りがないかを確認するため、管理用端末でデータ管理サーバにアクセスし、作業者によりアップロードされた個体識別データの画像と個体識別データとを全て比較して再確認していた。なお、通信機器の個体識別データは、作業員が入力する場合と管理者がクラウド上のデータ管理サーバにアップロードされた通信機器の画像をもとに入力する場合とがある。上述の検針システムと同様、日々データ管理サーバにアップロードされるデータは多量であるため、従来の通信機器の管理方法及び管理システムでは管理者による入力作業及び確認作業に工数がかかるという課題があった。
特許文献1に開示された検針方法及び検針システムは、検針コストを削減すると共に、需要家による計量メータの数値の報告間違いの発見を容易化又は報告間違いの発生を防止することを目的とするものである。この検針システムは、計量メータの表示部をカメラで撮影して得られる画像データを管理センタに送信し、管理センタで送信された画像データを数値データ変換手段により数値データへ変換して計量データを検針値(指針値)として格納する機能を有する。
特開2009−37279号公報
計量メータの指針値又は通信機器の個体識別番号等を携帯端末等のカメラで撮影して画像データを得る場合、計量メータ又は通信機器の設置位置によっては計量メータ又は通信機器を正面から撮影できない場合がある。また、作業者が撮影するため、常に指針値又は個体識別番号等が同じ位置、同じ大きさになるよう撮影することは難しく、また、指針値又は個体識別番号等が傾いて撮影される場合もある。指針値や計器番号(検針データ)又は個体識別番号が傾いた画像データを数値データへ変換すると誤変換を起こし、誤った数値が登録される可能性があった。そのため、依然として画像データと登録されたデータとを管理者が目視により比較して確認する作業が必要であった。
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、計量メータ及び通信機器等の機器に表示された検針データ及び個体識別番号等の文字情報の確認作業にかかる工数を軽減する計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムを提供することである。また、別の目的では、画像データから文字情報を精度よく読み取る計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムを提供する。
前記課題は、本発明の計量メータ・設置機器情報管理システムによれば、機器に表示された文字情報を撮影し、撮影した画像データを送信する携帯端末に通信回線により接続する管理サーバを備える計量メータ・設置機器情報管理システムであって、前記管理サーバは、前記通信回線を介して前記携帯端末から送信された前記画像データを受信する通信部と、該通信部により受信した前記画像データと入力データとを記憶する記憶部と、該記憶部に記憶された前記画像データから前記文字情報を、機械学習による物体検出技術と光学文字認識技術を用いて解析し、解析データとして読み取る画像解析部と、前記記憶部に記憶された前記入力データと前記画像解析部により読み取られた前記解析データとを比較して異なる場合に、比較結果を出力する比較検証部と、を備えることにより解決される。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信するとよい。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コードを解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶するとよい。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記識別コードは、一次元コード又は二次元コードであるとよい。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力するとよい。
以上のように構成された本発明の計量メータ・設置機器情報管理システムでは、管理サーバが、機器を撮影した画像データから文字情報を解析データとして読み取り、入力データとを比較して異なる場合に、比較結果を出力する。管理者は比較結果を参照して不一致なデータだけを確認・修正を行えばよく、機器の文字情報の確認作業にかかる工数を軽減させることができる。また、機械学習による物体検出技術を用いて画像データを解析するため、携帯端末で作業者が撮影した画像からでも、高い精度で文字情報を読み取ることができる。そのため解析の間違いが減少することから、入力データと解析データの一致率が高くなり、管理者による確認作業にかかる工数を軽減することが可能になる。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記画像解析部は、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるとよい。
上記の構成により、画像解析部は、検針データが画像データの任意の位置にあっても、物体検出技術によりその位置を特定することができるため、より高い精度で文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記画像解析部は、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるとよい。
上記の構成により、画像解析部は、画像データをより高い解像度の画像データに変換することで、低い解像度で撮影された場合や、画像にノイズが含まれている場合であってもノイズが低減されるため、例えば領域をより高い精度で抽出して文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記画像解析部は、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるとよい。
上記の構成により、画像解析部は、超解像技術を用いてより高い解像度の画像データに変換した後、値を読み取るため、低い解像度で撮影された場合や、画像にノイズが含まれている場合であってもノイズが低減されるため、より高い精度で文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであるとよい。
また、本発明の計量メータ・設置機器情報管理システムについて好適な構成を述べると、前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであるとよい。
また、前述した課題は、本発明の計量メータ・設置機器情報管理方法によれば、機器に表示された文字情報を撮影して、撮影した画像データを送信する携帯端末に通信回線により接続されている管理サーバであって、通信部と記憶部と画像解析部と比較検証部とを有する管理サーバを用いた前記の計量メータ・設置機器情報管理方法であって、前記管理サーバの前記通信部が、前記通信回線を介して前記携帯端末から送信された前記画像データを受信し、前記管理サーバの前記記憶部が前記画像データと入力データとを記憶するデータ登録ステップと、前記管理サーバの前記画像解析部が、前記記憶部に記憶された前記画像データから、前記文字情報を機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取るデータ解析ステップと、前記管理サーバの前記比較検証部が、前記記憶部に記憶された前記入力データと前記画像解析部により解析された前記解析データとを比較して、異なる場合に比較結果を出力する、比較検証ステップと、管理者が前記比較結果を参照して、前記管理サーバの前記記憶部に記憶された前記入力データを修正する修正ステップと、を含むことにより解決される。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記データ登録ステップにて前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信するとよい。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、前記データ解析ステップにおいて、前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コード解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶するとよい。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記識別コードは、一次元コード又は二次元コードであるとよい。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記比較検証ステップにおいて、前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力するとよい。
上記の計量メータ・設置機器情報管理方法によれば、機器を撮影した画像データから文字情報を解析データとして読み取り、解析データと入力データとを比較して異なる場合に、比較結果を出力する。管理者は比較結果を参照して不一致なデータだけを確認・修正を行えばよく、機器の文字情報の確認作業にかかる工数を軽減することができる。また、機械学習による物体検出技術を用いて画像データを解析するため、携帯端末で作業者が撮影した画像からでも、高い精度で文字情報を読み取ることができる。解析の間違いが減少することから、入力データと解析データの一致率が高くなり、管理者による確認作業にかかる工数を軽減することが可能になる。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記データ解析ステップは、前記画像解析部が、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部は、文字情報が画像データの任意の位置にあっても、物体検出技術によりその位置を特定することができるため、より高い精度で文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記データ解析ステップは、前記画像解析部が、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部が画像データをより高い解像度の画像データに変換することで、低い解像度で撮影された場合や、画像にノイズが含まれている場合であってもノイズが低減されるため、例えば領域をより高い精度で抽出して文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記データ解析ステップは、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部は、超解像技術を用いてより高い解像度の画像データに変換した後、値を読み取るため、低い解像度で撮影された場合や、画像にノイズが含まれている場合であってもノイズが低減されるため、より高い精度で文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであるとよい。
また、本発明の計量メータ・設置機器情報管理方法について好適な構成を述べると、前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであるとよい。
また、前述した課題は、本発明の計量メータ・設置機器情報管理プログラムによれば、機器に表示された文字情報を撮影して、撮影した画像データを送信する携帯端末に通信回線により接続されている管理サーバであって、通信部と記憶部と画像解析部と比較検証部とを有する管理サーバによってプログラムとして実行される前記機器の計量メータ・設置機器情報管理プログラムであって、前記管理サーバの前記通信部が、前記通信回線を介して前記携帯端末から送信された前記画像データを受信し、前記管理サーバの前記記憶部が前記画像データと入力データとを記憶するデータ登録ステップと、前記管理サーバの前記画像解析部が、前記記憶部に記憶された前記画像データから、前記文字情報を機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取るデータ解析ステップと、前記管理サーバの前記比較検証部が、前記記憶部に記憶された前記入力データと前記画像解析部により解析された前記解析データとを比較して、異なる場合に比較結果を出力する、比較検証ステップと、を含むことにより解決される。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記データ登録ステップにて前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信するとよい。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、前記データ解析ステップにおいて、前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コード解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶するとよい。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記識別コードは、一次元コード又は二次元コードであるとよい。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記比較検証ステップにおいて、前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力するとよい。
上記の計量メータ・設置機器情報管理プログラムによれば、機器を撮影した画像データから文字情報を解析データとして読み取り、解析データと作業者が入力した入力データとを比較して異なる場合に、管理サーバが比較結果を出力する。管理者は比較結果を参照して不一致なデータだけを確認・修正を行えばよく、機器の文字情報の確認作業にかかる工数を軽減することができる。また、機械学習による物体検出技術を用いて画像データを解析するため、携帯端末で作業者が撮影した画像からでも、高い精度で文字情報を読み取ることができる。解析の間違いが減少することから、入力データと解析データの一致率が高くなり、管理者による確認作業にかかる工数を軽減することが可能になる。
また、作業者又は識別コード部によるデータ入力を実施していない場合は、画像解析部が機器を撮影した画像データから文字データを解析データとして読み取り、それらの結果を出力することができる。そのため、管理者による入力作業にかかる工数も軽減することが可能になる。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記データ解析ステップは、前記画像解析部が、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部は、文字情報が画像データの任意の位置にあっても、物体検出技術によりその位置を特定することができるため、より高い精度で検針データを読み取ることができる。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記データ解析ステップは、前記画像解析部が、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部が画像データをより高い解像度の画像データに変換することで、低い解像度で撮影された場合や、画像にノイズが含まれている場合であってもノイズが低減されるため、例えば領域をより高い精度で抽出して読み取ることができる。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記データ解析ステップは、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むとよい。
上記の構成により、画像解析部は、超解像技術を用いてより高い解像度の画像データに変換した後、値を読み取るため、低い解像度で撮影された場合や、画像にノイズが含まれている場合であっても、ノイズが低減されるため、より高い精度で文字情報を読み取ることができる。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであるとよい。
また、本発明の計量メータ・設置機器情報管理プログラムについて好適な構成を述べると、前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであるとよい。
本発明の計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムによれば、作業者が入力するか又は識別コードから読み取った文字情報の入力データと画像データから解析した読み取った解析データとを比較して不一致な場合のみ、管理者は確認するため、機器の文字情報の確認作業にかかる工数を軽減することが可能になる。また、画像データから文字情報を読み取る際、物体検出技術を用いて画像データを解析するため、高い精度で文字情報を読み取ることができ、解析ミスにより入力データと不一致になる場合が減少し、管理者の確認作業にかかる工数を軽減することが可能となる。また、作業者又は識別コード読取部のコード読取部によるデータ入力を実施していない場合は、画像解析部が機器を撮影した画像データから文字情報を解析データとして読み取り、それらの結果を出力することができる。そのため、管理者による入力作業にかかる工数も軽減することが可能になる。
また、従来の光学文字認識技術(OCR)だけでは、画像データから読める文字と読めない文字があった。本発明の計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラムでは、物体検出技術等のAI技術とOCRとを併用することにより、画像や読み取る値毎にAI技術とOCRの精度の高低を事前に割り出し、値によって、より精度の高い方の値を選択・組み合わせている。値に応じてどちらを優先するか決定し補完し合うことにより、より高い精度で文字情報を読み取ることを実現している。
第一実施形態に係る検針システムの構成を示す概念図である。 第一実施形態に係る検針システムを構成する各装置の基本構成を示すブロック図である。 検針システム・個体識別番号記録・誤設置防止システムを用いてデータを登録する処理の流れ図である。 計量メータを撮影した画像データから数値を読み取る場合の一例を示す図である。 計量メータを拡大して撮影した画像データから数値を読み取る場合の一例を示す図であり、(a)は画像データ全体を示す図、(b)は指針値を示す第一領域を抽出した状態を示す図、(c)は計器番号を示す第二領域を抽出した状態を示す図である。 計量メータが傾斜して撮影された画像から数値を読み取る場合の一例を示す図であり、(a)は画像データ全体を示す図、(b)は指針値を示す第一領域を抽出した状態を示す図、(c)は計器番号を示す第二領域を抽出した状態を示す図である。 画像解析サーバによる画像解析処理の流れ図である。 第二実施形態に係る個体識別番号記録・誤設置防止システムの構成を示す概念図である。 第二実施形態に係る個体識別番号記録・誤設置防止システムを構成する各装置の基本構成を示すブロック図である。 通信機器を撮影した画像データから数値を読み取る場合の一例を示す図であり、(a)は画像データ全体を示す図、(b)は個体識別番号を示す領域を抽出した状態を示す図であり、(c)は一次元コードを示す領域を抽出・拡大した状態を示す図、 通信機器を撮影した画像データから数値を読み取る場合の一例を示す図であり、(a)は画像データ全体を示す図、(b)は二次元コードを示す領域を抽出・拡大した状態を示す図である。 画像解析サーバによる画像解析処理の流れ図である。 画像解析サーバによる識別コード画像抽出処理の流れ図である。 識別コード読取サーバによるコード読取処理の流れ図である。 バッチサーバによる比較検証処理の流れ図である。 バッチサーバによる検証処理の流れ図である。
以下、本発明の実施形態(以下、本実施形態)について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
また、以下の説明において本発明の計量メータ・設置機器情報管理システム及び計量メータ・設置機器情報管理方法の第一実施形態である検針システム及び検針方法並びに第二実施形態である個体識別番号記録・誤設置防止システム及び個体識別番号記録・誤設置防止方法について説明するが、かかる検針方法及び個体識別番号記録・誤設置防止方法をコンピュータにより実行可能なプログラムとして実施するようにしても良いし、あるいは、該プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。
<<第一実施形態>>
第一実施形態である検針システム1について、図1から図7を用いて説明する。検針システム1は、イントラネット2に構築された、管理者用端末30と、バッチサーバ40と、画像解析サーバ50とを備える。管理者用端末30と、バッチサーバ40、画像解析サーバ50は、イントラネット2のゲートウェイ3を介して、インターネット4に接続される。
検針システム1は、検針データ等を管理するデータ管理サーバ20を備え、データ管理サーバ20は、計量メータ5を検針する検針者(作業者)が用いる携帯端末10にインターネット4を介して接続している。データ管理サーバ20と、管理者用端末30、バッチサーバ40及び画像解析サーバ50はインターネット4を介して接続されている。イントラネット2及びインターネット4は通信回線6に対応する。検針システム1はイントラネット2又はインターネット4のうちいずれか一方により構築されてもよい。また、データ管理サーバ20、管理者用端末30、バッチサーバ40、画像解析サーバ50をまとめて管理サーバ群7(管理サーバの一例)と称する。
ゲートウェイ3には、NAPT(Network Address Port Translation)、プロキシ、ファイヤーウォール等、イントラネット2からインターネット4に接続するために必要な機器が含まれる。なお、画像解析サーバ50とバッチサーバ40とは一台のコンピュータ上に構築されてもよい。また、本実施形態の検針システム1では、画像解析サーバ50とバッチサーバ40とがイントラネット2に設けられているが、管理者用端末30、バッチサーバ40及び画像解析サーバ50は、データ管理サーバ20と同一のコンピュータ上に構築されてもよい。すなわち、管理サーバ群7は一台のコンピュータ上に管理サーバとして構築されてもよく、ネットワーク構成については、図1に示す構成に限定されるものではない。
携帯端末10は、検針者(作業者)が使用する通信可能な携帯電話・スマートフォン・タブレット端末等であり、計量メータ5を撮影する撮像部としてのカメラ16を備える。携帯端末10はノートパソコンとデジタルカメラとを組み合わせたものであってもよい。また、携帯端末10は、データ管理サーバ20と通信し、撮像した画像データを送信するための通信処理部14と、検針者が検針データ27(例えば指針値及び計器番号を含む)を入力する入力部12と、カメラ16により撮影した画像データ(計器画像26)を表示すると共に、検針データ27を入力する際に検針データ27を表示する画面表示部15と、制御部11と、を備える。携帯端末10は、具体的にはCPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(図示しない)、通信ネットワークに接続されるネットワークインターフェース等(通信処理部14)を有している。CPUは制御部11に該当し、制御部11は、入力部12、通信処理部14、画面表示部15及びカメラ16を制御する。入力部12はテンキー、キーボード、タッチパネル又はマウスであり、検針者が検針データを入力・修正したり、計量メータの画像に記載されておらず読み取ることができない情報、例えば顧客の名前及び電話番号等を入力したりする際にも使用される。なお、携帯端末10は一台に限らず複数用意され、複数の検針者が使用するが、ここでは一台の携帯端末10を使用する場合について説明する。
データ管理サーバ20は、複数の携帯端末10から日々受信する計量メータの検針データ及び計量メータの画像データ等を管理するサーバである。データ管理サーバ20は、制御部21と、携帯端末10、管理者用端末30及びバッチサーバ40とデータを送受信するための通信処理部24(通信部)と、を備える。また、携帯端末10から送信され検針データ及び画像データ等を格納するデータベース25(記憶部)と、データベース25からデータを抽出したり、データベース25に格納されたデータを編集したりするための入出力処理部22と、を備える。データ管理サーバ20は、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(データベース25が記憶される)を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部24)等を有している。制御部21が通信処理部24やデータベース25等を制御する。
データベース25には、検針者が計量メータを撮影した画像データである計器画像26(画像データ)、検針者が携帯端末10により手入力した検針データ27(入力データ)、顧客の番号等の顧客情報28、検針を行った検針者(作業者)の情報である作業者情報29が格納されていて、それぞれの情報がテーブルにより管理されている。
管理者用端末30は、制御部31、入力部32、出力部33、通信処理部34(通信部)及び画像表示部35から構成される。通信処理部34は、データ管理サーバ20及びバッチサーバ40と通信を行う。画像表示部35は、管理者がデータ管理サーバ20のデータやバッチサーバ40上の結果ファイル46を確認するために、それらのデータを表示するためのモニター装置である。管理者は、バッチサーバ40に保存された結果ファイル46のデータがあれば入力部32を用いて、データ管理サーバ20に登録されている検針データ27の訂正を行う。出力部33は、例えばデータ管理サーバ20から送信された、顧客情報28や作業者情報29を帳票データとしてファイルに出力する。管理者用端末30は、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(図示しない)を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部34)を有している。制御部31はCPUであり、入力部32、出力部33、通信処理部34及び画像表示部35を制御する。
バッチサーバ40は、制御部41、入力部42、出力部43、通信処理部44(通信部)、比較検証部45とから構成される。バッチサーバ40も、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部44)等を有している。制御部41が通信処理部44や比較検証部45を制御する。比較検証部45は例えばソフトウェアにより実現され制御部41であるCPUにより実行される。
通信処理部44は、画像解析サーバ50、データ管理サーバ20及び管理者用端末30と通信を行う。入力部42は、データ管理サーバ20からデータを抽出する範囲等を管理者用端末30から受け付ける。比較検証部45は、画像解析サーバ50から受信した解析結果を比較検証する。出力部43は、データ管理サーバ20から取得した検針データ27と計器画像26の画像とを画像解析サーバ50に送り、比較検証部45が比較検証した結果を結果ファイル46として出力する。出力部43により出力された結果ファイル46は、管理者用端末30から参照される。
画像解析サーバ50は、検針者が撮影した計量メータの画像データ(計器画像26)を解析して、指針値及び計器番号等を読み取りテキストデータ化する装置である。画像解析サーバ50は、制御部51と、通信処理部54(通信部)と、画像解析部55とを備える。通信処理部54は、バッチサーバ40と通信し、バッチサーバ40から計量メータの画像データを受信する。また、画像解析部55により解析した結果をバッチサーバ40に送信する。画像解析部55は、受信した画像データを解析し、指針値及び計器番号等を読み取る。本実施形態の画像解析部55は、機械学習による物体検出技術及び超解像技術並びにOCR(光学文字認識技術)を適用して、画像データを解析し、指針値及び計器番号等を読み取る。
画像解析サーバ50は、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(図示しない)を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部54)を有している。制御部51はCPUに該当し、通信処理部54及び画像解析部55を制御する。画像解析部55はソフトウェアにより実現されCPU、又はGPU(Graphics Processing Unit)により実行されるが、ハードウェアにより実現されてもよい。
本実施形態の検針システム1で用いられる通信回線6は、図1に示すようにインターネット4とイントラネット2とを組み合わせて構築されている。上述したように、本実施形態では、管理者用端末30、バッチサーバ40及び画像解析サーバ50をイントラネット2に配置し、携帯端末10、データ管理サーバ20はインターネット4に接続している。これは一例であり、ネットワーク構成はこれに限定されず、他の構成、例えば管理者用端末30をインターネット4に直接接続してもよい。
次に図3を用いて、データ管理サーバ20に携帯端末10から送信されたデータを再確認する際の、管理者側の処理について説明する。
なお、あらかじめデータ管理サーバ20には、検針者が携帯端末10を用いて計量メータに表示された指針値及び計器番号(検針データ27)を送信するデータ送信処理と、撮影された画像データ(計器画像26)と検針者により入力された検針データ27をデータベース25(記憶部)に登録する、すなわちデータベース25が検針データ27と画像データを記憶するデータ登録処理(データ登録ステップ)と、は実施されているものとする。
管理者は、入力部32を介して管理者用端末30にバッチサーバ40にデータを処理(例えば画像解析)させる期間である開始日と終了日を検索条件として指定する(S101)。管理者用端末30は指定された検索条件をバッチサーバ40に送信する(S102)。管理者はバッチサーバ40が結果ファイル46を出力(S116)するまで待機する。
バッチサーバ40は、管理者用端末30から検索条件を受信する(S103)。データ管理サーバ20に対して、検索条件に該当するデータ(画像データ及び検針者が手入力した検針データ)の取得要求を行う(S104)。
データ管理サーバ20はバッチサーバ40からデータ取得要求を受信すると(S105)、データベース25から検索条件に該当するデータを検索する(S106)。そして、データ管理サーバ20は、検索条件に該当するデータをバッチサーバ40に送信する(S107)。送信するデータには、計量メータ5を撮影した計器画像26、検針データ27、顧客情報28、作業者情報29のテキストデータが含まれる。
バッチサーバ40は、データ管理サーバ20からデータを受信する(S108)。そしてバッチサーバ40は受信したデータをメモリに記憶するか、又はファイルとして保存する(S109)。次に、バッチサーバ40は、記憶したデータ又はファイルに含まれる計量メータの画像データ(計器画像26)を、画像解析サーバ50に送信する(S110)。
画像解析サーバ50はバッチサーバ40から計器画像26を受信する(S111)。次に、画像解析部55が、計器画像26から計量メータの指針値や計器番号(検針データ27)を解析して、テキスト化する(S112、データ解析ステップ)。解析する際、画像解析サーバ50は、機械学習による物体検出技術及び超解像技術を適用して、計器画像26を解析する。画像解析サーバ50は、テキスト化したデータをバッチサーバ40に送信する(S113)。
バッチサーバ40は画像解析サーバ50から送信されたテキストデータを受信する(S114)。そして、バッチサーバ40は、比較検証部45により、S109で保存したテキストデータ(検針者により手入力された入力データ)とS114で受信したデータ(解析データ)とを比較検証する(S115、比較検証ステップ)。比較検証した結果、検針者が入力した入力データと、画像解析サーバ50による解析データが異なる場合、結果ファイル46(比較結果)に異常フラグを立て、保存する。検針者が入力した入力データと解析データとが同じ場合は結果ファイル46にフラグを立てずに保存する(S116)。
管理者は、管理者用端末30により、バッチサーバ40に保存された結果ファイル46を取得する(S117)。管理者は、管理者用端末30を用いて、異常フラグが立ったデータと同じデータをデータ管理サーバ20から取得する。管理者は目視により、結果ファイル46とデータ管理サーバ20から取得したデータとを比較して、データの確認を行う(S118)。比較した結果、検針者が入力した入力データに誤りがあった場合、管理者は、データ管理サーバ20に格納されている、誤りがあると確認された計量メータの検針データ27の修正を行う。管理者の指示により管理者用端末30はデータ変更要求をデータ管理サーバ20に送信する(S119、修正ステップ)。
データ管理サーバ20は管理者用端末30からのデータ変更要求を受信(S120)した後、データベース25を変更する(S121)。
従来、管理者は、検針者が入力したすべてのデータと撮影した画像データとを比較して確認していたが、検針システム1では、管理者は結果ファイル46に異常フラグが立てられた計量メータの検針データ27のみを画像データ(計器画像26)と比較して検証すればよい。そのため、確認に必要な工程を大幅に削減することができる。
次に、計量メータを撮影した画像データ(計器画像26)から指針値及び計器番号を読み取る方法について説明する。従来、OCR(光学的文字認識装置)を用いて画像が含まれる線の形状等のパターンを解析して、文字や数字、記号に相当するものを発見して文字データとして出力することが行われている。図4に計測メータを撮影した画像データの一例を示す。画像フレーム60内に計量メータ5の画像が含まれる。OCRでは、図4に示すように画像フレーム60の左上端を原点(0,0)とし、横軸をX座標、縦軸をY座標とすることが多い。点線四角枠で示す第一領域61(領域の一例)は、計量メータ5の指針値を表示する領域であり、点線四角枠で示す第二領域62(領域の一例)は、計器番号を表示する領域である。画像データからテキストデータを読み取る場合、従来のOCRでは、指針値の第一領域61の矩形座標(左座標61L、上側座標61T、右座標61R、底辺座標61B)、計器番号を示す第二領域62の矩形座標(左座標62L、上側座標62T、右座標62R、底辺座標62B)の位置は固定されている必要があった。
そのため、検針者は、第一領域61に指針値が収まるように、また第二領域62に計器番号が収まるように撮影しなければならなかった。しかしながら、計量メータ5が設置された場所によっては障害物によって正面から撮影することが困難である場合がある。また、手でもって撮影するスマートフォン等の携帯端末10では、計量メータ5を常に同じ位置、大きさで撮影することは困難である。本実施形態の検針システム1おいても従来のOCRを用いて指針値及び計器番号の文字情報の読み取りを行うものの上記の課題により正確に読み取れない場合がった。
本実施形態の画像解析サーバ50では、計量メータ5の指針値及び計器番号の読み取りに、機械学習(ディープラーニング)による物体検出技術及び超解像技術並びにOCRを使用する。
まず、物体検出技術について説明する。物体検出技術(物体検出アルゴリズムとも呼ばれる)とは、画像中に映っている物体、例えば歩行者や車、バイクなどが画像中のどこに映っているかを予測するものである。物体検出を行うAI(人工知能)を備えたサーバに対して画像を与えると、検出したい物体のカテゴリ(歩行者、車、バイクなど)と物体が写っている座標を得ることができる。物体検出を行う物体検出技術としては、SSD(Single Shot Multibox Detector)、YOLO(You Only Look Once)等がある。本発明では、計量メータ5の指針値及び計器番号などを物体の一つとして画像解析サーバ50に搭載されたAIに学習させる。
次に超解像技術について説明する。超解像技術(超解像アルゴリズム、スーパーレゾリューション(SR)とも呼ばれる)とは、小さな画像を機械学習により高解像度の画像に変換する技術である。小さな画像をバイリニア法などの一般的な画像拡大アルゴリズムを使用した場合、拡大した画像は荒い画像になってしまう。また、計量メータ5の撮影時のブレやガラスの傷などのノイズが入ることもある。超解像技術を使用して画像を拡大すると、小さく撮影された計器番号の第二領域62でも精細な画像でかつ、ノイズが除去された高精細な画像に拡大することができる。本実施形態の画像解析サーバ50では、計量メータ5を撮影した画像データを超解像技術で拡大し、より高精細(高解像度)となった画像データから、小さく映る傾向にある指針値や計器番号の第一領域61及び第二領域62を特定し、OCRにより数値を読み取ることにより精度の向上を図る。なお、計量メータ5を撮影した画像データの解像度が十分に高く、ノイズも少ない場合は、超解像技術を用いることなく読み取っても構わない。
本実施形態では、物体検出技術を用いることで、従来のOCRのみで読み取る際に問題であった、読み取り位置を固定しなければならない問題を解消した。超解像技術及び物体検出技術により画像解析サーバ50は、指針値の第一領域61と計器番号の第二領域62の矩形座標(左座標61L,62L、上側座標61T,62T、右座標61R,62R、底辺座標61B,62B)を探し出すことができるため、画像フレーム60内で計量メータ5の大きさや撮影位置が異なっていたり、多少の傾きがあったりしても、指針値や計器番号が示された位置を特定することができる。
画像解析サーバ50は、さらに指針値の第一領域61及び計器番号の第二領域62を特定した後、数値や記号の位置(61−1〜61−10,62−1〜62−10)を特定する。物体検出技術及び超解像技術により指針値及び計器番号の大きさ又は向きが画像毎に異なっていても、読み出す数値の位置を物体検出技術及び超解像技術により特定して、物体検出技術又はOCRで読み取るため、従来のOCRのみでは読み取れなかった数値を読み取ることができる。
図5(a)は画像解析サーバ50により読み取ることができる計量メータ5の撮影画像の一例である。図5(a)の計量メータ5は、図4に示された計量メータ5と比較して大きく撮影されている。具体的には画像フレーム60に計量メータ5の上辺と下辺が一致するよう撮影されている。画像解析サーバ50は、計量メータ5の指針値の第一領域61と計器番号の第二領域62とを拡大した状態で捉える。そして、図5(b)、図5(c)に示すように捉えた指針値の第一領域61と計器番号の第二領域62とを切り出し文字や数値を読み取る。
なお、図5(a)では、計量メータ5が拡大された画像から、数値を読み取っていたが、計量メータ5が縮小された画像からも同様に、読み取ることが可能である。
図6(a)は画像解析サーバ50により読み取ることができる計量メータ5の撮影画像の別例である。図6(a)では、計量メータ5は画像フレーム60に対して傾いた状態で撮影されている。画像解析サーバ50に搭載されたAIにより、傾いた計量メータの画像でも、計量メータの指針値の第一領域61と計器番号の第二領域62を捉え、捉えた指針値の第一領域61と計器番号の第二領域62を特定しながらその中の数値を読むことができる。
また、画像解析サーバ50は、計量メータ5が拡大かつ傾斜した状態、又は、縮小かつ傾斜した状態で撮影されても、捉えた指針値の第一領域61と計器番号の第二領域62を特定しながらその中の数値を読むことができる。
図7を用いて、画像解析サーバ50が画像データから指針値及び計器番号を読み取る方法について説明する。図7は、画像解析サーバ50で指針値等を読み取る流れ図である。画像解析サーバ50はバッチサーバ40から計量メータ5の画像データ(計器画像26)を受信する(S201)。画像データを受信すると、画像解析サーバ50の画像解析部55が受信した画像データを拡大する(S202)。画像データを拡大するのは、受信したままの状態の画像の場合、計量メータが小さく、画像データを拡大した後に読み取った方が指針値や計器番号の領域の読み取り精度が高くなるからである。この拡大時に、一般的な画像拡大法ではなく、機械学習による超解像技術(SR)を用いて画像を拡大する。通常、指針値や計器番号はガラスに覆われていることが多く、ガラス面の傷や光の当たり方によって画像データにノイズが入りやすい。SRを用いて画像データを高精細にすることで指針値や計器番号の領域を読み取りやすくする。次に、画像を拡大した後、画像解析部55が物体検出技術(物体検出アルゴリズム)を用いて、指針値の第一領域61及び計器番号の第二領域62を特定する(S203)。
指針値を特定した際の第一領域61を図5(b)及び図6(b)に示す。計器番号を特定した際の第二領域62を図5(c)及び図6(c)に示す。
第一領域61及び第二領域62を特定した後、画像解析サーバ50はまず、指針値を示す第一領域61の画像データだけを切り出す(S204)。次に、第一領域61の画像データを切り出した後、画像解析部55は指針値の位置を読み取る(S205)。次に、OCRと物体検出技術とを用いて指針値の値を読み取る(S206)
次に画像解析部55は、計器番号を示す第二領域62の画像データを切り出す(S207)。次に、画像解析部55は、切り出した計器番号の画像データから計器番号の位置を読み取る(S208)。次に、OCRと物体検出技術とを用いて計器番号の値を読み取る。画像解析部55は、OCRと物体検出技術とで読み取った検針値及び計器番号の値から精度の高い方の値を抽出・組み合わせたものを、バッチサーバ40に送信する(S210)。
なお、本実施形態では、画像解析部55は、超解像技術を用いて画像データを拡大した後、物体検出技術を用いて指針値や計器番号の領域を特定して、指針値及び計器番号を読み取っていた。これは一例であり、画像解析部55は、受け取った画像データから物体検出技術を用いて、指針値や計器番号の領域を特定した後、特定された領域の画像データを、超解像技術を用いて拡大し、拡大した画像データから指針値及び計器番号を読み取ってもよい。先に物体検出技術により領域が特定されることから、超解像技術を適用する画像データの範囲が削減されるため処理時間を短くすることができる。
画像解析サーバ50の画像解析部55は、物体検出技術と超解像技術とを用いることで、検針者が携帯端末10で撮影した計量メータ5の画像データからでも、高精度で指針値及び計器番号の数値を読み取ることができる。読み取りミスにより、管理者が再度確認するデータの数が減少することから、確認作業にかかる工数を軽減することができる。
<<第二実施形態>>
第二実施形態である個体識別番号記録・誤設置防止システム1Aについて、図8から図16を用いて説明する。個体識別番号記録・誤設置防止システム1Aは、例えば計量メータ5に通信機器8を設置又は交換した際に、予め決められた計量メータ等の設置対象に通信機器8が正しく取り付けられたか否かを管理するためのシステムである。なお、個体識別番号記録・誤設置防止システム1Aは、第一実施形態の検針システム1と同様、本発明の計量メータ・設置機器情報管理システムの一実施形態であり、検針システム1と同様の機能を有する構成要素については同じ符号を付して、その詳細な説明を省略する場合がある。
個体識別番号記録・誤設置防止システム1Aは、イントラネット2に構築された、管理者用端末30と、バッチサーバ40と、画像解析サーバ50と、識別コード読取サーバ70とを備える。管理者用端末30、バッチサーバ40、画像解析サーバ50及び識別コード読取サーバ70は、イントラネット2のゲートウェイ3を介して、インターネット4に接続される。
個体識別番号記録・誤設置防止システム1Aは、個体識別データ等を管理するデータ管理サーバ20Aを備え、データ管理サーバ20Aは、通信機器8を設置・交換する作業者が用いる携帯端末10にインターネット4を介して接続している。データ管理サーバ20Aと、管理者用端末30、バッチサーバ40及び画像解析サーバ50、識別コード読取サーバ70はインターネット4を介して接続されている。イントラネット2及びインターネット4は通信回線6に対応する。個体識別番号記録・誤設置防止システム1Aはイントラネット2又はインターネット4のうちいずれか一方により構築されてもよい。また、データ管理サーバ20A、管理者用端末30、バッチサーバ40、画像解析サーバ50、識別コード読取サーバ70をまとめて管理サーバ群7A(管理サーバの一例)と称する。
なお、画像解析サーバ50とバッチサーバ40と識別コード読取サーバ70とは一台のコンピュータ上に構築されてもよい。また、本実施形態の検針・個体識別番号記録・誤設置防止システム1Aでは、画像解析サーバ50とバッチサーバ40と識別コード読取サーバ70とがイントラネット2に設けられているが、管理者用端末30、バッチサーバ40、画像解析サーバ50及び識別コード読取サーバ70は、データ管理サーバ20Aと同一のコンピュータ上に構築されてもよい。すなわち、管理サーバ群7Aは一台のコンピュータ上に管理サーバとして構築されてもよく、ネットワーク構成については、図8に示す構成に限定されるものではない。
携帯端末10は、通信機器8を撮影する撮像部としてのカメラ16を備える。また、携帯端末10は、データ管理サーバ20Aと通信し、撮像した画像データを送信するための通信処理部14と、作業者が個体識別データ23を入力する入力部12と、カメラ16により撮影した画像データ(通信機器画像26A)を表示すると共に、個体識別データ23を入力する際に個体識別データ23を表示する画面表示部15と、制御部11と、を備える。携帯端末10は、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(図示しない)、通信ネットワークに接続されるネットワークインターフェース等(通信処理部14)を有している。CPUは制御部11に該当し、制御部11は、入力部12、通信処理部14、画面表示部15及びカメラ16を制御する。入力部12はテンキー、キーボード、タッチパネル又はマウスであり、作業者が個体識別データ23を入力・修正したり、通信機器の画像に記載されておらず読み取ることができない情報、例えば顧客の名前及び電話番号等を入力したりする際にも使用される。なお、検針システム1と同様、携帯端末10は一台に限らず複数用意され、複数の検針者が使用するが、ここでは一台の携帯端末10を使用する場合について説明する。
データ管理サーバ20Aは、複数の携帯端末10から日々受信する通信機器8の個体識別データ23及び通信機器8の画像データ等を管理するサーバである。データ管理サーバ20Aは、制御部21と、携帯端末10、管理者用端末30及びバッチサーバ40とデータを送受信するための通信処理部24(通信部)と、を備える。また、携帯端末10から送信され個体識別データ及び画像データ等を格納するデータベース25A(記憶部)と、データベース25Aからデータを抽出したり、データベース25Aに格納されたデータを編集したりするための入出力処理部22と、を備える。データ管理サーバ20Aは、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(データベース25Aが記憶される)を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部24)等を有している。制御部21が通信処理部24やデータベース25A等を制御する。
データベース25Aには、作業者が通信機器8を撮影した画像データである通信機器画像26A(画像データ)、作業者が携帯端末10により手入力又は識別コード読取サーバ70のコード読取部75が入力した個体識別データ23(入力データ)、顧客の番号や計器番号等の顧客情報28、設置交換作業を行った作業者の情報である作業者情報29が格納されていて、それぞれの情報がテーブルにより管理されている。
管理者用端末30は、制御部31、入力部32、出力部33、通信処理部34(通信部)及び画像表示部35から構成される。通信処理部34は、データ管理サーバ20A及びバッチサーバ40と通信を行う。画像表示部35は、管理者がデータ管理サーバ20Aのデータやバッチサーバ40上の結果ファイル46を確認するために、それらのデータを表示するためのモニター装置である。管理者は、バッチサーバ40に保存された結果ファイル46のデータがあれば入力部32を用いて、データ管理サーバ20Aに登録されている個体識別データ23又は通信機器画像26Aの訂正を行う。出力部33は、例えばデータ管理サーバ20Aから送信された、顧客情報28や作業者情報29やバッチサーバ40の結果ファイル46を帳票データとしてファイルに出力する。管理者用端末30は、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部(図示しない)を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部34)を有している。制御部31はCPUであり、入力部32、出力部33、通信処理部34及び画像表示部35を制御する。
バッチサーバ40は、制御部41、入力部42、出力部43、通信処理部44(通信部)及び比較検証部45とから構成される。バッチサーバ40も、具体的にはCPU、RAM等の揮発性記憶部(図示しない)、ハードディスクやフラッシュメモリ等の不揮発性記憶部を備え、通信回線6に接続するためのネットワークインターフェース(通信処理部44)等を有している。制御部41が通信処理部44や比較検証部45を制御する。比較検証部45は例えばソフトウェアにより実現され制御部41であるCPUにより実行される。
通信処理部44は、画像解析サーバ50、データ管理サーバ20A及び管理者用端末30と通信を行う。入力部42は、データ管理サーバ20Aからデータを抽出する範囲等を管理者用端末30から受け付ける。比較検証部45は、画像解析サーバ50から受信した解析結果を比較検証する。出力部43は、データ管理サーバ20Aから取得した個体識別データ23と通信機器画像26Aの画像とを画像解析サーバ50に送り、比較検証部45が比較検証した結果を結果ファイル46として出力する。出力部43により出力された結果ファイル46は、管理者用端末30から参照される。
画像解析サーバ50は、作業者が撮影した通信機器8の画像データ(通信機器画像26A)を解析して、個体識別番号等を読み取りテキストデータ化する装置である。画像解析サーバ50は、制御部51と、通信処理部54(通信部)と、画像解析部55とを備える。通信処理部54は、バッチサーバ40と通信し、バッチサーバ40から通信機器8の画像データを受信する。また、画像解析部55により解析した結果をバッチサーバ40に送信する。画像解析部55は、受信した画像データを解析し、個体識別番号等を読み取る。第二実施形態の画像解析部55は、機械学習による物体検出技術及び超解像技術、OCR(光学文字認識)を適用して、画像データを解析し、通信機器の個体識別番号等を読み取る。
識別コード読取サーバ70(識別コード読取部)は、作業者が撮影した通信機器8の画像データ(通信機器画像26A)に示された識別コードから、個体識別番号を読み取りテキストデータ化する装置である。識別コード読取サーバ70は、制御部71と、通信処理部74(通信部)とを備える。識別コード読取サーバ70は、バッチサーバ40又は画像解析サーバ50から通信機器8の画像データを受信する。識別コード読取サーバ70は、受信した画像データの識別コード(バーコード等の一次元コードやQRコード(登録商標)等の二次元コード)から、個体識別データ23をテキストデータとして読み取る。読み取った個体識別番号のデータをバッチサーバ40に送信する。
個体識別番号記録・誤設置防止システム1Aで用いられる通信回線6は、図9に示すようにインターネット4とイントラネット2とを組み合わせて構築されている。上述したように、管理者用端末30、バッチサーバ40、画像解析サーバ50及び識別コード読取サーバ70をイントラネット2に配置し、携帯端末10、データ管理サーバ20Aはインターネット4に接続している。これは一例であり、ネットワーク構成はこれに限定されず、他の構成、例えば管理者用端末30をインターネット4に直接接続してもよい。
次に図3を用いて、データ管理サーバ20Aに携帯端末10から送信されたデータを再確認する際の、管理者側の処理について説明する。
なお、あらかじめデータ管理サーバ20Aには、作業者が携帯端末10を用いて通信機器8の個体識別番号(個体識別データ23)を送信するデータ送信処理と、撮影された画像データ(通信機器画像26A)と作業者又は識別コード読取サーバ70のコード読取部75により入力された個体識別データ23をデータベース25A(記憶部)に登録する、すなわちデータベース25Aが個体識別データ23と画像データを記憶するデータ登録処理(データ登録ステップ)と、は実施されているものとする。
管理者は、入力部32を介して管理者用端末30にバッチサーバ40にデータを処理(例えば画像解析)させる期間である開始日と終了日を検索条件として指定する(S101)。管理者用端末30は指定された検索条件をバッチサーバ40に送信する(S102)。管理者はバッチサーバ40が結果ファイル46を出力(S116)するまで待機する。
バッチサーバ40は、管理者用端末30から検索条件を受信する(S103)。データ管理サーバ20Aに対して、検索条件に該当するデータ(画像データ及び作業者が手入力した個体識別データ23)の取得要求を行う(S104)。
データ管理サーバ20Aはバッチサーバ40からデータ取得要求を受信すると(S105)、データベース25Aから検索条件に該当するデータを検索する(S106)。そして、データ管理サーバ20Aは、検索条件に該当するデータをバッチサーバ40に送信する(S107)。送信するデータには、通信機器8を撮影した通信機器画像26A、個体識別データ23、顧客情報28、作業者情報29のテキストデータが含まれる。
バッチサーバ40は、データ管理サーバ20Aからデータを受信する(S108)。そしてバッチサーバ40は受信したデータをメモリに記憶するか、又はファイルとして保存する(S109)。次に、バッチサーバ40は、記憶したデータ又はファイルに含まれる通信機器の画像データ(通信機器画像26A)を、画像解析サーバ50に送信する(S110)。
画像解析サーバ50はバッチサーバ40から計器画像26を受信する(S111)。次に、画像解析部55が、通信機器画像26Aから個体識別データ23を解析して、テキスト化する(S112、データ解析ステップ)。解析する際、画像解析サーバ50は、機械学習による物体検出技術及び超解像技術、OCR(光学文字認識)を適用して、通信機器画像26Aを解析する。画像解析サーバ50は、テキスト化したデータをバッチサーバ40に送信する(S113)。
バッチサーバ40は画像解析サーバ50から送信されたテキストデータを受信する(S114)。そして、バッチサーバ40は、比較検証部45により、S109で保存したテキストデータ(作業者により手入力又は識別コード読取サーバ70のコード読取部75により入力された入力データ)とS114で受信したデータ(解析データ)とを比較検証する(S115、比較検証ステップ)。比較検証した結果、作業者又は識別コード読取サーバ70のコード読取部75が入力した入力データと、画像解析サーバ50による解析データが異なる場合、結果ファイル46(比較結果)に異常フラグを立て、保存する。作業者又は識別コード読取サーバ70のコード読取部75が入力した入力データと解析データとが同じ場合は結果ファイル46にフラグを立てずに保存する(S116)。
管理者は、管理者用端末30により、バッチサーバ40に保存された結果ファイル46を取得する(S117)。管理者は、管理者用端末30を用いて、異常フラグが立ったデータと同じデータをデータ管理サーバ20Aから取得する。管理者は目視により、結果ファイル46とデータ管理サーバ20Aから取得したデータとを比較して、データの確認を行う(S118)。比較した結果、作業者又は識別コード読取サーバ70のコード読取部75により入力した入力データ又は作業者が登録した画像データに誤りがあった場合、管理者は、データ管理サーバ20Aに格納されている、誤りがあると確認された通信機器8の個体識別データ23又は通信機器画像26Aの修正を行う。管理者の指示により管理者用端末30はデータ変更要求をデータ管理サーバ20Aに送信する(S119、修正ステップ)。管理者の確認の結果、通信機器8の設置間違いがあると確認された場合は、通信機器8の設置のやり直しを作業者に指示する。
データ管理サーバ20Aは管理者用端末30からのデータ変更要求を受信(S120)した後、データベース25Aを変更する(S121)。
従来、管理者は、作業者が入力したすべてのデータと撮影した画像データとを比較して確認していたが、個体識別番号記録・誤設置防止システム1Aでは、管理者は結果ファイル46に異常フラグが立てられた通信機器8の個体識別データ23のみを画像データ(通信機器画像26A)と比較して検証すればよい。そのため、確認に必要な工程を大幅に削減することができる。
次に、通信機器8を撮影した画像データ(通信機器画像26A)から個体識別番号を読み取る方法について説明する。図10に通信機器8を撮影した画像データの一例を示す。画像フレーム80内に通信機器8の画像が含まれる。OCRでは、図10に示すように画像フレーム80の左上端を原点(0,0)とし、横軸をX座標、縦軸をY座標とすることが多い。点線四角枠で示す領域82(領域の一例)は、個体識別番号を文字情報で表示する領域である。点線四角枠で示す識別コード領域83(領域の一例)は、通信機器8の個体識別番号を一次元コード(バーコード)で表示する領域であり、画像データからテキストデータを読み取る場合、従来のOCRでは、個体識別番号を示す領域82の矩形座標(左座標82L、上側座標82T、右座標82R、底辺座標82B)、及び一次元コードを含む識別コード領域83の矩形座標(左座標83L、上側座標83T、右座標83R、底辺座標83B)の位置は固定されている必要があった。
そのため、作業者は、領域82に個体識別番号が収まるように、また識別コード領域83に一次元コードが収まるように撮影しなければならなかった。しかしながら、計量メータ5と同様に通信機器8が設置された場所によっては障害物によって正面から撮影することが困難である場合がある。また、手でもって撮影するスマートフォン等の携帯端末では、通信機器8を常に同じ位置、大きさで撮影することは困難である。
第二実施形態の画像解析サーバ50では、通信機器8の個体識別番号の読み取りに、機械学習(ディープラーニング)による物体検出技術及び超解像技術とOCRを使用する。物体検出技術及び超解像技術については第一実施形態の画像解析サーバ50と同様である。第二実施形態では、通信機器8の識別コード及び個体識別番号等を物体の一つとして画像解析サーバ50に搭載させたAIに学習させる。
また、第二実施形態の画像解析サーバ50では、通信機器8を撮影した画像データを超解像技術で拡大し、より高精細(高解像度)となった画像データから、小さく映る傾向にある個体識別番号の領域82を特定し、数値を読み取ることにより精度の向上を図る。なお、個体識別番号を撮影した画像データの解像度が十分に高く、ノイズも少ない場合は、超解像技術を用いることなく読み取っても構わない。
第二実施形態の個体識別番号記録・誤設置防止システム1Aにおいても、物体検出技術を用いることで、従来のOCRで読み取る際に問題であった、読み取り位置を固定しなければならない問題を解消した。超解像技術又は物体検出技術により画像解析サーバ50は、個体識別番号の領域82と識別コードの識別コード領域83との矩形座標(左座標82L,83L、上側座標82T,83T、右座標82R,83R、底辺座標82B,83B)を探し出すことができるため、画像フレーム80内で通信機器8の大きさや撮影位置が異なっていたり、多少の傾きがあったりしても、識別コードや個体識別番号が示された位置を特定することができる。
画像解析サーバ50は、さらに個体識別番号の領域82を特定した後、数値や記号の位置(82−1〜82−10)を特定する。物体検出技術及び超解像技術により個体識別番号の大きさ又は向きが画像毎に異なっていても、読み出す数値又は位置を物体検出技術及び超解像技術により特定できるため、従来のOCRでは読み取れなかった数値を読み取ることができる。
図10(c)に示される識別コードはバーコード等の一次元コードであるが、識別コードは一次元コードに限定されず、図11(a)、(b)に示すようにQRコード(登録商標)等の二次元コードであってもよい。
なお、図10(a)では、通信機器8が拡大された画像から、数値を読み取っていたが、通信機器8が縮小された画像からも同様に、読み取ることが可能である。
図12を用いて、画像解析サーバ50が画像データから個体識別番号等を読み取る方法(個体識別番号読取処理)について説明する。図12は、個体識別番号等を読み取る流れ図である。画像解析サーバ50はバッチサーバ40から通信機器8の画像データ(通信機器画像26A)を受信する(S301)。画像データを受信すると、画像解析サーバ50の画像解析部55が受信した画像データを拡大する(S302)。画像データを拡大するのは、受信したままの状態の画像の場合、計量メータ又は通信機器が小さく、画像データを拡大した後に読み取った方が個体識別番号の領域の読み取り精度が高くなるからである。この拡大時に、一般的な画像拡大法ではなく、機械学習による超解像技術(SR)を用いて画像を拡大する。次に、画像を拡大した後、画像解析部55が物体検出技術(物体検出アルゴリズム)を用いて、個体識別番号の領域82を特定する(S303)。個体識別番号を特定した際の領域82を図10(c)及び図11(c)に示す。
個体識別番号の領域82を特定した後、画像解析サーバ50はまず、個体識別番号の領域82の画像データだけを切り出す(S304)。領域82の画像データを切り出した後、物体検出技術を用いて個体識別番号のそれぞれの位置82−1〜82−10を読み取る(S305)。画像解析部55は、OCRと物体検出技術とを用いて個体識別番号の値を読み取る(S306)。画像解析部55は、OCRと物体検出技術とで読み取った個体識別番号の値から精度の高い方の値を抽出・組み合わせたものを、バッチサーバ40に送信する(S307)。
なお、本実施形態では、画像解析部55は、超解像技術を用いて画像データを拡大した後、物体検出技術を用いて個体識別番号の領域を特定して、個体識別番号を読み取っていた。これは一例であり、画像解析部55は、受け取った画像データから物体検出技術を用いて、個体識別番号の領域を特定した後、特定された領域の画像データを、超解像技術を用いて拡大し、拡大した画像データから個体識別番号を読み取ってもよい。先に物体検出技術により領域が特定されることから、超解像技術を適用する画像データの範囲が削減されるため処理時間を短くすることができる。
画像解析部55は、受け取った画像データから物体検出技術を用いて、識別コード(バーコード、QRコード(登録商標))の識別コード領域83を特定した後、該領域を拡大し、識別コード読取サーバ70で個体識別番号を読み取っても良い。図13を用いて画像解析サーバ50による識別コードの画像抽出方法(識別コード画像抽出処理)について説明する。図13は、画像解析サーバ50による識別コードの画像を抽出する流れ図である。画像解析サーバ50はバッチサーバ40から通信機器8の画像データ(通信機器画像26A)を受信する(S401)。画像解析部55が物体検出技術(物体検出アルゴリズム)を用いて、識別コードを示す識別コード領域83を特定する(S403)。識別コードが一次元コードである場合の識別コード領域83を図10(c)に、二次元コードである場合の識別コード領域83Aを図11(b)に示す。
識別コード領域83を特定した後、画像解析サーバ50はまず、識別コード領域83の画像データだけを切り出す(S403)。識別コード領域83の画像データを切り出した後、物体検出技術を用いて識別コード領域83の画像を拡大する(S404)。画像解析部55は、拡大した識別コード領域83の拡大画像データを識別コード読取サーバ70に送信する(S405)。
次に、図14を用いて識別コード読取サーバ70による識別コードを読み取る方法(識別コード読取処理)について説明する。図14は、識別コード読取サーバ70による識別コードを読み取る流れ図である。識別コード読取サーバ70は、データ管理サーバ20Aから通信機器8の画像データ(通信機器画像26A)を受信する(S501)。識別コード読取サーバ70は、受信した画像データから識別コードの値(個体識別番号)を読み取る(S502)。このとき、識別コードから値が読取可能か否かを判定する(S503)。値が読取可能である場合(S503でYes)、識別コードから個体識別番号の値を読み取り(S508)、読み取った値をバッチサーバ40に送信する(S509)。
識別コードから値を読み取ることができなかった場合(S503でNo)、画像データを画像解析サーバ50に送信し、図13に示す識別コード画像抽出処理を行う。識別コード読取サーバは、識別コードの画像データを切り出し拡大した画像データを受信する(S504)。受信した画像データから識別コードの値を読み取り(S505)、読取可能か否かを判定する(S506)。識別コードの値が読取可能である場合(S506でYes)、識別コード読取サーバ70は識別コードから個体識別番号の値を読み取る(S508)。読み取った値をバッチサーバ40に送信する(S508)。識別コードが読み取りできなかった場合、画像データを画像解析サーバ50に送信し、図12に示す個体識別番号の読取処理により文字情報から個体識別番号の値を読み取り(S507)、読み取った値をバッチサーバ40に送信する(s509)。このような処理により、識別コードだけでは読み取ることができなかった画像データからでも個体識別番号を読み取ることができるようになる。
ここで、バッチサーバ40による比較検証処理について図15を用いて説明する。図15は、バッチサーバ40による比較検証処理の流れ図である。バッチサーバ40は、画像解析サーバ50からOCRのみを利用して解析した値A(指針値、計器番号、個別識別番号等)を受信する(S601)。次に画像解析サーバ50から物体検出技術と超解像度技術と用いて解析した、指針値、計器番号、個別識別番号等の値Bを受信する(S602)。次にデータ管理サーバ20、20Aから、検針者又は作業者が入力した値C又は整合確認が必要な任意の値Cを受信する(S604)。バッチサーバ40は、受信した値A〜Cを比較する(S604)。
このとき、値Cと値Aとが一致、又は、値Cと値Bとが一致した場合(S604でYes)の場合、作業者による作業が正しく行われたと判断し、確認不要として結果ファイルに出力する。値Cと一致する値がない、すなわち値A及び値Bが値Cと一致しない場合、検針者又は作業者の入力値若しくはアップロードした画像が間違っている可能性があると判断し、確認必要として結果ファイルに出力する。
次に、バッチサーバ40による検証処理について図16を用いて説明する。図16は、バッチサーバ40による検証処理の流れ図である。バッチサーバ40は、画像解析サーバ50から、OCRにより解析した指針値、計器番号、個別識別番号の値Aを受信する(S701)。そして、値Aが過去に読み取りを誤った値を含むか否かを判断する(S702)。値Aが過去に読み取りを誤った値を含む場合(S702でYes)、画像解析サーバから物体検出技術と超解像技術とにより解析した値Bを受信し、値Bを結果ファイルに出力する(S703)。値Aが過去に読み取りを誤った値を含まない場合(S702でNo)、値Aを結果ファイル46に出力する(S704)。
画像解析サーバ50の画像解析部55は、物体検出技術と超解像技術とを用いることで、携帯端末10で撮影した通信機器8の画像データからでも、高精度で指針値・計器番号や個体識別番号の文字情報を読み取ることができる。読み取りミスにより、管理者が再度確認するデータの数が減少することから、確認作業にかかる工数を軽減することができる。
また、作業者又は識別コード読取サーバ70のコード読取部75によるデータ入力を実施していない場合は、画像解析サーバ50が通信機器8を撮影した画像データから個体識別番号を解析データとして読み取り、バッチサーバ40の出力部43で出力を行うことができる。そのため、管理者による入力作業にかかる工数も軽減することが可能になる。
また、従来の光学文字認識技術(OCR)だけでは、画像データから読める文字と読めない文字があった。検針システム1、個体識別番号記録・誤設置防止システム1Aでは、物体検出技術等のAI技術とOCRとを併用することにより、画像や読み取る値毎にAI技術とOCRの精度の高低を事前に割り出し、値によって、より精度の高い方の値を選択・組み合わせている。値に応じてどちらを優先するか決定し補完し合うことにより、より高い精度で文字情報を読み取ることを実現している。
1 検針システム(計量メータ・設置機器情報管理システム)
1A 個体識別番号記録・誤設置防止システム(計量メータ・設置機器情報管理システム)
2 イントラネット
3 ゲートウェイ
4 インターネット
5 計量メータ(機器)
6 通信回線
7、7A 管理サーバ群(管理サーバ)
8 通信機器(機器)
10 携帯端末
11 制御部
12 入力部
14 通信処理部
15 画面表示部
16 カメラ(撮像部)
20、20A データ管理サーバ
21 制御部
22 入出力処理部
23 個体識別データ
24 通信処理部(通信部)
25、25A データベース(記憶部)
26 計器画像(画像データ)
26A 通信機器画像(画像データ)
27 検針データ
28 顧客情報
29 作業者情報
30 管理者用端末
31 制御部
32 入力部
33 出力部
34 通信処理部
35 画像表示部
40 バッチサーバ
41 制御部
42 入力部
43 出力部
44 通信処理部
45 比較検証部
46 結果ファイル(比較結果)
50 画像解析サーバ
51 制御部
54 通信処理部
55 画像解析部
60、80 画像フレーム
61 第一領域(領域)
62 第二領域(領域)
82 領域
83、83A 識別コード領域
70 識別コード読取サーバ(識別コード読取部)
71 制御部
74 通信処理部
75 コード読取部

Claims (30)

  1. 機器に表示された文字情報を撮影し、撮影した画像データを送信する携帯端末に通信回線により接続する管理サーバを備える計量メータ・設置機器情報管理システムであって、
    前記管理サーバは、
    前記通信回線を介して前記携帯端末から送信された前記画像データを受信する通信部と、
    該通信部により受信した前記画像データと入力データとを記憶する記憶部と、
    該記憶部に記憶された前記画像データから前記文字情報を、機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取る画像解析部と、
    前記記憶部に記憶された前記入力データと前記画像解析部により読み取られた前記解析データとを比較して異なる場合に、比較結果を出力する比較検証部と、を備えることを特徴とする計量メータ・設置機器情報管理システム。
  2. 前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信する、ことを特徴とする請求項1に記載の計量メータ・設置機器情報管理システム。
  3. 前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、
    前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、
    前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コードを解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶することを特徴とする請求項1に記載の計量メータ・設置機器情報管理システム。
  4. 前記識別コードは、一次元コード又は二次元コードであることを特徴とする請求項3に記載の計量メータ・設置機器情報管理システム。
  5. 前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力することを特徴とする請求項1から4のいずれか一項に記載の計量メータ・設置機器情報管理システム。
  6. 前記画像解析部は、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させることを特徴とする請求項1から5のいずれか一項に記載の計量メータ・設置機器情報管理システム。
  7. 前記画像解析部は、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させることを特徴とする請求項6に記載の計量メータ・設置機器情報管理システム。
  8. 前記画像解析部は、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させることを特徴とする請求項6に記載の計量メータ・設置機器情報管理システム。
  9. 前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであることを特徴とする請求項1から8のいずれか一項に記載の計量メータ・設置機器情報管理システム。
  10. 前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであることを特徴とする請求項1から8のいずれか一項に記載の計量メータ・設置機器情報管理システム。
  11. 機器に表示された文字情報を撮影して、撮影した画像データを送信する携帯端末に通信回線により接続されている管理サーバであって、通信部と記憶部と画像解析部と比較検証部とを有する管理サーバを用いた前記機器の計量メータ・設置機器情報管理方法であって、
    前記管理サーバの前記通信部が、前記通信回線を介して前記携帯端末から送信された前記画像データを受信し、前記管理サーバの前記記憶部が前記画像データと入力データとを記憶するデータ登録ステップと、
    前記管理サーバの前記画像解析部が、前記記憶部に記憶された前記画像データから、前記文字情報を機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取るデータ解析ステップと、
    前記管理サーバの前記比較検証部が、前記記憶部に記憶された前記入力データと前記画像解析部により解析された前記解析データとを比較して、異なる場合に比較結果を出力する、比較検証ステップと、
    管理者が前記比較結果を参照して、前記管理サーバの前記記憶部に記憶された前記入力データを修正する修正ステップと、を含むことを特徴とする計量メータ・設置機器情報管理方法。
  12. 前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記データ登録ステップにて前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信する、ことを特徴とする請求項11に記載の計量メータ・設置機器情報管理方法。
  13. 前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、
    前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、
    前記データ解析ステップにおいて、前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コード解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶することを特徴とする請求項11に記載の計量メータ・設置機器情報管理方法。
  14. 前記識別コードは、一次元コード又は二次元コードであることを特徴とする請求項13に記載の計量メータ・設置機器情報管理方法。
  15. 前記比較検証ステップにおいて、前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力することを特徴とする請求項11から14のいずれか一項に記載の計量メータ・設置機器情報管理方法。
  16. 前記データ解析ステップは、前記画像解析部が、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項11から15のいずれか一項に記載の計量メータ・設置機器情報管理方法。
  17. 前記データ解析ステップは、前記画像解析部が、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項16に記載の計量メータ・設置機器情報管理方法。
  18. 前記データ解析ステップは、前記画像解析部が、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項16に記載の計量メータ・設置機器情報管理方法。
  19. 前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであることを特徴とする請求項11から18のいずれか一項に記載の計量メータ・設置機器情報管理方法。
  20. 前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであることを特徴とする請求項11から18のいずれか一項に記載の計量メータ・設置機器情報管理方法。
  21. 機器に表示された文字情報を撮影して、撮影した画像データを送信する携帯端末に通信回線により接続されている管理サーバであって、通信部と記憶部と画像解析部と比較検証部とを有する管理サーバによってプログラムとして実行される前記機器の計量メータ・設置機器情報管理プログラムであって、
    前記管理サーバの前記通信部が、前記通信回線を介して前記携帯端末から送信された前記画像データを受信し、前記管理サーバの前記記憶部が前記画像データと入力データとを記憶するデータ登録ステップと、
    前記管理サーバの前記画像解析部が、前記記憶部に記憶された前記画像データから、前記文字情報を機械学習による物体検出技術と光学文字認識技術とを用いて解析し、解析データとして読み取るデータ解析ステップと、
    前記管理サーバの前記比較検証部が、前記記憶部に記憶された前記入力データと前記画像解析部により解析された前記解析データとを比較して、異なる場合に比較結果を出力する、比較検証ステップと、を含むことを特徴とする計量メータ・設置機器情報管理プログラム。
  22. 前記入力データは、前記携帯端末の入力部により入力され、前記管理サーバに送信される文字情報のデータであり、前記データ登録ステップにて前記管理サーバの前記通信部は、前記通信回線を介して前記入力データを受信する、ことを特徴とする請求項21に記載の計量メータ・設置機器情報管理プログラム。
  23. 前記機器には文字情報とは別に識別コードが表示されていて、前記画像データには前記識別コードが含まれており、
    前記管理サーバは、前記画像データに含まれる前記識別コードを読み取る識別コード読取部を備え、
    前記データ解析ステップにおいて、前記画像データの前記識別コードが前記識別コード読取部により読み取り可能である場合は、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶し、前記識別コードが前記識別コード読取部により読み取れない場合は、前記画像解析部により、前記物体検出技術を用いて前記識別コード解析した後、前記識別コード読取部により読み取り、読み取った結果を前記入力データとして記憶部に記憶することを特徴とする請求項21に記載の計量メータ・設置機器情報管理プログラム。
  24. 前記識別コードは、一次元コード又は二次元コードであることを特徴とする請求項23に記載の計量メータ・設置機器情報管理プログラム。
  25. 前記比較検証ステップにおいて、前記比較検証部は、前記機器に関する前記入力データが記憶されておらず前記画像データのみが記憶されている場合、前記画像解析部により読み取られた解析データを、前記比較結果として出力することを特徴とする請求項21から24のいずれか一項に記載の計量メータ・設置機器情報管理プログラム。
  26. 前記データ解析ステップは、前記画像解析部が、物体検出技術により、前記画像データから前記文字情報が表示された領域を抽出して、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項21から25のいずれか一項に記載の計量メータ・設置機器情報管理プログラム。
  27. 前記データ解析ステップは、前記画像解析部が、前記画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、物体検出技術により、前記より高い解像度の画像データから前記文字情報が表示された領域を抽出して、該領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項26に記載の計量メータ・設置機器情報管理プログラム。
  28. 前記データ解析ステップは、前記画像解析部が、物体検出技術により抽出された前記領域の画像データを、超解像技術を用いてより高い解像度の画像データに変換した後、前記領域に示された値を光学文字認識技術と物体検出技術とにより前記解析データとして読み取り、両方の前記解析データから、精度の高い方の値を抽出・組み合わせて完成させるステップを含むことを特徴とする請求項26に記載の計量メータ・設置機器情報管理プログラム。
  29. 前記機器は計量メータであり、前記文字情報は前記計量メータに表示された検針データであることを特徴とする請求項21から28のいずれか一項に記載の計量メータ・設置機器情報管理プログラム。
  30. 前記機器は通信機器であり、前記文字情報は前記通信機器に表示された個体識別データであることを特徴とする請求項21から28のいずれか一項に記載の計量メータ・設置機器情報管理プログラム。
JP2020086227A 2019-05-15 2020-05-15 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム Active JP7507600B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019092377 2019-05-15
JP2019092377 2019-05-15

Publications (2)

Publication Number Publication Date
JP2020191086A true JP2020191086A (ja) 2020-11-26
JP7507600B2 JP7507600B2 (ja) 2024-06-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022122989A (ja) * 2021-07-28 2022-08-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像認識モデルを構築するための方法及び装置、画像認識方法及び装置、電子デバイス、コンピュータ可読記憶媒体、並びにコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022122989A (ja) * 2021-07-28 2022-08-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像認識モデルを構築するための方法及び装置、画像認識方法及び装置、電子デバイス、コンピュータ可読記憶媒体、並びにコンピュータプログラム

Similar Documents

Publication Publication Date Title
US20230005285A1 (en) Multi-page document recognition in document capture
JP5783885B2 (ja) 情報提示装置、その方法及びそのプログラム
RU2412482C2 (ru) Способ, система, цифровая фотокамера и сис, обеспечивающие геометрическое преобразование изображения на основании поиска текстовых строк
US7286725B2 (en) Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method
US20130107038A1 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
JP2017187988A (ja) コード認識装置
JP2014032039A (ja) 検査支援システム及び方法
CN110619807B (zh) 生成全局热力图的方法和装置
JPWO2014157340A1 (ja) サイズ測定装置及びサイズ測定方法
JP6672673B2 (ja) 情報処理装置、制御方法、及びプログラム
CN112241739A (zh) 识别文本错误的方法、装置、设备和计算机可读介质
US20180268212A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
CN113537218B (zh) 图像识别方法及其装置
JP2020191086A (ja) 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム
JP7507600B2 (ja) 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム
CN109813283B (zh) 手持装置、利用手持装置进行的基于图像的测量的方法
JP6879034B2 (ja) プログラム、情報処理装置、及びシステム
KR101320247B1 (ko) 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법
JP6857373B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6917688B2 (ja) 帳票読取装置、帳票読取方法、プログラム、および帳票読取システム
JP2017097859A (ja) 情報処理装置と、その処理方法及びプログラム
US8351657B2 (en) Method for the viewing of visual information with an electronic device
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR20220084703A (ko) 시설물 점검 시스템 및 이를 이용한 시설물 점검방법
JP6708935B2 (ja) 情報処理装置、その処理方法及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240618