JP2011150555A

JP2011150555A - 環境情報収集システム及び方法

Info

Publication number: JP2011150555A
Application number: JP2010011581A
Authority: JP
Inventors: Kazuhito Sasaki; 一仁佐々木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-01-22
Filing date: 2010-01-22
Publication date: 2011-08-04

Abstract

【課題】環境データの情報源となる請求書やメータ等の表示を画像情報として取得し、そのメータ等の形式を考慮しながら画像情報から環境データを抽出するため、桁落ちなどの誤入力を削減することができ、信頼度の高いデータ管理ができる環境情報収集システムを提供する。
【解決手段】メータ等の画像情報としての画像データ、識別パターン画像等を事前登録する。携帯端末でメータ等を撮影し、画像データをサーバに送信する。サーバは事前登録の識別パターン画像に基づき、受信した画像データの識別パターン部分を識別する。その識別パターンに基づき、対応する読み取りエリアで当該画像データの特定エリアを読み取り、数値データを抽出する。抽出した数値データと前回の登録データとを比較し、データの桁落ちを判別する。桁落ちがなければ、適切な情報としてシステムに登録する。
【選択図】図１

Description

本発明は、環境情報収集システムに係り、特に、計測機器により測定した環境情報の収集に関する。

従来の技術としては、環境側面の名称と単位をデータベースのレコードとして定義し、企業組織内の現場より各々の実績値を入力し、その名称と単位において、上位組織で集計するものがある（特許文献１）。これらの従来技術では、ネットワークに接続されたサーバコンピュータ上に、入力画面インターフェース、集計処理部を備え、ネットワーク上に存在するユーザのパーソナルコンピューターのブラウザソフトウェア、表計算ソフトウェアを介してユーザは環境データとしての数値データを直接入力し、環境情報収集システムに環境データを登録する。

また、数値データをシステムに入力する際に、機械が人に代わり代理入力する技術がある（特許文献２）。この技術では、入力する情報を画像認識技術を用いて認識し取り込み、その情報をシステムに入力する。

特開平10-124587号公報特開2001-325562号公報

特許文献１のような環境情報収集システムにユーザが環境データを登録する際は、環境データの元となる請求書やメータの数値情報などから、環境情報収集システムの入力欄に転記して入力する。しかし、人が直接入力する方法では、環境項目に数値データを入れる際に、桁数間違いやデータ打ち間違いなどの誤データが入力される可能性がある。

このような誤データの入力を回避するために、特許文献２のような画像データを元に入力代行する方法があるが、画像データから画像認識で数字を抽出する場合、請求書やメータなど複数の形状あると、それぞれの形状にあった読み取りエリアの設定が必要である。この設定が、適切にされていないと、数字を読む際に、読み取りエリア外に位置してしまった数字を読むことができない。それにより、桁を落として読み込んでしまい、適切な数字として環境情報収集システムに登録ができない。

環境データの元となる請求書やメータ等の画像情報としての画像データ、識別パターン画像、数値データ領域、桁数初期値をメタデータとして事前登録する。

ユーザ携帯端末の画像撮影装置で請求書等を撮影し、画像データをサーバコンピュータに送信する。サーバコンピュータ上で、画像データと送信日時を受信する。事前登録された識別パターン画像に基づき、受信した画像データの識別パターン部分を識別し、形状を抽出する。
前記抽出した識別パターンのサイズ、形状の傾きを求め、前記メタデータの識別パターン画像との形状の倍率、傾きの補正パラメータを算出する。

前記算出終了後、受信した画像データの数値領域に対して、前記倍率・傾きの補正パラメータを考慮して数値領域を計算補正する。そして、送信された画像データに対して、前記補正した数値データ領域から数字を抽出する。抽出した数値データに対し、前回の登録データ、送信日時と、前記抽出した数値データ、送信日時から、単位時間当たりの数値上昇値を算出する。前記上昇値と、前々回と前回の上昇値と比較し、抽出した数値データの桁落ちを判別し、桁落ちがなければ、適切な情報としてシステムに登録する。

本発明の環境情報収集システムでは、環境データの情報源となる請求書やメータ等の表示を画像情報として取得し、そのメータ等の形式を考慮しながら画像情報から環境データを抽出するため、桁落ちなどの誤入力を削減することができる。これにより、信頼度の高いデータ管理ができる。

環境情報収集システムのハードウエア構成画像処理とデータベース例画像情報の例識別パターン画像データの例識別パターン領域のデータ構成例数値データ領域のデータ構成例前回単位時間上昇値のデータ構成例全体処理フロー画像データから数値データを登録する処理フロー

以下に、本発明の実施形態について図面を用いて説明する。

ユーザは、ネットワークに接続できかつ画像撮影装置が内蔵された携帯端末を使用する。前記携帯端末で画像を撮影し、ネットワークを介してサーバコンピュータ上にある環境情報収集サーバに画像データを送信することで、前記画像データの認識し、数値データを抽出することで環境データを登録することができる。

図１は、本実施の形態にかかる環境情報収集システムのハードウエア構成図を示す。環境情報収集システムは、サーバコンピュータ装置100、ユーザー携帯端末装置106を備える。

サーバーコンピュータ装置100は、このサーバーコンピュータ装置の各動作機能を処理する処理部、ユーザ携帯端末装置と情報通信を行う通信装置、各種情報を格納する記憶装置部101を備える。なお、この記憶装置101は、サーバーコンピュータ装置の処理部の命令によりデータを読み書きできればよいため、このサーバーコンピュータ装置の外にあってもよい。

ユーザ携帯端末装置106は、このユーザ端末装置の各動作機能を処理する処理部、各種データを格納する記憶装置部107、環境情報収集サーバとの情報通信を行う通信装置を備える。

本発明の環境情報収集システムのソフトウエアは、101の記憶装置に実装された102の画像入力プログラム、103の認証プログラム、104、105のデータベース部分などからなるサーバー側プログラムで構成される。

100のサーバー装置は111のネットワークを介して、106のユーザ携帯端末装置および、同様なユーザ携帯端末装置112、や113と接続しており、それぞれ独立に動作しているものである。

図２はサーバ100が有するメタデータ104、実体データ105の例を示す。メタデータは組織情報、環境項目、に関連付けられ種々のデータが格納されている。

図３はメータ等の模様を示す。このように、メータには識別パターンと数値が表示される表示部分がある。

図４に識別パターン203の画像情報である識別パターンの画像（204）及び、複数の識別パターンの画像（204）をまとめた対応表を示す。この表では、識別パターンID,識別パターン名、識別パターン画像データ、色情報、が格納されている。

図５に識別パターン領域のデータ構成例を示す。

図６に数値データ領域のデータ構成例を示す。ここで、識別パターンは始点終点の座標によって規定される。

図７に前回単位時間上昇値のデータ構成例を示す。このように、前回の上昇値とその日時情報を格納する。

図８と図９より、以下、本発明の実施例を動作フロー図にて説明する。

ユーザ携帯端末装置の画像撮影装置を起動し、環境データの元となる請求書やメータ等の対象を撮影し、画像データ（201）としてユーザ携帯端末装置のメモリに保存する（301）。次に、ユーザ携帯端末装置から、ネットワークを介し、環境情報収集システムにアクセスをする（302）。環境情報収集システムは、ユーザ携帯端末からアクセスがあったことを検知し、ログイン画面をユーザ携帯端末に表示する（303）。ユーザ携帯端末装置の画面でユーザIDとパスワードを入力し、環境情報収集サーバに送信する（304）。環境情報収集サーバは、ユーザIDとパスワードから認証処理及び、ユーザIDのアクセス権の確認を行い、環境データ登録の登録権限ある場合、環境データ登録画面を表示させる（305）。ユーザ携帯端末では、表示された環境データ登録画面に従い、環境データの元となる画像データ（201）を送信する（306）。環境情報収集サーバは、ユーザ携帯端末から送られた画像データ（201）と送信日時を受信し、メモリに格納する（401）。環境情報収集分析システムの画像入力プログラムは、メタデータの識別パターンの画像（204）をメモリに読み出し、それぞれの識別パターンの画像の色情報を抽出する。個々の識別パターンは特有の色情報を持ち、また色情報は、RGB（赤緑青）で表した色データである。そして、前記画像データ（201）にある識別パターンと同じ部分を色情報の比較により画像データの識別パターン（203）を四角形領域で抜き出し、前記識別パターンの左上、右下を位置情報として（始点（xa,ya））、（終点（xb,yb））を抽出する（402）。

環境情報収集分析システムの画像入力プログラムは、画像データの識別パターン（203）の傾き（207）を求めてメモリに保存し、傾きにあわせて前記識別パターンの位置情報を傾きに合わせて補正する（始点（xa’,ya’））、（終点（xb’,yb’））（403）。前記処理終了後、画像データの識別パターン（203）のピクセル数により画像サイズを算出する（404）。

前記403で算出した位置情報と、識別パターン（203）の領域位置（205）から、画像データ（201）の位置情報の移動量（x-xa’,y-ya’）を算出する（405）。前記403の処理で算出した傾きと、前記405の処理で算出した移動量から、画像データ（201）の回転角や拡大縮小の補正パラメータを算出する（406）。環境情報収集サーバの画像入力プログラムは、識別パターン画像の重心点を起点とした数値データのある四角領域部分を示すメータデータ数値領域（２06）から、前記の補正パラメータを行列計算し、補正後データ数値領域を算出しメモリに格納する（407）。環境情報収集サーバの画像入力プログラムは、画像データ401において、画像データの識別パターンの重心点を起点とした、前記算出の補正後データ数値領域から数値データを抽出する（408）。

前記で、画像の識別パターンと、メタデータの識別パターンとの傾き算出（４０３）の際、傾きがない場合には、４０４〜４０７の処理はなく、メタデータのデータ数値領域を使用し、画像データから数値データを抽出する。（４０８）
前記処理終了後、メタデータ（104）から前回単位時間上昇値（210）と前回画像撮影日時（210）をメモリに読み出す（409）。そして、前記401の処理でメモリに格納した画像データ送信日時と、前記前回画像撮影日時（210）から、前回の撮影日時と今回の撮影日時までの期間を算出し、分子に408の処理で抽出した数値データ、分母に期間として、単位時間あたりの上昇値を算出しメモリに格納する（410）。そして、409の処理で抽出した前回単位時間上昇値（210）を呼び出し、前回単位時間上昇値（210）と410の処理で算出した今回の単位時間上昇値の差分（比較値）を取り比較する（411）。そして、前記411処理の比較値が、メタデータの閾値（104）より大きいとき、前記407の補正後データ数値領域が間違っている可能性があり、前記408の画像データ（201）の数値データ読み取りに桁落ちが発生していると判断する（412）。そのため、前記407の補正後数値領域を拡大し（413）、再度前記408の処理から実施する。前記411処理の比較値が、メタデータの閾値（104）より小さいときは桁落ちが発生せず正確な値が抽出できると判断する（412）。

そして、メタデータ（104）の前回単位上昇値（210）に、前記410の処理で算出した今回の単位上昇値を登録し、メタデータ（104）の前回画像撮影日時（210）に、前記401の画像撮影日時を登録する（414）。そして、前記408で抽出した数値データを、メタデータの環境項目に該当する実体データ（211）に登録する（415）。メターデータ（104）には、組織情報があり、ここの組織に対して、データ登録する環境項目が管理されている。環境項目ごとに、識別パターンID（複数ある場合あり）を持ち、識別パターンIDに対応する実体データとして登録される。

前記処理が終了後、環境情報収集サーバは、ユーザ携帯端末に対して正常登録画面を表示する（308）。ユーザ携帯端末では、環境情報収集サーバから送信された正常登録画面を表示する（309）。

１００サーバーコンピュータ装置
１０１記憶装置部
１０２画像入力プログラム
１０３認証処理プログラム
１０４組織ツリー、環境側面ツリーなどメタデータ
１０５環境側面実績値など実体データ
１０６ユーザ携帯端末
１０７記憶装置部
１０８画像撮影装置
１０９撮影画像データ
１１０通信装置
１１１ネットワークシステム（インターネットなど）
１１２ユーザ端末装置
１１３ユーザ端末装置
２０１ユーザ携帯端末から送信される画像データ
２０２環境データの元となる対象
２０３環境データの元となる対象の識別パターン
２０４メタデータの識別パターン
２０５メタデータの識別パターン領域
２０６メタデータの数値データ領域
２０７ユーザ携帯端末から送信される画像データの新規別パターンの傾き
２０８メタデータで持つ識別パターンの傾き
２１０前回単位時間上昇値

Claims

環境情報解析サーバにおける環境情報収集方法であって、
記憶装置に、環境情報を表示する表示物を特定する情報である識別パターンを特定する識別子と、当該識別パターンを構成する色情報と、当該識別パターン毎に決められた数値エリア情報と、が予め記憶されており、
携帯端末の画像撮影装置により、表示物を撮影するステップと、
前記携帯端末の通信装置により、前記撮影された画像情報を前記環境情報解析サーバへ送信するステップと、
前記環境情報解析サーバの受信部により、前記画像情報を受信するステップと、
前記環境情報解析サーバの処理部により、前記受信した画像情報と、前記識別パターンの色情報とから、当該画像情報に含まれる識別パターンを抽出するステップと、
前記環境情報解析サーバの処理部により、前記抽出した識別パターンに対応する数値エリア情報を抽出するステップと、
前記環境情報解析サーバの処理部により、前記抽出された数値エリア情報に基づき前記画像情報の特定エリアの情報を抽出するステップと、
前記環境情報解析サーバの処理部により、前記抽出された特定エリアの情報から数値を読み出すステップと、
前記環境情報解析サーバの処理部により、前記読み出された数値と、記憶部に格納された過去の入力情報である過去の数値との差分を算出し、当該差分が、予め規定された閾値と比較するステップと、
前記比較において、前記差分が前記閾値よりも小さい場合、その値を前記記憶部に、当該処理を行った時刻情報と共に格納するステップと、
を備えることを特徴とする環境情報収集方法。
請求項１に記載の環境情報収集方法において、
前記識別パターンを抽出するステップの次に、当該抽出された前記識別パターンが、前記格納された識別パターンに比べて回転しているかを判断するステップを備え、
前記回転を判断するステップでは、前記画像情報に含まれる前記抽出された識別パターンの位置情報から、前記画像情報と前記識別パターンとの角度差を算出し、算出した角度で前記画像情報を回転させることを特徴とする環境情報収集方法。
請求項１または２に記載の環境情報収集方法において、
前記比較において、前記差分が前記閾値よりも大きい場合、前記数値エリア情報に基づくエリアを広げて、当該拡大されたエリアに基づき前記画像情報の特定エリアの情報を抽出するステップを更に有することを特徴とする環境情報収集方法。
携帯端末と環境情報を表示する表示物と環境情報解析サーバと記憶装置とを備える環境情報収集システムであって、
前記記憶装置は、前記表示物を特定する情報である識別パターンを特定する識別子と、当該識別パターンを構成する色情報と、当該識別パターン毎に決められた数値エリア情報と、が予め格納され、
前記携帯端末は、前記表示物を撮影する画像撮影装置と、前記撮影された画像情報を前記環境情報解析サーバへ送信する通信装置とを備え、
前記環境情報解析サーバは、前記画像情報を受信する受信部と、
前記受信した画像情報と、前記識別パターンの色情報とから、当該画像情報に含まれる識別パターンを抽出し、前記抽出した識別パターンに対応する数値エリア情報を抽出し、前記抽出された数値エリア情報に基づき前記画像情報の特定エリアの情報を抽出し、前記抽出された特定エリアの情報から数値を読み出し、前記読み出された数値と、記憶部に格納された過去の入力情報である過去の数値との差分を算出し、当該差分が、予め規定された閾値と比較し、前記比較において、前記差分が前記閾値よりも小さい場合、その値を前記記憶部に、当該処理を行った時刻情報と共に格納する処理部とを備え、
ることを特徴とする環境情報収集システム。