JP2020077045A - 情報処理装置、判定方法及びプログラム - Google Patents

Abstract

【課題】システム変更に伴うインターフェイスの変更を不要とする情報処理装置を提供する。【解決手段】情報処理装置は、入力部と、判定部と、出力部と、を備える。入力部は、計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する。判定部は、計測画像に含まれる結果含有領域から計測結果を抽出し、抽出された計測結果から計測対象に関する判定を行う。出力部は、計測対象に関する判定の結果を出力する。情報処理装置は、複数の計測画像それぞれの種類と複数の計測画像それぞれの基準画像を対応付けて記憶する基準画像データベースをさらに備え、判定部は、基準画像データベースから複数の基準画像を取得し、取得した複数の基準画像それぞれと入力部から取得した計測画像に対する画像処理により取得した計測画像に対応する種類及び基準画像を決定しても良い。【選択図】図１

Description

本発明は、情報処理装置、判定方法及びプログラムに関する。

特許文献１には、画像から少ない計算コストでメータの計測値を表す画像を抽出する、と記載されている。特許文献１に開示された情報処理装置は、画像に写る機器の特徴量を算出し、当該算出された特徴量に基づき機器の種類を特定する。さらに、当該情報処理装置は、特定された機器に基づきメータが配置されている箇所を特定し、メータの写る領域を抽出している。

特許文献２には、従来であれば目視で確認するしかなかった各種表示を、上記装置類に可能な限り手を加えることなくデジタルデータとして取得して、インターネットに向けて送信するための技術が開示されている。特許文献２では、工作機械の操作盤にカメラを設置し、当該カメラにより得られた画像に対して解析処理を施すことで工作機械の状態を取得している。

特許文献３には、環境の影響を受けずに計測値を安定的に認識可能な計測データ処理システムを提供する、と記載されている。特許文献３には、計測結果を表示する光源付きの表示部を有する計測器と、計測結果を認識して計測データやエラーデータを出力する計測データ処理装置を含むシステムが開示されている。当該計測データ処理装置は、計測器の表示部上に設置された光源の光の透過率がそれぞれ異なる複数の計測器識別媒体と、表示部に表示された計測結果と計測器識別媒体を画像として撮像する画像取得手段と、を備える。さらに、計測データ処理装置は、画像取得手段により取得した画像から、計測器識別媒体を判別して、判別した計測器識別情報により検索した画像処理パラメータに従い計測結果を認識して、計測データ等を出力する。

特開２０１７−０６８４６５号公報 特開２０１７−０６９９６３号公報 国際公開第２０１６／００９７４０号

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上記特許文献３の開示に代表されるように、工場等には計測データやエラーデータを出力する装置（状態通知装置）と称される機器が設置されることがある。当該装置は、計測対象のデータを画面に表示しつつ、対応する数値情報から計測対象が正常か否かを判断し、その判断結果を表示する。例えば、状態通知装置は、各計測対象のデータがデータごとに予め定めた閾値を超えているか否かを比較し、上記の判断（計測対象が正常か否か）を行っている。

その際、状態通知装置では、計測器（計測データ）ごとの各数値情報を取得する必要がある。また、状態通知装置では、各データの種類ごとに当該数値に基づいて対応する処理を決定する必要がある。そのため、上記判断をする状態通知装置は、数値データを表示する装置（例えば、計測端末等）から各データを個別に取得する必要がある。このように、状態通知装置では、各種計測機器から個別にデータを取得する必要があるが、各計測機器と状態通知装置間のインターフェイスに関して統一された規格等があるわけではない。従って、計測機器が変更になったり新たな計測機器が追加されたりするたびに、計測機器と状態通知装置間で送受信する情報やタイミング等を決定する必要がある。このようなインターフェイスの頻繁な変更は柔軟なシステム変更の障害となっている。

本発明は、システム変更に伴うインターフェイスの変更を不要とすることに寄与する情報処理装置、判定方法及びプログラムを提供することを主たる目的とする。

本発明乃至開示の第１の視点によれば、計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する、入力部と、前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行う、判定部と、前記計測対象に関する判定の結果を出力する、出力部と、を備える、情報処理装置が提供される。

本発明乃至開示の第２の視点によれば、情報処理装置において、計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力するステップと、前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行うステップと、前記計測対象に関する判定の結果を出力するステップと、を含む、判定方法が提供される。

本発明乃至開示の第３の視点によれば、コンピュータに、計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する処理と、前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行う処理と、前記計測対象に関する判定の結果を出力する処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明乃至開示の各視点によれば、システム変更に伴うインターフェイスの変更を不要とすることに寄与する情報処理装置、判定方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る計測システムの概略構成の一例を示す図である。 計測画像の一例を示す図である。 基準画像データベースの一例を示す図である。 計測結果データベースの一例を示す図である。 計測画像と対応する基準画像の一例を示す図である。 計測画像の一例を示す図である。 計測画像の一例を示す図である。 計測画像の一例を示す図である。 計測画像の一例を示す図である。 第１の実施形態に係る通知装置の動作の一例を示すフローチャートである。 通知装置を構成するコンピュータの構成を示す図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

一実施形態に係る情報処理装置１１は、入力部１２と、判定部１３と、出力部１４と、を備える（図１参照）。入力部１２は、計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する。判定部１３は、計測画像に含まれる結果含有領域から計測結果を抽出し、抽出された計測結果から計測対象に関する判定を行う。出力部１４は、計測対象に関する判定の結果を出力する。

情報処理装置１１は、計測対象に関する判定を行う際に必要な計測結果をデータとして計測機器から取得するのではなく、計測結果に関する情報を直接的又は間接的に含む計測画像から抽出する。情報処理装置１１は、計測結果を得るために必要な情報源（ソース）を画像に限定することで、計測機器ごとのインターフェイスを用意することが不要となる。即ち、情報処理装置１１は、画像を取得するためのインターフェイスを用意しておくだけで良く、システム変更に伴い計測結果を得るためのインターフェイスを変更する必要がない。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る計測システムの概略構成の一例を示す図である。図２を参照すると、計測システムは、通知装置１０と、計測端末２０と、撮像装置３０と、を含んで構成される。各装置は、通信ライン４０を介して相互に接続されている。

なお、図２は例示であってシステムの構成等を限定する趣旨ではない。例えば、図２には１台の計測端末２０を図示しているが複数の計測端末２０がシステムに含まれていてもよい。

通知装置１０は、例えば、保守支援部門等に設置される装置であり、情報処理装置（ＰＣ；Personal Computer）により実現される。通知装置１０は、撮像装置３０が送信する画像を受信する。通知装置１０は、内部に格納された状態判定プログラムをＣＰＵ（Central Processing Unit）に実行させることで、「計測対象に関する判定」を行い、当該判定結果を通知する機能を備える。

なお、通知装置１０により実施される「計測対象に関する判定」には、計測対象の状態判定（正常、故障）、対応内容（故障時の対応内容）、故障の原因、被疑箇所の推定等が含まれる。通知装置１０は、これらの判定結果をオペレータ等に通知する。

計測端末２０は、計測対象（例えば、工場等の生産設備）から得られる物理量（例えば、電圧等）を取得し、当該取得した物理量を情報として含む表示をする装置である。例えば、計測端末２０は、情報処理装置（ＰＣ）にセンサと接続するためのインターフェイスカードを装着することで実現できる。あるいは、計測端末２０は、電圧計やオシロスコープ等の装置であっても良い。

計測端末２０は、例えば、計測対象における所定箇所の電圧を測定し当該測定結果を表示する。

計測端末２０と計測対象が一体となっていても良い。例えば、計測対象が旋盤等の加工機械であれば、当該加工機械の状態を示す表示ランプ等を含むモジュールが計測端末２０に相当する。この場合、計測端末２０は、表示ランプの状態により加工機械の状態を通知する。

撮像装置３０は、計測端末２０の表示画面やランプ等の領域を含む領域を撮像し、画像を生成する装置である。撮像装置３０は、計測端末２０の計測結果（例えば、電圧、表示ランプの状態）を示す領域を撮像する。つまり、撮像装置３０は計測端末２０による計測結果が撮影できる位置に設置される。

撮像装置３０は、画像出力部３０１と撮像部３０２を含んで構成される。

画像出力部３０１は、撮像部３０２から取得した画像を通信ライン４０を介して通知装置１０に送信（出力）する。

撮像部３０２は、計測端末２０の計測結果を撮像し、その結果を画像出力部３０１に引き渡す。撮像部３０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と結像レンズからなるカメラモジュール（デジタルカメラモジュール）である。なお、撮像部３０２が生成する画像（通知装置１０に送信される画像）のフォーマットは、ＪＰＥＧ（Joint Photographic Experts Group）等のデジタルデータでもよいし、ディスプレイ等へ表示する為の規格に対応したアナログデータであってもよい。

撮像装置３０は、計測端末２０の計測結果を撮像する場合もあるし、計測結果を撮像しない場合もある。撮像装置３０は、これらの画像を識別するための識別子をそれぞれの画像に付与した後に通知装置１０に向けて送信する。

通知装置１０は、上記計測対象に関する判定を行う際、撮像装置３０が出力する画像を利用する。具体的には、通知装置１０は、計測端末２０が液晶パネル等に表示する文字情報や表示ランプ等の色等の計測結果を含む画像を撮像装置３０を介して取得する。具体的には、通知装置１０は、図３に示すような画像を取得する。

図３を参照すると、画像の中に計測端末２０の計測結果を示す領域が含まれる。図３の場合では、計測端末２０により示される計測結果は表示ランプの状態（点灯、消灯、点滅）や色（又は輝度）であり、その結果が撮像装置３０から取得した画像に含まれる。

なお、以降の説明において、計測端末２０による計測結果に関する情報が含まれる領域を「結果含有領域」と表記する。また、結果含有領域を含む画像を「計測画像」と表記する。上述のように、通知装置１０は、撮像装置３０から計測画像以外の画像を受信することもある。そこで、通知装置１０が撮像装置３０から取得する画像は単に「取得画像」と表記する。

通知装置１０は、計測画像から計測結果を抽出し、計測対象に関する判定を行う。

なお、計測画像は、計測対象に関する計測結果（又はその関連情報）を含む画像であって、計測結果そのものではない。つまり、計測画像は計測結果又は計測結果に関する情報を「画像」として含むものであるが、計測結果そのものを示す「データ」ではない。

結果含有領域には計測結果そのものの情報が含まれても良いし含まれなくとも良い。例えば、電圧が計測結果に該当する場合には、当該電圧値がそのまま計測画像に写っていても良いし、当該計測結果（計測値；例えば、電圧）を導出するための情報が結果含有領域に含まれていてもよい。即ち、計測結果に関する数値自体の情報（数字の文字列、１６進数等を表す英字列も含む）を結果含有領域に含む画像も計測画像である。

このように、計測画像は、計測対象の計測値そのものではなく、画像というデジタル情報に付加された数値そのものの情報や数値の程度を示す情報を含んでもよく、数値等の文字列の情報や当該数値等の文字列を認識して数値が得られるものでもよい。

また、計測画像には、少なくとも１以上の結果含有領域が含まれていればよい。換言するならば、複数の結果含有領域が１枚の計測画像に含まれていてもよい。

続いて、各装置の構成を詳細に説明する。

［通知装置］
図２に示すように、通知装置１０は、画像入力部１０１と、制御部１０２と、入力部１０３と、出力部１０４と、記憶部１０５と、を含んで構成される。

画像入力部１０１は、通信ライン４０と接続され、制御部１０２からの指示に従い、撮像装置３０が送信する画像を取得する。上述のように、通知装置１０が取得する画像には「計測画像」が含まれる。画像入力部１０１は、受信した取得画像を記憶部１０５に保存する。

制御部１０２は、通知装置１０の各部を制御する。また、制御部１０２は、判定部１１１をサブモジュールとして含む。

判定部１１１は、記憶部１０５に格納された状態判定プログラムをＣＰＵに実行させることで実現される。

判定部１１１は、計測画像に含まれる結果含有領域から計測結果を抽出し、当該抽出された計測結果から「計測対象に関する判定」を行う手段である。具体的には、判定部１１１は、記憶部１０５に格納された取得画像を読み出す。取得画像には「計測画像」と「計測画像以外の画像」が含まれるので、判定部１１１は、複数の取得画像の中から計測画像を抽出する。例えば、判定部１１１は、取得画像に付与された識別子（計測画像とそれ以外の画像を識別する識別子）に基づき、取得画像が計測画像か否かを判断する。

次に、判定部１１１は、抽出された計測画像の種類を特定する。具体的には、判定部１１１は、記憶部１０５に構築された基準画像データベース１２１にアクセスし複数の基準画像を取得する。

なお、基準画像データベース１２１には、計測画像の種類と、対応する基準画像と、計測画像に含まれる計測結果を含む特定の領域（結果含有領域）を指定する情報と、が対応付けられて記憶されている。

例えば、図３に示す表示ランプの計測画像を例に取り説明すると、図４（ａ）の一行目に示すような情報が基準画像データベース１２１に格納されている。図４（ａ）を参照すると、「表示ランプ」に分類される計測画像に対応する基準画像は画像１というファイル名で記憶されている。図４（ｂ）は、画像１の具体例である。

図４（ａ）に示すように、計測画像の種類、対応する基準画像、結果含有領域を特定する情報（結果含有領域を指し示す矩形形状の４点の座標）が対応付けられて記憶されている。このように、基準画像データベース１２１は、複数の計測画像それぞれの種類と複数の計測画像それぞれの基準画像を対応付けて記憶すると共に、複数の計測画像それぞれについて結果含有領域の位置に関する情報を記憶している。

判定部１１１は、基準画像データベース１２１から複数の基準画像を取得し、取得された複数の基準画像それぞれと記憶部１０５から読み出した計測画像に対する画像処理により取得した計測画像に対応する種類及び基準画像を決定する。

例えば、判定部１１１は、既存のパターンマッチング等の画像処理技術を用いて、計測画像（例えば、図３の画像）に類似する基準画像（例えば、図４（ｂ）に示す画像）を特定する。なお、類似する基準画像が特定されれば、基準画像データベース１２１から対応する計測画像の種類や結果含有領域の位置の特定が可能となる。

あるいは、判定部１１１は、複数の基準画像それぞれと記憶部１０５から読み出した計測画像の間の類似度により取得された計測画像に対応する種類及び基準画像を決定してもよい。例えば、判定部１１１は、基準画像及び計測画像のそれぞれから複数の特徴点を抽出し、当該複数の特徴点を用いた類似度を算出する。例えば、判定部１１１は、複数の特徴点を要素とする特徴ベクトルを算出し、２つの画像に対応する特徴ベクトル間の距離を類似度として算出する。判定部１１１は、類似度の高い基準画像を計測画像に類似する画像として選択する。

このように、判定部１１１は、抽出された計測画像が上記複数の基準画像のいずれに類似するかを判定し、最も類似度の高い基準画像に基づき計測画像の種類を特定する。

次に、判定部１１１は、基準画像データベース１２１にアクセスして上記決定された基準画像（類似度の高い基準画像）に対応する結果含有領域の位置を取得する。判定部１１１は、当該結果含有領域の位置に基づき、記憶部１０５から読み出した計測画像（画像入力部１０１から取得した計測画像）の結果含有領域を特定する。例えば、図３及び図４の例では、図４（ａ）に示す結果含有領域の位置に関する情報から図３に示す「結果含有領域」が特定される。なお、基準画像と計測画像の大きさ（画像サイズ）が異なる場合には、判定部１１１は、適宜サイズを一致させる変換処理を施した後に計測画像の結果含有領域を特定する。

次に、判定部１１１は、上記特定された結果含有領域の変化に基づき、計測結果を抽出する。より具体的には、判定部１１１は、計測画像の結果含有領域における変化の有無を判定する。当該領域に変化があれば、判定部１１１は、変化量等に基づき計測画像に含まれる「計測結果」を算出する。なお、判定部１１１は、先に検出された同種の計測画像が存在すれば、直前に検出された計測画像と処理対象の計測画像それぞれの結果含有領域における変化の有無を判定する。先に検出された同種の計測画像が存在しなければ、判定部１１１は、基準画像と処理対象の計測画像それぞれの結果含有領域における変化の有無を判定する。

判定部１１１は、計測結果に対して情報処理（例えば、閾値処理等）を施すことで、計測対象の状態等をオペレータに通知する。その際、判定部１１１は、記憶部１０５に構築された計測結果データベース１２２にアクセスしオペレータに通知する内容を決定しても良い。

計測結果データベース１２２には、計測結果と外部に通知する情報が対応付けられて記憶されている。

図５は、計測結果データベース１２２の一例を示す図である。図５に示すように、機器名（計測対象の機器名）、計測結果、外部に通知する内容のそれぞれが対応付けられて記憶されている。

判定部１１１は、計測結果データベース１２２を参照し、計測結果（図５の例では表示ランプの色）に応じた通知内容を取得する。判定部１１１は、取得した通知内容に応じた対応（例えば、必要に応じて外部に情報通知する）を行う。このように、判定部１１１は、計測結果データベース１２２を参照して計測対象の状態を判定してもよい。

上記説明したように、判定部１１１は、計測画像を解析することで計測結果を算出する。具体的には、判定部１１１は、計測画像に含まれる結果含有領域に対して画像処理等を施すことで計測端末２０による計測結果を抽出する。例えば、判定部１１１は、取得した計測画像に含まれる特定領域（結果含有領域）の変化から当該変化に対応する計測値を計測端末２０による計測結果として算出する。

判定部１１１は、計測画像に含まれる結果含有領域の色の変化及びその色が示す情報を計測結果として算出してもよい。あるいは、判定部１１１は、計測画像に対する文字認識により結果含有領域に含まれる数値文字列データを計測結果として算出してもよい。判定部１１１は、取得した計測画像や状態判定の結果を出力部１０４に引き渡す。なお、具体的な計測画像を用いた判定部１１１の処理に関する説明は後述する。

入力部１０３は、通知装置１０の入力手段であり、キーボード、タッチパネル、音声入力をするためのマイク等が該当する。入力部１０３は、例えば、基準画像データベース１２１や計測結果データベース１２２に格納する画像や状態等に関連する情報等を入力する。

出力部１０４は、判定部１１１による判定結果を外部に出力する手段である。出力部１０４は、液晶ディスプレイ、プリンタ（印刷手段）、スピーカ（音声合成による音声出力手段）、所定の端末に結果を送信するネットワークデバイス（通信手段）等が該当する。

記憶部１０５は、各種情報、データを記憶する手段である。上述のように、記憶部１０５にはデータベースが構築され、ＣＰＵに実行させるプログラム（状態判定プログラム）が格納される。

以下、具体的な計測画像を参照しつつ、判定部１１１の動作を説明する。

図６〜図１０は、計測画像と対応する基準画像の一例を示す図である。

図６（ａ）が計測画像であり、図６（ｂ）が対応する基準画像である。図６（ａ）に示す計測画像には、１乃至複数の表示ランプの状態を示す結果含有領域が含まれる。図６（ａ）に示す表示ランプは、表示ランプごとの点灯色、輝度、状態（点灯、消灯、点滅等）等から計測対象となる装置の状態を示す。

判定部１１１は、図６（ａ）に示す計測画像を取得すると、基準画像データベース１２１に格納された複数の基準画像それぞれとの間の類似度を計算し、最も類似度の高い基準画像を特定する。このような処理で特定されるのが図６（ｂ）に示す基準画像である。

次に、判定部１１１は、特定した基準画像（特定した計測画像の種類）から結果含有領域に関する情報を取得する。図６の例では、判定部１１１は、５つの表示ランプを含む矩形形状の領域に関する座標情報を取得する。

次に、判定部１１１は、計測画像における結果含有領域に変化があるか否かを判定する。図６の例では、５つの表示ランプのうち右端の表示ランプが消灯から点灯に変化している。なお、図６（ａ）では、右端の表示ランプの点灯色は「赤」とする。従って、判定部１１１は、「右端の表示ランプが赤」という計測結果を得る。即ち、図６に示す結果含有領域に対する画像処理（例えば、輝度の判別処理）等を施すことにより、計測端末２０による計測結果が抽出される。

判定部１１１は、計測結果データベース１２２を参照し、計測結果に応じた通知を行う。図５及び図６の例では、表示ランプの色が「赤」であるので、判定部１１１は、計測対象である機器の異常を外部に通知する。このように、計測画像の結果含有領域には表示ランプの画像が含まれる場合には、判定部１１１は、表示ランプの状態（点灯、消灯、点滅）、又は、色（輝度）に基づき判定対象に関する判定を行う。

図６では、表示ランプに関する計測画像について具体的に説明したが、他の種類の計測画像についても同様な処理が行われる。

図７に示す計測画像には、棒グラフが含まれる。図７に示す結果含有領域から計測データ等の数値情報（計測結果）が抽出される。例えば、図７に示すように棒グラフが結果含有領域として計測画像に含まれる場合、情報の時間が最も新しい（例えば、グラフの右方向が時間の経過方向を示す場合には１番右の棒グラフ）情報（グラフの高さ）が計測結果として抽出される。なお、グラフの高さだけでなく、グラフ基準位置や重心位置からの所定の距離や方向（例えば、縦方向）に関する数値が計測結果として抽出されてもよい。

図８に示す計測画像には、折れ線グラフが含まれる。図８に示す結果含有領域から計測データ等の数値情報（計測結果）が抽出される。例えば、図８に示すように折れ線グラフが結果含有領域として計測画像に含まれる場合、情報の時間が最も新しい１番右の折れ線グラフの位置（プロットの位置）から計測データ等の数値情報が抽出される。なお、折れ線グラフの位置だけでなく、グラフ基準位置や重心位置からの所定の距離や方向（例えば、縦方向）に関する数値が計測結果として抽出されてもよい。

図９に示す計測画像には、直線上に変化するメータ（上下に移動するメータ）が含まれる。図９に示す結果含有領域から計測データ等の数値情報（計測結果）が抽出される。図９に示すメータはバー（指針）が上下することで計測値の値を表示する。なお、メータの指針は、画像中の所定範囲にある直線（線分）である。結果含有領域に対する画像処理（例えば、メータの指針の位置やその変化の算出）により計測データ等の数値情報（計測結果）が抽出される。

図１０に示す計測画像には、回転状（又は扇型）に変化するメータが含まれる。図１０に示す結果含有領域から計測データ等の数値情報（計測結果）が抽出される。図１０に示すメータはバー（指針）が左右に動くことで計測値の値を表示する。なお、メータの指針は、画像中の所定範囲にある、直線（線分）である。メータの指針を示す直線の基準に対する角度や当該直線の位置等から計測データ等の数値情報（計測結果）が抽出される。つまり、メータの指針の位置やその変化から計測データ等の数値情報が得られる。

［計測端末］
図２を参照すると、計測端末２０は、表示部２０１と、制御部２０２と、記憶部２０３と、入力部２０４と、出力部２０５と、を含んで構成される。

表示部２０１は、計測端末２０による計測結果を表示する手段である。

制御部２０２は、計測端末２０の各部を制御する手段である。

記憶部２０３は、データ等を記憶する手段である。

入力部２０４、出力部２０５は、オペレータ等によるデータの入出力を担う手段である。

撮像装置３０に関する説明は上述のとおりであるので説明を省略する。

［動作の説明］
続いて、第１の実施形態に係る通知装置１０の動作について説明する。図１１は、第１の実施形態に係る通知装置１０の動作の一例を示すフローチャートである。

通知装置１０は、撮像装置３０から画像を取得する（ステップＳ０１）。

なお、計測画像として静止画を直接、装置間で送受信するのではなく、ストリーミング（動画像データを、全て受信するのではなく受信しながら再生する方式）のような動画が撮像装置３０（又は計測端末２０）と通知装置１０との間で送受信されてもよい。この場合、通知装置１０は、動画の中から静止画を所定間隔ごとにキャプチャし、静止画として取り込んでもよい。

通知装置１０は、記憶部１０５に格納された複数の取得画像の中から計測画像を抽出する（ステップＳ０２）。例えば、通知装置１０は、各画像に付された識別子を参照し、特定の識別子が付与された画像を計測画像として扱う。

通知装置１０は、取得した計測画像に類似する基準画像が存在するか否かを判定する（ステップＳ０３）。

通知装置１０は、上記画像間の類似判定に関し、種々の技術を用いることができる。即ち、所定の画像を判別し、抽出するための公知などのような画像処理技術を利用して計測表示領域を抽出してもよい。

例えば、通知装置１０は、画像処理の一般的手法であるパターンマッチングを使用して計測画像に類似する基準画像が存在するか否かを判定してもよい。結果含有領域を含む基準画像を予め用意し、計測画像の各領域と当該基準画像との間で画像マッチング処理（画像間の比較により類似度を得る処理）が実行され、基準画像の存否が判定されてもよい。

あるいは、通知装置１０は、２つの画像間の類似度を計算し、計測画像に類似する基準画像の存否を判定してもよい。この場合、得られた類似度が所定値以上、又は、類似度が最も大きい領域が持つ基準画像が計測画像に類似する画像として特定される。なお、２つの画像の大きさが異なり、これらの大きさが異なる画像の一致度（類似度）を検出するためには、画像サイズを徐々に変更しつつ一致度を計算する手法でもよく、その他の公知な画像処理方法を用いてもよい。

また、通知装置１０は、画像マッチング処理以外の処理としては、２つの画像に共通する特徴により計測画像に類似する基準画像の特定（基準画像に関する存否の確認）を行っても良い。例えば、通知装置１０は、所定の形状（例えば、特定の形状を囲む枠等）が２つの画像が含まれるか否かに応じて、基準画像の存否（有無）を確認してもよい。

通知装置１０は、形状の一致度が所定以上である場合、当該画像は一致度が所定値以上である画像を示すグラフ等の図形として判断しても良い。あるいは、通知装置１０は、図形の種類（例えば、棒グラフ、折れ線グラフ等）ごとに定めた所定色の領域や所定形状の領域の面積と当該領域の全体の大きさの比率から基準画像の存否を判定してもよい。なお、全体の大きさとして、予め定めた棒の高さの最大値、図形の向きから軸を判定し当該軸が示す最大値を用いることができる。

計測画像に類似する基準画像が存在すれば（ステップＳ０３、Ｙｅｓ分岐）、通知装置１０はステップＳ０４以降の処理を実行する。計測画像に類似する基準画像が存在しなければ（ステップＳ０３、Ｎｏ分岐）、通知装置１０はステップＳ０２に戻り処理を継続する。

次に、通知装置１０は、計測画像の種類ごとに、結果含有領域における変化の有無を判定する（ステップＳ０４）。

例えば、通知装置１０の判定部１１１（状態判定プログラム）は、直前に取得された計測画像（同種の計測画像）と処理対象の計測画像における結果含有領域の変化の有無を判定する。結果含有領域の変化の判定は、画像ごとの計測結果を含む領域である結果含有領域の特徴の変化により行われる。例えば、判定部１１１は、２つの結果含有領域（２つの画像の一部領域）の大きさ、位置、形状、色及び輝度の少なくとも１つが変化しているか否かにより上記判定が行われる。即ち、通知装置１０は、計測画像及び基準画像の一部又は全体が変化しているか否かを判定する。

結果含有領域に変化が存在すれば（ステップＳ０４、Ｙｅｓ分岐）、通知装置１０はステップＳ０５以降の処理を実行する。結果含有領域に変化がなければ（ステップＳ０４、Ｎｏ分岐）、通知装置１０はステップＳ０２に戻り処理を継続する。

次に、通知装置１０は、結果含有領域から計測結果の抽出を行う（ステップＳ０５）。

通知装置１０は、基準画像の種類ごとに取得した計測画像における結果含有領域の変化の有無を検出し、変化があれば、当該変化に対応する計測値を算出する。例えば、通知装置１０は、上記変化に対応する量、数値、その程度を算出する。

なお、上記計測値の算出は、計測画像の一部領域（結果含有領域）ごとの大きさの変化（形状の変化）、位置の変化（特定形状の移動）、色の変化等と、当該変化に対応する計測値と、を対応付けた情報に基づき行われる。あるいは、通知装置１０の判定部１１１は、結果含有領域の変化を入力とし計測結果を出力する計算式を用いて計測結果を抽出してもよい。

例えば、図６に示す表示ランプを含む計測画像の場合には、予め定めた表示ランプの画像全体における位置や、ランプ部分の色の変化（異なる色への変化）、点灯色や輝度の変化等から当該変化に応じた計測値（計測結果；例えば、計測対象の状態）が得られる。

あるいは、図７に示す計測画像であれば、右端の棒グラフの高さ（又は面積）と計測値の関係を規定するテーブル情報を記憶部１０５に格納しておき、通知装置１０は、当該テーブル情報を参照することで計測値を取得する。なお、棒グラフにおける棒の高さの抽出は、棒の図形と背景色との相違や時間変化がある画像だけを認識、特定することで行える。グラフの基準位置（例えば、Ｘ軸、Ｙ軸、又は、重心位置）から所定方向（例えば、縦方向）への距離から計測値が取得されてもよい。

また、図８に示すような折れ線グラフの場合には、折れ線グラフの位置（例えば、Ｘ軸からの最終プロットの位置）から予め定めておく単位長さあたりとの数値（計測値）の対応により計測結果が取得されてもよい。あるいは、画像全体の大きさを基準とした折れ線グラフの割合により、計測結果が取得されてもよい。なお、折れ線グラフの位置は、グラフの基準位置（例えば、Ｘ軸、Ｙ軸、又は、重心位置）からの所定方向（例えば、縦方向）への距離から取得することができる。

図９や図１０に示すメータ形状を含む計測画像の場合には、メータ（例えば、矩形形状、又は、扇型や円弧形状）における指針（直線）の位置変化、又は、基準に対する角度の変化に基づき計測結果が取得されてもよい。

通知装置１０は、計測結果に応じてオペレータ等に情報通知の必要があるか否かを判断する（ステップＳ０６）。

例えば、通知装置１０は、計測結果に対して閾値処理を施し、その結果に応じて上記情報通知が必要か否かを判断する。より具体的には、判定部１１１が、計測画像ごとに定めた変化量（あるいは、計測結果の絶対値）の上限や下限を規定する閾値と取得された計測結果を比較し、上記情報通知が必要か否かを判断する。即ち、判定部１１１は、計測結果が所定範囲内か範囲外かに基づき上記情報通知の必要性を判断してもよい。

情報通知の必要があれば（ステップＳ０６、Ｙｅｓ分岐）、通知装置１０はステップＳ０７以降の処理を実行する。情報通知の必要がなければ（ステップＳ０６、Ｎｏ分岐）、通知装置１０はステップＳ０８以降の処理を実行する。

ステップＳ０７において、通知装置１０はオペレータ等に対して情報通知を行う。例えば、通知装置１０は、計測対象の異常を知らせる警報、警告等の通知をしても良いし、計測結果を通知しても良い。あるいは、通知装置１０は、計測結果が閾値を超過した値（超過値）を通知してもよい。即ち、通知装置１０は、計測結果ごとに定められた判断基準に基づき、所定の通知（例えば、閾値からの超過分）をディスプレイ、印刷手段、音声出力手段、所定の端末等に出力する。

通知装置１０は、所定時間間隔ごとの情報の変化を外挿し、所定期間内に予め定めた不適切な状態（予め定めた閾値を超える等）に遷移すると予測した場合には、当該予測結果を通知してもよい。なお、上記外装は、線形補間の式（一次関数）でも良く、情報の変化から得たラグランジュやスプライン補間多項式等の補間多項式でもよい。通知装置１０は、これらの関係式を用いて将来における情報の変化を推測する。

通知装置１０は、取得した画像に含まれる全ての計測画像に関する処理が終了したか否かを判定する（ステップＳ０８）。即ち、通知装置１０は、取得した計測画像に関する計測値の抽出と当該抽出された計測値に応じた情報通知が終了しているか否かを判定する。

全ての計測画像について処理が終了していれば（ステップＳ０８、Ｙｅｓ分岐）、通知装置１０は、ステップＳ０９の処理を実行する。全ての計測画像について処理が終了していなければ（ステップＳ０８、Ｎｏ分岐）、通知装置１０は、ステップＳ０２に戻り処理を継続する。

ステップＳ０９において、通知装置１０は、オペレータ等からの計測終了の指示を検出したか否かを判断する。

当該指示を検出している場合（ステップＳ０９、Ｙｅｓ分岐）には、通知装置１０は処理を終了する。当該指示を検出していない場合（ステップＳ０９、Ｎｏ分岐）には、通知装置１０は、ステップＳ０１に戻り処理を継続する。この場合、通知装置１０は、１以上の計測画像が含まれる画像の取得を繰り返す。あるいは、通知装置１０は、所定間隔ごとに１以上の計測画像が含まれる画像を取得してもよい。

［ハードウェア］
上述の第１の実施形態に示した手順は、通知装置１０として機能するコンピュータ（図１２の５０）に、通知装置１０としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１２のＣＰＵ５１、メモリ５２を備える構成に例示される。即ち、図１２のＣＰＵ５１にて、メモリ５２に保存された状態判定プログラムを実行させればよい。

即ち、上記第１の実施形態に示した通知装置１０の各部（処理手段、機能）は、通知装置１０に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。計測端末２０、撮像装置３０も同様に、各装置に搭載されたコンピュータに制御プログラムを実行させることで上記説明した機能が実現される。

以上のように、第１の実施形態に係る通知装置１０は、計測結果を含む計測画像を取得し、当該計測画像から計測結果を抽出する。即ち、通知装置１０が計測対象に関する判定を行う際に必要とするのは「画像」であり、当該画像を取得すれば計測結果が抽出できる。画像のフォーマットは予め定められており、計測対象の機器が変更になったとしても計測対象（撮像装置３０）と通知装置１０との間のインターフェイスを変更する必要がない。その結果、計測対象が変更になったとしても当該変更に応じて通知装置１０のインターフェイスを変更する必要がなく、柔軟なシステム変更が可能となる。

［変形例］
上記実施形態にて説明した計測システムの構成や動作は例示であって、システムの構成等を限定する趣旨ではない。例えば、撮像装置３０がシステムに含まれず、撮像装置３０の機能が計測端末２０に実装されていてもよい。

コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを通知装置として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより計測対象の状態を判定する判定方法を実行することができる。

また、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
上述の第１の視点に係る情報処理装置のとおりである。
［付記２］
複数の前記計測画像それぞれの種類と前記複数の計測画像それぞれの基準画像を対応付けて記憶する基準画像データベースをさらに備え、
前記判定部は、前記基準画像データベースから前記複数の基準画像を取得し、前記取得された複数の基準画像それぞれと前記入力部から取得した計測画像に対する画像処理により前記取得した計測画像に対応する種類及び基準画像を決定する、好ましくは付記１に記載の情報処理装置。
［付記３］
前記判定部は、前記複数の基準画像それぞれと前記入力部から取得した計測画像を用いたパターンマッチングにより、前記取得された計測画像に対応する種類及び基準画像を決定する、又は、前記複数の基準画像それぞれと前記入力部から取得した計測画像の間の類似度により、前記取得された計測画像に対応する種類及び基準画像を決定する、好ましくは付記２に記載の情報処理装置。
［付記４］
前記基準画像データベースは、前記複数の計測画像それぞれについて結果含有領域の位置に関する情報を記憶し、
前記判定部は、前記基準画像データベースにアクセスして前記決定された基準画像に対応する前記結果含有領域の位置を取得し、前記入力部から取得した計測画像の結果含有領域を特定する、好ましくは付記３に記載の情報処理装置。
［付記５］
前記判定部は、前記特定された結果含有領域の変化に基づき、前記計測結果を抽出する、好ましくは付記４に記載の情報処理装置。
［付記６］
前記判定部は、前記結果含有領域の変化を入力とし前記計測結果を出力する計算式を用いて前記計測結果を抽出する、好ましくは付記５に記載の情報処理装置。
［付記７］
前記判定部は、前記特定された結果含有領域の大きさ、位置、形状、色及び輝度の少なくとも１つの変化に基づき、前記計測結果を抽出する、好ましくは付記６に記載の情報処理装置。
［付記８］
前記計測結果と外部に通知する内容を対応付けて記憶する計測結果データベースをさらに備え、
前記判定部は、前記計測結果データベースを参照して前記計測対象の状態を判定する、好ましくは付記１に記載の情報処理装置。
［付記９］
前記計測画像の結果含有領域に表示ランプの画像が含まれる場合、
前記判定部は、前記表示ランプの状態、又は、色に基づき前記計測結果を抽出する、好ましくは付記７に記載の情報処理装置。
［付記１０］
前記計測画像の結果含有領域にグラフの画像が含まれる場合、
前記判定部は、グラフの高さ又は位置、グラフの基準位置から所定方向への距離に基づき前記計測結果を抽出する、好ましくは付記７に記載の情報処理装置。
［付記１１］
前記計測画像の結果含有領域にメータの画像が含まれる場合、
前記メータにおける指針の位置変化、又は、基準に対する角度の変化に基づき前記計測結果を抽出する、好ましくは付記７に記載の情報処理装置。
［付記１２］
前記計測画像は、数値情報を含まず前記計測対象による計測値に関する情報を画像として含む、好ましくは付記１乃至１１のいずれか一に記載の情報処理装置。
［付記１３］
前記計測画像は、複数の前記結果含有領域を含む、好ましくは付記１乃至１２のいずれか一に記載の情報処理装置。
［付記１４］
上述の第２の視点に係る判定方法のとおりである。
［付記１５］
上述の第３の視点に係るプログラムのとおりである。
なお、付記１４の形態及び付記１５の形態は、付記１の形態と同様に、付記２の形態〜付記１３の形態に展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０ 通知装置
１１ 情報処理装置
１２、１０３、２０４ 入力部
１３、１１１ 判定部
１４、１０４、２０５ 出力部
２０ 計測端末
３０ 撮像装置
４０ 通信ライン
５０ コンピュータ
５１ ＣＰＵ（Central Processing Unit）
５２ メモリ
１０１ 画像入力部
１０２、２０２ 制御部
１０５、２０３ 記憶部
１２１ 基準画像データベース
１２２ 計測結果データベース
２０１ 表示部
３０１ 画像出力部
３０２ 撮像部

Claims (10)

1. 計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する、入力部と、
   前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行う、判定部と、
   前記計測対象に関する判定の結果を出力する、出力部と、
   を備える、情報処理装置。
2. 複数の前記計測画像それぞれの種類と前記複数の計測画像それぞれの基準画像を対応付けて記憶する基準画像データベースをさらに備え、
   前記判定部は、前記基準画像データベースから前記複数の基準画像を取得し、前記取得された複数の基準画像それぞれと前記入力部から取得した計測画像に対する画像処理により前記取得した計測画像に対応する種類及び基準画像を決定する、請求項１に記載の情報処理装置。
3. 前記判定部は、前記複数の基準画像それぞれと前記入力部から取得した計測画像を用いたパターンマッチングにより、前記取得された計測画像に対応する種類及び基準画像を決定する、又は、前記複数の基準画像それぞれと前記入力部から取得した計測画像の間の類似度により、前記取得された計測画像に対応する種類及び基準画像を決定する、請求項２に記載の情報処理装置。
4. 前記基準画像データベースは、前記複数の計測画像それぞれについて結果含有領域の位置に関する情報を記憶し、
   前記判定部は、前記基準画像データベースにアクセスして前記決定された基準画像に対応する前記結果含有領域の位置を取得し、前記入力部から取得した計測画像の結果含有領域を特定する、請求項３に記載の情報処理装置。
5. 前記判定部は、前記特定された結果含有領域の変化に基づき、前記計測結果を抽出する、請求項４に記載の情報処理装置。
6. 前記判定部は、前記結果含有領域の変化を入力とし前記計測結果を出力する計算式を用いて前記計測結果を抽出する、請求項５に記載の情報処理装置。
7. 前記判定部は、前記特定された結果含有領域の大きさ、位置、形状、色及び輝度の少なくとも１つの変化に基づき、前記計測結果を抽出する、請求項６に記載の情報処理装置。
8. 前記計測結果と外部に通知する内容を対応付けて記憶する計測結果データベースをさらに備え、
   前記判定部は、前記計測結果データベースを参照して前記計測対象の状態を判定する、請求項７に記載の情報処理装置。
9. 情報処理装置において、
   計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力するステップと、
   前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行うステップと、
   前記計測対象に関する判定の結果を出力するステップと、
   を含む、判定方法。
10. コンピュータに、
    計測対象の計測結果に関する情報が含まれる結果含有領域を含む計測画像を入力する処理と、
    前記計測画像に含まれる結果含有領域から前記計測結果を抽出し、前記抽出された計測結果から前記計測対象に関する判定を行う処理と、
    前記計測対象に関する判定の結果を出力する処理と、
    を実行させるプログラム。

Images