JP2023129942A

JP2023129942A - 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP2023129942A
Application number: JP2022034316A
Authority: JP
Inventors: 晴信吉長; Harunobu Yoshinaga
Original assignee: NS Solutions Corp
Current assignee: NS Solutions Corp
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2023-09-20

Abstract

【課題】撮像装置によって撮像された、設置されているアナログメータを含む画像から、アナログメータが示す値を検出できるようにする。【解決手段】撮像装置により撮像されたアナログメータを含む画像におけるアナログメータが有する針の回転中心に対応する中心点を特定し、アナログメータを含む画像を二値化処理した画像を用いて、特定された中心点を中心とする複数の円周とアナログメータの針部との交点を探索し、アナログメータを含む画像におけるアナログメータの針部を特定し、特定されたアナログメータの針部の角度に基づいて、アナログメータが示している値を取得する。【選択図】図４

Description

本発明は、画像からアナログメータが示す値を検出する情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。

回転する針によって値を指し示すアナログメータは、制御盤、操作盤、計装ラック等に設置され利用されている。カメラ等によって撮像された画像から、アナログメータの針が指し示す目盛り値を読み取る技術として、特許文献１、２に記載の技術が開示されている。

特開２０１１－１９６７１３号公報特開２０２０－１６０６９１号公報

本発明は、撮像装置によって撮像された、設置されているアナログメータを含む画像から、アナログメータが示す値を検出できるようにすることを目的とする。

本発明に係る情報処理システムは、回転する針によって値を示すアナログメータを撮像する撮像手段と、前記撮像手段により撮像された前記アナログメータを含む画像における前記アナログメータが有する針の回転中心に対応する第１の中心点を特定する第１の特定手段と、前記アナログメータを含む画像を二値化処理した画像を用いて、前記第１の中心点を中心とする複数の円周と前記アナログメータの針部との交点を探索し、前記アナログメータを含む画像における前記アナログメータの針部を特定する第２の特定手段と、特定された前記アナログメータの針部の角度に基づいて、前記アナログメータが示している値を取得する取得手段とを有することを特徴とする。

本発明によれば、撮像装置によって撮像された、設置されているアナログメータを含む画像から、アナログメータが示す値を検出することが可能となる。

本実施形態における情報処理システムの構成例を示す図である。本実施形態におけるサーバ装置のハードウェア構成の例を示す図である。本実施形態におけるサーバ装置の機能構成の例を示す図である。本実施形態におけるメータ読み取り処理の例を示すフローチャートである。本実施形態におけるメータ読み取り処理を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における情報処理システムの構成例を示す図である。図１には、本実施形態における情報処理システムを遠隔での設備監視等を可能にする遠隔監視システムに適用した例を示している。なお、図１に示す例は一例であり、本実施形態における情報処理システムは、遠隔監視システムに限られるものではなく、他のシステムにも適用可能である。

サーバ装置１０１は、遠隔の監視対象が撮像された画像に基づいて、監視対象の状況に係るデータを取得する情報処理装置である。サーバ装置１０１は、撮像装置１０２により撮像された制御盤１０６の画像を用いて画像解析を行い、制御盤１０６に設置されている表示部材の状態を取得する。本実施形態では、サーバ装置１０１は、制御盤１０６に設置されている、回転する針によって値を指し示すアナログメータが示している値を取得するものとする。サーバ装置１０１は、アナログメータの針の角度を特定し、特定した針の角度に基づいて、その針が指し示す値（目盛り値）を取得する。なお、この例では制御盤１０６としているが他の操作盤や計装ラック等であってもよく、撮像装置１０２で撮像可能な任意の部材に設置されているアナログメータを対象とすることができる。

撮像装置１０２は、カメラ等の撮像装置であり、制御盤１０６を撮像可能な位置（少なくとも対象となるアナログメータが画角内に含まれる位置）に設置されている。撮像装置１０２は、キャリア回線等の通信回線１０３を介して、サーバ装置１０１と通信可能に接続されている。撮像装置１０２は、１分毎や５分毎のような所定の時間間隔で制御盤１０６を撮像し、撮像した制御盤１０６の画像を、通信回線１０３を介してサーバ装置１０１に送信する。

なお、ユーザ操作による撮像指示等に応じた任意のタイミングで撮像装置１０２が撮像動作を行うようにしてもよい。また、撮像装置１０２とサーバ装置１０１とは、通信回線１０３によって接続される例に限らず、ネットワーク等を介して接続されていてもよく、撮像装置１０２が撮像した画像をサーバ装置１０１に送信可能なように接続されていればよい。また、図１には、１つの撮像装置１０２を図示しているが、複数の撮像装置がサーバ装置１０１と接続されていてもよい。

また、本実施形態における情報処理システムにおいて、サーバ装置１０１は、ユーザ等が使用する端末装置１０４とインターネットやＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワーク１０５を介して接続可能となっている。端末装置１０４は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット装置、スマートフォン等で構成される。サーバ装置１０１は、例えば、端末装置１０４からの要求に応じて、取得した監視対象の状況に係るデータを提供する。また、取得した監視対象の状況が所定の条件を満たす場合に、サーバ装置１０１が端末装置１０４に通知等を行うようにしてもよい。

図２は、本実施形態におけるサーバ装置１０１のハードウェア構成の一例を示す図である。サーバ装置１０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１、主記憶装置２０２、補助記憶装置２０３、入力Ｉ／Ｆ２０４、出力Ｉ／Ｆ２０５、及び通信Ｉ／Ｆ２０６を有する。ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、入力Ｉ／Ｆ２０４、出力Ｉ／Ｆ２０５、及び通信Ｉ／Ｆ２０６は、システムバス２０７を介して、互いに通信可能に接続されている。

ＣＰＵ２０１は、サーバ装置１０１を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリアやデータの一時的な記憶場所として機能する記憶装置である。主記憶装置２０２は、例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等を用いて実装される。補助記憶装置２０３は、プログラム、画像データ、各種処理に係る情報等を記憶する記憶装置である。補助記憶装置２０３は、例えばＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等を用いて実装される。

入力Ｉ／Ｆ２０４は、マウスやキーボード等の入力装置からの情報の入力に利用されるインターフェースである。出力Ｉ／Ｆ２０５は、ディスプレイやスピーカ等の出力装置への情報の出力に利用されるインターフェースである。通信Ｉ／Ｆ２０６は、例えばインターネットやＬＡＮ等のネットワークを介した外部の装置等との通信や、例えばキャリア回線等の通信回線を介した撮像装置等との通信に利用されるインターフェースである。

ＣＰＵ２０１が、補助記憶装置２０３に記憶されたプログラムに基づいて処理を実行することによって、図３に示すサーバ装置１０１の各機能、及び図４のフローチャートに示す各処理等が実現される。

図３は、本実施形態におけるサーバ装置１０１の機能構成の一例を示す図である。サーバ装置１０１は、画像取得部３０１、画像記憶部３０２、画像解析部３０３、判定部３０４、情報記憶部３０５、及び出力部３０６を有する。

画像取得部３０１は、撮像装置１０２により撮像された制御盤１０６の画像、詳細には対象となる、回転する針によって値を指し示すアナログメータを含む制御盤１０６の画像を取得する。画像取得部３０１により取得された画像は画像記憶部３０２に記憶される。

画像解析部３０３は、画像記憶部３０２に記憶された画像を画像解析して解析結果を出力する。本実施形態では、画像解析部３０３は、画像記憶部３０２に記憶された画像を用いて後述する図４に示すメータ読み取り処理を行い、画像内の対象のアナログメータの針が指し示す値を取得して解析結果として出力する。画像解析部３０３は、第１の特定手段、第２の特定手段、取得手段、抽出手段、及び補正手段の一例である。

判定部３０４は、画像解析部３０３での画像解析により得られた解析結果が所定の条件を満たすか否かを判定する。例えば、判定部３０４は、解析結果として得られたアナログメータの針が示す値が所定の閾値を超えているか否か、あるいは所定の範囲内であるか否かを判定する。また、例えば、判定部３０４は、解析結果として得られたアナログメータの針が示す値の時間における変化が所定の条件を満たすか否かを判定する。情報記憶部３０５は、画像解析部３０３での画像解析により得られた解析結果や判定部３０４による判定結果等を記憶する。

出力部３０６は、サーバ装置１０１において得られた情報等を端末装置１０４等に出力する。例えば、出力部３０６は、端末装置１０４からの要求に応じて、画像解析により得られた解析結果（アナログメータの針が示す値等）を端末装置１０４に提供する。これにより、端末装置１０４は、使用するユーザに対して解析結果を表示して提示することができる。また、例えば、出力部３０６は、判定部３０４による判定の結果、所定の条件を満たした場合に電子メールやプッシュ通知等により端末装置１０４に通知するようにしてもよい。これにより、端末装置１０４を使用するユーザに対して、所定の条件を満たしたことを通知することができる。また、出力部３０６は、画像解析により得られた解析結果に対応する、画像記憶部３０２に記憶されている画像を端末装置１０４に提供するようにしてもよい。

図４は、本実施形態におけるサーバ装置１０１が行うメータ読み取り処理の例を示すフローチャートである。図４に示すメータ読み取り処理は、例えば、サーバ装置１０１が、撮像装置１０２により撮像された制御盤１０６を含む画像を受信する度に実行される。

ステップＳ４０１にて、画像取得部３０１が、撮像装置１０２により撮像された、対象とするアナログメータを含む制御盤１０６の画像を取得する。ここで、対象とするアナログメータは、回転する針を有し、その針によって値を示すアナログメータである。画像取得部３０１により取得された制御盤１０６の画像は、画像記憶部３０２に記憶される。図５（Ａ）に、取得される制御盤１０６の画像の一例を示す。図５（Ａ）において、５０１が撮像装置１０２により撮像された画像全体である。画像５０１内には、対象とするアナログメータ５１１が設置されている制御盤５０２が含まれている。

ステップＳ４０２にて、画像解析部３０３が、予め登録されているテンプレート画像を用いたテンプレートマッチングにより、ステップＳ４０１において取得された制御盤１０６の画像から、対象とするアナログメータを含む部分画像を抽出する。例えば、図５（Ａ）に示した例では、画像解析部３０３は、対象とするアナログメータ５１１を抽出するためのテンプレート画像を用いたテンプレートマッチングにより画像全体５０１から部分画像５１２を抽出する。これにより、図５（Ｂ）に示すような回転する針５２１を有するアナログメータ５１１を含む部分画像が得られる。

ステップＳ４０３にて、画像解析部３０３が、ステップＳ４０２において抽出された部分画像に対して歪み補正処理を行う。この歪み補正処理では、画像解析部３０３が、部分画像に対して射影変換を施すことにより、対象とするアナログメータの部分における歪みを補正する。例えば、本来は円形であるべき形状が、部分画像において楕円形になっている場合には、その形状が円形となるように変換することで歪みを補正する。これにより、対象とするアナログメータに対して水平方向及び垂直方向ともに正面となるように撮像装置１０２が設置されないこと等により発生する画像の歪みを低減する。また、画像解析部３０３は、画像の撮影環境による影響等を低減するために色調変換やガウス変換等の処理を必要に応じて部分画像に施すようにしてもよい。

ステップＳ４０４にて、画像解析部３０３が、部分画像においてアナログメータの目盛り部分を特定する処理を行う。画像解析部３０３は、部分画像において円形（その一部である弧を含む）の形状を示す部分及びその円形の中心点の探索を行う。画像解析部３０３は、探索して得られた円形の形状の内、円形の形状の面積が最も大きな円形がアナログメータの目盛り部分に対応する円形であるとして、アナログメータの目盛り部分を特定する。また、画像解析部３０３は、アナログメータの目盛り部分に対応するものとした円形の形状の面積が最も大きな円形の中心点が、対象のアナログメータが有する針の回転中心であると特定する。

例えば、画像解析部３０３は、部分画像に対してハフ変換による円形検出を行う。画像解析部３０３は、部分画像に二値化処理を施し、背景部が白色で、背景部とは異なる部分が黒色の画像に変換する。画像解析部３０３は、二値化処理した部分画像に基づいて、元になる円周上の点（ｘ，ｙ）を円の中心点（Ｘｃ，Ｙｃ）と半径ｒとの３次元空間に変換して、＜Ｘｃ，Ｙｃ，ｒ＞毎にその個数を加算していく。そして、画像解析部３０３は、仮想的な円に載る点の個数が最大になった組み合わせを円形とみなし元の直交座標系に変換して最も円形らしい点の集まりを取得することで、円形の形状及びその円形の中心点を探索する。ここで、画像は整数の座標系を持つ不連続な点の集まりであるのに対して、ハフ変換における計算式（ｘ－Ｘｃ）²＋（ｙ－Ｙｃ）²＝ｒ²は連続性を持つために誤差が生じる。そのため、画像において、輪郭が１ピクセル幅程度の細い円は完全な円として変換されない場合があり、数ピクセル幅で円が描かれている必要があるが、数ピクセル幅の円形に対しては複数の解釈が成り立ってしまう。そこで、画像解析部３０３は、円周上に載る点が最も多く検出されたものを面積が最大の円形とする。

以上のようにして、画像解析部３０３は、図５（Ｃ）に一例を図示したように、アナログメータ５１１の目盛り部分に対応する円形５３１、及びアナログメータ５１１の針５２１の回転中心に対応する円形５３１の中心点５３２を取得する。

ステップＳ４０５にて、画像解析部３０３が、部分画像に二値化処理を施し、二値化処理した部分画像を用いて、部分画像におけるアナログメータの針部を特定する。画像解析部３０３は、画像撮影時の明るさ等の撮影環境変化に対応し、アナログメータの針の色にかかわらず針部が認識できるよう二値化処理を行う。ここでは、画像解析部３０３は、例えば以下に説明する処理を行うことで、部分画像におけるアナログメータの針部を特定する。なお、以下の説明では、二値化処理を施した部分画像は、背景部が白色で、アナログメータの針部を含む背景部とは異なる部分が黒色であるものとする。

画像解析部３０３は、ステップＳ４０４での探索により得られた中心点を中心とする円周と、部分画像におけるアナログメータの針部との交点を探索する。画像解析部３０３は、部分画像において背景部とは異なる部分である、二値化処理した部分画像における黒色の部分と、ステップＳ４０４での探索により得られた中心点を中心とする円周との交点を探索することにより、中心点を中心とする円周と部分画像におけるアナログメータの針部との交点を探索する。ここで、探索に用いる円周の数は特に限定しないが、部分画像における背景部とは異なる部分のうち、アナログメータの針部と異なる部分（例えば、メータ内に記載された文字等）も交点として検出され得ることを考慮すると、針部の誤検出を防止するために半径の異なる複数の円周を用いることが好ましい。一方、探索に用いる円周の数が増加するほど、探索に係る処理量が増大する。そこで、例えば、ステップＳ４０４での探索により得られたアナログメータの目盛り部分に対応する円形の半径より小さく、かつ互いに半径の異なる３つの円周を用いて交点の探索を行う。図５（Ｄ）に、その一例を示す。図５（Ｄ）には、二値化処理した部分画像５４１において、中心点５３２を中心とし、半径が異なる３つの円周５４２、５４３、５４４を用いて、アナログメータの針部５４５を特定する例を示している。図５（Ｄ）に示した例では、ステップＳ４０４での探索により得られたアナログメータの目盛り部分に対応する円形の半径をＲとし、半径Ｒより小さい０．９Ｒを３等分した０．９Ｒ、０．６Ｒ、０．３Ｒを円周５４２、５４３、５４４のそれぞれの半径としている。

画像解析部３０３は、前述した探索によって検出された交点に基づいて部分画像におけるアナログメータの針部の特定を行う。画像解析部３０３は、ステップＳ４０４での探索により得られた中心点を中心として、前述した探索によって検出された交点の位置を角度に変換した際に、検出された交点の数が最も多い角度を部分画像におけるアナログメータの針部の角度として特定する。

ステップＳ４０６にて、画像解析部３０３が、ステップＳ４０５において特定した部分画像におけるアナログメータの針部の角度に基づいて、アナログメータの針が指し示す値を取得する。画像解析部３０３は、予め登録されている針部の角度とアナログメータの針が示す値とを対応付けるデータを用いて変換処理を行い、アナログメータの針部の角度に応じたアナログメータの針が指し示す値を取得する。針部の角度とアナログメータの針が示す値とを対応付けるデータを予め登録しておくことにより、アナログメータにおける目盛りの縮尺が値の範囲によって異なっていても、縮尺の違いを考慮してアナログメータの針が指し示す値を適切に取得することができる。

ステップＳ４０７にて、画像解析部３０３が、ステップＳ４０６において取得した、対象とするアナログメータの針が指し示す値を情報記憶部３０５に記憶させ、メータ読み取り処理を終了する。

以上説明したように、本実施形態によれば、撮像装置１０２により撮像された制御盤１０６の画像から、テンプレートマッチングにより対象のアナログメータを含む部分画像を抽出し、抽出された部分画像においてアナログメータの目盛り部分を特定することにより、アナログメータが有する針の回転中心となる中心点を特定する。そして、その中心点を中心とする円周と画像との交点を探索することで部分画像におけるアナログメータの針部を特定し、特定されたアナログメータの針部の角度に基づいて、アナログメータが示している値を取得する。これにより、撮像装置１０２によって撮像された画像から、設置されているアナログメータが示している値を検出することができる。

また、撮像装置１０２により撮像された制御盤１０６の画像からアナログメータが示している値を検出することができるので、制御盤１０６の存在する場所から離れている場所であっても、制御盤１０６に設置されているアナログメータの値を確認でき、監視対象の状況を遠隔で確認することが可能となる。遠隔での確認を可能にするために行う制御盤等そのものの改造工事に対してはコストや許可条件などの制約が発生し得る。しかし、本実施形態によれば、制御盤等の改造工事を行わずに、制御盤等を撮像可能なように撮像装置を設置すればよいので、制御盤等の改造工事に制約がある場合でも対応することができ、導入に係るコストや作業を抑制して容易に遠隔での確認を可能にすることができる。また、朝夕等の画像撮影時の明るさ等が異なる環境でも、画像に対する補正・調整を適宜行ってアナログメータが示している値の検出を行うことで、メータの値を正確に検出することが可能になる。

なお、前述した説明では、制御盤１０６及びそれを撮像する撮像装置１０２とは離れた場所に設置されたサーバ装置１０１が、撮像された画像からアナログメータの値を検出する処理を行うようにしている。しかし、これに限らず、例えば、撮像装置１０２内又は撮像装置１０２の近傍に設置した別のサーバ装置に画像解析部３０３に対応する機能を設け、制御盤１０６が設置されている側でアナログメータの値を検出する処理を行い、検出結果であるアナログメータの値をサーバ装置１０１に送信するようにしてもよい。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１サーバ装置（情報処理装置）
１０２撮像装置
１０３通信回線
１０４端末装置
１０５ネットワーク
１０６制御盤
２０１ＣＰＵ
２０２主記憶装置
２０３補助記憶装置
２０４入力Ｉ／Ｆ
２０５出力Ｉ／Ｆ
２０６通信Ｉ／Ｆ
２０７システムバス
３０１画像取得部
３０２画像記憶部
３０３画像解析部
３０４判定部
３０５情報記憶部
３０６出力部

Claims

回転する針によって値を示すアナログメータを撮像する撮像手段と、
前記撮像手段により撮像された前記アナログメータを含む画像における前記アナログメータが有する針の回転中心に対応する第１の中心点を特定する第１の特定手段と、
前記アナログメータを含む画像を二値化処理した画像を用いて、前記第１の中心点を中心とする複数の円周と前記アナログメータの針部との交点を探索し、前記アナログメータを含む画像における前記アナログメータの針部を特定する第２の特定手段と、
特定された前記アナログメータの針部の角度に基づいて、前記アナログメータが示している値を取得する取得手段とを有することを特徴とする情報処理システム。
前記第１の特定手段は、前記撮像手段により撮像された前記アナログメータを含む画像内の円形の形状及び該円形の中心点である第２の中心点の探索を行い、前記円形の形状の面積が最も大きな円形の前記第２の中心点を、前記第１の中心点とすることを特徴とする請求項１に記載の情報処理システム。
前記第２の特定手段は、前記第１の特定手段での探索によって得られた前記円形の形状の面積が最も大きな円形の半径よりも小さくかつ互いに半径が異なる前記複数の円周と、前記アナログメータの針部との交点に基づいて、前記アナログメータの針部を特定することを特徴とする請求項２に記載の情報処理システム。
前記取得手段は、予め登録された前記アナログメータの針部の角度と前記アナログメータが示している値とを対応付けるデータに基づいて、前記アナログメータが示している値を取得することを特徴とする請求項１～３の何れか１項に記載の情報処理システム。
前記撮像手段により撮像された画像から、テンプレートマッチングにより前記アナログメータを含む部分画像を抽出する抽出手段を有し、
前記第１の特定手段は、抽出された前記部分画像における前記第１の中心点を特定することを特徴とする請求項１～４の何れか１項に記載の情報処理システム。
撮像された前記アナログメータを含む画像に射影変換を施して歪みを補正する補正手段を有することを特徴とする請求項１～５の何れか１項に記載の情報処理システム。
回転する針によって値を示すアナログメータを撮像する撮像手段により撮像された画像を取得する画像取得手段と、
前記画像取得手段により取得された前記アナログメータを含む画像における前記アナログメータが有する針の回転中心に対応する第１の中心点を特定する第１の特定手段と、
前記アナログメータを含む画像を二値化処理した画像を用いて、前記第１の中心点を中心とする複数の円周と前記アナログメータの針部との交点を探索し、前記アナログメータを含む画像における前記アナログメータの針部を特定する第２の特定手段と、
特定された前記アナログメータの針部の角度に基づいて、前記アナログメータが示している値を取得する取得手段とを有することを特徴とする情報処理装置。
回転する針によって値を示すアナログメータを撮像する撮像手段により撮像された画像を取得する画像取得工程と、
前記画像取得工程にて取得された前記アナログメータを含む画像における前記アナログメータが有する針の回転中心に対応する第１の中心点を特定する第１の特定工程と、
前記アナログメータを含む画像を二値化処理した画像を用いて、前記第１の中心点を中心とする複数の円周と前記アナログメータの針部との交点を探索し、前記アナログメータを含む画像における前記アナログメータの針部を特定する第２の特定工程と、
特定された前記アナログメータの針部の角度に基づいて、前記アナログメータが示している値を取得する取得工程とを有することを特徴とする情報処理方法。
回転する針によって値を示すアナログメータを撮像する撮像手段により撮像された画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された前記アナログメータを含む画像における前記アナログメータが有する針の回転中心に対応する第１の中心点を特定する第１の特定ステップと、
前記アナログメータを含む画像を二値化処理した画像を用いて、前記第１の中心点を中心とする複数の円周と前記アナログメータの針部との交点を探索し、前記アナログメータを含む画像における前記アナログメータの針部を特定する第２の特定ステップと、
特定された前記アナログメータの針部の角度に基づいて、前記アナログメータが示している値を取得する取得ステップとをコンピュータに実行させるためのプログラム。