JP2011175523A

JP2011175523A - 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体

Info

Publication number: JP2011175523A
Application number: JP2010040021A
Authority: JP
Inventors: Takehiro Sato; 剛弘佐藤; Takashi Matsushima; 崇松嶋
Original assignee: Nippon Systemware Co Ltd
Current assignee: Nippon Systemware Co Ltd
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2011-09-08
Anticipated expiration: 2030-02-25
Also published as: JP5530752B2

Abstract

【課題】任意の構成を有する計器が表示する数値を自動的に読み取ることが可能な計器読み取り装置を提供する。
【解決手段】本発明の計器読み取り装置（１００）は、計器（１０００）を撮像する撮像手段（１０）と、前記撮像手段が撮像した画像を処理して、前記計器が示す数値を検出する画像処理手段（２０，３０）とを備え、前記画像処理手段は、前記撮像した画像を二値画像に変換する二値化処理手段（２２０）と、前記二値画像の中から白または黒の閉領域を抽出する閉領域抽出手段（２３０）と、前記抽出した閉領域の中から所定の形状および配列に関する条件に整合した閉領域を選択する数値候補領域選択手段（２４０）と、前記選択した数値候補領域の配列角度を求める配列角度決定手段（２５０）と、前記数値候補領域内の数値を識別する表示数値識別手段（３４０）とを備え、前記表示数値識別手段は識別時に前記求めた配列角度を用いて補正処理を行う。
【選択図】図１

Description

本発明は、計器が示す数値を自動的に読み取るための装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体に関し、より詳細には、計器の構成や設置条件に影響を受けず高い精度で数値を読み取ることができる装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体に関する。

現行の計器は様々なデザインや構成を有するため、任意の計器が示す数値を機械に読み取らせる場合、事前にその計器のデザインや構成に適合した専用の装置を用意する必要がある。

しかし、以下の特許文献１ないし３が示すようにカメラ等の撮像手段で計器の目盛を撮像し、その撮像画像から画像処理技術を用いて目盛の数値を識別すれば、単一の装置で不特定の計器の目盛の数値を読み取ることが可能となる。

特許文献１は、任意の計器が示す数値を自動的に読み取るための装置を開示している。この装置は、計器をＣＣＤカメラで撮像し、この撮像した画像にパターンマッチング処理を施すことでその数値を読み取っている。

特許文献２は、カーナビゲーションに搭載され、車両の距離計を読み取るための装置を開示している。この装置は、特許文献１と同様に計器を撮像した画像からパターンマッチングで数値を読み取っている。また、計器の最下位の桁の変化中の値を検出することで、より精度の高い数値読み取り技術を提供している。

特許文献３は、事前に計器に水平基線を設け、この基線を基に画像上の計器の角度や大きさを補正して読み取り精度を向上させている。

特開２０００−１８２０２１特許第３１４８５６８号特開２００６−２８５３０３

上記の特許文献が開示する装置には以下のような改善すべき不都合点がある。
特許文献１および２の装置ではパターンマッチング処理を用いているが、この処理では、撮像した画像内の計器の目盛の数値と、予め装置に格納しているテンプレート画像内の数値とが、角度、大きさにおいてほぼ同一でなければならない。そのため、事前に計器に対する撮像手段の位置、ズーム、角度等の調整を厳密に行わなければならない。また、特許文献２の装置は、自動車内に設置することが想定されているため、自動車の振動の影響を受けないような強固な設置方法を検討する必要がある。

特許文献３の装置は、計器に設けられた水平基線を用いて撮像画像内の計器の角度や大きさを補正することによって、読み取り精度を向上させている。しかし、計器が示す数値の周辺に数字や文字等が記載されていた場合に、装置が誤ってこれらの数字や文字を認識してしまう恐れがある。したがって、事前に画像内の計器の目盛の位置を装置に認識させねばならない。

本発明は上述の不都合点を改善するために創案されたものであり、本発明の目的は、特別な前処理が不要で、かつ高精度に、任意の構成を有する計器が表示する数値を自動的に読み取ることが可能な計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体を提供することである。

前記課題を解決するために創案された請求項１の発明は、デジタル式計器が示す数値を読み取る計器読み取り装置であって、計器が示す数値を含むシーンを撮像する撮像手段と、前記撮像手段が撮像した画像を処理して、前記計器が示す数値を検出する画像処理手段と、を備える。さらに、前記画像処理手段は、前記撮像した画像を二値画像に変換する二値化処理手段と、前記二値画像の中から白または黒の閉領域を抽出する閉領域抽出手段と、前記抽出した閉領域の中から所定の形状および配列に関する条件に整合した閉領域を前記計器が示す数値候補領域として選択する数値候補領域選択手段と、前記選択した数値候補領域の配列角度を求める配列角度決定手段と、前記数値の候補領域内の数値をテンプレートマッチング処理で識別する表示数値識別手段と、を備え、前記表示数値識別手段はテンプレートマッチング処理時に前記求めた配列角度を用いて補正処理を行う。

前記課題を解決するために創案された請求項２の発明は、請求項１に記載の計器読み取り装置において、前記所定の形状および配列に関する条件は、前記閉領域の太さが略同一であること、前記閉領域内において、中心と該中心から最遠端との距離を半径とする円の直径が略同一であること、最も近接する閉領域同士の間隔が略同一であること、前記閉領域の中心が略直線上に配列していること、を含む。

前記課題を解決するために創案された請求項３の発明は、請求項１または２に記載の計器読み取り装置において、前記数値候補領域の配列角度は、前記閉領域の中心を結んで作成された直線と、前記画像の水平線または垂直線との間で形成される角度で定義される。

前記課題を解決するために創案された請求項４の発明は、請求項２または３に記載の計器読み取り装置において、前記数値候補領域選択手段が、相互に近接している閉領域同士を単一の閉領域とみなして前記整合処理を行い、前記閉領域同士が相互に近接しているとみなす条件は、一方の閉領域の太さを１．５倍に増大させたときに他方の閉領域と重なり、かつ、前記一方および他方の閉領域同士が略同一の直径を有していることである。

前記課題を解決するために創案された請求項５の発明は、請求項４に記載の計器読み取り装置において、前記表示数値識別手段は、前記単一とみなした閉領域からなる数値候補領域を処理する場合には、該数値候補領域を単一とみなす前の複数の数値候補領域に分割して、その分割領域のそれぞれとテンプレートマッチング処理を行って別個に類似する数字を求め、該単一とみなした閉領域からなる数値候補領域は前記求めた数字の間で変化中であると判断する。

前記課題を解決するために創案された請求項６の発明は、請求項１ないし５の何れか一項に記載の計器読み取り装置において、前記テンプレートマッチング処理で用いられる複数のテンプレートはグレースケールで形成され、その明度が部分的に異なる。そして、前記複数のテンプレートのうちの１つのテンプレートを他のすべてのテンプレートと重ね合わせたときに、該他のテンプレートと多く重ならない部分ほどその明度が高くなる。

前記課題を解決するために創案された請求項７の発明は、撮像手段と画像処理手段とによって行われる、デジタル式計器が示す数値の読み取り方法であって、前記撮像手段によって計器が示す数値を含むシーンを撮像する撮像段階と、撮像した画像を二値画像に変換する二値化処理段階と、前記二値画像の中から白または黒の閉領域を抽出する閉領域抽出段階と、前記抽出した閉領域の中から所定の形状および配列に関する条件に整合した閉領域を前記計器が示す数値候補の領域として選択する数値候補領域選択段階と、前記選択した数値候補領域の配列角度を求める配列角度決定段階と、前記抽出した数値候補領域内の数値をテンプレートマッチング処理で識別する表示数値識別段階と、を含み、前記表示数値識別段階のテンプレートマッチング処理において、前記求めた配列角度を用いた補正処理が行われる。

前記課題を解決するために創案された請求項８の発明は、請求項７に記載の計器読み取り方法において、前記所定の形状および配列に関する条件が、前記閉領域の太さが略同一であること、前記閉領域内において、中心と該中心から最遠端との距離を半径とする円の直径が略同一であること、最も近接する閉領域同士の間隔が略同一であること、前記閉領域の中心が略直線上に配列していること、を含む。

前記課題を解決するために創案された請求項９の発明は、請求項７または８に記載の計器読み取り方法において、前記配列角度決定段階で求められる前記数値候補領域の配列角度が、前記閉領域の中心を結んで作成された直線と、前記画像の水平線または垂直線との間で形成される角度で定義される。

前記課題を解決するために創案された請求項１０の発明は、請求項８または９に記載の計器読み取り方法において、前記数値領域抽出段階が、相互に近接している閉領域同士を単一の閉領域とみなして前記整合処理を行う工程を含み、前記閉領域同士が相互に近接しているとみなす条件は、一方の閉領域の太さを１．５倍に増大させたときに他方の閉領域と重なり、かつ、前記一方および他方の閉領域同士が略同一の直径を有している。

前記課題を解決するために創案された請求項１１の発明は、請求項１０に記載の計器読み取り方法において、前記表示数値識別段階は、前記単一とみなした閉領域からなる数値候補領域を処理する場合には、該数値候補の領域を単一とみなす前の複数の数値候補領域に分割する段階と、前記分割した領域のそれぞれとテンプレートマッチング処理を行って別個に類似する数字を求める段階と、前記単一と見なした閉領域からなる数値候補領域が前記求めた数字の間で変化中であると判断する段階と、を含む。

前記課題を解決するために創案された請求項１２の発明は、請求項７ないし１１の何れか一項に記載の計器読み取り方法において、前記数値識別段階で行われるテンプレートマッチング用の複数のテンプレートはグレースケールで形成され、その明度が部分的に異なる。そして、前記複数のテンプレートのうちの１つのテンプレートを他のすべてのテンプレートと重ね合わせたときに、該他のテンプレートと多く重ならない部分ほどその明度が高くなる。

前記課題を解決するために創案された請求項１３の発明は、請求項７ないし１２の何れか一項に記載の計器読み取り方法を実行する電子回路である。

前記課題を解決するために創案された請求項１４の発明は、請求項７ないし１２の何れか一項に記載の計器読み取り方法をコンピュータに実行させるプログラムである。

前記課題を解決するために創案された請求項１５の発明は、請求項１４に記載のプログラムを格納したコンピュータ可読媒体である。

請求項１および７の発明では、撮像手段を用いて計器が示す数値を撮像し、その画像から所定の条件に基づき数値候補領域を検出している。そのため、撮像画像内の計器の数値の位置を予め設定する等の煩わしい前処理が不要である。また、計器と撮像手段との位置関係が変わっても正確に計器の位置を検出することができる。さらに、テンプレートマッチング処理時に数値候補領域の配列とテンプレート画像との角度の差を補正しているため、双方の角度のズレが±９０度未満ならば好適に計器の数値を読み取ることが可能である。

請求項２および８の発明では、数値候補領域を閉領域の太さ、直径、間隔からなる３つの要素に基づいて認識している。それゆえ、計器の目盛周辺に適当な数字、文字、記号等が記載されていてもこれらを数値候補領域と誤認識することなく、計器のデザインに影響を受けず、かつ高精度に数値候補領域を認識することが可能である。

請求項３および９の発明では、数値候補領域の配列角度を画像の水平線または垂直線を基準として求めている。そのため、テンプレート画像の角度もその画像内の水平線または垂直線を基に求めて、その差分を補正すれば、双方の角度はほぼ同一となり、高精度なパターンマッチング処理が可能となる。

請求項４および１０の発明では、計器の目盛が２つの数値間で変化中の場合における数値候補領域の認識方法について規定している。この手法によって、計器の数値が変化中でも好適に数値候補領域を認識することができる。

請求項５および１１の発明では、計器の目盛が２つの数値間で変化中の場合におけるパターンマッチング処理の方法について規定している。この手法では、変化中の数値用のテンプレート画像を用意する必要がないため、処理に要する負荷を低減させることができる。

請求項６および１２の発明では、テンプレートマッチング処理で用いるテンプレート画像をグレースケールで形成し、特定の部分の画素の明度を異ならせている。その結果、テンプレートマッチング時に生じる認識誤差やノイズの影響を低減し、認識率を向上させている。

請求項１３により、本発明を電子回路の形態で提供することが可能となる。

請求項１４により、本発明をプログラムの形態で提供することが可能となる。

請求項１５により、本発明をコンピュータ可読媒体の形態で提供することが可能となる。

本発明によって、カメラ等の撮像手段と計器との位置合わせ等の特別な前処理が不要で、かつ高精度に、任意の構成を有する計器が表示する数値を自動的に読み取ることが可能な計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体を提供することが可能となる。

本発明の一実施形態に係る計器読み取り装置の機能ブロック図であり、（ａ）は装置全体の概略ブロック図であり、（ｂ）は数値領域決定部の詳細ブロック図であり、（ｃ）は数値決定部の詳細ブロック図である。計器読み取り装置が撮像する画像の例である。計器読み取り装置が作成した二値画像の例である。計器読み取り装置が行うラベリング処理を説明するための図であり、（ａ）は第１のラベリング処理を施した画像であり、（ｂ）は第２のラベリング処理を施した画像である。計器読み取り装置がテンプレートマッチング処理で用いるテンプレート画像の例であり、（ａ）は二値画像で形成された一般的なテンプレート画像であり、（ｂ）はグレースケールで形成された本発明のテンプレート画像であり、（ｃ）は（ｂ）のグレースケールテンプレート画像の特徴を説明するために用いる、二値テンプレート画像を重ね合わせたときに生成される画像である。計器が示す数値が変化中の場合におけるテンプレートマッチング処理を説明するための図である。計器読み取り装置が行う計器読み取り方法の前処理の手順を示すフロー図である。計器読み取り方法の手順を概略的に示すフロー図である。計器読み取り方法の数値候補領域を決定する手順を詳細に示すフロー図である。計器読み取り方法のテンプレートマッチング処理の手順を詳細に示すフロー図である。

本発明の一実施形態に係る計器読み取り装置の構成や機能について、添付図面を参照して説明する。
図１（ａ）ないし（ｃ）は、本発明の一実施形態に係る計器読み取り装置１００の概略的な機能要素をブロック図として示している。図１（ａ）を参照すると、計器読み取り装置１００は、撮像部１０と、数値領域決定部２０と、数値決定部３０とから構成される。撮像部１０はデジタル型の計器１０００が示す数値を含むシーンを撮像するための機能要素であり、既存のデジタルカメラなどで実装される。撮像部１０は予め設定された周期毎に静止画像を撮像してもよいし、継続的に動画像を撮像してもよい。撮像した画像は、数値領域決定部２０および数値決定部３０に周知のデータ形式で転送される。図２は撮像した画像の例である。

数値領域決定部２０は撮像部１０から受け取った画像を分析し、画像内の計器１０００の表示部の数値に相当する１つまたは複数の領域（以下、「数値候補領域」と称する）を抽出し、その領域を構成する画素の画像内における位置（座標の値）を数値決定部３０に転送する機能を有する。数値決定部３０は、撮像部１０から受け取った画像内の、数値領域決定部２０が決定した数値候補領域に相当する部分（以下、「マッチング対象領域」と称する）を個別にテンプレートマッチングし、計器１０００が示す数値を特定する機能を有する。数値領域決定部２０および数値決定部３０には、特に限定するものではないが、汎用コンピュータまたは専用の処理装置を用いてよい。

次に、上述の数値領域決定部２０および数値決定部３０の詳細な機能について説明する。
まず、数値領域決定部２０について説明する。図１（ｂ）は、数値領域決定部２０の詳細な機能要素を示している。この図が示すように、数値領域決定部２０は、画像受信部２１０と、二値化処理部２２０と、閉領域抽出部２３０と、数値候補領域選択部２４０と、配列角度決定部２５０と、データ出力部２６０と、から構成される。以下、それぞれの機能要素について説明する。

［画像受信部２１０］
画像受信部２１０は、撮像部１０が撮像した画像のデータを該撮像部１０から受け取る機能を有する。撮像部１０とはインターフェース可能に接続されており、接続手段にはケーブル、無線、赤外線等の既存の接続方法を用いてよい。受け取った画像データは、後段の二値化処理部２２０に転送される。

［二値化処理部２２０］
二値化処理部２２０は、画像受信部２１０から受け取った画像データを二値画像に変換する機能を有する。二値化処理は画像処理技術において周知のため、その説明を省略する。二値画像の例を図３に示す。二値画像のデータは後段の閉領域抽出部２３０に転送される。

［閉領域抽出部２３０］
閉領域抽出部２３０は、二値化処理部２２０から受け取った二値画像のデータからユーザが予め選択した白、黒の何れかの閉領域を抽出し、その閉領域にラベルを一意に付与する機能を有する。例えば、図２の例のように計器１０００の表示部の数値が淡い色の場合には、二値化すると数値は白色になるため、ユーザは白を選択する。その場合、閉領域抽出部２３０は、二値画像の白の画素に着目する。黒の画素に囲まれた複数の白の画像で構成される独立領域をそれぞれ１つの閉領域と判断する。このようにして二値画像内のすべての閉領域を抽出してそれぞれの閉領域にラベルを付与する。ラベルの内容は、例えば「１、２、３・・・」、「Ａ、Ｂ、Ｃ・・・」、「α、β、γ・・・」等、すべての閉領域が一意に識別できれば特定の文字、数字、記号には限定しない。このラベルを付与する処理を本実施形態では「第１のラベリング処理」と称し、さらに、この処理で付与したラベルを「第１のラベル」と称する。図４（ａ）は、第１のラベリング処理が行われた画像の例を示している。処理が行われた画像のデータは後段の数値候補領域選択部２４０に転送される。
なお、処理する画像内のノイズ成分を閉領域と誤判断することを防止し、かつ、取り扱う閉領域の数を減少させて処理に要する負荷を低減させるために、閉領域を構成する画素の数に下限値を設定してもよい。例えば、処理画像の総画素数（解像度）の１／１００以下の画素数で構成される閉領域は処理を行わないように設定してもよい。

［数値候補領域選択部２４０］
数値候補領域選択部２４０は、閉領域抽出部２３０から受け取った画像の中の第１のラベルが付与された閉領域の中から計器１０００の表示部の数値部分に相当する閉領域（数値候補領域）を選択する機能を有する。この処理は以下の一連のステップにより構成される。

（１）第１のラベルが付与された閉領域の直径を求める
対象の閉領域の垂直および水平方向のそれぞれの両端位置を検出して、該閉領域の高さと幅を求める。次いで、その高さと幅の中間点を中心Ｃｎ（ｎは第１のラベル名）とし、当該閉領域の中心Ｃｎから最遠端までの距離（画素数）を求め、その値の２倍値を該閉領域の直径Ｒｎ（ｎは第１のラベル名）とする。この要領ですべての閉領域の直径を求める。
なお、直径Ｒｎに上限値を用いてもよい。例えば、図４（ａ）のラベル０が付与された閉領域のようにその直径Ｒｎの値が処理する画像の垂直または垂直方向の画素数／桁数の値を超える場合には、その閉領域を数値候補領域から除外してよい。

（２）第１のラベルが付与された閉領域の太さを求める
対象の閉領域を構成する画素を周縁から１画素ずつ消去する。そして、その作業を当該閉領域内の画素がなくなるまで継続し、その作業の回数を該閉領域の太さＴｎ（ｎは第１のラベル名）とする。この要領ですべての閉領域の太さを求める。
次は、閉領域を太さＴｎでグループ分けをする。すなわち、同一の太さＴｎを有する閉領域で１つのグループを構成する。なお、計器１０００の目盛の数値の桁数をＤｉｇとすると、同一の太さＴｎを有する閉領域が少なくともＤｉｇ個存在することになる。したがって、（Ｄｉｇ−１）個以下の閉領域で構成されるグループに属する閉領域はすべて以降の処理対象から除外する。

（３）相互に近接した、第１のラベルが付与された閉領域同士を単一の領域とする
対象の閉領域の太さを１．５倍だけ増大させ、隣接する他の閉領域と重なるかどうかを判定する。重なる閉領域が存在した場合に、双方の閉領域の直径Ｒｎを比較する。ここで、双方の閉領域の直径Ｒｎが略同一の場合には、以降の処理において該双方の閉領域を単一の閉領域として取り扱う。この要領ですべての閉領域について処理を行う。
処理が終わると、すべての処理対象の閉領域に再度ラベルを付与する。これを第２のラベリング処理とする。この第２のラベリング処理を行った画像の例を図４（ｂ）に示し、第１のラベルと第２のラベルとの対応関係を表１に示す。この例では、第１のラベル４および５がそれぞれ付与された閉領域同士を単一の領域とみなし、その領域に第２のラベル４’が付与されている。さらに、第１のラベル７と８とがそれぞれ付与された閉領域同士も単一の領域とみなし、その領域に第２のラベル７’が付与されている。

（３）第２のラベルが付与された閉領域の直径Ｒｎ（ｎは第２のラベル名）を再度求める。
要領は、（１）の処理と同様である。

（４）第２のラベルが付与された閉領域同士の間隔を求める
対象の閉領域とその閉領域に隣接する他の１つまたは複数の閉領域との間隔（画素数）Ｄｎｍ（ｎはその閉領域の第２のラベル名、ｍは隣接する閉領域の数）を求める。次に、同一の間隔Ｄｎｍを有する閉領域でグループ分けをする。ここで、計器１０００の数値の桁数をＤｉｇとすると、同一の間隔Ｄｎｍを有する閉領域が少なくともＤｉｇ個存在することになる。したがって、（Ｄｉｇ−１）個以下の閉領域で構成されるグループに属する閉領域はすべて以降の処理対象から除外する。

（５）第２のラベルが付与された閉領域の配列の直線性を求める
通常、計器の表示部の各桁の数値は直線上に並んでいる。したがって、処理対象の閉領域を配列させたときに、配列形状が直線になっているかどうかを調べる。例えば、図４（ｂ）において、第２のラベル１、２、３、６、４’、７’が付与された閉領域が処理対象となっている場合を例とする。ここで計器１０００の数値の桁数Ｄｉｇを「５」とした場合に閉領域の配列の組み合わせは_６Ｃ_５＝６通りとなる。したがって、すべての組み合わせについて配列の直線性を評価する。ここで、直線性の評価方法については、当該技術における周知の方法を用いてよい。例えば、評価対象の閉領域の中心をすべて直線で結び、その線の微分直線を求め、その変化量で評価してよい。評価の結果、図４（ｂ）において閉領域１、２、３、４’、７’の配列の組み合わせが最も高い直線性を示し、よってこれらの領域が計器１０００の示す数値部分に相当する数値候補領域であると決定する。この領域を以後、数値候補領域Ｍ１・・Ｍｄｉｇと称する。この数値候補領域のデータは後段の配列角度決定部２５０に転送される。

［配列角度決定部２５０］
配列角度決定部２５０は、数値候補領域Ｍ１・・Ｍｄｉｇの配列角度Ａｎｇを求める機能を有する。具体的には、数値候補領域Ｍ１・・Ｍｄｉｇの中心を結んだ直線と、処理画像の水平線または垂直線とでなす角度を求める。そして、数値候補領域Ｍ１・・ＭＣおよび配列角度Ａｎｇのデータを後段のテータ出力部２６０に出力する。

［データ出力部２６０］
データ出力部２６０は、配列角度決定部２５０から受け取ったデータを後段の数値決定部３０にインターフェース可能な形式で送付する機能を有する。

以上が、数値領域決定部２０の詳細な機能である。
次に、数値決定部３０について説明する。数値決定部３０は、図１（ｃ）に示すように画像受信部３１０と、データ受信部３２０と、テンプレート格納部３３０と、テンプレートマッチング部３４０と、数値出力部３５０と、から構成される。

［画像受信部３１０］
画像受信部３１０は、撮像部１０が撮像した画像のデータを該撮像部１０から受け取る機能を有する。撮像部１０とはインターフェース可能に接続されており、接続手段にはケーブル、無線、赤外線等の既存の接続方法を用いてよい。受け取った画像データは、後段のテンプレートマッチング部３４０に転送される。

［データ受信部３２０］
データ受信部３２０は、数値領域決定部２０のデータ出力部２６０から数値候補領域およびその配列角度に関するデータを受け取る機能を有する。受け取ったデータは後段のテンプレートマッチング部３４０に転送する。

［テンプレート格納部３３０］
テンプレート格納部３３０は、テンプレートマッチング部３４０がテンプレートマッチング時に使用するためのテンプレート画像を格納する機能であって、メモリ、ハードディスク、光ディスク、磁気ディスクなどで実装される。
このテンプレート格納部３３０に格納されるテンプレート画像は、数字０ないし９がそれぞれ写った複数の画像によって構成される。本実施形態では、これらのテンプレート画像は、図５（ａ）に示すような周知の二値画像ではなく、図５（ｂ）に示すようなグレースケールの画像（以下、「グレースケールテンプレート画像」と称する）である。
グレースケールテンプレート画像は、その明度が部分的に異なるように設定されており、任意の１つの画像を他のすべての画像と重ね合わせたときに、他の画像と重なる部分ほどその明度が高くなるようになっている。グレースケールテンプレート画像を使用する目的は、テンプレートマッチング処理におけるノイズや切り出し位置のずれに対する耐性を強化して認識率を向上させるためである。テンプレート画像の生成方法の手順を以下に説明する。
（１）二値テンプレート画像（図５（ａ）参照）をすべて重ね合わせる。重ね合わせたときの画像を図５（ｃ）の左側に示す。ここで、画像同士が多く重なる部分ほどその明度が高くなる。この現象の理解を容易にするために、図５（ｃ）の右側に画像「４」と「５」とを重ね合わせたときの画像を示す。重なった部分が明るくなっていることを理解できよう。
（２）重ね合わせた画像（図５（ｃ）参照）の明暗を反転させる。なぜならば、他の画像と重ならない部分ほどその画像の特徴を示す部分であり、画像認識において重要な部分となる。それゆえ、その画像の特徴を示す部分ほど明度を上げ、その一方で、特徴を示さない部分ほど明度を下げるような強調処理を行う。
（３）二値テンプレート画像と重ね合わせた画像とを基に、グレースケールテンプレート画像（図５（ｂ））を生成する。

［テンプレートマッチング部３４０］
テンプレートマッチング部３４０は、画像受信部３１０から転送された画像内の、データ受信部３２０から転送された数値候補領域に対応する箇所、すなわち、マッチング対象領域にテンプレートマッチング処理を施す機能を有する。このときにテンプレート格納部３３０にアクセスして上述のグレースケールテンプレート画像を取り出す。また、テンプレートマッチング時に、データ受信部３２０から受け取った数値候補領域の配列角度に従ってマッチング対象領域の画像を傾けることにより、画像内の計器１０００の表示部が示す数値とテンプレート画像との間の角度のずれを補正する。テンプレートマッチングの結果は数値出力部３５０に転送される。

テンプレートマッチング部３４０は、数値領域決定部２０から受け取った数値候補領域Ｍ１・・Ｍｄｉｇの仕様に従って以下の２つの何れかの方法でテンプレートマッチングを行う。
［第１のテンプレートマッチング方法］
例えば、図４（ａ）および（ｂ）において第１および第２のラベル１ないし３が付与された数値候補領域のように、第１のラベルと第２のラベルの数値が同一、すなわち、単一の閉領域からなる数値候補領域を処理する場合にこの方法を用いる。単純に数値候補領域とすべてのテンプレートとを比較し、最も類似度の高いテンプレートの数値を該当の数値候補領域の数値に決定する。
［第２のテンプレートマッチング方法］
例えば、図４（ａ）において第１のラベル４、５および７、８が付与され、かつ、図４（ｂ）において第２のラベル４’および７’が付与された数値候補領域のように、第１のラベルと第２のラベルの数値が異なる、すなわち、複数の閉領域であるが相互に近接しているため、単一の領域とみなした数値候補領域を処理する場合にこの方法を用いる。図６に示すように、数値候補領域を上下２つの領域に分割する。次いで、分割した上下の領域についてそれぞれ別個にテンプレートマッチング処理を行う。この結果、この図のように上の領域は「８」のテンプレート画像が最も類似し、下の領域は「９」のテンプレートが最も類似した場合、当該数値候補領域の数値は８から９への変化中であると決定する。
テンプレートマッチング処理の結果は、後段の数値出力部３５０に転送される。

［数値出力部３５０］
数値出力部３５０は、テンプレートマッチング部３４０から受け取ったデータを所定のデータ形式で外部に出力する機能を有する。

以上が本発明の一実施形態に係る計器読み取り装置１００の構成および機能である。次はこの計器読み取り装置１００が行う計器読み取り方法の手順について図７ないし１０を参照して説明する。なお、この方法において行われる個々の処理の詳細は既に説明しているため、ここでは処理の流れのみを簡単に説明する。

本実施形態に係る計器読み取り方法を行う前に、前処理としてユーザがマニュアルで処理条件を設定する必要がある。図７のフロー図を参照して説明すると、まず、計器１０００が撮像部１０の撮像するシーン内に入るように撮像部１０の位置、角度、ズーム等を調整する（ステップＳ１０）。計器１０００の撮像画像内における大きさについては、その目盛の表示部分の全体が認識可能な程度に画像内に入ればよい。計器１０００の角度についても特に厳密に調整する必要はなく、画像の水平線に対して計器１０００の目盛の数値部分の角度が±９０°の範囲内にあればよい。

撮像部１０の設定の後は、計器１０００が示す数値の色が白系か、黒系かを選択する（ステップＳ２０）。この情報は、後工程の撮像画像内の閉領域を抽出する処理のために用いる。この判断は目視によって行ってよい。次いで、計器１０００の表示値の目盛の桁数を入力する（ステップＳ３０）。以上で前処理は終了する。

図８は、計器読み取り方法を行う手順のフローを概略的に示している。この図のように、計器読み取り方法は、撮像部１０が計器１０００を含むシーンを撮像する工程（ステップＳ１０００）と、この撮像部１０が撮像した画像データを数値領域決定部２０および数値決定部３０に送る工程（ステップＳ２０００）と、数値領域決定部２０が撮像画像内の数値候補領域を決定する工程（ステップＳ３０００）と、数値決定部３０が撮像画像と数値候補領域を基に、撮像画像内の計器１０００が示す数値を検出するステップ（Ｓ４０００）とを、含む。

次に、数値領域決定部２０が行う上述のステップＳ３０００の詳細な手順について図９のフロー図を参照して説明する。
画像受信部２１０が撮像部１０より撮像画像を受け取る（ステップＳ３０１０）。次いで、二値処理部２２０が受け取った画像を二値画像に変換し（ステップＳ３０２０）、閉領域抽出部２３０がその二値画像内の閉領域を抽出する（ステップＳ３０３０）。閉領域のすべてを抽出したら、すべての閉領域に第１のラベルを付与し（ステップＳ３０４０）、数値候補領域選択部２４０が各閉領域の直径および太さを求める（ステップＳ３０５０）。

ステップＳ３０３０で求めた閉領域の中で、相互に近接した閉領域が存在するかどうかをチェックする（ステップＳ３０６０）。相互に近接した閉領域が存在する場合（ステップＳ３０６０で「ＹＥＳ」）、この閉領域同士を以降単一の閉領域とみなし（ステップＳ３０７０）、ステップＳ３０８０の手順に進む。相互に近接した閉領域が存在しない場合には（ステップＳ３０６０で「ＮＯ」）、そのままステップＳ３０８０の手順に進む。

閉領域のすべてに第２のラベルを付与する（ステップＳ３０８０）と共に、当該閉領域の直径を求める（ステップＳ３０９０）。さらに、それぞれ閉領域の隣接する他の閉領域に対する間隔を求め（ステップＳ３１００）、閉領域の配列のすべての組み合わせにおいける直線性を求める（ステップＳ３１１０）。

上記の手順で求めた閉領域の太さ、直径、間隔、配列の組み合わせにおける直線性を基に、数値候補領域となる閉領域を決定する（ステップＳ３１２０）。最後に、配列角度決定部２５０が数値候補領域の配列角度を求め（ステップＳ３１３０）、データ出力部２６０が数値候補領域の画素座標、配列角度等のデータを数値決定部３０に出力する（ステップＳ３１４０）。以上で処理を終了する。

次は、数値領域決定部２０が行う図８のステップＳ４０００の詳細な手順について図１０のフロー図を参照して説明する。
画像受信部３１０が撮像部１０から計器１０００を含む撮像画像を受け取る（ステップＳ４０１０）。また、データ受信部３２０が数値領域決定部２０から数値候補領域に関するデータを受け取る（ステップＳ４０２０）。なお、ステップＳ４０１０とＳ４０２０の手順は何れを先に行ってもよいし、あるいは同時に行ってもよい。

撮像画像と数値候補領域に関するデータとを基に、テンプレートマッチング部３４０が撮像画像内のマッチング対象領域にテンプレートマッチング処理を施す。まず、テンプレートマッチング処理に先立って、対象の数値候補領域の第１のラベルと第２のラベルとが同一かどうか、すなわち、対象の数値候補領域が複数の領域から構成されていないかどうかをチェックする（ステップＳ４０３０）。

対象の数値対象候補領域の第１のラベルと第２のラベルとが同一の場合（ステップＳ４０３０で「ＹＥＳ」）、数値候補領域の配列角度を基にマッチング対象領域の画像の角度を補正する（ステップＳ４０４０）。具体的には、マッチング対象領域の画像を配列角度と逆方向に同一量だけ回転させる。次いで、それぞれの数値候補領域にテンプレートマッチングを行い（ステップＳ４０５０）、最も類似度の高いテンプレート画像を該当する数値候補領域の数値とする（ステップＳ４０６０）。そして、ステップＳ４１１０の手順に進む。

対象の数値対象候補領域の第１のラベルと第２のラベルとが異なる場合（ステップＳ４０３０で「ＮＯ」）、すなわち、対象の数値対象候補領域が複数の閉領域から構成されている場合、該当のマッチング対象領域の画像を当該複数の領域に分割する（ステップＳ４０７０）。次いで、数値候補の配列角度を基にマッチング対象領域の画像の角度を補正し（ステップＳ４０８０）、それぞれの分割領域に別個にテンプレートマッチング処理を施す（ステップＳ４０９０）。そして、それぞれの領域で最も類似度の高いテンプレート画像を求め、該当のマッチング対象領域はその最も類似度の高いテンプレートの数値間で変化中であるとする（ステップＳ４１００）。その後、ステップＳ４１１０の手順に進む。

数値出力部３５０がテンプレートマッチング処理で求めた計器１０００の数値を出力する（ステップＳ４１１０）。以上で処理を終了する。

以上にわたって本発明の一実施形態に係る計器読み取り装置１００について説明をしたが、本発明の計器読み取り装置はこの実施形態に限定されるものではない。

例えば、本実施形態では、数値領域決定部２０と数値決定部３０とが同一の撮像画像に対して一連的に処理を行っているが、本発明はこの内容に限定されるものではない。代替的に、数値領域決定部２０と数値決定部３０とが異なる撮像画像に対して並列的に処理を行ってもよい。例えば、撮像部１０が動画像を撮像する場合には、数値領域決定部２０は撮像部１０から受け取ったフレーム画像を数コマおきに処理し、数値決定部３０はすべてのフレーム画像を処理してよい。この処理を行うと計器の数値を読み取る精度は劣化してしまうが、処理を行う処理装置の負荷を低減させ、処理に要する時間が短縮することができる。

本実施形態の数値領域決定部２０の数値候補領域選択部２４０は、数値候補領域を選択するに際して、閉領域を太さＴおよび間隔Ｄｎｍの数値を基にグループ分けを行っているが、本発明の数値候補領域を選択する方法は上記手法に限定されるものではない。代替的に、マッチング領域の大きさをテンプレート画像の大きさと同等になるように拡大または縮小し、次いで、予め設定された太さＴおよび間隔Ｄｎｍそれぞれの閾値の上限および下限と比較し、この範囲に入っている閉領域のみを選択するようにしてもよい。

本実施形態の数値決定部３０のテンプレートマッチング部３４０は、数値領域決定部２０の配列角度決定部２５０が求めた数値候補領域の配列角度に基にマッチング対象領域の画像を傾けることで、計器１０００の表示部の数値とテンプレート画像との間の角度のずれを補正しているが、本発明の角度補正方法は上記方法に限定されるものではない。代替的に、テンプレート画像を傾けてもよい。

本発明の一実施形態に係る計器読み取り装置１００が有する機能は、特定のハードウェア資源またはソフトウェア処理に限定されないことに留意されたい。すなわち、この機能を実現できる限り、如何なるハードウェア（電子回路等）、ソフトウェア（プログラム）、あるいはそれらの組み合わせ等を用いてよい。

上述した本発明の一実施形態に係る計器読み取り方法を、プログラムとして実装する場合には、このプログラムを外部のサーバ等から該方法を実行する情報処理装置にダウンロードするか、あるいはコンピュータ可読媒体の形態で分配されることが好ましい。コンピュータ可読媒体の例としては、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、フレキシブルディスク、光磁気ディスク、ハードディスクなどが挙げられる。

以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。

１０撮像部
２０数値領域決定部
３０数値決定部
１００計器読み取り装置
２１０画像受信部
２２０二値化処理部
２３０閉領域抽出部
２４０数値候補領域選択部
２５０配列角度設定部
２６０データ出力部
３１０画像受信部
３２０データ受信部
３３０テンプレート格納部
３４０テンプレートマッチング部
３５０数値出力部
１０００計器

Claims

デジタル式計器が示す数値を読み取る計器読み取り装置であって、
計器が示す数値を含むシーンを撮像する撮像手段と、
前記撮像手段が撮像した画像を処理して、前記計器が示す数値を検出する画像処理手段と、
を備え、
前記画像処理手段は、
前記撮像した画像を二値画像に変換する二値化処理手段と、
前記二値画像の中から白または黒の閉領域を抽出する閉領域抽出手段と、
前記抽出した閉領域の中から所定の形状および配列に関する条件に整合した閉領域を前記計器が示す数値の候補領域として選択する数値候補領域選択手段と、
前記選択した数値候補領域の配列角度を求める配列角度決定手段と、
前記数値候補領域内の数値をテンプレートマッチング処理で識別する表示数値識別手段と、
を備え、
前記表示数値識別手段はテンプレートマッチング処理時に前記求めた配列角度を用いて補正処理を行うことを特徴とする計器読み取り装置。
前記所定の形状および配列に関する条件は、
前記閉領域の太さが略同一であること、
前記閉領域内において、中心と該中心から最遠端との距離を半径とする円の直径が略同一であること、
最も近接する閉領域同士の間隔が略同一であること、
前記閉領域の中心が略直線上に配列していること、
を含むことを特徴とする請求項１に記載の計器読み取り装置。
前記数値候補領域の配列角度は、前記閉領域の中心を結んで作成された直線と、前記画像の水平線または垂直線との間で形成される角度で定義されることを特徴とする請求項１または２に記載の計器読み取り装置。
前記数値候補領域選択手段は、相互に近接している閉領域同士を単一の閉領域とみなして前記整合処理を行い、
前記閉領域同士が相互に近接しているとみなす条件は、一方の閉領域の太さを１．５倍に増大させたときに他方の閉領域と重なり、かつ、前記一方および他方の閉領域同士が略同一の直径を有していることである、請求項２または３に記載の計器読み取り装置。
前記表示数値識別手段は、前記単一とみなした閉領域からなる数値候補領域を処理する場合には、該数値候補領域を単一とみなす前の複数の数値候補領域に分割して、その分割領域のそれぞれとテンプレートマッチング処理を行って別個に類似する数字を求め、該単一とみなした閉領域からなる数値候補領域は前記求めた数字の間で変化中であると判断することを特徴とする請求項４に記載の計器読み取り装置。
前記テンプレートマッチング処理で用いられる複数のテンプレートはグレースケールで形成され、その明度が部分的に異なり、
前記複数のテンプレートのうちの１つのテンプレートを他のすべてのテンプレートと重ね合わせたときに、該他のテンプレートと多く重ならない部分ほどその明度が高くなることを特徴とする請求項１ないし５の何れか一項に記載の計器読み取り装置。
撮像手段と画像処理手段とによって行われる、デジタル式計器が示す数値の読み取り方法であって、
前記撮像手段によって計器が示す数値を含むシーンを撮像する撮像段階と、
撮像した画像を二値画像に変換する二値化処理段階と、
前記二値画像の中から白または黒の閉領域を抽出する閉領域抽出段階と、
前記抽出した閉領域の中から所定の形状および配列に関する条件に整合した閉領域を前記計器が示す数値候補の領域として選択する数値候補領域選択段階と、
前記選択した数値候補領域の配列角度を求める配列角度決定段階と、
前記抽出した数値候補領域内の数値をテンプレートマッチング処理で識別する表示数値識別段階と、
を含み、
前記表示数値識別段階のテンプレートマッチング処理において、前記求めた配列角度を用いた補正処理が行われることを特徴とする計器読み取り方法。
前記所定の形状および配列に関する条件は、
前記閉領域の太さが略同一であること、
前記閉領域内において、中心と該中心から最遠端との距離を半径とする円の直径が略同一であること、
最も近接する閉領域同士の間隔が略同一であること、
前記閉領域の中心が略直線上に配列していること、
を含むことを特徴とする請求項７に記載の計器読み取り方法。
前記配列角度決定段階で求められる前記数値候補領域の配列角度は、前記閉領域の中心を結んで作成された直線と、前記画像の水平線または垂直線との間で形成される角度で定義されることを特徴とする請求項７または８に記載の計器読み取り方法。
前記数値領域抽出段階は、相互に近接している閉領域同士を単一の閉領域とみなして前記整合処理を行う工程を含み、
前記閉領域同士が相互に近接しているとみなす条件は、一方の閉領域の太さを１．５倍に増大させたときに他方の閉領域と重なり、かつ、前記一方および他方の閉領域同士が略同一の直径を有していることである、ことを特徴とする請求項８または９に記載の計器読み取り方法。
前記表示数値識別段階は、前記単一とみなした閉領域からなる数値候補領域を処理する場合には、
該数値候補領域を単一とみなす前の複数の数値候補領域に分割する段階と、
前記分割した領域のそれぞれとテンプレートマッチング処理を行って別個に類似する数字を求める段階と、
前記単一と見なした閉領域からなる数値候補領域が前記求めた数字の間で変化中であると判断する段階と、
を含むことを特徴とする請求項１０に記載の計器読み取り方法。
前記数値識別段階で行われるテンプレートマッチング用の複数のテンプレートは、グレースケールで形成され、その明度が部分的に異なり、
前記複数のテンプレートのうちの１つのテンプレートを他のすべてのテンプレートと重ね合わせたときに、該他のテンプレートと多く重ならない部分ほどその明度が高くなることを特徴とする請求項７ないし１１の何れか一項に記載の計器読み取り方法。
請求項７ないし１２の何れか一項に記載の計器読み取り方法を実行する電子回路。
請求項７ないし１２の何れか一項に記載の計器読み取り方法をコンピュータに実行させるプログラム。
請求項１４に記載のプログラムを格納したコンピュータ可読媒体。