JP2017521011A - シンボルの光学的検出方法 - Google Patents

Abstract

本発明は、ディスプレイ（２）の画像データを取得して、ディスプレイ（２）上に表示されるシンボル（４）を光学的に検出する方法であって、取得した画像データ内で、ディスプレイ（２）の表示領域を検出するステップ（２９、３０）と、検出した表示領域を表す画像データを準備するステップ（３２）と、準備した画像データを用いてシンボルの光学的検出を実行するステップ（３４、３５）と、シンボルの光学的検出（３４、３５）時に、検出したシンボルをメモリ（１３）に格納するステップとを含む。

Description

本発明は、ディスプレイ上に表示されるシンボルの光学的検出方法であって、ディスプレイ上の画像データが取得される方法、ならびに、画像データを記録する画像センサと、本発明に係る方法を実施するように構成されたプロセッサおよびメモリとを備える携帯端末に関する。

ディスプレイに表示されるシンボルの自動検出および処理は、さまざまのタイプの適用例において有益に用いられる。極めて当然ながら、そのような光学的検出は、２つの装置間の無線データ送信において、情報元側（すなわち、ディスプレイが読み出される装置）に、簡易性とコスト効果の実現をもたらす。

これが特に適用されるのは、ユーザがデータを読み出さねばならず、従って、このデータを表示するディスプレイがいずれにしても存在するという適用例においてである。このような場合、無線データ送信が当然別個に行われるが、これは送信装置を必要とし、その結果、コスト増加を伴うことになる。

そのような適用例の典型的なものとしては測定装置の類が挙げられ、特に、例えば血糖値測定装置などであるが、これらは、通常、コスト上の理由により無線データ送信インタフェースを備えることなく製造される、比較的簡易で費用効果の高い測定装置である。

ｈｔｔｐ：／／／ｗｗｗ．ｉｎｓｔｒｕｃｔａｂｌｅｓ．ｃｏｍ／ｉｄ／Ｈｏｗ−ｔｏ−ｉｎｔｅｒｆａｃｅ−ｄｉｇｉｔａｌ−ｄｉｓｐｌａｙｓ−ｗｉｔｈ−ｙｏｕｒ−ＰＣ／ｌａｎｇ＝ｄｅ＆ＡＬＬＳＴＥＰＳによって知られているのが、ＰＣインタフェースがない場合のデジタル・ディスプレイの読み出し方法である。適応閾値法が、画像データの前処理に用いられる。

さらに、ディスプレイ枠をブロブ・フィルタの特徴を示すフィルタとして用いることが記載され、そのように用いることにより、あるブロブに囲まれたブロブを識別することができる。シンボル検出は、公知の形態のテーブルと比較することにより行われる。

ｈｔｔｐ：／／ｗｗｗ．ｎｅｔｚｗｅｌｔ．ｄｅ／ｎｅｗｓ／８６０１６−ｈａｎｄｙ−ａｌｌｔａｇ−ｂｅｓｔｅｎ−ｓｃａｎｎｅｒ−ａｐｐｓ−ｕｅｂｅｒｂｌｉｃｋ．ｈｔｍｌのウェブサイトには、個別の機能が記載されているが、それらの実施についての記載はない。

示された機能は、携帯電話が写真を回転させることができるというものであるが、これによって、写真が紙面に対して正確に直角に配置されているように見える。画像コンテンツのエッジの自動検出および、異なる状況ではあるが、ＯＣＲをビジターのカードに適用することについて、当該ウェブサイトでは検討されている。

主要な関連の方法も、計数器の状態を自動的に読み出すことについては、既に提案されている。例えば、ＤＥ１０２０１１０００５１６Ａ１は、測定装置、特に、電気、水、ガスのメータやヒートメータの数値機械的すなわちデジタル的表示を光電子的に検出し、文字認識によってシンボルコード（ＡＳＣＩＩ符号）に変換する検出装置を開示している。

検出装置は、測定装置と並列に、測定装置のディスプレイの上方に直接位置付けられ、測定装置に接続されるので、場合によっては、文字認識の前に、検出した画像データの配向を、予め設定した回転角度だけ回転させることによって補正する必要がある。

さらに、ＤＥ１０２０１２１１０２７３Ａ１では、機械の監視および診断用検査システムが開示されており、該システムにおいて、機械の様々な動作パラメータの値は、例えば、数値出力部を備えたデジタル表示装置などの視覚表示装置から検出される。次に、詳細な記載はないシンボル検出方法によって、測定値は、こうして記録された画像データにおいて識別され、機械語テキストに変換され、データ判定装置に送信される。

これらの公知の方法において、このようにして、表示されたデータは、シンボル検出を用いることで、記録された画像データにおいて直接検出され、読み出される。これは、画像データが好適な形態で記録できることに基づく。

上記の装置では、特にこのタスクのためにそれぞれの画像センサが設けられ、そのディスプレイにまたはディスプレイの前に固定して設定されることで、この要件が満たされる。これによって、記録された画像、または取得された画像データはそれぞれのディスプレイの表示領域にグラフィカルに対応する。

ディスプレイを、例えば携帯端末と一体化したカメラで記録する適用例の場合、端末はユーザの手に保持されるのであるが、このときディスプレイは通常、取得された画像データに対応する画像領域の比較的小さい部分を占めるにすぎず、公知の方法では、このような状況では実行困難または不適切になるいくつかの問題が発生する。

すなわち、画像データの大部分はディスプレイについての情報をまったく含まないので、通常比較的コストのかかるプロセスであるシンボル検出を、取得された画像データにおいて直接実行することは過度にコストがかかる。

また、ディスプレイと、同様に記録した周囲との間で、輝度およびコントラスト条件が大幅に変化する可能性があり、このためディスプレイの画像のコントラストが著しく劣化し、いかなるシンボル検出も失敗に終わることが多い。

この問題は、ディスプレイの反射に加えて、望ましくない光の条件および陰影によってさらに悪化する。最後に、不正確な位置決めの結果、ディスプレイの画像にゆがみが発生することがあり、このことは同様にしてシンボルもゆがめ、その検出を不可能とする。

本発明の好ましい適用は、血糖値メータの血糖測定値を記録し、検出し、さらに処理することである。この目的のために、従来は表示データの手動伝送とは別に、ケーブルを用いたソリューションが市場に出回り、時折用いられてきた。

さらに、特殊な表示装置では、この装置がケーブルによって血糖値メータに接続され、機械可読形式で、すなわちＱＲコードとして、送信対象のデータを表示する。人による読み取りが可能なシンボルと比較して、ＱＲコードは、はるかに検出しやすい。

それは、ＱＲコードが検出目的のために特殊な検出機能を有しており、これによって確実な位置決めおよびコードのゆがみ補正を行うことができるからである。さらにＱＲコードは、通常冗長な情報を含んでおり、これによって、ほとんど読み出しできないか、またはまったく読み出しができないいくつかの副領域が全体としてコード可読性を妨げることがないようになっている。

完全な無線データ送信が可能になるのは、例えば、データ送信のためにＢｌｕｅｔｏｏｔｈインタフェースを備える最も高価なメータを用いる場合である。しかしながら、血糖値メータの大部分はこのようなインタフェースを有さない。

従って、本発明の目的の一つは、上述の悪条件下であっても、シンボルの確実な検出を可能とする、規定されたタイプの方法を提供することである。同時に、当該方法は、携帯端末において実施可能でなければならず、そのような装置、例えばスマートフォンまたはウェアラブル・コンピュータ（Ｇｏｏｇｌｅ社が販売する「Ｇｏｏｇｌｅ Ｇｌａｓｓ」などが考えられる）上で、効率よくしかも迅速に画像データを局所処理することができる。

該方法は、好ましくは、ネットワーク接続なしに、かつ外部コンピュータ・リソースを用いることなく、好適に処理しなければならない。特に、該方法は、血糖値メータのディスプレイ（７つのセグメントを有するディスプレイ、またはＬＣＤディスプレイがしばしば用いられるが、ＬＣＤディスプレイと比較して、はるかに好ましい製品であって、実質的に電力消費が少ないために、７つのセグメントを有するディスプレイが好ましい）に表示される測定値の光学的読み出しおよび検出に好適でなければならない。

この目的を達成するために、本発明によれば、以下のステップを有し、まず詳細に規定されるタイプの方法を提供する。
ａ）取得した画像データ内で、ディスプレイの表示領域を検出し、
ｂ）検出した表示領域を表す画像データを準備し、
ｃ）準備した表示領域を用いることによって、シンボルの光学的検出を実行し、
ｄ）シンボルの光学的検出中に検出したシンボルをメモリに格納する。

当該方法で、本発明は、携帯端末を提供する。この携帯端末は、画像データを記録する画像センサと、本方法を実行し、ディスプレイ上で検出されるシンボルを格納するように構成されたプロセッサおよびメモリとを備える。

本発明は、シンボル検出を、取得した画像データを用いて直接実行するのではなく、特別に準備した画像データを用いることによって実行する場合、ディスプレイに表示されるシンボルの光学的検出における、シンボル検出の信頼性が非常に高まるという発見に基づくものである。

ここで、上記準備では、取得した画像データ内での表示領域の位置および場所を考慮する。該表示領域は、取得した画像データ内のディスプレイの表示領域についての、先行する自動検出から決定される。

つまり、シンボル検出の前に、ディスプレイ全体の検出が行われる。ディスプレイまたはディスプレイの表示領域の検出、および画像データの準備のいずれも、種々の方法で実行することができ、または、それぞれ異なる、部分的には代替可能な処理の特徴を有することができる。

例えば、表示領域を検出するために有益であると証明されたことは、画像データ内に表されて一連の画素に対応する少なくとも１つのアウトラインが検出されたとき、ここで、検出されたアウトラインを、好ましくは個々の画素を選択することで単純化するということである。

当業者にはよく知られているアウトライン検出のためのいくつかの方法、または対応するアルゴリズム（「境界追跡アルゴリズム」）は、すでに先行技術で提案されている。すべてのアウトラインが検出され次第、表示領域を定める１つのアウトラインを検出することができる。

この検出は、例えば、形態、対称性、コーナー点の数、比率などのディスプレイ予測特性を用いてなされる。取得された画像データ内で、表示領域のアウトラインが検出されると同時に、表示領域は実質的に、アウトラインに囲まれた取得画像データのセクションに対応することとなる。

アウトラインの処理スピードを向上させるために、個々の画素を選択することによってアウトラインを単純化することが望ましい。そのような選択は、例えば、任意曲線平滑化法によって行うことができる。その方法では、単純化の程度を事前に規定することができるので、これによって、ディスプレイの検出のために用いられるプロパティーはほとんど改ざんされることがないか、まったく改ざんされることがない。

画像データ内に表されるアウトラインの有益な検出方法は、同一または類似する色値を有し、少なくとも一つにまとまった一連の隣接画素を、アウトラインとして検出することにある。この方法においては、まず、画像データを、いずれのアウトラインにも割り当てられていない画素についてサーチし、次に、この画素から開始して、同一または類似する色値が見つかるまで、隣接画素の色値を順番に比較し、そのアウトラインの既に一部をなしているものではない隣接画素を見つけることができなくなるまで比較を続ける。

当該少なくとも１つの検出したアウトラインを単純化するために、望ましくは、それ自体公知のダグラス−ポイカーアルゴリズムを用いることができ、そのアルゴリズムは比較的効率よく機能し、数ステップで、検出したアウトラインを実質的に単純化することが可能である。

検出されたアウトラインが１つだけの場合、この１つのアウトラインを表示領域の限界と仮定することができるが、実際には、例えばディスプレイ自体とは別に、例えば、矩形の操作ノブもアウトラインとして検出されるなど、いくつかのアウトラインが検出されることを予想していなければならない。

複数の検出されたアウトラインから始まる表示領域を検出または識別するために、好ましくは、囲まれた領域が最大で、領域での画素数がディスプレイのコーナー点の数に対応するアウトラインを、表示領域のアウトラインとして検出することができる。

もちろん、コーナー点の数だけでなく、例えば、ディスプレイの側部比など、他のまたは追加の特徴を検出のために用いることができる。コーナー点の数、すなわち、通常４つのコーナー点によって、異なるディスプレイ形式を十分良好に検出することが可能であり、さらに、この検出は比較的低コストである。

最大の囲まれた領域の基準は、表示領域の一部分を表わす画像データの有効な部分が、取り除かれたり、さらに処理されなくなることを防止するのに役立つ。例えば、最大でも１メートルの距離にあるオブジェクトに光の焦点を合わせることにより、ディスプレイと混同する可能性があるような、最大の囲まれた領域を有するアウトラインが検出されることを防止することができる。

さらに望ましくは、表示領域を表す画像データを準備するために、検出した表示領域に対応するセクションを、最初に取得した画像データから選択する。すなわち、これら選択した画像データのみ、または選択した画像データに基づいてさらに準備した画像データのみを、シンボルの光学的検出ステップに用いることが望ましい。この場合、シンボルの光学的検出は、当該セクションとは別の画像データをすべて無視することができるので、該方法のさらなる高速化に貢献する。

表示領域での局所コントラスト比と最適に適合するように準備を行うためには、表示領域の検出の後で、かつ、シンボルの光学的検出の前に、選択したセクションの画像データのみを準備することもまた有益である。

表示領域を表す画像データを準備するために、最初に取得した画像データ、または最初に取得した画像データからのセクション内における、検出された画像領域の遠近ゆがみを補正することによって、ディスプレイ上に表示されるシンボルの検出速度を著しく増加させることができる。

これは、例えば、矩形の表示領域について、平行四辺形または台形に略対応する、検出した表示領域の内角を算出して、この角度から、画像データのゆがみを補正することができる画像データのための変換行列を決定することにより、達成することができる。

補正の処理またはゆがみの補正については、その補正に関わるコンピュータのコストを最小限に抑えるために、表示領域に対応する画像データの１つのセクションだけを変換する必要があるのが望ましい。

本方法は、特に、７つのセグメントを有するディスプレイの光学的読み出しに好適であって、これに関連して、そのようなディスプレイに特に適合させたシンボル検出方法を提案する。以下で説明する、７つのセグメントを有するディスプレイ上に表示されるシンボルを検出する方法は、根本的に、上で説明した処理ステップ（表示領域の検出および準備）とは無関係に用いることも可能である。つまり、単に、提示した前処理に関連して特に信頼性が高いことが証明されている。

セグメント化されたディスプレイの場合で、特に７つのセグメントを有するディスプレイの場合、シンボルの光学的検出のために、準備された画像データの色値の水平投影のヒストグラムが有益に作成でき、ディスプレイ上に表示されたシンボルの少なくとも１本の線の位置を、ヒストグラムから決定することができる。

この方法は、セグメント化されたディスプレイにおいて、水平投影でのシンボルの上縁および下縁で、非常に高濃度の色値が観測できるという発見に基づくものである。これは、個々のセグメントの配置から得られるもので、いずれの場合も、水平セグメントは、通常、シンボルの上縁および下縁に配置され、したがって、水平投影において極大が生じる。

セグメント化のタイプに応じて、シンボルの半分の高さでさらに別の水平セグメントを配置することができ、この場合も同様に極大が生じる。水平投影のヒストグラムを評価する際、極大を検出でき、これらの極大の場所を用いて、線の位置を決定することができる。

水平投影と同等に、セグメント化されたディスプレイ、特に７つのセグメントを有するディスプレイにおいて、検出された線内で個々のシンボルの位置を決定することができる。

この場合、シンボルの光学的検出のために、準備した画像データの、線に対応する１つのセクションの色値の垂直投影図のヒストグラムを作成することが好ましく、線内に表示された少なくとも１つのシンボルの数および位置を、ヒストグラムから決定する。シンボルの検出は、垂直セグメントは、水平セグメントについての上述の説明同様、垂直投影での極大を生じさせ、この極大がシンボルの位置を決定するために検出されて、用いられ得るという発見に基づくものである。

個々のシンボルの位置が既知である場合、いずれの場合も、表示されたシンボルは、準備された画像データの、このシンボルに対応する１つのセクションの色値から、好ましくはシンボルを表す複数のセグメントの状態から決定することができ、これらの状態から、表されるシンボルが決定される。

この方法では、画像データと、セグメント・ディスプレイのすべての可能な状態に対応する比較画像との比較に代わる効率的な代替を提供する。代替として、１つのシンボル内の個々のセグメントの位置を把握することを用いて、各セグメントで個別に画像データ内に表されている状態を決定する。

すべてのセグメントの状態がわかるとすぐに、対応するシンボルを、例えば、すべての可能な状態の組み合わせのテーブルから決定することができ、これは（実質的により包括的な）画像データの比較よりも高効率である。

ディスプレイが、セグメント・ディスプレイからなるのか、グラフィック・ディスプレイからなるのかにかかわらず、画像データの記録を自由裁量で行う場合、画像データは、連続する個々の画像の映像信号を含み、ディスプレイの表示領域が検出されるそれらの個々の画像のみを準備に用いることは特に効果的である。

例えば、アウトラインがひとつも検出されない、または検出したアウトラインのいずれもディスプレイの特性に対応しないために、表示領域が検出されないそれらの個々の画像を、シンボル検出前および準備前にさえも破棄することができるので、利用可能なリソースが、余分な準備、つまり、おそらく無意味で、したがってそれ故に特にコストのかかるシンボル検出に不要な負担をかけられることがない。

映像信号を処理することにより、個々の画像をこのようにスキップすることによって、ユーザは追加の運用コストを負うことはない。記録の継続時間がわずかに増加するが、２〜３の破棄した個々の画像の場合、時間の増加は気づかないか気づくとしてもほんのわずかにすぎない。

さらに、上述の検出方法、すなわち、アウトライン検出、または、シンボル検出、または、セグメント検出を、単純化し、高速化することができることにより、表示領域の検出前の画像データおよび／またはシンボルの光学的検出の実行前の準備した画像データを、適応閾値法を用いて前処理する。そのような前処理は、理想的なコントラスト比が得られるという利点がある。

ディスプレイを読み出すための公知の方法と比較して、上述の表示領域の検出と組み合わせた閾値法を適用することは、ディスプレイの周囲に関わらず、検出したディスプレイ内の最適な閾値を決定することができるので、特に効果的である。

したがって、デジタル・ディスプレイの場合は特に、元々のコントラスト比が最低限であっても、画像情報の損失がないか損失がほんの僅かな状態で、前景を背景と分離することが可能となる。

閾値法の有益な適用については、表示領域を表す画像データを準備することが、汎用閾値を用いる閾値法を実行することを含む場合にも有益である。

例えば、測定値が複数の場合に、検出したシンボルを対応する測定値に迅速かつ正確に割り当てることができるためには、シンボルの光学的検出によって検出されるシンボルが、表示されたシンボルの予め定義した配置に従ってグループ分けされることが望ましい。そのような予め定義した配置は、例えば、ユーザが装置のタイプを入力することによって決定することができる。

検出されたシンボルをメモリに格納する前に、これらのシンボルまたはシンボルのグループの意味のチェックを行い、この意味のチェックに成功したときに限り、シンボルを格納することがさらに有益である。

意味のチェックは、例えば、検出した測定値を妥当性についてチェックする、すなわち、以前に検出した測定値と比較して、変化を妥当性についてチェックすることができる。例えばデータ形式など、検出したシンボルの特定の形式について、検出値の正当性をさらにチェックすることができる。

本発明を、特に好ましく、ただしそれには限定されるものではない実施例、および図面を参照しながら、以下でさらに説明する。図面の詳細は以下のとおりである。

ディスプレイに表示されたシンボルの光学的検出方法について、適用状況を示す図である。 図１に従った、携帯端末および測定装置の概略ブロック図である。 ディスプレイに表示されたシンボルの光学的検出方法の概略的なフローチャートである。 図３の項目ＩＶに従った、取得された画像データの読み込みおよび変換のための処理セクションをより詳細に示す図である。 図４に従った、画像データを白黒コピーに変換するためのサブルーチンのフローチャートである。 図３の項目ＶＩに従った、白黒画像でのアウトライン検出のための処理セクションを示す図である。 図３の項目ＶＩＩに従った、アウトライン選択のための処理部を示す図である。 図７に従った、アウトライン単純化のためのサブルーチンのフローチャートである。 図４の項目ＩＸに従った、検出されたディスプレイに対応する画像データを準備するための処理部を示す図である。 図３の項目Ｘに従った、準備された画像データでの線およびシンボルの識別のための処理部を示す図である。 図３の項目ＸＩに従った、識別されたシンボルの検出のための処理セクションを示す図である。

図１は、ユーザが端末１を使用して、測定装置３たとえば血糖値メータのディスプレイ２に表示される測定値を検出して、それを移動端末１に送信するように適用された状況を示す。

この場合、移動端末１の（不図示の）画像センサが、血糖値メータ３のディスプレイ２上に向けられる。移動端末１は、ディスプレイ２に表示されるシンボル４の光学的検出方法を実行するために設定される。

ここでディスプレイ２上には様々な問題ゾーン、例えばディスプレイ枠の影５、反射６、指紋７、またはその他の汚れ、などがあるにもかかわらず検出は機能する。携帯端末１はその一部にディスプレイ８も有している。ディスプレイ８には、画像センサによって取得されたディスプレイ２を表すものを含む、画像データ９が表示される。

特にディスプレイ２の検出された表示領域を表す画像データ９のセクション１０は、携帯端末１のディスプレイ８上で、例えば色が強調される。このように、携帯端末１は、測定装置３のディスプレイ２の表示領域の検出に成功した旨を、ユーザに伝える。

図２は、携帯端末１およびディスプレイ２を有する測定装置３の概略ブロック図を示す。携帯端末１は、画像センサ１１と、プロセッサ１２と、メモリ１３とを有する。プロセッサ１２は、処理モジュール１４〜１９を実行するように構成され、画像センサ１１に接続され、メモリ１３にも接続される。

処理モジュール１４〜１９は、縁検出モジュール１４と、ディスプレイ抽出モジュール１５と、線識別モジュール１６と、シンボル識別モジュール１７と、シンボル検出モジュール１８と、比較モジュール１９とを含む。

縁検出モジュール１４は、画像センサ１１に接続され、画像データを記録し送信するように画像センサ１１に指示し、このように取得された画像データ内に表されるあらゆる縁を検出するよう構成される（図６参照）。

ディスプレイ抽出モジュール１５は、縁検出モジュール１４が検出した縁およびアウトラインを処理し、この処理から画像データにおいて表されている表示領域の縁またはアウトラインを検出し、検出された表示領域を表す画像データを抽出するように構成される。

さらに、ディスプレイ抽出モジュール１５は、例えば、ゆがみを補正して色値を正規化することにより、抽出した画像データを準備するのに好適である。ディスプレイ抽出モジュール１５に接続される線識別モジュール１６は、準備した画像データを処理するように構成され、ここで、準備した画像データにおいて表されているテキスト表示のあらゆる線を識別する。

次に、シンボル識別モジュール１７は、線識別モジュール１６が決定した線の個々のシンボルを識別することができ、ここで、シンボル識別モジュール１７は、各々が１つのシンボルに対応する、準備した画像データのセクションを決定する。

これらのセクションに基づき、個々のシンボルの意味がシンボル検出モジュール１８において検出され、ディスプレイ２のコンテンツまたはディスプレイ２上に表示された表示テキストが決定される。

最後に、比較モジュール１９は、時間的に連続して検出された、複数の表示テキストを比較しチェックするよう構成され、ここで、例えば、短い時間間隔で検出される３つ以上の数の表示テキストを比較することができ、これらが一致すれば、表示コンテンツを正確に検出できたとする。

さらに、比較モジュール１９は意味のチェック、例えば、測定値の可能な値の範囲に関してのチェックや、検出したデータ情報の時間的順序に関してのチェックを行うこともできる。検出されチェックされた表示テキストは次に、１つ以上の別のアプリケーションモジュール２０に転送される。アプリケーションモジュール２０は、例えばユーザによる検出データの記録および管理と評価の準備を含む。

プロセッサ１２上で実行される処理モジュール１４〜１９は、メモリ１３またはメモリ１３に格納されるデータベース２１〜２３にアクセスして、その機能を実行する。特にメモリ１３は、処理モジュール１４〜１９のための一般構成パラメータ２１とともに、測定装置メモリ２２を備える。

測定装置メモリ２２は、１つ以上のタイプの測定装置のための一般構成パラメータ、例えば、各測定装置３のディスプレイ２の側部比、または１つ以上の表示線の意味する内容の情報を含む。さらにチェックやさらなる転送のために、検出済み表示テキストを値メモリ２３にバッファすることができる。

以下では、図３に示すフローチャートを参照しながら、本方法である表示コンテンツの光学的検出の概略を説明する。次いで、図３に示す処理よりさらに詳細な、図４〜図１１に示すフローチャートを参照しながら詳述する。

本方法の実行のスタート（スタート２４）は、例えば、ユーザが携帯端末１と対話することによって開始される。本方法の第１のステップ２５として、まずカラー画像２６の画像データを、画像センサ１１から取得または読み込んで白黒画像２７に変換する。

白黒画像を参照して、次に画像データにおいて表されているアウトライン２８を、アウトライン検出ステップ２９の一部として検出する。次の選択ステップ３０で、アウトライン２８の１つをディスプレイアウトライン３１として選択し、ディスプレイの表示領域を取得した画像データ内で検出する。

ディスプレイアウトライン３１が判明すると、ディスプレイアウトライン３１に対応する検出した表示領域を表すカラー画像２６の画像データを、準備ステップ３２で準備し、準備した画像データを白黒セクション３３に変換する。

その後の、白黒セクション３３内の線画像および線に各々割り当てられるシンボルの識別３４は、白黒セクション３３内に示される表示テキスト３６を検出するため、または画像データから表示テキスト３６を再構成するために、シンボル検出３５と連携して行われる。

次に、短い時間間隔（長くても数秒以内）で検出される複数の表示テキスト３６を比較可能とするために、そして検出が不正確ないずれかの表示テキスト３６の検出を可能とするために、処理全体を少なくとも２回または３回繰り返すことが好ましい。

次に図３で、それぞれローマ数字が与えられた図４、６、７、９、１０、および１１を参照しながら、個々の処理ステップ２５、２９、３０、３２、３４、および３５をより詳細に示して説明する。

図４によれば、本処理のスタート２４では、まず読み込み処理３７を実行し、例えば画像センサ１１を起動する。後続の処理のために画像センサ１１は測定または記録したカラー画像２６を読み込む。

次に、カラー画像２６に対応する白黒画像２７を、カラー画像２６から算出する。変換処理３８は、例えば構成パラメータ２１から読み込まれる予め規定された閾値３９に基づく。あるいはカラー画像２６内で画像化された測定装置３のタイプが、例えばユーザが予め手動で入力したものであるために既知の場合、測定装置メモリ２２から読み込まれる予め規定された閾値３９に基づく。カラー画像２６の画像データの、白黒画像２７への変換が完了した後、処理は接続点Ａに継続される（図６参照）。

図５は、変換処理３８をより詳細に示す。ここでグレースケールコピー４１はまず取得画像データから、グレースケール変換４０の一部として、算出される。取得画像データは、例えばカラー画像２６またはカラー画像２６の１つのセクションに対応する。

グレースケール変換４０は、それ自体公知のやり方、例えば、カラーデータの彩度を完全に低下させることにより達成される。または画像データの個々のカラー画素を、対応する光量値（暗度とも呼ばれる）に変換することによって達成される。

初期化ステップ４３において、グレースケールコピー４１に対応する白黒コピー４２を算出するために、まず白黒コピー４２を、グレースケールコピー４１と同じ寸法の空白画像または白色画像として初期化する。次にループ４４で、白黒コピー４２の個々の画素を、そのすべての画素が出口条件４５に従って走査されるまで算出する。

現在のループ経路で算出予定の画素の座標に基づき、まず、グレースケールコピー４１の現在の画素を囲む画素の平均画素値を、算出ステップ４６で構成パラメータ２１から読み込んだブロックサイズ４７に従って算出する。

このようにして取得された平均画素値を、変換処理のために転送された閾値３９（図４参照）または閾値４８（図９参照）と比較する。算出予定の現在の画素を囲むブロックの算出平均画素値が、閾値より高いか低いかに応じて、白黒コピー４２内で画素を黒色画素４９または白色画素５０として割り当てる。

図６は、変換後の白黒画像２７から開始するアウトライン検出２６のシーケンスを示す。まず、初期化５１の一部として、１画素分の幅の白縁は、白黒画像２７の画像データの周りに配置される。

次にアウトラインサーチが、このように変更した白黒画像のコーナー点から始まるループで開始される。ループの出口条件５２では、選択中の画素が、変更した白黒画像の寸法の外側にあるかどうかをチェックし、外側にある場合、検出されバッファされたアウトライン２８を伝えてアウトラインサーチを終了する（出力Ｂ）。

そうでない場合、すなわち現在の画素が変更した白黒画像の寸法内にある場合、チェック５３を行い、新しい未検出のアウトラインが、現在の画素の点より始まるかどうかを判定する。

この条件はかかる場合に成立することになる。つまり第一に現在の画素に黒色値が割り当てられ、第二に左隣の画素に白色値が割り当てられ、第三に現在の画素が検出済みのアウトラインの一部でない場合である。３つの条件すべてが成立する場合、新たなアウトラインは初期化５４が隣接する白色画素を、隣接する黒色画素のサーチ５５についての開始点としてバッファする、現在の画素の点で初期化される。

上記の三条件が次のチェックステップ５６で成立しない場合、新たなアウトラインが左隣の画素で始まるかどうかを判定する。これは、現在の画素に白色値が割り当てられ、左隣の画素に黒色値が割り当てられるとき、左隣の画素が検出済みのアウトラインの一部ではないかどうかを判定することである。

これら３つの条件が成立する場合、新たなアウトラインの初期化５７が現在の画素の左隣の画素から始まり、現在の画素を、次のサーチ５５についての開始点としてバッファする。

チェック５３、５６のいずれにおいても新たなアウトラインを判定できない場合、現在の画素の右隣を、または現在の画素が変更した白黒画像の右の縁に既に配置されている場合、その下の隣接線の左の画素が、選択ステップ５８で決定されて選択され、現在の画素として次のループ経路で処理される。

新たなアウトラインが検出された場合、初期化５４または５７中のいずれの場合にも規定された時計回り方向の開始点から始まるサーチ５５の間、アウトライン開始点の最初の隣接画素は、継続点として決定されて選択される。

次に、アウトライン開始点との比較５９を行い、アウトライン全体が既に再構成されたかどうかを判定する。再構成されていない場合、サーチ５５は、継続点から継続され、この場合、次の継続点について反時計回り方向でサーチを行う。

アウトラインが完全に再構成され次第、これを格納するか、すでに検出したアウトライン２８に追加する。その後、すべての画素が走査され、それによって白黒画像２７の画像データ内に示されているすべてのアウトライン２８が検出されるまで、変更した白黒画像の次の画素の選択処理５８でアウトライン検出を継続する。

図７でより正確に示すアウトライン選択３０（図３参照）の一部として、検出されたアウトライン２８から開始して、ディスプレイアウトライン３１を選択する、すなわち、カラー画像２６の画像データ内に含まれるディスプレイ２の表示領域そのものを定めるものとするアウトラインを選択する。

アウトライン選択３０について、まず、各アウトラインにアウトライン単純化６０（図８参照）を実行する。単純化６０の後、アウトラインを形成する角点の数を用いて、単純化されたアウトラインが四角形（ボックス６２参照）に相当するかどうかをチェックする（ボックス６１を参照されたい）、すなわち、４つの角点を有する単純化されたアウトラインをすべてバッファする。

すべてのアウトライン２８がこのように処理された後、ボックス６３で、少なくとも１つの四角形６２を検出したかどうかを判定し、検出していなければ、読み込み処理３７から開始する、接続点Ｃ（図４参照）に従う方法を再開する。

少なくとも１つの四角形６２が見つかった場合、比較ステップ６５において、すべての四角形６２の領域コンテンツを算出し、最も大きな領域コンテンツを有する四角形を、ディスプレイアウトライン３１として検出する。

アウトライン単純化６０を、図８に概略を示す、それ自体公知のラーマ−ダグラス−ポイカーアルゴリズムに実質的に従って実行する。初期化６６中、まず、限界値εを、単純化対象のアウトラインの長さに応じて決定する。限界値εは、例えば、それぞれのアウトラインの全長の２パーセントとすることができる。

次に、アウトラインの最初と最後の画素にマークを付け、最初の点と最後の画素をつなぐ線からアウトラインの全画素の距離を算出する。算出したこれらの距離を用いて、上記で算出した線からの距離が一番大きい、アウトライン上の画素を選択する（ブロック６８参照）。

この距離が限界値εを超える場合、アウトラインをこの画素で分割し、２つの部分（すなわち、最初の画素から最長距離の画素に至るアウトライン上のセクションと、この画素から最後の画素に至る第２のセクション）のそれぞれにおいて、この方法を再帰的に実行する。

分割７０で得られた多数のセクションにおいて、各セクション内の全画素が限界値ε以下に収まる結果となり次第、残り全ての単純化対象アウトラインの画素、すなわちセクションを1つも画定しない全ての画素、が削除される（ブロック７１参照）。そして残った画素が、単純化されたアウトラインとなる。

図７に従ったアウトライン選択３０の後、図９に従ってディスプレイ２の表示領域に対応する、カラー画像２６の画像データの準備を行う。ここで、まず、ディスプレイアウトライン３１に対応するカラー画像２６の１つのセクションを、後続の処理（ブロック７２を参照）のために選択または除外する。

ブロック７３に従う以下の遠近補正において、このようにして取得されたセクションを矩形に変換する。以下の線型方程式（１）を解いて、その結果得られる変換係数ｃｉｊをカラー画像２６の全体的にゆがんだセクションに適用することにより、その変換を行う。

ここで、ｘｉおよびｙｉは、ゆがんだセクションの４つの角点ｉ＝０，１，２，３の水平座標または垂直座標で、ｕｉおよびｖｉは、対応するゆがみを補正した矩形の４つの角点ｉ＝０，１，２，３の水平座標または垂直座標であって、連立方程式を解くことによって、変換係数ｃｉｊの値が算出可能である。

変換係数ｃｉｊを用いて、次に、変換したセクションを画素ごとに算出することができ、変換したセクションの点ｘ、ｙでの画素の色値ｐを次のように算出する。

式中、変換係数ｃ２２は定数ｃ２２＝１であり、ｑは、２つのパラメータによって規定される点におけるカラー画像２６の色値を与える。

次に、変換した現在矩形のセクションに基づき、そのセクション全体の平均光量値を、個々の画素の色情報を用いて算出し（ブロック７４を参照のこと）、算出した閾値４８として、矩形セクション（ボックス７５）を白黒セクションに変換する次の変換（ブロック３８）に転送する。

変換３８は、図５に示した方法に従って図４と同様に行われるが、ここでは固定の閾値３９の代わりに算出した閾値４８を用いる。従って、白黒セクション７５は、ディスプレイ２の矩形の白黒表示に相当する。

白黒セクション７５から開始する図１０は、ディスプレイ２の線および線を形成するシンボルの識別３４（図３参照）を示している。ここで、まず、ブロック７６に従って、白黒セクション７５の水平投影プロファイルを算出する。

水平投影プロファイルは、白黒セクション７５の各画素行における黒色画素の比率のヒストグラムに実質的に対応する。線の識別（ブロック７７）について、ヒストグラムの一次微分を算出し、各線の上縁または下縁を、いずれの場合も、導き出された水平投影プロファイルにおける極大または極小を用いることによって決定する。

次に、各線について、その線が含むシンボルの識別を同様の方法で行うが、ここでは、まず、垂直投影プロファイルを算出し（ブロック７８）、垂直投影プロファイルの一次微分またはその極大および極小を用いて、個々のシンボルの左縁または右縁を識別する（ブロック７９）。

すべての線が処理されると、ディスプレイ２のコンテンツに対応する表示テキスト８０を、例えば、比較モジュール１９で使用するために、値メモリ２３（図２参照）に格納する（ブロック８１）。

次のチェックでは（ボックス８２）、最後に格納された表示テキスト８０を比較し、少なくとも３つの表示テキスト８０が一致すると、この表示テキストを、例えば後続のアプリケーションモジュール２０（図２参照）に渡す。

個々の識別したシンボルの検出、すなわち、それぞれの場合に割り当てられる意味の判定を、図１１でより詳細に示している。白黒セクション７５におけるシンボル識別７９（図１０参照）で識別された白黒シンボル８３から開始して、ブロック８４で、予め定義したセグメント構成をシンボル識別３５（図３参照）のために用いる。

セグメント構成８４は、例えば、測定装置メモリ２２（図２参照）から読み込むことができる。セグメント構成８４は、白黒シンボル８３内の個々のセグメントの位置および延長部についての情報を含むことができる。

この情報を用いて、ブロック８５で、各セグメントに割り当てられた黒色画素の比率をまず算出する。ブロック８６で、このようにして取得された白黒シンボル８３のセグメント当たりの黒色画素の比率を、ソートして、ブロック８７で、２つの隣接する比率の間のギャップが最大なものの位置を求める。

ボックス８８で、ギャップの大きさ、すなわち、２つの隣接する比率の間の最大距離が既定の最小値より大きい場合、ギャップを上回る比率に割り当てられたセグメントを、活動状態セグメントとマークを付け、残りのセグメントを非活動状態セグメントとマークを付ける。

そうでない場合、すなわち、ギャップが最小値を上回らない場合、すべてのセグメントに同一のステータスを割り当てる、すなわち、すべてを（表示された数字８に対応する）活動状態セグメントとして検出する、またはすべてを（実際には、数字０として分類される）非活動状態セグメントとして識別する。

この場合、黒色画素の予め定義した比率は固定して定義されるか、例えば測定装置メモリ２２から読み込むように構成することができるが、この比率を基準値として用いて、（取得した比率が基準値より大きいか小さいかに従って）すべてのセグメントが活動状態と分類されているのか、非活動状態と分類されているのかを判定する。

こうして取得した個々のセグメントの活動状態に基づき、ブロック８９で、例えば、活動状態の組み合わせの各々に文字または数字の形態で意味を割り当てているセグメント・テーブルで活動状態を調べることにより、シンボル検出においてシンボルを識別することが可能となる。図１１および図１０の接続点ＦおよびＧが示すように、識別したシンボルがすべて検出されるまで、１つの線の各シンボルについてシンボル検出を繰り返す。

Claims (17)

1. ディスプレイ（２）の画像データを取得して、ディスプレイ（２）上に表示されるシンボル（４）を光学的に検出方法であって、
   ａ）前記取得した画像データ内で、前記ディスプレイ（２）の表示領域を検出するステップ（２９、３０）と、
   ｂ）前記検出した表示領域を表す前記画像データを準備するステップ（３２）と、
   ｃ）前記準備した画像データを用いてシンボルの光学的検出を実行するステップ（３４、３５）と、
   ｄ）前記シンボルの光学的検出（３４、３５）時に、検出した前記シンボルをメモリに格納するステップ（１３）とを含み、
   ディスプレイ領域の検出（２９、３０）のために、画素の順序に対応する画像データで表される少なくとも一つのアウトライン（２８）が検出され、複数のアウトライン（２８）が検出される場合、囲まれた領域が最大で、画素数がディスプレイ（２）の角点の数に対応するアウトラインを、表示領域のアウトライン（３１）として検出することを特徴とする方法。
2. 請求項１に記載の方法において、前記画像データ内に表示される少なくとも一つのアウトライン（２８）を、個々の画素を選択することにより単純化することを特徴とする方法。
3. 請求項１又は２に記載の方法において、表示領域の検出時に、角点の数に加えてディスプレイの側部の比が使用されることを特徴とする方法。
4. 請求項１〜３の何れかに記載の方法において、同一又は類似する色値を有し、少なくともまとまりのある一連の隣接画素を、アウトライン（２８）として検出することを特徴とする方法。
5. 請求項１〜４の何れかの記載の方法において、少なくともに一つの検出したアウトライン（２８）を単純化する（６０）ために、ダグラス−ポイカーアルゴリズムを用いることを特徴とする方法。
6. 請求項１乃至５のいずれかに記載の方法において、前記検出した表示領域を表す前記画像データを準備する（３２）ために、前記検出した表示領域に対応するセクションを、最初に取得した前記画像データから選択することを特徴とする方法。
7. 請求項６に記載の方法において、前記表示領域の検出の後、かつ前記シンボルの光学的検出を実行する前に、前記選択したセクションの前記画像データのみを準備することを特徴とする方法。
8. 請求項１乃至７のいずれかに記載の方法において、前記表示領域を表す前記画像データを準備する（３２）ために、最初に取得した前記画像データにおいて、または最初に取得した前記画像データのうち前記セクションにおいて、前記検出した画像領域の遠近歪みを補正することを特徴とする方法。
9. 請求項１乃至８のいずれかに記載の方法において、前記シンボルの光学的検出（３４、３５）のために、前記準備した画像データの色値の水平投影図のヒストグラムを作成して、前記ディスプレイ上に表示されるシンボルの少なくとも１つの線の位置を、前記ヒストグラムから決定することを特徴とする方法。
10. 請求項９に記載の方法において、前記シンボルの光学的検出（３４、３５）のために、前記準備した画像データのうち、前記線に対応するセクションの前記色値を垂直投影したヒストグラムを作成し、前記線内に表示される少なくとも１つのシンボルの数および位置を、前記ヒストグラムから決定することを特徴とする方法
11. 請求項１０に記載の方法において、表示されるシンボルは、前記準備した画像データのうち、前記シンボルに対応するセクションの前記色値、好ましくは、前記シンボルを表す複数のセグメントの状態から決定し、これらの状態から、表示されるシンボルを決定することを特徴とする方法。
12. 請求項１乃至１１のいずれかに記載の方法において、前記画像データは、連続する個々の画像の映像信号を含み、前記ディスプレイの表示領域が検出されるそれらの個々の画像のみが、準備において用いられることを特徴とする方法。
13. 請求項１乃至１２のいずれかに記載の方法において、前記表示領域の検出前の前記画像データおよび／または記号の光学的検出（３４、３５）の実行前の前記準備した画像データを、適応閾値法を用いて前処理することを特徴とする方法。
14. 請求項１乃至１２のいずれかに記載の方法において、前記表示領域を表す前記画像データを準備する（３２）ことは、汎用閾値を用いた閾値法を実行することを含むことを特徴とする方法。
15. 請求項１乃至１４のいずれかに記載の方法において、前記シンボルの光学的検出（３４、３５）によって検出されるシンボルは、前記表示されたシンボルの予め定義した配置に従ってグループ分けされることを特徴とする方法。
16. 請求項１乃至１５のいずれかに記載の方法において、前記検出したシンボルを格納する前に、これらのシンボルまたはシンボルのグループの意味のチェックを行い、前記意味のチェックが成功した場合のみ、前記シンボルを格納することを特徴とする方法。
17. 画像データを記録するための画像センサと、請求項１乃至１６のいずれかに記載の方法を実行し、前記ディスプレイ（２）上で検出される前記シンボルを格納するように構成されたプロセッサ（１２）およびメモリ（１３）とを備える携帯端末。