JP2015200973A - 携帯端末装置および表示装置 - Google Patents

Abstract

【課題】表示装置に表示された情報を効率的に読み取る。【解決手段】画像マーカ認識部２５ａは、カメラモジュール２４によって撮像された表示装置１の全体画像から、マーカを認識することにより、表示パネル１２に表示された画像を取り込む。相対位置特定部２５ｂは、認識されたマーカに基づいて、カメラモジュール２４に対する表示装置１の相対的な位置関係を特定する。画像補正部２５ｃは、相対的な位置関係に基づいて、取り込まれた画像を補正する。情報読取部２５ｄは、補正された画像に含まれる情報表示コードを探索して、当該情報表示コードで表される情報を読み取る。【選択図】図１

Description

本発明は、表示装置に表示された画像から情報を読み取る携帯端末装置に関する。

システムの監視等に用いられる表示装置には、数値等のような情報を含む画像が表示されることがある。このような情報の読み取りにおいて時間の経過とともに変化する情報、いわゆる動的情報を読み取ることは、様々な利用価値を有していることから、特に必要性が高まっている。

一般に、このような情報の取得は、表示装置と通信可能に接続された装置が、表示装置から画像のデータを受信することにより行われる。例えば、特許文献１に開示されているシステムでは、プログラマブル表示器の表示内容を、ホストコンピュータおよびインターネットを介してクライアント装置において確認することができる。

しかしながら、表示装置と通信可能に接続されていない装置では、表示装置に表示された画像の情報をデータとして保存することはできない。そこで、表示装置に表示されている画像を撮像し、かつ撮像した画像を画像処理することにより、情報を読み取り、データとして扱うことが考えられる。

画像処理される画像は、表示装置における表示領域の四隅に近接して配置された画像マーカによって位置を特定することができ、カメラで撮像されることで画像マーカとともに取得される。画像処理において、画像マーカを解析することにより、取得された画像のカメラに対する位置や傾き（方向）を推定することが可能である。一般的な画像マーカは、矩形で形成されており、外形をなす黒枠と、当該黒枠の内側の白い領域とを含んで構成される。このような画像マーカは、明るさの影響を受けにくいので、部屋の明るさが変わっても画像処理が容易である。

一般的に、読み取った画像の画像処理には、無視できない程度の大量の計算処理が必要であるので、この計算処理を少なくするには、撮像した画像全体の画像を解析して情報の位置を探す計算量を減らす必要がある。しかも、一般的に、画像全体の画像を解析するような高度な画像処理は、画像において解析している部分が情報であるか否かの判定を誤る可能性が増すので、誤判定を低減するには、情報の表示位置を限定することが望ましい。情報の探索の容易化については、表示装置が、通常、複数の画像を持っており、各画像のレイアウトも異なる場合が多いことから、情報を効率良く配置することが望ましい。

情報を効率良く配置するには、例えば、特許文献２に記載された技術を利用することができる。特許文献２には、表示画像全体でウィンドウの表示状態に変化があった場合に、常時表示したい情報を表示画像の空き領域内の最適な位置に最適なサイズで再表示することが記載されている。これにより、情報を表示画像の空き領域内の最適な位置に表示することができる。

特開２００１−２６８１０６号公報（２００１年９月２８日公開） 特開２００４−０３０２９６号公報（２００４年１月２９日公開）

ところが、撮像した画像を読み取る手法では、下記のような問題がある。

まず、画像マーカによる画像の読み取り距離を延ばすためには画像マーカを大きくする必要がある。しかしながら、配置領域の制約などから、画像マーカのサイズは、せいぜい１０ｃｍ角程度となることが現実的であるため、読み取り距離は１ｍ以内に留まる。しかも、一般的な画像マーカは印刷物であるので、画像マーカに含ませる情報を変更するには、変更した情報に基づいて画像マーカを作成して印刷し直す必要がある。このため、画像マーカに含ませる情報の変更は容易ではない。

また、表示装置が、情報を読み取られていることを認識できないので、情報を常に表示する必要性がある。あるいは、表示装置が情報を読み取られていることを認識するためには、画像処理の装置以外の認識用の何らかの装置が必要となるため、コストが高くなる。

情報を常に表示させる場合、情報の画像処理を容易にするために、例えばバーコードやＱＲコード（登録商標）のような形式で情報を表示させることが考えられる。しかしながら、表示された情報は人による可読性が低いため、常に監視や操作を行うための画像に専用の領域を設けて情報を表示させる場合、当該画像の本来の表示機能が制約されてしまう。

本発明は上記の問題点を解決するためになされたものであり、その目的は、表示装置に表示された情報を効率的に読み取ることにある。

上記の課題を解決するために、本発明に係る携帯端末装置は、撮像手段と、前記撮像手段によって撮像された表示装置の全体画像から、前記表示装置における表示領域の部分の画像である表示領域画像を取り込むために、前記表示領域の範囲を特定するマーカを認識するマーカ認識手段と、認識された前記マーカに基づいて、前記撮像手段に対する前記表示装置の相対的な位置関係を特定する相対位置特定手段と、前記相対的な位置関係に基づいて、取り込まれた前記表示領域画像を補正する画像補正手段と、補正された前記表示領域画像に含まれる情報表示コードを検出および解析して情報を読み取る情報読取手段とを備えていることを特徴としている。

上記の構成では、撮像された表示装置の全体画像から、マーカが認識されると、表示領域に表示された画像が取り込まれる。この認識されたマーカにより、撮像手段に対する表示装置の相対的な位置関係（距離、方向、角度など）が特定される。

また、取り込まれた画像は、上記の相対的な位置関係に基づいて補正される。この補正された画像において、情報表示コードが検出され、さらに検出された情報表示コードが解析されると、当該情報表示コードで表される情報が読み取られる。

このように、マーカが表示領域の範囲を特定する大きい画像マーカであるので、マーカによる画像の読み取り距離を１ｍ以上に延ばすことができる。また、表示装置に表示された画像から、携帯端末装置で情報表示コードを読み取るので、表示装置と通信可能に接続されていない携帯端末装置で、画像に含まれる情報表示コードから情報を容易に取得することができる。

前記携帯端末装置は、特定された前記表示装置における前記情報表示コードの配置が可能な配置可能領域を示す配置可能情報を記憶する記憶手段を備え、前記情報読取手段が、前記マーカが前記表示装置を特定する表示装置特定情報を含んでいる場合、前記表示装置特定情報に基づいて前記表示装置を特定するとともに、特定された前記表示装置について設定された前記配置可能情報を参照することにより、前記情報表示コードを検出することが好ましい。

上記の構成では、特定された表示装置についての配置可能情報を参照することにより、配置可能領域に絞り込んで情報表示コードを検出すればよい。これにより、検出のために余分な探索を行うことなく、効率的に情報表示コードを検出することができる。

前記携帯端末装置において、前記表示領域画像は、前記情報表示コードに関する情報を示す画像を含んでおり、前記情報読取手段は、前記情報に基づいて前記情報表示コードを検出することが好ましい。

上記の構成によれば、情報表示コードの検出が情報表示コードに関する情報に基づいて行われるので、検出をより効率的に行うことができる。

前記携帯端末装置において、前記報読取手段が、補正された前記画像において前記情報表示コードが配置されると予測される領域から所定の順に領域を変えて前記情報表示コードを検出することが好ましい。

上記の構成によれば、情報表示コードの検出が、情報表示コードが配置されると予想される領域、例えば画像の四辺に接した部分または四隅から所定の順に行われるので、早期に情報表示コードを検出する可能性を高めることができる。

本発明に係る表示装置は、表示領域と、携帯端末装置が、表示装置の全体を撮像することによって得られる全体画像から前記表示領域の範囲を特定するために設けられているマーカと、前記携帯端末装置が読み取るための、所定の情報を表す情報表示コードが設けられている画像を前記表示領域に表示する画像表示手段とを備え、前記マーカが、前記携帯端末装置が前記表示装置を特定するために設けられている表示装置特定情報を含んでいることを特徴としている。

上記の構成によれば、前述の携帯端末装置と組み合わせることで、マーカによる画像の読み取り距離を延ばすとともに、表示装置と通信可能に接続されていない携帯端末装置で、取り込まれた画像に含まれる情報表示コードから情報を容易に取得することができる。

前記表示装置において、前記画像表示手段が、前記情報表示コードの表示位置を示す位置情報を含む前記画像を表示することが好ましい。

上記の構成によれば、携帯端末装置が効率的に情報表示コードを検出できるように、情報表示コードを表示することができる。

本発明は、上記のように構成されることにより、効率的に表示された情報を読み取ることができるという効果を奏する。

本発明の実施形態１および２に係る画像読取システムの構成を示すブロック図である。 上記画像読取システムにおける表示装置の外観構成を示す正面図である。 画像マーカが貼り付けられていない上記表示装置を示す正面図である。 上記画像マーカの構成を示す正面図である。 上記画像マーカに上記表示装置を特定する情報が付与された状態の上記表示装置を示す正面図である。 上記画像読取システムにおける携帯端末装置の外観構成を示す正面図である。 上記表示装置に表示される画像の一例を示す図である。 図７に示す画像に情報表示コードが表示された状態を示す図である。 図７に示す画像に情報表示コードが表示された他の状態を示す図である。 上記携帯端末装置に読み取られた表示装置の表示領域部分を示す図である。 本発明の実施形態２に係る画像読取システムの表示装置に表示される画像の一例を示す図である。 本発明の実施形態２に係る画像読取システムの表示装置に表示される画像の他の例を示す図である。 図１２に示す画像に情報表示コードが表示された状態を示す図である。

［実施形態１］
本発明の実施形態１について、図１〜図１０に基づいて説明すれば以下のとおりである。

図１は、実施形態１および２に係る画像読取システム１０の構成を示すブロック図である。図２は、画像読取システム１０における表示装置１の外観構成を示す正面図である。図３は、画像マーカが貼り付けられていない表示装置１を示す正面図である。図４は、画像マーカの構成を示す正面図である。図５は、画像マーカに表示装置１を特定する情報が付与された状態の表示装置１を示す正面図である。

図１に示すように、画像読取システム１０は、画像（動画像、静止画像のいずれをも含む）を表示する表示装置１と、表示装置１を撮像する携帯端末装置２とを備えている。表示装置１は、携帯端末装置２とネットワークなどを介して接続されておらず、互いに通信できない状態に設けられている。

まず、表示装置１の外観構成について説明する。

図２〜図４に示すように、表示装置１は、前方から見て長方形をなす筐体１１と、筐体１１の前面（表示面）に配置された表示パネル１２（表示領域）と、筐体１１に装着された画像マーカ（以降「マーカ１３」と称する）とを備えている。表示装置１は、タッチ操作が可能なプログラマブル表示器のような操作型表示装置として構成される場合、表示パネル１２上に図示しないタッチパネルが設けられる。

筐体１１は、表示パネル１２を取り囲むように設けられた枠状のベゼル（縁部）１１ａを有している。また、マーカ１３は、図３に示すベゼル１１ａのほぼ全面に貼り付けられることにより、図２に示すように、表示パネル１２の表示面を取り囲むように配置される。このようにマーカ１３を配置することにより、表示領域の範囲がマーカ１３の内側の開口の範囲として特定される。

図４に示すように、マーカ１３は、ベゼル１１ａとほぼ同じ枠形状をなしており、黒枠部１３ａ，１３ｂと白枠部１３ｃとを有している。外黒枠部１３ａはマーカ１３の外側縁部に設けられており、内黒枠部１３ｂはマーカ１３の内側縁部に設けられている。白枠部１３ｃは、外黒枠部１３ａと内黒枠部１３ｂとの間に設けられている。マーカ１３は、このように、外黒枠部１３ａと内黒枠部１３ｂと白枠部１３ｃとを組み合わせることにより、周囲の明るさの影響を受けにくく、携帯端末装置２に読み取られたときに、画像として認識されやすい。

また、図５に示すように、マーカ１３には、表示装置１を特定する情報（表示装置特定情報）として複数のマーク１３ｄが付与されていてもよい。マーク１３ｄは、黒い矩形状をなしており、予め設定された間隔をおいて白枠部１３ｃに形成されている。そして、マーク１３ｄの配置位置および配置間隔は個々の表示装置１に特有のものであり、このマーク１３ｄによって表示装置１を特定することができる。

続いて、携帯端末装置２の外観構成について説明する。

図６に示すように、携帯端末装置２は、前方から見て長方形をなす筐体２１と、筐体２１に設けられた表示パネル２２と、表示パネル２２上に設けられたタッチパネル２３と、筐体２１に設けられたカメラモジュール２４（撮像手段）とを備えている。また、カメラモジュール２４は、外光を取り込む撮像レンズと、撮像レンズにより受光面に結像された画像を画像信号に変換して出力する撮像素子とを含んでいる。

上記の携帯端末装置２は、タブレット端末などとして構成されており、表示パネル２２およびタッチパネル２３により前面で表示およびタッチ操作を行うとともに、カメラモジュール２４により撮影を行うことができる。

さらに、表示装置１および携帯端末装置２のそれぞれのシステム構成について説明する。

図１に示すように、表示装置１は、画像の表示を制御する表示制御部１４、取得したデータを、情報表示コードとして表示するためのデータ形式変換部１５、および表示制御部１４に与える情報表示コードを表示するためのコード表示用データを記憶するメモリ１６を備えている。

メモリ１６は、複数の画像データを記憶している。画像データにより表される画像は、背景領域に各種の部品画像が配置されて構成されており、各部品画像の配置位置が同じ（あるいは類似する）ものもあるし、異なるものもある。

データ形式変換部１５は、表示装置１の外部または内部で発生する各種のデータを、動的に変化する情報として供されるコード表示用データに変換する。コード表示用データは、情報表示コードとして可視化されるデータである。また、情報表示コードは、携帯端末装置２によって画像マーカとして認識可能となるものである。情報表示コードとしては、例えば、バーコードやＱＲコード（登録商標）のような形式のコードが用いられる。

なお、情報表示コードとして可視化される情報は、バーコードやＱＲコード（登録商標）等に限らないが、携帯端末装置２において文字や数字のように人が認識できる形態への復号化が可能な情報であることが望ましい。

表示制御部１４（画像表示手段）は、メモリ１６に記憶された画像データに基づいて、表示パネル１２に画像を表示させる。また、表示制御部１４は、コード表示用データを情報表示コードとして表示するために情報表示処理部１４ａを有している。

情報表示処理部１４ａは、画像において部品画像の配置されていない背景領域に、所定のサイズ以上の未使用領域を設定する。また、情報表示処理部１４ａは、メモリ１６から取得したコード表示用データに基づいて、可視化された情報としての情報表示コードを未使用領域に表示するように表示パネル１２を制御する。

一方、携帯端末装置２は、さらに、前述の情報表示コードを読み取る画像読取部２５、情報表示コードの読み取りに利用される情報を記憶するメモリ２６、および携帯端末装置２の全体を制御する制御部２７を備えている。

メモリ２６（記憶手段）は、表示装置特定情報および画像レイアウト情報を記憶している。表示装置特定情報は、複数の表示装置について、それぞれを特定するための情報であり、例えば、表示装置１のＩＤや機種（機種番号）と、ＩＤや機種番号とを対応付けたテーブルとして設けられている。

画像レイアウト情報は、画像における部品画像の配置（レイアウト）に関する情報であり、全画像のうち、部品画像の配置が類似または一致する画像同士をグループ化し、各グループについて部品画像の配置をパターン化したものである。通常、撮像対象となる表示装置１が異なると、表示装置１が記憶している画像データも異なることから、画像レイアウト情報は、登録されている複数の表示装置１に応じて設けられている。また、画像レイアウト情報（配置可能情報）は、部品画像が配置された領域以外を情報表示コードの配置が可能な領域（配置可能領域・未使用領域）として特定できる。

画像読取部２５は、マーカ１３を認識するマーカ認識部２５ａと、カメラモジュール２４に対する表示装置１の相対的な位置関係を特定する相対位置特定部２５ｂと、取り込まれた画像を補正する画像補正部２５ｃと、補正された画像から情報を読み取る情報読取部２５ｄとを有している。

マーカ認識部２５ａ（マーカ認識手段）は、画像マーカ読取技術を利用して、カメラモジュール２４によって撮像された表示装置１の全体画像から、マーカ１３を認識することにより、表示パネル１２に表示された画像の部分（表示領域部分）を認識して取り込む。

相対位置特定部２５ｂ（相対位置特定手段）は、マーカ認識部２５ａによって認識されたマーカ１３に基づいて、カメラモジュール２４に対する表示装置１の相対的な位置関係（距離、方向、角度など）を推定により特定する。

画像補正部２５ｃ（画像補正手段）は、取り込まれた表示領域部分を、上記の相対的な位置関係に基づいて、正面から見た画像に補正する。

情報読取部２５ｄ（情報読取手段）は、取り込まれた表示領域部分において情報表示コードを検出する。また、情報読取部２５ｄは、検出した情報表示コードからコード表示用データを生成し、コード表示用データを元のデータ（表示装置１でコード表示用データに変換される前のデータ）に復号化する。

制御部２７は、表示パネル２２の表示制御や、タッチパネル２３による入力操作に基づく各部の制御などを行う。また、制御部２７は、画像読取部２５によって復号化されたデータ、すなわち元のデータに基づいて、当該データで表される情報を出力部（表示パネル２２や図示しないスピーカ）に出力させる。

引き続き、上記のように構成される画像読取システム１０による情報の表示動作および読み取り動作について説明する。

図７は、表示装置１に表示される画像の一例（画像１００）を示す図である。図８は、画像１００に情報が表示された状態を示す図である。図９は、画像１００に情報が表示された他の状態を示す図である。図１０は、携帯端末装置２に読み取られた画像の部分を示す図である。

まず、表示装置１は、図７に示すような画像１００を表示している。この画像１００は、背景領域１０１に複数の部品画像１０２が配置されることにより構成されている。部品画像１０２は、操作用のスイッチを表す部品画像、数値表示用の部品画像、ランプを表す部品画像などとして設けられている。

データ形式変換部１５は、表示装置１の外部または内部で発生する各種のデータをコード表示用データに変換して情報としてメモリ１６に記憶させる。情報表示コードとして可視化される情報としては、様々な情報がある。例えば、情報表示コードとして可視化される情報は、管理者だけがわかる情報、メンテナンス情報、コンテンツへ変換される情報（翻訳等）がある。また、具体的に変換される具体的なデータの例としては、アラームデータ（エラーデータ）、数値データ（計測器の出力データなど）といったデータが挙げられる。

情報表示処理部１４ａは、画像データを参照して、背景領域１０１において部品画像１０２が配置されていない領域から、所定のサイズ以上の矩形の未使用領域１０３を、情報表示コードを表示する候補の領域として設定する。図７に示す例では、背景領域１０１における上端部分および下端部分のそれぞれ左右部に未使用領域１０３が設定されている。この未使用領域１０３は、表示用メモリ（図示せず）に展開された画像データ上で設定されているため、実際に表示されている画像１００には未使用領域１０３を示す二点鎖線は現れていない。

情報表示処理部１４ａは、設定した未使用領域１０３から、サイズや縦横比を考慮して、携帯端末装置２で画像処理可能な情報表示コードを表示するのに最も適している未使用領域１０３（具体的には表示する情報表示コードの表示形式に依存する）を選択する。また、情報表示処理部１４ａは、選択した未使用領域１０３に、情報表示コードを表示するように、メモリ１６から取得したコード表示用データに基づいて表示パネル１２を制御する。

これにより、例えば図８に示すように、画像１００には、図７に示す背景領域１０１における右下端の最も大きいサイズの未使用領域１０３に、バーコードが情報表示コード１０４として表示される。

なお、情報表示処理部１４ａは、上記のように画像データを参照せずに、表示されている画像を１画素ずつ画像の配置の有無を確認する画像処理を行うことにより、未使用領域１０３を設定してもよい。ただし、この設定方法では、画像処理による時間がかかるので、画像データを参照して未使用領域１０３を設定することが処理の効率化を図る上で好ましい。

前述の、情報表示コードを表示する未使用領域１０３は、複数の未使用領域１０３から情報表示処理部１４ａにより自動的に選択されることで設定されるが、ユーザにより予め設定されていてもよい。未使用領域１０３がユーザによって設定される場合、例えば、ユーザが画像データを作成するときに、併せて未使用領域１０３を設定する。

また、情報表示処理部１４ａによる未使用領域１０３の設定と、ユーザによる未使用領域１０３の設定とを組み合わせることも可能である。具体的には、図９に示すように、ユーザが、位置情報を表示するための未使用領域１０３Ａの位置を固定する。位置情報は、情報表示コードを表示させる未使用領域１０３Ｂの位置（座標）を定めるものであって、例えば、情報表示コードとして未使用領域１０３Ａに表示される。情報表示処理部１４ａは、未使用領域１０３Ａに設定された位置情報の位置に情報表示コードとして表示するための未使用領域１０３Ｂを設定する。

これにより、固定された未使用領域１０３Ａの位置情報を最初に読み取り、得られた表示位置により、未使用領域１０３Ｂに表示された情報表示コードを読み取ることが決められることになる。したがって、情報表示コードを表示する位置の候補が常に１つに限定されるので、情報表示コードを表示するための最適な未使用領域１０３を検出する必要がない。

なお、上記記載では、未使用領域１０３Ａには、未使用領域１０３Ｂの位置を示す位置情報を示すコードが表示されている例について述べたが、当該コードが示す情報は上記の位置情報に限らない。例えば、未使用領域１０３Ａに表示されるコードは、未使用領域１０３Ｂに表示される情報表示コードが、例えばバーコードであるのかＱＲコード（登録商標）であるのか、情報表示コードの形状が四角なのか三角なのかというような各種の情報、すなわち情報表示コードに関する情報を表わすこともある。

また、位置情報の情報量が多くないことから、それを表示するための情報表示コードも小さくすることができる。これにより、画像１００における位置情報の配置の自由度を高めることができる。しかも、携帯端末装置２における後述の画像読取部２５が情報表示コードの検出を開始する位置（例えば四隅部のいずれか１つ）に位置情報を固定して配置しているので、読み取りを開始して直ぐに位置情報を確認することが可能になる。

一方、携帯端末装置２では、表示装置１の全体がカメラモジュール２４によって撮像されると、カメラモジュール２４から出力される表示装置１の全体画像（画像信号）が画像読取部２５に与えられる。

画像読取部２５において、マーカ認識部２５ａは、表示装置１の全体画像からマーカ１３を認識する。このとき、マーカ認識部２５ａは、マーカ１３の黒枠部１３ａ，１３ｂおよび白枠部１３ｃのパターンを検出することにより、当該パターンがマーカ１３であることを認識する。また、マーカ認識部２５ａは、マーカ１３を認識することにより、図１０に示すように、全体画像からマーカ１３の内側の表示領域に表示された画像の部分を表示領域画像２００として取り込む。

相対位置特定部２５ｂは、マーカ認識部２５ａによって認識されたマーカ１３で表される四角形の領域の大きさや形状と、マーカ１３のサイズおよび形状についての基準情報とに基づいて、カメラモジュール２４（携帯端末装置２）に対する表示装置１の相対的な位置関係を推定する。上記の基本情報は、予めメモリ２６などに記憶されている。この相対的な位置関係に基づいて、表示装置１の位置（カメラモジュール２４からの距離）、大きさ、姿勢（カメラモジュール２４に対する傾き）などを特定することができる。

画像補正部２５ｃは、相対位置特定部２５ｂによって特定された上記の相対的な位置関係に基づいて、取り込まれた表示領域画像２００を正面から見た画像に補正する。表示装置１の全体画像が斜め方向から撮像された場合、表示領域画像２００は歪んでいる。このような歪んだ形状の表示領域画像２００から、後述するように情報読取部２５ｄが情報表示コードを検出しようとしても、歪みの程度によっては正しく検出できないことがある。このため、画像補正部２５ｃは、上記の相対的な位置関係に基づいて、次のようにして、情報表示コードを含む表示領域画像２００を正しい形状に補正する。

画像補正部２５ｃは、相対的な位置関係のうち、携帯端末装置２に対する表示装置１の距離（撮像距離）に基づいて、適正な大きさとなるように表示領域画像２００のサイズを補正する。例えば、近い位置から表示装置１を撮像した場合、大きい表示領域画像２００が取り込まれるので、画像補正部２５ｃは、撮像距離に応じた１より小さい補正倍率を生成して、当該補正倍率に基づいて表示領域画像２００を縮小するように補正する。

また、画像補正部２５ｃは、相対的な位置関係のうち、携帯端末装置２に対する表示装置１の方向（撮像方向）に基づいて、正立方向に向くように表示領域画像２００の傾きを補正する。例えば、表示装置１を右斜め下方から撮像した場合、表示領域画像２００も撮像方向に応じて斜めに傾いているので、画像補正部２５ｃは、撮像方向に応じた補正角度を生成して、当該補正角度に基づいて表示領域画像２００の傾きを補正する。

さらに、画像補正部２５ｃは、携帯端末装置２に対する表示装置１の角度（撮像角度）に基づいて、表示領域画像２００の全体的な形状のバランスを補正する。表示装置１を撮像する角度が正面方向に対して大きくなるほど、表示領域画像２００の縦横比（縦方向の寸法に対する横方向の寸法の比）が異なる。例えば、表示装置１を上下の斜め方向から撮像した場合、撮像角度が大きくなると、横方向の寸法はあまり短くならず、かつ縦方向の寸法が短くなるので、縦横比が大きくなる。一方、表示装置１を左右の斜め方向から撮像した場合、撮像角度が大きくなると、縦方向の寸法はあまり短くならず、かつ横方向の寸法が短くなるので、縦横比が小さくなる。上記のいずれの場合でも、画像補正部２５ｃは、撮像角度に応じた補正比を生成して、当該補正比に基づいて表示領域画像２００の縦横比を適正な値に補正する。

情報読取部２５ｄは、マーク１３ｄで表されるコードから復号したコード番号と、メモリ２６の表示装置特定情報の各コード番号とを照合して、両者が一致するコード番号に対応する表示装置を読取対象となる表示装置１として特定する。情報読取部２５ｄは、特定された表示装置１に対応する画像レイアウト情報を参照しながら、上記のようにして補正された表示領域画像２００において、部品画像の配置されていない背景領域から情報表示コードを探していく。画像レイアウト情報の参照については、情報表示コード２０１を検出するまで、複数ある画像レイアウト情報を１つずつ参照していく。例えば、第１から第ｎまでの画像レイアウト情報がある場合、まず第１の画像レイアウト情報を参照して情報表示コード２０１を検出できないとき、第２の画像レイアウト情報を参照するというように、予め定められた順に画像レイアウト情報を参照する。このようにして画像レイアウト情報を参照することにより、情報表示コードが配置されている可能性の高い箇所、すなわち未使用領域が絞り込まれるので、早く情報表示コード２０１を検出することができる。

また、図示はしないが、表示領域画像２００に、前述の位置情報を表示する情報表示コードが含まれている場合、情報読取部２５ｄは、この情報表示コードを上記のようにして検出すると、情報表示コードが表示されている位置を特定することができる。これにより、それ以上の情報表示コードの検出が不要になる。

また、情報読取部２５ｄは、検出した情報表示コードからコード表示用データを生成し、コード表示用データを解析して元のデータ（表示装置１でコード表示用データに変換される前のデータ）に復号化する。

制御部２７は、上記のコード表示用データに基づいて、テキストや記号などの形態で表示用のデータを作成して表示パネル２２に与える。これにより、表示パネル２２には、コード表示用データに含まれる情報がユーザに判読可能な形態で表示される。例えば、情報は、表示用の画像において、文字列や数字のような形態で所定の位置に表示される。また、制御部２７は、上記のコード表示用データに基づいて、オーディオデータを生成して図示しないスピーカに与えてもよい。これにより、スピーカからは、コード表示用データに含まれる情報や当該情報により生じたアラームがユーザに理解可能なメッセージや電子音などで報知される。

なお、制御部２７は、情報を上記のようにして出力する以外に、携帯端末装置２にインストールされている特定のアプリケーションプログラムを、情報をトリガとして起動させてもよい。

以上のように、本実施形態の画像読取システム１０では、表示装置１の表示パネル１２の周囲にマーカ１３を設けることより、携帯端末装置２が、撮像した表示装置１の全体画像から、マーカ１３を認識する。これにより、携帯端末装置２に対する表示装置１の相対的な位置関係（距離、方向、角度など）を特定することができる。しかも、表示パネル１２のサイズ応じた大きいマーカ１３を用いるので、マーカ１３による画像の読み取り距離を１ｍ以上に延ばすことができる。

また、画像読取システム１０では、表示装置１に表示された画像から、携帯端末装置２で情報表示コードを読み取って出力する。これにより、表示装置１と通信可能に接続されていない携帯端末装置２で、画像に含まれる情報表示コードから情報を容易に取得することができる。

また、携帯端末装置２は、画像レイアウト情報のような詳細な情報の代わりに、表示装置１が表示する画像の全てを対象として、未使用領域を設定可能な領域がどこにあるのかという情報をいくつか持っていてもよい。

また、画像読取システム１０では、各画像における部品画像等の配置パターンに応じて、各画像を、いくつかのグループに分類できる場合は、携帯端末装置２において、画像レイアウト情報を用いて、情報表示コードを検出する。この画像レイアウト情報に対応する表示装置１をマーカ１３のマーク１３ｄにより特定する。これにより、情報表示コードが配置されている可能性の高い、部品画像等が配置されていない領域を、容易に絞り込むことや、１つの箇所に特定することが可能となる。したがって、効率的に情報表示コードを検出することができる。

さらに、図９に示すように、未使用領域１０３Ａに設定された位置情報（情報表示コードを表示する位置を表す情報）に基づいて情報表示コードの表示位置を確認することにより、未使用領域１０３Ｂに表示された情報表示コードを検出することができる。この場合、検出が最初に行われる箇所に位置情報を配置することにより、効率的に情報表示コードを検出することができる。

なお、情報表示コードとして可視化される情報は、監視の空き時間に表示されたり、１秒間に所定回数表示されたりするともある。また、当該情報は、影響しない範囲で特殊なリセット用の情報として表示されることもある。また、当該情報は、エラーのような一定の情報だけではなく、時間軸で変化するような情報であってもよい。あるいは、当該情報として、同じ情報だけでなく、異なる情報も表示できる。例えば、ある装置の温度変化の情報をリアルタイムに表示することもあるし、あるときに、ある装置の温度情報を表示する一方、別のときに、他の装置の流量情報を表示することもある。

〔変形例〕
上述の例では、図５に示すようなマーク１３ｄを含んでいるマーカ１３を利用して表示装置１を特定し、特定された表示装置１に応じた画像レイアウト情報を参照することにより、効率的に情報表示コードを検出することができる。これに対し、図４に示すようなマーク１３ｄを含まないマーカ１３を用いた場合は、表示装置１を特定できないので、画像レイアウト情報を参照することができないが、このような場合でも、情報表示コードの検索を効率的に行うことができる。次に、その例について説明する。

情報読取部２５ｄは、図１０に示すように、取り込まれた表示領域画像２００における四辺に接した部分や四隅から情報表示コード２０１の検出を開始して、情報表示コードが検出されるまで、所定の順に領域を変えて検出を継続していく。具体的には、四隅、四辺に接した部分、それ以外の部分という順に情報表示コード２０１を探していくが、四辺に接した部分から検索を開始してもよい。また、四隅および四辺に接した部分においても、それぞれ順序が定められている。四隅については、例えば、右上隅、左上隅、左下隅、右下隅という順序が定められるが、この順序以外であってもよい。四辺に接した部分については、例えば、上辺に接した部分、左辺に接した部分、下辺に接した部分、右辺に接した部分という順序が定められるが、この順序以外であってもよい。また、それ以外の部分では、例えば、上部から下部にかけて水平方向（右端から左端）に順次探していくが、これ以外の順であってもよい。

表示領域画像２００における四辺に接した部分や四隅は、部品画像が配置されていない可能性が高いことから、情報表示コードが配置されると予測できる。したがって、四辺に接した部分や四隅から先に情報表示コード２０１を探していくことにより、早く情報表示コード２０１を検出することができる。

このように、表示装置１を特定できない場合であっても、四辺に接した部分や四隅から順に情報表示コードを検索することにより、効率的に情報表示コードを検出することができる。この場合は、画像レイアウト情報を参照しなくても、未使用領域の情報表示コードを容易に読み取ることができ、画像レイアウト情報が不要になるので表示装置１を特定する必要がない。

ただし、情報表示コードが四辺に接した部分や四隅以外の部分に配置されている画像については、効率的に情報表示コードを検出できるとは言えない。これに対し、マーク１０３ｄを含んだマーカ１３を利用して表示装置１を特定し、特定された表示装置１に応じた画像レイアウト情報を参照することは、上記のような画像においても、より効率的に情報表示コードを検出することを可能にするので、好ましい。

［実施形態２］
本発明の実施形態２について、図１、図４および図１１に基づいて説明すれば以下のとおりである。

なお、本実施形態において、前述の実施形態１における構成要素と同等の機能を有する構成要素については、同一の符号を付記して、その説明を省略する。

図１１は、実施形態２に係る画像読取システム１０の表示装置１に表示される画像の一例を示す図である。

実施形態１に係る画像読取システム１０では、マーカ１３が表示装置１を特定できるマーク１３ｄを含んでいる。ただし、表示装置１のＩＤを変更する必要が生じた場合、変更されるＩＤに応じたマーク１３ｄを含むマーカ１３を作成（印刷）して、ベゼル１１ａに貼り替える必要がある。

そこで、本実施形態に係る画像読取システム１０では、表示装置１には、図４に示すようなマーク１３ｄを含んでいないマーカ１３が装着されている。また、表示装置１の情報表示処理部１４ａは、マーク１３ｄの役割を果たすマーカを画像に表示する。具体的には、情報表示処理部１４ａは、図１１に示すように、画像１００Ａの外周部に枠状に形成されたマーカ１０６を表示するように表示パネル１２を制御する。マーカ１０６は、黒い帯状のベース領域１０６ａに予め設定された個数の白色矩形状マーク１０６ｂが予め設定された間隔をおいて配置されているものである。すなわち、予め設定された前記個数および前記間隔によって表示装置１が特定できるようになされている。そして、このマーカ１０６により、マーカ１０６の内側が表示に用いられる部分、すなわち表示領域として特定される。

なお、このマーカ１０６内に情報表示コードを表示する、または情報表示コードの位置、形状や種類を特定する情報を表示することもできる。

また、上記実施形態では、白色矩形状マーク１０６ｂの個数およびそれらの間隔により表示装置１を特定するための表示装置特定情報を構成しているが、表示装置特定情報はこの構成に限るものではない。例えば、白色矩形状マーク１０６ｂに代えて三角形状のマークを用いてもよく、種々の形状のマークを用いることができる。さらにまた、マークが配置される位置により表示装置１を特定する構成とすることもできる。

本実施形態では、携帯端末装置２による表示装置１の特定が上記のように行われるが、それ以外の携帯端末装置２による処理は、実施形態１と同様である。したがって、情報表示コードの検出処理および検出した情報表示コードからの情報の読み取り処理も実施形態１で説明したように行われる。

［実施形態１および２の変形例］
ここでは、前述の実施形態１および２の変形例について説明する。

図１２は、表示装置１に表示される画像の他の例（画像３００）を示す図である。図１３は、図１２に示す画像３００に情報表示コード３０４が表示された状態を示す図である。

実施形態１では、図８に示すように、情報表示コード１０４が矩形である例を示した。しかしながら、情報表示コードの全体の形状は、矩形には限定されず、他の形状であってもよい。

例えば、図１２に示す画像３００においては、部品画像３０２が背景領域３０１の四辺の近傍にまで配置されているために、矩形の未使用領域を確保することができない。このような場合、ユーザまたは情報表示処理部１４ａにより、背景領域３０１において空いている箇所、例えば下側の２箇所の隅部に、三角形状の未使用領域３０３が設定される。そして、この未使用領域３０３には、図１３に示すように、情報表示処理部１４ａの制御により、バーコードの情報表示コード３０４が表示される。

［ソフトウェアによる実現例］
表示装置１および携帯端末装置２の制御ブロック（特に表示制御部１４、データ形式変換部１５および画像読取部２５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、表示装置１および携帯端末装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、表示装置に表示された画像に含まれる情報の読み取りに利用することができる。

１ 表示装置
２ 携帯端末装置
１２ 表示パネル（表示領域）
１３ マーカ
１４ 表示制御部（画像表示手段）
１４ａ 情報表示処理部
２４ カメラモジュール（撮像手段）
２５ａ マーカ認識部（マーカ認識手段）
２５ｂ 相対位置特定部（相対位置特定手段）
２５ｃ 画像補正部（画像補正手段）
２５ｄ 情報読取部（情報読取手段）
２６ メモリ（記憶手段）
１００，１００Ａ，３００ 画像
１０３，３０３ 未使用領域
１０４ 情報表示コード
１０６ 情報表示コード（マーカ）
２００ 表示領域画像

Claims (3)

1. 撮像手段と、
   前記撮像手段によって撮像された表示装置の全体画像から、前記表示装置における表示領域の部分の画像である表示領域画像を取り込むために、前記表示領域の範囲を特定するマーカを認識するマーカ認識手段と、
   認識された前記マーカに基づいて、前記撮像手段に対する前記表示装置の相対的な位置関係を特定する相対位置特定手段と、
   前記相対的な位置関係に基づいて、取り込まれた前記表示領域画像を補正する画像補正手段と、
   補正された前記表示領域画像に含まれる情報表示コードを検出および解析して情報を読み取る情報読取手段とを備えていることを特徴とする携帯端末装置。
2. 前記表示領域画像は、前記情報表示コードに関する情報を示す画像を含んでおり、
   前記情報読取手段は、前記情報に基づいて前記情報表示コードを検出することを特徴とする請求項１に記載の携帯端末装置。
3. 表示領域と、
   携帯端末装置が、表示装置の全体を撮像することによって得られる全体画像から前記表示領域の範囲を特定するために設けられているマーカと、
   前記携帯端末装置が読み取るための、所定の情報を表す情報表示コードが設けられている画像を前記表示領域に表示する画像表示手段とを備え、
   前記マーカは、前記携帯端末装置が前記表示装置を特定するために設けられている表示装置特定情報を含んでいることを特徴とする表示装置。

Images