JP2008250960A - 画面位置検出装置及び画面位置検出方法 - Google Patents

Abstract

【課題】この発明は、端末によって示された画面上の位置を正確に検出することができ、しかも、位置検出用の専用の映像表示画面を必要とすることなく、ユーザにとっての取り扱いを便利にし得るようにした画面位置検出装置及び画面位置検出方法を提供することを目的としている。
【解決手段】入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する生成手段（１５）と、生成された位置情報を映像情報に合成して出力する合成手段（１４，１６）と、出力された映像情報を位置情報とともに表示する表示手段（１８）と、表示画面上の所定領域を撮像する撮像手段（２５）と、撮像された情報から位置情報を抽出する抽出手段（２８）と、抽出された位置情報を解析して表示画面上の位置を検出する解析手段（２９）とを備える。
【選択図】 図１

Description

この発明は、映像表示画面内でポインタ等の端末が示した位置を検出する画面位置検出装置及び画面位置検出方法の改良に関する。

周知のように、例えば平面パネル型や投射型の映像表示装置等にあっては、大画面に対して高画質での情報の表示が可能であることから、多くの人々に一斉に情報を視認させて説明等を行なう際に便利である。このため、この種の大画面映像表示装置は、例えばプレゼンテーションや会議等の場に広く利用されている。

ところで、このような大画面映像表示装置を用いて説明会等を行なった場合には、説明者がポインタ等で表示画面上の特定の位置を示しながら説明を行なうことが多々ある。このような場合、表示された映像コンテンツに同期させて、説明者が示した画面上の位置の履歴を記録できるようにすることが必要になる。

しかしながら、ポインタで示した画面上の位置を検出するための現在の手段は、予め映像表示画面内に位置情報を記録しておき、ポインタでその位置情報を読み取るようにしている。すなわち、位置検出を行なうための専用の画面を有する映像表示装置を必要とするため、ユーザにとって取り扱いが不便になっているのが現状である。

特許文献１には、スクリーン内にパターンを表示してその位置を検出し、その位置から投射表示画面全体の位置を算出することにより、イメージセンサが投射レンズよりも離れたところに位置していても、正確に投射表示画面全体の位置の検出を行なえるようにしたプロジェクタ装置が開示されている。
特開２００４−２６０７８５号公報

そこで、この発明は上記事情を考慮してなされたもので、端末によって示された画面上の位置を正確に検出することができ、しかも、位置検出用の専用の映像表示画面を必要とすることなく、ユーザにとっての取り扱いを便利にし得るようにした画面位置検出装置及び画面位置検出方法を提供することを目的とする。

この発明に係る画面位置検出装置は、映像情報が入力される入力手段と、入力手段に入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する生成手段と、生成手段で生成された位置情報を入力手段に入力された映像情報に合成して出力する合成手段と、合成手段から出力される映像情報を位置情報とともに表示する表示手段と、表示手段の表示画面上の所定領域を撮像する撮像手段と、撮像手段で撮像された情報から位置情報を抽出する抽出手段と、抽出手段で抽出された位置情報を解析して表示画面上の位置を検出する解析手段とを備えるようにしたものである。

また、この発明に係る画面位置検出方法は、映像情報を入力する第１の工程と、第１の工程で入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する第２の工程と、第２の工程で生成された位置情報を第１の工程で入力された映像情報に合成して出力する第３の工程と、第３の工程で出力される映像情報を位置情報とともに表示する第４の工程と、第４の工程における表示画面上の所定領域を撮像する第５の工程と、第５の工程で撮像された情報から位置情報を抽出する第６の工程と、第６の工程で抽出された位置情報を解析して表示画面上の位置を検出する第７の工程とを備えるようにしたものである。

上記した発明によれば、入力された映像情報に、その映像情報が表示される表示画面上における位置を特定するための位置情報を合成させて映像表示させ、表示画面上の所定領域を撮像した情報から位置情報を抽出して解析することで表示画面上の位置を検出するようにしたので、位置検出用の専用の映像表示画面を必要とすることなく、撮像された画面上の位置を正確に検出することができ、ユーザにとっての取り扱いを便利にすることができるようになる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明する映像出力装置１１を示している。この映像出力装置１１は、外部から映像情報を入力するための映像入力端子１２を備えている。この映像入力端子１２には、例えば、光ディスクやハードディスク等の情報記録媒体から読み出された映像情報や、放送やネットワーク配信された映像情報等、種々の情報ソースからの映像情報が入力可能となっている。

この映像入力端子１２に入力された映像情報は、映像処理部１３に供給されて映像処理が施されることにより所定の形態の映像信号に変換される。そして、この映像処理部１３から出力された映像信号は、合成部１４により位置情報生成部１５から出力される位置情報が合成された後、映像出力部１６に供給されて映像表示のための所定の信号処理が施され、映像出力端子１７を介して外部接続された映像表示装置１８に供給されて映像表示に供される。

ここで、この映像出力装置１１は、上記した映像出力動作を含むその全ての動作を制御部１９によって統括的に制御されている。この制御部１９は、ＣＰＵ（central processing unit）等を内蔵しており、操作部２０からの操作情報、または、リモートコントローラ２１から送出され受光部２２で受信した操作情報を受け、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部１９は、メモリ部２３を利用している。このメモリ部２３としては、主として、制御部１９のＣＰＵが実行するための制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等を格納するための不揮発性メモリとを有している。

図２は、上記映像表示装置１８に表示される位置情報を示している。なお、図２では、簡単のために、本来の映像情報、つまり、図１で映像入力端子１２に供給された映像情報は省略している。すなわち、この位置情報は、表示画面内で複数のビットパターン２４が水平方向及び垂直方向にそれぞれほぼ等間隔に配置されるように表示したものである。この位置情報は、可視光で表示される必要はなく、ユーザによる本来の映像情報の視聴の妨げにならないように配慮されている。

そして、この位置情報が表示された映像表示装置１８の表示画面に対して、ポインタ２５によって任意の位置が指し示される。すなわち、このポインタ２５は、ユーザが手に持って、映像表示装置１８の表示画面に対して一定領域で可視光を照射することにより、特定の領域を示すことができる。

また、このポインタ２５は、可視光の照射されている表示画面の領域を撮像する撮像機能を備えている。この場合、ポインタ２５は、可視光で表示されていないビットパターン２４を撮像する機能を有し、表示画面上のどこを撮像していても、１つ以上のビットパターン２４が撮像されるように、ポインタ２５の撮像領域や、ビットパターン２４の配置間隔等が設定されている。そして、ポインタ２５によって撮像されたビットパターン２４の映像信号は、位置解析装置２６に供給されて解析されることにより、表示画面上の位置が解析される。

図３は、上記位置解析装置２６を示している。すなわち、ポインタ２５で撮像された映像信号は、位置解析装置２６の映像入力端子２７を介して映像処理部２８に供給される。この映像処理部２８は、入力された映像信号に所定の信号処理を施してビットパターン２４を抽出する。

そして、この映像処理部２８で抽出されたビットパターン２４は、位置解析部２９に供給されてその画面上における位置が解析され検出される。この位置解析部２９における位置検出結果は、出力端子３０を介して位置解析装置２６の外部に取り出し、例えばＰＣ（personal computer）等に入力させることが可能である。

ここで、この位置解析装置２６は、上記した位置解析動作を含むその全ての動作を制御部３１によって統括的に制御されている。この制御部３１は、ＣＰＵ等を内蔵しており、操作部３２からの操作情報を受け、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部３１は、メモリ部３３を利用している。このメモリ部３３としては、主として、制御部３１のＣＰＵが実行するための制御プログラムを格納したＲＯＭと、該ＣＰＵに作業エリアを提供するためのＲＡＭと、各種の設定情報及び制御情報等を格納するための不揮発性メモリとを有している。

図４（ａ）は、上記ビットパターン２４の１例を示している。このビットパターン２４は、水平方向に４ビット、垂直方向に４ビットの合計１６ビットから構成されている。そして、このビットパターン２４を構成する各ビットには、図４（ａ）上で左上を「０」、右上を「３」とする配列で、最後に右下が「１５」となるようにビット番号が付されている。

ここで、図４（ａ）に示すビットパターン２４では、ビット番号「０」、「２」、「４」、「５」、「６」、「８」、「１０」、「１１」、「１２」、「１３」、「１５」の各ビットがそれぞれ白色で、残りのビット番号「１」、「３」、「７」、「９」、「１４」の各ビットがそれぞれ黒色（図４ではハッチングで示す）となるように、各ビットに明暗が付けられている。

そして、上記位置解析装置２６の位置解析部２９では、映像処理部２８で抽出されたビットパターン２４について、図４（ｂ）に示すように、そのビット番号順に各ビットの明暗を判別し、白色を「０」、黒色を「１」なるデジタルデータに変換する。これにより、ビットパターン２４は、「０１０１０００１０１００００１０」なる２進数、つまり、「５１４２」なる１６進数に変換される。

ここで、図５に示すように、ビット番号「０」〜「７」までの８ビットが示すデータ「５１（１６進）」が表示画面上の水平（Ｘ）座標を表わし、ビット番号「８」〜「１８」までの８ビットが示すデータ「４２（１６進）」が表示画面上の垂直（Ｙ）座標を表わしている。これにより、上記ポインタ２５で撮像されたビットパターン２４について、その表示画面上での位置が解析され、データとして検出されることになる。

図６は、上記した映像出力装置１１における処理動作をまとめたフローチャートを示している。すなわち、処理が開始（ステップＳ１）されると、制御部１９は、ステップＳ２で、映像出力が要求されたか否かを判別し、要求されたと判断された場合（ＹＥＳ）、ステップＳ３で、位置情報生成部１５により位置情報を生成させる。そして、制御部１９は、ステップＳ４で、位置情報生成部１５で生成した位置情報を、合成部１４により、映像処理部１３から出力された映像信号に合成させた後、ステップＳ５で、映像処理力部１６にて外部に出力させて、処理を終了（ステップＳ６）する。

また、図７は、上記した位置解析装置２６における処理動作をまとめたフローチャートを示している。すなわち、処理が開始（ステップＳ７）されると、制御部３１は、ステップＳ８で、映像処理部２８からビットパターン２４が抽出されたか否かを判別し、抽出されたと判断された場合（ＹＥＳ）、ステップＳ９で、位置解析部２９によりビットパターン２４を解析させ、ステップＳ１０で、検出された位置データを外部に出力させて、処理を終了（ステップＳ１１）する。

上記した実施の形態によれば、映像処理部１３から出力された映像信号に、位置情報生成部１５から出力される位置情報を合成させて映像表示装置１８により映像表示させ、ポインタ２５で表示画面上の所定領域を撮像した情報から位置情報を抽出して解析するようにしたので、位置検出用の専用の映像表示画面を必要とすることなく、ポインタ２５によって示された画面上の位置を正確に検出することができ、ユーザにとっての取り扱いを便利にすることができるようになる。

なお、上記した実施の形態では、ビットパターン２４を構成するビット数を水平方向に４ビット、垂直方向に４ビットの合計１６ビットとしたが、ビットパターン２４を構成するビット数としては、例えば、表示画面上に配置するビットパターン２４の個数や、位置検出精度等に応じて、水平方向に５ビット、垂直方向に５ビットの合計２５ビットにしたり、水平方向に６ビット、垂直方向に６ビットの合計３６ビットにしたりと、そのビット数を種々変更することができる。

また、ポインタ２５に複数のビットパターン２４が同時に撮像される場合には、撮像された全てのビットパターン２４に対してそれぞれ位置を解析し、解析された各ビットパターン２４の位置を演算して、例えば撮像された各ビットパターン２４の中間位置等を算出することにより、ポインタ２５の示す位置を検出することができる。

図８及び図９は、それぞれ、上記した実施の形態の応用例を示している。すなわち、図８に示すものは、ゲーム機器３４によって、映像表示装置３５の画面上にゲーム映像とともに複数のビットパターン３６でなる位置情報を表示させている。そして、撮像機能を持つガン型コントローラ３７によって画面上を撃ったとき、その撃った位置が解析され、撃った位置とゲーム映像とが照合されて撃たれた位置が特定されるようになる。

また、図９に示すものは、ＰＣ３８の出力映像を、プロジェクタ３９を介してスクリーン４０に投射する際に、複数のビットパターン４１でなる位置情報をも投射表示させている。そして、撮像機能を持つポインタ４２によって画面上を指し示すことにより、その位置が解析され特定されるようになる。なお、ポインタ４２にクリック機能をつけて、スクリーン４０の投射映像を見ながら、ＰＣ用マウスと同様にスクリーン４０上の映像を操作することができるようにすることも考えられる。

なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この実施の形態を示すもので、映像出力装置を説明するために示すブロック構成図。 同実施の形態における映像出力装置で表示される位置情報を説明するために示す図。 同実施の形態における位置情報を解析する位置解析装置を説明するために示すブロック構成図。 同実施の形態における位置情報を構成するビットパターンの一例を説明するために示す図。 同実施の形態におけるビットパターンでの表示画面上の位置解析結果を説明するために示す図。 同実施の形態における映像出力装置の主要な処理動作を説明するために示すフローチャート。 同実施の形態における位置解析装置の主要な処理動作を説明するために示すフローチャート。 同実施の形態における映像出力装置及び位置解析装置を用いた応用例を説明するために示す図。 同実施の形態における映像出力装置及び位置解析装置を用いた他の応用例を説明するために示す図。

符号の説明

１１…映像出力装置、１２…映像入力端子、１３…映像処理部、１４…合成部、１５…位置情報生成部、１６…映像出力部、１７…映像出力端子、１８…映像表示装置、１９…制御部、２０…操作部、２１…リモートコントローラ、２２…受光部、２３…メモリ部、２４…ビットパターン、２５…ポインタ、２６…位置解析装置、２７…映像入力端子、２８…映像処理部、２９…位置解析部、３０…出力端子、３１…制御部、３２…操作部、３３…メモリ部、３４…ゲーム機器、３５…映像表示装置、３６…ビットパターン、３７…ガン型コントローラ、３８…ＰＣ、３９…プロジェクタ、４０…スクリーン、４１…ビットパターン、４２…ポインタ。

Claims (5)

1. 映像情報が入力される入力手段と、前記入力手段に入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する生成手段と、前記生成手段で生成された位置情報を前記入力手段に入力された映像情報に合成して出力する合成手段とを備えた映像出力手段と、
   前記映像出力手段の合成手段から出力される映像情報を前記位置情報とともに表示する表示手段と、
   前記表示手段の表示画面上の所定領域を撮像する撮像手段と、前記撮像手段で撮像された情報から前記位置情報を抽出する抽出手段と、前記抽出手段で抽出された位置情報を解析して表示画面上の位置を検出する解析手段とを備えた位置解析手段と、
   を具備することを特徴とする画面位置検出装置。
2. 映像情報が入力される入力手段と、
   前記入力手段に入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する生成手段と、
   前記生成手段で生成された位置情報を前記入力手段に入力された映像情報に合成して出力する合成手段と、
   前記合成手段から出力される映像情報を前記位置情報とともに表示する表示手段と、
   前記表示手段の表示画面上の所定領域を撮像する撮像手段と、
   前記撮像手段で撮像された情報から前記位置情報を抽出する抽出手段と、
   前記抽出手段で抽出された位置情報を解析して表示画面上の位置を検出する解析手段とを具備することを特徴とする画面位置検出装置。
3. 前記位置情報は、前記表示手段の表示画面上にほぼ等間隔で配列表示されるもので、それぞれが自己の位置を示すためのデータを含む複数のビットパターンであることを特徴とする請求項１または２記載の画面位置検出装置。
4. 前記ビットパターンは、水平方向及び垂直方向にそれぞれ複数個のビット領域を配置したもので、各ビット領域の明暗によって、そのビットパターンの位置が示されることを特徴とする請求項３記載の画面位置検出装置。
5. 映像情報を入力する第１の工程と、
   前記第１の工程で入力された映像情報が表示される表示画面上における位置を特定するための位置情報を生成する第２の工程と、
   前記第２の工程で生成された位置情報を前記第１の工程で入力された映像情報に合成して出力する第３の工程と、
   前記第３の工程で出力される映像情報を前記位置情報とともに表示する第４の工程と、
   前記第４の工程における表示画面上の所定領域を撮像する第５の工程と、
   前記第５の工程で撮像された情報から前記位置情報を抽出する第６の工程と、
   前記第６の工程で抽出された位置情報を解析して表示画面上の位置を検出する第７の工程とを具備することを特徴とする画面位置検出方法。

Images