JP2005148555A - 画像投影表示装置、画像投影表示方法および画像投影表示プログラム - Google Patents

Abstract

【課題】特別な器具を用いずに、かつ表示画面に書き込んだ利用者の存在方向を容易に検出可能にすること。
【解決手段】画像を投影するプロジェクタ１０２と、プロジェクタ１０２による画像が投影されるディスプレイ面１００と、ディスプレイ面１００の投影面を撮影するＣＣＤカメラ１０３と、を有する画像投影表示装置において、ＣＣＤカメラ１０３によって撮影した投影面の画像から、ディスプレイ面１００の周囲における利用者の方向を検出するポイティング方向検出部１１２を備える。
【選択図】 図１

Description

本発明は、画像投影表示装置、画像投影表示方法および画像投影表示プログラムに関するものである。

近年の情報技術の進歩に伴い、コンピュータ上のデータをディスプレイに表示するプレゼンテーションシステムが普及しつつある。このようなシステムでは、作成した資料をプロジェクタを用いて大画面のスクリーン上に投射表示する。この表示画面に直接座標入力したり、コンピュータ画面をプロジェクタによりスクリーン上に投影しカーソル操作を行うことが頻繁に行われている。表示画面に直接入力する手段として、タッチセンサは広く利用されている。

このように画面上に利用者が情報を入力する場合、その位置を検出する必要がある。そこで、タッチパネル式のディスプレイの周囲にＬＥＤを配置してディスプレイにおける入力情報の位置を特定する技術が開示されている（たとえば、特許文献１参照）。また、ディスプレイの上方にカメラを設けて利用者を撮影する装置も開示されている（たとえば、特許文献２参照）。

特開２０００−１７２４３０号公報 特開平１１−２９６３０４号公報

しかしながら、上記に示されるようなタッチセンサは、タッチセンサ面に同時に複数の利用者が操作した場合、どの利用者による操作であるかや書き込みであるかを特定することができなかったり、さらに書き込み情報の向きが不揃いであるために、プレゼンテーション情報に上記書き込み情報を付加してファイルに保存し再読み出しすると、書き込み情報の方向が異なり大変みずらい画像となるといった問題点があった。

また、従来は画面上の位置を検出するために、従来は特別なセンサを用いるので、利用者が指を使って書き込みを簡単に行なうことができないという問題点があった。

本発明は、上記に鑑みてなされたものであって、特別な器具を用いずに、かつ表示画面に書き込んだ利用者の存在方向を容易に検出可能にすることを第１の目的とする。

また、利用者による書き込み情報の方向を所定の方向に揃えることにより、見やすい画像の取り扱いを可能にすることを第２の目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有する画像投影表示装置において、前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出手段を備えたことを特徴とする。

この請求項１にかかる発明によれば、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識することが可能になる。

また、請求項２にかかる発明は、前記方向検出手段は、前記撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、前記小領域に存在する画像を抜き出し、前記小領域の画像が連接した方向性を有している場合、利用者の操作による影であると判断し、当該影から利用者の方向を検出することを特徴とする。

また、この請求項２にかかる発明によれば、請求項１にかかる発明において、撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、小領域に存在する画像を抜き出し、この小領域の画像の並び方の性質によって影の伸びている方向を判断することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識することが可能になる。

また、請求項３にかかる発明は、さらに、前記方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させる画像回転手段を備えたことを特徴とする。

また、この請求項３にかかる発明によれば、請求項１または２にかかる発明において、方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させることにより、ディスプレイ手段に書き込まれた情報を所定の方向にそろえることが可能になる。

また、請求項４にかかる発明は、前記画像回転手段は、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることを特徴とする。

また、この請求項４にかかる発明によれば、請求項３にかかる発明において、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることにより、ディスプレイ手段に書き込まれた必要な書き込み情報のみを所定の方向に統一することが可能になる。

また、請求項５にかかる発明は、前記方向検出手段は、前記投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出することを特徴とする。

また、この請求項５にかかる発明によれば、請求項４にかかる発明において、投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出することにより、特別な指示具などを使うことなく、かつ装置側に特別な方向検出センサを設けることなく、利用者の指の影によってポインティング位置を検出することが可能になる。

また、請求項６にかかる発明は、さらに、前記ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備えたことを特徴とする。

また、この請求項６にかかる発明によれば、請求項１〜５のいずれか一つにかかる発明において、ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備え、ポインティングすることにより、通常のマウスなどと同様な画面操作が可能になる。

また、請求項７にかかる発明は、前記方向検出手段は、前記投影面の画像に含まれる利用者の影の濃度値と前記影の伸びている方向とから利用者の方向を検出することを特徴とする。

また、この請求項７にかかる発明によれば、請求項１にかかる発明において、方向検出手段が、投影面の画像に含まれる利用者の影の濃度値と影の伸びている方向とから利用者の方向を検出することにより、画像中に映る利用者の影の伸びる方向と、その影の濃度値を利用することで、特別な方向検出センサなどを必要とせず、利用者の書き込みを行なっているときの影であるかを検出することが可能になる。

また、請求項８にかかる発明は、前記方向検出手段は、前記撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、前記小領域に存在する画像の色情報を抽出し、前記抽出した色情報も濃度値を求め、当該濃度値が所定値以上である場合、その濃度値を含む小領域の並び方から、利用者の影の伸びている方向を判断することを特徴とする。

また、この請求項８にかかる発明によれば、請求項７にかかる発明において、撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、小領域に存在する画像の色情報を抽出し、抽出した色情報も濃度値を求め、当該濃度値が所定値以上である場合、その濃度値を含む小領域の並び方から、利用者の影の伸びている方向を判断することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識することが可能になる。

また、請求項９にかかる発明は、さらに、前記方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させる画像回転手段を備えたことを特徴とする。

また、この請求項９にかかる発明によれば、請求項７または８にかかる発明において、方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させることにより、ディスプレイ手段に書き込まれた情報を所定の方向にそろえることが可能になる。

また、請求項１０にかかる発明は、前記画像回転手段は、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることを特徴とする。

また、この請求項１０にかかる発明によれば、請求項９にかかる発明において、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることにより、ディスプレイ手段に書き込まれた必要な書き込み情報のみを所定の方向に統一することが可能になる。

また、請求項１１にかかる発明は、前記方向検出手段は、前記投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出することを特徴とする。

また、この請求項１１にかかる発明によれば、請求項１０にかかる発明において、方向検出手段が、投影面の画像に含まれる利用者の影の濃度値と影の伸びている方向とから利用者の方向を検出することにより、画像中に映る利用者の影の伸びる方向と、その影の濃度値を利用することで、特別な方向検出センサなどを必要とせず、利用者の書き込みを行なっているときの影であるかを検出することが可能になる。

また、請求項１２にかかる発明は、さらに、前記ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備えたことを特徴とする。

また、この請求項１２にかかる発明によれば、請求項７〜１１のいずれか一つにかかる発明において、ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備え、ポインティングすることにより、通常のマウスなどと同様な画面操作が可能になる。

また、請求項１３にかかる発明は、画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有し、画像をディスプレイに投影する画像投影表示方法において、前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出ステップと、前記ディスプレイ手段に書き込まれた情報を、前記方向ステップで検出した方向にそろえて回転する画像回転ステップと、を含むことを特徴とする。

また、この請求項１３にかかる発明によれば、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識する画像投影表示方法が実現可能になる。

また、請求項１４にかかる発明は、画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有し、画像をディスプレイに投影する画像投影表示方法をコンピュータに実行させる画像投影表示プログラムにおいて、前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出ステップと、前記ディスプレイ手段に書き込まれた情報を、前記方向ステップで検出した方向にそろえて回転する画像回転ステップと、を含むことを特徴とする。

また、この請求項１４にかかる発明によれば、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識する画像投影表示方法がコンピュータで実行することが可能になる。

本発明（請求項１）にかかる画像投影表示装置は、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出するので、特別な方向を検出するセンサや器具を用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを利用者の影情報によって容易に認識することができるという効果を奏する。

また、本発明（請求項２）にかかる画像投影表示装置は、請求項１にかかる発明において、撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、小領域に存在する画像を抜き出し、この小領域の画像の並び方の性質によって影の伸びている方向を判断するため、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを利用者の影情報によって容易に認識することができるという効果を奏する。

また、本発明（請求項３）にかかる画像投影表示装置は、請求項１または２にかかる発明において、方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させることにより、ディスプレイ手段に書き込まれた情報を所定の方向にそろえることが可能になるため、見やすい書き込み情報の保存を行なうことができるという効果を奏する。

また、本発明（請求項４）にかかる画像投影表示装置は、請求項３にかかる発明において、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させるので、ディスプレイ手段に書き込まれた必要な書き込み情報のみ、たとえば書き込み文字のみを所定の方向に統一することができるという効果を奏する。

また、本発明（請求項５）にかかる画像投影表示装置は、請求項４にかかる発明において、投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出するため、特別な指示具などを使うことなく、かつ装置側に特別な方向検出センサを設けることなく、利用者の指の影によってポインティング位置を検出することができるという効果を奏する。

また、本発明（請求項６）にかかる画像投影表示装置は、請求項１〜５のいずれか一つにかかる発明において、ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備え、ポインティングすることで、通常のマウスなどの入力指示手段と同様な画面操作を画面上で行なうことができるという効果を奏する。

また、本発明（請求項７）にかかる画像投影表示装置は、請求項１にかかる発明において、方向検出手段が、投影面の画像に含まれる利用者の影の濃度値と影の伸びている方向とから利用者の方向を検出することにより、画像中に映る利用者の影の伸びる方向と、その影の濃度値を利用することで、特別な方向検出センサなどを必要とせず、利用者の書き込みを行なっているときの影であるかを検出することができるという効果を奏する。

また、本発明（請求項８）にかかる画像投影表示装置は、請求項７にかかる発明において、撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、小領域に存在する画像の色情報を抽出し、抽出した色情報も濃度値を求め、当該濃度値が所定値以上である場合、その濃度値を含む小領域の並び方から、利用者の影の伸びている方向を判断することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを簡単に認識することができるという効果を奏する。

また、本発明（請求項９）にかかる画像投影表示装置は、請求項７または８にかかる発明において、方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させることにより、ディスプレイ手段に書き込まれた情報を所定の方向にそろえることが可能になるため、見やすい書き込み情報の保存ができるという効果を奏する。

また、本発明（請求項１０）にかかる画像投影表示装置は、請求項９にかかる発明において、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させるので、ディスプレイ手段に書き込まれた必要な書き込み情報のみ、たとえば文字情報のみを所定の方向に統一することができるという効果を奏する。

また、本発明（請求項１１）にかかる画像投影表示装置は、請求項１０にかかる発明において、方向検出手段が、投影面の画像に含まれる利用者の影の濃度値と影の伸びている方向とから利用者の方向を検出するため、画像中に映る利用者の影の伸びる方向と、その影の濃度値を利用することで、特別な方向検出センサなどを必要とせず、利用者の書き込みを行なっているときの影であるかを検出することができる効果を奏する。

また、本発明（請求項１２）にかかる画像投影表示装置は、請求項７〜１１のいずれか一つにかかる発明において、ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備え、ポインティングすることで、通常のマウスなどの入力手段と同様な画面操作ができるという効果を奏する。

また、本発明（請求項１３）にかかる画像投影表示方法は、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出するため、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識する画像投影表示方法が実現するという効果を奏する。

また、本発明（請求項１４）にかかる画像投影表示プログラムは、撮影手段で撮影した投影面の画像から利用者の影を検出し、この影により利用者の存在位置を検出することにより、特別な方向を検出するセンサを用いることなく、ディスプレイ面への書き込みがどの方向の利用者によって行なわれたものかを認識する画像投影表示方法がコンピュータで実行することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像投影表示装置、画像投影表示方法および画像投影表示プログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の実施の形態にかかる画像投影表示装置の構成を示すブロック図である。図において、符号１００はディスプレイ面、符号１０２はプロジェクタ、符号１０３はＣＣＤカメラ、符号１０５は制御装置、符号１０６は表示装置、符号１０７は入力装置、符号１０８は記憶装置、符号１１０は画像入力部、符号１１１は画像処理部、符号１１２はポインティング方向検出部、符号１１３は画像回転部、符号１１４はＩ／Ｆ表示部である。なお、上記の制御装置１０５〜Ｉ／Ｆ表示部１１４は、たとえばパーソナルコンピュータによって実現される。

ディスプレイ面１００は、電子情報が拡大されて投影可能なスクリーンによって実現される。プロジェクタ１０２はパーソナルコンピュータなどから送られる会議資料などの電子情報（ファイル）を投影する装置である。ＣＣＤカメラ１０３はディスプレイ面１００全体が画角に収まるように配置および構成され、ディスプレイ面１００の投影画像および利用者の影や書き込み画像を撮影するものである。

制御装置１０５はバス上に接続された各機能ブロックを統括的に制御するためにＣＰＵ，ＲＯＭ，ＲＡＭなどにより構成される。表示装置１０６はモニタとして使用されるＣＲＴあるいはＬＤなどの表示手段である。入力装置１０７はキーボードやマウスなどの入力手段である。記憶装置１０８はたとえば会議資料や各種のファイルなどを読み出し・書き込み可能に保存するものである。

画像入力部１１０はＣＣＤカメラ１０３で撮影した画像を入力処理するものである。画像処理部１１１は入力された撮影画像に対して所定の画像処理を施し、撮影画像から特定の画像を抽出するものである。ポインティング方向検出部１１２は後述するようにディスプレイ面１００の周辺で投影面に触れたり書き込みを行なう利用者の存在方向（書き込み方向）を検出するものである。画像回転部１１３はポインティング方向検出部１１２によて検出された利用者の存在方向（書き込み方向）にしたがって書き込み情報を必要に応じて一定方向に回転するものである。Ｉ／Ｆ表示部１１４は、ディスプレイ面１００に、後述するように、書き込み抽出、方向統一の指示などを行なうためのユーザインターフェイス機能を表示するものである。

上記のように構成された画像投影表示装置は、ディスプレイ面１００に対してプロジェクタ１０２により画像が投影されている。また、ディスプレイ全体が画角に収まるようＣＣＤカメラ１０３が配置されている。

このような画像投影表示装置においてはたとえば、図１、図２のほかに、図３に示すように、ディスプレイが水平になるような構成も考えられ、このとき会議などにおいては、図４に示すのように、ディスプレイ面１００に表示された画像やファイルなどを投影し、その画面に関して議論を行うことになる。

このとき、装置の利用者Ｐ１，Ｐ２，Ｐ３は、パソコンの会議資料をプロジェクタ１０２によってディスプレイ面１００に表示し、それを元に議論等を行う。さらに、ディスプレイが面１００がマーカー等で書き込み可能であれば、この投影された資料に直接書き込みを行う形で議論を行う。議論終了後、ＣＣＤカメラ１０３によりディスプレイ面１００の画像を撮影し、得られた画像からマーカーによる書き込みのみを抽出し、もとの電子ファイルに貼り付けることで、たとえば、図５に示すように書き込み情報を記憶装置１０８に電子的に保存することが可能になる。

このとき、図４に示すように複数の利用者（Ｐ１，Ｐ２，Ｐ３）によって議論がなされていた場合、それぞれがマーカー等による書き込みを行うが、このとき、書き込まれた情報は図５に示すように方向がまちまちである。この書き込み情報を保存する際に、この状態のまま貼り付けを行っても、大変見づらいものとなってしまう。そこで、この実施の形態では、特別な方向を検出するためのセンサ等を用いることなく書き込みのなされた方向を識別し、書き込まれた情報の方向を所定の方向にそろえることを可能にするものである。これには利用者がディスプレイ面１００に書き込みを行う際に発生する影を用いる。

すなわち、利用者が書き込みを行っている間、ＣＣＤカメラ１０３に写る画像には図６に示すように、利用者の手の影２０５，２０６が映りこんでおり、この影２０５，２０６は書き込みをしている手の先端から、必ず画像の４辺のいずれかの方にむかって伸びている。そして、その画像の４辺のいずれかによって切られた影の延長上に利用者（書き込み者）が存在するはずであるので、この手の影の伸びている方向から書き込みがディスプレイ面１００のどの方向からなされたものであるのかを識別する。

つぎに、本発明の実施の形態にかかる第１の動作について図８に示すフローチャートを参照して説明する。本動作は制御装置１０５によって統括的に実行される。ＣＣＤカメラ１０３によって撮影された画像にフィルターをかける。フィルターは図７に示すように、数画素からなる小ウインドウ２１０に分割し、これらを１〜Ｎまでの番号で管理する。まず、撮影画像のうち、小ウイドウ２１０に影が存在するか否かを判断する（ステップＳ１１）。ここで、小ウインドウ２１０に影が存在すれば、小ウインドウ２１０で影２０７，２０８のかかっているものの番号を記録する（ステップＳ１２）。このとき、図７中の斜線部の小ウインドウには影の色情報が含まれる。続いて、記録した番号に連続性があるか否かを判断する（ステップＳ１３）。ここで、小ウインドウに連続性があると判断したならば、ディスプレイ上の４辺付近の番号を持つかを判断し（ステップＳ１４）、方向性を判断する（ステップＳ１５）。

すなわち、記録された小ウインドウの番号の連続性、もしくは集約性を調べるために用意された小ウインドウの総数や、その並びは既知であるので、影の存在する小ウインドウの番号の規則性から、どの方向に伸びているのかを知ることができる。ステップＳ１３でえられた連続性から、影の伸びる方向がわかるので、方向が検出できる。同時に複数人が書き込んでいて、同じ画像内に図７のように２つの影２０７，２０８ができている場合には、影２０７と影２０８では小ウインドウ２１０の番号に連続性もしくは集約性が保たれないので、別々の影であると認識することができる。

以上の方法によって、利用者の影の方向を認識し、利用者がディスプレイ面１００のどの方向に存在しているのかをポインティング方向検出部１１２によって判別することができる。また、この利用者の書き込んだ方向から判断し、書き込まれたものを画像回転部１１３によって回転させるなどして、図５のようなファイルを図９に示すように書き込み情報の方向をそろえることが可能になる。

具体的には、図１３のフローチャートに示すように、ＣＣＤカメラ１０３はディスプレイ面１００を常時連続的にキャプチャを行い、キャプチャ画像のフレーム間差分をとり（ステップＳ２１）、ディスプレイ面１００の更新情報を監視し（ステップＳ２２）、書き込みが行われると更新情報として記録する（ステップＳ２３）。一定時間間隔をあけずに、さらに一定領域内に固まって現れた更新情報を同じグループとして記録する（ステップＳ２４）。書き込みが行われる場合、ある意味をもつ、言葉なり、記述は一連の連続した流れで行われるであろうことから、画像の更新が始まり一定時間間隔を上げず断続的に増加し、かつ一定の領域内に存在するものを同じグループとして、書き込み抽出時にたとえば図１０における符号２１５、２１６のようにオブジェクト化する（ステップＳ２５）。

このとき、オブジェクト化された書き込み情報と、書き込みのなされた方向を関連付ける。図１１と図１２は同一画像をわかりやすくするため、書き込み情報と影情報にわけたものである。図１１においてオブジェクト化された書き込み情報（２１６）はオブジェクト領域内に小ウインドウ２１７を含み、この小ウインドウ２１７は同時に、オブジェクト２１６の書き込み情報を書き込んだ利用者の影２１９の中にも含まれる。したがって、オブジェクト２１６と影２１９は共通の小ウインドウ２１７を持つ。同様にして、オブジェクト２１７と影２２０は共通の小ウインドウ２１８を持つ。以上のようにして、オブジェクトと影の方向を関連付けする。続いて上記関連づされた情報にもとづき、オブジェクトを回転させ、方向をそろえる。

以上のように、利用者の任意のタイミングで、書き込み情報を保存する際に、書き込みを行った利用者の存在方向を考慮して、オブジェクトを回転させることで、任意の方向に書き込みを統一することができる。

（第２の実施の形態）
図１４は、本発明の第２の実施の形態にかかる画像投影表示装置の概略構成を示す説明図でありディスプレイ面１００の背面からプロジェクタ１０３により画像が投影され、CCＣＣＤカメラ１０３等の撮像手段がディスプレイ面１００を撮像するように構成され、他の機能は図１と同様である。重複する構成についての説明は省略する。

プレゼンターである利用者Ｐがプレゼンを行い、画面操作を行う場合、指Ｐｆによって、ディスプレイ面１００をポインティングする。このとき図１５−１に示すように、ＣＣＤカメラ１０３の画像にはプレゼンターの影２３０がうつる。ポインティングした指の影２３１は最も濃い影となって画像中に残される。ディスプレイ面１００を撮影しているＣＣＤカメラ１０３の画像中に所定の閾値以上の濃度で、所定の大きさの黒点が現れたときに、指の影であると判断することで、プレゼンターの指を認識し、ポインティング位置を検出する。

また、プレゼンターが、ポインティング目的でなく、ディスプレイ面１００に手をついてしまった場合も考えられるが、これは、図１５−２に示すように、認識された黒点２３１の周囲の一定の領域２３２内に同レベルの濃度の影が存在した場合にはポインタとみなさず、処理を行わない。これにより指以外の影や、プレゼンターの腕や体のようにディスプレイ上で濃度の薄い影はノイズとして判断され、指の影のみがポインティングとして認識され、正確なポインティング位置が検出される。

また、図４に示すようなテーブル型のリアプロジェクターに本手法を適用した場合、ユーザーは画面に手をついたり物を置くことが考えられる。このとき、影の存在の有無だけでポインティングを検出しようとする場合に誤動作を招来させる事態が発生すると考えられるが、本手法を用い、一本の指以外の影は除外することで、適切な操作が可能になる。

さて、図１６に示すように、レイアウト図の類を表示させ、議論を行い、書き込みを行った場合、たとえば、文字２４１の書き込みは、方向を揃えるべく回転させても問題はないが、符号２４２のように矢印やその他の図形等で向きを変えてしまっては意味のないものが存在することが考えられる。このとき、オブジェクト化されている書き込み情報を、上述のポインタ機能を用いて回転の必要があるもののみを選択することが可能になる。もしくは、回転する必要のないもののみを選択し、残ったオブジェクトを回転させる方法でもよい。

図１７は所定の機能をもつ機能入力手段を有し、ディスプレイ上の指の影からポインティング位置を検出する処理手段が、入力された機能に対応した処理を行う手段を含む機能の一例を示したものである。ディスプレイに投影されたコンピュータ画面上２４３に、所定の機能をもつボタンダイアログ２４５が表示されている。

たとえば、ボタンダイアログ２４５には符号２４６〜２５１に示すような操作用のボタンが設定されている。符号２４６，２４７はウインドウの上下のスクロールボタン、符号２４８，２４９は左右のスクロール、符号２５０，２５１はそれぞれウインドウの最大化および最小化の指示を行なう際に操作するボタンであり、各ボタンがクリックされることで、それぞれのウインドウ操作が行われるように設定されている。ボタンダイアログ２４５は画面上の表示される座標が固定されており、必然的にダイアログがもつボタンのウインドウ上の座標も固定されている。

したがって、ボタンの存在する領域は既知であるから、この領域に指の影を、前述の処理手段によって検出し、ポインティングと判断されると、ボタンに割り当てられたイベントが発生し、それに応じた処理を行う。ダイアログ２４５はボタンに限らず、ポップアップ構造として、より多くの必要な機能をもたせることも可能である。ディスプレイ面１００上でボタンダイアログが必要以上に多くのスペースを取ることを避けるため、画面の４辺にそって、ボタンを設けるなどすることも可能である。このボタン機能に、オブジェクト化、オブジェクト選択、回転、などの機能を設けて、適宜このボタン操作を行うことで必要な動作をディスプレイ上で、マウスなどのインターフェイスを用いることなく操作可能にすることができる。

（第３の実施の形態）
図１９−１に示すように、利用者がディスプレイに書き込みを行っているとき、腕（指）２６の影先端には、マーカー先端部の影２６１が映る。このとき、腕はディスプレイ面１００に置きながら書いている場合もあれば、浮かせている場合もあると考えられる。しかしながら、書き込み中であるので、ペン先は必ずディスプレイ面１００に接しており、このとき、ペン先の影の濃度はもっとも濃くなっているといえる。

そこで、図１９−２に示すように、キャプチャ画像はフレーム間差分をとり、画像の更新情報を監視している（図１３参照）。画像中に小さな影２６１が現れ、ペン先近傍の小ウインドウ２１０を先端とし、画像の４辺のいずれかの端にある小ウインドウ２１０までの連続性を保つ影が存在した場合、この小さな影をペンの先であると認識し、ペン先の軌跡を追う。書き込みが行われる場合、ある意味をもつ、言葉なり、記述は一連の連続した流れで行われるであろうことから、画像の更新が始まり一定時間内、かつ一定の領域内におけるペン先の移動軌跡は同じグループとして、書き込み抽出時にオブジェクト化する。オブジェクト化された書き込みのうち、時間的にもっとも新しいものと、その時刻における影の伸びていた方向を関連づけて情報を記憶しておき、利用者の任意のタイミングで、書き込み情報を保存するとともに、回転を行い、書き込み情報の方向を統一する。

（第４の実施の形態）
図１５−１におけるプレゼンターの指の影と、マーカー等でディスプレイ面に対し書き込みを行う際にできるペン先の大きさは明らかにちがうので、指とペン先を識別する。ＣＣカメラ１０３はディスプレイ面１００を常時連続的にキャプチャしている。キャプチャ画像はフレーム間差分をとり、画像の更新情報を監視している（図１３参照）。すなわち、利用者によって、書き込みがなされる場合、単にディスプレイ面１００を指し示している場合などに情報が更新されるが、この際、更新情報として、指の影が現れたのか、ペン先が現れたのかによって、処理をわける。

更新情報がペン先である場合、そのペン先の軌跡を追跡し、ペン先が移動した後に画像内に書き込み情報が増加していた場合、一定時間以上の間隔をあけることなく増加したかどうか、また、最初の書き込みから一定の領域内に存在しているかどうかを判断し、一定時間の間隔内において、一定領域内に存在するものをオブジェクト化する。オブジェクト化された書き込み情報の存在する小ウインドウの位置と、その書き込みをした利用者の影の存在する小ウインドウの番号がダブっているとき、書き込みと影の情報を関連付けておく。任意のタイミングで利用者が書き込み情報を保存動作をおこなった際、それまでにディスプレイ上に書き込まれた情報を前述の方式にしたがってオブジェクト化し、記憶装置１０８に保存する。記憶装置１０８への電子情報の保存は、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）で規定されているカラー静止画像のハフマン符号化と離散コサイン変換による圧縮方式にしたがって画像圧縮して記憶装置１０８に記憶する。

このとき、影の方向から、すべての書き込み情報を行わず、現状のまま記憶装置１０８に保存する。保存後、利用者は、書き込んだ情報のうち、方向を回転させる必要のあるものと、ないものを判断し、図１６における矢印２２のように回転させてしまっては、保存情報として意味のないものを除いて選択する。この際、マウスやキーボードを使ってオブジェクトを選択することもできる。しかしながら、ディスプレイ面１００を指で直接タッチすることで操作を行うことで、より操作性の向上を図ることができる。

ＣＣＤカメラ１０３による連続キャプチャ中に、ペン先なのか指の影なのかを判断し、指の影であった場合、これをポインティング動作とし、その影が位置したオブジェクトを有効にする。このオブジェクトを有効にする手段は、指の影が存在する小ウインドウ、もしくは近傍の小ウインドウが、オブジェクトの領域内の小ウインドウの番号と一致する場合に有効にする。回転させるべきオブジェクトを選択した後、回転動作を行えば、必要な情報だけを回転させ、有効な保存情報として残すことができる。

これらの動作のなかで、書き込み情報の保存、保存情報の回転などの処理は、前述した、ディスプレイ領域にそれぞれ機能の割り当てられたボタンダイアログ２４５を用意し、この各ボタンに保存、回転などの機能を持たすことで、一連の操作にマウスやキーボードといったインタフェースを使わずにスムーズに議論を行うことができるようになる。

本発明による画像投影表示装置は、タッチセンサなどのセンサを使用せずに、また投影面がマーカーなどによる書き込みを可能にすることにより、複数人が同時に、投影された資料に仮想的に書き込みを行ったり、手をついてしまっても支障はない。

ところで、これまで説明してきた画像投影表示方法（動作）を、プログラム化し、コンピュータ読み取り可能な記録媒体に記録し、コンピュータ上で実行することもできる。また、コンテンツ縮約方法の一部をネットワーク上に有し、通信回線を通して実現することもできる。

すなわち、この実施の形態で説明した画像投影表示方法は、図２０に示すように、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータ（ＣＰＵ２０）で実行することにより実現される。このプログラムは、キーボード２５の操作などにより、メモリ２１、ハードディスク２４、フレキシブルディスク２７、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ−Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２６、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータ（ＣＰＵ２０）によって記録媒体から読み出し、必要に応じて表示装置２３に表示することによって実行される。また、必要に応じてこのコンテンツ縮約のデータを通信装置２２から外部装置に送受信することも可能である。

また、このプログラムは、図２１に示すように、上記記録媒体を介して、インターネット３０などのネットワークによってパーソナルコンピュータなどの装置３１〜３３に配布することができる。

すなわち、このプログラムは、たとえばコンピュータに内蔵されている記録媒体としてのハードディスクに、あらかじめインストールした状態で提供することができる。プログラムは記録媒体に一時的あるいは永続的に格納し、コンピュータにユニットとして組み込んだり、あるいは着脱式の記録媒体として利用することで、パッケージソフトウェアとして提供することができる。

記録媒体としては、たとえば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤ、磁気ディスク、半導体メモリなどが利用できる。

プログラムは、ダウンロードサイトから、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットといったネットワークを介して、有線または無線でコンピュータに転送し、そのコンピュータにおいて、内蔵するハードディスクなどの記憶装置にダウンロードさせるようにすることができる。

以上のように、本発明にかかる画像投影表示装置、画像投影表示方法および画像投影表示プログラムは、たとえば、コンピュータ上の電子情報をディスプレイに投影し、これを撮影して画像処理を行ない、特別な器具やセンサを用いずにディスプレイ面に利用者が指で直接情報を書き込むなどの操作を行なう場合に有用であり、特に、コンピュータ上の電子情報をディスプレイに投影し、ここで書き込まれた情報を撮影して画像処理を行なって保存するといった各種の会議やプレゼンテーションなどを行なうシステムに適している。

本発明の実施の形態にかかる画像投影表示装置の構成を示すブロック図である。 本発明の実施の形態にかかる画像投影表示装置の垂直型ディプレイの構成を説明図である。 本発明の実施の形態にかかる画像投影表示装置の水平型ディプレイの構成を説明図である。 本発明の実施の形態にかかるディスプレイ面での利用者の状態例を示す説明図である。 本発明の実施の形態にかかるディスプレイ面の投影画像および書き込み画像例を示す説明図である。 本発明の実施の形態にかかるディスプレイ面上における利用者の影の例を示す説明図である。 本発明の実施の形態にかかるディスプレイ面上における利用者の影と小ウインドウ化した例を示す説明図である。 本発明の実施の形態にかかる画像投影表示装置における利用者の方向判断処理を示すフローチャートである。 本発明の実施の形態にかかる画像投影表示装置における投影画像と書き込み画像の回転例を示す説明図である。 本発明の実施の形態にかかる画像投影表示装置における書き込み画像抽出時のオブジェク化の例を示す説明図である。 本発明の実施の形態にかかる書き込み画像にオブジェクト化の例を示す説明図である。 図１１における影情報の例を示す説明図である。 本発明の実施の形態にかかる画像投影表示装置における画像キャプチャ〜更新情報のオブジェクト化までの処理を示すフローチャートである。 本発明の実施の形態にかかる画像投影表示装置のディスプレイ面を背面から操作するシステム例を示す説明図である。 図１４の構成における利用者の影とポインティングの例を示す説明図である。 図１５−１におけるポンティング検出例を示す説明図である。 ディスプレイ面においてレイアウト図などを投影し、書き込みを行なう例を示す説明図である。 ディスプレイ面におけるボタンダイアログ表示例を示す説明図である。 図１７におけるボタンダイアログ詳細例を示す説明図である。 ディスプレイ面における利用者の指およびマーカー先端部の影を示す説明図である。 図１９−１における小ウインドウによる検出例を示す説明図である。 本発明の実施の形態にかかるプログラムを通信可能なコンピュータで実行させるシステムの構成を示すブロック図である。 本発明の実施の形態にかかるプログラムをネット上で配信させるシステムの構成を示すブロック図である。

符号の説明

１００ ディスプレイ面
１０２ プロジェクタ
１０３ ＣＣＤカメラ
１０５ 制御装置
１０６ 表示装置
１０７ 入力装置
１０８ 記憶装置
１１０ 画像入力部
１１１ 画像処理部
１１２ ポインティング方向検出部
１１３ 画像回転部
１１４ Ｉ／Ｆ表示部
２０１ 投影画像
２０２ａ，ｂ 書き込み情報
２０５，２０６ 影
２１０ 小ウインドウ
２４５ ボタンダイアログ

Claims (14)

1. 画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有する画像投影表示装置において、
   前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出手段を備えたことを特徴とする画像投影表示装置。
2. 前記方向検出手段は、前記撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、前記小領域に存在する画像を抜き出し、前記小領域の画像が連接した方向性を有している場合、利用者の操作による影であると判断し、当該影から利用者の方向を検出することを特徴とする請求項１に記載の画像投影表示装置。
3. さらに、前記方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させる画像回転手段を備えたことを特徴とする請求項１または２に記載の画像投影表示装置。
4. 前記画像回転手段は、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることを特徴とする請求項３に記載の画像投影表示装置。
5. 前記方向検出手段は、前記投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出することを特徴とする請求項４に記載の画像投影表示装置。
6. さらに、前記ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備えたことを特徴とする請求項１〜５のいずれか一つに記載の画像投影表示装置。
7. 前記方向検出手段は、前記投影面の画像に含まれる利用者の影の濃度値と前記影の伸びている方向とから利用者の方向を検出することを特徴とする請求項１に記載の画像投影表示装置。
8. 前記方向検出手段は、前記撮影手段で撮影した投影面の画像領域を、数画素からなる小領域の群に分割し、前記小領域に存在する画像の色情報を抽出し、前記抽出した色情報も濃度値を求め、当該濃度値が所定値以上である場合、その濃度値を含む小領域の並び方から、利用者の影の伸びている方向を判断することを特徴とする請求項７に記載の画像投影表示装置。
9. さらに、前記方向検出手段によって検出された利用者の方向にしたがって、当該書き込み画像を所定の方向となる位置に回転させる画像回転手段を備えたことを特徴とする請求項７または８に記載の画像投影表示装置。
10. 前記画像回転手段は、利用者によるポインティング動作によって指定された書き込み画像のみを所定の方向に回転させることを特徴とする請求項９に記載の画像投影表示装置。
11. 前記方向検出手段は、前記投影面の画像に含まれる指の影情報から利用者によるポインティング位置を検出することを特徴とする請求項１０に記載の画像投影表示装置。
12. さらに、前記ディスプレイ手段に、少なくとも、書き込み画像の抽出、方向指示を行なう入力ボタンを投影する入力画面投影手段を備えたことを特徴とする請求項７〜１１のいずれか一つに記載の画像投影表示装置。
13. 画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有し、画像をディスプレイに投影する画像投影表示方法において、
    前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出ステップと、
    前記ディスプレイ手段に書き込まれた情報を、前記方向ステップで検出した方向にそろえて回転する画像回転ステップと、
    を含むことを特徴とする画像投影表示方法。
14. 画像を投影する画像投影手段と、前記画像投影手段による画像が投影されるディスプレイ手段と、前記ディスプレイ手段の投影面を撮影する撮影手段と、を有し、画像をディスプレイに投影する画像投影表示方法をコンピュータに実行させる画像投影表示プログラムにおいて、
    前記撮影手段で撮影した投影面の画像から、前記ディスプレイ手段の周囲における利用者の方向を検出する方向検出ステップと、
    前記ディスプレイ手段に書き込まれた情報を、前記方向ステップで検出した方向にそろえて回転する画像回転ステップと、
    を含むことを特徴とする画像投影表示プログラム。

Images