JP2008146374A - プロジェクタ - Google Patents

Abstract

【課題】撮像手段を用いて画像認識を行い、その画像認識結果に応じた動作を行うように構成することにより、撮像手段に操作部としての用途を持たせることのできるプロジェクタを得る。
【解決手段】被撮像物を撮像して画像データとして出力する撮像部６１と、撮像部６１が出力した画像データの特徴を抽出する特徴抽出部６２と、１ないし複数の画像の特徴を表すデータを格納した特徴データベースと、特徴抽出部６２が抽出した特徴と、特徴データベースに格納されているデータにより表される特徴の一致度を判定し、一致度が所定の閾値以上の場合に、その旨の判定結果を前記制御部に出力する判定部２２と、を備え、制御部２１は、判定部２２が出力した判定結果に対応する特徴データベースのエントリに予め関係付けられた命令コードに対応する動作を行うように、各部の動作を制御することを特徴とする。
【選択図】図１

Description

本発明は、撮像部を備えたプロジェクタに関するものである。

従来、『台形歪みの自動補正機能を低コストで設けることができるプロジェクタと、撮像装置、台形補正用プログラムを提供する。』ことを目的とした技術として、『投影画像を撮像するイメージセンサ１１を設け、かつレンズモータ７により投影レンズ６（を構成するフォーカスレンズ）を駆動して、スクリーン上の投影画像のフォーカスを調整可能とする。電源投入時等に制御装置５は、コントラストＡＦと同様の手法で、投影レンズ６を光軸方向に移動させながらイメージセンサ１１による撮像を行い、撮像した画像の所定の検出領域のコントラスト値が最大となる投影レンズ６の位置を検出し、それを距離情報として取得する。上検出領域を複数ヶ所に切り替えて取得した複数の距離情報に基づき、装置本体のスクリーンに対する傾き角度を演算し、演算結果に応じて投影画像の台形歪みを台形補正部に補正させる。１つのイメージセンサ１１により装置本体の上下及び左右方向の傾きが検出できる。』というものが提案されている（特許文献１）。
また、『画像から抽出される特徴を基準として行う識別対象物体の位置合わせを、より安定に行うことを可能とする技術を提供する』ことを目的としたものとして、『例えば人物の顔を識別する如き物体画像認識処理方法において、入力パタンに対する特徴点抽出によって位置決めの基準点の候補となる特徴点を抽出し、当該基準点候補の組み合わせに応じてそれぞれのパタンの位置合わせを行って、逐次、画像を切り出して、複数の照合パタン候補を求め、複数の位置決めの条件に対するテンプレートを格納しているテンプレート辞書の内容と照合し、これによって位置や大きさの正規化が行われた結果の照合パタンの１つを出力する。』というものが提案されている（特許文献２）。

特開２００４−２０８０８９号公報（要約） 特開平５−２２５３４４号公報（要約）

上記特許文献１に記載の従来技術によれば、撮像手段が撮像した画像データを用いて自動的に台形補正をすることができるが、台形補正のために撮像手段を新たに設ける必要があり、コストが増える等の観点から課題があった。
また、上記特許文献２に記載の従来技術は、具体的な適用対象機器を示すものではないため、この技術を実際の動作に応用したプロジェクタ等の電子機器が望まれる。
本発明は、上記のような課題を解決するためになされたものであり、撮像手段を用いて画像認識を行い、その画像認識結果に応じた動作を行うように構成することにより、撮像手段に操作部としての用途を持たせることのできるプロジェクタを提供することを目的とする。

本発明に係るプロジェクタは、入力映像信号に基づく出力映像信号を生成する映像信号処理部と、前記出力映像信号に基づいて映像を投射する投射部と、前記映像信号処理部及び前記投射部の動作を制御する制御部と、被撮像物を撮像して画像データとして出力する撮像部と、前記撮像部が出力した画像データの特徴を抽出する特徴抽出部と、１ないし複数の画像の特徴を表すデータを格納した特徴データベースと、前記特徴抽出部が抽出した特徴と、前記特徴データベースに格納されているデータにより表される特徴の一致度を判定し、一致度が所定の閾値以上の場合に、その旨の判定結果を前記制御部に出力する判定部と、を備え、前記制御部は、前記判定部が出力した前記判定結果を受け取ると、前記特徴データベースに格納されているデータのうち、その判定結果に対応するものを読み取り、そのデータに予め関係付けられた命令コードに対応する動作を行うように、前記映像信号処理部及び前記投射部の動作を制御する。
そのため、撮像部に手をかざすなどの簡単な動作を行うだけでプロジェクタの操作を行うことができるので、ユーザにとって使い勝手のよいプロジェクタを提供することができる。
また、誤って撮像部に手をかざしてしまったような場合でも、そのときの手の形状に対応する特徴データベースのエントリがなければ、プロジェクタが不用意に動作してしまうこともないので、特徴データベースのエントリ内容を適切に設定することにより、そのような誤操作を防止することも可能である。

また、本発明に係るプロジェクタにおいて、前記特徴データベースのエントリは、２以上の前記特徴を表すデータから構成されており、前記判定部は、前記判定結果を前記制御部に出力する際には、その判定結果とともに、その判定結果が前記特徴データベース中のいずれのエントリとの比較によるものかを表す識別情報を前記制御部に出力し、前記制御部は、前記判定部が出力した前記判定結果を受け取る毎に、前記識別情報を用いて、その判定結果が前記特徴データベース中のいずれのエントリとの比較によるものかを判断し、そのエントリを構成する全ての前記データについて、連続して前記判定結果を受け取った場合に、そのエントリに予め関係付けられた命令コードに対応する動作を行うように、前記映像信号処理部及び前記投射部の動作を制御する。
即ち、２つ以上の画像の特徴データで１つの命令コードを表すように特徴データベースを構成したので、１つの画像の特徴データのみを使用する場合よりも、表現できる命令コードの数が広がり、様々な操作を実行することができるようになる。

また、本発明に係るプロジェクタにおいて、前記特徴データベースのエントリは、動画像の各フレームに対応する２以上の画像の特徴を表すデータから構成されており、前記撮像部は、被撮像物を撮像して動画像データとして出力し、前記特徴抽出部は、前記動画像データの所定間隔のフレーム毎に特徴を抽出し、前記判定部は、前記特徴抽出部が抽出した特徴を表すデータから動きベクトルを算出して、前記特徴抽出部による抽出対象フレーム間の画像データを補完し、もしくは前記特徴データベースのエントリが保持している特徴データから動きベクトルを算出して、当該特徴データ間の特徴データを補完し、補完後の各フレームの特徴により前記判定を行う。
そのため、動画像の一致判定を行うことによりプロジェクタに命令を与えることができる。これを応用すれば、例えば手話動作により操作することのできるプロジェクタを得ることなどが可能となり、上記と比較して、操作命令を与えるパターンの幅がより広まる。
また、動きベクトル予測によりフレーム間の特徴データを補完するので、単に動画像のフレームの一致度判定を行うよりも、動作の一致度判定の精度が増す。

また、本発明に係るプロジェクタは、前記特徴データベースのエントリ中において、前記動画像の各フレームに対応する画像の特徴を表すデータのうち、連続する複数のフレームのデータを同一に構成したことにより、動画像中に静止動作が含まれることを表した。
即ち、特徴データベースのエントリの中に静止状態を表す特徴データを含めたので、動画像中に静止状態の画像が含まれることとなり、判定部による一致度の判定精度が増し、ユーザが撮像部の前で何度も命令動作を繰り返すようなことがなくなり、ユーザビリティの観点から好ましい。

実施の形態１．
図１は、本発明の実施の形態１に係るプロジェクタ１の機能ブロック図である。
図１のプロジェクタ１は、光源１３、液晶ライトバルブ駆動部１４、液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂ、投射光学系１６、スクリーンＳＣ、制御部２１、判定部２２、映像入力部３１、映像信号処理部３２、フレームメモリ３３、操作パネル４１、操作信号処理部４２、記憶部５１、撮像部６１、特徴抽出部６２を備える。

光源１３は、最終的にユーザへ表示する映像のための光源供給部であり、液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂに向けて光を射出する。
液晶ライトバルブ駆動部１４は、映像信号処理部３２が出力する出力映像信号に基づいて、液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂを駆動する。
液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂは、複数の図示しない画素がマトリクス状に形成されており、液晶ライトバルブ駆動部１４により各画素の透過率が調整されることにより、光源１３から射出された光を変調し、投射光学系１６に向けて射出する。
液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂから射出された光は、投射光学系１６によってスクリーンＳＣ上に拡大投射される。
投射光学系１６には、投射光の焦点を変更可能なフォーカス機構と、投射光の拡大率を変更可能なズーム機構とが備えられている。
本発明における「投射部」は、光源１３、液晶ライトバルブ駆動部１４、液晶ライトバルブ１５Ｒ、１５Ｇ、及び１５Ｂ、及び投射光学系１６がこれに該当する。

制御部２１は、映像信号処理部３２の動作を制御するための信号を、映像信号処理部３２に出力する。また、操作信号処理部４２より受け取った操作信号に基づき、対応する制御動作を実行する。
判定部２２は、特徴抽出部６２から特徴データを受け取り、記憶部５１が格納している後述の特徴データベースのエントリと比較し、両者の一致度を判定する。一致度が所定の閾値以上である場合は、その旨の判定結果が制御部２１に出力される。
制御部２１及び判定部２２は、例えばマイコンやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のような演算装置で構成することができる。両者を一体的に構成してもよく、本実施の形態１においては一体的に構成した場合を前提にする。

映像入力部３１は、プロジェクタ１の外部機器等から与えられる映像信号を受け取り、アナログ映像信号であればデジタル映像信号に変換するなどの処理を施して、映像信号処理部３２に出力する。
映像信号処理部３２は、映像入力部３１からの入力映像信号を１フレーム（１画面）毎にフレームメモリ３３に記憶させるとともに、フレームメモリ３３に記憶された映像（以下、フレーム映像ともいう）を読み出す機能を有し、入力映像信号と制御部２１の指示に基づいてデジタルの出力映像信号を生成して液晶パネル駆動部１１に出力する。
映像信号処理部３２は、マイクロプロセッサ等により構成され、内蔵したプログラムを実行することにより、上記の処理を行う。

操作パネル４１は、プロジェクタ１の本体筐体の外面に設けられ、ユーザの操作情報を受け付けるためのものである。
ユーザが操作パネル４１に配置されたキーを押下等すると、それに対応した操作信号が操作信号処理部４２に出力される。
また、リモコンＲＣも操作パネル４１と同様にユーザの操作情報を受け付け、それに対応した操作信号を無線通信により操作信号処理部４２に出力する。
操作信号処理部４２は、操作パネル４１やリモコンＲＣが出力した操作信号を受け取り、デジタル信号に変換するなどの処理を施して、制御部２１に出力する。

記憶部５１は、後述の図３で説明する特徴データベースを格納している。
記憶部５１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＮＶＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ ＲＡＭ）等の不揮発性の記憶装置により構成される。

撮像部６１は、プロジェクタ１の筐体外面に固定的に取り付けられたカメラ等により構成され、被撮像物を撮像して画像データとして特徴抽出部６２に出力する。
特徴抽出部６２は、受け取った画像データから特徴を抽出し、判定部２２に出力する。
ここでいう「特徴」とは、例えば特許文献２に示されているような、画像データからその形状的特徴などを抽出して、データとして表したしたものである。次の図２で具体的な内容を説明する。
なお、制御部２１、判定部２２、特徴抽出部６２を一体的に構成してもよい。また、判定部２２と特徴抽出部６２は、ソフトウェアにより構成することもできる。

図２は、特徴抽出部６２が画像データから特徴を抽出する際の処理イメージを説明するものである。
特徴抽出部６２は、撮像部６１から被撮像物の画像データを受け取る。ここでは図２の左端に示すように、人間の手の画像データを受け取ったものとする。
次に、特徴抽出部６２は、受け取った画像データの形状的な特徴などを抽出し、データとして表現する。
例えば図２左上に示すように、手の人差し指を立てた画像であれば、手全体を円形状で表すとともに、手首部分を長方形で表し、人差し指が立っている様子を上向きの長円で表す。同様に、指を２本立てている画像であれば、所定の角度をもって交差する２つの長円で２本の指を表す。
さらに、上記のように画像データの形状的特徴を図形的に表現した後に、より簡略化したデータ表現形式に変換してもよい。
例えば、手の人差し指を立てた画像であれば、人差し指を上向きの矢印と同義に考え、上向きのベクトルを当該画像の特徴として抽出してもよい。同様に、指を２本立てている画像であれば、左斜め上向きベクトルと右斜め上向きベクトルを当該画像の特徴として抽出してもよい。

図３は、記憶部５１が格納している特徴データベース（図１では図示せず）の構成とデータ例を示すものである。
特徴データベースには、図２で説明したような、撮像部６１が撮像して出力した画像データの特徴を抽出したデータと同様のデータが格納されている。ここでは、図２の「特徴抽出（１）」のようなデータが格納されているものとする。
また、プロジェクタ１の命令コードが、その特徴データに対応付けられて格納されている。図３のデータ例では、人差し指を立てた特徴データは、プロジェクタ１の命令コード「０ｘ０００００００１」に対応付けられている。

図４は、プロジェクタ１が特徴データベースを用いて命令コードを実行する際の動作フローである。以下、各ステップの内容を説明する。
（Ｓ４０１）ユーザが撮像部６１の前に手をかざす。ここでは、人差し指を上向きに立てて、撮像部６１の前で所定時間静止するものとする。
（Ｓ４０２）撮像部６１は、人差し指を上向きに立てたユーザの手を撮像し、画像データとして特徴抽出部６２に出力する。撮像・画像データ出力を行うタイミングは、ユーザが操作パネル４１を操作して指示したときでもよいし、ユーザが撮像部６１に手をかざしたことを輝度変化などにより自動検出して、自動的に行うものでもよい。
（Ｓ４０３）特徴抽出部６２は、撮像部６１が出力した画像データから、図２で説明したような特徴抽出を行い、判定部２２にその特徴データを出力する。
（Ｓ４０４）判定部２２は、特徴抽出部６２から受け取った特徴データを基に、記憶部５１が格納している特徴データベースを検索する。
（Ｓ４０５）判定部２２は、特徴抽出部６２から受け取った特徴データと、特徴データベース中の各エントリとの一致度を判定する。一致度が所定の閾値以上のエントリが存在すれば、ステップＳ４０６へ進む。存在しなければ、そのまま処理を終了する。
（Ｓ４０６）判定部２２は、一致度が所定の閾値以上のエントリが存在する旨の判定結果を制御部２１に出力する。このとき、そのエントリに関連付けられた命令コードを読み取り、併せて制御部２１に出力する。制御部２１は、その命令コードに対応した動作を実行するように、各部の動作を制御する。

なお、判定部２２による一致度の判定は、例えば特許文献１に示されている方法など、所定の演算式等により一致度を演算し、その値が閾値以上であるか否かを判断することにより行うことができる。

以上のように、本実施の形態１によれば、撮像部６１に手をかざすだけでプロジェクタの操作を行うことができるので、ユーザにとって使い勝手のよいプロジェクタを提供することができる。
また、誤って撮像部６１に手をかざしてしまった場合でも、そのときの手の形状に対応する特徴データベースのエントリがなければ、プロジェクタが不用意に動作してしまうこともないので、特徴データベースのエントリ内容を適切に設定することにより、そのような誤操作を防止することも可能である。

実施の形態２．
実施の形態１では、特定の１の形状を表す特徴データとプロジェクタの命令コードを対応付けることにより、撮像部６１に手をかざすだけで操作を行うことができるプロジェクタの構成を説明した、
本発明の実施の形態２では、２以上の形状を表す特徴データとプロジェクタの命令コードを対応付ける構成について説明する。
なお、本実施の形態２に係るプロジェクタ１の主な構成は、実施の形態１で説明した図１と同様であるものとする。

図５は、本実施の形態２に係るプロジェクタ１が備える特徴データベースの構成とデータ例を示すものである。図３と異なるのは、１つのエントリ中に、特徴データが２つ存在することである。
実施の形態１では、撮像部６１が撮像した１つの画像が特徴データベースのエントリと一致すれば、対応する命令コードを制御部２１が実行するものとしたが、本実施の形態２においては、撮像部６１が撮像した２つの画像がともに一致しないと、対応する命令コードは実行されないようにしている。
一致する順番については、撮像部６１が撮像した２つの画像がエントリ中に格納されている通りの順番で一致しなければ命令コードを実行しないようにしてもよいし、一致する順番の前後は問わないものとしてもよい。
本実施の形態２では、撮像部６１が撮像した２つの画像がエントリ中に格納されている通りの順番で一致しなければ命令コードを実行しないものとして、以下の説明を行う。

図６は、本実施の形態２において、プロジェクタ１が特徴データベースを用いて命令コードを実行する際の動作フローである。以下、各ステップの内容を説明する。
（Ｓ６０１）以下のステップＳ６０２〜Ｓ６０６を２回繰り返す。繰り返し回数を符号ｉで表現する。
（Ｓ６０２）〜（Ｓ６０５）実施の形態１の図４で説明したステップＳ４０１〜Ｓ４０４と同様であるため、説明を省略する。
（Ｓ６０６）判定部２２は、特徴抽出部６２から受け取った特徴データと、特徴データベース中の各エントリのｉ列目の特徴データとを比較し、両者の一致度を判定する。
一致度が所定の閾値以上のエントリが存在すれば、判定部２２は、判定結果とともに、そのエントリに関連付けられた命令コードと、そのエントリを識別するための情報を制御部２１へ出力する。制御部２１は、そのエントリを識別するための情報を一時的に記憶しておく。
一致度が所定の閾値以上のエントリが存在しなければ、そのまま処理を終了する。
（Ｓ６０７）制御部２１は、判定部２２から受け取った２つのエントリを識別する情報が同一のエントリを指している場合は、２つの画像がともに一致したものとみなし、そのエントリに対応付けられた命令コードに対応した動作を実行するように、各部の動作を制御する。

なお、以上の説明では、２つの画像の特徴データにより、特徴データベースの１つのエントリを構成することを説明したが、３つ以上の画像の特徴データでエントリを構成してもよく、またエントリ毎に画像の特徴データの数が異なっていても、その組み合わせによりエントリに重複が生じなければよい。

以上のように、本実施の形態２によれば、２つの画像の特徴データで１つの命令コードを表すように特徴データベースを構成したので、１つの画像の特徴データのみを使用する実施の形態１よりも、表現できる命令コードの数が広がり、様々な操作を実行することができるようになる。

実施の形態３．
実施の形態１〜２では、静止画像の特徴データを命令コードに対応付けたプロジェクタの構成を説明した。
本発明の実施の形態３では、これを動画像に適用したプロジェクタの構成を説明する。

図７は、本実施の形態３に係るプロジェクタ１が備える特徴データベースの構成とデータ例を示すものである。１つのエントリが複数の画像の特徴データからなる点は実施の形態２の図５と同様であるが、特徴データが画像の動きに対応している点が異なる。
特徴データベースの各エントリは、動画像の各フレームに対応する静止画の特徴データを格納している。
図７のデータ例では、１行目のエントリは、人間の手の指を１本立てた状態から２本の指を立てるまでの一連の動作の動画像のうち、所定の時間間隔ごとのフレームをピックアップし、各フレームを静止画像とみなして、図２で説明したような特徴抽出を行ったものである。
同様に、２行目のエントリは、人間の手の指を全て閉じた状態から５本の指を開くまでの一連の動作の動画像について、同様に各フレームの特徴を抽出したものである。

撮像部６１は、人間がその前方に手をかざすと、その動きを撮像して動画像データとして特徴抽出部６２に出力する。
特徴抽出部６２は、所定の時間間隔でその動画像データのフレームをピックアップし、フレーム毎に特徴を抽出して、判定部２２に逐次出力する。
判定部２２は、特徴抽出部６２が抽出したフレーム毎の画像の特徴を、特徴データベースの各エントリと比較して、一致度を判定する。判定に際しては、特徴抽出部６２が抽出したフレーム毎の画像の特徴と、特徴データベースのエントリ中の各特徴データとを、フレーム毎に比較し、フレーム毎の一致度の合計値が所定の閾値を上回っていれば同じ動作を表しているものと判定することができる。

ここで、動画像の一致度の判定に際し、考慮すべき事項がある。
特徴抽出部６２は、撮像部６１が出力した動画像データのフレームを所定の時間間隔でピックアップし、フレーム毎に特徴を抽出するが、その抽出間隔と、特徴データベースのエントリが格納している特徴データの時間間隔とに大きな開きがある場合は、同じ動作をしても異なる動作として判定される虞があり、その逆の場合もある。
また、ユーザが極端に速い動きもしくは遅い動きをしたときは、同じ動作をしても、フレームの抽出間隔により異なる動きと判定される可能性があり、その逆の場合もある。
次に、その具体例について説明する。

図８は、判定部２２が撮像部６２の出力した動画像データと、特徴データベースのエントリとの一致度を判定する際に起こる不都合を説明するものである。
ここでは、ユーザが手の指を１本立てた状態から、指を２本立てた状態にするまでの、一連の動画像を撮像部６１が撮像したものとして説明する。
（１）一致すると判定できる場合
ユーザの手の指の動きが、特徴データベースのエントリと同程度のフレーム間隔のスピードであった場合は、動作の開始点と終了点の静止画像が一致することはもちろんだが、その途中のフレームにおける静止画像も一致するものと思われる。
このような場合は、ユーザの手の指の動きと、特徴データベースのエントリが保持している複数の特徴データが表す動きは、同一のものと判定することができる。
（２）ユーザの動きが速い場合
ユーザの手の指の動きと、特徴データベースのエントリが保持している複数の特徴データが表す動きとが、ともに同一の動きを表している場合であっても、両者の時間間隔にずれがある場合は、フレーム単位で比較すると、異なった静止画像となる場合がある。
図８の（２）の例では、動作の開始点では同一の静止画像であっても、ユーザの手の指の動きが速いため、ユーザの動作が終了した時点では両者の静止画像は一致せず、その間のフレームにおいても同様である。
このような場合は、両者の動きが違うものと判定される可能性がある。
（３）誤って一致すると判定する場合
特徴データベースのエントリが保持している特徴データのフレーム間隔が長い場合は、フレーム間の動きが全く異なる場合であっても、そのフレームにおいて両者の静止画像が一致していれば、全体の動きも一致するものと判定してしまう可能性がある。

以上説明したような不都合を回避するため、本実施の形態３に係るプロジェクタにおいて、判定部２２は、特徴データのフレーム補完処理を行う。
ここでいうフレーム補完処理とは、特徴抽出部６２が抽出したフレーム毎の画像の特徴データと、特徴データベースの各エントリが保持する特徴データの間に、フレーム間隔の不一致がある場合に、特徴データが少ないほうに対して、フレーム間の静止画像を補うことを言う。

例えば図８の（２）の場合、ユーザの動きが速いため、特徴抽出部６２が抽出した画像の特徴データは、特徴データベースの各エントリが保持する特徴データよりも、フレーム数が少ない状態にある。
そこで、判定部２２は、特徴抽出部６２が抽出した画像の特徴データに対して、フレーム間の静止画像を補う処理を行う。補完処理により、ユーザの手の指の動きが特徴データベースのエントリと一致することが分かる。
また、図８の（３）の場合、特徴データベースのエントリが保持するフレーム毎の特徴データを補完する。補完した特徴データと、特徴抽出部６２が抽出した画像の特徴データを比較すると、両者の動きが異なることが分かる。

図９は、上記で説明した、補完後の特徴データによる一致判定について説明するものである。同図に示すように、特徴抽出部６２が抽出した画像の特徴データ、もしくは特徴データベースのエントリが保持するフレーム毎の特徴データを補完することにより、両者のフレーム間隔が異なる場合であっても、動きの一致・不一致の判定が可能となる。

図１０は、フレーム間の特徴データを補完する処理の例を示すものである。
補完処理に際しては、例えば公知の動きベクトル予測アルゴリズムにより、フレーム間の動きを予測して補完処理する方法を用いることができる。図１０の例では、２つ目のフレームは、１つ目と３つ目のフレームの双方向から動きベクトルを予測して補完処理を行い、４つ目のフレームは、３つ目のフレームから順方向に動きベクトルを予測して補完処理を行っている。

以上のように、本実施の形態３によれば、動画像の一致判定を行うことによりプロジェクタに命令を与えることができる。これを応用すれば、例えば手話動作により操作することのできるプロジェクタを得ることなどが可能となり、実施の形態１〜２と比較して、操作命令を与えるパターンの幅がより広まる。
また、必要に応じて動きベクトル予測によりフレーム間の特徴データを補完するので、動作の一致度判定の精度が増す。

実施の形態４．
実施の形態３では、動画像の各フレームに相当する２以上の画像の特徴を表すデータを用いて、撮像部６１が撮像した動画像データと、特徴データベースが格納しているエントリとの一致度判定を行う構成を説明した。また、フレーム間補完処理により一致度判定の制度を上げることを説明した。
本発明の実施の形態４では、動画像中に静止動作が含まれる場合のプロジェクタ構成について説明する。

実施の形態３の図８で説明した一致判定の誤りは、基本的にはユーザの動作が速い場合に生じるものである。そこで、本実施の形態４にかかるプロジェクタでは、ユーザの動作の一部に静止動作が含まれ、全体としてゆっくりとした動作となっている場合を想定する。

図１１は、本実施の形態４に係るプロジェクタ１が備える特徴データベースの構成とデータ例を示すものである。
構成そのものは実施の形態３で説明した図７と同様であるが、最初の３つの特徴データは、同一のデータがセットされている。最後の３つの特徴データについても同様である。
これは、この３つ分の特徴データに対応するユーザの動きが、その特徴データにより表される形状での静止状態となっていることを意味する。即ち、図１１のデータ例では、ユーザは指を１本立てた状態で３フレーム分静止し、その後２本目の指を立てて、再び３フレーム分静止する動作を行うことになる。

このように、特徴データベースのエントリの中に静止状態を表す特徴データを含めることにより、ユーザは撮像部６１の前で静止動作を促されることになるので、図８で説明したような誤判定が少なくなる。
さらには、静止動作が含まれることにより、撮像部６１自体の撮像精度が低い場合であっても、画像がブレることなどがなく、確実に一致度判定を行うことができる。また、特徴抽出部６２にとっても、静止状態で撮像された画像データの方が特徴を抽出しやすいので、結果として一致度判定の精度が向上する。

本実施の形態４において、特徴データベースのエントリ中の連続する特徴データを同一にすることにより静止状態を表したが、これに替えて、静止状態の継続時間を表す情報を別途保持するように構成してもよい。これにより、特徴データベースに保持するデータ量を少なくすることができる。この場合、動画像中に静止動作を含まないエントリにおいては、上記のような静止状態継続時間情報は不要である。
データの格納形式を統一するため、特徴データベースのエントリ中の連続する特徴データを同一にすることにより静止状態を表すか、それとも上記のように継続時間情報を個別に格納するかは、設計上の選択による。

以上のように、本実施の形態４によれば、特徴データベースのエントリの中に静止状態を表す特徴データを含めたので、動画像中に静止状態の画像が含まれることとなり、判定部２２による一致度の判定精度が増し、ユーザが撮像部６１の前で何度も命令動作を繰り返すようなことがなくなり、ユーザビリティの観点から好ましい。

なお、以上の実施の形態１〜４において、図２で述べたように、特徴データベースには画像の形状的特徴を表すデータを格納しているものとして構成を説明したが、形状的特徴に限られるものではない。
例えば、撮像部６１が撮像した色彩上の特徴（赤みがかっている、など）や、明暗上の特徴（画像の輝度値）を用いて、特徴データベース中のエントリを構成してもよい。

実施の形態５．
以上の実施の形態１〜４では、撮像部６１を備えたプロジェクタにおいて、特徴抽出部６２が抽出した特徴データに基づき、プロジェクタの操作を行う構成を説明した。
従来のプロジェクタには、撮像部を備えているものがあるが、その用途は画像一致判定によりプロジェクタの操作を実行するためのものとは限らず、例えば特許文献１のように、台形補正を行うために設けられているものがある。
このように、プロジェクタの操作を実行する以外の目的で設けられた撮像部を備えるプロジェクタにおいて、判定部２２と特徴抽出部６２の機能を実行するソフトウェア、及び特徴データベースに相当するデータベースをプロジェクタにインストールすることによって、実施の形態１〜４と同等の効果を奏するプロジェクタを得ることができる。
ソフトウェア及びデータベースに格納するデータの供給は、ネットワーク経由でもよいし、記憶部５１などの部品を、インストール済みのものと交換する方法によってもよい。

以上のように、本実施の形態５によれば、撮像部を備えたプロジェクタにソフトウェアとデータベースをインストールすることにより、実施の形態１〜４と同等の効果を奏するプロジェクタを得ることができる。
また、ネットワーク経由でソフトウェア等を配布すれば、インストールコストも抑えられ、経済的にも有利である。

実施の形態１に係るプロジェクタ１の機能ブロック図である。 特徴抽出部６２が画像データから特徴を抽出する際の処理イメージを説明するものである。 記憶部５１が格納している特徴データベースの構成とデータ例である。 特徴データベースを用いて命令コードを実行する際の動作フローである。 実施の形態２における特徴データベースの構成とデータ例である。 実施の形態２におけるプロジェクタ１の動作フローである。 実施の形態３における特徴データベースの構成とデータ例である。 判定部２２が一致度を判定する際に起こる不都合を説明するものである。 補完後の特徴データによる一致判定について説明するものである。 フレーム間の特徴データを補完する処理の例を示すものである。 実施の形態４における特徴データベースの構成とデータ例である。

符号の説明

１ プロジェクタ、１３ 光源、１４ 液晶ライトバルブ駆動部、１５Ｒ、１５Ｇ、及び１５Ｂ 液晶ライトバルブ、１６ 投射光学系、ＳＣ スクリーン、２１ 制御部、２２ 判定部、３１ 映像入力部、３２ 映像信号処理部、３３ フレームメモリ、４１ 操作パネル、４２ 操作信号処理部、５１ 記憶部、６１ 撮像部、６２ 特徴抽出部。

Claims (4)

1. 入力映像信号に基づく出力映像信号を生成する映像信号処理部と、
   前記出力映像信号に基づいて映像を投射する投射部と、
   前記映像信号処理部及び前記投射部の動作を制御する制御部と、
   被撮像物を撮像して画像データとして出力する撮像部と、
   前記撮像部が出力した画像データの特徴を抽出する特徴抽出部と、
   １ないし複数の画像の特徴を表すデータを格納した特徴データベースと、
   前記特徴抽出部が抽出した特徴と、前記特徴データベースに格納されているデータにより表される特徴の一致度を判定し、一致度が所定の閾値以上の場合に、その旨の判定結果を前記制御部に出力する判定部と、
   を備え、
   前記制御部は、
   前記判定部が出力した前記判定結果を受け取ると、前記特徴データベースに格納されているデータのうち、その判定結果に対応するものを読み取り、
   そのデータに予め関係付けられた命令コードに対応する動作を行うように、前記映像信号処理部及び前記投射部の動作を制御する
   ことを特徴とするプロジェクタ。
2. 前記特徴データベースのエントリは、２以上の前記特徴を表すデータから構成されており、
   前記判定部は、
   前記判定結果を前記制御部に出力する際には、その判定結果とともに、その判定結果が前記特徴データベース中のいずれのエントリとの比較によるものかを表す識別情報を前記制御部に出力し、
   前記制御部は、
   前記判定部が出力した前記判定結果を受け取る毎に、前記識別情報を用いて、その判定結果が前記特徴データベース中のいずれのエントリとの比較によるものかを判断し、
   そのエントリを構成する全ての前記データについて、連続して前記判定結果を受け取った場合に、
   そのエントリに予め関係付けられた命令コードに対応する動作を行うように、前記映像信号処理部及び前記投射部の動作を制御する
   ことを特徴とする請求項１に記載のプロジェクタ。
3. 前記特徴データベースのエントリは、動画像の各フレームに対応する２以上の画像の特徴を表すデータから構成されており、
   前記撮像部は、被撮像物を撮像して動画像データとして出力し、
   前記特徴抽出部は、前記動画像データの所定間隔のフレーム毎に特徴を抽出し、
   前記判定部は、
   前記特徴抽出部が抽出した特徴を表すデータから動きベクトルを算出して、前記特徴抽出部による抽出対象フレーム間の画像データを補完し、
   もしくは前記特徴データベースのエントリが保持している特徴データから動きベクトルを算出して、当該特徴データ間の特徴データを補完し、
   補完後の各フレームの特徴により前記判定を行う
   ことを特徴とする請求項２に記載のプロジェクタ。
4. 前記特徴データベースのエントリ中において、
   前記動画像の各フレームに対応する画像の特徴を表すデータのうち、連続する複数のフレームのデータを同一に構成したことにより、動画像中に静止動作が含まれることを表した
   ことを特徴とする請求項３に記載のプロジェクタ。

Images