JP2008040576A - 画像処理システム及び該システムを備えた映像表示装置 - Google Patents

Abstract

【課題】ユーザが理解しやすい動作で複雑なコマンドを容易に実行できるようにする。
【解決手段】３Ｄデータ保持部５には、人間の手が取りうる多数の形状パターンが３Ｄデータとして保持される。画像処理部３は、人間の手が撮像部２により撮像されたときに、その手を認識し、３Ｄデータ保持部５に保持している３Ｄデータを用いて、形状パターンや手の位置情報を得る。また画像処理部３では、画像表示部１に対して、人間の視線により認識される形状の手の画像をカーソルとして表示させる。また画像表示部１では、カーソルの操作対象の画面を表示する。インターフェース処理部４では、画像処理部３で処理された手の画像の形状パターンや位置情報を使用して、予め用意されているコマンドを特定し実行する。例えば、ユーザが対象を掴んで移動させるような動作を行った場合、画像表示部１に表示させているアイコンを移動させるようなコマンドを出力する。
【選択図】図１

Description

本発明は、画像処理システム及び該システムを備えた映像表示装置に関し、より詳細には、撮像画像の画像処理技術によって、自然な人間の動作で三次元操作可能なインターフェースを実現する画像処理システムと、その画像処理システムを備えた映像表示装置に関する。

機器に接触することなく、手または指の動作のみにより、コンピュータ等に対して情報を入力するハンドポインティング式の入力装置に関する技術が開示されている。
例えば特許文献１には、所定の情報を表示するディスプレイと、ディスプレイに対して指し示された入力者の手または指を撮像する複数の撮像手段と、これらの撮像手段に撮像された映像を基に、ディスプレイに対して手または指が指し示す方向を算出する方向算出手段と、方向算出手段で算出された方向に対応するディスプレイ上の位置を、カーソルによりディスプレイ上に表示する位置表示手段と、手または指のクリック動作を検出するクリック動作検出手段と、クリック動作検出手段によりクリック動作が検出された時にカーソルが位置する部分の情報を入力者が指示した情報として選択する選択手段とを備えた、ハンドポインティング式入力装置が開示されている。
特開平４−１３３４５２号公報

手や指の動作によって、コンピュータ等に対して情報を入力する場合、例えば、対象を掴む、放す、持ちながら移動する、押す、押しながら移動する、などの動作を入力することが考えられる。このような入力は、例えばディスプレイに表示されたフォルダを掴んで移動させる、等の動作に適用することができる。この場合、手や指による自然な動作を入力することによって、対象を掴んだり、放したりするコマンドを実行させることができれば、操作性が向上して、大きな利便性を付与することができる。

例えばマウスなどの従来一般的なインターフェースでは、手を動かす動作に加え、フォルダを掴むためにボタンクリックの動作が必要となり、手を使った動作とは異なることに加え、複数のセンサを持つ専用の機器が必要であった。

また従来の技術により、映像の拡大縮小や、ディスプレイ上のブラウザ、あるいは図表の前面への移動などの複雑なコマンドを実行する際には、操作する対象を選択した後、クリックを行い、その後複数の選択肢から希望する項目を選択する、などの複数の動作が必要であり、人間の感覚に即した動作でコマンド処理を実行させることができなかった。

また上記特許文献１の技術は、手または指がディスプレイを指し示す方向及び位置を検出することができるが、平面内の２次元的な動きによる操作しか行うことができず、また入力可能な動作はクリックに限られていた。

本発明は、上述のごとき実情に鑑みてなされたもので、人間が通常行っている３次元空間内の動作に応じたコマンドを出力し、またその動作の状態を視覚的に確認できるようにすることで、ユーザが理解しやすい動作で複雑なコマンドを容易に実行できるようにした画像処理システムと、該画像処理システムを備えた映像表示装置とを提供することを目的とするものである。

上記課題を解決するために、第１の技術手段は、一つのカメラを備える撮像手段と、人間の手の形状パターンを記憶する形状パターン記憶部とを有し、撮像手段が撮像した撮像画像に基づいて、撮像された手に該当する形状パターンを抽出し、抽出した形状パターンに従う特定のコマンドを出力することを特徴としたものである。

第２の技術手段は、第１の技術手段において、撮像手段が連続して撮像を行ったときに、３次元空間内で手が移動するときのベクトル情報を生成し、ベクトル情報と、形状パターン情報の変化とに基づいて、特定のコマンドを出力することを特徴としたものである。

第３の技術手段は、第２の技術手段において、形状パターン記憶部が、人間の手の形状パターンとともに、各形状パターンの基準位置情報と基準大きさレベル情報とを記憶し、画像処理システムは、基準位置情報と基準大きさレベル情報に基づいて、基準位置に対する手の３次元の移動レベル情報を生成し、移動レベル情報からベクトル情報を生成することを特徴としたものである。

第４の技術手段は、第３の技術手段において、手を撮像した撮像画像に基づいて、手の形状を示すカーソルを所定のディスプレイに表示させ、ディスプレイに表示させた画像に対して、コマンドによる所定処理を実行させることを特徴としたものである。

第５の技術手段は、第４の技術手段において、コマンドによる所定処理が、手の３次元空間内での移動動作に応じて、画像に表示させた操作対象を、画面内で３次元的に移動させる処理を含むことを特徴としたものである。

第６の技術手段は、第４または第５の技術手段において、基準位置に対する手の３次元の移動レベル情報に基づいて、カーソルの表示位置及び表示する大きさを変化させることを特徴としたものである。

第７の技術手段は、第４ないし第６のいずれか１の技術手段において、形状パターン記憶部が、複数の形状パターンのそれぞれについて、視点方向が異なる複数の画像データを保持し、手を撮像した撮像画像に基づいて抽出した形状パターンについて、ユーザの視点として判断される方向から見た画像データをディスプレイに表示させることを特徴としたものである。

第８の技術手段は、ディスプレイを備えた映像表示装置であって、映像表示装置が、請求項１ないし７のいずれか１に記載の画像処理システムを備え、ディスプレイに表示した画像に対して画像処理システムで出力されたコマンドによって所定の処理を行うことができるようにしたことを特徴としたものである。

本発明によれば、人間が通常行っている３次元空間内の動作に応じたコマンドを出力し、またその動作の状態を視覚的に確認できるようにすることで、ユーザが理解しやすい動作で複雑なコマンドを容易に実行できるようにした画像処理システム及び映像表示装置を提供することができる。

例えば従来の技術ではマウスなどのポインタを表示するだけであったが、本発明によれば、撮像画像の処理技術を加えることでディスプレイに手の形状を表示させることができ、ユーザは、視覚的に自分の操作の様子がわかるため、操作性を向上させることができる。

また手の動作を撮像した画像を処理することで３次元空間における手の方向、位置、形状を検出することにより、３次元空間における動作に応じたコマンドの実行が可能になり、例えば、映像の拡大縮小や、ディスプレイ上のブラウザや図表の前面への移動などを、通常の人間の動作に応じた形態で実行できるようになる。

また本発明では、単一の撮像機器を用いて撮像した画像を処理することにより、人間の手の動作を認識することができるため、従来のような複数の撮像機器を必要とせず、システムを簡略化することができる。
さらに従来では、複雑な操作をするためにマウスなどの複数のセンサを持つインターフェースを必要としたが、本発明によれば、手の動きを撮像する撮像機器を使用することで、ユーザ操作のために専用の機器を持つ必要がなくなる。

図１は、本発明による画像処理システムの構成例を説明するためのブロック図である。
画像処理システムの実施形態は、人間が通常行っている３次元空間内の手の動作に応じて情報を入力することが可能で、またその動作の状態を視覚的に確認できるようにしている。
撮像部２は、画像表示部前方を撮像する固定カメラで、一台のカメラによって構成されている。３Ｄデータ保持部５には、人間の手が取りうる多数の形状パターンが予め保持され、さらに各形状パターン毎に、他の方向から見たときの手の形状パターンが３Ｄデータとして保持される。

画像処理部３は、撮像部２が撮像した撮像画像を画像処理する。例えば、情報入力を行うための人間の手が撮像されたときに、その手を認識し、３Ｄデータ保持部５に保持している３Ｄデータを用いて、形状パターンや手の位置情報を得る。また画像処理部３では、画像表示部１に対して、人間の視線により認識される形状の手の画像をカーソルとして表示させることができる。また画像表示部１では、所定の入力映像信号を画像表示する。例えば、カーソルの操作対象の画面を表示することができる。

インターフェース処理部４では、画像処理部３で処理された手の画像の形状パターンや位置情報を使用して、予め用意されているコマンドを特定し、そのコマンドを実行する。コマンドは、手の動きや位置の変化の仕方に応じて予め設定されている。例えば、ユーザが対象を掴んで移動させるような動作を行った場合、画像表示部１に表示させているアイコンを移動させるようなコマンドを出力する。

また画像処理部３では、撮像部２で撮像されたユーザの手の画像に従って、ユーザの視線に合った手の画像を画像表示部１に表示させることができる。例えば、撮像部２によって手の裏側を撮像した場合でも、３Ｄデータ保持部５の保持データを用いて手の表側の画像を表示させるようにする。また撮像部２に手が近づくように移動した場合でも、手の大きさが小さくなっていくような表示を行わせることができる。
このような構成により、ユーザは、画像表示部１の画像を見ながら、撮像部２の前で手の動作を行うことにより、複雑な入力を容易に実行することができるようになる。

コマンドの設定においては、予め手の３Ｄ映像を作成しておき、手の動きの動画パターンを複数設定して記録保持しておく。そしてそれぞれの動画パターンに対して、任意の特定のコマンドを設定しておく。
そして、撮像部２が実際に手の動作を撮像したときに、画像処理部３では、その撮像画像の動画パターンから対応する動作コマンドを特定し、その動作コマンドと、手の位置情報、及び手の動きに関するベクトル情報をインターフェース処理部４に出力する。インターフェース処理部４では、例えば、出力された動作コマンドや位置，ベクトル情報に基づいて、画像表示部１のブラウザや図表、アイコンの位置などのデータを用いて、ブラウザやアイコンの移動などの操作を行い、画像表示部１の表示を変更させる。

上記のような動作パターンに設定するコマンドとしては、例えば上記のように、人間の手が掴んで移動する動作を行った場合、処理対象を保持して移動させるようなコマンドを割り当てることが好ましい。このように実際の手の動作イメージに基づく処理を行わせることにより、ユーザは、操作を感覚的かつ容易に実行できるようになる。

図２は、本発明の画像処理システムにおける撮像機（カメラ）の設置例と、ディスプレイの表示イメージを模式的に示す図である。図２において、１０はディスプレイ、１１はカメラ、１２は実物の人間の手、１３は手の形状のカーソルである。図２のカメラ１１は、図１の撮像部２に該当し、ディスプレイ１０は、画像表示部１における表示画面に該当する。

本実施形態の画像処理システムでは、単一の撮像機（カメラ）１１で、ユーザの操作を判別する。カメラ１１は、ディスプレイ１０の近傍に設けられ、ディスプレイ１０に表示された画面を見ながら情報入力操作を行うユーザの手の動きを撮像できるように設置される。

ユーザの手の動きを認識する場合、まず、撮像開始直後等のユーザの手の位置を基準とする。例えば電源がＯＮになって、カメラ１１の前方の撮像範囲内にユーザが手１２を移動させたときに、そのときの手１２の位置を基準位置とする。この場合、基準位置を測定して更新するために、所定の操作を行うようにしてもよい。

カメラ１１に対する距離が変化する方向（奥行き方向とする）をＺ軸とするとき、基準位置のＺ軸の座標を０とする。また、撮像した基準位置の手の中心を、ディスプレイ１０のＸ，Ｙ軸の中心（０，０）とする。また撮像画像における２次元的な位置の変化（Ｘ―Ｙ方向は、ディスプレイの画面にほぼ平行な変化であるため、以下Ｘ−Ｙ方向を平行方向とする。

カメラ１１は、連続して静止画を撮像する。そしてそれぞれの静止画を前後で比較することにより、手の移動レベルを割り出す。
カメラ１１に対する奥行き方向（Ｚ方向）の変化は、手１２の画像の大きさの変化から割り出す。また平行方向（Ｘ−Ｙ方向）の変化は、撮像された２次元映像の手の位置の変化から割り出す。そしてそれぞれの位置の変化量を数値化して、移動レベルを算出する。数値化の一例は後述するが、基準位置からの移動量を数値によって相対化できるものであればよい。

また、手が移動していくときに、手の形状が変化していくことが予測される。このとき撮像した手１２の画像を、予め記憶した３Ｄの手の形状パターンと比較し、最も近いパターンを抽出して、現在の手の形状パターンを特定する。
こうして、基準位置に対する手の奥行き方向の移動レベルと、平行方向の位置の移動レベルと、そのときの手の形状パターンとが刻々と認識される。これら平行方向の位置の移動レベルと、奥行き方向の移動レベルとによって、３次元空間内の移動レベル情報を得ることができ、これにより３次元空間内の移動ベクトル情報を得ることができる。

そしてディスプレイ１０には、カメラ１１が撮像した手１２の画像に応じた手の形状のカーソル１３を表示させる。カーソル１３は、基準位置に対する手の移動レベルに従って、その位置と大きさを変えながら表示される。つまり、基準位置に対して平行方向に手が移動したときは、その移動レベルに従って、画面内のＸ−Ｙ方向に手を移動させる。実際の手の移動量と、画面内の手の移動量との関係は適宜定めることができ、またユーザにより可変設定可能とすることができる。

またディスプレイ１０に表示させるカーソル１３の大きさは、基準位置の大きさレベルに対する奥行き方向の移動レベルに従って変化させる。この場合も、実際の手の移動量と画面内の大きさ変化量との関係は適宜定めることができる。

また手のカーソル１３を表示させる場合に、ユーザの視線に従う手の画像を表示させる。ここでは、カメラ１１と実際の手を結ぶ直線と、腕もしくは操作者の目の位置と手を結ぶ直線とがなす角度を求め、３次元空間内でユーザが手を見ている方向を割り出す。そしてその方向に従って、ユーザ自身が見える状態の手の画像をディスプレイ１０に表示させる。この場合、保持している３Ｄの手の形状パターンを使用して、カメラ１１が撮像した手の画像形状に基づいて、ユーザが見ている側からの画像データを抽出し、ディスプレイ１０上に表示させるようにする。

カメラ１１とユーザの目の位置との角度関係は、予め予測された角度を用いるか、もしくはユーザの目自体を認識して、カメラ１１と手１２、及び目との関係から、ユーザの視線方向を特定してもよい。また上述のように、前回の画像に比べて手の大きさが大きくなっている場合は、ユーザの目から手が離れてディスプレイ側に近づいているためディスプレイには手の大きさが小さくなっていくように表示する。

このように、カメラ１１は、ディスプレイ１０の近傍にユーザの方を向いて取り付けられ、ユーザにとってはほぼ裏側から手を撮像しているにもかかわらず、３Ｄの形状パターンデータを使用することによって、ユーザの視線に合った手の画像をディスプレイ１０に表示させることができ、ユーザに違和感を与えることなくユーザ自身の手を表示させることができるようになる。

そして例えば手のカーソル１３が移動した位置にアイコンが表示されていた場合、手の動作に対応してアイコンを移動し、変化させることができる。例えば、手でアイコンを掴んで移動させるような動作を行ったときに、その動作に対応してアイコンをカーソル１３とともに移動させることができる。このときに、アイコンに対する操作が行われているときに、アイコンの色を変えるようにしてもよい。またこのときに、手１２を静止させたり、手１２をカメラ１１の撮像範囲外に移動させることによって、カーソル１３が消えるようにしてもよい。この場合、カーソル１３が消えた後は、手１２をカメラ１１に向けるような明確な動作が行われなければ、カーソル１３を表示させないようにすることもできる。

図３は、３Ｄの形状パターンを用いた撮像画像処理例を説明するための図である。
例えば図１に示す装置の３Ｄデータ保持部５には、図３（Ａ）に示すような３Ｄの手の形状パターンデータが保持される。図３（Ａ）のデータ例では、横方向にいろいろな手の形状パターンが予め設定されている。そして縦方向には、それぞれの手の形状パターンについて、上下左右に所定間隔で３６０度回転させたときの所定間隔の形状データが保持される。これら形状パターンの数と、回転させたときに保持しておく形状データの数は任意に設定することができるが、処理速度やメモリ使用量などから最適なデータ量を適宜定めるようにする。

また図３（Ａ）の３Ｄデータには、それぞれの手の形状について、基準サイズが記録されるものとする。基準サイズは、撮像画像から取得した手の詳細寸法に基づいてその大きさ（例えば画素（ｐｉｃ）サイズ）を定める。
基準サイズは、上述した手の基準位置を決めるときに、更新・記録されるものとする。この場合、例えば、手を開いた状態で基準位置の撮像を行い、手の詳細な寸法を測定しておく。あるいは予め標準的な手の位置と大きさによって、基準サイズを定めておいてもよい。

そしてまずカメラ１１によって、図３（Ｂ）のような手の画像を撮像したものとする。この撮像画像に基づいて、図３（Ａ）の３Ｄデータの形状パターンを参照し、撮像された手に一致する形状パターンを特定する。上述のように、形状パターンを特定するためのマッチング技術は、従来公知の技術を適宜適用することができるため、ここでは説明を省略する。図３の例では、形状データ００１１が特定されたものとする。

撮像画像の手の形状パターンを特定した後、さらに撮像画像の手の大きさレベルを割り出す。この場合、上述したような３Ｄデータに記録した各形状パターンの基準サイズと、撮像した手の画像のサイズとを比較して、基準位置に対する奥行き方向の移動レベルを算出する。例えば、特定部位（この場合、親指の長さ）の基準サイズが図３（Ｄ）に示すように３０ｐｉｃであって、撮像画像の対応部位のサイズが５ｐｉｃである場合、その形状データ００１１の大きさレベルは、１６．７％となる。

次に、ユーザが手を動かして、図３（Ｃ）のような撮像画像が得られたものとする。この撮像画像に対しても図３（Ｂ）の画像と同様の処理を行い、該当する形状パターンを特定し、さらに基準サイズに対する大きさレベルを算出する。ここでは、形状データ００１２が特定され、図３（Ｅ）に示すようにこの形状の特定部位の基準サイズが５０ｐｉｃであり、撮像画像の対応部位のサイズが１０ｐｉｃであって、大きさレベルが２０．０％であったものとする。

これらの二つの画像の大きさレベルを比較することにより、奥行き方向の移動レベルＦを算出する。この場合、二つの画像の大きさレベルの差をとってＦ＝４％となる。この移動レベルＦは、特定の基準値に対する絶対的な移動量を示すものではなく、奥行き方向の移動の量をパラメータとして表すものである。

また撮像画像の各画面においては、基準位置に対する画面内の移動レベルを算出する。これにより平行方向の手の移動レベルが得られる。画面内の移動レベルは、手の中心位置の移動量に基づいて算出される。
これらの処理により得られた形状パターンデータと、奥行き方向の移動レベルデータ、及び平行方向の移動レベルデータとを使用して、撮像画像に基づく特定のコマンドを出力させるようにする。

上述した撮像画像に基づく手の表示処理を更に詳細に説明する。３Ｄデータの手は、手の形状パターンデータとは別に、上述のような大きさレベルのパラメータを持ち、その大きさレベルにより手の詳細寸法（指の長さ、手の甲の大きさなどの寸法）が計算される。つまり、
３Ｄデータの手の形状Ａ［大きさレベル］＝ 手の詳細寸法
という式で成り立っている。大きさレベルは、撮像機（カメラ）に対する手の位置が変化しなければ、撮像された手の形状が変化しても同じ大きさレベルとなる。

ここで、撮像開始直後の大きさレベルは、
３Ｄデータの手の形状Ａ［大きさレベル］＝ カメラで撮られた手の詳細寸法
大きさレベル＝３Ｄデータの手の形状Ａ−１［カメラで撮られた手の詳細寸法］
の処理により求めることができる。

ユーザが手を動かして操作したとき、カメラに対する奥行き方向の移動量は、次の方法を用いて算出する。
例えば手の形状が変化し、それに伴って３Ｄデータの手の形状Ａが、形状Ｂになったものとする。そのときのカメラが撮像した手の詳細寸法から、撮像開始直後と同様の算出方法で手の大きさレベルを算出し、そのパラメータよりカメラに対する奥行き方向の移動レベルを算出する。その算出モデル式は、
大きさレベル１＝３Ｄ映像の手の形状Ａ−１［カメラで撮像した手の詳細寸法］
大きさレベル２＝３Ｄ映像の手の形状Ｂ−１［カメラで撮像した手の詳細寸法］
移動レベル＝ カメラからの距離関数［大きさレベル２−大きさレベル１］
とする。

図４及び図５は、本発明による画像処理システムにおける処理の流れの一例を説明するためのフローチャートである。
画像処理システムの電源（あるいは、情報処理システムが内蔵されたテレビジョン装置の電源）がＯＮになると（ステップＳ１）、画像処理部では、撮像部（カメラ）をＯＮにして撮像を開始させる（ステップＳ２１）。そして、撮像部では、撮像画像を取得して（ステップＳ４０）、その画像データをＣＰＵに送信し（ステップＳ４１）、待機する（ステップＳ４２）。なお、図４のＣＰＵとビデオ出力変換部が、図１のインターフェース処理部４に該当する。

画像処理部では、撮像部から送信された画像データを受信し（ステップＳ２２）、画像データ処理を実行する（ステップＳ２３）。そして撮像画像において手が検出されたかどうかを判別し（ステップＳ２４）、手が非検出であれば、非検出回数が予め定めたｍ回以上かどうかを判別する（ステップＳ２５）。検出／非検出の回数は、連続して撮像する画像毎にカウントする。

手の非検出回数がｍ回以上であれば、前回の画像をクリアして（ステップＳ２６）、ステップＳ２２に戻って撮像部からの画像データを受信する。また手の非検出回数がｍ回未満であれば、前回の画像をクリアすることなく、そのままステップＳ２２に戻る。

一方、上記ステップＳ２４で手が検出された場合、手の検出回数が予め定めたｎ回以上かどうかを判別する（ステップＳ２７）。
手の検出回数がｎ回未満であれば、ステップＳ２２に戻って撮像部からの画像データを受信する。また手の検出回数がｎ回以上であれば、前回のデータがあるかどうかを判断する（ステップＳ２８）。

前回データがある場合、撮像した画像に該当する３Ｄデータの形状を割り出す（ステップＳ３６）。ここでは、予め保持している３Ｄデータの形状パターンのなかから、撮像画像に該当する手の形状パターンを特定する。
そして、３Ｄデータの平行方向の位置の移動レベルを、前回の画像と比較して定める（ステップＳ３７）。

そしてさらに、撮像された手の大きさレベルを算出する（ステップＳ３８）。そして算出した大きさレベルと、前回の手の大きさレベルとを比較することにより、奥行き方向の移動レベルを得る（ステップＳ３９）。

一方、ステップＳ２８で前回のデータがない場合、撮像した画像に該当する３Ｄデータの形状を割り出し（ステップＳ２９）、３Ｄデータの位置を中心位置とする（ステップＳ３０）。さらに３Ｄデータの大きさレベルを算出し（ステップＳ３１）、３Ｄデータの奥行き方向の位置を標準位置とする（ステップＳ３２）。

そして、上記ステップＳ３２またはＳ３９で得られたハンドデータ（形状情報、奥行き方向の移動レベル情報、平行方向の位置の移動レベル情報）と、ユーザ位置情報とを送信する（ステップＳ３３）。ユーザ位置情報は、撮像画像から判別したユーザの視線位置を示す情報である。

メインＣＰＵでは、画像処理部からハンドデータとユーザ位置情報とを受け取ると、手の形状、奥行き方向及び平行方向の移動レベル情報を保存する（ステップＳ５１）。そして位置の移動レベル情報と、奥行き方向の移動レベル情報とからベクトルを算出する（ステップＳ５２）。次いで算出したベクトルと、手の形状パターンとから、特定の命令（コマンド）を割り出し（ステップＳ５３）、その命令を実行する（ステップＳ５４）。さらに命令を実行したときの反応を表すための命令実行フラグを送信する（ステップＳ５５）。

一方、システムの電源がＯＮになった後、ビデオ出力変換部では、システムの状態が視聴状態になっているかどうかを確認する（ステップＳ１１）。そして視聴状態において、映像データを受信し（ステップＳ１２）、さらに画像処理部からハンドデータとユーザ位置情報とが送信され、またＣＰＵから命令実行フラグが送信されると、受信したデータから映像を作成する（ステップＳ１３）。ここでは必要に応じてＥＰＧ／ＯＳＤデータが入力され、表示映像に使用される。そして作成された映像は、所定のディスプレイに出力される（ステップＳ１４）。例えばＥＰＧやＯＳＤ画面は、ユーザ操作の対象となり得る。

図６は、３Ｄデータの大きさを算出するときの処理例を説明するためのフローチャートである。まず撮像した手の画像と、データベースに保持した手の形状とを比較し（ステップＳ６１）、撮像した手に該当する形状パターンを決定する（ステップＳ６２）。そして画像の手の指の長さなど、所定の測定部位の寸法を測定し（ステップＳ６３）、測定値から大きさレベルを割り出す（ステップＳ６４）。

ここで撮像されている手が動くと（ステップＳ６５）、さらに撮像した手の画像と、データベースに保持した手の形状とを比較し（ステップＳ６６）、撮像した手に該当する形状を決定して（ステップＳ６７）、画像の手の指の長さなど、所定の測定部位の寸法を測定し（ステップＳ６８）、測定値から大きさレベルを割り出す（ステップＳ６９）。
そしステップＳ６４で割り出した手の大きさレベルと、ステップＳ６９で割り出した手の大きさレベルとを比較し、その違いから奥行き方向の移動レベルを求める（ステップＳ７０）。

図７は、本発明の画像処理システムの構成例を説明するための図で、画像処理システムをデジタル／アナログチューナを備えたテレビジョン放送受信装置に適用した例を示すものである。

テレビジョン放送受信装置１００は、デジタル放送とアナログ放送とのいずれも受信可能なテレビジョン放送受信装置であって、アナログ放送を受信する受信アンテナ１０１と、デジタル放送を受信する受信アンテナ１０２とを備える。

また、アナログ放送の受信信号をチューニングする（選局する）アナログチューナ部１０３と、デジタル放送の受信信号をチューニングするデジタルチューナ部１０４と、アナログ放送の受信データからオーディオデータ／ビデオデータを抽出するＡＶスイッチ部１０５と、チューニングされたデジタル放送のデータを復調するデジタル復調部１０６とを備える。

さらにテレビジョン放送受信装置１００は、ＥＰＧデータの抽出や、復調されたデータの分離を行う分離部（ＤＭＵＸ）１０７と、分離されたデジタル放送のビデオデータをデコードしたり、ビデオ情報を静止画としてキャプチャするビデオデコード／キャプチャ部１０８と、アナログ放送のビデオ信号とデジタル放送のビデオ信号との切換を行うビデオセレクタ部１０９と、分離されたＥＰＧの処理や、ＯＳＤの表示処理を行うと共に、ＥＰＧと予約情報とをミックスさせて表示する処理を行うＥＰＧ／ＯＳＤ／予約データ処理部１１０とを備える。

さらにテレビジョン放送受信装置１００は、分離されたオーディオデータをデコードするオーディオデコード部１１１と、セレクトされたビデオ信号とＥＰＧやＯＳＤとを合わせてからビデオ出力として変換するビデオ出力変換部１１２と、アナログ放送のオーディオ信号とデジタル放送のオーディオ信号の切換を行うオーディオセレクタ部１１３と、セレクトされたオーディオ信号を出力信号に変換するオーディオ出力変換部１１４と、アナログ放送及びデジタル放送のチューナでの選局処理を行う選局部１１５とを備える。

さらにテレビジョン放送受信装置１００は、任意のアドレスを指定して読み書きすることが可能な半導体メモリであり、抽出したＥＰＧデータ等を保存するＲＡＭ１１６と、全体の処理を担うと共に、予約処理を行う番組と同一の番組の検索や、予約情報と利用電気料金との関連付け、及び通信制御部の処理などを行うＣＰＵ１１７と、ビデオマウスを介して予約処理を実行するためのビデオマウスコネクタ１１８と、ビデオマウスで送信する信号の制御を行うビデオマウスマイコン１１９とを備える。

さらに、テレビジョン放送受信装置１００は、プログラムやユーザデータなどが格納され、ＥＰＧデータ等が格納される書換え可能な不揮発性メモリ１２０と、電話回線、ＬＡＮ、インターネット等のネットワーク網との制御を行うと共に、ＥＰＧデータの取得等に使用される通信制御部１２１と、ユーザが操作するリモートコントローラからの信号を受信するリモコン受光部１２２と、を備えて構成される。

またテレビジョン放送受信装置１００は、ユーザの手の動きを撮像するためのカメラ１２３と、手の形状サンプル及び各形状サンプルの基準サイズの各データを保持する３Ｄデータ保持部１２５と、カメラ１２３で撮像した映像を映像処理する画像処理部１２４を有している。

上記のような構成によって、テレビジョン放送受信装置１００では、人間の手がカメラ１２３により撮像されたときに、その手を認識し、３Ｄデータ保持部１２５に保持している３Ｄデータを用いて、形状パターンや手の位置情報を得る。また画像処理部１２４では、ビデオ出力変換部１１２に対して、人間の視線により認識される形状の手の画像をカーソルとして表示させる指示を行う。ビデオ出力変換部１１２では、液晶表示装置１３０に対して手の画像のカーソルを表示させる。

またＣＰＵ１１７では、画像処理部１２４で処理された手の画像の形状パターンや位置情報を使用して、予め用意されているコマンドを特定し実行する。例えば、ユーザが対象を掴んで移動させるような動作を行った場合、液晶表示装置１３０に表示させているアイコンを移動させる制御を行う。
ユーザは、液晶表示装置１３０の画像を見ながら、カメラ１２３の前で手の動作を行うことにより、テレビジョン放送受信装置１００に対して必要な入力操作を容易に実行することができるようになる。

本発明による画像処理システムの構成例を説明するためのブロック図である。 本発明の画像処理システムにおける撮像機（カメラ）の設置例と、ディスプレイの表示イメージを模式的に示す図である。 ３Ｄの形状パターンを用いた撮像画像処理例を説明するための図である。 本発明による画像処理システムにおける処理の流れの一例を説明するためのフローチャートである。 本発明による画像処理システムにおける処理の流れの一例を説明するためのフローチャートで、図４に続く図である。 ３Ｄデータの大きさを算出するときの処理例を説明するためのフローチャートである。 本発明の画像処理システムの構成例を説明するための図で、画像処理システムをデジタル／アナログチューナを備えたテレビジョン放送受信装置に適用した例を示すものである。

符号の説明

１…画像表示部、２…撮像部、３…画像処理部、４…インターフェース処理部、５…３Ｄデータ保持部、１０…ディスプレイ、１１…カメラ、１２…手、１３…カーソル、１００…テレビジョン放送受信装置、１０１…受信アンテナ、１０２…受信アンテナ、１０３…アナログチューナ部、１０４…デジタルチューナ部、１０５…ＡＶスイッチ部、１０６…デジタル復調部、１０７…分離部、１０８…ビデオコード／キャプチャ部、１０９…ビデオセレクタ部、１１０…ＥＰＧ／ＯＳＤ／予約データ処理部、１１１…オーディオデコード部、１１２…ビデオ出力変換部、１１３…オーディオセレクタ部、１１４…オーディオ出力変換部、１１５…選局部、１１６…ＲＡＭ、１１７…ＣＰＵ、１１８…ビデオマウスコネクタ、１１９…ビデオマウスマイコン、１２０…不揮発性メモリ、１２１…通信制御部、１２２…リモコン受光部、１２３…カメラ、１２４…画像処理部、１２５…３Ｄデータ保持部、１３０…液晶表示装置。

Claims (8)

1. 一つのカメラを備える撮像手段と、人間の手の形状パターンを記憶する形状パターン記憶部とを有し、前記撮像手段が撮像した撮像画像に基づいて、撮像された手に該当する形状パターンを抽出し、該抽出した形状パターンに従う特定のコマンドを出力することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、前記撮像手段が連続して撮像を行ったときに、３次元空間内で手が移動するときのベクトル情報を生成し、該ベクトル情報と、前記形状パターン情報の変化とに基づいて、前記特定のコマンドを出力することを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムにおいて、前記形状パターン記憶部は、前記人間の手の形状パターンとともに、各形状パターンの基準位置情報と基準大きさレベル情報とを記憶し、該画像処理システムは、前記基準位置情報と基準大きさレベル情報に基づいて、前記基準位置に対する手の３次元の移動レベル情報を生成し、該移動レベル情報から前記ベクトル情報を生成することを特徴とする画像処理システム。
4. 請求項３に記載の画像処理システムにおいて、該画像処理システムは、前記手を撮像した撮像画像に基づいて、手の形状を示すカーソルを所定のディスプレイに表示させ、該ディスプレイに表示させた画像に対して、前記コマンドによる所定処理を実行させることを特徴とする画像処理システム。
5. 請求項４に記載の画像処理システムにおいて、前記コマンドによる所定処理は、前記手の３次元空間内での移動動作に応じて、前記画像に表示させた操作対象を、画面内で３次元的に移動させる処理を含むことを特徴とする画像処理システム。
6. 請求項４または５に記載の画像処理システムにおいて、前記基準位置に対する手の３次元の移動レベル情報に基づいて、前記カーソルの表示位置及び表示する大きさを変化させることを特徴とする画像処理システム。
7. 請求項４ないし６のいずれか１に記載の画像処理システムにおいて、前記形状パターン記憶部は、複数の形状パターンのそれぞれについて、視点方向が異なる複数の画像データを保持し、前記手を撮像した撮像画像に基づいて抽出した前記形状パターンについて、ユーザの視点として判断される方向から見た前記画像データを前記ディスプレイに表示させることを特徴とする画像処理システム。
8. ディスプレイを備えた映像表示装置であって、該映像表示装置は、請求項１ないし７のいずれか１に記載の画像処理システムを備え、前記ディスプレイに表示した画像に対して前記画像処理システムで出力されたコマンドによって所定の処理を行うことができるようにしたことを特徴とする映像表示装置。

Images