JP2006018472A - ポインティングデバイス - Google Patents

Abstract

【課題】 使用者に拘束条件を与えず、特殊なデバイスを必要とせず、またあらかじめデータ作成を必要としないポインティングデバイスを提供することを目的とする。
【解決手段】
ユーザーの頭部及び頭部周辺の画像を取り込むカメラと、取り込まれた画像から頭部画像の切り出しを行なう頭部画像切り出し部１と、切り出した頭部画像から投影曲線生成を行なう投影曲線生成部２と、列方向の投影曲線から絶対差分を求める列相関度演算部３と、行方向の投影曲線から絶対差分を求める行相関度演算部４と、前記列相関度演算部３の絶対差分と行相関度演算部４の絶対差分から頭部回転運動方向検出を行なう頭部回転運動方向検出部５とからなることを特徴とするポインティングデバイス。
【選択図】 図２

Description

本発明は、ポインティングデバイスに関する。

現在コンピュータを利用する際に、キーボードやマウスといったインタフェースが多く利用されている。コンピュータの高性能化、低価格化や一般への普及に従って、身体の不自由なユーザーなどにとっても負担が少なく、従来のものよりもより使い易いインタフェースが望まれてきている。そのため、顔領域、顔、目、髪領域、人物領域などを用いてポインタを制御する方法が開発されている。

しかし、現在の技術ではあらかじめ顔の角度や鼻領域のテンプレートを作成する必要がある場合や、背景のデータを登録する必要がある場合があり、使用者の意図通りに円滑にポインタを動かせなかったり、肌の色や環境の変化によって大きく影響を受けてしまったりすることがあった。また、特殊なデバイスを用いる必要がある場合や機器の装着といったユーザーに拘束条件を与えてしまう場合があった。

本発明は、このような従来の技術的課題に鑑みてなされたもので、使用者に拘束条件を与えず、特殊なデバイスを必要とせず、またあらかじめデータ作成を必要とせず、使用方法が簡単で、しかも顔を動かすことによって正確にポインタを移動操作することができるポインティングデバイスを提供することを目的とする。

請求項１の発明のポインティングデバイスは、ユーザーの頭部及び頭部周辺の画像を撮像するカメラと、前記カメラの撮像した画像から頭部画像の切り出しを行なう頭部画像切り出し部と、切り出した頭部画像から投影曲線生成を行なう投影曲線生成部と、前記投影曲線から変化量の算出を行なう変化量算出部と、前記変化量算出部の算出結果に基づいてディスプレイに表示されているポイントを移動させる表示制御部とを備え、前記頭部画像切り出し部は、ＨＬＳ表色系変換式によりＨＬＳ表色系に変換するＨＬＳ変換部と、Ｈ（色相）における閾値処理を行なって肌色を抽出する２値化部と、前記２値化部が抽出した肌色領域を切り出す頭部領域切り出し部とを有することを特徴とするものである。

請求項２の発明は、請求項１のポインティングデバイスにおいて、前記投影曲線生成部は、前記頭部画像切り出し部の切り出した頭部画像フレームに対して、隣接フレームである前フレームの画像と現在フレームの画像それぞれから生成した投影曲線を逐次比較することを特徴とするものである。

請求項３の発明は、請求項１又は２のポインティングデバイスにおいて、前記変化量算出部は、列方向の投影曲線から絶対差分を求める列相関度演算部と、行方向の投影曲線から絶対差分を求める行相関度演算部と、前記列相関度演算部の絶対差分と行相関度演算部の絶対差分から頭部回転運動方向検出を行なう頭部回転運動方向検出部とを有することを特徴とするものである。

本発明によれば、使用者に拘束条件を与えず、特殊なデバイスを必要とせず、またあらかじめデータ作成を必要とせず、しかも使用者の顔の動きによって正確にポインタを移動操作することができる。

以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の１つの実施の形態のポインティングデバイスのシステム構成を示していて、使用者の頭部の画像を撮像するカメラ１０１、このカメラ１０１の撮像信号をコンピュータ１００内に取り込むインタフェース１０２、このインタフェース１０２によって取り込まれた画像信号を後述する方法で処理して使用者の頭部の動きを解析するビデオ信号処理部１０３、このビデオ信号処理部１０３の解析結果に基づいてディスプレイ１０６の画面に表示されているポインタ１０７の移動方向と移動距離を決定するポイント移動制御処理部１０４、ディスプレイ１０６に対して画像表示信号を出力するビデオカード１０５を備えている。

図２は上記実施の形態のポインティングデバイスの演算処理機能を示した図である。本実施の形態のポインティングデバイスは、前処理として、特徴抽出の精度向上のために頭部画像切り出しを行なう頭部画像切り出し部１と、切り出した頭部画像の特徴抽出を行なう投影曲線生成部２と、投影曲線から変化量算出を行なう列相関度演算部３、行相関度演算部４及び頭部回転運動方向検出部５とで構成されている。

次に、上記のポインティングデバイスの処理方法について説明する。

（前処理）図３は本実施の形態のポインティングデバイスの前処理の機能構成を示した図である。頭部画像切り出し部１による前処理は、ＨＬＳ表色系変換式によりＨＬＳ表色系に変換するＨＬＳ変換部６と、Ｈ（色相）における閾値処理を行なう２値化部７と、モルフォロジー処理を行なうノイズ除去部８と、ラベリング処理を行なうノイズ除去部９及び矩形領域切り出し部１０で構成されている。

図４はＲＧＢ色空間、ＹＣＣ色空間、ＨＬＳ色空間の特徴を説明した図である。本実施の形態では、図４に示すように肌色領域の抽出を、入力ＲＧＢ画像を（１）式に従いＹＣＣ画像に変換し、ＹＣＣ画像を（２）式に従ってＨＬＳ表色系に変換した後、色相において肌に属する範囲を抽出する。

但し

図５は、ＨＬＳ表色系の肌色抽出における特性図である。ＨＬＳ表色系を利用する利点はＲＧＢ表色系に比べ、３つの要素、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｌｉｇｈｔ）間の相関性が低く、また図５に示すとおり肌色が色相情報を利用することで比較的容易に抽出でき照明条件により発生する明度変化に強いことが挙げられる。ＨＬＳ表色系においては、肌色が色相（Ｈｕｅ）情報においてある一定の範囲に属することが知られている。そこで閾値処理により肌領域と非肌領域からなる２値画像を作成する。得られた２値画像において背景に含まれる肌色に近い部分も肌領域ノイズとして抽出されてしまう。ここで背景に含まれるノイズは実際の肌色領域に比べ、２値化処理を施した際に小さな点として出てくるため、モルフォロジー（膨張収縮）処理を施すことで大半を除去することが可能である。図６はモロフォロジー処理の収縮膨張それぞれの説明図である。

しかしながらモロフォロジー処理では完全にノイズを除去することはできず、頭部領域と、その他の小さな島がいくらか残ってしまう。そこで提案手法ではラベリング処理を行うことで各領域の面積を算出し、画像内で頭部における肌領域が最大であるという仮定のもと頭部領域を抽出する。図７はラベリング処理についての説明図である。最大の肌色部を頭部として認識し、肌色画素の最大最小座標より矩形を切り出す。

図８は前処理の各段階で得られた画像を示しており、正面画像、上を向いた画像、眼鏡をかけているときの画像の３通りを並べている。（ａ）が閾値処理による２値化後画像、（ｂ）はモルフォロジー処理の収縮処理後画像、（ｃ）はモルフォロジー処理の膨張処理後画像、（ｄ）はラベリング処理後の画像であり、（ｅ）は頭部矩系領域抽出画像である。

（特徴抽出）頭部画像の特徴抽出に際して、本実施の形態では投影曲線を利用している。図９は本実施の形態の投影曲線生成の説明図である。投影曲線を生成する際、前処理段階で算出した色相（Ｈｕｅ）情報を利用する。これは実際の撮影環境において照明条件による局所的な輝度値の変化の影響を少なくするためである。また、水平方向、垂直方向それぞれの投影曲線を生成している。図１０は水平方向回転時の投影曲線を具体的に示した図である。頭部の回転によって投影曲線が変化しているのが見て取れる。

図１１は本実施の形態のフレーム間における投影処理の説明図である。頭部の回転運動方向を、隣接フレームである前フレーム１１と現在フレーム１２の画像を逐次比較していくことで算出している。頭部画像の切り出し範囲はフレームごとに逐次変化してしまう。そのため投影処理により特徴量を抽出し、頭部の投影曲線が前フレームからどの程度シフトしたかを算出するためには、フレーム毎に検出頭部領域の投影をとるのではなく、常に現在フレームで、一つ前のフレームにおいて頭部領域として抽出された領域における投影をとる必要があるためである。

（変化量の算出）頭部画像の投影曲線は、頭部の各部位の特徴を反映しており、顔向きの微小変化における投影曲線同士の形状変化は比較的少ない。図１２、図１３に示すように、ここで、ｋ番目、ｋ＋１番目の画像についての列方向投影曲線を各々ｇ_ｋｘ（ｎ），ｇ_{（ｋ＋１）ｘ}（ｎ）とし、ｇ_ｋｘ（ｎ）をδ_ｘだけシフトした曲線ｇ_ｋｘ（ｎ＋δ_ｘ）とｇ_{（ｋ＋１）ｘ}（ｎ）の曲線の相関値Ｒ_ｘ（δ）を（３）式を用いて計算し、最小値をマッチングポイントとすることでシフト量δ^＊ _ｘを求める。

（回転運動方向の検出）上述の水平（行）、垂直（列）方向のシフト量から頭部の回転運動方向を逐次検出していく。図１４は使用者が頭部を水平回転させたときの列方向、行方向投影曲線の変化を示し、図１５は垂直回転運動のときの列方向、行方向投影曲線の変化を示している。移動投影処理において生成される投影曲線は頭部の上下、左右回転運動に際して互いに影響を受けないことが分かる。そこで、回転運動方向の検出に関しては頭部２自由度剛体モデルを使用し、列、行双方のシフト量から傾きを求めることができる。

アルゴリズムを実際に計算機に実装し、動作認識実験を行った。画像の取り込みには市販のＵＳＢカメラを使用し、７フレーム／秒程度で処理を行った。図１６に実際に頭部の回転運動によるマウスカーソルの動きを示す。ここでは水平方向（上図）、垂直方向（下図）の動きでマウスカーソルを動かしている。線で囲んだ矩形領域は前処理段階で自動的に肌領域を切り出したものである。上を向いた際に照明により輝度が大きく変化しているが色相情報を使っているため影響が小さく肌領域を抽出できていることがわかる。また、メガネによる顔の遮蔽、表情変化による追従性の低下は起きなかった。

以上のように本実施の形態によれば、カメラの前に使用者が座って首を水平方向、垂直方向に回転させ、あるいは斜めに首を回転させることでポインタをディスプレイの画面上に所望の方向に移動させることができ、使用者に拘束条件を与えず、特殊なデバイスを必要とせず、またあらかじめデータ作成を必要とせず、しかも使用者の頭部を回転させる動きによってポインタを移動操作することができる。

なお、本発明はポインティングデバイスのみならず、コンピュータ１００内で実行する投影曲線生成処理、シフト量演算処理のソフトウェアをも特徴とするものであり、ハードウェアに限定されるものではない。

本発明の１つの実施の形態のポインティングデバイスのシステム構成を示すブロック図。 本実施の形態のポインティングデバイスの機能構成を示すブロック図。 本実施の形態の前処理の機能構成を示すブロック図。 ＨＬＳ表色系の説明図。 ＨＬＳ表色系による肌色抽出の特性図。 モルフォロジー処理の説明図。 ラベリング処理の説明図。 本実施の形態の前処理の具体例の説明図。 本実施の形態の投影曲線生成処理の説明図。 本実施の形態の投影曲線生成の具体例の説明図。 本実施の形態におけるフレーム間における投影処理の説明図。 本実施の形態による絶対差分値によるシフト量決定処理の説明図。 本実施の形態による列方向の投影値の推移を表すグラフ。 本実施の形態による水平回転運動に対する列方向、行方向の投影曲線の算定結果を示すグラフ。 本実施の形態による垂直回転運動に対する列方向、行方向の投影曲線の算定結果を示すグラフ。 本発明の実施例において頭部回転運動によるポインタ操作の様子を示した説明図。

符号の説明

１ 頭部画像切り出し部
２ 投影曲線生成部
３ 列相関度演算部
４ 行相関度演算部
５ 頭部回転運動方向検出部
６ ＨＬＳ変換部
７ ２値化部
８，９ ノイズ除去部
１０ 矩形領域切り出し部
１１ 前フレーム
１２ 現在フレーム
１００ コンピュータ
１０１ カメラ
１０２ インタフェース
１０３ ビデオ信号処理部
１０４ ポインタ移動制御処理部
１０６ ディスプレイ
１０７ ポインタ

Claims (3)

1. ユーザーの頭部及び頭部周辺の画像を撮像するカメラと、前記カメラの撮像した画像から頭部画像の切り出しを行なう頭部画像切り出し部と、切り出した頭部画像から投影曲線生成を行なう投影曲線生成部と、前記投影曲線から変化量の算出を行なう変化量算出部と、前記変化量算出部の算出結果に基づいてディスプレイに表示されているポイントを移動させる表示制御部とを備え、
   前記頭部画像切り出し部は、ＨＬＳ表色系変換式によりＨＬＳ表色系に変換するＨＬＳ変換部と、Ｈ（色相）における閾値処理を行なって肌色を抽出する２値化部と、前記２値化部が抽出した肌色領域を切り出す頭部領域切り出し部とを有することを特徴とするポインティングデバイス。
2. 前記投影曲線生成部は、前記頭部画像切り出し部の切り出した頭部画像フレームに対して、隣接フレームである前フレームの画像と現在フレームの画像それぞれから生成された投影曲線を逐次比較することを特徴とする請求項１に記載のポインティングデバイス。
3. 前記変化量算出部は、列方向の投影曲線から絶対差分を求める列相関度演算部と、
   行方向の投影曲線から絶対差分を求める行相関度演算部と、前記列相関度演算部の絶対差分と行相関度演算部の絶対差分から頭部回転運動方向検出を行なう頭部回転運動方向検出部とを有することを特徴とする請求項１又は２に記載のポインティングデバイス。