JP2002351603A - 携帯情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の２次元ユーザインタフェイス制御手段
を備えた携帯情報処理装置に比べて操作キーの数を増加
させないで、３次元ユーザインタフェイス制御手段を備
えた携帯情報処理装置を提供する。 【解決手段】 顔画像を撮影する撮像手段１と、撮像手
段の出力である顔画像データより顔の特定点間の距離を
判定する特徴量判定手段２と、特徴量判定手段２の出力
である顔の構成要素間の距離に応じて３次元画像の奥行
き方向のフォーカシング位置を制御する３次元ユーザイ
ンタフェイス制御手段３と、３次元ユーザインタフェイ
ス制御手段３の出力である３次元空間を表示する表示手
段６を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像装置と表示
装置を備えて、表示装置には３次元画像を表示可能であ
る携帯情報処理装置に関し、特に、表示装置に表示され
る３次元画像の内容を３次元の何れかの方向にシフトさ
せるための制御装置に関するものである。

【０００２】

【従来の技術】携帯情報処理装置としては、電子手帳、
あるいは、ＰＤＡ（Personal digitalassistants）と称
されているスケジュール管理等が可能な携帯型情報機
器、携帯電話装置、携帯ゲーム機、さらには、ノートパ
ソコン等が考えられる。

【０００３】上記したような従来の携帯情報処理装置
は、一般的に、２次元画像を表示可能なディスプレイ等
の表示手段と、表示させる２次元画像の表示内容を上下
左右の２次元にシフトさせる指示をその表示手段に対し
て出力することができる２次元ユーザインタフェイス制
御手段と、表示手段に表示させる２次元画像の表示内容
を上下左右方向へシフト指示するための方向指示キーを
有している。方向指示キーは、タッチパネル方式であっ
たり、十字形状やレバー形状、あるいは、ダイアル形状
の場合もある。

【０００４】以下に２次元ユーザインタフェイス制御手
段を備えた携帯情報処理装置について、さらに詳細に説
明する。

【０００５】図１７は、従来の２次元ユーザインタフェ
イス制御手段を備えた携帯情報処理装置の構成を示すブ
ロック図である。図１７の携帯情報処理装置８１におい
て、４は、使用者が２次元画像を上下左右方向にシフト
させたい場合に画像のスクロール方向等の移動方向の指
示を行う上下左右方向指示キーである。５は、２次元画
像において使用者が指定する点や文字、あるいは、オブ
ジェクト等の選択を行う際に操作する選択指示キーであ
る。６は、２次元画像を表示することができる表示装置
である。１５は、表示された２次元画像を上下左右方向
にシフト移動させるために、上下左右方向指示キー４に
よる指示を表示手段に入力させたり、オブジェクト等を
選択するために、選択指示キー５による指示を表示手段
に入力させる制御を実施する２次元ユーザインタフェイ
ス制御手段である。

【０００６】図１８は、図１７に示した携帯情報処理装
置８１の一例を示す図である。なお、図１８において、
図１７と同じ機能の部位は、同じ符号を付与して重複す
る記載を省略する。図１８の携帯情報処理装置８１にお
いて、１６は、図１７に示した上下左右方向指示キー４
および選択指示キー５を有する操作部である。１７ａ
は、図１７に示した表示装置６に表示された２次元画像
である。操作部１６には、表示装置６中の上下左右の４
方向に対応する４個の方向指示キー４ａ、４ｂ、４ｃ、
および、４ｄと、選択指示キー５が設置されている。

【０００７】次に、図１７および図１８を用いて、従来
の２次元ユーザインタフェイス制御手段を備えた携帯情
報処理装置の動作を説明する。操作部１６の上下左右方
向指示キー４ａ〜４ｄが操作されると、表示装置６に表
示された２次元画像１７ａは上下左右方向に移動する。
また、操作部１６の選択指示キー５が操作されると、例
えば、カーソルやポインタ矢印の先端位置等により指定
された文字やオブジェクトを選択することができる。

【０００８】操作部１６の上下左右方向指示キー４ａ〜
４ｄと選択指示キー５を操作することにより、表示装置
６に表示された２次元画像１７ａ中の任意の位置を選択
したり、表示された任意のオブジェクトを選択すること
ができる。そして、選択指示キー５により選択指示され
た場合、携帯情報処理装置８１は指示された実行内容を
実施する。

【０００９】このようにして、携帯情報処理装置８１の
使用者は、表示装置６に表示された２次元画像１７ａ中
の任意の位置を指定したり、表示された任意のオブジェ
クトを選択することができる。

【００１０】ところで、近年になり、ＣＣＤ等の撮像素
子を有するカメラが携帯情報処理装置に設置されるケー
スが増加している。例えば、カメラ付き携帯電話装置、
カメラ付きＰＤＡ、カメラ付きノートパソコン等であ
る。カメラによる画像は、３次元画像であり、目的とす
る画像にカメラのピントを合わせるためのフォーカシン
グ（焦点合わせ）処理が必要となる。表示装置６に表示
される画像としては、３次元画像における奥行き方向の
表示位置（フォーカシング位置）を選択する必要があ
る。

【００１１】以下に、従来の３次元ユーザインタフェイ
ス制御手段を備えた携帯情報処理装置について説明す
る。図１９は、従来の３次元ユーザインタフェイス制御
手段を備えた携帯情報処理装置の構成を示すブロック図
である。図１９に示した携帯情報処理装置８２におい
て、上下左右方向指示キー４および選択指示キー５は、
図１７に示した従来の２次元ユーザインタフェイス制御
手段を備えた携帯情報処理装置８１と同様である。

【００１２】携帯情報処理装置８２中の１８は、表示装
置６に表示される３次元画像の奥行き方向における表示
位置の移動を指示する奥行き方向指示キーである。３
は、表示された３次元画像を上下左右方向および奥行き
方向にシフト移動させるために、上下左右方向指示キー
４および奥行き方向指示キー１８による指示を表示手段
に入力させたり、オブジェクト等を選択するために、選
択指示キー５による指示を表示手段に入力させる制御を
実施する３次元ユーザインタフェイス制御手段である。
６は、図１７の携帯情報処理装置８１中に示した表示装
置と類似するが、図１９では３次元画像を表示させるこ
とができる表示装置となる。

【００１３】図２０は、図１９に示した携帯情報処理装
置８２の一例示す図である。図２０において、表示装置
６および操作部１６は、携帯情報処理装置８１中に示し
たものと同様である。１７ｂは、図１９に示した表示装
置６に表示された３次元画像である。操作部１９には、
表示装置６中の奥行き方向に対応する２個の奥行き方向
指示キー１８ａ、および、１８ｂが設置されている。

【００１４】次に、図１９および図２０を用いて、従来
の３次元ユーザインタフェイス制御手段を備えた携帯情
報処理装置の動作を説明する。操作部１９の奥行き方向
指示キー１８ａ、１８ｂが操作されると、表示装置６に
表示された３次元画像１７ｂは奥行き方向（手前側ある
いは奥側）に移動する。次に、操作部１６の上下左右方
向指示キー４ａ〜４ｄが操作されると、表示装置６に表
示された３次元画像１７ｂは上下左右方向に移動する。
また、操作部１６の選択指示キー５が操作されると、例
えば、カーソルやポインタ矢印の先端位置等により指定
された文字やオブジェクトを選択することができる。

【００１５】操作部１９の奥行き方向指示キー１８ａ、
１８ｂ、操作部１６の上下左右方向指示キー４ａ〜４ｄ
と選択指示キー５を操作することにより、表示装置６に
表示された３次元画像１７ｂ中の任意の位置を選択した
り、表示された任意のオブジェクトを選択することがで
きる。そして、選択指示キー５により選択指示された場
合、携帯情報処理装置８２は、指示された実行内容を実
施する。

【００１６】このようにして、携帯情報処理装置８２の
使用者は、表示装置６に表示された３次元画像１７ｂ中
の任意の位置を指定したり、表示された任意のオブジェ
クトを選択することができる。

【００１７】

【発明が解決しようとする課題】上記したように、２次
元のユーザインタフェイス制御手段を備えた従来の携帯
情報処理装置８１では、上下左右方向指示キーと選択指
示キーがあれば、２次元画像中の任意の位置を指定した
り、表示された任意のオブジェクトを選択することが可
能である。そして、３次元ユーザインタフェイス制御手
段を備えた従来の携帯情報処理装置８２では、上記した
携帯情報処理装置８１に必要となる入力手段（上下左右
方向指示キー４と選択指示キー５）に加えて、奥行き方
向を指示する入力手段（奥行き方向指示キー１８）が必
要となっていた。

【００１８】しかしながら、従来の２次元ユーザインタ
フェイス制御手段を備えた携帯情報処理装置８１の操作
に慣れている使用者にとっては、携帯情報処理装置８２
を操作する際に、奥行き方向指示キー１８の操作が追加
されることから、操作しなければならないキーの数が増
加することになる。したがって、携帯情報処理装置８１
の使用者にとっては、携帯情報処理装置８２の操作が煩
雑に感じるという問題があった。

【００１９】この発明は、上述のような問題を解決する
ためになされたものであり、従来の２次元ユーザインタ
フェイス制御手段を備えた携帯情報処理装置に比べて操
作キーの数を増加させないで、３次元ユーザインタフェ
イス制御手段を備えた携帯情報処理装置を提供すること
を目的とする。また、さらに、使用者が従来の２次元ユ
ーザインタフェイス制御手段により培ってきた操作感覚
で操作した倍に場合にも、表示内容に違和感を持たせる
ことが少ない３次元ユーザインタフェイス制御手段を備
えた携帯情報処理装置を提供することを目的とする。

【００２０】

【課題を解決するための手段】この発明に係る携帯情報
処理装置は、使用者の身体の少なくとも一部を撮影して
画像データを出力可能な撮像手段と、３次元画像を表示
可能な表示手段と、該表示手段に対して、表示させる３
次元画像の表示内容を上下左右の２次元に加えて奥行き
方向の３次元方向にシフト指示を出力することができる
３次元ユーザインタフェイス制御手段と、画像データか
ら使用者の身体の画像における少なくとも１個の特定点
を検出し、該特定点についての少なくとも１種類の測定
処理を実施し、該測定処理結果に基づいて使用者の身体
の移動方向を判定することにより、３次元方向のシフト
指示のうち、少なくとも１方向へのシフト指示を３次元
ユーザインタフェイス制御手段から出力させるための方
向指示データを出力する特徴量判定手段とを有する。

【００２１】また、この発明に係る携帯情報処理装置に
おいて、特定点についての測定処理は、特定点とその周
囲の任意の他点との２点間の距離を測定し、特徴量判定
手段は、距離に基づいて前記方向指示データを出力す
る。

【００２２】また、この発明に係る携帯情報処理装置に
おいて、特定点についての測定処理は、特定点とその周
囲の任意の他点との２点間の距離が時間経過により変化
する変化量を測定し、特徴量判定手段は、距離の変化量
に基づいて方向指示データを出力する。

【００２３】また、この発明に係る携帯情報処理装置に
おいて、特定点は、使用者の顔面における両目とし、距
離は、該両目間の距離とする。

【００２４】また、この発明に係る携帯情報処理装置
は、使用者の身体の少なくとも一部を撮影して画像デー
タを出力可能な撮像手段と、３次元画像を表示可能な表
示手段と、該表示手段に対して、表示させる３次元画像
の表示内容を上下左右の２次元に加えて奥行き方向の３
次元方向にシフト指示を出力することができる３次元ユ
ーザインタフェイス制御手段と、画像データから使用者
の身体の画像における少なくとも１個の特定領域を検出
し、該特定領域についての測定処理を実施し、該測定処
理結果に基づいて使用者の身体の移動方向を判定するこ
とにより、３次元方向のシフト指示のうち、少なくとも
１方向へのシフト指示を３次元ユーザインタフェイス制
御手段から出力させるための方向指示データを出力する
特徴量判定手段とを有する。

【００２５】また、この発明に係る携帯情報処理装置に
おいて、特定領域についての測定処理は、特定領域の面
積を測定し、特徴量判定手段は、面積に基づいて方向指
示データを出力する。

【００２６】また、この発明に係る携帯情報処理装置に
おいて、特定領域についての測定処理は、特定領域の面
積が時間経過により変化する変化量を測定し、特徴量判
定手段は、面積の変化量に基づいて前記方向指示データ
を出力する。

【００２７】また、この発明に係る携帯情報処理装置に
おいて、特定領域は、使用者の顔面とする。

【００２８】また、この発明に係る携帯情報処理装置
が、表示手段に表示させる３次元画像の表示内容を上下
左右方向へシフト指示するためのキーを備える場合、特
徴量判定手段は、表示内容を奥行き方向へシフト指示す
るための方向指示データを出力する。

【００２９】また、この発明に係る携帯情報処理装置
は、使用者の身体の少なくとも一部を撮影して画像デー
タを出力可能な撮像手段と、３次元画像を表示可能な表
示手段と、該表示手段に対して、表示させる３次元画像
の表示内容を上下左右の２次元に加えて奥行き方向の３
次元方向にシフト指示を出力することができる３次元ユ
ーザインタフェイス制御手段と、画像データから使用者
の身体の画像における少なくとも２個の特定点の動きベ
クトルを検出する動きベクトル検出手段と、動きベクト
ルに基づいて使用者の身体の移動方向を判定することに
より、３次元方向のシフト指示のうち、少なくとも１方
向へのシフト指示を３次元ユーザインタフェイス制御手
段から出力させるための方向指示データを出力する被写
体動き認識手段とを有する。

【００３０】また、この発明に係る携帯情報処理装置に
おいて、被写体動き認識手段は、動きベクトルが収束す
る方向である場合には、使用者の身体の移動方向が奥行
き方向における離隔の動きであると判定し、動きベクト
ルが発散する方向である場合には、使用者の身体の移動
方向が奥行き方向における接近の動きであると判定し、
該判定結果に基づいて方向指示データを出力する。

【００３１】また、この発明に係る携帯情報処理装置に
おいて、特定点は、使用者の顔面の輪郭中にある。

【００３２】また、この発明に係る携帯情報処理装置に
おいて、動きベクトル検出手段は、ディジタル画像の符
号化装置に備えられている動きベクトル検出回路であ
る。

【００３３】また、この発明に係る携帯情報処理装置
が、表示手段に表示させる３次元画像の表示内容を上下
左右方向へシフト指示するためのキーを備える場合、被
写体動き認識手段は、表示内容を奥行き方向へシフト指
示するための方向指示データを出力する。

【００３４】

【発明の実施の形態】以下、この発明をその実施の形態
を示す図面に基づいて具体的に説明する。 実施の形態１．図１は、本発明の実施の形態１の携帯情
報処理装置の構成を示すブロック図である。なお、以下
に説明する携帯情報処理装置が図１７〜図２０に示した
従来の携帯情報処理装置８１〜８２と同様に動作する部
位については、同じ番号を付与して重複する説明を省略
する。

【００３５】図１の携帯情報処理装置７０が図１９〜図
２０に示した従来の携帯情報処理装置８２と異なる点
は、以下のようになる。 （１）図１の携帯情報処理装置７０では、従来の携帯情
報処理装置８２では備えていた奥行き方向指示キー１８
を削除している。 （２）携帯情報処理装置７０は、使用者の身体の少なく
とも一部を撮影して画像データを出力可能な撮像手段１
を有している。撮像手段としては、例えば、ＣＣＤ等の
撮像装置を有して、外部から取り込んだ画像を画像デー
タとして出力できるビデオカメラである。 （３）携帯情報処理装置７０は、撮像手段１から入力し
た画像データから、使用者の身体の画像における少なく
とも１個の特定点の座標を検出し、次いで、検出された
特定点とその周囲の任意の他点との２点間の距離の測定
し、その距離に基づいて使用者の身体の移動方向を判定
することにより、３次元方向のシフト指示のうち、少な
くとも１方向へのシフト指示を３次元ユーザインタフェ
イス制御手段から出力させるための方向指示データを、
３次元ユーザインタフェイス制御手段３に対して出力す
る特徴量判定手段２を有している。特徴量判定手段の構
成内容の一例は、図２を用いて後述する。

【００３６】なお、本実施の形態では、特定点とその周
囲の任意の他点とを使用者の両目とし、２点間の距離
は、両目の間の距離とする。これは、特定点としては、
アジア人であれば白目に挟まれて黒目があり、顔内の他
の部位と比較した場合、比較的個人差が少なく特定点と
して認識できるためである。また、本実施の形態の特徴
量判定手段は、奥行き方向への方向指示データを出力す
ることとする。携帯情報処理装置７０における他の部位
は、従来の携帯情報処理装置８２と同様である。

【００３７】図２は、図１の特徴量判定手段２の構成を
さらに詳細に示したブロック図である。特定点検出部２
１は、例えば、使用者の顔の画像データから白目に挟ま
れた黒目を、形状、色差および輝度差等から検出するも
のである。その検出を実施するためのプログラムを格納
するのが、検出プログラム記憶部２２である。特定点検
出部２１は、検出プログラム記憶部２２に格納されたプ
ログラムを利用して検出を実行する。このプログラム
は、目を検出するものに限らず、例えば、形状等から耳
を検出したり、形状、色差および輝度差等から口の両端
を検出したり、眉毛を検出するようにしても良い。

【００３８】特定点間距離演算部２３は、検出された両
目（黒目）の間の距離を演算するものである。上記した
他の例の場合には、両耳の間の距離や口の両端間の距
離、あるいは、眉毛間の距離としても良い。これらの距
離は、撮像手段１と使用者の顔が近づくと顔画像が拡大
されるため比例して距離が広がり、顔が遠のくと顔画像
が縮小されるので距離が狭まる。これについては、図３
および図４を用いて後述する。

【００３９】方向指示データ出力部２５は、特定点間距
離演算部２で演算された目間距離のデータから、奥行き
方向の方向指示データ（フォーカシングデータ）を生成
して、３次元ユーザインタフェイス制御手段３に出力す
るものである。目間距離のデータから方向指示データを
生成するために、目間距離と、携帯情報処理装置７０と
使用者の顔の間の距離との対応関係データを格納するの
が方向指示データテーブル２６である。方向指示データ
出力部２５は、方向指示データテーブル２６に格納され
た対応関係データを利用して方向指示データを生成す
る。この対応関係データは、例えば、目間距離について
は日本人の平均値等を格納しておき、以降の処理では、
個人差等を考慮して厳密な値としてではなく幅のある値
として取り扱う。

【００４０】次に本実施の形態の動作について説明す
る。図３および図４は、目間距離と、携帯情報処理装置
７０と使用者の顔の間の距離との対応関係を示す図であ
る。図３は、携帯情報処理装置７０と使用者の顔の間の
距離が比較的離れており、その結果、目間距離が狭まっ
ている場合を示す図である。図３（ａ）は、携帯情報処
理装置７０と使用者の顔９０ａを側面から表した図であ
り、携帯情報処理装置７０の撮像手段１で撮影された顔
画像が表示手段６に表示されているものとする。なお、
表示手段６への顔画像の表示は、本実施の形態を理解す
るために有利であることから便宜上表示させる場合を用
いるが、本実施の形態における必須事項ではなく、例え
ば、顔画像を表示させずに、携帯情報処理装置７０の回
路内で方向指示データを出力させるまでの処理を完結さ
せても良い。また、携帯情報処理装置７０と使用者の顔
９０ａとの間の距離をＭＤ１とする。

【００４１】図３（ｂ）は、図３（ａ）の表示手段６に
表示された顔画像を表す図である。使用者の顔９０ａ中
の右目９１と左目９２との間の距離をＹＤ１とする。ま
ず、図２の特定点検出部２１で顔９０ａ中のから右目９
１と左目９２を検出し、特定点間距離演算部２３で、こ
の右目９１と左目９２との間の距離ＹＤ１を演算する。
方向指示データテーブル２６には、予め距離ＭＤ１と距
離ＹＤ１との相関関係が格納されている。また、例え
ば、距離ＹＤ１に所定のしきい値を予め定義しておき、
距離ＹＤ１＞しきい値の場合を「＋」とし、距離ＹＤ１
＜しきい値の場合を「−」とする。また、距離ＭＤ１に
より「＋」および「−」を定義することもできるが、そ
の場合には、距離ＭＤ１と距離ＹＤ１との相関関係は、
距離ＭＤ１が広がると距離ＹＤ１は狭くなり、距離ＭＤ
１が狭くなると距離ＹＤ１は広がるという反比例関係で
あるので、例えば、距離ＭＤ１＜しきい値の場合を
「＋」とし、距離ＭＤ１＞しきい値の場合を「−」と定
義する。

【００４２】図４は、図３とは逆に、携帯情報処理装置
７０と使用者の顔の間の距離が比較的近づいており、そ
の結果、目間距離が広がっている場合を示す図である。
図４（ａ）は、図３（ａ）に比べて携帯情報処理装置７
０と使用者の顔９０ｂが近づいた場合を側面から表した
図である。また、図４（ａ）における携帯情報処理装置
７０と使用者の顔９０ｂとの間の距離をＭＤ２とする。

【００４３】図４（ｂ）は、図４（ａ）の表示手段６に
表示された顔画像を表す図である。使用者の顔９０ｂ中
の右目９１と左目９２との間の距離をＹＤ２とする。こ
の図４（ｂ）の場合には、図３（ｂ）の場合と比べて、
距離ＹＤ２＞距離ＹＤ１である。従って、相関関係に基
づいて、距離ＭＤ２＜距離ＭＤ１である。例えば、しき
い値を距離ＹＤ２と距離ＹＤ１の間に定義したとする
と、特徴量判定手段２は、図３（ｂ）の場合に「−」の
信号を出力させ、図４（ｂ）の場合に「＋」の信号を出
力させることができる。

【００４４】上記から、使用者が画像表示の奥行き方向
「＋」に指示を出力したい場合には、顔を携帯情報処理
装置７０に近づければ良く、使用者が画像表示の奥行き
方向「−」に指示を出力したい場合には、顔を携帯情報
処理装置７０から離せば良いことになる。

【００４５】また、例えば、図３（ｂ）および図４
（ｂ）において、右目９１と表示手段６の左端（３次元
画像の左端）との間の距離Ｙｄ１ａおよびＹｄ２ａを測
定するようにしても良い。この場合の左端は携帯情報処
理装置７０では固定値となるので、特定点の座標の検出
（測定）は、右目９１の１カ所のみで良いことになる。

【００４６】この場合の図４（ｂ）では、図３（ｂ）の
場合と比べて、距離Ｙｄ１ａ＞距離Ｙｄ２ａである。こ
の場合の相関関係も、距離ＹＤ２および距離ＹＤ１を用
いる場合と同様である。従って、距離Ｙｄ１ａおよびＹ
ｄ２ａとの相関関係に基づいて、距離ＭＤ２＜距離ＭＤ
１となる。例えば、しきい値を距離Ｙｄ２ａと距離Ｙｄ
１ａの間に定義しておけば、図３（ｂ）の場合に「−」
の信号を出力させ、図４（ｂ）の場合に「＋」の信号を
出力させることができる。

【００４７】そして、上記した「＋」の信号あるいは
「−」の信号を受信した３次元ユーザインタフェイス制
御手段３では、特徴量判定手段２の出力に応じて３次元
空間を奥行き方向の位置を制御する。例えば、特徴変化
量判定手段２の出力が「＋」で大きくなったとき、すな
わち、撮像装置１と被写体の距離が近くなったときに奥
行き方向の奥方向にフォーカシングするように制御し、
特徴量判定手段２の出力が「−」で小さくなったとき、
すなわち、撮像装置１と被写体の距離が遠くなったとき
に奥行き方向の手前方向にフォーカシングするように制
御をおこなう。

【００４８】また、本実施形態では、制御方向が「＋」
あるいは「−」であるかに加え、例えば、方向指示デー
タテーブル内に、検出される各距離毎に、方向指示デー
タについてもその変化量を異ならせて格納しておくこと
により、表示される画像の奥行き方向への変化量につい
ても制御することができる。この場合の画像の変化量、
すなわち、３次元空間における画像の移動量は、特徴量
判定手段２からの出力の絶対値に比例することになる。

【００４９】このようにして、本実施の形態では、特に
ハードウエアにより奥行き方向指示キーを設けなくと
も、使用者は、感覚的に違和感を感じることなく容易
に、奥行き方向のフォーカシング位置の指示を携帯情報
処理装置に入力させることができる。

【００５０】実施の形態２．図５は、本発明の実施の形
態２の携帯情報処理装置の構成を示すブロック図であ
る。図５の携帯情報処理装置７１が図１に示した携帯情
報処理装置７０と異なる点は、以下のようになる。 （４）携帯情報処理装置７１では、携帯情報処理装置７
０の特徴量判定手段２を、特徴変化量判定手段７として
いる。特徴変化量判定手段７は、実施の形態１の特徴量
判定手段２の２点間の距離を測定する機能に加え、時間
経過による２点間の距離の差分（変化量）を測定（検
出）できるようにしたものである。特徴変化量判定手段
７は、撮像手段１から入力した先の画像データから、ま
ず、使用者の身体の画像における少なくとも１個の特定
点の座標を検出し、検出された特定点とその周囲の任意
の他点との２点間の距離の測定して一旦記憶する。次い
で、所定の時間経過後に前の画像データと連続して入力
する画像データからも使用者の身体の画像における少な
くとも１個の特定点の座標を検出し、検出された特定点
とその周囲の任意の他点との２点間の距離を測定する。
そして、記憶されていた先の画像データから検出された
距離と、時間経過後の画像データから検出された距離と
の差分、すなわち、変化量を演算し、その演算結果（変
化量）に基づいて方向指示データを出力する。携帯情報
処理装置７１における他の部位は、携帯情報処理装置７
０と同様である。

【００５１】図６は、図５の特徴変化量判定手段７の構
成をさらに詳細に示したブロック図である。特定点検出
部２１、検出プログラム記憶部２２，特定点間距離演算
部２３、方向指示データ出力部２５、および、方向指示
データテーブル２６については、図２の特徴量判定手段
２と同様である。

【００５２】差分演算部３３は、特定点間距離演算部２
３から入力した今回の距離データ（特定点とその周囲の
任意の他点との２点間＝両目間の距離）を前回データ記
憶部３４に格納すると共に、前回データ記憶部３４に格
納されていた前回の距離データを読み出して今回の距離
データとの差分（時間経過による変化量）を演算し、演
算結果を測定結果として方向指示データ出力部２５に出
力する。

【００５３】前回データ記憶部３４は、特定点間距離演
算部２３から差分演算部３３を経由して入力した距離デ
ータを格納しておくものであり、時間的に先に格納され
た距離データは、後から格納される距離データが入力さ
れる時に差分演算部３３に出力される。

【００５４】次に、動作について説明する。撮像手段
１、３次元ユーザインタフェイス制御手段３、上下左右
方向指示キー４、選択指示キー５、表示手段６は、図１
に示した実施の形態１の携帯情報処理装置７０に使用さ
れているものと同じであり、同じ動作をする。

【００５５】特徴変化量判定手段７では、実施の形態１
と同様に、まず、特定点検出部２１で顔画像のデータか
ら両目の位置を検出し、特定点間距離演算部２３で検出
された両目の位置より両目の間の距離を判定してその距
離データを差分演算部３３に出力する。

【００５６】差分演算部３３では、今回入力した距離デ
ータについては、前回データ記憶部３４に格納すると共
に、予め前回データ記憶部３４に格納されていた前回の
距離データを読み出し、今回の距離データとの差分（変
化量）を演算して方向指示データ出力部２５に出力す
る。

【００５７】例えば、図３（ｂ）のＹＤ１が予め格納さ
れていた距離データであり、図４（ｂ）のＹＤ２が今回
入力した距離データである場合には、ＹＤ２−ＹＤ１は
「＋」となるので、差分演算部３３は、方向指示データ
出力部２５に「＋」の信号を出力させる信号を出力す
る。逆に、図４（ｂ）のＹＤ２が予め格納されていた距
離データであり、図３（ｂ）のＹＤ１が今回入力した距
離データである場合には、ＹＤ１−ＹＤ２は「−」とな
るので、差分演算部３３は、方向指示データ出力部２５
に「−」の信号を出力させる信号を出力する。また、図
３（ｂ）のＹＤ１が予め格納されていた距離データであ
り、今回も図３（ｂ）のＹＤ１が入力した距離データで
ある場合には、差分（変化量）は「０」であるので、差
分演算部３３は、方向指示データ出力部２５に「０＝変
化無し」の信号を出力させる信号を出力する。

【００５８】方向指示データテーブル２６には、予め差
分値（変化量）と方向指示データの相関関係のデータテ
ーブルを格納しておき、方向指示データ出力部２５で
は、差分演算部３３からの差分値を方向指示データテー
ブル２６に格納されたデータテーブルにより判断して方
向指示データを３次元ユーザインタフェイス制御手段３
に出力する。

【００５９】３次元ユーザインタフェイス制御手段３で
は、特徴変化量判定手段７の出力に応じて３次元空間に
おける奥行き方向の表示位置を制御する。例えば、特徴
変化量判定手段７の出力が「＋」であるとき、すなわ
ち、情報処理装置１１（撮像装置１）と使用者の顔（被
写体）の距離が近くなった場合には、表示される画像に
ついて、奥行き方向における奥側方向にフォーカシング
するように制御を実施し、特徴変化量判定手段７の出力
が「−」であるとき、すなわち、情報処理装置１１と被
写体の距離が遠くなった場合には、奥行き方向における
手前側方向にフォーカシングするように制御を実施す
る。

【００６０】また、本実施形態では、制御方向が「＋」
あるいは「−」であるかに加え、例えば、方向指示デー
タテーブルに差分（変化量）毎に、方向指示データにつ
いてもその変化量を異ならせて格納しておくことによ
り、表示される画像の奥行き方向への変化量についても
制御することができる。この場合の画像の変化量、すな
わち、３次元空間における画像の移動量は、特徴変化量
判定手段７からの出力の絶対値に比例することになる。

【００６１】このようにして、本実施の形態では、特に
ハードウエアにより奥行き方向指示キーを設けなくと
も、使用者は、感覚的に違和感を感じることなく容易
に、奥行き方向のフォーカシング位置の指示を携帯情報
処理装置に入力させることができることに加え、情報処
理装置と使用者の顔との間の距離の変化量により制御を
実施するため、顔の個人差により特徴量が異なることか
ら発生する制御誤差を減少させることができ、より使用
者の操作感覚に合致した操作内容を得ることができる。

【００６２】なお、上記した実施の形態１および２で
は、３次元ユーザインタフェイス制御手段３の制御方法
として、携帯情報処理装置７０または７１と使用者の顔
９０の距離が近くなった場合に、表示される３次元画像
のフォーカシングの制御位置が、奥行き方向における奥
側方向に向かって移動するように制御を実施したが、逆
に、携帯情報処理装置７０または７１と使用者の顔９０
の距離が近くなった場合に、フォーカシングの制御位置
が、奥行き方向における手前側方向に向かって移動する
ように制御しても良い。

【００６３】また、上記した実施の形態１および２で
は、特徴量判定手段２に両目の間の距離を判定させ、特
徴変化量判定手段７では両目の間の距離の時間経過によ
る差分（変化量）を判定させるようにしたが、上記した
各実施の形態はこれに限るものではなく、被写体（使用
者の画像データ）において、携帯情報処理装置７０また
は７１との使用者の間の距離が変化することにより、２
点間の距離が変化する任意の画像により実施することが
できる。例えば、耳、口、眉毛等を判定に用いても良
く、目と口の距離、目と鼻の距離など、顔を構成する任
意の要素の間の距離を検出（測定）することにより判定
することができる。

【００６４】また、上記の各実施形態では、被写体（使
用者の画像データ）から特定点（目）の座標を２点分検
出してその２点間の距離あるいはその変化量を判定する
ことにより、表示画像のフォーカシング位置の制御を行
ったが、例えば、使用者の画像データから１点のみを検
出し、画像の右端あるいは左端等からの距離を用いるよ
うにしても良い。

【００６５】実施の形態３．図７は、本発明の実施の形
態３の携帯情報処理装置の構成を示すブロック図であ
る。図７の携帯情報処理装置７２が図１に示した携帯情
報処理装置７０と異なる点は、以下のようになる。 （５）携帯情報処理装置７２では、携帯情報処理装置７
０の特徴量判定手段２を、大きさ判定手段８としてい
る。大きさ判定手段８は、実施の形態１の特徴量判定手
段２の２点間の距離を測定する機能に代えて、画像デー
タ中から特定領域の面積（本実施の形態では顔）を測定
（検出）できるようにしたものである。大きさ判定手段
８は、撮像手段１から入力した先の画像データから、ま
ず、使用者の身体の画像における少なくとも１個の特定
領域を検出し、検出された特定領域の面積を演算する。
そして、その演算結果に基づいて方向指示データを出力
する。携帯情報処理装置７２における他の部位は、携帯
情報処理装置７０と同様である。

【００６６】図８は、図７の大きさ判定手段８の構成を
さらに詳細に示したブロック図である。特定領域検出部
４１は、例えば、使用者の顔の画像データから顔の領域
を、形状、色差および輝度差等から検出するものであ
る。その検出を実施するためのプログラムを格納するの
が、検出プログラム記憶部４２である。特定領域検出部
４１は、検出プログラム記憶部４２に格納されたプログ
ラムを利用して検出を実行する。このプログラムは、顔
を検出するものに限らず、例えば、形状、色差および輝
度差等から指や手を検出したり、所定のカード等を検出
するようにしても良い。顔の大きさを検出する方法とし
ては、顔の輪郭を求める方法や、輝度信号と色差信号で
特定した条件を満たす部分を顔領域と判定しその大きさ
を求める方法等が知られている。

【００６７】特定領域面積演算部４３は、検出された顔
の面積を演算するものである。上記した他の例の場合に
は、指や手の面積、あるいは、カード等の面積としても
良い。これらの面積は、撮像手段１と使用者の顔（ある
いはカード等）が近づくと画像が拡大されるため比例し
て面積が広がり、顔（カード等）が遠のくと画像が縮小
されるので面積が狭まる。これについては、図９および
図１０を用いて後述する。なお、以下の説明は顔の面積
の場合について説明する。

【００６８】方向指示データ出力部４５は、特定領域面
積演算部４３で演算された顔面積のデータから、奥行き
方向の方向指示データ（フォーカシングデータ）を生成
して、３次元ユーザインタフェイス制御手段３に出力す
るものである。顔面積のデータから方向指示データを生
成するために、顔面積と、携帯情報処理装置７２と使用
者の顔の間の距離との対応関係データを格納するのが方
向指示データテーブル４６である。方向指示データ出力
部４５は、方向指示データテーブル４６に格納された対
応関係データを利用して方向指示データを生成する。こ
の対応関係データは、例えば、顔面積については日本人
の平均値等を格納しておき、以降の処理では、個人差等
を考慮して厳密な値としてではなく幅のある値として取
り扱う。

【００６９】次に本実施の形態の動作について説明す
る。図９および図１０は、顔面積と、携帯情報処理装置
７２と使用者の顔の間の距離との対応関係を示す図であ
る。図９は、携帯情報処理装置７２と使用者の顔の間の
距離が比較的離れており、その結果、顔面積が狭くなっ
ている場合を示す図である。図９（ａ）は、携帯情報処
理装置７２と使用者の顔９０ａを側面から表した図であ
り、携帯情報処理装置７２が携帯情報処理装置７０と入
れ替わることを除けば、図３（ａ）と同様である。

【００７０】図９（ｂ）は、図９（ａ）の表示手段６に
表示された顔画像を表す図である。使用者の顔９０ａの
面積をＳ１とする。まず、図８の特定領域検出部４１で
顔９０ａを検出し、特定領域面積演算部４３で、この顔
９０ａの面積Ｓ１を演算する。方向指示データテーブル
４６には、予め距離ＭＤ１と面積Ｓ１との相関関係が格
納されている。また、例えば、面積Ｓ１に所定のしきい
値を予め定義しておき、面積Ｓ１＞しきい値の場合を
「＋」とし、面積Ｓ１＜しきい値の場合を「−」とす
る。また、距離ＭＤ１により「＋」および「−」を定義
することもできるが、その場合には、距離ＭＤ１と面積
Ｓ１との相関関係は、距離ＭＤ１が広がると面積Ｓ１は
狭くなり、距離ＭＤ１が狭くなると面積Ｓ１は広がると
いう反比例関係であるので、例えば、距離ＭＤ１＜しき
い値の場合を「＋」とし、距離ＭＤ１＞しきい値の場合
を「−」と定義する。

【００７１】図１０は、図９とは逆に、携帯情報処理装
置７２と使用者の顔の間の距離が比較的近づいており、
その結果、顔面積が広がっている場合を示す図である。
図１０（ａ）は、図９（ａ）に比べて携帯情報処理装置
７２と使用者の顔９０ｂが近づいた場合を側面から表し
た図である。また、図１０（ａ）における携帯情報処理
装置７２と使用者の顔９０ｂとの間の距離をＭＤ２とす
る。

【００７２】図１０（ｂ）は、図１０（ａ）の表示手段
６に表示された顔画像を表す図である。使用者の顔９０
ｂの面積をＳ２とする。この図１０（ｂ）の場合には、
図９（ｂ）の場合と比べて、面積Ｓ２＞面積Ｓ１であ
る。従って、相関関係に基づいて、距離ＭＤ２＜距離Ｍ
Ｄ１である。

【００７３】例えば、しきい値を面積Ｓ２と面積Ｓ１の
間に定義したとすると、大きさ判定手段８は、図９
（ｂ）の場合に「−」の信号を出力させ、図１０（ｂ）
の場合に「＋」の信号を出力させることができる。

【００７４】上記から、使用者が画像表示の奥行き方向
「＋」に指示を出力したい場合には、顔を携帯情報処理
装置７２に近づければ良く、使用者が画像表示の奥行き
方向「−」に指示を出力したい場合には、顔を携帯情報
処理装置７２から離せば良いことになる。

【００７５】そして、上記した「＋」の信号あるいは
「−」の信号を受信した３次元ユーザインタフェイス制
御手段３では、大きさ判定手段８の出力に応じて３次元
空間を奥行き方向の位置を制御する。例えば、大きさ判
定手段８の出力が「＋」で大きくなったとき、すなわ
ち、撮像装置１と被写体の面積が近くなったときに奥行
き方向の奥方向にフォーカシングするように制御し、大
きさ判定手段８の出力が「−」で小さくなったとき、す
なわち、撮像装置１と被写体の面積が遠くなったときに
奥行き方向の手前方向にフォーカシングするように制御
をおこなう。

【００７６】また、本実施形態では、制御方向が「＋」
あるいは「−」であるかに加え、例えば、方向指示デー
タテーブル内に、検出される各面積毎に、方向指示デー
タについてもその変化量を異ならせて格納しておくこと
により、表示される画像の奥行き方向への変化量につい
ても制御することができる。この場合の画像の変化量、
すなわち、３次元空間における画像の移動量は、大きさ
判定手段８からの出力の絶対値に比例することになる。

【００７７】このようにして、本実施の形態では、特に
ハードウエアにより奥行き方向指示キーを設けなくと
も、使用者は、奥行き方向の指示を携帯情報処理装置７
２に入力させることができる。

【００７８】実施の形態４．図１１は、本発明の実施の
形態４の携帯情報処理装置の構成を示すブロック図であ
る。図１１の携帯情報処理装置７３が図７に示した携帯
情報処理装置７２と異なる点は、以下のようになる。 （６）携帯情報処理装置７３では、携帯情報処理装置７
２の大きさ判定手段８を、大きさ変化量判定手段９とし
ている。大きさ変化量判定手段９は、実施の形態３の大
きさ判定手段８の顔（特定領域）の面積を測定する機能
に加え、時間経過による顔の面積の差分（変化量）を測
定（検出）できるようにしたものである。大きさ変化量
判定手段９は、撮像手段１から入力した先の画像データ
から、まず、使用者の身体の画像における少なくとも１
個の特定領域（本実施の形態では顔）を検出し、検出さ
れた特定領域顔の面積を測定して一旦記憶する。次い
で、所定の時間経過後に前の画像データと連続して入力
する画像データからも使用者の身体の画像における少な
くとも１個の特定領域を検出し、検出された特定領域の
面積を測定する。そして、記憶されていた先の画像デー
タから検出された面積と、時間経過後の画像データから
検出された面積との差分、すなわち、変化量を演算し、
その演算結果（変化量）に基づいて方向指示データを出
力する。携帯情報処理装置７３における他の部位は、携
帯情報処理装置７２と同様である。

【００７９】図１２は、図１１の大きさ変化量判定手段
９の構成をさらに詳細に示したブロック図である。特定
領域検出部４１、検出プログラム記憶部４２，特定領域
面積演算部４３、方向指示データ出力部４５、および、
方向指示データテーブル４６については、図８の大きさ
判定手段８と同様である。

【００８０】差分演算部５３は、特定領域面積演算部４
３から入力した今回の面積データ（特定領域の面積）を
前回データ記憶部５４に格納すると共に、前回データ記
憶部５４に格納されていた前回の面積データを読み出し
て今回の面積データとの差分（時間経過による変化量）
を演算し、演算結果を測定結果として方向指示データ出
力部４５に出力する。

【００８１】前回データ記憶部５４は、特定領域面積演
算部４３から差分演算部５３を経由して入力した面積デ
ータを格納しておくものであり、時間的に先に格納され
た面積データは、後から格納される面積データが入力さ
れる時に差分演算部５３に出力される。

【００８２】次に、本実施の形態の動作について説明す
る。撮像手段１、３次元ユーザインタフェイス制御手段
３、上下左右方向指示キー４、選択指示キー５、表示手
段６は、図７に示した実施の形態３の携帯情報処理装置
７２に使用されているものと同じであり、同じ動作をす
る。

【００８３】大きさ変化量判定手段９では、実施の形態
３と同様に、まず、特定領域検出部４１で顔画像のデー
タから顔の座標位置を検出し、特定領域面積演算部４３
で検出された顔の座標位置より顔の面積を判定してその
面積データを差分演算部５３に出力する。

【００８４】差分演算部５３では、今回入力した面積デ
ータについては、前回データ記憶部５４に格納すると共
に、予め前回データ記憶部５４に格納されていた前回の
面積データを読み出し、今回の面積データとの差分（変
化量）を演算して方向指示データ出力部４５に出力す
る。

【００８５】例えば、図９（ｂ）のＳ１が予め格納され
ていた面積データであり、図１０（ｂ）のＳ２が今回入
力した面積データである場合には、Ｓ２−Ｓ１は「＋」
となるので、差分演算部５３は、方向指示データ出力部
４５に「＋」の信号を出力させる信号を出力する。逆
に、図１０（ｂ）のＳ２が予め格納されていた面積デー
タであり、図９（ｂ）のＳ１が今回入力した面積データ
である場合には、Ｓ１−Ｓ２は「−」となるので、差分
演算部５３は、方向指示データ出力部４５に「−」の信
号を出力させる信号を出力する。また、図９（ｂ）のＳ
１が予め格納されていた面積データであり、今回も図９
（ｂ）のＳ１が入力した面積データである場合には、差
分（変化量）は「０」であるので、差分演算部５３は、
方向指示データ出力部４５に「０＝変化無し」の信号を
出力させる信号を出力する。

【００８６】方向指示データテーブル４６には、予め差
分値（変化量）と方向指示データの相関関係のデータテ
ーブルを格納しておき、方向指示データ出力部４５で
は、差分演算部５３からの差分値を方向指示データテー
ブル４６に格納されたデータテーブルにより判断して方
向指示データを３次元ユーザインタフェイス制御手段３
に出力する。

【００８７】３次元ユーザインタフェイス制御手段３で
は、大きさ変化量判定手段９の出力に応じて３次元空間
における奥行き方向の表示位置を制御する。例えば、大
きさ変化量判定手段９の出力が「＋」であるとき、すな
わち、携帯情報処理装置７３（撮像装置１）と使用者の
顔（被写体）の距離が近くなった場合には、表示される
画像について、奥行き方向における奥側方向にフォーカ
シングするように制御を実施し、大きさ変化量判定手段
９の出力が「−」であるとき、すなわち、情報処理装置
１３と被写体の距離が遠くなった場合には、奥行き方向
における手前側方向にフォーカシングするように制御を
実施する。

【００８８】また、本実施形態では、制御方向が「＋」
あるいは「−」であるかに加え、例えば、方向指示デー
タテーブルに差分（変化量）毎に、方向指示データにつ
いてもその変化量を異ならせて格納しておくことによ
り、表示される画像の奥行き方向への変化量についても
制御することができる。この場合の画像の変化量、すな
わち、３次元空間における画像の移動量は、大きさ変化
量判定手段９からの出力の絶対値に比例することにな
る。

【００８９】このようにして、本実施の形態では、特に
ハードウエアにより奥行き方向指示キーを設けなくと
も、使用者は、奥行き方向の指示を携帯情報処理装置７
３に入力させることができることに加え、携帯情報処理
装置７３と使用者の顔との間の距離の変化量により制御
を実施するため、顔の個人差により特徴量が異なること
から発生する制御誤差を減少させることができ、より使
用者の操作感覚に合致した操作内容を得ることができ
る。

【００９０】なお、上記した実施の形態３および４で
は、３次元ユーザインタフェイス制御手段３の制御方法
として、携帯情報処理装置７２または７３と使用者の顔
９０の距離が近くなった場合に、表示される３次元画像
のフォーカシングの制御位置が、奥行き方向における奥
側方向に向かって移動するように制御を実施したが、逆
に、携帯情報処理装置７２または７３と使用者の顔９０
の距離が近くなった場合に、フォーカシングの制御位置
が、奥行き方向における手前側方向に向かって移動する
ように制御しても良い。

【００９１】また、上記した実施の形態３および４で
は、大きさ判定手段８に顔の面積を判定させ、大きさ変
化量判定手段９では顔の面積の時間経過による差分（変
化量）を判定させるようにしたが、上記した各実施の形
態はこれに限るものではなく、被写体（使用者の画像デ
ータ）において、携帯情報処理装置７２または７３との
使用者の間の距離が変化することにより、面積が変化す
る任意の画像により実施することができる。例えば、
指、手、カード等を判定に用いても良く、指の面積、手
の面積など、被写体の画像を構成する任意の要素の面積
を検出（測定）することにより判定することができる。

【００９２】実施の形態５．図１３は、本発明の実施の
形態５の携帯情報処理装置の構成を示すブロック図であ
る。図１３の携帯情報処理装置７４が図１に示した携帯
情報処理装置７０と異なる点は、以下のようになる。 （７）携帯情報処理装置７４では、携帯情報処理装置７
０の特徴量判定手段２を、動きベクトル検出手段１０お
よび被写体動き認識手段１１としている。動きベクトル
検出手段１０および被写体動き認識手段１１は、実施の
形態１の特徴量判定手段２の２点間の距離を測定する機
能に代えて、画像データ中から特定点あるいは線の動き
ベクトル（本実施の形態では顔の輪郭中の点）を測定
（検出）できるようにしたものである。動きベクトル検
出手段１０は、撮像手段１から入力した先の画像データ
から、まず、使用者の身体の画像における少なくとも２
個の特定点または線等を検出する。動きベクトル検出手
段１０の構成としては、例えば、図６に示した特定点検
出部２１、検出プログラム記憶部２２、特定点間距離演
算部２３、差分演算部３３、および、前回データ記憶部
３４に類似する構成が考えられる。動きベクトル検出手
段１０は、２点間の座標の差分から動きのベクトルを検
出することができる。

【００９３】一方、被写体動き認識手段１１は、検出さ
れた特定点または線の変化から動きベクトルを演算す
る。被写体動き認識手段１１としては、例えば、図６に
示した方向指示データ出力部２５、および、方向指示デ
ータテーブル２６に類似する構成が考えられる。被写体
動き認識手段１１は、検出された動きベクトルとデータ
テーブルにより、被写体である顔が手前側に近づいてい
るか、遠方側に離隔中であるかの動きのベクトルを検出
し、表示画像に対する方向指示データを出力することが
できる。携帯情報処理装置７４における他の部位は、携
帯情報処理装置７０と同様である。

【００９４】また、動きベクトルを検出する方法として
は、例えば、ＭＰＥＧ等で採用されているような画面全
体をブロックに分割しブロック毎に動きベクトルを検出
する方法が知られており、あるいは、画素毎のオプティ
カルフローを計算することにより画素毎に動きベクトル
を検出する方法も知られている。

【００９５】次に、本実施の形態の動作について説明す
る。図１４および図１５は、顔の輪郭における特定点の
変化と、携帯情報処理装置７４と使用者の顔の間の距離
との対応関係を示す図である。図１４は、携帯情報処理
装置７４と使用者の顔の間の距離が比較的離れており、
その結果、顔の輪郭が小さくなっている場合を示す図で
ある。図１４（ａ）は、携帯情報処理装置７４と使用者
の顔９０ａを側面から表した図であり、携帯情報処理装
置７０が携帯情報処理装置７４と入れ替わることを除け
ば、図３（ａ）と同様である。

【００９６】図１４（ｂ）は、図１４（ａ）の表示手段
６に表示された顔画像を表す図である。使用者の顔９０
ａの輪郭における特定点をａ１〜ａ８とする。なお、ａ
７およびａ８は肩であるが、便宜上、顔９０ａの輪郭と
する。まず、図１３の動きベクトル検出手段１０で顔９
０ａの特定点ａ１〜ａ８の動きベクトルを検出する。被
写体動き認識手段１１には、予め距離ＭＤ１と特定点ａ
１〜ａ８の動きベクトルとの相関関係が格納されてい
る。動きベクトルは、最低で２点を特定点として、その
動きベクトルを検出する。例えば、特定点ａ１〜ａ８の
動きベクトルが１点に収束する傾向にある場合には
「−」とし、特定点ａ１〜ａ８の動きベクトルが１点か
ら放射状に発散する傾向にある場合には「＋」とする。

【００９７】図１５は、図１４とは逆に、携帯情報処理
装置７４と使用者の顔の間の距離が比較的近づいてお
り、その結果、顔面積が広がっている場合を示す図であ
る。図１５（ａ）は、図１４（ａ）に比べて携帯情報処
理装置７４と使用者の顔９０ｂが近づいた場合を側面か
ら表した図である。また、図１５（ａ）における携帯情
報処理装置７４と使用者の顔９０ｂとの間の距離をＭＤ
２とする。

【００９８】図１５（ｂ）は、図１５（ａ）の表示手段
６に表示された顔画像を表す図である。使用者の顔９０
ｂの輪郭における特定点をｂ１〜ｂ８とする。この図１
５（ｂ）の場合には、図１４（ｂ）の場合と比べて、特
定点ａ１〜ａ８を含む顔の輪郭の面積＞特定点ｂ１〜ｂ
８を含む顔の輪郭の面積となる。従って、相関関係に基
づいて、距離ＭＤ２＜距離ＭＤ１である。

【００９９】例えば、ある時点で入力する画像データ中
では図１４（ｂ）に示したような特定点ａ１〜ａ８であ
ったものが、連続して入力する次の画像データでは、図
１５（ｂ）に示したような特定点ｂ１〜ｂ８になる場
合、検出される動きベクトルは、放射状に発散する傾向
にあると言える。

【０１００】図１６は、連続して入力される画像データ
を表す図１４（ｂ）および図１５（ｂ）から検出される
動きベクトルを示す図である。特定点ａ１が特定点ｂ１
に変化することにより得られる動きベクトルを６１と示
し、特定点ａ２が特定点ｂ２に変化することにより得ら
れる動きベクトルを６２と示す。同様にして、ｎ＝３〜
８で、特定点ａｎが特定点ｂｎに変化することにより得
られる動きベクトルを６ｎと示す。動きベクトル６ｎ
は、明らかに放射状に発散していることから、この場合
には、被写体動き認識手段１１は、「＋」の信号を出力
させるようにする。

【０１０１】上記から、使用者が画像表示の奥行き方向
「＋」に指示を出力したい場合には、顔を携帯情報処理
装置７４に近づければ良く、使用者が画像表示の奥行き
方向「−」に指示を出力したい場合には、顔を携帯情報
処理装置７４から離せば良いことになる。

【０１０２】そして、上記した「＋」の信号あるいは
「−」の信号を受信した３次元ユーザインタフェイス制
御手段３では、被写体動き認識手段１１の出力に応じて
３次元空間を奥行き方向の位置を制御する。例えば、被
写体動き認識手段１１の出力が「＋」で大きくなったと
き、すなわち、撮像装置１と被写体の面積が近くなった
ときに奥行き方向の奥方向にフォーカシングするように
制御し、大きさ判定手段８の出力が「−」で小さくなっ
たとき、すなわち、撮像装置１と被写体の面積が遠くな
ったときに奥行き方向の手前方向にフォーカシングする
ように制御をおこなう。

【０１０３】また、本実施形態では、制御方向が「＋」
あるいは「−」であるかに加え、例えば、方向指示デー
タテーブル内に、検出される動きベクトルの大きさ毎
に、方向指示データについてもその変化量を異ならせて
格納しておくことにより、表示される画像の奥行き方向
への変化量についても制御することができる。この場合
の画像の変化量、すなわち、３次元空間における画像の
移動量は、被写体動き認識手段１１からの出力の絶対値
に比例することになる。出力の絶対値としては、動きベ
クトルの絶対値の平均値など、動きの度合いを示す数値
を出力すれば良い。

【０１０４】このようにして、本実施の形態では、特に
ハードウエアにより奥行き方向指示キーを設けなくと
も、使用者は、奥行き方向の指示を携帯情報処理装置７
４に入力させることができることに加え、情報処理装置
１４と使用者の顔との間の距離の変化量により制御を実
施するため、顔の輪郭の個人差により発生する制御誤差
を減少させることができ、より使用者の操作感覚に合致
した操作内容を得ることができる。

【０１０５】なお、上記した実施の形態５では、３次元
ユーザインタフェイス制御手段３の制御方法として、携
帯情報処理装置７４と使用者の顔９０の距離が近くなっ
た場合に、表示される３次元画像のフォーカシングの制
御位置が、奥行き方向における奥側方向に向かって移動
するように制御を実施したが、逆に、携帯情報処理装置
７４と使用者の顔９０の距離が近くなった場合に、フォ
ーカシングの制御位置が、奥行き方向における手前側方
向に向かって移動するように制御しても良い。

【０１０６】また、上記した実施の形態５では、被写体
動き認識手段１１に顔の輪郭の動きベクトルを判定させ
るようにしたが、本実施の形態はこれに限るものではな
く、被写体（使用者の画像データ）において、携帯情報
処理装置７４との使用者の間の距離が変化することによ
り、動きベクトルが得られる任意の画像により実施する
ことができる。例えば、指、手、カード等の動きベクト
ルを判定に用いても良く、その動きベクトルが収束傾向
であるか発散傾向であるかを検出（測定）することによ
り判定することができる。

【０１０７】また、上記した実施の形態５では、動きベ
クトル検出手段１０を独立したものとして示している
が、携帯型テレビ電話等の場合はＭＰＥＧ等の動画像符
号化手段が搭載されており、その中に動きベクトル検出
手段を持っているので、その動きベクトル検出手段を本
実施形態の動きベクトル検出手段１０としても利用する
ことにより、回路規模を縮小し、コストを低減させるこ
とが可能となる。

【０１０８】なお、上記した各実施の形態における表示
手段６への顔画像の表示は、図３（ａ）の説明中にて記
載したように各実施の形態を理解するために有利である
ことから便宜上表示させたものであって、各実施の形態
における必須事項ではなく、例えば、顔画像を表示させ
ずに、携帯情報処理装置の回路内で方向指示データを出
力させても良い。従って、上記した各実施の形態は、画
像送受信が可能であることから相手の画像が自分の表示
手段に表示される携帯型テレビ電話等にも適用すること
ができる。

【０１０９】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。請求項
１、２、４、５、６、８、および、９の発明では、撮像
手段から入力した画像データを測定して方向指示データ
を出力するので、３次元画像を表示手段に表示させる際
に従来用いられていた奥行き方向指示キーが無い場合で
あっても、携帯情報処理装置の使用者に、感覚的に違和
感を感じさせことなく容易に、奥行き方向のフォーカシ
ング位置の指示を携帯情報処理装置に入力させることが
できる。

【０１１０】請求項３、および、７の発明では、変化量
により制御を実施するので、上記した効果に加え、顔の
個人差により発生する制御誤差を減少させることがで
き、より使用者の操作感覚に合致させることができる。

【０１１１】請求項１０、１１、１２、および、１４の
発明では、動きベクトルを利用するので、上記した効果
に加え、より顔の個人差により発生する制御誤差を減少
させることができる。

【０１１２】請求項１３の発明では、予め使用されてい
るＭＰＥＧ等の動画像符号化手段を用いるので、新たな
回路を追加する必要が無く、回路規模を縮小でき、コス
トを低減させることができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態１の携帯情報処理装置の
構成を示すブロック図である。

【図２】 図１の特徴量判定手段の構成をさらに詳細に
示したブロック図である。

【図３】 （ａ），（ｂ）は目間距離と携帯情報処理装
置と使用者の顔の間の距離との対応関係を示す図であ
る。

【図４】 （ａ），（ｂ）は目間距離と携帯情報処理装
置と使用者の顔の間の距離との対応関係を示す図であ
る。

【図５】 本発明の実施の形態２の携帯情報処理装置の
構成を示すブロック図である。

【図６】 図５の特徴変化量判定手段の構成をさらに詳
細に示したブロック図である。

【図７】 本発明の実施の形態３の携帯情報処理装置の
構成を示すブロック図である。

【図８】 図７の大きさ判定手段の構成をさらに詳細に
示したブロック図である。

【図９】 （ａ），（ｂ）は顔面積と携帯情報処理装置
と使用者の顔の間の距離との対応関係を示す図である。

【図１０】 （ａ），（ｂ）は顔面積と携帯情報処理装
置と使用者の顔の間の距離との対応関係を示す図であ
る。

【図１１】 本発明の実施の形態４の携帯情報処理装置
の構成を示すブロック図である。

【図１２】 図１１の大きさ変化量判定手段の構成をさ
らに詳細に示したブロック図である。

【図１３】 本発明の実施の形態５の携帯情報処理装置
の構成を示すブロック図である。

【図１４】 （ａ），（ｂ）は顔の輪郭における特定点
の変化と携帯情報処理装置と使用者の顔の間の距離との
対応関係を示す図である。

【図１５】 （ａ），（ｂ）は顔の輪郭における特定点
の変化と携帯情報処理装置と使用者の顔の間の距離との
対応関係を示す図である。

【図１６】 図１４（ｂ）および図１５（ｂ）から検出
される動きベクトルを示す図である。

【図１７】 従来の２次元ユーザインタフェイス制御手
段を備えた携帯情報処理装置の構成を示すブロック図で
ある。

【図１８】 図１７に示した携帯情報処理装置の一例を
示す図である。

【図１９】 従来の３次元ユーザインタフェイス制御手
段を備えた携帯情報処理装置の構成を示すブロック図で
ある。

【図２０】 図１９に示した携帯情報処理装置の一例示
す図である。

【符号の説明】

１ 撮像手段、 ２ 特徴量判定手段、 ３ ３次元ユ
ーザインタフェイス制御手段、 ４，４ａ，４ｂ，４
ｃ，４ｄ 上下左右方向指示キー、 ５ 選択指示キ
ー、 ６ 表示手段、 ７ 特徴変化量判定手段（特徴
量判定手段）、 ８大きさ判定手段（特徴量判定手
段）、 ９ 大きさ変化量判定手段（特徴量判定手
段）、 １０ 動きベクトル検出手段、 １１ 被写体
動き認識手段、 １５ ２次元ユーザインタフェイス制
御手段、 １６ 操作部、 １７ａ ２次元画像、 １
７ｂ ３次元画像、 １８，１８ａ，１８ｂ 奥行き方
向指示キー、１９ 操作部、 ２１ 特定点検出部、
２２，４２ 検出プログラム記憶部、 ２３ 特定点間
距離演算部、 ２５，４５ 方向指示データ出力部、
２６，４６ 方向指示データテーブル、 ３３ 差分演
算部、 ３４ 前回データ記憶部、 ４１ 特定領域検
出部、 ４３ 特定領域面積演算部、 ３３，５３差分
演算部、 ３４，５４ 前回データ記憶部、 ６１〜６
８ 動きベクトル、７１〜７４，８１，８２ 携帯情報
処理装置、 ９０ａ 顔画像、 ９０ｂ次に出力された
顔画像、 ９１ 左目、 ９２ 右目。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 １５０ Ｇ０６Ｔ 7/60 １５０Ｊ １８０ １８０Ｂ 17/40 17/40 Ｅ Ｆターム(参考） 5B050 AA10 BA09 BA12 CA07 EA05 EA06 EA07 EA12 EA27 FA02 FA08 5B057 AA20 CA12 CB20 CD02 CH01 CH16 DA16 DC04 DC16 5B068 AA05 BB18 BE08 CC17 EE03 EE06 5E501 AA02 BA05 CB14 FA27 5L096 BA20 CA03 DA04 FA06 FA59 FA66 FA67

Claims (14)

【特許請求の範囲】
1. 【請求項１】 使用者の身体の少なくとも一部を撮影し
   て画像データを出力可能な撮像手段と、 ３次元画像を表示可能な表示手段と、 該表示手段に対して、表示させる３次元画像の表示内容
   を上下左右の２次元に加えて奥行き方向の３次元方向に
   シフト指示を出力することができる３次元ユーザインタ
   フェイス制御手段と、 前記画像データから前記使用者の身体の画像における少
   なくとも１個の特定点を検出し、該特定点についての少
   なくとも１種類の測定処理を実施し、該測定処理結果に
   基づいて前記使用者の身体の移動方向を判定することに
   より、前記３次元方向のシフト指示のうち、少なくとも
   １方向へのシフト指示を前記３次元ユーザインタフェイ
   ス制御手段から出力させるための方向指示データを出力
   する特徴量判定手段とを有することを特徴とする携帯情
   報処理装置。
2. 【請求項２】 前記特定点についての測定処理は、前記
   特定点とその周囲の任意の他点との２点間の距離の測定
   であり、 前記特徴量判定手段は、前記距離に基づいて前記方向指
   示データを出力することを特徴とする請求項１に記載し
   た携帯情報処理装置。
3. 【請求項３】 前記特定点についての測定処理は、前記
   特定点とその周囲の任意の他点との２点間の距離が時間
   経過により変化する変化量の測定であり、前記特徴量判
   定手段は、前記距離の変化量に基づいて前記方向指示デ
   ータを出力することを特徴とする請求項１に記載した携
   帯情報処理装置。
4. 【請求項４】 前記特定点は、使用者の顔面における両
   目であり、前記距離は、該両目間の距離であることを特
   徴とする請求項１〜３の何れかに記載した携帯情報処理
   装置。
5. 【請求項５】 使用者の身体の少なくとも一部を撮影し
   て画像データを出力可能な撮像手段と、 ３次元画像を表示可能な表示手段と、 該表示手段に対して、表示させる３次元画像の表示内容
   を上下左右の２次元に加えて奥行き方向の３次元方向に
   シフト指示を出力することができる３次元ユーザインタ
   フェイス制御手段と、 前記画像データから前記使用者の身体の画像における少
   なくとも１個の特定領域を検出し、該特定領域について
   の測定処理を実施し、該測定処理結果に基づいて前記使
   用者の身体の移動方向を判定することにより、前記３次
   元方向のシフト指示のうち、少なくとも１方向へのシフ
   ト指示を前記３次元ユーザインタフェイス制御手段から
   出力させるための方向指示データを出力する特徴量判定
   手段とを有することを特徴とする携帯情報処理装置。
6. 【請求項６】 前記特定領域についての測定処理は、前
   記特定領域の面積の測定であり、 前記特徴量判定手段は、前記面積に基づいて前記方向指
   示データを出力することを特徴とする請求項５に記載し
   た携帯情報処理装置。
7. 【請求項７】 前記特定領域についての測定処理は、前
   記特定領域の面積が時間経過により変化する変化量の測
   定であり、 前記特徴量判定手段は、前記面積の変化量に基づいて前
   記方向指示データを出力することを特徴とする請求項５
   に記載した携帯情報処理装置。
8. 【請求項８】 前記特定領域は、使用者の顔面であるこ
   とを特徴とする請求項５〜７の何れかに記載した携帯情
   報処理装置。
9. 【請求項９】 前記携帯情報処理装置が、表示手段に表
   示させる３次元画像の表示内容を上下左右方向へシフト
   指示するためのキーを備える場合、 前記特徴量判定手段は、表示内容を奥行き方向へシフト
   指示するための方向指示データを出力することを特徴と
   する請求項１〜８の何れかに記載した携帯情報処理装
   置。
10. 【請求項１０】 使用者の身体の少なくとも一部を撮影
    して画像データを出力可能な撮像手段と、 ３次元画像を表示可能な表示手段と、 該表示手段に対して、表示させる３次元画像の表示内容
    を上下左右の２次元に加えて奥行き方向の３次元方向に
    シフト指示を出力することができる３次元ユーザインタ
    フェイス制御手段と、 前記画像データから前記使用者の身体の画像における少
    なくとも２個の特定点の動きベクトルを検出する動きベ
    クトル検出手段と、 前記動きベクトルに基づいて前記使用者の身体の移動方
    向を判定することにより、前記３次元方向のシフト指示
    のうち、少なくとも１方向へのシフト指示を前記３次元
    ユーザインタフェイス制御手段から出力させるための方
    向指示データを出力する被写体動き認識手段とを有する
    ことを特徴とする携帯情報処理装置。
11. 【請求項１１】 前記被写体動き認識手段は、前記動き
    ベクトルが収束する方向である場合には、前記使用者の
    身体の移動方向が奥行き方向における離隔の動きである
    と判定し、前記動きベクトルが発散する方向である場合
    には、前記使用者の身体の移動方向が奥行き方向におけ
    る接近の動きであると判定し、該判定結果に基づいて前
    記方向指示データを出力することを特徴とする請求項１
    ０に記載した携帯情報処理装置。
12. 【請求項１２】 前記特定点は、使用者の顔面の輪郭中
    にあることを特徴とする請求項１０または１１に記載し
    た携帯情報処理装置。
13. 【請求項１３】 前記動きベクトル検出手段は、ディジ
    タル画像の符号化装置に備えられている動きベクトル検
    出回路であることを特徴とする請求項１０〜１２の何れ
    かに記載した携帯情報処理装置。
14. 【請求項１４】 前記携帯情報処理装置が、表示手段に
    表示させる３次元画像の表示内容を上下左右方向へシフ
    ト指示するためのキーを備える場合、 前記被写体動き認識手段は、表示内容を奥行き方向へシ
    フト指示するための方向指示データを出力することを特
    徴とする請求項１０〜１３の何れかに記載した携帯情報
    処理装置。