JP2001034381A - ディスプレイ制御装置、制御方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】ディスプレイの使用者が、ディスプレイに表示
された表示要素を探そうとする自然な動きを自動的に検
出し、表示要素の表示状態を変更し、表示要素を容易に
確認できるディスプレイ制御装置を提供する。 【解決手段】ディスプレイ３の前に使用者が座ると、Ｃ
ＣＤカメラ１で使用者の上半身および背景が撮影され、
その画像は画像メモリ部１１に一時的に記録され、画像
特徴抽出部１２で顔面の画像が抽出され、画像特徴メモ
リ部１８に記録され、重心計算部１４で抽出した顔面画
像の重心の計算が行なわれる。次に、移動した際の重心
は所定の時間で区切り、重心の時系列メモリ部１５に記
録されていく。重心の時系列メモリ１５の内容と、基準
データ部１９の内容とが、移動量判定部１６で比較さ
れ、ディスプレイ３に表示された表示要素の表示状態の
変更を行うか否かが判定され、変更を行なう場合、表示
制御部１７で表示状態の変更が行なわれて、ディスプレ
イ３に表示状態が変更された画面が表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディスプレイに表
示される複数のウィンドウやアイコン等、表示要素の表
示状態の変更を人体の移動を認識して制御するマルチウ
ィンドウ表示制御用インターフェイスに関する。

【０００２】

【従来の技術】パーソナルコンピュータ（以下、パソコ
ンと称する。）等のマルチウィンドウ制御装置において
作業を行なう場合、同時に複数のソフトウェアを使用し
て作業を行なうことが多い。その場合、１つのディスプ
レイに複数のウィンドウを表示させて作業を行なう。複
数のウィンドウをディスプレイに表示すると、ウィンド
ウは重なり合い、場合によっては隠れてしまうため、画
面を一瞥しただけでは、どのようなウィンドウがディス
プレイ上に存在しているかがわからなくなってしまうこ
とがある。図１５は、通常使用しているディスプレイに
表示されたウィンドウの状態を示す例である。各ウィン
ドウ７１〜７４の上部の１辺に沿ってウィンドウの名称
を表示する名称表示部であるタイトルバー７１ｂ〜７４
ｂが設けてある。各ウィンドウは現在７１、７２、７
３、７４の順番に重合している。ウィンドウ７３には、
ウィンドウ７１・７２が重合しているため、ウィンドウ
７３のタイトルバー７３ｂを確認することができない。
また、ウィンドウ７４には、ウィンドウ７２・７３が重
合しているため、ウィンドウ７４のタイトルバー７４ｂ
は一部しか確認することができない。

【０００３】ディスプレイにどのようなウィンドウが表
示されているかを容易に知る方法として、入力装置であ
るマウスを用いて画面整理のコマンドを選択して、複数
のウィンドウを整列して表示する技術が、特開平５−３
２４２４４号公報に開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、特開平
５−３２４２４４号公報に開示された方法の場合、ウィ
ンドウを整理するために、マウスを使ってディスプレイ
に表示されたコマンドを選択するという意識的な動作を
行なう必要がある。

【０００５】人は、対象物を確認する時や探そうとする
時には、普通対象物に顔を近づける動作を行なう。例え
ば、ディスプレイに表示されたウィンドウ内の表示を確
認しようとする時や、他のウィンドウによって隠されて
しまったウィンドウを探そうとする時には、ディスプレ
イに顔を近づける動作を行なう。この様な人の自然な動
きを検出し、ディスプレイにどのようなウィンドウが表
示されているかを知るために、ウィンドウの表示状態を
変更して整理することが可能になると、マウスを使って
ディスプレイに表示されたコマンドを選択するという意
識的な動作を行なわなくても良くなるため、作業効率が
向上する。

【０００６】そこで、本発明はディスプレイの使用者が
ディスプレイに表示されたウィンドウ等の表示要素を探
そうとするというような自然な動きを自動的に検出し、
ディスプレイにどのような表示要素が表示されているか
を容易に知ることができるように表示要素の表示状態を
変更するディスプレイ制御装置を提供することを目的と
する。

【０００７】

【課題を解決するための手段】この発明は、上記の課題
を解決するための手段として、以下の構成を備えてい
る。

【０００８】(1) ディスプレイの使用者が位置する場所
を撮像する撮像手段と、撮像して得られる画像から特定
の画像を抽出する抽出手段と、抽出した画像の移動状態
を判定する判定手段と、判定手段の判定結果に基づいて
ディスプレイに表示された複数の表示要素の表示状態を
変更する手段と、を備えることを特徴とする。

【０００９】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら特定の画像を抽出手段で抽出し、抽出した画像の移動
状態を判定手段で判定し、判定手段の判定結果に基づい
てディスプレイに表示された複数の表示要素の表示状態
を変更する手段によって、表示状態を変更する。したが
って、撮像手段で撮像した特定の画像としてディスプレ
イの使用者を抽出した場合、ディスプレイ使用者の動作
によってディスプレイに表示されたウィンドウ等の表示
要素の表示状態を変更することが可能となる。

【００１０】(2) 前記抽出手段は、特定の画像として、
人体の一部を抽出することを特徴とする。

【００１１】この構成においては、撮像手段で撮像した
画像からディスプレイの使用者の人体の一部を抽出し、
その移動状態を判定してディスプレイに表示されたウィ
ンドウ等の表示要素の表示状態の変更を行なう。したが
って、頭部や顔面等の人体の一部の移動状態を判定する
ことにより、表示要素の表示状態の変更を行なうことが
できる。

【００１２】(3) 前記判定手段は、抽出された特定の画
像が画像領域の所定の位置へ移動したことを判定基準と
する。

【００１３】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら抽出手段で抽出した特定の画像が、画像領域の所定の
位置へ移動したことを判定手段で判定し、判定手段の判
定結果に基づいてディスプレイに表示された複数の表示
要素の表示状態を変更する手段によって、表示状態を変
更する。したがって、対象物を探すためにディスプレイ
の表示を覗き込むというような動作によって、表示要素
の表示状態の変更を行なうことができる。

【００１４】(4) 前記判定手段は、抽出された特定の画
像の一定時間あたりの移動量が所定量を超えることを判
定基準とする。

【００１５】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら、抽出手段で抽出した特定の画像の一定時間あたりの
移動量が所定量を超えることを判定手段で判定し、判定
手段の判定結果に基づいてディスプレイに表示された複
数の表示要素の表示状態を変更する手段によって、表示
状態を変更する。したがって、対象物を確認するために
ディスプレイの表示を覗き込むというような動作を検出
して、表示要素の表示状態の変更を行なうことが可能と
なる。

【００１６】(5) 特定の画像の移動方向に応じて表示要
素の表示位置を変更できることを特徴とする。

【００１７】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら、抽出手段で抽出した特定の画像の移動方向を検出し
て判定手段で判定し、判定手段の判定結果に基づいてデ
ィスプレイに表示された複数の表示要素の表示状態を変
更する手段によって、表示状態を変更する。したがっ
て、ディスプレイの使用者の動作に応じて表示状態の変
更を行なうことができ、また表示状態の変更方法を複数
登録して使い分けることが可能になる。

【００１８】(6) ディスプレイに表示された複数の表示
要素は、表示要素の名称表示部が可視できるように表示
状態を変更されることを特徴とする。

【００１９】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら特定の画像を抽出手段で抽出し、抽出した画像の移動
状態を判定手段で判定し、判定手段の判定結果に基づい
てディスプレイに表示された複数の表示要素の表示状態
を変更する手段によって、表示要素の名称表示部が可視
できるように表示状態が変更される。したがって、重な
ったウィンドウ等の表示要素のタイトルバー等の名称表
示部を確認できるように表示状態が変更されるので、デ
ィスプレイに表示されているウィンドウを一瞥で把握で
きる。

【００２０】(7) 前記抽出手段において、特定の画像が
抽出できなくなると、ディスプレイの表示状態を変更す
ることを特徴とする。

【００２１】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像か
ら特定の画像が抽出できなくなると、ディスプレイの表
示状態を変更する。したがって、使用者がディスプレイ
の前から居なくなった場合に、使用者が居ないことを検
出して、ディスプレイの電源をＯＦＦしたり、ディスプ
レイにスクリーンセーバを表示させることができる。

【００２２】(8) 撮像手段で撮像した画像をディスプレ
イに表示することを特徴とする。

【００２３】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像を
ディスプレイに表示する。したがって、撮像手段で撮像
した画像をディスプレイに直接表示するので、撮像され
た画像の状態を容易に把握できる。

【００２４】(9) 撮像手段で撮像してディスプレイに表
示した画像を、表示要素の表示状態を変更する手段の起
動用のアイコンとすることを特徴とする。

【００２５】この構成においては、ディスプレイの使用
者が位置する場所を撮像手段で撮像して得られる画像を
ディスプレイにアイコンとして表示し、そのアイコンを
ディスプレイに表示される表示要素の表示状態を変更す
る手段の起動用アイコンとする。したがって、ＣＣＤカ
メラ等の撮像手段で撮像した画像がアイコンになってい
るので、特定の画像の移動状況によって表示要素が整理
されるか否かを容易に確認できる。

【００２６】(10)撮像した画像データから特定の画像を
抽出し、抽出した画像が移動したことを判定し、判定に
基づいてディスプレイに表示された複数の表示要素の表
示状態を変更することを特徴とする。

【００２７】この構成においては、ディスプレイの使用
者が位置する場所を撮像して得られる画像データから特
定の画像を抽出し、抽出した画像の移動状態を判定し、
判定手段の判定結果に基づいて、ディスプレイに表示さ
れた複数の表示要素の表示状態を変更する。したがっ
て、ディスプレイの使用者の動作を検出し、ディスプレ
イに表示されたウィンドウ等の表示要素の表示状態の変
更を行なうことが可能となるため、使用者の動作によっ
て表示要素の表示状態を変更して整理等を行うことがで
きる。

【００２８】(11)ディスプレイの使用者が位置する場所
を撮像する処理と、撮像して得られる画像データから特
定の画像を抽出する処理と、抽出した画像が移動したこ
とを判定する処理と、判定結果に基づいてディスプレイ
に表示された複数の表示要素の表示状態を変更する処理
と、を含むディスプレイ制御プログラムを記録したこと
を特徴とする。

【００２９】この構成においては、ディスプレイの使用
者が位置する場所を撮像する処理、撮像して得られる画
像データから特定の画像を抽出する処理、抽出した画像
の移動状態を判定する処理、および判定結果に基づいて
ディスプレイに表示された複数の表示要素の表示状態を
変更する処理を行なうディスプレイ制御プログラムを記
録媒体に記録している。したがって、このディスプレイ
制御プログラムが記録された記録媒体をマルチウィンド
ウ制御装置等で実行すると、ディスプレイの使用者の動
作によって、ディスプレイに表示されたウィンドウ等表
示要素の表示状態の変更を行なうことができる。

【００３０】

【発明の実施の形態】図１は、本発明の実施形態に係る
機器の構成例を示したものである。同図において各種演
算処理を行なうマルチウィンドウ制御装置であるパソコ
ン本体２、パソコン本体２で行なった各種演算結果やパ
ソコン本体２から出力された画像等を表示するディスプ
レイ３、および撮像手段であるＣＣＤカメラ１を含む構
成である。ＣＣＤカメラ１は、ディスプレイ３の筐体上
面の中央部に設置されている。ＣＣＤカメラ１は、パソ
コン本体２とディスプレイ３を使用するために、ディス
プレイ３の前に座る使用者の動作を認識するための画像
を入力するため使用される。また、パソコン本体２にお
いて、記録媒体の読み書きを行なうことが可能である。

【００３１】図２は、図１に示した機器と画像処理部を
示すブロック図である。ディスプレイ３の前に座る使用
者を撮像する撮像手段であるＣＣＤカメラ１は、パソコ
ン本体２内の画像処理部１０の画像メモリ部１１に接続
されている。また、ディスプレイ３に表示する画像デー
タを制御する表示制御部１７は、画像処理部１０の移動
量判定部１６に接続されている。さらに、ディスプレイ
３は、表示制御部１７に接続されている。画像処理部１
０は、画像メモリ部１１、画像特徴抽出部１２、画像特
徴メモリ部１８、重心計算部１４、重心の時系列メモリ
部１５、および移動量判定部１６の順に接続されて構成
される。また、基準データ部１９は、移動量判定部１６
に接続されている。ここで、各部は、ＣＰＵ２０によっ
て制御される。図２では図示しないが、各部はＣＰＵ２
０に接続されている。

【００３２】本発明の画像処理部１０では、特定の画像
としてディスプレイ３の使用者の顔面の画像を抽出する
場合を例に挙げて説明を行なう。パソコン本体２および
ディスプレイ３を使用するために、ディスプレイ３の前
に使用者が座ると、ＣＣＤカメラ１によって使用者の上
半身および背景が撮像される。ＣＣＤカメラ１によって
撮像された画像は、画像メモリ部１１に一時的に記録さ
れる。次に画像特徴抽出部１２で、画像メモリ部１１に
記録された画像データから、使用者の顔面の画像が抽出
される。この際、画像の中で大きく変動することの少な
い肌色の領域に着目し、その領域は顔面の画像であると
判定して簡単な図形として抽出される。ここでは簡単な
図形の例として楕円形に抽出される。

【００３３】抽出された画像は画像特徴メモリ部１８に
記録される。次に重心計算部１４で、抽出された顔面画
像の重心の計算が行なわれる。顔面画像の重心の計算を
行なうと、重心の移動量を計算すれば良いので、顔面画
像の移動量の計算を簡略化することができる。移動した
際の重心は所定の時間毎に、重心の時系列メモリ部１５
に記録される。重心の時系列メモリ部１５の内容と基準
データ部１９の内容とは、移動量判定部１６で比較さ
れ、ディスプレイ３に表示された表示要素であるウィン
ドウやアイコン等の表示状態の変更を行うか否かが判定
される。ここでの変更の判断基準は図５・６の説明で詳
しく述べる。ウィンドウ等の表示状態の変更を行なう判
定がなされると、表示制御部１７で表示状態の変更が行
なわれて、ディスプレイ３にウィンドウ等の表示状態が
変更された画面が表示される。

【００３４】図３は、ＣＣＤカメラ１によって撮像され
た画像である。同図において、ＣＣＤカメラ１によって
撮影された使用者３１は画像のほぼ中央に映し出されて
いる。ディスプレイ３を見ながらコンピュータ本体２を
使用して作業を行なう場合、使用者３１は通常ディスプ
レイ３の前に座るので、同図のような画像として使用者
３１と背景３２が撮像される。

【００３５】図４は、ＣＣＤカメラ１によって撮像され
たディスプレイ３の使用者の画像と、抽出された顔面の
画像の重心を示す図である。図４に示すように、ＣＣＤ
カメラ１に対して右側に動いた場合、顔面の画像の重心
は重心４１から重心４２に移動する。また、ＣＣＤカメ
ラ１に対して左側に動いた場合、顔面の画像の重心は重
心４１から重心４３に移動する。前記のように、使用者
が移動した際に、顔部全体の移動量を計算すると膨大な
計算を行なう必要があるので、簡易的に重心が移動して
いるとして計算を行なう。

【００３６】図５は、ディスプレイに表示された複数の
ウィンドウの表示状態を変更した例である。図５は、図
１５に示した表示状態を変更して、ディスプレイ３に表
示されたウィンドウの名称が一覧できるように名称表示
部であるタイトルバー７１ｂ〜７４ｂが見えるように、
各ウィンドウ７１〜７４を少しずつずらして重ねて表示
されている。

【００３７】このとき、ウィンドウを並べる画面内の所
定の位置やウィンドウを重ねて表示する順序は、使用者
によって任意に設定可能とする。ウィンドウを重ねて表
示する順序は、重なった順、ウィンドウの表示されてい
た位置、起動された時間、および最後に操作した時間等
の順序がある。また、これらの順序でウィンドウを重ね
て表示する場合に、各々の順序について、昇順に並べる
方法と降順に並べる方法がある。

【００３８】図６は、ディスプレイ３に表示された複数
のウィンドウの表示状態を変更した別の例である。図６
において、図１５に示した表示状態を変更して、各ウィ
ンドウ７１〜７４は同じ大きさに表示され、ディスプレ
イ３の画面に並べて表示されている。

【００３９】図７は、特定の画像として抽出した顔面の
画像が、所定の位置に移動したことをディスプレイに表
示された表示要素の変更を行なう判定基準とする方法を
示す図である。この方法は、予め定めた所定の画像領域
内に顔面の画像が移動すると、ウィンドウ等の表示状態
の変更を行なう方法である。同図において、右側境界線
５１より右側の領域５４、または左側境界線５２より左
側の領域５５に顔の画像の重心４１が移動した場合に、
ウィンドウ等の表示状態の変更を行なう。この方法で
は、重心４１が右側境界線５１より右側の領域５４の重
心４４の位置に移動した場合と、重心４１が左側境界線
５２より左側の領域５５の重心４５の位置に移動した場
合と、によってウィンドウ等の表示状態の変更方法の設
定を同一にすることも、別の方法にすることも可能であ
る。例えば、重心４１が右側境界線５１より右側の領域
５４の重心４４の位置に移動した場合と、重心４１が左
側境界線５２より左側の領域５５の重心４５の位置に移
動した場合と、どちらの場合も図１５に示した表示か
ら、図５に示した表示に変更することができる。また、
重心４１が右側境界線５１より右側の領域５４の重心４
４の位置に移動した場合は、図１５に示した表示から図
５に示した表示に変更し、重心４１が左側境界線５２よ
り左側の領域５５の重心４５の位置に移動した場合は、
図１５に示した表示から図６に示した表示に変更するこ
ともできる。

【００４０】図８は、特定の画像として抽出した顔面の
画像が、一定時間内に動いた移動量が所定量を越えるこ
とを判定基準とする方法を示す図である。この方法で
は、最初の顔面の画像の重心４１と所定の時間後の顔面
の画像の重心４６との間の移動距離５３が、所定の時間
内に所定量を越えると移動したと判定する。この方法で
は、移動した方向が右側の場合と、移動した方向が左側
の場合と、によってウィンドウ等の表示状態の変更方法
の設定を同一にすることも、別の方法にすることも可能
である。

【００４１】ディスプレイの使用者は、何らかの用事で
席を外すことがある。その場合、ディスプレイに使用者
の抽出された顔面の画像はＣＣＤカメラで撮像できなく
なる。ディスプレイの使用者の顔面の画像がＣＣＤカメ
ラで撮像できなくなった場合は、使用者がディスプレイ
を一時的に使用しなくなったと考えられるので、ディス
プレイには表示を行なう必要がなくなる。そのため、デ
ィスプレイの電源をＯＦＦするか、またはスクリーンセ
ーバをディスプレイに表示させる。このとき、ＣＣＤカ
メラ１は作動させておき、用事を終えてディスプレイ３
の前に使用者が戻り、顔面の画像がＣＣＤカメラ１によ
って撮像されると、自動的にディスプレイ３の表示は席
を外す前の状態に戻される。また、画面に表示されたウ
ィンドウ等の表示状態の変更を行なっておくように設定
することもできる。

【００４２】図９は、ＣＣＤカメラ１で撮像した画像を
アイコン８１ａとして、ディスプレイ３の右上部に表示
した例である。図９に示すように、ディスプレイ３にＣ
ＣＤカメラ１で撮像した画像を表示すると、使用者３１
がどのように撮像されているかが一目でわかる。また、
ディスプレイ３の画面８２の端部に表示すると、他のウ
ィンドウを操作する際に、邪魔にならない。さらに、こ
のアイコン８１ａをクリックすると、表示要素の表示状
態の変更を行なう処理の有効・無効を切り替えることが
できる。有効の場合、アイコン８１ａは縁取りされる。
無効の場合、アイコン８１ａは縁取りされず、ＣＣＤカ
メラ１が撮影した画像の輝度を落として表示される。こ
のように表示すると、表示状態の変更を行なう処理の有
効・無効が一目でわかる。なお、上記の方法に限らず別
の方法で、有効・無効の表示を行なっても良い。

【００４３】図１０は、図７を用いて説明した、顔面の
画像が所定の領域内に移動するとウィンドウの表示状態
の変更を行なうシステムの起動スイッチとしてディスプ
レイ３に表示するアイコンの例である。図１０に示した
アイコン８１ｂは、ウィンドウの表示変更を行なう条件
となる領域の境界線８３が表示されている。アイコン８
１ｂを確認すると、どこまで移動すればウィンドウの表
示状態の変更が行なわれるかを容易に把握できる。

【００４４】図１１は、図８を用いて説明した、顔面の
画像が所定の時間内に所定量を超えて移動したことをウ
ィンドウの表示状態の変更を行なうシステムの起動スイ
ッチとして、ディスプレイに表示するアイコンの例であ
る。図１１に示したアイコン８１ｃは、ウィンドウの表
示変更を行なう条件となる所定の移動量を示す線８４が
等間隔に複数表示されている。また、アイコン８１ｃの
左上部には所定の時間が表示されている。図１１には、
所定の時間の例として０．５秒と表示されている。アイ
コン８１ｃを確認すると、どれぐらいの移動量でウィン
ドウの表示状態の変更が行なわれるかを容易に把握でき
る。

【００４５】図１２は、ウィンドウの表示状態の変更を
行なう処理手順を示すフローチャートである。図１３
は、図７を用いて説明した、顔面の画像が所定の領域内
に移動するとウィンドウの表示状態を変更する処理手順
を示すフローチャートである。図１４は、図８を用いて
説明した顔面の画像が所定の時間内に所定量を超えて移
動するとウィンドウの表示状態を変更する処理手順を示
すフローチャートである。図１３、または図１４の処理
は、図１２に示したフローチャートの処理を行なうステ
ップ（ｓ４）で実行される。

【００４６】図１２において、パソコンのオペレーショ
ンシステムが起動すると（ｓｌ）、アイコン８１として
ＣＣＤカメラ１で撮像した画像がディスプレイ３に表示
される（ｓ２）。そのアイコン８１をクリックすると、
ウィンドウの表示状態の変更を行なうシステムが起動さ
れる（ｓ３）。

【００４７】顔面の画像が所定の領域内に移動するとウ
ィンドウの表示状態を変更する処理を行なう場合（ｓ
４）は、図１３において、処理が開始されると（ｓｌ
ｌ）、まず特定の画像である顔面の画像を抽出する（ｓ
１２）。抽出された顔面の画像からその重心を計算し
（ｓ１３）、基準値と比較することで（ｓ２０）、所定
の領域に移動したかどうかのチェックを行なう（ｓ１
４）。ここで所定の領域内に移動していなければ、処理
を終了する（ｓ１７）。所定の領域内に顔面画像の重心
が移動していれば、ウィンドウの表示状態の変更処理を
行なう（ｓ１５）。その結果をディスプレイ３に出力し
（ｓ１６）、処理を終了する（ｓ１７）。なお、所定の
領域に移動したがどうかのチェックを行なう際に（ｓ１
４）、左右どちらの領域に移動したかによって、ウィン
ドウの表示状態の変更処理（ｓ１５）の部分で行なうウ
ィンドウの整理方法を変更することができる。

【００４８】また、顔面の画像の重心が所定の時間内に
所定量を超えて移動するとウィンドウの表示状態の変更
を行なう場合、図１４において、処理が開始されると
（ｓｌｌ）、まず特定の画像である顔面の画像を抽出す
る（ｓ１２）。抽出された顔面の画像からその重心を計
算し、一定時間前の重心の座標と比較し、その移動量を
計算する（ｓ１８）。この移動量を基準値と比較し（ｓ
２０）、基準値を超えていなければ（ｓ１９）、処理を
終了する（ｓ１７）。基準値を超えていれば（ｓ１
９）、ウィンドウファイルの表示状態の変更処理を行な
う（ｓ１５）。なお、移動量が基準値を超えているかチ
ェックする際に、移動した方向が左右どちらかを判定し
て、ファイル整理法を変更する。

【００４９】図１２において、使用者がアイコン８１を
クリックして終了を選択すると（ｓ５）、終了処理を行
なわれ（ｓ８）、システムが終了される。使用者が終了
を選択せずに（ｓ５）、ＣＣＤカメラ１によって撮像さ
れた画像内に特定の画像である顔面の画像がない場合
（ｓ６）、ディスプレイ３の電源がＯＦＦされるか、ま
たはスクリーンセーバがディスプレイ３に表示される
（ｓ７）。ディスプレイ３の表示状態が変更されてもＣ
ＣＤカメラ１によって画像の撮像が続行され（ｓ６）、
再び顔面の画像が撮像されるとディスプレイ３の表示は
元に戻される。ＣＣＤカメラ１によって撮像された画像
内に顔面の画像があり（ｓ６）、ディスプレイ３の表示
状態が変更されている場合（ｓ９）、つまりディスプレ
イ３の電源がＯＦＦしているか、またはスクリーンセー
バがディスプレイ３に表示されている場合は、ディスプ
レイ３の表示は元に戻され（ｓ１０）、図１３または図
１４で説明した処理を行なわれる（ｓ４）。ＣＣＤカメ
ラ１によって撮像された画像内に顔面の画像があり（ｓ
６）、ディスプレイ３の表示状態が変更されていない場
合（ｓ９）は、図１３または図１４で説明した処理が行
なわれる（ｓ４）。

【００５０】ここで、上記の処理を行なうディスプレイ
制御プログラムは、記録媒体に記録すると、他のパソコ
ンで記録媒体に記録したプログラムを実行することが可
能になる。

【００５１】上記のように、マルチウィンドウ制御装置
であるパソコンを例に挙げて、本発明を説明したが、他
の例として、テレビ受像機がある。

【００５２】図１において、パソコン本体２にテレビの
受像機を内蔵されている場合、受像したチャンネルの画
像をディスプレイ３に表示させることができる。なお、
テレビの受信機２は、ディスプレイ３に内蔵されていて
も良い。

【００５３】最近のテレビ受像機では、受信した複数の
チャンネルの画像を一度にディスプレイに表示するマル
チチャンネルモードがある。つまり、現在受信可能なチ
ャンネルの画像をディスプレイに表示して、好みのチャ
ンネルを選択してそのチャンネルの画像のみを表示させ
る場合等にこのモード表示を行なう。好みのチャンネル
を選択する際は、図外のリモートコントローラのボタン
や、ディスプレイの操作部を操作してチャンネルを選択
する。

【００５４】本発明では、ディスプレイ３に表示された
複数のチャンネルの画像から好みのチャンネルの画像を
選択する際に、ディスプレイ３に表示された好みのチャ
ンネルの画像に、顔を近づけることをＣＣＤカメラ１で
検出して、チャンネルを選択する。このように、ディス
プレイ３の使用者が、ディスプレイ３に表示されたチャ
ンネル等の表示要素を選択しようとする動作を自動的に
検出し、ディスプレイ３の表示要素の表示状態を変更し
て、好みのチャンネルの画像のみを表示することができ
る。

【００５５】なお、本発明の例として、マルチウィンド
ウ制御装置とテレビ受像機を挙げたが、本発明はこの例
に限るものではない。また、マルチウィンドウ制御装置
であるパソコンを例に挙げて説明した際に、ディスプレ
イの使用者の顔面画像を特定の画像として説明したが、
これに限るものではない。

【００５６】

【発明の効果】本発明によれば、以下の効果が得られ
る。 (1) ディスプレイの使用者が位置する場所を撮像手段で
撮像して得られる画像から特定の画像を抽出手段で抽出
し、抽出した画像の移動状態を判定手段で判定し、判定
手段の判定結果に基づいてディスプレイに表示された複
数の表示要素の表示状態を変更する手段によって、表示
状態を変更することにより、撮像手段で撮像した特定の
画像としてディスプレイの使用者を抽出した場合、ディ
スプレイ使用者の動作によってディスプレイに表示され
たウィンドウ等の表示要素の表示状態を変更することが
可能となり、対象物に顔を近づけるという自然な動作に
よって、ウィンドウ等の表示状態の変更を行うことがで
きるので作業効率が向上する。

【００５７】(2) 撮像手段で撮像した画像からディスプ
レイの使用者の人体の一部を抽出し、その移動状態を判
定してディスプレイに表示されたウィンドウ等の表示要
素の表示状態の変更を行なうことにより、頭部や顔面等
の人体の一部の移動状態を判定することにより、表示要
素の表示状態の変更を行なうことができる。

【００５８】(3) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像から抽出手段で抽出
した特定の画像が、画像領域の所定の位置へ移動したこ
とを判定手段で判定し、判定手段の判定結果に基づいて
ディスプレイに表示された複数の表示要素の表示状態を
変更する手段によって、表示状態を変更することによ
り、対象物を探すためにディスプレイの表示を覗き込む
というような動作によって、表示要素の表示状態の変更
を行なうことができる。

【００５９】(4) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像から、抽出手段で抽
出した特定の画像の一定時間あたりの移動量が所定量を
超えることを判定手段で判定し、判定手段の判定結果に
基づいてディスプレイに表示された複数の表示要素の表
示状態を変更する手段によって、表示状態を変更するこ
とにより、対象物を確認するためにディスプレイの表示
を覗き込むというような動作を検出して、表示要素の表
示状態の変更を行なうことが可能となる。

【００６０】(5) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像から、抽出手段で抽
出した特定の画像の移動方向を検出して判定手段で判定
し、判定手段の判定結果に基づいてディスプレイに表示
された複数の表示要素の表示状態を変更する手段によっ
て、表示状態を変更することにより、ディスプレイの使
用者の動作に応じて表示状態の変更を行なうことがで
き、また表示状態の変更方法を複数登録して使い分ける
ことが可能になる。

【００６１】(6) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像から特定の画像を抽
出手段で抽出し、抽出した画像の移動状態を判定手段で
判定し、判定手段の判定結果に基づいてディスプレイに
表示された複数の表示要素の表示状態を変更する手段に
よって、表示要素の名称表示部が可視できるように表示
状態を変更することにより、重なったウィンドウ等の表
示要素のタイトルバー等の名称表示部を確認できるよう
に表示状態が変更されるので、ディスプレイに表示され
ているウィンドウを一瞥で把握できる。

【００６２】(7) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像から特定の画像が抽
出できなくなると、ディスプレイの表示状態を変更す
る。したがって、使用者がディスプレイの前から居なく
なった場合に、使用者が居ないことを検出して、ディス
プレイの電源をＯＦＦしたり、ディスプレイにスクリー
ンセーバを表示させることができるので、省エネルギー
効果がある。

【００６３】(8) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像をディスプレイに表
示することにより、撮像手段で撮像した画像をディスプ
レイに直接表示するので、撮像された画像の状態を容易
に把握できる。

【００６４】(9) ディスプレイの使用者が位置する場所
を撮像手段で撮像して得られる画像をディスプレイにア
イコンとして表示し、そのアイコンをディスプレイに表
示される表示要素の表示状態を変更する手段の起動用ア
イコンとすることにより、ＣＣＤカメラ等の撮像手段で
撮像した画像がアイコンになっているので、特定の画像
の移動状況によって表示要素が整理されるか否かを容易
に確認できる。

【００６５】(10)ディスプレイの使用者が位置する場所
を撮像して得られる画像データから特定の画像を抽出
し、抽出した画像の移動状態を判定し、判定手段の判定
結果に基づいて、ディスプレイに表示された複数の表示
要素の表示状態を変更することにより、ディスプレイの
使用者の動作を検出し、ディスプレイに表示されたウィ
ンドウ等の表示要素の表示状態の変更を行なうことが可
能となるため、使用者の動作によって表示要素の表示状
態を変更して整理等を行うことができる。

【００６６】(11)ディスプレイの使用者が位置する場所
を撮像する処理、撮像して得られる画像データから特定
の画像を抽出する処理、抽出した画像の移動状態を判定
する処理、および判定結果に基づいてディスプレイに表
示された複数の表示要素の表示状態を変更する処理を行
なうディスプレイ制御プログラムを記録媒体に記録する
ことにより、このディスプレイ制御プログラムが記録さ
れた記録媒体をマルチウィンドウ制御装置等で実行する
と、ディスプレイの使用者の動作によって、ディスプレ
イに表示されたウィンドウ等表示要素の表示状態の変更
を行なうことができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る機器の構成例を示した
ものである。

【図２】本発明の実施形態に係る画像処理部のブロック
図である。

【図３】ＣＣＤカメラによって撮像された画像を示した
図である。

【図４】ＣＣＤカメラによって撮像された画像と、抽出
された顔面の画像の重心を示す図である。

【図５】ディスプレイに表示された複数のウィンドウの
表示状態を変更した例である。

【図６】ディスプレイに表示された複数のウィンドウの
表示状態を変更した別の例である。

【図７】特定の画像として抽出した顔面の画像が、所定
の位置に移動するか否かを判定基準とする方法を示す図
である。

【図８】特定の画像として抽出した顔面の画像が、一定
時間内に動いた移動量が所定量を越えたかどうかを判定
基準とする方法を示す図である。

【図９】ＣＣＤカメラで撮像した画像をアイコンとし
て、ディスプレイの右上部に表示した例である。

【図１０】顔面の画像が所定の領域内に移動するとウィ
ンドウの表示状態の変更を行なうシステムの起動スイッ
チとしてディスプレイに表示するアイコンの例である。

【図１１】顔面の画像が所定の時間内に所定量を超えて
移動したことをウィンドウの表示状態の変更を行なうシ
ステムの起動スイッチにした場合の、ディスプレイに表
示するアイコンの例である。

【図１２】ウィンドウの表示状態の変更を行なう場合の
処理手順を示すフローチャートである。

【図１３】顔面の画像が所定の領域内に移動するとウィ
ンドウの表示状態の変更を行なう場合の処理手順を示す
フローチャートである。

【図１４】顔面の画像が所定の時間内に所定量を超えて
移動するとウィンドウの表示状態の変更を行なう場合の
処理手順を示すフローチャートである。

【図１５】通常使用しているディスプレイに表示された
ウィンドウの状態を示す例である。

【符号の説明】

１−ＣＣＤカメラ ３−ディスプレイ １０−画像処理部 １１−画像メモリ部 １２−画像特徴抽出部 １４−重心計算部 １５−重心の時系列メモリ部 １６−移動量判定部 １７−表示制御部 １８−画像特徴メモリ部 １９−基準データ部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 ディスプレイの使用者が位置する場所を
   撮像する撮像手段と、撮像して得られる画像から特定の
   画像を抽出する抽出手段と、抽出した画像の移動状態を
   判定する判定手段と、判定手段の判定結果に基づいてデ
   ィスプレイに表示された表示要素の表示状態を変更する
   手段と、を備えることを特徴とするディスプレイ制御装
   置。
2. 【請求項２】 前記抽出手段は、特定の画像として、人
   体の一部を抽出することを特徴とする請求項１に記載の
   ディスプレイ制御装置。
3. 【請求項３】 前記判定手段は、抽出された特定の画像
   が画像領域の所定の位置へ移動したことを判定基準とす
   る請求項１または２に記載のディスプレイ制御装置。
4. 【請求項４】 前記判定手段は、抽出された特定の画像
   の一定時間あたりの移動量が所定量を超えることを判定
   基準とする請求項１または２に記載のディスプレイ制御
   装置。
5. 【請求項５】 特定の画像の移動方向に応じて表示要素
   の表示状態を変更できることを特徴とする請求項１乃至
   ４のいずれかに記載のディスプレイ制御装置。
6. 【請求項６】 ディスプレイに表示された複数の表示要
   素は、表示要素の名称表示部が可視できるように表示状
   態を変更されることを特徴とする請求項１乃至５のいず
   れかに記載のディスプレイ制御装置。
7. 【請求項７】 前記抽出手段において、特定の画像が抽
   出できなくなると、ディスプレイの表示状態を変更する
   ことを特徴とする請求項１乃至６のいずれかに記載のデ
   ィスプレイ制御装置。
8. 【請求項８】 撮像手段で撮像した画像をディスプレイ
   に表示することを特徴とする請求項１乃至７のいずれか
   に記載のディスプレイ制御装置。
9. 【請求項９】 撮像手段で撮像してディスプレイに表示
   した画像を、表示要素の表示状態を変更する手段の起動
   用のアイコンとすることを特徴とする請求項１乃至８の
   いずれかに記載のディスプレイ制御装置。
10. 【請求項１０】 撮像した画像データから特定の画像を
    抽出し、抽出した画像が移動したことを判定し、判定に
    基づいてディスプレイに表示された複数の表示要素の表
    示状態を変更することを特徴とするディスプレイ制御方
    法。
11. 【請求項１１】 ディスプレイの使用者が位置する場所
    を撮像する処理と、撮像して得られる画像データから特
    定の画像を抽出する処理と、抽出した画像が移動したこ
    とを判定する処理と、判定結果に基づいてディスプレイ
    に表示された複数の表示要素の表示状態を変更する処理
    と、を含むディスプレイ制御プログラムを記録したこと
    を特徴とする記録媒体。