JP2012022632A - 情報処理装置およびその制御方法 - Google Patents

Abstract

【課題】 多数の選択候補となるオブジェクトがある場合などにおいても、効率良く、注目するオブジェクトを選択できるようにする。
【解決手段】 ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置であって、操作者の視線を検出し、視線の先にある前記画面上の一部を特定する視線検出手段と、操作者の前記視線以外の部位が示す前記画面上の位置を特定する位置検出手段と、前記位置検出手段が検出した位置に相当するオブジェクト画像を、設定された選択基準に基づいて選択する選択手段とを備え、前記選択手段は、前記視線検出手段で特定された画面上の一部に表示されているオブジェクト画像が選択され易くなるように、前記選択基準を設定する。
【選択図】 図４

Description

本発明は、画面上に表示されたオブジェクト画像を操作するグラフィカルユーザインターフェースに関する。

近年、テーブル型のディスプレイなどが登場し、操作者は、このディスプレイにタッチするなどしてこのディスプレイ上に表示されたオブジェクト画像を操作することができる。

また、操作者の手が届かないところにあるオブジェクト画像を操作する技術として、指を差した方向にあるオブジェクトと、視線の方向にあるオブジェクトが一致している場合に、そのオブジェクトを選択するという技術が知られている。

特開２００９−０３７４３４号公報

従来、操作者が注目するオブジェクト以外にも多数のオブジェクトがある場合などは、指を指すなどして注目するオブジェクトを特定することが困難であった。

本発明は上記従来例に鑑みてなされたものであり、多数の選択候補となるオブジェクトがある場合などにおいても、効率良く、注目するオブジェクトを選択できるようにすることを目的とする。

上記の目的を達成するために、請求項１に記載の情報処理装置によれば、ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置であって、操作者の視線を検出し、視線の先にある前記画面上の一部を特定する視線検出手段と、操作者の前記視線以外の部位が示す前記画面上の位置を特定する位置検出手段と、前記位置検出手段が検出した位置に相当するオブジェクト画像を、設定された選択基準に基づいて選択する選択手段とを備え、前記選択手段は、前記視線検出手段で特定された画面上の一部に表示されているオブジェクト画像が選択され易くなるように、前記選択基準を設定することを特徴とする情報処理装置。

本発明によれば、多数の選択候補となるオブジェクトがある場合などにおいても、効率良く、注目するオブジェクトを選択できる。

情報処理装置のハードウェア構成を示すブロック図 情報処理装置の機能ブロック図 オブジェクトの位置および選択可能領域の関係を示す図 オブジェクトの位置と選択可能領域と画面との関係を示す図 オブジェクト選択処理の手順を示すフローチャート 選択可能領域変更処理の手順を示すフローチャート 選択可能領域の変更方法の一例を示す図 選択可能領域の変更方法の一例を示す図 選択可能領域変更処理の手順を示すフローチャート 選択可能領域の変更方法の一例を示す図 選択可能領域変更呼出処理の手順を示すフローチャート 選択可能領域変更呼出処理の手順を示すフローチャート システムの変形例を示す図

［第１実施形態］
本実施形態においては、視線位置に基づいて後述の選択可能領域を変更するものである。以下、図面を参照しながら具体例を説明する。

図１は、本実施形態に適用される情報処理装置１００のハードウェア構成を示す図である。バス１０１は、後述する各処理部を接続するデータ線である。ＣＰＵ１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、バス１０１に接続された各処理部を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、種々のデータを記憶する。ＲＡＭ１０４は、外部記憶装置などから読み込んだプログラムなども記憶する。記憶装置１０５は、本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの記憶装置である。また、記憶装置１０５と同様の役割を果たすものとして、外部記憶装置１０６を用いてもよい。ここで、外部記憶装置１０６とは、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。ＲＯＭ１０３、ＲＡＭ１０４を含む上記種々の記憶部は、ＣＰＵ１０２が後述する各種処理に相当するプログラムを実行する際のプログラムコードを記憶するメモリあるいはワークメモリなどとして機能する。即ち、本実施形態において必要な情報の全ては、ＲＯＭ１０３、ＲＡＭ１０４や記憶装置１０５、外部記憶装置１０６のいずれかに記憶、保持される。
情報入力装置１０７は、外部装置からの情報を入力するための入力部である。具体例としては、マウス、トラックボール、タッチパネル等のポインティングデバイスによる入力部、その他、キーボードやボタン等の入力部が相当する。情報出力装置１０８は、情報処理装置１００で処理した種々の情報を出力するための出力部である。例えば、この情報出力装置１０８は、後述する各オブジェクト画像を表示するためのディスプレイであっても良く、外部のディスプレイに表示対象となる画像データを出力する表示制御部であっても良い。本実施形態では、情報出力装置１０８がディスプレイそのものであり、上述した種々の記憶部の画像をディスプレイ１０８の画面上に表示しているものとして説明する。また、本実施形態では、ディスプレイ１０８の画面上に表示している各オブジェクト画像を、操作者からの指示に基づいて効率良く選択しようとするものであるため、既に表示されている各オブジェクト画像を如何にして選択するかに重点をおいて説明する。

図２は、情報処理装置１００の機能構成を説明するための図である。以下、各機能について説明する。

選択可能領域設定部２０１は、画面上に表示されているオブジェクト画像（以下オブジェクトと呼ぶ）の表示位置を取得し、後述する選択可能領域を設定する。

図３（ａ）に、ディスプレイ１０８の画面４００上に表示されているオブジェクトが４つある場合の、各オブジェクトの位置を示す。ＲＡＭ１０４、記憶装置１０５、外部記憶装置１０６などには、図３（ａ）に示すような形で、各オブジェクト（４０１〜４０４）のそれぞれに対応する座標が記憶されている。選択可能領域設定部２０１は、この座標を示す座標情報を取得し、設定部２０１内に保持する。ここでは各オブジェクトが矩形画像である場合を例にとり、その矩形の上側（ＴＯＰ）、下側（ＢＯＴＴＯＭ）、左側（ＬＥＦＴ）、右側（ＲＩＧＨＴ）の座標を示す座標情報を取得、保持することとする。なお、座標軸の考え方としては、画面４００の左上角の位置（画面の左上の黒丸）が縦方向に０ドット、横方向に０ドットであるとする。そして、その左上角から下方向にＮドット移動すると縦方向にＮドットの位置であるとし、同じく右方向にＭドット移動すると横方向にＭドットの位置であるとする。

図４（ａ）は、図３（ａ）に示された４つのオブジェクトを画面上に表示した様子を示す図である。この図では、ディスプレイ１０８の画面に相当する画面４００に、４つのオブジェクト４０１〜４０４が表示されている。例えば、オブジェクトＩＤ＝４０１に相当する矩形画像について言えば、ＴＯＰが縦方向に１０ドットの位置、ＢＯＴＴＯＭが縦方向に１１０ドットの位置、ＬＥＦＴが横方向に１０ドットの位置、ＲＩＧＨＴが横方向に１１０ドットの位置である。その座標の通りに表示された結果が、図４（ａ）に示すオブジェクト４０１である。

上記選択可能領域設定部２０１は、上記各オブジェクト４０１〜４０４の座標情報に基づいて、各オブジェクトを操作者による手（指）による指差しで選択することができる個々の選択可能領域４０５〜４０８を設定する。この選択可能領域は、操作者のオブジェクトを選択する際の選択基準となり、各オブジェクトに対応付けて画面上にマッピングした位置を示す位置情報に相当する。オブジェクト４０１に対応する選択可能領域が４０５であり、オブジェクト４０２に対応する選択可能領域が４０６であり、オブジェクト４０３に対応する選択可能領域が４０７であり、オブジェクト４０４に対応する選択可能領域が４０８である。

以下で説明する選択可能領域には、初期状態（または変更前）の選択可能領域（図３（ｂ）、図４（ｂ）に相当）と、変更後の選択可能領域（図３（ｃ）、図４（ｃ））が存在する。この変更は、操作者の視線（操作者が画面上の何処を見ているか）に基づいて実行されるものであり、操作者の視線が画面上に無ければこのような変更は行われない。

図３（ｂ）は、上記変更が行われる前の選択可能領域４０５〜４０８の座標を示したものである。ここでは、各オブジェクト４０１〜４０４に対して、それぞれの選択可能領域４０５〜４０８の位置を示す座標が示されている。本実施形態では、オブジェクトが矩形画像である場合を説明しているので、選択可能領域も矩形領域になっている。選択可能領域の矩形の上側（ＴＯＰ）、下側（ＢＯＴＴＯＭ）、左側（ＬＥＦＴ）、右側（ＲＩＧＨＴ）の座標の表現方法は、上記図３（ａ）と同様である。ここでは、選択可能領域のそれぞれが、各オブジェクトのサイズより大きくなっているが、これは操作者の指差しによって、それぞれのオブジェクトが選択されやすくなることを理由としている。このようにすれば、２つのオブジェクトの間に向かって、操作者が指を指しても、いずれかのオブジェクトが選択されるであろう。

図４（ｂ）は、上記図３（ｂ）の選択可能領域４０５〜４０８の画面上の位置を示す図である。実際のディスプレイには、図４（ａ）が表示されているが、指差しにより各オブジェクトを選択できる選択可能領域は、それぞれ図示する領域４０５〜４０８である。

指示位置入力装置２０２は、上述した情報入力装置１０７の一部に相当する。指示位置入力装置２０２は、操作者の手（指）の指し示す位置（以下、指差し位置と呼ぶ）が画面上の何処に在るかを検出する。その方法は公知であるので詳細説明は省略するが、例えば２台のカメラを用いて撮影したステレオ画像から指差し位置を検出できる。その他、距離センサで画面から手までの距離を検出し、カメラで撮影した画像から指の方向を検出し、距離と方向から指差し位置を特定しても良い。また、本実施形態では「指差し」を行う物体を操作者の手として説明するが、操作者の手や指に限らず、操作者の他の部位であったり、操作者が保持する指示棒などであっても良い。

指示位置検出部２０３は、情報処理装置１００から、指示位置入力装置２０２にて検出された指差し位置を取得する。そして、選択判定部２０４に指差し位置を出力する。

選択判定部２０４は、指示位置検出部２０３から受信した指差し位置に相当する選択可能領域を、図３（ｂ）あるいは後述する図３（ｃ）に示す選択可能領域から特定する。具体的には、図３（ｂ）あるいは後述する図３（ｃ）の選択可能領域のいずれかに指差し位置が含まれる選択可能領域を特定する。その結果、特定された選択可能領域に対応するオブジェクトＩＤを「選択されたオブジェクト」であると決定する。ここで決定されたオブジェクトＩＤは、後述する表示更新部２０５に通知される。

表示更新部２０５は、選択判定部２０４から通知されたオブジェクトＩＤに相当するオブジェクトが選択されたものとして、画面上に選択されたことを示す表示を行う。例えば、選択前に表示されていたオブジェクトに対し、選択後には、オブジェクトの色が反転するような表示に更新する。また例えば、オブジェクトの外枠となる境界部分に太線を付与するように表示を更新する。この結果、情報出力装置（ディスプレイ）１０８には、あるオブジェクトが選択されたことがわかる表示が行われる。

図５は、上記指示位置検出部２０３、選択判定部２０４、表示更新部２０５などによる、オブジェクト選択処理の手順を示すフローチャートである。まず、ステップ５０１では、指示位置検出部２０３によって、指差し位置を取得する。ステップＳ５０２では、選択判定部２０４によって、上記指差し位置に相当する選択可能領域を特定する。ステップＳ５０３で、上記指差し位置に相当する選択可能領域を特定できたと判定した場合には、ステップＳ５０４に進み、特定できない場合には、処理を終了する。ステップＳ５０４では、表示更新部２０５によって、特定された選択可能領域に対応するオブジェクトが選択されたことを示す表示更新を行わせる。

視線位置入力装置２０６は、上述した情報入力装置１０７の一部である。視線位置入力装置２０６は、視線の示す位置（以下、視線位置と呼ぶ）が画面上の何処に在るかを検出（視線検出）することができる。その方法は公知であるので詳細説明は省略するが、例えば２台のカメラを用いて撮影したステレオ画像から視線位置を検出できる。

視線位置検出部２０７は、情報処理装置１００から、視線位置入力装置２０６で検出された視線位置を取得する。そして、選択可能領域変更部２０８に視線位置を通知される。

選択可能領域変更部２０８は、視線位置検出部２０７から通知された視線位置付近に存在するオブジェクトを特定する。具体的には、図３（ａ）に示すそれぞれオブジェクト（もしくはオブジェクトの一部）が、「視線位置に相当する座標から一定距離内（例えば視線位置を中心とした場合の円領域内）に含まれているかどうか」を判定する。その判定の結果、上記座標から一定領域内に含まれているオブジェクトを特定する。なお、ここで特定されるオブジェクトは、視線位置あるいはオブジェクトの密集状態によっては、１つである場合もあるし、２つ以上である場合もあるし、１つも存在しない場合もあるであろう。選択可能領域変更部２０８は、特定されたオブジェクトに基づいて、図３（ｂ）の選択可能領域から、図３（ｃ）の選択可能領域に変更する。

図３（ｃ）は、上記変更後の選択可能領域を示したものである。ここでは、視線位置がオブジェクトＩＤ＝４０１に相当するオブジェクトに当たっている場合、即ち、上記特定されたオブジェクトがオブジェクト４０１である場合を想定して説明する。本実施形態では、特定されたオブジェクト４０１の選択可能領域４０５を、縦方向、横方向にそれぞれ４０ドットずつ大きくすることとする。これにより、「視線が当たっていない他のオブジェクトに対応する選択可能領域よりも、操作者に選択されやすい」という状態を作り出すことができる。なお、上記選択可能領域４０５を拡大してしまうと、他の選択可能領域と重なってしまうが、本実施形態では、それぞれの選択可能領域に選択される優先順位を持たせることとする。これにより、複数の選択可能領域が重なっていた場合であっても、優先順位が高い選択可能領域が選択されるようにする。ここでは、通常の選択可能領域である領域４０６、４０７、４０８の優先順位を第２位と設定することとし、上述したような変更を行った選択可能領域４０５については、優先順位を第１位と設定するものである。これにより、もし、操作者が、選択可能領域が重なっている位置（例えば領域４０５、４０６の重複部分）を指差ししたとしても、優先順位が高い選択可能領域（領域４０５）が選択される。

図４（ｃ）は、上記図３（ｃ）の選択可能領域４０５〜４０８の画面上の位置を示す図である。図４（ｂ）の選択可能領域４０５に比べて、大きくなっているのが解かるであろう。

図６は、上記視線位置検出部２０７、選択可能領域変更部２０８などによる、選択可能領域変更処理の手順を示すフローチャートである。まず、ステップＳ６０１では、視線位置検出部２０７によって、視線位置を取得する。ステップＳ６０２では、選択可能領域変更部２０８によって、上記視線位置付近に存在するオブジェクトを特定する。ステップＳ６０３では、上記視線位置付近に存在する場合にはステップＳ６０４に進み、存在しない場合には、処理を終了する。ステップＳ６０４では、特定されたオブジェクトに基づいて、選択可能領域を変更する。この変更処理は、上述した通りである。

＜オブジェクトが重なっている場合＞
図７（ａ）は、ディスプレイ１０８の画面４００上に表示されている複数のオブジェクトのうち、幾つかのオブジェクトが重なっている様子を示す。ここでは、オブジェクト４０１の背面にオブジェクト７０１が隠れてしまっている。このような場合において、操作者の視線が、オブジェクト４０１、７０１付近に当たった場合には、上述した考え方に基づいて、それら複数のオブジェクトのいずれもが、操作者にとって選択されやすいように表示するべきである。従って、このような場合には、選択可能領域変更部２０８は、図７（ｂ）に示すように、オブジェクト４０１に対応する選択可能領域４０５を大きくするとともに、オブジェクト７０１に対応する選択可能領域７０２も十分に大きくなるように選択可能領域を変更する。特に、本実施形態では、オブジェクト４０１とオブジェクト７０１に対する選択のしやすさを同等にするために、図７（ｂ）に示すように、選択可能領域４０５、７０２の両方を同じ面積（面積Ａ）に制御することとする。

［第１実施形態の変形例］
以上の実施形態では、オブジェクトと選択可能範囲を矩形画像として説明したが、本発明はこれに限らない。例えば、オブジェクトや選択可能範囲の一部に、４角形以外の多角形画像を含んでいたり、曲線で構成された画像を含んでいても、本発明は適用可能であろう。このような場合には、上述した座標の定義の仕方も、公知の別の手法に置き換えて実行すれば良い。また、上記説明では、視線の位置に応じて、選択可能領域４０５は大きく変更するものの、実際に表示されているオブジェクト４０１を大きく表示することは無かった。しかしながら、操作者が視覚的に理解しやすくなる目的で、オブジェクト４０１そのものの表示サイズを大きく変更しても良い。なお、表示サイズを大きくしたオブジェクト４０１と、変更後の選択可能領域４０５のサイズを同じにするよう設計すれば、サイズ変更のための演算が共有でき、演算の負荷を減らせるであろう。また、選択可能領域の変更は、指示位置と視線位置が近い距離にある場合に限定しても良い。

以上のように、本実施形態によれば、ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置において、操作者の視線を検出することによって、視線の先にある画面上の一部を特定する。そして、操作者の視線以外の部位（手）が示す画面上の位置を特定する。そして、視線の先にある画面上の一部に表示されているオブジェクト画像が選択され易くなるように、上記手による位置特定のための選択基準を設定する。これによれば、多数の選択候補となるオブジェクトがある場合などにおいても、効率良く、注目するオブジェクトを選択できる。

［第２実施形態］
以上の実施形態では、視線位置に当たっているオブジェクトの選択可能領域を大きくしていたが、本発明はこれに限らない。例えば、視線位置との距離に応じて、選択可能領域を段階的に大きくしても良いであろう。以下では、その一例を説明する。なお、本実施形態では、上述した情報処理装置１００を壁面ディスプレイであるとして説明するが、基本的な構成は前述した図１、図２と同じであり、その点の詳細説明は省略する。以下では、第１実施形態と異なる選択可能領域の変更処理に重点をおいて説明する。

図８は、上述した情報処理装置１００に相当する壁面ディスプレイ８００の外観図である。また、壁面ディスプレイ８００における画面８０１は、上述した情報出力装置１０８に相当する。図８において、画面８０１内には、大きさが等しい、写真等のオブジェクト画像を敷き詰めて表示している。情報入力装置１０７（指示位置入力装置２０２と視線位置入力装置２０６）に相当するカメラ８０３は、壁面ディスプレイ８００の上部の左右に１つずつ設置されており、このカメラ８０３により上述したステレオ画像を撮影することができる。従って、カメラ８０３によって、上述した操作者の指差し位置と視線位置を検出できる。なお、本実施形態では、視線位置を検出していない状態では、各オブジェクトに対応する選択可能領域を、オブジェクトの表示領域と同じ領域に設定するものとする。

本実施形態おける選択可能領域変更部２０８は、視線位置検出部２０７によって検出した視線８０４から、その視線の先にあるディスプレイ８００上の位置（視線位置）を取得する。そして、画面上に表示されている全てのオブジェクトについて、上記視線位置に応じた選択可能領域の調整を行う。ここでは、各オブジェクトと視線位置との間の距離を計算し、それぞれの距離に応じて、各オブジェクトに対応する選択可能領域の大きさ（元の領域からの変更倍率）を決定する。具体的には、上記距離が近いオブジェクトの選択可能領域ほど大きさ（元の領域からの変更倍率）を大きくし、上記距離が遠いオブジェクトの選択可能領域ほど大きさ（元の領域からの変更倍率）を小さくする。もし、倍率が１倍より大きい数値の場合は選択可能範囲が元の選択可能範囲（そのオブジェクトの表示領域）よりも大きくなり、倍率が１倍より小さい数値の場合は選択可能範囲が元の選択可能範囲（そのオブジェクトの表示領域）よりも小さくなる。

図９は、上記選択可能領域変更部２０８が行う選択可能領域変更処理の手順を示すフローチャートである。なお、上述した図５の手順と同等の工程がある場合には、同じ番号を付与している。ステップＳ５０１では、選択可能領域変更部２０８によって、操作者の視線位置を取得する。ステップＳ９０１では、画面８０１に表示中の全オブジェクトに関する情報（座標情報等）を取得する。ステップＳ９０２では、後述する「ループ回数」のパラメータを参照することにより、表示中の全オブジェクトに対して後述するステップＳ９０３〜Ｓ９０６を実行したか否かを判定する。全てのオブジェクトに対してステップＳ９０３〜Ｓ９０６の処理が終了していれば、処理を終了する。全てのオブジェクトに対してステップＳ９０３〜Ｓ９０６の処理が終了していなければ、未処理のオブジェクトの１つを処理対象のオブジェクトとして、ステップＳ９０３に進む。ステップＳ９０３では、処理対象となっているオブジェクトの位置（座標）と、ステップＳ５０１で取得した視線位置との間の距離を計算する。ステップＳ９０４では、計算された距離に基づいて、処理対象オブジェクトに対応する選択可能領域の大きさを変更するための倍率を計算する。ステップＳ９０５では、ステップＳ９０４で計算された倍率に基づいて、処理対象オブジェクトに対応する選択可能領域を変更する。ステップＳ９０６では、上記ステップＳ９０３〜Ｓ９０５までの処理回数を示す「ループ回数」のパラメータをインクリメントする。

以上の選択可能領域変更処理によって変更された選択可能領域は、図８の選択可能領域８０５に示すものになる。この図では、解りやすさのため、選択可能領域８０５を実際の画面８０１から離れた位置に表記しているが、実際には、その選択可能領域８０５は、画面８０１上にマッピングされているものである。図から解かるように、視線位置に存在するオブジェクト８０６に対応する選択可能領域８０７が一番大きくなるよう、選択可能領域８０７は元の２倍程度の倍率で拡大されている。また、オブジェクト８０６に近いオブジェクト群の選択可能領域も比較的倍率が高く設定されるため、それら選択可能領域は、元の領域より大きく、かつ２倍より小さい範囲で拡大される。その一方、オブジェクト８０６から遠いオブジェクト群の選択可能領域は比較的倍率が低く設定されるため、それら選択可能領域は、元の領域より小さくなるよう縮小される。そして、もし指示位置検出部２０３が指示位置８０８を検出した場合には、上記変更処理後の選択可能領域８０５と比較参照することによって、操作者が何れの選択可能領域を指差ししたかを特定する。そして、その特定された選択可能領域に対応するオブジェクトＩＤ（図８の場合にはオブジェクト８０６を示すＩＤ）を選択したものと判定することになる。ところで、距離に基づいて単純に倍率を計算しただけでは、オブジェクトの配置や視線位置によっては選択可能領域が画面からはみ出してしまうかもしれない。これを防ぐために、例えば、全選択可能領域に対する倍率を合計した数値が１倍になるように正規化するようにしても良いであろう。

以上のように、本実施形態によれば、ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置において、操作者の視線を検出することによって、視線の先にある画面上の一部を特定する。そして、操作者の視線以外の部位（手）が示す画面上の位置を特定する。そして、視線の先にある画面上の一部に表示されているオブジェクト画像が選択され易くなるように、上記手による位置特定のための選択基準を設定する。これによれば、多数の選択候補となるオブジェクトがある場合などにおいても、効率良く、注目するオブジェクトを選択できる。

［視線が頻繁に変更される場合の対処例］
上記第１、第２の実施形態において、視線位置を操作者の注目するオブジェクトに向けたにも関わらず、そのあとに何らかの理由で視線を移動してしまうと、選択可能領域が不適切に再設定されてしまうであろう。これに対処するためには、視線位置が注目するオブジェクトに向いたと判断された後は、視線の移動を無視することが有効である。以下、その対処例を説明する。

図１０は、操作者が視線位置を注目オブジェクトに向けたあとに、視線を移動してしまう一例を示す図である。なお、図１０の各部は、基本的に図８と同じであるため、異なる部分のみ説明する。この図では、既に、視線位置が注目オブジェクト８０６に移動し、それに合わせて選択可能領域が変更されている。ここでは、注目オブジェクト８０６を選択するために、指差し方向８０８が画面端から移動していく途中段階を示している。このような時には、操作者は、無意識に現在の指差し方向８０８（オブジェクト１００１付近）を見てしまうであろう。特に、現在の指指し方向に相当するオブジェクト１００１に、色やマークを付与して表示したりすれば、その誤りの問題は顕著になるであろう。このような状態では、オブジェクト１００１に相当する選択可能領域が選択されやすくなるように選択可能領域が再設定（変更）されてしまい、好ましくない。本実施形態では、これを防ぐために、「操作者の視線による注目オブジェクト付近への注視」が特定されたと一度判断し、それに応じた選択可能領域の変更がなされた後には、視線の移動を無視し、選択可能領域の変更を行わないようにする。

図１１は、上記選択可能領域変更呼出処理の動作手順を示すフローチャートである。最初に簡単に説明すると、図１１の動作手順は、上述した図６あるいは図９の「選択可能領域変更処理」を一部に含み、また、「選択可能領域変更処理」を行うか否かを制御する前後の動作を含む処理に相当する。まず、ステップＳ１１０１では、視線位置の移動検出を行う。具体的には、視線位置検出部２０７から通知された視線位置が、後述のステップＳ１１０６にて保持している視線位置から変更されているかどうかを判定する。なお、初回にこのステップＳ１１０１の処理を行う際は、保持している視線位置が存在しなくても必ず判定がＹＥＳとなるようにする。もしステップＳ１１０１において、視線位置に変更があったと判定された場合には、ステップＳ１１０２に進む。もし、視線位置に変更が無かったと判定された場合には、一連の処理を終了する。ステップＳ１１０２では、選択可能領域変更フラグがＯＮであるかを判定する。この選択可能領域変更フラグとは、選択可能領域の変更処理が既に実行されたかどうかを判断するためのフラグである。このフラグがＯＮの場合には、選択可能領域変更処理が既に実行されていることを示す。なお、このフラグの初期状態はＯＦＦである。ステップＳ１１０２において、選択可能領域変更フラグがＯＮだった場合には、一連の処理を終了する。これにより、もし視線位置に基づいて選択可能領域が１度でも変更されている場合には、次に視線位置が変更されたとしても２回目の選択可能領域の変更が行われないように制御されることになる。ステップＳ１１０２において、選択可能領域変更フラグがＯＦＦだった場合には、ステップＳ１１０３に進む。ステップＳ１１０３では、上述した図６または図９にて示した選択可能領域変更処理を呼び出し、これを実行する。ステップＳ１１０４では、ステップＳ１１０３の処理内で、実際に選択可能領域を変更する処理が実行されたかどうかを判定する。このステップでは、何らかの理由で選択可能領域変更処理が実行されなかったことを考慮して、実際に変更処理が行われたか否かを確認するステップである。もし、選択可能領域変更処理が実行された場合には、ステップＳ１１０５に進む。もし選択可能領域変更処理が実行されなかった場合には、一連の処理を終了する。ステップＳ１１０５では、上述した選択可能領域変更フラグをＯＮに変更する。これにより、次回、操作者の視線位置に変更があったとしても、ステップＳ１１０２における判定結果に基づいて、２度目の変更処理が行われずに済む。ステップＳ１１０６では、現在Ｓ１１０１において視線位置検出部２０７が検出していた視線位置を、次回の選択可能領域変更呼出処理のために、図１の何れかの記憶部に保持する。ここで保持された記憶位置は、次回のステップＳ１１０１における判定において、過去の視線位置として参照される。以上により、選択可能領域変更処理を所定の期間内において１回に限定できる。なお、ここで所定の期間をどの程度に設定するかは操作者の要望によって適宜設定が可能である。この所定の期間は、上述した視線可能領域変更フラグを所定の期間が過ぎた後に強制的にＯＦＦにすることによって制御できるであろう。例えば、この強制的にＯＦＦにするタイミングは、図５で示したようなオブジェクト選択処理が実行された後である。以下にその制御を行う一例を説明しておく。

図１２は、操作者の視線位置が移動し、かつ移動先の位置で一定時間を経過すると、選択可能領域の変更が許可される制御を行う動作手順を示す図である。基本的には、図１１に幾つかの判定処理を追加しただけであるので、ここではその差異のみ簡単に説明する。ステップＳ１２０１では、視線位置変更フラグをＯＮとし、ステップＳ１２０２では、視線位置が変更された現在の時刻を示す時刻情報を保持する。これら視線位置変更フラグと時刻情報を参照すれば、この時刻から一定時間、選択可能領域変更処理が行なわれなかったことを判断できる。ステップＳ１２０３では、選択可能領域変更処理が実行されているので、視線位置変更フラグをＯＦＦに戻す。ステップＳ１２０４では、ステップＳ１１０１で、「直前の視線位置からの変更が無かった」と判断された場合に実行される判断処理である。このステップＳ１２０４では、視線位置変更フラグがＯＮであるかどうかを判定する。もし、視線位置変更フラグがＯＮの場合は「以前の選択可能領域変更処理の後に、操作者の視線位置が変更されている」かつ「直前の視線位置からの変更が無かった（現在の視線位置を注視している）」と判断し、ステップＳ１２０５に進む。ステップＳ１２０４では、視線位置変更フラグがＯＦＦの場合には、「以前の選択可能領域変更処理の後に、操作者の視線位置が変更されていない」という状態であるので、一連の処理を終了する。ステップＳ１２０５では、ステップＳ１２０２で以前に保持された時刻情報（現在注視している視線位置に変更した時刻を示す情報）に基づいて、「現在注視している視線位置に変更した時刻から一定時間を経過しているか否か」を判定する。もし、一定時間を経過している場合には、ステップＳ１１０３に進む。これにより、操作者の視線位置が移動し、かつ移動先の位置で一定時間を経過すると、選択可能領域の変更が実行される。また、操作者が視線を一瞬だけ移動したような場合には、これに反応して選択可能領域を変更するようなことは行わない。

［変形例］
なお、本発明は、上記各実施形態で説明したような、操作者の指差しによる選択を行うシステムに限らず、種々の選択方法に適用することができる。また、上記実施形態で例示したディスプレイ１０８（画面４００や画面８０１）は、テーブル型のディスプレイなどであっても良い。例えば、本発明は、「テーブル型ディスプレイの画面上」に複数のオブジェクト画像を表示し、それらのオブジェクト画像を選択するための指示を、「操作者の手を上下に動かすこと」によって行っても良い。以下では、その一例を説明する。

図１３は、テーブル型ディスプレイの画面上に表示された複数のオブジェクト画像を操作者の手を上下させることで選択するシステムを示したものである。なお、上記各実施形態で説明したような操作者の視線位置を検知する機能などは、この例においても同様に採用されているものとする。即ち、操作者の視線位置を特定する機能や、操作者の視線以外の部位が示す画面上の位置を特定する機能や、視線位置に相当するオブジェクト画像が選択され易くなるように、選択可能領域を設定することについては、上記各実施形態と何ら変わりは無い。図１３において、テーブル型ディスプレイ１３００の画面上には、複数のオブジェクト画像８０２が表示されている。このシステムでは、操作者がテーブル型ディスプレイ１３００の脇に立ち、操作者の胴体を中心として所定の方向に手を伸ばす。そして、操作者がその手を上下に移動させることにより、手を伸ばした方向における複数のオブジェクト８０２の何れか１つを選択できる。より具体的には、手の高さを低く移動すると、操作者により近い位置に表示されたオブジェクトを選択することができ、手の高さを高くすると、操作者からより遠い位置に表示されたオブジェクトを選択することができる。ここで、視線位置を何も検出していない状態、即ち、選択可能領域変更処理が実行されていない状態の選択可能領域１３０２、１３０３は、図示するように、全てのオブジェクトに対応する選択可能領域に相当する角度が１０°で、高さが５ｃｍ幅となっている。すなわち、操作者の視線を検出していない段階では、手の角度を左右に１０°変更させることによって、選択候補となるオブジェクトを左右に１つずらすことができる。また、手の高さを上下に５ｃｍずつ変更することによって、選択候補となるオブジェクトを前後に１つずらすことができる。これに対して、視線位置１３０１を検出した場合には、上述した各実施形態と同様に、その視線位置付近の各選択可能領域を大きくする処理が行われる。その結果、選択可能領域１３０２に示すように、視線位置付近の選択可能領域を選択するための角度には、元の角度より広い角度（１５°）が割当てられる。また、選択可能領域１３０３に示すように、視線位置付近の選択可能領域を選択するための高さの幅には、元の幅より広い幅（８ｃｍ）が割当てられる。

なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

Claims (6)

1. ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置であって、
   操作者の視線を検出し、視線の先にある前記画面上の一部を特定する視線検出手段と、
   操作者の前記視線以外の部位が示す前記画面上の位置を特定する位置検出手段と、
   前記位置検出手段が検出した位置に相当するオブジェクト画像を、設定された選択基準に基づいて選択する選択手段とを備え、
   前記選択手段は、前記視線検出手段で特定された画面上の一部に表示されているオブジェクト画像が選択され易くなるように、前記選択基準を設定することを特徴とする情報処理装置。
2. 前記選択手段は、前記選択基準として、前記画面に表示されたオブジェクト画像のそれぞれに対応する画面上の位置を示す選択可能領域を設定しておき、前記位置検出手段が検出した位置に相当する前記選択可能領域を特定することにより、前記選択可能領域に対応するオブジェクト画像を選択したものとする請求項１に記載の情報処理装置。
3. 前記選択手段は、前記視線検出手段で特定された画面上の一部に表示されているオブジェクト画像に対応する画面上の位置を示す選択可能領域を、他のオブジェクト画像よりも大きいサイズになるように変更することにより、前記オブジェクト画像が選択され易くすることを特徴とする請求項２に記載の情報処理装置。
4. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至３のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
5. 請求項４に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
6. ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置の制御方法であって、
   視線検出手段によって、操作者の視線を検出し、視線の先にある前記画面上の一部を特定する視線検出工程と、
   位置検出手段によって、操作者の前記視線以外の部位が示す前記画面上の位置を特定する位置検出工程と、
   選択手段によって、前記位置検出工程で検出した位置に相当するオブジェクト画像を、設定された選択基準に基づいて選択する選択工程と、
   変更手段によって、前記視線検出工程で特定された画面上の一部に表示されているオブジェクト画像が選択され易くなるように、前記選択基準を設定する変更工程とを備えることを特徴とする制御方法。

Images