JP2005190158A - 画面上オブジェクト選択方法及び画面上オブジェクト選択装置 - Google Patents

Abstract

【課題】 本発明は不慣れな人でも自然にコンピュータの画面に対する選択のような入力操作を理解できしかも操作部を直接画面に当てなくても操作可能なコンピュータを実現する可能な画面上オブジェクト選択方法及び画面上オブジェクト選択装置を提供することを目的とする。
【解決手段】 親端末機と子端末機とで構成される装置を用い、子端末機に対するユーザの入力操作に従って親端末機の画面上に表示された複数のオブジェクトの少なくとも１つを選択するための画面上オブジェクト選択方法であって親端末機の表示画像の少なくとも一部分を子端末機で撮影して画像情報を取得し親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を子端末機から出力される前記画像情報と比較し比較結果に応じてオブジェクトを選択する。
【選択図】 図１

Description

本発明は、コンピュータの画面上に表示された様々な情報を選択するために用いられる画面上オブジェクト選択方法及び画面上オブジェクト選択装置に関する。

現在のコンピュータの画面上には、様々な情報がオブジェクトとして表示される。例えば、アプリケーションプログラム毎に情報を表示したり情報を入力するための領域が形成されたフレームが表示される。また、アプリケーションプログラムの起動を操作するために用いられる様々な形状のアイコンと呼ばれるオブジェクトやメニューの情報も表示される。

ユーザがコンピュータを操作する場合には、画面上に表示された様々なオブジェクトの１つもしくは複数を選択し、選択されたオブジェクトに対して例えばプログラムの起動のような操作を行う。また、例えば複数のアプリケーションプログラムを既に起動している場合には、複数のアプリケーションプログラムの中から操作対象のアプリケーションプログラムを選択するためにオブジェクトである１つのアプリケーションプログラムを選択する必要がある。

このようなオブジェクトの選択操作を行う場合、一般的には、マウスのようなポインティングデバイスを用いて画面上に表示されたカーソルを移動し、カーソルを何れかのオブジェクトの上に位置決めすることにより、該当するオブジェクトを選択するように制御している。
しかしながら、このような入力操作を行う場合には、ユーザが画面上のカーソルの位置及びオブジェクトの位置を確認しながら画面とは違う位置に存在するマウスを操作することになり、人間が通常行う操作のように自分の手と実際の操作対象とが同じ位置にある場合とは全く異なるので違和感が生じるのは避けられない。

すなわち、オブジェクトを操作するユーザの手の動きと画面上の操作対象のオブジェクトの位置とが直接的に対応しているのが望ましく、特別なカーソルを画面上に表示しなくてもユーザが操作位置を把握できた方が自然な入力ができる。
このような要望に適合するポインティングデバイスとしては、ライトペンが知られている。ライトペンを用いる場合には、ライトペンの先端の位置と画面上の操作対象の位置とが１対１で対応するので、カーソルを画面上に表示する必要はなく自然な入力が可能である。

ライトペンの技術では、ライトペンに光電素子を実装してあり、画面上の各点の輝度が表示走査に伴って変化することを利用して、画面走査のタイミングとライトペンが輝度の変化を検出したタイミングとの関係によりライトペンが指示している画面上の位置を把握している。従って、ライトペンを用いるためにはブラウン管のように画面上の各点の輝度が表示走査に伴って変化する必要がある。

しかしながら、現在主流になっている表示装置は液晶ディスプレイである。液晶ディスプレイの場合には画面全体を常に一様の輝度で照明しているため、画面上の各点の輝度は変化しない。従って、ライトペンの技術を液晶ディスプレイに適用することは原理的にできない。
また、ライトペンを使用する場合であっても、ライトペンをディスプレイの画面に直接当てない限り入力操作ができないという制約がある。このため、ユーザの操作時の姿勢は特定の姿勢に制限され、労働衛生上好ましくない結果となる。

なお、本発明のような画面上オブジェクト選択技術とは直接の関連はないが、対象物の外形、あるいは対象物に記された目印となる記号を撮像デバイスによって取り込み、その画像を認識して位置決めに利用するシステムは、半導体検査装置の自動ステージや各種精密組み立て装置において広く用いられている。
また、例えば組み立て装置の分野については、特許文献１のように、液晶ディスプレイの製造工程において、加工対象の液晶板を動作させ、目印を表示し、これを用いて位置決め精度を改善するための技術が既に存在している。
特開平６−７５１９９号公報

典型的なコンピュータ（携帯型の端末装置や様々な専用情報機器も含む）の入力手段であるキーボードやマウスを操作する場合には、画面上に表示されたカーソルと実際の操作部との位置や動きが異なるので、例えば老人や幼児のようにコンピュータに不慣れな人が直感的に理解できるものではなく、コンピュータの操作が難しいとの先入観を与えることにもつながるので、誰でも簡単に操作できるわけではない。

一方、従来のライトペンを使用する場合には比較的に自然に近い操作が可能であり、不慣れな人であっても大きな抵抗感を与えないので、コンピュータの入力操作を簡単にすることが可能である。しかし、現在主流の液晶ディスプレイなどを使用している場合にはライトペンを利用できないのが実情である。
また、ライトペンを使用する場合であっても、ライトペンをディスプレイの画面に直接当てない限り入力操作ができないという制約がある。このため、ユーザの操作時の姿勢は特定の姿勢に制限され労働衛生上好ましくない。

本発明は、老人や幼児のように不慣れな人であっても、直感的にあるいは自然にコンピュータの画面に対する選択のような入力操作を理解でき、しかも、ライトペンのように操作部を直接画面に当てなくても操作が可能なコンピュータを実現することが可能な画面上オブジェクト選択方法及び画面上オブジェクト選択装置を提供することを目的とする。

１番目の発明（請求項１）は、コンピュータ及び複数の画像要素をそれぞれオブジェクトとして同じ画面上に表示する画像表示機能を備えた親端末機と、前記親端末機に対する相対的な移動もしくは向きの変更が可能な子端末機とで構成される装置を用い、前記子端末機に対するユーザの入力操作に従って前記親端末機の画面上に表示された複数のオブジェクトの少なくとも１つを選択するための画面上オブジェクト選択方法であって、前記親端末機の表示画像の少なくとも一部分を前記子端末機で撮影して画像情報を取得し、前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記子端末機から出力される前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択することを特徴とする。

すなわち、１番目の発明においては親端末機の表示画像の少なくとも一部分を子端末機で撮影して画像情報を取得し、前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記子端末機から出力される前記画像情報と比較しその結果に基づいてオブジェクトを選択する。
子端末機は、例えば持ち上げて動かせる程度に小型であるか、あるいは撮像部分が可動構造であればよく、ユーザの手動操作に従って子端末機が親端末機に接近した場合に、親端末機の表示画像（オブジェクトを含む画像）の少なくとも一部分の情報をユーザの意志を反映して読み取ることができればよい。オブジェクトとは、例えばアプリケーションプログラムの窓や表示フレーム，表示フレーム上の各種ボタン，表示フレーム上のメニュー，や各種アイコンなどを意味する。

実際には、画面上に表示される様々なオブジェクトはそれぞれ異なる特徴を備えている。例えば、表示フレームの縦横比，アイコンの形状パターン，色合いなどがそれぞれ異なっている。オブジェクトを表示している親端末機においては、このような特徴をオブジェクト毎に事前に把握しているので、子端末機が撮影した画像情報の特徴と比較することにより一致／不一致を識別することができる。

つまり、ユーザが子端末機を操作して例えば親端末機の画面上の希望オブジェクトに近づけることにより、希望オブジェクトの画像を子端末機が読み取り、この画像の特徴と親端末機の画面上に表示されている複数のオブジェクトの各々の特徴とが比較されるので、親端末機は１つ又は複数のオブジェクトを前記希望オブジェクトとして認識し、ユーザの入力操作を受け付けることができる。

このような操作においては、ライトペンの場合と同様に、操作部である子端末機の動きと操作対象である画面上のオブジェクトの位置とが１対１で対応するので、老人や幼児のように不慣れな人間であっても各ユーザは入力操作を直感的に理解することができ、自然に操作を覚えることができる。しかも、画面上の輝度の変化を伴う走査を行わない液晶ディスプレイを用いる場合でも適用できる。また、子端末機を親端末機の画面に接触させなくても、ある程度近づけることができれば画像を読み取ることができるので、ユーザの操作時の姿勢に対する制約が小さく、労働衛生上の問題が生じにくい。

２番目の発明（請求項２）は、１番目の発明において、１つの前記子端末機が複数の独立した前記親端末機と接続されている場合に、前記複数の親端末機がそれぞれ前記子端末機の接近の有無を識別し、前記子端末機が接近した場合に該当する親端末機が、前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記子端末機から出力される前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択することを特徴とする。

例えば、同一のユーザが複数のコンピュータ、あるいは複数の独立したディスプレイが接続された１つのコンピュータを操作しようとする場合には、複数の操作部を用いるよりも、単一の操作部を用いて両方の装置の画面に表示された各々のオブジェクトを選択的に操作できる方が好ましい。
２番目の発明においては、前記子端末機の接近を検出した親端末機の画面に表示されたオブジェクトを選択するので、共通の１台の子端末機を用いて複数の親端末機（１つのコンピュータに複数のディスプレイが接続されたものも含む）を選択的に操作することができる。

３番目の発明（請求項３）は、１番目の発明において、前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示しておき、前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記オブジェクト上に重ねて表示した前記目印に相当する情報が前記画像情報に存在するか否かを調べることを特徴とする。

例えば、実行中の様々なアプリケーションプログラムとして画面上に表示される情報、すなわち表示フレームは、一般的に矩形である場合が多いので、複数の表示フレームを形状で区別するのは難しい。また、子端末機がライトペンのように画面に接触した状態に限定せず、子端末機が少し離れた位置からでも画面の情報を読み取ることを想定すると、例えば子端末機の持ち方の違いによる傾きやピント不良の影響により、子端末機が取得する画像情報には変形などが発生することになり、形状の識別が曖昧になると考えられる。

３番目の発明においては、画面上に表示されるオブジェクトの上に目印を重ねて表示するので、例えば、丸，三角，菱形のように非常に単純なパターン、特徴的な色合いのパターン、複数パターンの組み合わせ、あるいは数字のようなある種の文字列のように特徴の分かりやすいパターンを目印として使用することにより、画像に変形がある場合であっても前記目印の有無を容易に識別することが可能になる。従って、子端末機を画面上に突き当てる必要性がなくなる。

４番目の発明（請求項４）は、１番目の発明において、前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示すると共に、前記目印の表示及び消去を交互に行い、前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記目印を表示した時に前記画像情報として得られた第１の画像情報と前記目印を消去した時に前記画像情報として得られた第２の画像情報とを比較して、差異が検出された点が存在する候補オブジェクトを選択することを特徴とする。

前述のように、複数の表示フレームを形状の違いで区別するのは難しく、また子端末機が少し離れた位置からでも画面の情報を読み取ることを想定すると、例えば子端末機の持ち方の違いによる傾きやピント不良の影響により、子端末機が取得する画像情報には変形などが発生することになり、形状の識別が曖昧になる。
そこで、４番目の発明においては目印を表示した時に得られた第１の画像情報と前記目印を消去した時に得られた第２の画像情報とを比較することにより、変化のある点を前記目印として検出する。これにより、目印の検出が容易になる。

また、目印となるパターンは人間が見るためのものではないため、目印の表示時間を装置が反応できる最低限の時間に短縮し、いわゆるサブリミナル映像のように短い時間で間欠的に表示／消去を繰り返すようにすれば、人間にとって不要な情報である前記目印を人間に対しては隠しながら表示することも可能である。
５番目の発明（請求項５）は、１番目の発明において、選択の対象となる前記オブジェクトが、アプリケーションプログラム毎に生成される表示フレーム、もしくはユーザの入力操作のために生成される表示フレームである場合に、前記子端末機から出力される画像情報の中から、前記表示フレームと形状が異なる部分を除去した後で、前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択することを特徴とする。

実際にコンピュータの画面に表示されるオブジェクトとしては、アプリケーションプログラムの表示フレームやアイコンなどがあり、前者の画像は比較的大きく、後者の画像は非常に小さいのが一般的である。例えば、表示画面からかなり離れた位置からオブジェクトの選択を行おうとする場合には、大きさの小さいアイコンなどのオブジェクトを操作することは実用的でなく、表示画面から遠い位置からでも人間が区別しやすい表示フレームのような大きいオブジェクトのみについての操作を行えば十分であると考えられる。また、親端末機の画面から十分に離れた位置から子端末機で画面を撮影する場合には、アイコンのように小さい画像の形状を正確に検出するのは困難である。

５番目の発明においては、大きさの小さいアイコンなどを選択の対象から事前に除外することを想定している。このため、子端末機から出力される画像情報の中から、前記表示フレームと形状が異なる部分、すなわち矩形パターン以外を除去した後でオブジェクトの認識を行っている。従って、比較的簡単にユーザが選択したオブジェクトを識別することができる。なお、表示フレームのようなオブジェクトの形状はほとんどが矩形パターンであるが、撮影された矩形パターンの縦横比や色合いを比較することにより、複数のオブジェクトを区別することができる。

６番目の発明（請求項６）は、１番目の発明において、選択の対象となる前記オブジェクトが、アプリケーションプログラム毎に生成される表示フレーム、もしくはユーザの入力操作のために生成される表示フレームである場合に、前記親端末機の画面上に表示された少なくとも１つの表示フレームの枠領域に、予め定めた識別記号のパターンを表す目印を重ねて表示しておき、前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記オブジェクト上に表示した前記目印に相当する情報が前記画像情報に存在するか否かを調べることを特徴とする。

アプリケーションプログラムなどが生成する表示フレームをオブジェクトとして区別しようとする場合には、識別記号のパターンを表す目印を付加しておくことにより、複数のオブジェクトの識別が容易になる。但し、付加する目印によってアプリケーションプログラムが表示フレーム内に表示される情報の一部が見えなくなる可能性がある。しかし、６番目の発明では表示フレームの枠領域（情報が表示されない周辺部分）に目印を表示するので、目印が邪魔になるのを避けることができる。また、目印の表示位置を予め限定しておくことにより、オブジェクトからの目印の抽出処理が容易になる。

７番目の発明は、コンピュータ及び複数の画像要素をそれぞれオブジェクトとして同じ画面上に表示する画像表示機能を備えた親端末機と、前記親端末機に対する相対的な移動もしくは向きの変更が可能な子端末機とで構成され、前記子端末機に対するユーザの入力操作に従って前記親端末機の画面上に表示された複数のオブジェクトの少なくとも１つを選択するための画面上オブジェクト選択装置であって、前記子端末機には、前記親端末機の表示画像の少なくとも一部分を撮影して画像情報を取得する撮像手段を設け、前記親端末機には、前記子端末機の接近を検出する接近検出手段と、前記接近検出手段が前記子端末機の接近を検出したことを契機として、前記子端末機の撮像手段が撮影した画像情報に関連する情報を入力情報として前記子端末機から取得し、親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記入力情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択するオブジェクト選択手段とを設けたことを特徴とする。

７番目の発明においては、１番目の発明と同様に表示装置として液晶ディスプレイなどを用いる場合であっても、子端末機で撮影した画像に基づいてオブジェクトを選択することができ、しかも表示画面に子端末機を接触させなくてもオブジェクトの選択が可能である。
８番目の発明（請求項８）は、７番目の発明において、前記親端末機には、前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示する目印表示手段を更に設け、前記オブジェクト選択手段が、親端末機の画面上に表示されたオブジェクトに関連する情報と前記入力情報とを比較する際に、前記オブジェクト上に重ねて表示した前記目印に相当する情報が前記入力情報に存在するか否かを調べることを特徴とする。

８番目の発明においては、オブジェクト上に目印を表示することにより、画面に表示された複数のオブジェクトの中から比較的簡単に該当する１つのオブジェクトを選択することができる。

以上のように本発明によれば、老人や幼児のように不慣れな人であっても、直感的にあるいは自然にコンピュータの画面に対する選択のような入力操作を理解でき、しかも、ライトペンのように操作部を直接画面に当てなくても操作が可能なコンピュータを実現することが可能である。

本発明の実施の形態について図１〜図１２を参照して説明する。この形態は全ての請求項に相当する。
図１は動作例（１）を示すフローチャートである。図２は動作例（２）を示すフローチャートである。図３は動作例（３）を示すフローチャートである。図４は動作例（４）を示すフローチャートである。図５は動作例（５）を示すフローチャートである。図６は動作例（６）を示すフローチャートである。図７はシステムの構成例（１）を示すブロック図である。図８はシステムの構成例（２）を示すブロック図である。図９はシステムの構成例（３）を示すブロック図である。図１０は親端末機上の画面の表示例を示す正面図である。図１１は子端末機が撮影する画面上の領域の例を示す正面図である。図１２は目印情報の表示例を示す正面図である。

なお、この形態では、請求項７の撮像手段，接近検出手段及びオブジェクト選択手段は、それぞれＣＣＤカメラ２１，接近検出部１４及びオブジェクト選択部１８に対応し、請求項８の目印表示手段は目印信号発生部１７に対応する。
この形態では、図７，図８，図９に示すような構成のシステムに本発明を適用する場合を想定している。

図７に示すシステムは、１台の親端末機１０と子端末機２０とで構成されており、親端末機１０と子端末機２０とが通信網３０を介して接続されている。通信網３０としては、有線通信網を用いても良いし、無線通信網を用いても良い。
図７の例では、親端末機１０は情報処理部１１，映像信号生成部１２，二次元画像表示部１３，接近検出部１４，通信インタフェース１５，画像解析部１６，目印信号発生部１７及びオブジェクト選択部１８を備えており、子端末機２０はＣＣＤカメラ２１，撮影制御部２２及び通信インタフェース２３を備えている。

情報処理部１１は、コンピュータの本体であり、ユーザの指示に従って様々なアプリケーションプログラムを実行する。また、アプリケーションプログラムの実行に伴って生成される表示要素などの様々なオブジェクトに関する情報が情報処理部１１上のメモリに保持され逐次更新される。更に、情報処理部１１上のメモリには、画面に表示すべき二次元画像情報も保持されている。

映像信号生成部１２は、情報処理部１１が保持している二次元画像情報から映像信号を生成する。二次元画像表示部１３は、例えば液晶ディスプレイのような表示装置であり、映像信号生成部１２が出力する映像信号に従って二次元画像を表示する。すなわち、コンピュータ（１１）を使用する際に必要となる画像情報が二次元画像表示部１３の画面に表示される。

例えば、図１０に示すようにアイコンと呼ばれる様々な形状の図形や、実行中のアプリケーションプログラムによって生成される表示フレームが画面上に表示される。これらのアイコンや表示フレームが選択の対象となるオブジェクトである。これらのオブジェクトは、ユーザからの入力及び情報処理部１１における処理の実行に伴って、必要に応じて画面上に表示される。

子端末機２０は、それ全体を手に持って移動可能であるか、あるいは撮像面だけの向きや位置を手動で変更できるように構成され、ユーザの操作によりＣＣＤカメラ２１の撮像面を親端末機１０に接近させたり、二次元画像表示部１３の画面に対して相対的に移動させたりすることができる。
子端末機２０のＣＣＤカメラ２１は、撮影制御部２２の制御に従って、例えば定期的に、あるいは親端末機１０の画面に近づいたときだけ、二次元画像表示部１３の画面に表示された二次元画像の一部もしくは全体を撮影する。ＣＣＤカメラ２１が撮影した画像は、定期的にあるいは親端末機１０からの要求に従って子端末機２０から送出され、通信網３０を介して親端末機１０に入力される。

親端末機１０に搭載された接近検出部１４は、二次元画像表示部１３の画面に対して子端末機２０が所定距離以内に近づいたか否かを検出する。接近検出部１４としては、例えば静電式接近探知機，赤外線式接近探知機，超音波ソナーなどを利用できる。また、例えば親端末機１０と子端末機２０とが直接無線回線を介して通信する場合には、親端末機１０が子端末機２０との間で通信できるようになったか否かを識別することにより、接近検出部１４の機能を実現することもできる。

子端末機２０が撮影した画像の信号を常時もしくは定期的に送出しない場合には、接近検出部１４が子端末機２０の接近を検出したときに、親端末機１０の画像解析部１６が画像要求信号を子端末機２０に与える。子端末機２０は親端末機１０からの画像要求信号に従って、ＣＣＤカメラ２１で画像を撮影し、撮影した画像の情報を親端末機１０に送信する。

画像解析部１６は、子端末機２０が送出した画像の信号を通信網３０及び通信インタフェース１５を介して取得し、この情報を解析して特徴を抽出する。実際には、例えば入力された画像に含まれている図形の形状，図形内の色合い，図形の縦横比，図形上の目印などを表す情報を特徴として抽出する。
目印信号発生部１７は、予め定めた目印の情報を二次元画像表示部１３が表示する画像のオブジェクトの上又は近傍に重ねて表示するために設けてある。例えば、「○」，「×」のような記号や数字のように形状の識別が容易なパターンや、特徴的な色合いで表現されたパターンを目印として利用することができる。

オブジェクト選択部１８は、画像解析部１６が抽出した特徴に基づいて、情報処理部１１が二次元画像表示部１３の画面に表示しているオブジェクトの中から該当するオブジェクトを選択し、選択の結果を情報処理部１１に通知する。具体的な選択方法については後で説明する。
なお、接近検出部１４や目印信号発生部１７については不要な場合もある。

図８に示すシステムは、図７に示すシステムの変形例である。すなわち、親端末機１０には通信インタフェース１５の代わりに画像受信機１９を設けてあり、子端末機２０には通信インタフェース２３の代わりに画像送信機２４を設けてある。例えば、画像送信機２４としては映像信号をテレビ電波に乗せて送信するトランスミッタを用いればよく、画像受信機１９としてはテレビ電波を受信するテレビチューナを用いればよい。

図９に示すシステムは、図７に示すシステムの変形例である。図９の例では、通信網３０に複数の親端末機１０(1)，１０(2)を接続してある。この例では、複数の親端末機１０(1)，１０(2)を共通の１つの子端末機２０を用いて操作する場合を想定している。
次に、親端末機１０の１番目の動作例について図１及び図７を参照して説明する。
接近検出部１４が子端末機２０の接近を検出した場合には、親端末機１０の処理は図１のステップＳ１１からＳ１３に進む。子端末機２０が接近していない場合には、実行した処理の回数が予め定めた制限回数以内であるかをステップＳ１２で確認しながらステップＳ１１を繰り返す。予め定めた制限回数に渡って接近が検出されない場合には、子端末機２０が離脱したものとみなして処理を終了する。なお、接近検出部１４が存在しない場合にはステップＳ１１を省略してもよい。

ステップＳ１３では、候補オブジェクトを初期化する。すなわち、情報処理部１１の処理によって二次元画像表示部１３の画面上に表示されている選択可能な多数のオブジェクト（アイコンや表示フレームなど）の中から１つのオブジェクトを最初の候補として選択する。この場合の選択については、多数のオブジェクトの中からランダムに決定してもよいが、統計的に的中しやすいもの、例えばマルチウインドウ表示の場合に手前に表示している窓すなわち表示フレーム、あるいは画面中央に存在するオブジェクト、あるいは表示中のアプリケーションプログラムの機能上、操作対象となりうる表示物などを優先的に選択するのが望ましい。

次のステップＳ１４では、親端末機１０から子端末機２０に対して撮影した画像の送信を要求し、子端末機２０が送出した画像信号を受信して保持する。なお、子端末機２０が画像を常時、あるいは定期的に送信する場合には、親端末機１０から子端末機２０に対して要求を送信する必要はない。
ステップＳ１５では、ステップＳ１４で取得した画像を画像解析部１６で解析して特徴を抽出する。

ステップＳ１６では、ステップＳ１５で特徴の抽出に成功したか否かを識別する。例えば、子端末機２０が移動中のために撮影した画像が不鮮明であるような場合には、ステップＳ１１の処理に戻る。取得した画像の状態が良好で特徴の抽出に成功した場合には次のステップＳ１７に進む。
ステップＳ１７では、ステップＳ１４で子端末機２０から取得した画像の特徴と候補オブジェクトの特徴とを比較し、一致するか否かを識別する。一致しない場合にはステップＳ１８で候補オブジェクトを次のオブジェクトに切り替えてステップＳ１７の比較を繰り返す。一致を検出した場合には次のステップＳ１９に進み、現在の候補オブジェクトを選択結果のオブジェクトとして確定する。

例えば、図１０に示すような画像が二次元画像表示部１３の画面に表示されている場合には、図１１に示す点線で囲まれた各領域Ａ１，Ａ２，Ａ３，・・・を子端末機２０のＣＣＤカメラ２１で撮影することが考えられる。
例えば、領域Ａ１の撮影によって得られる画像に相当する特定のアイコンを選択対象のオブジェクトとする場合には、撮影した画像の中に存在する図形の形状や図形の表示色を特徴として抽出し、それを候補オブジェクトの特徴と比較すればよい。

また、例えば領域Ａ２の撮影によって得られる画像に相当する特定の表示フレームを選択対象のオブジェクトとする場合には、撮影した画像の中に存在する図形の縦横比や表示色を特徴として抽出し、それを候補オブジェクトの特徴と比較すればよい。
次に、親端末機１０の２番目の動作例について図２及び図７を参照して説明する。この動作例は図１の変形例であり、目印信号発生部１７の機能を利用している点が大きく異なっている。図１と同じ番号を付けたステップの内容は図１と同様である。

図２においては、ステップＳ１３で候補オブジェクトを初期化した後、ステップＳ２１を実行する。ステップＳ２１では、現在の候補オブジェクトの上に予め定めた目印の可視情報を重ねて表示するように目印信号発生部１７が情報処理部１１に対して指示する。
従って、次のステップＳ１４で子端末機２０に対して要求を送出する時点では二次元画像表示部１３の画面上には目印も表示されている。つまり、子端末機２０が撮影した画像の領域内に候補オブジェクトに相当する画像が含まれている場合には、目印の情報もそれに含まれることになる。

ステップＳ１４で取得した画像は、ステップＳ１５で画像解析部１６によって解析される。この場合には、撮影した画像の中から、予め定めた目印に相当する情報を抽出できるように、例えば目印の大きさ程度の小さい図形の特徴も抽出する。
撮影した画像が鮮明であり、特徴の抽出に成功した場合には、ステップＳ１６からステップＳ２２に進み、撮影した画像から検出された特徴と、ステップＳ２１で候補オブジェクトに付加した目印の特徴とを比較する。

ステップＳ２２で一致しない場合には、目印を表示した候補オブジェクトが撮影範囲内に存在しないと考えられるので、次のステップＳ１８で候補オブジェクトを切り替えてからステップＳ２１に戻る。従って、目印が付加されるオブジェクトは順次に切り替わることになる。ステップＳ２２で一致を検出した場合には、次のステップＳ１９で現在の候補オブジェクトを選択結果として確定する。

次に、親端末機１０の３番目の動作例について図３及び図９を参照して説明する。この動作例は図２の変形例であり、図９に示すように複数の親端末機１０(1)，１０(2)を共通の子端末機２０で操作する場合を想定しているので、部分的に処理が変更されている。図２と同じ番号を付けたステップの内容は図２と同様である。
この例では、複数の親端末機１０(1)，１０(2)のそれぞれが接近検出部１４を搭載しており、子端末機２０の接近を検出した何れか１つの親端末機１０が図３のステップＳ１３以降の処理を実行する。また、この例では子端末機２０は撮影した画像の信号を接続された全ての親端末機１０に対して送信する。

図３のステップＳ２２で特徴が一致しない場合には、ステップＳ２５に進み、候補オブジェクトとして検査していないオブジェクトが残っているか否かを調べる。残っている場合には、ステップＳ１８で候補オブジェクトを次のオブジェクトに切り替える。ステップＳ２５で全てのオブジェクトの検査が終了したことを検出した場合には、ステップＳ２６に進み他の親端末機１０に対して指示が子端末機２０から入力されたものと認識し、処理を終了する。

従って、一人のユーザが複数台の親端末機１０を操作する場合には、親端末機１０毎に独立した子端末機２０を用意する必要はない。
次に、親端末機１０の４番目の動作例について図４及び図７を参照して説明する。この動作例は図２の変形例であり、目印に関する処理が変更されている。図２と同じ番号を付けたステップの内容は図２と同様である。

ステップＳ２１では、現在の候補オブジェクトの上に予め定めた目印の可視情報を重ねて表示するように目印信号発生部１７が情報処理部１１に対して指示する。
次のステップＳ４１では、親端末機１０が子端末機２０に対して撮影した画像の出力を要求し、子端末機２０が送出する画像の情報を受信して親端末機１０の画像解析部１６上に保存する。

次のステップＳ４２では、ステップＳ２１で表示した目印を消去するように目印信号発生部１７が情報処理部１１に対して指示する。
次のステップＳ４３では、再び親端末機１０が子端末機２０に対して撮影した画像の出力を要求し、子端末機２０が送出する画像の情報を受信して親端末機１０の画像解析部１６上に保存する。

ステップＳ４４では、ステップＳ４１で取得した画像とステップＳ４３で取得した画像とを比較して、画像の変化点を特徴として検出する。すなわち、画面上に目印を表示しているときに撮影された画像と、画面上に目印を表示していないときに撮影された画像とを比較するので、撮影した画像の領域に目印の位置が含まれている場合には、目印が変化点として検出される。但し、目印が存在しない場合であっても、目印以外の画像の変化を変化点として検出する可能性もある。

変化点を検出できた場合にはステップＳ４５からＳ４６に進み、変化点を検出できない場合にはステップＳ１１に戻る。
ステップＳ４６では、変化点が候補オブジェクトの中に存在するか否かを調べる。具体的には、変化点を含む図形と候補オブジェクトの特徴とを比較する。変化点が候補オブジェクトの中に存在する場合にはステップＳ４６からＳ１９に進み、変化点が候補オブジェクトの外にある場合（変化点が目印ではない場合）にはステップＳ４６からＳ１８に進み、候補オブジェクトを次のオブジェクトに切り替える。

つまり、この動作例では目印が間欠的に表示される。
次に、親端末機１０の５番目の動作例について図５及び図７を参照して説明する。この動作例は図２の変形例である。図２と同じ番号を付けたステップの内容は図２と同様である。
この動作例では、画面から比較的離れた位置から子端末機２０で画像を撮影し、比較的大きさの大きい矩形パターン（表示フレーム等）だけを選択対象にする場合を想定している。

ステップＳ１３Ｂでは、候補オブジェクトの初期化を行う。また、表示フレームのように比較的大きい矩形の図形以外については、事前に候補オブジェクトの対象から除外する。
ステップＳ５１では、ステップＳ１４で子端末機２０から取得した画像から矩形以外の図形を除去する。

ステップＳ５２では、ステップＳ５１の処理が終了した画像を解析して、１つの表示フレームを特定するために必要な特徴情報を抽出する。実際には、図形である表示フレームの縦横比，表示フレームの枠の色，枠の太さ，目印を特徴として抽出する。
特徴の抽出に成功した場合には、ステップＳ１６からＳ５３に進み、画像の特徴と現在の候補オブジェクトの特徴とを比較する。一致する場合にはステップＳ１９に進み、一致しない場合にはステップＳ１８に進む。

次に、親端末機１０の６番目の動作例について図６及び図７を参照して説明する。この動作例は図５の変形例である。図５と同じ番号を付けたステップの内容は図５と同様である。この動作例では、例えば図１２に示すように、目印を表示する位置を表示フレームの周辺部の枠領域のみに限定してある。
図６のステップＳ２１Ｂでは候補オブジェクト上に目印を表示するが、目印の表示位置は表示フレームの周辺部の枠領域に限定してある。

ステップＳ６２では、ステップＳ５１の処理が終了した画像の解析を行い、矩形パターン（表示フレーム）の枠領域（周辺部分）を調べて目印情報を特徴として抽出する。
ステップＳ６２で特徴の抽出に成功した場合には、ステップＳ１６からＳ６３に進む。ステップＳ６３では、画像の特徴として抽出した目印情報と、ステップＳ２１Ｂで候補オブジェクトに付加した目印とを比較する。一致した場合にはステップＳ１９に進み、一致しない場合にはステップＳ１８に進む。

動作例（１）を示すフローチャートである。 動作例（２）を示すフローチャートである。 動作例（３）を示すフローチャートである。 動作例（４）を示すフローチャートである。 動作例（５）を示すフローチャートである。 動作例（６）を示すフローチャートである。 システムの構成例（１）を示すブロック図である。 システムの構成例（２）を示すブロック図である。 システムの構成例（３）を示すブロック図である。 親端末機上の画面の表示例を示す正面図である。 子端末機が撮影する画面上の領域の例を示す正面図である。 目印情報の表示例を示す正面図である。

符号の説明

１０ 親端末機
１１ 情報処理部
１２ 映像信号生成部
１３ 二次元画像表示部
１４ 接近検出部
１５ 通信インタフェース
１６ 画像解析部
１７ 目印信号発生部
１８ オブジェクト選択部
１９ 画像受信機
２０ 子端末機
２１ ＣＣＤカメラ
２２ 撮影制御部
２３ 通信インタフェース
２４ 画像送信機
３０ 通信網

Claims (8)

1. コンピュータ及び複数の画像要素をそれぞれオブジェクトとして同じ画面上に表示する画像表示機能を備えた親端末機と、前記親端末機に対する相対的な移動もしくは向きの変更が可能な子端末機とで構成される装置を用い、前記子端末機に対するユーザの入力操作に従って前記親端末機の画面上に表示された複数のオブジェクトの少なくとも１つを選択するための画面上オブジェクト選択方法であって、
   前記親端末機の表示画像の少なくとも一部分を前記子端末機で撮影して画像情報を取得し、
   前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記子端末機から出力される前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択する
   ことを特徴とする画面上オブジェクト選択方法。
2. 請求項１の画面上オブジェクト選択方法において、１つの前記子端末機が複数の独立した前記親端末機と接続されている場合に、前記複数の親端末機がそれぞれ前記子端末機の接近の有無を識別し、前記子端末機が接近した場合に該当する親端末機が、前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記子端末機から出力される前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択する
   ことを特徴とする画面上オブジェクト選択方法。
3. 請求項１の画面上オブジェクト選択方法において、
   前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示しておき、
   前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記オブジェクト上に重ねて表示した前記目印に相当する情報が前記画像情報に存在するか否かを調べる
   ことを特徴とする画面上オブジェクト選択方法。
4. 請求項１の画面上オブジェクト選択方法において、
   前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示すると共に、前記目印の表示及び消去を交互に行い、
   前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記目印を表示した時に前記画像情報として得られた第１の画像情報と前記目印を消去した時に前記画像情報として得られた第２の画像情報とを比較して、差異が検出された点が存在する候補オブジェクトを選択する
   ことを特徴とする画面上オブジェクト選択方法。
5. 請求項１の画面上オブジェクト選択方法において、選択の対象となる前記オブジェクトが、アプリケーションプログラム毎に生成される表示フレーム、もしくはユーザの入力操作のために生成される表示フレームである場合に、
   前記子端末機から出力される画像情報の中から、前記表示フレームと形状が異なる部分を除去した後で、
   前記親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記画像情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択する
   ことを特徴とする画面上オブジェクト選択方法。
6. 請求項１の画面上オブジェクト選択方法において、選択の対象となる前記オブジェクトが、アプリケーションプログラム毎に生成される表示フレーム、もしくはユーザの入力操作のために生成される表示フレームである場合に、
   前記親端末機の画面上に表示された少なくとも１つの表示フレームの枠領域に、予め定めた識別記号のパターンを表す目印を重ねて表示しておき、
   前記親端末機の画面上に表示されたオブジェクトに関連する情報と前記子端末機から出力される前記画像情報とを比較する際には、前記オブジェクト上に表示した前記目印に相当する情報が前記画像情報に存在するか否かを調べる
   ことを特徴とする画面上オブジェクト選択方法。
7. コンピュータ及び複数の画像要素をそれぞれオブジェクトとして同じ画面上に表示する画像表示機能を備えた親端末機と、前記親端末機に対する相対的な移動もしくは向きの変更が可能な子端末機とで構成され、前記子端末機に対するユーザの入力操作に従って前記親端末機の画面上に表示された複数のオブジェクトの少なくとも１つを選択するための画面上オブジェクト選択装置であって、
   前記子端末機には、前記親端末機の表示画像の少なくとも一部分を撮影して画像情報を取得する撮像手段を設け、
   前記親端末機には、
   前記子端末機の接近を検出する接近検出手段と、
   前記接近検出手段が前記子端末機の接近を検出したことを契機として、前記子端末機の撮像手段が撮影した画像情報に関連する情報を入力情報として前記子端末機から取得し、親端末機の画面上に表示された複数のオブジェクトの各々に関連する情報を前記入力情報と比較し、その比較結果に応じて少なくとも１つのオブジェクトを選択するオブジェクト選択手段と
   を設けたことを特徴とする画面上オブジェクト選択装置。
8. 請求項７の画面上オブジェクト選択装置において、前記親端末機には、前記親端末機の画面上に表示された少なくとも１つのオブジェクトの上に、予め定めたパターンを表す目印を重ねて表示する目印表示手段を更に設け、
   前記オブジェクト選択手段が、親端末機の画面上に表示されたオブジェクトに関連する情報と前記入力情報とを比較する際に、前記オブジェクト上に重ねて表示した前記目印に相当する情報が前記入力情報に存在するか否かを調べる
   ことを特徴とする画面上オブジェクト選択装置。

Images