JP2014075139A - 風景中の物体等のユーザーによる発見又は認識を支援するシステム - Google Patents

Abstract

【目的】 通常の人の行動、特に老人などの視力や注意力が弱っている人の行動を支援するために、ユーザーが探しているターゲットを指し示すことができるポインティング装置を提供することを目的とする。
【構成】 検索キーを入力するための検索キー入力手段と、検索対象物を含む映像を撮り込むための撮像手段と、前記撮像手段により取り込まれた映像と前記検索キー入力手段から入力された検索キーとに基づいて、前記検索キーに対応する物体又は部分を検索する検索手段と、前記検索手段による検索結果と前記映像とに基づいて、レーザー光線の照射方向を算出する方向算出手段と、前記方向算出手段に基づいて、前記の対応する物体に向けて、レーザー光を照射するレーザー発生手段と、を含むものである。
【選択図】 図１

Description

本発明は、通常の人の行動、特に老人などの視力や注意力が弱っている人の行動を支援するために、ユーザーが探しているターゲット（対象物）を指し示すことができるポインティング装置に関する。

従来より、ＯＨＰ（オーバーヘッドプロジェクタ）などによる講義のときに、投射映像のある部分を講師がレーザー光のスポットで指し示すためのレーザー・ポインタが知られている。このレーザー・ポインタは、大学の講義や学会でのプレゼンテーションなどの様々な場面で使用されている。

特開平９−１９２１６４号公報

しかしながら、前記のレーザー・ポインタは、あくまで、使用者である講師がある場所（ポイント）を他人に指し示すときに使用するものであり、使用者自身が自分でターゲット（求める物体や部分）の場所を探すときには全く役に立たない。

また、従来より、病院の紙媒体のカルテを探すのを光や音を利用して支援するためのカルテ検索支援システムが実用化されている。このシステムは、カルテのフォルダ（カルテを収納しておく容器）の背表紙に、予め、患者の名前や識別番号を記録したバーコード、カラーコード、磁気データ、又はＩＣチップ（半導体素子）などを記録しておくと共に、発光ダイオード（発光部）やブザー（音発生装置）を取り付けておく。そして、カルテが必要な患者について、その氏名や識別番号などの検索キーを入力すると、それに基づいて、対応する氏名や識別番号が記録されているフォルダを検索し、そのフォルダに取り付けてある発光部を光らせたり、そのフォルダに取り付けてあるブザーから音を鳴らせたりするものである。これにより、カルテを探す人は、大量のカルテの中から求めるものを容易に探し出すことができる。

しかしながら、このカルテ検索システムは、予め、カルテのフォルダに、患者の氏名や識別番号を記録したバーコード、カラーコード、磁気データ、又は半導体素子などを表示・取付けておくと共に、発光ダイオード（発光部）やブザー（音発生装置）を取り付けておくことが必要であるから、カルテなどの特定の種類のものにしか適用できず、様々なものに種類を問わずルーズに任意に適用することはできないという問題がある。

本発明はこのような従来技術の課題に着目してなされたもので、通常の人の行動、特に老人などの視力や注意力が弱っている人の行動を支援するために、ユーザーが探しているターゲットをレーザー光線などで指し示すことができるポインティング装置を提供することを目的とする。

（定義）
本明細書において、「検索対象物」は、物理的な物体（有体物）である場合が多いが、ディスプレイ画面（グラフィカル・ユーザー・インターフェース画面）上に表示されている複数のアイコン・ボタンの中の一つ、などのような「実体の無いもの（無体物）」でもよい。本明細書では、これらの有体物と無体物とを併せて「物体」と呼ぶことがある。
また、本明細書において、「検索キー」は、文字（キーワード、文章、会話など）、記号、図形、画像、所定の音（音響、音声）など、検索（調べること、探すこと）のためのキーとなるものなら、どのようなものでもよい。

（特許請求の範囲に記載された発明の内容）
１．検索キーを入力するための検索キー入力手段と、検索対象物（ユーザーが求めているモノ、ユーザーが探したいモノ）を含む映像を撮り込むための撮像手段と、前記撮像手段により取り込まれた映像と前記検索キー入力手段から入力された検索キーとに基づいて、前記検索キーに対応する物体又は部分を検索する検索手段と、前記検索手段による検索結果と前記映像とに基づいて、レーザー光線の照射方向を算出する方向算出手段と、前記方向算出手段に基づいて、前記の対応する物体に向けて、レーザー光を照射するレーザー発生手段と、を含むことを特徴とするポインティング装置。
２．上記１において、前記検索手段は、前記検索対象物を含む映像の中の各物体又は部分を、互いに識別する識別手段を含むものである、ことを特徴とするポインティング装置。
なお、この識別手段による識別方式は、例えば、前記映像の中の各物体又は部分の色及び形状を検出して予め記憶した色又は形状のパターンと比較することにより識別する方式、前記各物体又は部分に表示された名前などの文字を読み取り認識する方式、前記各物体又は部分の表面に表示された識別用バーコード又は２次元コードや識別用カラーコードなどを読み取ることにより識別する方式、前記各物体又は部分に取り付けたＩＣチップ（半導体素子）に記録された識別コードをそのＩＣチップとの間で無線でやり取りすることにより識別する方式、などの様々な方式を採用することができる。
３．上記１又は２において、前記レーザー光発生手段は、指示すべき複数の物体又は部分を、所定の順序で順次照射（指示）していくものである、ことを特徴とするポインティング装置。
本発明においては、例えば、ユーザーが「パソコンの画面上のデータを、外付けの光磁気ディスクに保存する操作」を希望したとき、本発明によるポインティング装置は、まず、パソコン画面の「ファイル」のアイコンをレーザー光で指示し（これにより、ユーザーに、このアイコンをマウス等でクリックするように指示する）、次に、「名前を付けて保存」の文字のあるボタン部分をレーザー光で指示し（これにより、ユーザーに、「名前を付けて保存」のポタンをクリックするように指示する）、次に、「保存する場所」の文字のあるボタン部分をレーザー光で指示し（これにより、ユーザーに、「保存する場所」の文字のあるボタン部分をクリックするように指示する）、次に「保存の実行」のボタン部分をレーザー光で指示する（是により、ユーザーに、「保存の実行」のボタン部分をクリックするように指示する）、というように、「データ保存のために必要な一連の操作」に必要な物体又は部分を、その一連の操作に即して、順次、ユーザーに対して、指し示していく。
４．上記１、２又は３において、さらに、前記レーザー光が当たった（照射された）とき、その当たった場所又はその近傍で所定の音を発するための音発生手段、を含むことを特徴とするポインティング装置。
この音発生手段は、レーザー光が照射されたことを検知する検知手段と、この検知手段からの信号に基づいて駆動する振動板又はブザー等とから構成される。前記のレーザー光が照射されたことを検知する手段としては、例えば、受光素子などの光センサや、熱電素子などの熱センサ（レーザー光が照射されたスポットは、レーザー光のエネルギーにより他の部分よりも熱せられるから）などの様々なものが採用できる。
５．上記１、２、３又は４において、さらに、前記レーザー光が肉眼で見えない場合に、前記レーザー光を肉眼で確認できるように画面表示させるためのレーザー光表示手段、を含むことを特徴とするポインティング装置。
６．検索キーを入力するための検索キー入力手段と、検索対象物を含む映像を取り込むための撮像手段と、前記撮像手段により取り込まれた映像と前記検索キー入力手段から入力された検索キーとに基づいて、前記検索キーに対応する物体又は部分を検索する検索手段と、前記検索手段による検索結果と前記映像とに基づいて、ユーザーに、検索された物体又は部分を指し示すためのディスプレイと、を含むことを特徴とするポインティング装置。
つまり、上記の１〜５の発明では、レーザー光線を検索対象物（ユーザーが求めているモノ、ユーザーが探したいモノ）に照射することにより、ユーザーに検索対象物を指し示すようにしているのに対して、この５の発明では、ディスプレイ画面上に「検索対象物とその周辺の物（人、動物、植物を含む）を示す映像を表示させながら、さらにその画面上で、検索対象物を、例えば矢印のマークなどで、指示すること」により、ユーザー（例えば、視力の衰えた老人など）に、求める検索対象物を指し示すものである。

（１）本発明によれば、ユーザーが求める検索対象物（物体又は部分）を検索して、それを、レーザー光で照射しすることにより、ユーザーに指し示すことができるので、ユーザーの行動を支援することが可能になる。
（２）また、本発明によれば、ユーザーが求める検索対象物（物体又は部分）を検索して、それを、ディスプレイの画面上で、前記検索対象物をその一部として含む映像を表示させながら、その検索対象物を矢印のマークなどで指示することにより、ユーザーに指し示すことができるので、ユーザーの行動を支援することができる。

本発明の実施形態１を示すブロック図である。 本実施形態１の動作を示すフローチャートである。 本発明の実施形態２を示すブロック図である。 本実施形態２の動作を示すための図である。

〔実施形態１〕
図１は本発明の実施形態１を概念的に示すためのブロック図である。図１において、１は対象物２を撮像するための撮像部（例えばＣＣＤカメラ）、３はユーザーが検索キー（例えば、キーワード、キーとなる映像、キーとなる図形、など）を入力するための検索キー入力部、４は前記撮像部１からの映像と前記検索キー入力部３からの検索キーとに基づいて検索キーに対応するターゲットの物体を検索するための検索処理部（マイクロコンピュータ等により構成される）、５はこの検索処理部４の検索結果に基づいて前記ターゲットの物体に向けてレーザー光を発生させるレーザー光発生部である。

図１の装置では、前記撮像部１とレーザー光発生部５とは、一つの筐体６（図１の符号６参照）に収納されて、ユーザーの頭や首や胸などの位置に取り付けられるようになっていることが望ましい。すなわち、この筐体６は、例えば、ネックレス、ブローチ、頭部保持部などの身体装着型の部材として形成されていてもよい。また、前記筐体６は、通常の携帯情報端末（ＰＤＡ）やノートパソコンのように、ユーザーが手に持って使用するものでもよい。なお、上記で撮像部１とレーザー光発生部５が一つの筐体６に収納されるのが望ましいと述べた理由は、レーザー光発生部５からレーザー光を目指すターゲットの物体に向けて正確に照射するためには、撮像部１とレーザー光発生部５の位置関係を予め特定しておく必要があるからである。この理由からは、前記の撮像部１とレーザー光発生部５との位置関係が特定できるようにしておけるなら（例えば、撮像部１又はレーザー光発生部５の空間的位置をジャイロ・センサや磁気センサなどにより検出できるようにして、その空間的位置の情報を、撮像部１とレーザー光発生部５との間で赤外線などの無線により随時交信できるようにしておく）、撮像部１とレーザー光発生部５とは、互いに離れた別個の筐体に収容されるようにしてもよい。

また、図１において、前記検索処理部４も、前記撮像部１及びレーザー光発生部５と一緒に一つの筐体６（図１の符号６）に収容するのが望ましい。なぜなら、検索処理部４は、撮像部１からの映像データを受信すると共に、撮像部１及びレーザー光発生部５の空間的位置データを把握しておく必要があるが、そのためにはこれらと一緒の筐体６に収納する方が便利だからである。しかし、前記撮像部１及びレーザー光発生部５と検索処理部４との間でデータを無線で交信できるようにすれば、検索処理部４を、前記撮像部１又はレーザー光発生部５と別体に構成してもよい。また、前記検索キー入力部３についても、これと同様である。すなわち、検索キー入力部３は、撮像部１、レーザー光発生部５、及び検索処理部４と一緒に一つの筐体（図１の符号６）に収容されることが望ましいが、これらの機器１，５及び４と無線交信できるようにすれば、検索キー入力部３をこれらとは別の筐体に含ませるようにしてもよい。

前記撮像部１が撮像する対象（検索対象物を含む対象）は、例えば、ユーザーが操作しようとしているパソコンのキーボード部やビデオテープレコーダの各種の操作ボタンが備えられた操作盤、多数の本が並んでいる書架、病院内のカルテを並べた棚、街角の風景（ビルなどの建物の看板や道路標識などを含むもの）、自動車や飛行機の運転席から見える操作盤（コックピットの中の前方の操作部）、紙やディスプレイ上の地図や新聞、病院で行われる手術の対象となる患者の身体の患部、などである。

また、図１において、３はユーザーが検索キーを入力するための検索キー入力部、である。この検索キー入力部３は、例えば、ユーザーがキーワードや文章を入力するためのキーボート又はペン入力用タブレット、ユーザーが音声でキーワードや文章を入力するためのマイク、ユーザーがスキャナやデータ記録装置などからの画像を入力するための画像取り込み装置、などの様々な機器を含むものである。

また、マイクロコンピュータ等から成る検索処理部４は、前記撮像部１からの映像（画像）と、前記検索キー入力部３からの検索キー（文字、音声、図形、又は画像）とに基づいて、前記映像の中の各物体の中から、前記検索キーに対応（該当）するモノ（検索対象物。物理的な物体（有体物）である場合が多いが、ディスプレイ画面（グラフィカル・ユーザー・インターフェース画面）上に表示されている複数のアイコン・ボタンの中の一つ、などのような「実体の無いもの（無体物）」でもよい。以下では、これらの有体物と無体物とを併せて「物体」と呼ぶことがある）を検索するものである。

この検索の過程では、検索処理部４は、まず、前記映像の中の各物体について、それを所定の方式で他の物体と識別する（なお、この場合の識別方式は、例えば、前記映像の中の各物体の色及び形状を検出して予め記憶した色又は形状のパターンと比較することにより識別する方式、前記各物体の表面に表示された識別用バーコード又は２次元コードや識別用カラーコードなどを読み取ることにより識別する方式、前記各物体に取り付けたＩＣチップ（半導体素子）に記録された識別コードをそのＩＣチップとの間で無線でやり取りすることにより識別する方式、などの様々な方式を採用することができる）。そして、その識別された各物体の特徴などを、前記の入力された検索キーと比較・照合して、前記検索キーに対応する物体を特定する。そして、検索処理部４は、レーザー光発生部５から前記の特定された物体に向けてレーザー光を発生させるための、レーザー光の照射方向を決定する（検索処理部４は、前述のように、レーザー光発生部５と撮像部１との相互の位置関係のデータを持っているので、撮像部１からの映像に基づいて、その映像中のある物体に向けてレーザー光を照射するための照射方向の計算は、可能である）。

なお、前記検索処理部４は、撮像部１からの映像と検索キー入力部３からの検索キーとを受信することによるだけでなく、それらと共に外部機器からのデータをも受信することにより、ターゲットの物体又は部分を検索することもある。例えば、撮像部１が撮像する対象物２（図１の符号２参照）がパソコン（パーソナルコンピュータ）である場合に、ユーザーが「パソコンの画面の中のあるデータのコピーの操作方法を教えて下さい」という検索キー（検索キーは、「文章」や「会話」として入力することもできる）を音声で入力した場合を説明する。このとき、撮像部１は、対象物２であるパソコンの映像を撮り込んで検索処理部４に送る。検索処理部４は、前記の検索キーの対応する操作方法を問い合わせる信号を、赤外線などの無線により、対象物２であるパソコンに送信する。すると、パソコン（対象物２）から、例えば、「まず、範囲指定して、コピーのアイコンをクリックする」という操作方法が返信される。そこで、検索処理部４は、このパソコン（対象物２）から返信された操作方法のデータに基づいて、指示すべきターゲットとなる物体又は部分、例えば「コピーのために画面上に用意されているアイコン」を前記映像の中から探して、それを特定する。そして、検索処理部４は、この特定したアイコンに向けてレーザー光を照射するように、レーザー光発生部５に制御信号を送信する。

また、例えば、撮像部１が撮像する対象物２が飛行機のコックピットの操作盤である場合に、ユーザーが「飛行機が右旋回するときの操作方法」という検索キーを音声入力した場合を説明する。このとき、検索処理部４は、前記操作盤の映像を撮像部１から取り込むと共に、外部のノート型パソコン７（図１参照。このノート型パソコン７には、対象となっている型式の飛行機のコックピット内の操作方法のデータベースが記録されている。）に対して、「飛行機が右旋回するときの操作方法」を無線で問い合わせる。パソコン７（このパソコン７は、図１の対象物２ではない）は、この問い合わせに対する答えである「操作の方法」、例えば「風力メーターが所定値以下であることを確認した後に、操作カンを右側にゆっくり回す」という答え（一連の操作方法）を、無線で送信する。そこで、この答え（一連の操作方法）を受信した検索処理部４は、前記映像を解析して、ターゲットとなる風力メーターの部分と操作カンとを特定する。そして、検索処理部４は、前記の一連の操作方法に即して、時系列的に、まず、前記風力メーターに対してレーザー光を照射させ、その後、前記操作カンに対してレーザー光を照射させるように、前記レーザー光発生部５を制御する。すなわち、検索処理部４は、ユーザーに対して、「まず、最初に、風力メーターが所定値以下であることを確認せよ」ということを指示するために、風力メーターにレーザー光を照射する。そして、その後、「次に、操作カンを右側にゆっくり回すということを指示するために、操作カンにレーザー光を照射する。

レーザー光発生部５は、前記検索処理部４からのレーザー光照射方向を示す制御データに基づいて、目指すターゲットの物体に向けて、レーザー光を照射する。この照射されるレーザー光が可視光の場合は、ターゲットの物体にレーザー光のスポットが表示されるので、ユーザーは、その目指す物体を容易に知る（視認する）ことができる。したがって、レーザー光発生部５からのレーザー光は、少なくとも室内の場合は、可視光レーザーであることが望ましい。しかし他方、戸外の場合は、可視光レーザーを頻繁に発生させると他人の迷惑にもなるので、赤外線レーザーなどの肉眼で見えないレーザー光を発生させることもやむを得ない。前記の照射されるレーザー光が赤外線レーザーなどのように可視光でない場合は、ユーザーは、暗視メガネ又は暗視カメラ（ＣＣＤカメラで周囲の景色（前記の赤外線レーザー光などをも、この「景色」の一部を構成する）を捕らえて、それを眼前の小型液晶ディスプレイなどで表示するもの）や、スターアイ（周囲の光を増幅して眼前に表示するもの）などを使用することにより、レーザー光の軌跡やターゲットの物体上のレーザー光スポットを認識することができる。

次に、本実施形態１の動作を図２に基づいて説明する。ユーザーは、ＣＣＤカメラなどの撮像部１により周囲の景色（検索対象物をその一部として含む景色）の映像を取り込む（ｃａｐｔｕｒｅ）（ステップＳ１）。そして、検索処理部４は、この取り込まれた映像の中の各物体を互いに識別する。この場合の識別の手法は、前述のように、様々なものが採用される。また、ユーザーは前記検索キー入力部３から音声・文字・画像などにより検索キーを入力する（ステップＳ３）。なお、前記のステップＳ１及びステップＳ２とステップＳ３とは、どちらが先でもよいし、また同時進行の関係でもよい。次に、検索処理部４は、前記の入力された検索キーと前記の識別した各物体とを比較・照合しながら、前記検索キーに対応（該当）するターゲットの物体を特定する（ステップＳ５）。次に、検索処理部４は、前記撮像部１からの映像と、前記撮像部１とレーザー光発生部５との間の空間的位置関係データとに基づいて、前記レーザー光発生部５から前記ターゲットの物体に向けてレーザー光を照射するための照射方向を計算し、この照射方向データをレーザー光発生部５に送信する（ステップＳ５）。レーザー光発生部５では、この照射方向データに基づいて、前記ターゲットの物体の方向に向けて、レーザー光を発生する（ステップＳ６）。

次に、本実施形態１の様々な用途について説明する。
（１）ユーザーが、コンピュータの操作を教室などで学んでいるとき、講師の説明を受けながら、キーボードなどを操作するとき、どのキーを押せばよいのか分からないことが多い。そのとき、本実施形態１（ブローチ型、ネックレス型、頭部装着型など）をユーザーの胸、首元、頭（おでこ）などに装着して、ユーザーが例えば「画面のプリントアウトのための操作」というキーワード又は文章を音声入力する。すると、本実施形態１の装置から「画面のプラントアウトのための操作」のための「キーのボタン」や「画面上のアイコン（絵文字）」に向けてレーザー光が照射されるので、ユーザーは容易に「次に押すべきキー」（コンピュータの操作の方法）を知ることができる。

（２）ユーザーが、自動車や飛行機の運転の操作を学んでいるときも、講師の説明を受けながら、どのメーターのどの部分を見ればよいのか、どの「操作ボタン」や「操作かん」を押せばよいのか分からないことも多い。その場合も、ユーザーが例えば「右旋回時の操作」という言葉を発することにより、そのために必要な一連の操作方法（最初にチェックすべきメーターの位置と、そのチェック後に操作すべき操作ボタンや操作カンの位置）を、レーザー光で指示できれば便利である。

（３）ユーザーが、図書館である題名の本を探すときに、書棚の中に大量に本があるために容易に探し出せないことが多い。その場合も、本実施形態１の検索キー入力部３に、ユーザーが、探している本の題名と作者名（例えば、「それから」夏目漱石）を検索キーとして音声入力すると、撮像部１が前記本棚の映像を撮り込んで、検索処理部４に送る。検索処理部４では、この映像に基づいて、本の背表紙の作者名と題名を読み取り（文字認識し）、該当する題名の本を検索する。該当する本があれば、その本に向けて、レーザー光を照射させる。これにより、ユーザーは、大量の本の中から容易に目指す本を探し出すことができる。

（４）ユーザーが地図（紙の地図又は情報機器のディスプレイ上の電子地図）を見ながら、ある地名又は建物名を探したいとき、地図には小さな文字が大量に表示されているため、容易にその地名や建物名が探し出せないことが多い（もっとも、電子地図の場合は検索機能が付いているものもあるが、紙の地図ではそれはない）。そのとき、本実施形態１の装置を使用して、例えば、ユーザーが東京都の地図を見ながら、「八重洲ビル」という検索キーを音声入力したとする。すると、撮像部１が地図を映像で取り込んで、検索処理部４に送る。検索処理部４は、この取り込んだ地図の映像に基づいて、その地図上に表示された大量の文字を認識する。そして、これらの認識した文字と比較しながら、「八重洲ビル」の文字を探す。検索処理部４がこの「八重洲ビル」の文字の場所を探し出したら、その場所に向けて、レーザー光を照射させる。これにより、ユーザーは、容易に地図上の「八重洲ビル」の場所を探し出すことができる。

（５）ユーザーが新聞（紙の新聞又は情報機器のディスプレイ上の電子新聞）を読むとき、例えば「特許」に関する記事は見逃さずに読むようにしたいと思っても、新聞の文字は大量であるため、見逃すことも少なくない。そこで、本実施形態１により、ユーザーが「特許」というキーワードを音声入力すると共に、撮像部１によりユーザーの眼前の新聞の映像を撮り込んで検索処理部４に送信する。検索処理部４では、受信した映像を文字認識することにより、文字認識した文字と「特許」というキーワードを比較・照合して、「特許」というキーワードを含む記事があるとどうかを検索し、該当する記事があれば、その記事の部分を、レーザー光で照射するようにする。これにより、ユーザーは、希望するキーワードを含む記事を見逃すことなく読むことが可能になる。

（６）ユーザーが病院内の多数のカルテ（紙のカルテ）を並べた棚からある一人の患者のカルテを取り出そうとするとき、カルテが多数あるために短時間内に探し出すことは困難である。そこで、本実施形態１を使用して、ユーザーがある患者の氏名を音声入力すると、まず、撮像部１によりカルテが並べられた棚を撮像して、その撮像データを検索処理部４に送る。また、検索処理部４は、その入力された氏名に対応する識別番号を取り出すとともに、識別番号を示す信号を無線で送信する。他方、各カルテには、予め、ＩＣチップが取り付けられており、この各ＩＣチップには、各患者の識別番号を記録する記録部と自己の位置データを無線送信する無線送信部とが形成されている。そのため、前記検索処理部４からある患者の識別番号が送信されると、その識別番号に対応するＩＣチップは、自己の位置データを前記検索処理部４に対して無線で返信する。検索処理部４は、この無線で返信された位置データと前記映像とに基づいて、レーザー光の照射方向を算出し、その求めるカルテの位置する場所に向けて、レーザー光を照射させる。

（７）ユーザーが戸外を歩いたり自動車でドライブしているとき、街中で、求める建物（建物の看板の文字）や道路標識（道路標識の文字）を見落としてしまったり、なかなか見つけられないということが少なくない。そこで、本実施形態１を使用して、ユーザーが、例えば、「大手町ビル」とか「国道２４６号線」というキーワードを音声入力するとする。すると、撮像部１が進行方向の周囲の景色を映像で取り込、検索処理部４に送る。検索処理部４では、この映像の中の所定の文字（建物の看板の文字や道路標識の文字）を文字認識して、前記の入力されたキーワードと比較・照合する。そして、前記キーワードに該当するものがあれば、その該当する建物や道路標識に向けて、レーザー光を照射する。

（８）ユーザー（医者）が患者の手術をしている場合でも、例えば、「肝臓」というキーワードを入力すれば、患者の内蔵を撮像して、その映像の中の「肝臓」の部分に向けて、レーザー光を照射することができる。

なお、本実施形態１では、レーザー光が当たったことを検知して音を発生する振動板やブザーなどを、検索対象物を含む「対象物（図１の符号２参照）」である操作機器の各部分に予めとり付けておくようにすれば、ユーザーに、レーザー光だけでなく、音によっても、検索結果であるターゲットの物体又は部分を指し示すことができる。

〔実施形態２〕
次に、本発明の実施形態２を図３に基づいて説明する。図３において、図１と共通する部分には、同一の符号を付している。図３において、１５は液晶表示装置などのディスプレイである。また、１４は、撮像部１からの対象物の映像と検索キーとに基づいてターゲットの物体又は部分を検索し、そのターゲットをディスプレイ１４上で指し示すための検索処理部である。

すなわち、この実施形態２では、ディスプレイ１５には、前記撮像部１からの映像がほぼそのまま表示されるようになっている。また、この実施形態２の検索処理部１４の検索動作は、実施形態１の検索処理部４（図１）とほぼ同様であるが、検索結果のターゲットの指し示すやり方が、実施形態１と異なっている。すなわち、この実施形態２では、検索結果であるターゲットの物体又は部分を指し示す方法として、実施形態１のようなレーザー光ではなく、ディスプレイ１５上の表示（例えば、矢印のマークの表示など）により、指し示すようにしている。この指し示す表示のやり方は、例えば、画面上の矢印、画面上の赤色の点、画面上のある点の点滅、などの様々な方法がありうる。

例えば、図４はこのディスプレイ１５の表示画面の一例を示すものである。この例では、ユーザーが戸外に出て、ある建物（例えば、「大手町ビル」）に行こうとしている場合である。ユーザーがその建物をなかなか見つけられないとき、ユーザーが「大手町ビル」と検索キーを音声入力する。すると、撮像部１が周囲の景色を映像として撮り込み、検索処理部１４に送る。検索処理部１４においては、前記の検索キー「大手町ビル」と、前記映像の中の建物の看板の文字との比較・照合を行い、該当する建物があれば、検索を終了する。そして、ディスプレイ１５の画面に、前記撮像部１からの映像（検索対象物をその一部として含む景色）を表示させると共に、その中の検索結果に該当する「大手町ビル」の建物（図４の符号２０）に、矢印(図４の符号２１）を表示させて、ユーザーに該当する建物を指し示す。このディスプレイ１５の画面は、ユーザーの眼前の景色とほぼ同一又は類似の景色を表示しているので、ユーザーは、このディスプレイ１５の画面を見ることにより、容易に求める建物を見つけることができるる。

１ 撮像部
３ 検索キー入力部
４ 検索処理部
５ レーザー光発生部
６ 筐体
７ パソコン
１４，１５ ディスプレイ

本発明は、ユーザーの周囲の実際の風景中に存在するユーザーが求める（探したい）現実の物（無体物をも含む）を、ユーザーが容易に発見又は認識できるようにするための、風景中の物体等のユーザーによる発見又は認識を支援するシステムに関する。

しかしながら、前記のレーザー・ポインタは、あくまで、使用者である講師が「自分が既に知っている或る箇所（ポイント）」を他人に指し示すときに使用するものであり、使用者自身が自分でターゲット（探し求める対象となる物体や部分）の場所を探すときには全く役に立たない。

本発明は、前述のような従来技術の問題などに触発されて為されたものであって、ユーザーが、「ユーザーの周囲の実際の風景の中に存在する複数の物（無体物をも含む）又はそれらの表示内容の中で、自らが求め若しくは探している対象又はその対象となっている物若しくは表示内容が、何処にあるか」を、ユーザーの周囲の実際の風景の中において容易に発見又は認識することを可能にする、風景中の物体等のユーザーによる発見又は認識を支援するシステムを提供することを目的とする。

（定義）
本明細書において、「検索対象物」は、物理的な物体（有体物）である場合が多いが、ディスプレイ画面（グラフィカル・ユーザー・インターフェース画面）上に表示されている複数のアイコンやボタンの中の一つ、などのような「実体の無いもの（無体物）」でもよい。本明細書では、これらの有体物と無体物とを併せて「物体」と呼ぶことがある。
また、本明細書において、「検索キー」は、文字（キーワード、文章、会話など）、記号、図形、画像、所定の音（音響、音声）など、検索（調べること、探すこと）のためのキーとなるものなら、どのようなものでもよい。
なお、本発明において、「検索対象物を含む映像の中の各物体又は部分を互いに識別する識別手段」による識別方式は、例えば、前記映像の中の各物体又は部分の色及び形状を検出して予め記憶した色又は形状のパターンと比較することにより識別する方式、前記各物体又は部分に表示された名前などの文字を読み取り認識する方式、前記各物体又は部分の表面に表示された識別用バーコード又は２次元コードや識別用カラーコードなどを読み取ることにより識別する方式、前記各物体又は部分に取り付けたＩＣチップ（半導体素子）に記録された識別コードをそのＩＣチップとの間で無線でやり取りすることにより識別する方式、などの様々な方式を採用することができる。
また本発明において、例えば、ユーザーが「パソコンの画面上のデータを、外付けの光磁気ディスクに保存する操作」を希望したとき、本発明によるポインティング装置は、まず、パソコン画面の「ファイル」のアイコンをレーザー光で指示し（これにより、ユーザーに、このアイコンをマウス等でクリックするように指示する）、次に、「名前を付けて保存」の文字のあるボタン部分をレーザー光で指示し（これにより、ユーザーに、「名前を付けて保存」のポタンをクリックするように指示する）、次に、「保存する場所」の文字のあるボタン部分をレーザー光で指示し（これにより、ユーザーに、「保存する場所」の文字のあるボタン部分をクリックするように指示する）、次に「保存の実行」のボタン部分をレーザー光で指示する（これにより、ユーザーに、「保存の実行」のボタン部分をクリックするように指示する）、というように、「データ保存のために必要な一連の操作」に必要な物体又は部分を、その一連の操作に即して、順次、ユーザーに対して、指し示していく。
また本発明において、「レーザー光が当たった（照射された）とき、その当たった場所又はその近傍で所定の音を発するための音発生手段」は、レーザー光が照射されたことを検知する検知手段と、この検知手段からの信号に基づいて駆動する振動板又はブザー等とから構成される。前記のレーザー光が照射されたことを検知する手段としては、例えば、受光素子などの光センサや、熱電素子などの熱センサ（レーザー光が照射されたスポットは、レーザー光のエネルギーにより他の部分よりも熱せられるから）などの様々なものが採用できる。
本明細書では、レーザー光線を検索対象物（ユーザーが求めているモノ、ユーザーが探したいモノ）に照射することにより、ユーザーに検索対象物を指し示すようにした発明、ディスプレイ画面上に「検索対象物とその周辺の物（人、動物、植物を含む）を示す映像を表示させながら、さらにその画面上で、検索対象物を、例えば矢印のマークなどで、指示すること」により、ユーザー（例えば、視力の衰えた老人など）に、求める検索対象物を指し示す発明、などを開示している。
また、本発明において、「文字」は数字を含み、「記号」はバーコード、２次元コード、又はカラーコードなどのような、所定の図形もしくは色のパターンから成る記号を含む。

本願の特許請求の範囲に記載された発明の内容は次のとおりである。
１．「ユーザーの周囲の実際の風景（ユーザーの目に見える様子）であって少なくとも建物、看板、道路、道路標識、棚、書架、パソコン、ビデオテープレコーダ、又は操作盤などの人工物をその一部として含む風景」の映像（動画又は静止画）を取得する映像取得手段と、画像、図形、文字又は記号により構成される検索用データを、入力、受信又は取得する検索用データ取得手段と、前記検索用データ取得手段により入力、受信又は取得された検索用データに基づいて、前記映像取得手段により取得された映像の中から、「前記検索用データに対応する、物、絵、図形、文字又は記号」を特定もしくは抽出する特定手段と、前記特定手段により特定または抽出された結果に基づいて、「前記特定もしくは抽出された『前記検索用データに対応する、物、絵、図形、文字又は記号』又はそれが付されている物（有体物だけでなく、ディスプレイ画面の中に存在しているアイコンもしくはボタンなどの無体物をも含む）の、前記ユーザーの周囲の実際の風景の中における位置又は存在」を、ユーザーが容易に発見又は認識できるように、表示装置の画面上で「前記位置又は存在を指示する表示」を行う表示制御手段と、を含むことを特徴とする、風景中の物体等のユーザーによる発見又は認識を支援するシステム。
２．「ユーザーの周囲の実際の風景（ユーザーの目に見える様子）であって少なくとも建物、看板、道路、道路標識、棚、書架、パソコン、ビデオテープレコーダ、又は操作盤などの人工物をその一部として含む風景」の映像（動画又は静止画）を取得する映像取得手段と、文字又は記号により構成され所定の意味を有する検索用データを、入力、受信又は取得する検索用データ取得手段と、前記検索用データ取得手段により入力、受信又は取得された検索用データに基づいて、前記映像取得手段により取得された映像の中から、「前記検索データの意味と一致する意味を有する、１つ又は複数の文字又は記号の列」を、特定もしくは抽出する特定手段と、前記特定手段により特定または抽出された結果に基づいて、「前記特定もしくは抽出された『文字又は記号の列』又はそれが付されている物（有体物だけでなく、ディスプレイ画面の中に存在しているアイコンもしくはボタンなどの無体物をも含む）の、前記ユーザーの周囲の実際の風景の中における位置又は存在」を、ユーザーが容易に発見又は認識できるように、表示装置の画面上で「前記位置又は存在を指示する表示」を行う表示制御手段と、を含むことを特徴とする、風景中の物体等のユーザーによる発見又は認識を支援するシステム。
３．「ユーザーの周囲の実際の風景（ユーザーの目に見える様子）であって少なくとも建物、看板、道路、道路標識、棚、書架、パソコン、ビデオテープレコーダ、又は操作盤などの人工物をその一部として含む風景」の映像（動画又は静止画）を取得する映像取得手段と、画像、図形、文字又は記号により構成される検索用データを、入力、受信又は取得する検索用データ取得手段と、前記検索用データ取得手段により入力、受信又は取得された検索用データに基づいて、前記映像取得手段により取得された映像の中から、「前記検索用データに対応する、物、絵、図形、文字又は記号」を特定もしくは抽出する特定手段と、前記特定手段により特定または抽出された結果に基づいて、「前記特定もしくは抽出された『前記検索用データに対応する、物、絵、図形、文字又は記号』又はそれが付されている物（有体物だけでなく、ディスプレイ画面の中に存在しているアイコンもしくはボタンなどの無体物をも含む）の、前記ユーザーの周囲の実際の風景の中における位置又は存在」をユーザーが容易に発見又は認識できるように、ユーザーの周囲の実際の風景の中で、前記位置又は存在を光などにより指示することにより、ユーザーの認識を支援する認識支援手段と、を含むことを特徴とする、風景中の物体等のユーザーによる発見又は認識を支援するシステム。
４．上記３において、前記認識支援手段は、ユーザーの周囲の実際の風景の中で、前記位置又は存在を、レーザー光照射手段から照射されるレーザー光により、指示するものである、ことを特徴とする、風景中の物体等のユーザーによる発見又は認識を支援するシステム。

（１）本願発明によれば、ユーザーは、「自らの周囲の実際の風景の中に存在する複数の物（ユーザーの周囲の景色中にディスプレイ画面が存在しているときのそのディスプレイ画面の中に表示されているアイコンやボタンなどの無体物をも含む）又はそれらの表示内容の中で、自らが求め若しくは探している対象又はその対象となっている物若しくは表示内容が何処にあるか」を、ユーザーの周囲の実際の風景の中において容易に発見又は認識できるようになる。
（２）本願発明中の一部の発明によれば、ユーザーは、自らの周囲の実際の風景の中に存在する複数の物（ユーザーの周囲の景色中にディスプレイ画面が存在しているときのそのディスプレイ画面の中に表示されているアイコンやボタンなどの無体物をも含む）又はそれらの表示内容の中から、自らが求め若しくは探している対象又はその対象となっている物若しくは表示内容を、例えば表示装置の画面に表示される表示物や表示内容により、ユーザーの周囲の実際の風景の中において容易に発見又は認識できるようになる。
（３）本願発明中の一部の発明によれば、ユーザーは、自らの周囲の実際の風景の中に存在する複数の物（ユーザーの周囲の景色中にディスプレイ画面が存在しているときのそのディスプレイ画面の中に表示されているアイコンやボタンなどの無体物をも含む）又はそれらの表示内容の中から、自らが求め若しくは探している対象又はその対象となっている物若しくは表示内容を、例えば実際の（現実の）世界において実際に照射されるレーザー光などにより、ユーザーの周囲の実際の風景の中において容易に発見又は認識できるようになる。

Claims (6)

1. 検索キーを入力するための検索キー入力手段と、
   検索対象物を含む映像を取り込むための撮像手段と、
   前記撮像手段により取り込まれた映像と前記検索キー入力手段から入力された検索キーとに基づいて、前記検索キーに対応する物体又は部分を検索する検索手段と、
   前記検索手段による検索結果と前記映像とに基づいて、レーザー光線の照射方向を算出する照射方向算出手段と、
   前記照射方向算出手段に基づいて、前記の対応する物体又は部分に向けて、レーザー光を照射するレーザー光発生手段と、
   を含むことを特徴とするポインティング装置。
2. 請求項１において、前記検索手段は、前記検索対象物を含む映像の中の各物体又は部分を、互いに識別する識別手段を含むものである、ことを特徴とするポインティング装置。
3. 請求項１又は２において、
   前記レーザー光発生手段は、指示すべき複数の物体又は部分を、所定の順序で順次照射していくものである、ことを特徴とするポインティング装置。
4. 請求項１、２又は３において、さらに、
   前記レーザー光が物体又は部分に照射されたとき、その当たった場所又はその近傍で所定の音を発するための音発生手段、
   を含むことを特徴とするポインティング装置。
5. 請求項１、２、３又は４において、さらに、
   前記レーザー光が肉眼で見えない場合に、前記レーザー光を肉眼で確認できるように画面に表示させるためのレーザー光表示手段、
   を含むことを特徴とするポインティング装置。
6. 検索キーを入力するための検索キー入力手段と、
   検索対象物を含む映像を取り込むための撮像手段と、
   前記撮像手段により取り込まれた映像と前記検索キー入力手段から入力された検索キーとに基づいて、前記検索キーに対応する物体又は部分を検索する検索手段と、
   前記検索手段による検索結果と前記映像とに基づいて、ユーザーに検索された物体又は部分を指し示すためのディスプレイと、
   を含むことを特徴とするポインティング装置。
   

Images