【特許請求の範囲】
【請求項１】
「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、
探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、
前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、
前記特定手段による特定又は抽出結果に基づいて、前記特定又は抽出された「ユーザーから見える実際の景色」の中の「前記探索用データに対応する特定対象物」の存在している場所又は方向を、所定の方法でユーザーに分かるように指示するためのポイント手段と、
を含むことを特徴とするポインティング装置。
【請求項２】
「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、
探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、
前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、
前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像を表示するための表示手段と、
前記特定手段による特定又は抽出結果に基づいて、前記表示手段により表示された前記「ユーザーから見える実際の景色」の映像の中の「前記探索用データに対応する特定対象物」の存在を、画面上での矢印の図形や赤などの色の点や点滅などによる指示表示により、ユーザーに分かるように示すためのポイント手段と、
を含むことを特徴とするポインティング装置。
【請求項３】
「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、
探索用の文字列データを入力又は取得するための探索用文字列データ取得手段と、
前記映像取得手段により取得された映像の中から映像中の文字列を文字認識して読み取るための文字認識手段と、
前記文字認識手段により認識された前記映像中の文字列と前記探索用文字列データ取得手段により取得された探索用文字列データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用文字列データに対応する文字列」を特定又は抽出するための特定手段と、
前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像を表示するための表示手段と、
前記特定手段による特定又は抽出結果に基づいて、前記表示手段により表示された前記「ユーザーから見える実際の景色」の映像の中の「前記探索用文字列データに対応する文字列」が存在している部分を、画面上での矢印の図形や赤などの色の点や点滅などによる指示表示により、ユーザーに分かるように示すためのポイント手段と、
を含むことを特徴とするポインティング装置。
【請求項４】
「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、
探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、
前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、
前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像と前記特定手段による特定又は抽出結果とに基づいて、前記「ユーザーから見える実際の景色」の中の前記「実際の特定対象物」の全部又は一部を指示するためのスポット光を発生するのに適したレーザー光の照射方向を求めるためのスポット光照射方向取得手段と、
前記スポット光照射方向取得手段に基づいて、前記「ユーザーから見える実際の景色」の中の前記「実際の特定対象物」の全部又は一部に向けて、スポット光を発生するのに適したレーザー光を照射するためのスポット光照射手段と、
を含むことを特徴とするポインティング装置。
【請求項５】
「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、
探索用の文字列データを入力又は取得するための探索用文字列データ取得手段と、
前記映像取得手段により取得された映像の中から映像中の文字列を文字認識して読み取るための文字認識手段と、
前記文字認識手段により認識された前記映像中の文字列と前記探索用文字列データ取得手段により取得された探索用文字列データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索文字列データに対応する文字列」を特定又は抽出するための特定手段と、
前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像と前記特定手段による特定又は抽出結果とに基づいて、前記「ユーザーから見える実際の景色」の中の前記「特定された実際の文字列」の全部又は一部を指示するためのスポット光を発生するのに適したレーザー光の照射方向を求めるためのスポット光照射方向取得手段と、
前記スポット光照射方向取得手段に基づいて、前記「ユーザーから見える実際の景色」の中の前記「特定された実際の文字列」の全部又は一部に向けて、スポット光を発生するのに適したレーザー光を照射するためのスポット光照射手段と、
を含むことを特徴とするポインティング装置。
【請求項６】
請求項５において、
前記スポット光照射手段は、指示すべき複数の特定対象物である物体又は部分を、所定の順序で順次照射しながら指示していくものである、ことを特徴とするポインティング装置。
[Claims]
[Claim 1]
An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object.
A search data acquisition means for inputting or acquiring search data such as a search character string, a figure, an image, or a sound, and a search data acquisition means.
Based on the video acquired by the video acquisition means and the search data acquired by the search data acquisition means, "corresponding to the search data" from the "actual scenery seen by the user" video. Specific means for identifying or extracting "specific objects" and
Based on the identification or extraction result by the identification means, the place or direction in which the "specific object corresponding to the search data" in the identification or extraction "actual scenery seen by the user" exists. , Point means for instructing the user to understand in a predetermined way,
A pointing device characterized by including.
2.
An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object.
A search data acquisition means for inputting or acquiring search data such as a search character string, a figure, an image, or a sound, and a search data acquisition means.
Based on the video acquired by the video acquisition means and the search data acquired by the search data acquisition means, "corresponding to the search data" from the "actual scenery seen by the user" video. Specific means for identifying or extracting "specific objects" and
A display means for displaying the image of the "actual scenery seen by the user" acquired by the image acquisition means, and
Based on the identification or extraction result by the specific means, the presence of the "specific object corresponding to the search data" in the image of the "actual scenery seen by the user" displayed by the display means is displayed on the screen. Point means to show to the user by the figure of the arrow above, the point of color such as red, and the instruction display by blinking, etc.
A pointing device characterized by including.
3.
An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object.
A search character string data acquisition means for inputting or acquiring search character string data, and
A character recognition means for recognizing and reading a character string in a video from the video acquired by the video acquisition means, and
In the video of the "actual scenery seen by the user" based on the character string in the video recognized by the character recognition means and the search character string data acquired by the search character string data acquisition means. To identify or extract the "character string corresponding to the search character string data" from
A display means for displaying the image of the "actual scenery seen by the user" acquired by the image acquisition means, and
Based on the identification or extraction result by the specific means, there is a "character string corresponding to the search character string data" in the image of the "actual scenery seen by the user" displayed by the display means. A point means for showing the part on the screen so that the user can understand it by displaying an arrow shape, a dot of a color such as red, or a blinking instruction.
A pointing device characterized by including.
4.
An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object.
A search data acquisition means for inputting or acquiring search data such as a search character string, a figure, an image, or a sound, and a search data acquisition means.
Based on the video acquired by the video acquisition means and the search data acquired by the search data acquisition means, "corresponding to the search data" from the "actual scenery seen by the user" video. Specific means for identifying or extracting "specific objects" and
Based on the image of the "actual scenery seen by the user" acquired by the image acquisition means and the identification or extraction result by the specific means, the "actual specific object" in the "actual scenery seen by the user" is specified. A spot light irradiation direction acquisition means for obtaining a laser beam irradiation direction suitable for generating spot light for indicating all or a part of an object, and a spot light irradiation direction acquisition means.
A laser suitable for generating spot light toward all or a part of the "actual specific object" in the "actual scenery seen by the user" based on the spot light irradiation direction acquisition means. Spot light irradiation means for irradiating light and
A pointing device characterized by including.
5.
An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object.
A search character string data acquisition means for inputting or acquiring search character string data, and
A character recognition means for recognizing and reading a character string in a video from the video acquired by the video acquisition means, and
In the video of the "actual scenery seen by the user" based on the character string in the video recognized by the character recognition means and the search character string data acquired by the search character string data acquisition means. To identify or extract the "character string corresponding to the search character string data" from
Based on the image of the "actual scenery seen by the user" acquired by the image acquisition means and the identification or extraction result by the specific means, the "identified actual scenery" in the "actual scenery seen by the user" is used. A spot light irradiation direction acquisition means for obtaining a laser beam irradiation direction suitable for generating a spot light for indicating all or a part of the "character string", and a spot light irradiation direction acquisition means.
Suitable for generating spot light toward all or part of the "specified actual character string" in the "actual scenery seen by the user" based on the spot light irradiation direction acquisition means. Spot light irradiation means for irradiating laser light and
A pointing device characterized by including.
6.
In claim 5,
The spot light irradiating means is a pointing device for instructing an object or a portion which is a plurality of specific objects to be instructed while sequentially irradiating them in a predetermined order.
【０００３】
【発明が解決しようとする課題】
しかしながら、前記のレーザー・ポインタは、あくまで、使用者である講師がある場所（ポイント）を他人に指し示すときに使用するものであり、使用者自身が自分でターゲット（求める物体や部分）の場所を探すときには全く役に立たない。
また、従来より、病院の紙媒体のカルテを探すのを光や音を利用して支援するためのカルテ探索支援システムが実用化されている。このシステムは、カルテのフォルダ（カルテを収納しておく容器）の背表紙に、予め、患者の名前や識別番号を記録したバーコード、カラーコード、磁気データ、又はＩＣチップ（半導体素子）などを記録しておくと共に、発光ダイオード（発光部）やブザー（音発生装置）を取り付けておく。そして、カルテが必要な患者について、その氏名や識別番号などの探索キーを入力すると、それに基づいて、対応する氏名や識別番号が記録されているフォルダを探索し、そのフォルダに取り付けてある発光部を光らせたり、そのフォルダに取り付けてあるブザーから音を鳴らせたりするものである。これにより、カルテを探す人は、大量のカルテの中から求めるものを容易に探し出すことができる。
しかしながら、このカルテ探索システムは、予め、カルテのフォルダに、患者の氏名や識別番号を記録したバーコード、カラーコード、磁気データ、又は半導体素子などを表示・取付けておくと共に、発光ダイオード（発光部）やブザー（音発生装置）を取り付けておくことが必要であるから、カルテなどの特定の種類のものにしか適用できず、様々なものに種類を問わずルーズに任意に適用することはできないという問題がある。
本発明はこのような従来技術の課題に着目してなされたもので、ユーザーの行動を支援するために、ユーザーが探している物体（建物や画面上の表示されたモノを含む）を画面上でユーザーに分かるように指し示すか又はスポット光を発生するのに適したレーザー光で指し示すことができるポインティング装置を提供することを目的とする。
0003
[Problems to be Solved by the Invention]
However, the above-mentioned laser pointer is used only when the instructor who is the user points to a certain place (point) to another person, and the user himself / herself points to the place (object or part) of the target (desired object or part). It's completely useless when looking for it.
In addition, a medical record search support system for assisting in searching for a paper medical record in a hospital by using light or sound has been put into practical use. This system puts a barcode, color code, magnetic data, IC chip (semiconductor element), etc. on which the patient's name and identification number are recorded in advance on the spine of the medical record folder (container for storing medical records). Record it and attach a light emitting diode (light emitting part) and a buzzer (sound generator). Then, when a search key such as the name and identification number is input for a patient who needs a medical record, the folder in which the corresponding name and identification number are recorded is searched based on the search key, and the light emitting unit attached to the folder is searched. It lights up or makes a sound from the buzzer attached to the folder. As a result, a person searching for a medical record can easily find what he / she wants from a large number of medical records.
However, this medical record search system displays and attaches a barcode, color code, magnetic data, semiconductor element, etc. on which the patient's name and identification number are recorded in the medical record folder in advance, and also displays and attaches a light emitting diode (light emitting unit). ) And buzzer (sound generator) must be installed, so it can be applied only to specific types such as medical records, and it cannot be applied loosely to various types regardless of type. There is a problem.
The present invention has been made by paying attention to such a problem of the prior art, and in order to support the user's behavior, the object (including the building and the displayed object on the screen) that the user is looking for is displayed on the screen. It is an object of the present invention to provide a pointing device capable of pointing so as to be understood by a user or pointing with a laser beam suitable for generating spot light.
第１ 本願の特許請求の範囲に記載された発明は、次のようなものである。
１ 「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、前記特定手段による特定又は抽出結果に基づいて、前記特定又は抽出された「ユーザーから見える実際の景色」の中の「前記探索用データに対応する特定対象物」の存在している場所又は方向を、所定の方法でユーザーに分かるように指示するためのポイント手段と、を含むことを特徴とするポインティング装置。
２ 「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像を表示するための表示手段と、前記特定手段による特定又は抽出結果に基づいて、前記表示手段により表示された前記「ユーザーから見える実際の景色」の映像の中の「前記探索用データに対応する特定対象物」の存在を、画面上での矢印の図形や赤などの色の点や点滅などによる指示表示により、ユーザーに分かるように示すためのポイント手段と、を含むことを特徴とするポインティング装置。
３ 「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、探索用の文字列データを入力又は取得するための探索用文字列データ取得手段と、前記映像取得手段により取得された映像の中から映像中の文字列を文字認識して読み取るための文字認識手段と、前記文字認識手段により認識された前記映像中の文字列と前記探索用文字列データ取得手段により取得された探索用文字列データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用文字列データに対応する文字列」を特定又は抽出するための特定手段と、前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像を表示するための表示手段と、前記特定手段による特定又は抽出結果に基づいて、前記表示手段により表示された前記「ユーザーから見える実際の景色」の映像の中の「前記探索用文字列データに対応する文字列」が存在している部分を、画面上での矢印の図形や赤などの色の点や点滅などによる指示表示により、ユーザーに分かるように示すためのポイント手段と、を含むことを特徴とするポインティング装置。
４ 「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、探索用の文字列、図形、画像、又は音などの探索用データを入力又は取得するための探索用データ取得手段と、前記映像取得手段により取得された映像と前記探索用データ取得手段により取得された探索用データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索用データに対応する特定対象物」を特定又は抽出するための特定手段と、前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像と前記特定手段による特定又は抽出結果とに基づいて、前記「ユーザーから見える実際の景色」の中の前記「実際の特定対象物」の全部又は一部を指示するためのスポット光を発生するのに適したレーザー光の照射方向を求めるためのスポット光照射方向取得手段と、前記スポット光照射方向取得手段に基づいて、前記「ユーザーから見える実際の景色」の中の前記「実際の特定対象物」の全部又は一部に向けて、スポット光を発生するのに適したレーザー光を照射するためのスポット光照射手段と、を含むことを特徴とするポインティング装置。
５ 「ユーザーから見える実際の景色であって、特定対象物である物体（建物や画面上に表示されたモノなどを含む）又はその部分を含む景色」の映像を取得するための映像取得手段と、探索用の文字列データを入力又は取得するための探索用文字列データ取得手段と、前記映像取得手段により取得された映像の中から映像中の文字列を文字認識して読み取るための文字認識手段と、前記文字認識手段により認識された前記映像中の文字列と前記探索用文字列データ取得手段により取得された探索用文字列データとに基づいて、前記「ユーザーから見える実際の景色」の映像の中から「前記探索文字列データに対応する文字列」を特定又は抽出するための特定手段と、前記映像取得手段により取得された「ユーザーから見える実際の景色」の映像と前記特定手段による特定又は抽出結果とに基づいて、前記「ユーザーから見える実際の景色」の中の前記「特定された実際の文字列」の全部又は一部を指示するためのスポット光を発生するのに適したレーザー光の照射方向を求めるためのスポット光照射方向取得手段と、前記スポット光照射方向取得手段に基づいて、前記「ユーザーから見える実際の景色」の中の前記「特定された実際の文字列」の全部又は一部に向けて、スポット光を発生するのに適したレーザー光を照射するためのスポット光照射手段と、を含むことを特徴とするポインティング装置。
６ 上記１−５において、前記スポット光照射手段は、指示すべき複数の特定対象物である物体又は部分を、所定の順序で順次照射しながら指示していくものである、ことを特徴とするポインティング装置。
第２ また、本願の特許請求の範囲に記載された発明ではないが本明細書の中で開示する発明は、次のようなものも含む。
Ａ．探索キーを入力するための探索キー入力手段と、特定対象物（ユーザーが求めているモノ、ユーザーが探したいモノ）を含む映像を撮り込むための撮像手段と、前記撮像手段により取り込まれた映像と前記探索キー入力手段から入力された探索キーとに基づいて、前記探索キーに対応する物体又は部分を探索する探索手段と、前記探索手段による探索結果と前記映像とに基づいて、スポット光を発生するのに適したレーザー光の照射方向を算出する方向算出手段と、前記方向算出手段に基づいて、前記の対応する物体に向けて、スポット光を発生するのに適したレーザー光を照射するレーザー発生手段と、を含むことを特徴とするポインティング装置。
Ｂ．上記Ａにおいて、前記探索手段は、前記特定対象物を含む映像の中の各物体又は部分を、互いに識別する識別手段を含むものである、ことを特徴とするポインティング装置。
なお、この識別手段による識別方式は、例えば、前記映像の中の各物体又は部分の色及び形状を検出して予め記憶した色又は形状のパターンと比較することにより識別する方式、前記各物体又は部分に表示された名前などの文字を読み取り認識する方式、前記各物体又は部分の表面に表示された識別用バーコード又は２次元コードや識別用カラーコードなどを読み取ることにより識別する方式、前記各物体又は部分に取り付けたＩＣチップ（半導体素子）に記録された識別コードをそのＩＣチップとの間で無線でやり取りすることにより識別する方式、などの様々な方式を採用することができる。
Ｃ．上記Ａ又はＢにおいて、前記スポット光を発生するのに適したレーザー光発生手段は、指示すべき複数の物体又は部分を、所定の順序で順次照射（指示）していくものである、ことを特徴とするポインティング装置。
本発明においては、例えば、ユーザーが「パソコンの画面上のデータを、外付けの光磁気ディスクに保存する操作」を希望したとき、本発明によるポインティング装置は、まず、パソコン画面の「ファイル」のアイコンをスポット光を発生するのに適したレーザー光で指示し（これにより、ユーザーに、このアイコンをマウス等でクリックするように指示する）、次に、「名前を付けて保存」の文字のあるボタン部分をスポット光を発生するのに適したレーザー光で指示し（これにより、ユーザーに、「名前を付けて保存」のポタンをクリックするように指示する）、次に、「保存する場所」の文字のあるボタン部分をスポット光を発生するのに適したレーザー光で指示し（これにより、ユーザーに、「保存する場所」の文字のあるボタン部分をクリックするように指示する）、次に「保存の実行」のボタン部分をスポット光を発生するのに適したレーザー光で指示する（是により、ユーザーに、「保存の実行」のボタン部分をクリックするように指示する）、というように、「データ保存のために必要な一連の操作」に必要な物体又は部分を、その一連の操作に即して、順次、ユーザーに対して、指し示していく。
Ｄ．上記Ａ、Ｂ又はＣにおいて、さらに、前記スポット光を発生するのに適したレーザー光が当たった（照射された）とき、その当たった場所又はその近傍で所定の音を発するための音発生手段、を含むことを特徴とするポインティング装置。
この音発生手段は、スポット光を発生するのに適したレーザー光が照射されたことを検知する検知手段と、この検知手段からの信号に基づいて駆動する振動板又はブザー等とから構成される。前記のスポット光を発生するのに適したレーザー光が照射されたことを検知する手段としては、例えば、受光素子などの光センサや、熱電素子などの熱センサ（スポット光を発生するのに適したレーザー光が照射されたスポットは、スポット光を発生するのに適したレーザー光のエネルギーにより他の部分よりも熱せられるから）などの様々なものが採用できる。
Ｅ．上記Ａ、Ｂ、Ｃ又はＤにおいて、さらに、前記スポット光を発生するのに適したレーザー光が肉眼で見えない場合に、前記スポット光を発生するのに適したレーザー光を肉眼で確認できるように画面表示させるためのスポット光を発生するのに適したレーザー光表示手段、を含むことを特徴とするポインティング装置。
Ｆ．探索キーを入力するための探索キー入力手段と、特定対象物を含む映像を取り込むための撮像手段と、前記撮像手段により取り込まれた映像と前記探索キー入力手段から入力された探索キーとに基づいて、前記探索キーに対応する物体又は部分を探索する探索手段と、前記探索手段による探索結果と前記映像とに基づいて、ユーザーに、探索された物体又は部分を示すためのディスプレイと、を含むことを特徴とするポインティング装置。
つまり、上記のＡ〜Ｅの発明では、スポット光を発生するのに適したレーザー光を特定対象物（ユーザーが求めているモノ、ユーザーが探したいモノ）に照射することにより、ユーザーに特定対象物を示すようにしているのに対して、このＦの発明では、ディスプレイ画面上に「特定対象物とその周辺の物（人、動物、植物を含む）を示す映像を表示させながら、さらにその画面上で、特定対象物を、例えば矢印のマークなどで示すこと」により、ユーザー（例えば、視力の衰えた老人など）に、求める特定対象物を示すものである。
1. The invention described in the claims of the present application is as follows.
1 As an image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object. , Search data acquisition means for inputting or acquiring search data such as character strings, figures, images, or sounds for search, video acquired by the video acquisition means, and acquisition by the search data acquisition means. A specific means for identifying or extracting a "specific object corresponding to the search data" from the "actual scenery seen by the user" image based on the search data, and the specific means. Based on the identification or extraction result by, the place or direction in which the "specific object corresponding to the search data" exists in the "actual scenery seen by the user" specified or extracted is determined. A pointing device comprising: a point means for instructing a user to understand in a way.
2 An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on the screen) or a part thereof" which is a specific object. , Search data acquisition means for inputting or acquiring search data such as character strings, figures, images, or sounds for search, video acquired by the video acquisition means, and acquisition by the search data acquisition means. Based on the search data, the specific means for identifying or extracting the "specific object corresponding to the search data" from the "actual scenery seen by the user" video, and the video acquisition. A display means for displaying an image of "actual scenery seen by the user" acquired by the means, and the "actual view seen by the user" displayed by the display means based on the identification or extraction result by the specific means. The existence of the "specific object corresponding to the search data" in the "scenery" image can be understood by the user by displaying an instruction such as an arrow shape, a colored dot such as red, or blinking on the screen. A pointing device comprising: Point means for indicating.
3 An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object. , Search character string data acquisition means for inputting or acquiring search character string data, and character recognition for character recognition and reading of a character string in a video from the video acquired by the video acquisition means. Based on the means, the character string in the video recognized by the character recognition means, and the search character string data acquired by the search character string data acquisition means, the "actual scenery seen by the user" To display a specific means for identifying or extracting the "character string corresponding to the search character string data" from the video and a video of the "actual scenery seen by the user" acquired by the video acquisition means. And the character string corresponding to the search character string data in the image of the "actual scenery seen by the user" displayed by the display means based on the identification or extraction result by the specific means. It is characterized by including a point means for showing the part where "" exists so that the user can understand it by displaying an instruction such as an arrow figure on the screen, a dot of a color such as red, or blinking. Pointing device.
4 As an image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object. , Search data acquisition means for inputting or acquiring search data such as character strings, figures, images, or sounds for search, video acquired by the video acquisition means, and acquisition by the search data acquisition means. Based on the search data, the specific means for identifying or extracting the "specific object corresponding to the search data" from the "actual scenery seen by the user" video, and the video acquisition. Based on the image of the "actual scenery seen by the user" acquired by the means and the identification or extraction result by the specific means, the "actual specific object" in the "actual scenery seen by the user" Based on the spot light irradiation direction acquisition means for obtaining the irradiation direction of the laser beam suitable for generating the spot light for instructing all or a part, and the spot light irradiation direction acquisition means, the above-mentioned "from the user". Includes a spot light irradiating means for irradiating a laser beam suitable for generating spot light toward all or a part of the "actual specific object" in the "visible actual scenery". A pointing device characterized by.
5 An image acquisition means for acquiring an image of "an actual scenery seen by the user and including an object (including a building or an object displayed on a screen) or a part thereof" which is a specific object. , Search character string data acquisition means for inputting or acquiring search character string data, and character recognition for character recognition and reading of a character string in a video from the video acquired by the video acquisition means. Based on the means, the character string in the video recognized by the character recognition means, and the search character string data acquired by the search character string data acquisition means, the "actual scenery seen by the user" By the specific means for specifying or extracting the "character string corresponding to the search character string data" from the video, the video of the "actual scenery seen by the user" acquired by the video acquisition means, and the specific means. Suitable for generating a spotlight to indicate all or part of the "identified actual character string" in the "actual scenery seen by the user" based on the identification or extraction result. The "specified actual character string" in the "actual scenery seen by the user" based on the spot light irradiation direction acquisition means for obtaining the irradiation direction of the laser light and the spot light irradiation direction acquisition means. A pointing device comprising: a spot light irradiating means for irradiating a laser beam suitable for generating spot light toward all or a part of the above.
6 In the above 1-5, the spot light irradiating means is characterized in that an object or a portion which is a plurality of specific objects to be instructed is instructed while being sequentially irradiated in a predetermined order. Pointing device.
Second, the inventions disclosed in the present specification, which are not the inventions described in the claims of the present application, also include the following inventions.
A. A search key input means for inputting a search key, an imaging means for capturing an image including a specific object (thing that the user wants, an object that the user wants to find), and an image captured by the imaging means. Based on the search means and the search key input from the search key input means, the search means for searching the object or part corresponding to the search key, and the spot light based on the search result by the search means and the video. Based on the direction calculation means for calculating the irradiation direction of the laser light suitable for generation and the direction calculation means, the laser light suitable for generating the spot light is irradiated toward the corresponding object. A pointing device comprising a laser generating means.
B. In A, the pointing device is characterized in that the search means includes identification means for identifying each object or part in an image including the specific object.
The identification method by the identification means is, for example, a method of detecting the color and shape of each object or part in the image and comparing it with a color or shape pattern stored in advance, the above-mentioned object or the identification method. A method of reading and recognizing characters such as a name displayed on a part, a method of identifying by reading an identification barcode or a two-dimensional code or an identification color code displayed on the surface of each object or part, each of the above. Various methods such as a method of identifying an identification code recorded on an IC chip (semiconductor element) attached to an object or a part by wirelessly exchanging the identification code with the IC chip can be adopted.
C. In A or B, the laser light generating means suitable for generating the spot light sequentially irradiates (instructs) a plurality of objects or parts to be instructed in a predetermined order. A featured pointing device.
In the present invention, for example, when a user desires "an operation of saving data on a computer screen to an external magneto-optical disk", the pointing device according to the present invention first uses a "file" on the computer screen. Direct the icon with a laser beam suitable for generating spotlight (this tells the user to click on this icon with a mouse, etc.), then the words "Save As" Direct a button area with a laser beam suitable for generating spotlight (this tells the user to click the "Save As" icon), and then "Where to save". Instruct the button part with the word "" with a laser beam suitable for generating spot light (this tells the user to click the button part with the word "Save in"), and then Instruct the button part of "Execute save" with a laser beam suitable for generating spot light (instruct the user to click the button part of "Execute save"). In addition, the objects or parts required for "a series of operations necessary for data storage" are sequentially pointed to the user according to the series of operations.
D. In the above A, B or C, when a laser beam suitable for generating the spot light is hit (irradiated), a sound generating means for emitting a predetermined sound at or near the hit place. A pointing device comprising ,.
This sound generating means is composed of a detecting means for detecting that a laser beam suitable for generating spot light is irradiated, and a diaphragm or a buzzer that is driven based on a signal from the detecting means. .. As a means for detecting that a laser beam suitable for generating the spot light is irradiated, for example, an optical sensor such as a light receiving element or a thermal sensor such as a thermoelectric element (suitable for generating spot light). As the spot irradiated with the laser light, various things such as (because it is heated more than other parts by the energy of the laser light suitable for generating the spot light) can be adopted.
E. In the above A, B, C or D, when the laser light suitable for generating the spot light is not visible to the naked eye, the laser light suitable for generating the spot light can be confirmed with the naked eye. A pointing device comprising a laser light display means, which is suitable for generating spot light for displaying on a screen.
F. Based on a search key input means for inputting a search key, an imaging means for capturing an image including a specific object, an image captured by the imaging means, and a search key input from the search key input means. A search means for searching for an object or part corresponding to the search key, and a display for showing the user the searched object or part based on the search result by the search means and the video. A pointing device characterized by that.
That is, in the above inventions A to E, the user is specified by irradiating the specific object (the object that the user wants, the object that the user wants to find) with a laser beam suitable for generating spot light. While the object is shown, in the invention of F, while displaying an image showing the specific object and its surrounding objects (including humans, animals, and plants) on the display screen, the object is further displayed. By "indicating a specific object on the screen with, for example, an arrow mark", the user (for example, an old man with impaired eyesight) is shown the desired specific object.
【００１９】
【発明の効果】
（１）本発明によれば、ユーザーが求める特定対象物（物体又は部分）を探索して、それを、スポット光を発生するのに適したレーザー光で照射しすることにより、ユーザーに指し示すことができるので、ユーザーの行動を支援することが可能になる。
（２）また、本発明によれば、ユーザーが求める特定対象物（物体又は部分）を探索して、それを、ディスプレイの画面上で、前記特定対象物をその一部として含む映像を表示させながら、その特定対象物の存在を矢印のマークなどで示すことにより、ユーザーにその存在を示すことができるので、ユーザーの行動を支援することができる。
0019
【Effect of the invention】
(1) According to the present invention, a specific object (object or part) desired by the user is searched for and pointed to the user by irradiating it with a laser beam suitable for generating spot light. It becomes possible to support the user's behavior.
(2) Further, according to the present invention, a specific object (object or part) desired by the user is searched for, and an image including the specific object as a part thereof is displayed on the screen of the display. However, by indicating the existence of the specific object with an arrow mark or the like, the existence of the specific object can be indicated to the user, so that the user's behavior can be supported.