JP2011198304A - Head mount display - Google Patents
Head mount display Download PDFInfo
- Publication number
- JP2011198304A JP2011198304A JP2010067098A JP2010067098A JP2011198304A JP 2011198304 A JP2011198304 A JP 2011198304A JP 2010067098 A JP2010067098 A JP 2010067098A JP 2010067098 A JP2010067098 A JP 2010067098A JP 2011198304 A JP2011198304 A JP 2011198304A
- Authority
- JP
- Japan
- Prior art keywords
- image
- presentation
- information
- user
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、シースルー型のヘッドマウントディスプレイに関するものである。 The present invention relates to a see-through type head mounted display.
従来から、音声認識に関する提案がなされている。例えば、位置情報取得手段と、データベース選択手段と、音声認識手段とを備える音声認識装置が提案されている(例えば、特許文献1参照)。特許文献1の音声認識装置において、位置情報取得手段は、位置情報を取得する。データベース選択手段は、位置情報に対応付けられた、音声の特徴量に対応する文字情報を出力するデータベースを選択する。音声認識手段は、選択されたデータベースを用いて音声認識を行う。音声認識装置は、使用するデータベースが決定すると、音声入力を受け付け、音声認識を行う。そして、音声認識の結果である文字情報が、音声認識装置が備える表示部に表示される。
Conventionally, proposals related to speech recognition have been made. For example, a voice recognition device including a position information acquisition unit, a database selection unit, and a voice recognition unit has been proposed (see, for example, Patent Document 1). In the speech recognition apparatus disclosed in
ところで、所定のオブジェクトに対して所望の情報を得ようとするとき、そのオブジェクトの指定に関し、オブジェクトを示す固有名詞を用いた指定は煩雑で困難な場合がある。例えば、固有名詞を示す文字数が長く、また発音しにくい場合がある。固有名詞による指定が困難な場合、固有名詞によって示されるオブジェクトを対象として、ユーザが要求した処理を好適に実行することができないおそれがある。なお、ユーザが、オブジェクトを示す固有名詞を知らない場合などについても、同様の問題が発生し得る。 By the way, when it is desired to obtain desired information for a predetermined object, it may be complicated and difficult to specify the object using a proper noun indicating the object. For example, the number of characters indicating proper nouns may be long and difficult to pronounce. When designation with proper nouns is difficult, there is a possibility that the process requested by the user cannot be suitably executed on the object indicated by the proper noun. The same problem may occur when the user does not know the proper noun indicating the object.
本発明は、ユーザが視認している外界に含まれるオブジェクトを好適に指定し、このオブジェクトを対象として要求された処理を好適に実行することが可能なヘッドマントディスプレイを提供することを目的とする。 An object of the present invention is to provide a head cloak display capable of suitably designating an object included in the outside world visually recognized by a user and appropriately executing a requested process for the object. .
上記従来の課題に鑑みなされた本発明の一側面は、ユーザの頭部に装着され、所定の画像を前記ユーザの眼に視認可能に提示し、前記画像を視認している前記ユーザが外界像を前記画像と重ねて視認可能なシースルー型のヘッドマウントディスプレイであって、前記画像を提示する画像提示手段と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第1位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサと、所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第2位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第1位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第2位置情報に対応付けられた前記提示情報を検索する検索手段と、前記検索手段によって検索された少なくとも1つの前記提示情報が、前記検出センサによって検出された前記第1位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、前記ユーザが発声した音声を取得する音声取得手段と、前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第1特定手段と、前記画像提示制御手段によって提示された前記提示画像に含まれる前記提示情報から、前記第1特定手段によって特定された前記指示代名詞に対応する一の提示情報を特定する第2特定手段と、前記第2特定手段によって特定された前記一の提示情報を対象として、前記第1特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段とを備えることを特徴とするヘッドマウントディスプレイである。 One aspect of the present invention made in view of the above-described conventional problems is that the user who is worn on the user's head, presents a predetermined image to the user's eyes so as to be visible, and the user viewing the image is an external image. Is a see-through type head-mounted display that can be viewed with being superimposed on the image, the image presenting means for presenting the image, and a first position indicating the position of the head-mounted display mounted on the user's head A detection sensor that detects position information, direction information indicating a direction in which the head mounted display that is mounted on the user's head is facing, presentation information indicating a predetermined object, and a position of the object. A predetermined storage means stored in association with the second position information shown, and the first position information detected by the detection sensor and Search means for searching for the presentation information associated with the second position information included in the predetermined range specified by the writing direction information, and at least one of the presentation information searched by the search means includes the detection An image generation means for generating a presentation image arranged corresponding to the first position information and the direction information detected by the sensor, and the presentation image generated by the image generation means is presented from the image presentation means. The image presentation control means for controlling the sound, the voice acquisition means for acquiring the voice uttered by the user, and the voice acquired by the voice acquisition means are recognized and converted into data representing the recognized voice content. A voice recognition means, a voice pronoun and a request for execution of a predetermined process from the voice content converted by the voice recognition means; One presentation information corresponding to the indicating pronoun identified by the first identification means is identified from the presentation information included in the presentation image presented by the first identification means to be determined and the image presentation control means. A second specifying unit; and a processing unit that executes the predetermined process for the request specified by the first specifying unit with respect to the one presentation information specified by the second specifying unit. Is a head mounted display.
これによれば、指示代名詞でオブジェクトを指定することが可能で、指定されたオブジェクトを示す一の提示情報を特定し、これを対象とした所定の処理を実行させることができる。なお、「前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置」は、ヘッドマウントディスプレイを頭部に装着しているユーザの位置に一致する。また、「前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向」は、ヘッドマウントディスプレイを頭部に装着しているユーザが向いている方向に一致する。 According to this, it is possible to designate an object with a pronoun, and it is possible to identify one presentation information indicating the designated object and to execute a predetermined process for this. Note that “the position of the head-mounted display in a state of being mounted on the head of the user” corresponds to the position of the user who is mounting the head-mounted display on the head. Further, “the direction in which the head-mounted display in the state of being mounted on the head of the user is facing” corresponds to the direction in which the user who is mounting the head-mounted display is facing.
このヘッドマウントディスプレイは、次のような構成とすることもできる。すなわち、前記第2特定手段は、前記提示画像の水平方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴としてもよい。これによれば、提示画像の水平方向の中心部分に配置されている一の提示情報を、所定の処理の対象として特定することができる。 This head mounted display can also be configured as follows. That is, the second specifying unit may specify the presentation information arranged at a central portion in the horizontal direction of the presentation image as the one presentation information. According to this, it is possible to specify one piece of presentation information arranged at the central portion in the horizontal direction of the presentation image as a target for a predetermined process.
また、前記第2特定手段は、前記提示画像の水平方向および鉛直方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴としてもよい。これによれば、提示画像の水平方向および鉛直方向の中心部分、換言すれば、ユーザの向いている方向に配置されている一の提示情報を、所定の処理の対象として特定することができる。 The second specifying means may specify the presentation information arranged at a central portion in a horizontal direction and a vertical direction of the presentation image as the one presentation information. According to this, it is possible to specify, as a predetermined processing target, one piece of presentation information arranged in the horizontal and vertical central portions of the presentation image, in other words, the direction in which the user is facing.
また、前記処理手段は、前記第2特定手段によって特定された前記一の提示情報に関連する関連情報を特定し、前記関連情報を含む関連画像を生成し、前記画像提示制御手段は、前記画像提示手段から、前記処理手段によって生成された前記関連画像が提示されるように制御することを特徴としてもよい。これによれば、一の提示情報に関連する関連情報を提示することができる。 Further, the processing means specifies related information related to the one presentation information specified by the second specifying means, generates a related image including the related information, and the image presentation control means Control may be performed so that the related image generated by the processing means is presented from the presenting means. According to this, related information related to one presentation information can be presented.
本発明によれば、ユーザが視認している外界に含まれるオブジェクトを好適に指定し、このオブジェクトを対象として要求された処理を好適に実行することが可能なヘッドマントディスプレイを得ることができる。 ADVANTAGE OF THE INVENTION According to this invention, the head capant display which can designate suitably the object contained in the external field which the user visually recognizes, and can perform suitably the process requested | required by this object can be obtained.
本発明を実施するための実施形態について、図面を用いて以下に詳細に説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略しまたは他の構成などに置換してもよい。また、他の構成を含むようにしてもよい。 Embodiments for carrying out the present invention will be described below in detail with reference to the drawings. The present invention is not limited to the configurations described below, and various configurations can be employed in the same technical idea. For example, some of the configurations described below may be omitted or replaced with other configurations. Moreover, you may make it include another structure.
(ヘッドマウントディスプレイ)
ヘッドマウントディスプレイ(以下、「HMD」ともいう。)10は、図1に示すようにユーザの頭部に装着され、このユーザに所定の画像を提示する。ユーザは提示された所定の画像を視認する。HMD10は、例えば眼鏡のフレームに類似した形状のフレーム102を有し、ユーザの頭部に装着される。ユーザの左眼の前方には、後述する構成が内蔵された筐体104が設置されている。筐体104は、所定の方法(ネジ止めや所定の係合機構を用いるなど)でフレーム102に取り付けられている。筐体104には、ハーフミラー106が取り付けられている。
(Head mounted display)
A head mounted display (hereinafter also referred to as “HMD”) 10 is mounted on the user's head as shown in FIG. 1 and presents a predetermined image to the user. The user visually recognizes the presented predetermined image. The HMD 10 has a
HMD10は、筐体104内に図2に示される構成を内蔵している。すなわち、HMD10は、CPU22と、ROM24と、RAM26とを備える。また、HMD10は、画像提示部28と、GPS(Global Positioning System)34と、方位・傾きセンサ32と、地理情報データベース(以下、「地理情報DB」ともいう。)36とを備える。さらに、HMD10は、マイク38と、辞書データベース(以下、「辞書DB」ともいう。)40と、操作部42とを備える。
The HMD 10 has a configuration shown in FIG. That is, the HMD 10 includes a
CPU22は、HMD10で実行される各種の処理を制御する。ROM24は、HMD10で実行される各種の処理のためのプログラムなどを記憶する。ROM24は、例えばプログラムROMおよびフラッシュROMを含む。RAM26は、CPU22が所定の処理を実行するとき作業領域として利用される。画像提示部28は、CPU22が所定の処理を実行することで生成された所定の画像をユーザに提示する。画像提示部28は、例えば、網膜走査型のディスプレイを用いて構成することができる。網膜走査型のディスプレイで画像が提示される際には、まず、所定の画像を表す画像光が2次元方向に走査される。そして、その走査された画像光は、ハーフミラー106でユーザの左眼方向に反射されて、ユーザの左眼に導かれる。そして、外界像を表す外界光の一部も、ハーフミラー106を透過し、ユーザの左眼に導かれる。すなわち、ユーザは、画像光を外界光に重畳した状態で視認する。走査された画像光が網膜上に投影されることで、所定の画像が形成される。画像提示部28は、この他、液晶ディスプレイ、有機EL(Organic Electroluminescence)ディスプレイその他の装置を用いた構成としてもよい。
The
方位・傾きセンサ32は、図1に示すようにユーザの頭部に装着された状態のHMD10が向いている方位を検出する。また、このユーザの頭部に装着された状態のHMD10の傾きを検出する。すなわち、方位・傾きセンサ32は、現在、ユーザの頭部に装着された状態のHMD10が向いている方向(図1の「HMD方向」参照)を検出する。傾きの検出について、例えば図1では、HMD10は水平な状態となっており、検出される傾きは0°となる。傾きは、例えば加速度センサによって検出することも可能である。方位は、例えば磁気センサなどによって検出することも可能である。方位・傾きセンサ32が加速度センサおよび磁気センサを含むような構成とすることもできる。GPS34は、ユーザの頭部に装着された状態のHMD10が、現在、存在している位置の緯度と経度とで構成される位置情報を検出する。なお、HMD10が向いている方位は、ユーザが向いている方位とみなすことができる。HMD10の傾きは、ユーザの頭部の傾きとみなすことができる。すなわち、HMD10が向いている方向は、ユーザが向いている方向とみなすことができる。また、HMD10が存在している位置は、ユーザが存在している位置とみなすことができる。
The azimuth /
地理情報DB36は、地理的情報が登録されたデータベースである。例えば、オブジェクトを示す提示情報、そのオブジェクトが存在する位置の緯度と経度とで構成される位置情報と、そのオブジェクトに関する画像(写真)データ、そのオブジェクトに関する説明情報などが関連付けて記憶されている。オブジェクトを示す提示情報には、例えばオブジェクトの名称が含まれる。また、オブジェクトには、例えば、観光スポットなどの所定の場所または建造物、ショップ、道路(街道)などが含まれる。なお、以下の説明では、オブジェクトを示す提示情報として、オブジェクトの名称を例に説明する。
The
マイク38は、ユーザが発声した音声の入力を受ける。なお、入力された音声は電気信号に変換される。辞書DB40は、マイク38に入力された音声に対する音声認識によってデータ変換された音声内容を解析(例えばテキスト解析)などするためのデータベースである。操作部42は、ユーザからの指令を受け付ける。操作部42は、例えば所定のキーなどによって構成される。
The
HMD10では、CPU22が、ROM24に記憶された、例えば図3に示すメイン処理のためのプログラムと、図6に示す音声認識処理のためのプログラムとをRAM26上で処理することで、所定の機能が実行される。その際、CPU22は、方位・傾きセンサ32、GPS34、マイク38によって検出されたデータ、地理情報DB36、辞書DB40に登録されたデータなどを使用する。また、CPU22は、画像提示部28を制御する。これによって、所定の機能手段が実現される。
In the
(メイン処理)
HMD10では、図3に示すメイン処理が実行される。この処理は、ユーザが操作部42を操作し、この処理の開始を指令した場合に開始される。この処理を開始したCPU22は、図6に示す音声認識処理を開始する(S100)。すなわち、CPU22は、メイン処理と並行して音声認識処理を実行する。音声認識処理については後述する。
(Main process)
In the
次に、CPU22は、方位・傾きセンサ32で検出された方位および傾きによって特定される方向情報と、GPS34で検出された位置情報とを取得する(S102)。なお、S102で検出された方位と傾きと位置とに基づけば、ユーザの頭部に装着された状態のHMD10が、どの位置でどの方向を向いているかを特定することができる。具体的に、GPS34で北緯「42°」、西経「75°」が検出され、方位・傾きセンサ32によって方位「北」および傾き「15°」(仰角をプラスとする。)が検出された場合、ユーザの頭部に装着された状態のHMD10は、北緯42°、西経75°の位置で、かつ15°仰角した状態で北の方向を向いていることが特定される。
Next, the
S102を実行した後、S104でCPU22は、地理情報DB36にアクセスする。そして、CPU22は、S102で取得された方向情報と位置情報とを条件として、ユーザの頭部に装着された状態のHMD10が存在している位置で、HMD10が向いている方向の所定の範囲に存在しているオブジェクトの名称を、地理情報DB36から検索する。S104で実行される検索における所定の範囲は、例えば画像提示部28で画像を提示することができる範囲である提示範囲(画角範囲)282(図4参照)に対応して決定されている。例えば、S102で、方位「北」、傾き「15°」、北緯「42°」、西経「75°」が検出されていた場合、人間が北緯42°、西経75°の位置で、頭部を15°仰角した状態で北の方角を向いたときに視認できる範囲の内、画像提示部28の提示範囲に対応した範囲であって、HMD10から所定の距離以内(例えば、視点高さ160cmにおける地平線までの距離である4.5km以内)が所定の範囲となる。そして、その特定された範囲に含まれる緯度と経度とで構成される位置情報に対応付けて地理情報DB36に登録されているオブジェクトの名称が検索される。
After executing S102, the
また、S104でCPU22は、検索されたオブジェクトの名称が、GPS34によって検出された位置情報と、方位・傾きセンサ32によって検出された方向情報とに対応して配置された提示画像を生成する。例えば、図4(a)に示すような、所定のビル名、橋名、道路名(街道名)および河川名を含む提示画像が生成される。さらに、S104でCPU22は、生成された提示画像が画像提示部28から提示されるように制御する。S102で取得した方向情報と位置情報とを用いた検索では、地理情報DB36からいずれのオブジェクトの名称も検索されなかった場合、S104でCPU22は、オブジェクトの名称を含まないブランク状態の提示画像(ブランク画像)を生成する。そして、CPU22は、画像提示部28からブランク画像が提示されるように制御する。
In S <b> 104, the
S104が実行されたときユーザは、例えば図4(b)に示すように、図4(a)の提示画像が重ねられた外界像を視認する。なお、図4(a),(b)において、破線で示された四角形領域は、画像提示部28の提示範囲282を示すものである。提示画像は、この提示範囲282に一致するサイズで生成される。
When S104 is executed, for example, as shown in FIG. 4B, the user visually recognizes an external image on which the presentation image of FIG. 4A is superimposed. In FIGS. 4A and 4B, a square area indicated by a broken line indicates a
S106でCPU22は、提示範囲282に提示されている提示画像がオブジェクトの名称を含むかについて判断する。判断の結果、提示画像がオブジェクトの名称を含まない、すなわちS104でブランク画像が提示されていた場合、CPU22は判断を否定し(S106:No)、処理をS108に移行する。一方、提示画像がオブジェクトの名称を含む、すなわちS104で図4(a)に示すような提示画像が提示されていた場合、その判断を肯定し(S106:Yes)、処理をS110に移行する。
In S <b> 106, the
S108でCPU22は、変数「Flag」を、オブジェクトの名称が含まれていないことを示す「false」に設定する。なお、「false」は、例えばRAM26の所定の領域に記憶される。そして、CPU22は、処理をS102に戻し、再度、S102以降の処理を実行する。S110でCPU22は、提示画像の中心部分に配置されているオブジェクトの名称を取得し、これを例えばRAM26の所定領域に記憶する。本実施形態では、図5に示すように、提示範囲282の水平方向(左右方向)の中心をとおる鉛直な中心線C1から水平方向に一定の距離離れた直線L1,L2と、鉛直方向(上下方向)の中心をとおる水平な中心線C2から鉛直方向に一定の距離離れた直線L3,L4によって囲まれる範囲S1に提示される提示画像の部分が、中心部分に設定されている。なお、直線L1,L2の間隔は、提示範囲282の水平方向の幅の、例えば3分の1以下となるように設定されている。また、直線L3,L4の間隔は、提示範囲282の鉛直方向の幅の、例えば3分の1以下となるように設定されている。図4(b)に示す例によれば、S110では、オブジェクトの名称として「AAAビル」が取得され、これがRAM26の所定の領域に記憶される。なお、図5に示す範囲S1,S2については後述する。
In S108, the
S110を実行した後、S112でCPU22は、変数「Flag」を、オブジェクトの名称が含まれていることを示す「true」に設定し、処理をS114に移行する。なお、「true」は、例えばRAM26の所定の領域に記憶される。S114でCPU22は、操作部42を介して、この処理の終了を示す終了トリガが入力されたかについて判断する。判断の結果、終了トリガが入力されていない場合(S114:No)、CPU22は、処理をS102に戻し、再度、S102以降の処理を実行する。一方、終了トリガが入力された場合(S114:Yes)、CPU22は、この処理を終了する。
After executing S110, in S112, the
(音声認識処理)
HMD10では、図6に示す音声認識処理が実行される。この処理は、図3に示すメイン処理のS100で開始され、メイン処理と並列して実行される。この処理を開始したCPU22は、マイク38に入力されたユーザが発声した音声を取得する(S200)。そして、S202でCPU22は、取得した音声を対象として音声認識を行い、取得された音声を、音声認識された音声内容を表すデータ(任意のフォーマットでよいが、例えば、ASCII,Unicode,EUCなどの文字コードを用いたテキスト)に変換する。また、S202でCPU22は、変換された音声内容を解析し、音声内容から、一の意味内容を有するセンテンスを1つまたは複数抽出する。S202でCPU22は、辞書DB40にアクセスし、これを参照して音声認識およびセンテンスの抽出を実行する。
(Voice recognition processing)
In the
S202を実行した後、CPU22は、S202によってセンテンスが抽出されたかについて判断する。判断の結果、センテンスが抽出されていない場合(S204:No)、CPU22は、処理をS200に戻し、再度、S200以降の処理を実行する。一方、センテンスが抽出された場合(S204:Yes)、CPU22は、抽出されたセンテンスに特定の指示代名詞が含まれているかについて判断する(S206)。ここで、特定の指示代名詞には、例えば場所を示す指示代名詞である「ここ」、「そこ」または「あそこ」などが含まれる。S206でCPU22は、辞書DB40にアクセスし、これを参照する。例えば、抽出されたセンテンスが、「AAAビルについて教えて」または「AAAビルの訪問日時を記憶」などであった場合、S206の判断は否定される(S206:No)。一方、抽出されたセンテンスが「ここについて教えて」または「ここの訪問日時を記憶」であった場合、S206の判断は肯定される(S206:Yes)。
After executing S202, the
S206の判断の結果、特定の指示代名詞が含まれていない場合(S206:No)、CPU22は、処理をS214に移行する。一方、指示代名詞が含まれている場合(S206:Yes)、CPU22は、図3に示すメイン処理のS108またはS112で設定され、RAM26の所定の領域に記憶された変数「Flag」の値を判断する(S208)。判断の結果、変数「Flag」が「true」ではない、すなわち「false」である場合(S208:No)、CPU22は、処理をS200に戻し、再度、S200以降の処理を実行する。一方、変数「Flag」が「true」である場合(S208:Yes)、CPU22は、処理をS210に移行する。なお、「Flag」が「true」である状態は、図3に示すメイン処理のS104で生成され提示された提示画像にオブジェクトの名称が含まれていた状態である(図3のS106:Yes,S112参照)。一方、「Flag」が「false」である状態は、図3に示すメイン処理のS104で生成され提示された提示画像がブランク画像であって、オブジェクトの名称が含まれていない状態である(図3のS106:No,S108参照)。
When the specific pronoun is not included as a result of the determination in S206 (S206: No), the
S210でCPU22は、図3に示すメイン処理のS110でRAM26の所定の領域に記憶されたオブジェクトの名称を取得する。そして、CPU22は、S202の音声認識によって抽出されたセンテンスに含まれる特定の指示代名詞を、S210で取得したオブジェクトの名称に置き換える(S212)。さらに、S212でCPU22は、新たなセンテンスを生成する。例えば、図3のS110でオブジェクトの名称として、「AAAビル」がRAM26に記憶され、かつS202で抽出されたセンテンスが、「ここについて教えて」または「ここの訪問日時を記憶」である場合、CPU22は、指示代名詞「ここ」を「AAAビル」に置き換える。そして、CPU22は、「AAAビルについて教えて」または「AAAビルの訪問日時を記憶」といった新たなセンテンスを生成する。すなわち、S212でCPU22は、S206の判断が否定される場合(S206:No)と同一のセンテンスを生成する。そして、CPU22は、処理をS214に移行する。
In S210, the
S214でCPU22は、S202で抽出され、S206の判断が否定(S206:No)されたセンテンスまたはS212で生成されたセンテンスを対象として、解析を行い、センテンスによって指示された要求を特定する。この際、CPU22は、この解析によって、対象のセンテンスに含まれるオブジェクトの名称についても特定する。S214でCPU22は、辞書DB40にアクセスし、これを参照してこの解析を実行する。
In S214, the
例えば、センテンスが「AAAビルについて教えて」または「AAAビルの訪問日時を記憶」である場合、CPU22は、オブジェクトの名称として「AAAビル」を特定する。また、センテンスが「AAAビルについて教えて」である場合、CPU22は、指示された要求が「AAAビル」に関する情報の提示であることを特定する。一方、センテンスが「AAAビルの訪問日時を記憶」である場合、CPU22は、指示された要求がオブジェクトの名称「AAAビル」に対応付けて現在の日時(年月日および時分秒)を記憶することを特定する。
For example, when the sentence is “Tell me about AAA building” or “Store the visit date and time of AAA building”, the
そして、CPU22は、S214で特定されたオブジェクトの名称を対象として、同じくS214で特定された要求を実行する(S216)。例えば、センテンスが「AAAビルについて教えて」である場合、CPU22は、地理情報DB36にアクセスし、オブジェクトの名称「AAAビル」を用いて地理情報DB36を検索する。そして、CPU22は、オブジェクトの名称「AAAビル」に関連付けられた画像(写真)データおよび/または説明情報などを取得し、取得した画像データおよび/または説明情報など含む関連画像を生成する。CPU22は、生成した関連画像が提示画像に代わって画像提示部28から提示されるように制御する。具体的に、CPU22は、AAAビルの内部を示す画像、最上階から展望できる景色画像などを含む関連画像が提示されるように制御する。また、CPU22は、AAAビルが建築された年月、高さ、内部に出店されている店舗情報などを含む関連画像が提示されるように制御する。さらに、CPU22は、景色画像および建築された年月、高さなどを含む関連画像が提示されるように制御する。ユーザは、これらを視認する。
Then, the
また、センテンスが「AAAビルの訪問日時を記憶」である場合、図1には図示されていないタイマから現在の日時を取得し、オブジェクトの名称「AAAビル」に対応付けて現在時刻を例えばROM24に記憶する。ユーザは、後日、AAAビルを訪問した日時を思い出すことができる。S216を実行した後、CPU22は、処理をS200に戻し、再度、S200以降の処理を実行する。なお、この処理は、図3に示すメイン処理の終了(図3のS114:Yes)にともない終了する。S202、S206およびS214では、従来から提案されている音声認識技術および解析(例えば、テキスト形式のデータを用いる場合、テキスト解析)技術が用いられる。
If the sentence is “store visit date / time of AAA building”, the current date / time is obtained from a timer not shown in FIG. 1, and the current time is associated with the object name “AAA building” in the
以上説明した本実施形態のHMD10によれば、特定の指示代名詞で、ユーザが視認している外界像に含まれるオブジェクトを指定することが可能で(図3のS110,S112、図6のS206,S208:Yes,S210,S212)、指定されたオブジェクトの名称を特定し(図6のS214)、これを対象とした所定の処理を実行させることができる(図6のS216)。なお、本実施形態のHMD10では、図3に示すメイン処理のS104でオブジェクトの名称が検索された場合、同じくS104で生成され提示される提示画像には、検索されたオブジェクトの名称が含まれる。そのため、この提示画像に含まれるオブジェクトの名称によっても、外界像に含まれるオブジェクトを指定することが可能で(図6のS206:No)、これを対象とした所定の処理を実行させることができる(図6のS216)。
According to the
(変形例)
本実施形態の構成は、次のようにすることもできる。
(Modification)
The configuration of the present embodiment can also be as follows.
(1)上記では、HMD10が、地理情報DB36と、辞書DB40とを備える構成を例に説明した。そして、CPU22は、図3に示すメイン処理のS104と、図6に示す音声認識処理のS202,S206,S214で、地理情報DB36および/または辞書DB40にアクセスすることとした。この他、地理情報DB36および/または辞書DB40を、HMD10とは別体のサーバなどの外部装置の記憶領域に記憶させた構成としてもよい。この場合、HMD10は、所定の通信手順を実行するための通信手段を備える。CPU22は、前述の各処理においてこの通信手段を制御し、外部装置にアクセスし、所定のデータ、情報などを取得する。
(1) In the above description, the configuration in which the
(2)上記では、図3に示すメイン処理のS104で、画像提示部28の提示範囲に対応して特定された範囲に含まれる緯度と経度とで構成される位置情報に対応付けて地理情報DB36に登録されているオブジェクトの名称が検索される構成を例に説明した。この他、S104では、ユーザが頭部をわずかに動かした場合を考慮し、画像提示部28の提示範囲282より広い、人間の一般的な視野範囲を所定の範囲として特定する構成としてもよい。この場合、S104では、人間の視野範囲に対応した、画像提示部28の提示範囲282より広い提示画像が生成される。そして、ユーザの頭部が動いた場合、CPU22は、提示範囲282より広い提示画像の範囲内で、頭部の動きに対応させて画像提示部28から提示される範囲をずらすように制御する。
(2) In the above, the geographical information is associated with the position information composed of the latitude and longitude included in the range specified corresponding to the presentation range of the
また、地理情報DB36に登録された提示情報について、オブジェクトの名称を例とし、S104では、オブジェクトの名称を含む提示画像が提示される構成を例に説明した。この他、地理情報DB36に、オブジェクトの名称などに関連付けて、提示情報として、そのオブジェクトを示すアイコンが登録された構成としてもよい。この場合、S104でCPU22は、地理情報DB36にアクセスし、S102で取得された方向情報と位置情報とを条件として、ユーザの頭部に装着されたHMD10が存在している位置で、このHMD10が向いている方向の所定の範囲に存在しているオブジェクトを示すアイコンを、上記同様に検索する。そして、CPU22は、検索されたアイコンが上記同様に配置された提示画像を生成する。S106でCPU22は、提示画像はアイコンを含むかについて判断する。S108でCPU22は、提示画像の中心部分に配置されているアイコンに関連付けられたオブジェクトの名称を、地理情報DB36から取得し、記憶する。
Further, regarding the presentation information registered in the
(3)上記では、図3に示すメイン処理のS110で提示画像の中心部分が、図5に示す範囲S1に設定された構成を例に説明した。この他、提示画像の中心部分は、提示画像の水平方向の中心部分を含む領域としてもよい。すなわち、図5に基づけば、直線L1と直線L2との間の範囲であって、範囲S1と、その上下に配置された範囲S2,S3とによる範囲に提示される提示画像の部分としてもよい。 (3) In the above description, the configuration in which the central portion of the presented image is set in the range S1 illustrated in FIG. 5 in S110 of the main process illustrated in FIG. 3 has been described as an example. In addition, the center portion of the presentation image may be an area including the center portion of the presentation image in the horizontal direction. That is, based on FIG. 5, it is good also as a part of the presentation image shown in the range between the straight line L1 and the straight line L2, and the range S1 and the range S2, S3 arrange | positioned up and down it .
(4)上記では、図6に示す音声認識処理のS214で、対象となるセンテンスが、S212で新たに作製されたセンテンスである場合についても、再度、解析によってオブジェクトの名称を特定する構成を例に説明した。この他、対象となるセンテンスが、S212で新たに作製されたセンテンスである場合、S214でCPU22は、オブジェクトの名称を、図3のS110でRAM26に記憶され、S210で取得されたオブジェクトの名称によって特定するようにしてもよい。
(4) In the above description, in the case where the target sentence is the sentence newly created in S212 in S214 of the speech recognition process shown in FIG. Explained. In addition, if the target sentence is a sentence newly created in S212, the
10 HMD
22 CPU
24 ROM
26 RAM
28 画像提示部
32 方位・傾きセンサ
34 GPS
36 地理情報DB
38 マイク
40 辞書DB
10 HMD
22 CPU
24 ROM
26 RAM
28
36 Geographic Information DB
38
Claims (4)
前記画像を提示する画像提示手段と、
前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第1位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサと、
所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第2位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第1位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第2位置情報に対応付けられた前記提示情報を検索する検索手段と、
前記検索手段によって検索された少なくとも1つの前記提示情報が、前記検出センサによって検出された前記第1位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、
前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、
前記ユーザが発声した音声を取得する音声取得手段と、
前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、
前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第1特定手段と、
前記画像提示制御手段によって提示された前記提示画像に含まれる前記提示情報から、前記第1特定手段によって特定された前記指示代名詞に対応する一の提示情報を特定する第2特定手段と、
前記第2特定手段によって特定された前記一の提示情報を対象として、前記第1特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段とを備えることを特徴とするヘッドマウントディスプレイ。 A see-through head-mounted display that is mounted on the user's head and presents a predetermined image to the user's eyes so that the user can visually recognize the image, and the user can visually recognize an external image superimposed on the image. Because
Image presentation means for presenting the image;
First position information indicating a position of the head mounted display mounted on the user's head, and direction information indicating a direction in which the head mounted display mounted on the user's head is facing. A detection sensor for detecting
The first position information and the direction detected by the detection sensor are accessed by accessing predetermined storage means in which presentation information indicating a predetermined object and second position information indicating the position of the object are associated and stored. Search means for searching for the presentation information associated with the second position information included in a predetermined range specified by the information;
Image generation means for generating a presentation image in which at least one of the presentation information searched by the search means is arranged corresponding to the first position information and the direction information detected by the detection sensor;
Image presentation control means for controlling the presentation image generated by the image generation means to be presented from the image presentation means;
Voice acquisition means for acquiring voice uttered by the user;
Voice recognition means for recognizing the voice acquired by the voice acquisition means and converting it into data representing the recognized voice content;
First specifying means for specifying a pronoun and a request for execution of a predetermined process from the voice content converted by the voice recognition means;
Second specifying means for specifying one presentation information corresponding to the indicating pronoun specified by the first specifying means from the presentation information included in the presentation image presented by the image presentation control means;
A head mount comprising: processing means for executing the predetermined process for the request specified by the first specifying means for the one presentation information specified by the second specifying means. display.
前記画像提示制御手段は、前記画像提示手段から、前記処理手段によって生成された前記関連画像が提示されるように制御することを特徴とする請求項1から請求項3のいずれか1項に記載のヘッドマウントディスプレイ。 The processing means specifies related information related to the one presentation information specified by the second specifying means, generates a related image including the related information,
The said image presentation control means is controlled so that the said related image produced | generated by the said process means from the said image presentation means is shown, The Claim 1 characterized by the above-mentioned. Head mounted display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010067098A JP5316453B2 (en) | 2010-03-24 | 2010-03-24 | Head mounted display and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010067098A JP5316453B2 (en) | 2010-03-24 | 2010-03-24 | Head mounted display and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011198304A true JP2011198304A (en) | 2011-10-06 |
JP5316453B2 JP5316453B2 (en) | 2013-10-16 |
Family
ID=44876352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010067098A Expired - Fee Related JP5316453B2 (en) | 2010-03-24 | 2010-03-24 | Head mounted display and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5316453B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015523642A (en) * | 2012-05-30 | 2015-08-13 | コピン コーポレーション | Head mounted computer with improved virtual display function |
JP2015232868A (en) * | 2014-05-13 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Information providing method using voice recognition function, and control method of instrument |
WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
WO2016106220A1 (en) * | 2014-12-22 | 2016-06-30 | Dimensions And Shapes, Llc | Headset vision system for portable devices |
JP2017054064A (en) * | 2015-09-11 | 2017-03-16 | 株式会社Nttドコモ | Interactive device and interactive program |
WO2017149868A1 (en) * | 2016-03-01 | 2017-09-08 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2019056913A (en) * | 2014-05-13 | 2019-04-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Information providing method using voice recognition function, and control method of instrument |
WO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | Head-mounted information output device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10126712A (en) * | 1996-10-17 | 1998-05-15 | Olympus Optical Co Ltd | Head-mount type image display device |
JPH1186034A (en) * | 1997-09-05 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Human navigati0n device with scenery label and system therefor |
JP2000276325A (en) * | 1999-03-25 | 2000-10-06 | Shimadzu Corp | Display device |
JP2004102835A (en) * | 2002-09-11 | 2004-04-02 | Univ Waseda | Information providing method and system therefor, mobile terminal device, head-wearable device, and program |
JP2006267887A (en) * | 2005-03-25 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Head mount display equipped with video recognition means |
JP2007034942A (en) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | Information processor and program therefor |
JP2007163634A (en) * | 2005-12-12 | 2007-06-28 | Olympus Corp | Information display apparatus |
JP2008065675A (en) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | Mixed reality system, event input method thereof, and head mounted display |
JP2009026158A (en) * | 2007-07-20 | 2009-02-05 | Oki Electric Ind Co Ltd | Object designating device, object designating method, and computer program |
-
2010
- 2010-03-24 JP JP2010067098A patent/JP5316453B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10126712A (en) * | 1996-10-17 | 1998-05-15 | Olympus Optical Co Ltd | Head-mount type image display device |
JPH1186034A (en) * | 1997-09-05 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Human navigati0n device with scenery label and system therefor |
JP2000276325A (en) * | 1999-03-25 | 2000-10-06 | Shimadzu Corp | Display device |
JP2004102835A (en) * | 2002-09-11 | 2004-04-02 | Univ Waseda | Information providing method and system therefor, mobile terminal device, head-wearable device, and program |
JP2006267887A (en) * | 2005-03-25 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Head mount display equipped with video recognition means |
JP2007034942A (en) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | Information processor and program therefor |
JP2007163634A (en) * | 2005-12-12 | 2007-06-28 | Olympus Corp | Information display apparatus |
JP2008065675A (en) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | Mixed reality system, event input method thereof, and head mounted display |
JP2009026158A (en) * | 2007-07-20 | 2009-02-05 | Oki Electric Ind Co Ltd | Object designating device, object designating method, and computer program |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015523642A (en) * | 2012-05-30 | 2015-08-13 | コピン コーポレーション | Head mounted computer with improved virtual display function |
JP2015232868A (en) * | 2014-05-13 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Information providing method using voice recognition function, and control method of instrument |
JP2020101822A (en) * | 2014-05-13 | 2020-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Information providing method using voice recognition function, and control method of instrument |
JP2019056913A (en) * | 2014-05-13 | 2019-04-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Information providing method using voice recognition function, and control method of instrument |
WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
US10096162B2 (en) | 2014-12-22 | 2018-10-09 | Dimensions And Shapes, Llc | Headset vision system for portable devices that provides an augmented reality display and/or a virtual reality display |
US10679419B2 (en) | 2014-12-22 | 2020-06-09 | Dimensions And Shapes, Llc | Reconfigurable headset vision system having eye-tracking capabilities |
WO2016106220A1 (en) * | 2014-12-22 | 2016-06-30 | Dimensions And Shapes, Llc | Headset vision system for portable devices |
JP2017054064A (en) * | 2015-09-11 | 2017-03-16 | 株式会社Nttドコモ | Interactive device and interactive program |
WO2017149868A1 (en) * | 2016-03-01 | 2017-09-08 | ソニー株式会社 | Information processing device, information processing method, and program |
US10522145B2 (en) | 2016-03-01 | 2019-12-31 | Sony Corporation | Information processing apparatus and information processing method |
WO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | Head-mounted information output device |
JP7376616B2 (en) | 2019-12-27 | 2023-11-08 | マクセル株式会社 | Head-mounted information output device |
Also Published As
Publication number | Publication date |
---|---|
JP5316453B2 (en) | 2013-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5316453B2 (en) | Head mounted display and program | |
US11514672B2 (en) | Sensor based semantic object generation | |
JP4935145B2 (en) | Car navigation system | |
KR101829855B1 (en) | Voice actions on computing devices | |
ES2813096T3 (en) | Viewing network objects on mobile devices based on geolocation | |
JP5539388B2 (en) | System and method for searching a 3D scene by pointing a reference object | |
US7873466B2 (en) | Voice-controlled navigation device and method | |
US20180144552A1 (en) | Display apparatus, information processing system, and control method | |
US8688377B1 (en) | System and method of using automatically-identified prominent establishments in driving directions | |
CN110998563B (en) | Method, device and drawing system for disambiguating points of interest in a video field | |
CN111024099A (en) | Mobile device, non-transitory machine-readable medium, and apparatus for navigation | |
Bartie et al. | Development of a Speech‐Based Augmented Reality System to Support Exploration of Cityscape | |
US20090144268A1 (en) | Facility information output device, facility information output method, and computer-readable medium storing facility information output program | |
TW200847004A (en) | Speech-centric multimodal user interface design in mobile technology | |
JP2012053643A (en) | Portable information processor and computer program for the same | |
EP3491492A1 (en) | Device-orientation controlled settings | |
WO2009091098A1 (en) | System, device and method for providing navigation service | |
US11289084B2 (en) | Sensor based semantic object generation | |
US20170337920A1 (en) | Information processing device, method of information processing, and program | |
JP6956232B2 (en) | Search system, search method, and search program | |
KR102150074B1 (en) | GPS-based navigation system | |
US20230199297A1 (en) | Selectively using sensors for contextual data | |
WO2014199428A1 (en) | Candidate announcement device, candidate announcement method, and program for candidate announcement | |
Skulimowski et al. | POI explorer-A sonified mobile application aiding the visually impaired in urban navigation | |
JP2005267092A (en) | Correspondence analyzing device and navigation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130624 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |