JP2014191238A - 音声認識装置及び音声認識プログラム - Google Patents

音声認識装置及び音声認識プログラム Download PDF

Info

Publication number
JP2014191238A
JP2014191238A JP2013067642A JP2013067642A JP2014191238A JP 2014191238 A JP2014191238 A JP 2014191238A JP 2013067642 A JP2013067642 A JP 2013067642A JP 2013067642 A JP2013067642 A JP 2013067642A JP 2014191238 A JP2014191238 A JP 2014191238A
Authority
JP
Japan
Prior art keywords
data
unit
image
light quantity
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013067642A
Other languages
English (en)
Inventor
Kunihiro Ito
邦宏 伊藤
Tomoki Katano
智己 片野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2013067642A priority Critical patent/JP2014191238A/ja
Publication of JP2014191238A publication Critical patent/JP2014191238A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】ハンズフリーで音声認識処理を実行可能な音声認識装置及び音声認識プログラムを提供する。
【解決手段】マイクに入力された音声の音声データの取得が開始される。ヘッドマウントディスプレイに設けられたカメラによって撮像された画像の画像データが取得される(S32)。取得された画像データに基づいて、光量関連値が取得される(S35)。取得された光量関連値が第一閾値より大きいか否かが判断される(S36)。光量関連値が第一閾値より大きい場合(S36:YES)、実行フラグが「1」に設定される。実行フラグが「1」に設定されると、取得された音声データに基づく音声に対して音声認識処理が実行され、音声に対応するテキストデータが生成される。生成されたテキストデータに、操作ワードに対応する指示データが含まれる場合、対応する動作が実行される。
【選択図】図8

Description

本発明は、音声認識が可能な音声認識装置及び音声認識プログラムに関する。
従来、ユーザの頭部に装着可能な、ユーザが発する音声を認識し、認識した音声に基づいて種々の制御を行う音声認識装置が知られている。例えば、特許文献1に記載のヘッドマウントディスプレイは、ヘッドセットを備えている。ヘッドセットには、マイクロフォンと音声制御切り換えスイッチとが設けられている。頭部に装着されたヘッドマウントディスプレイにおいて、マイクロフォンはユーザの口近くに位置し、音声制御切り換えスイッチは、マイクロフォンの近傍に位置する。ヘッドマウントディスプレイ本体には、音声信号処理回路が設けられている。音声信号処理回路は、マイクロフォンによって取得されたユーザの音声を検出し、所定の音声認識処理を行う。音声信号処理回路は、音声認識処理の結果が、事前に保存されたキーワードに一致するときに、外部コンピュータに対して供給画像の切り換え及びその他の動作を行わせるための指示信号を送信する。ヘッドマウントディスプレイは、音声制御切り換えスイッチのオン・オフが切り換えられた場合に、音声認識処理のオン・オフを切り換える。
特開2002−165156号公報
しかしながら、前記従来のヘッドマウントディスプレイに音声認識処理を実行させる場合、ユーザは音声切り換えスイッチを手で操作する必要がある。よって、ハンズフリーで音声認識処理を実行できず、ユーザの作業を妨げる場合がある。
本発明の目的は、ハンズフリーで音声認識処理を実行可能な音声認識装置及び音声認識プログラムを提供することである。
本発明の第一の態様に係る音声認識装置は、音声入力部に入力された音声の音声データを取得する音声データ取得手段と、頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得手段と、前記光量取得手段によって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断手段と、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得手段によって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識手段と、前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識手段によって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断手段と、前記指示判断手段によって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行手段とを備えている。
この場合、第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、音声認識処理が実行される。このため、頭部装着部のユーザは、例えば、取得部を照明等の光源に向けるだけで、音声認識装置に音声認識処理を実行させることができる。よって、例えば、ユーザは手で頭部装着部のスイッチ等を操作する必要がなく、ハンズフリーで音声認識装置に音声認識処理を実行させることができる。
前記音声認識装置は、前記光量取得手段によって取得された前記光量関連値が、前記第一閾値より小さい第二閾値よりも小さいか否かを判断する第二判断手段を備え、前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、又は、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行してもよい。この場合、ユーザは、例えば、取得部を照明等の光源に向けたり、取得部を覆ったりするだけで、音声認識装置に音声認識処理を実行させることができる。よって、例えば、手で頭部装着部のスイッチを探して操作する必要がなく、ユーザは音声認識処理をハンズフリーで実行させ易くなる。
前記音声認識装置において、前記指示判断手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記記憶部に記憶された第一対応データを参照し、前記第一対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記記憶部に記憶された前記第一対応データと異なる第二対応データを参照し、前記第二対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記実行手段は、前記指示判断手段によって前記指示データが含まれると判断された場合に、前記第一対応データ又は前記第二対応データいずれかにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させてもよい。
この場合、記憶部には第一対応データと第二対応データとの2つの対応データが記憶されている。このため、全ての指示データが、1つの対応データに登録されている場合に比べて、1つの対応データ当たりの指示データの数が少なくなる。よって、指示判断手段におけるテキストデータに指示データが含まれているか否かの判断の精度が向上する。よって、より確実に、実行手段によって指示データに対応付けられた動作データに基づく動作を頭部装着部に実行させることができる。また、外界の光が明るい場合と暗い場合とで、参照する対応データを切り替えることができる。よって、ユーザの利便性が向上する。
前記音声認識装置は、第一所定時間以上継続して、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第一停止手段を備えてもよい。第一所定時間以上継続して、第一判断手段によって光量関連値が第一閾値より大きいと判断される場合、ユーザが音声認識装置に音声認識処理を実行させる意思を持って取得部を光源に向けている可能性が低い。この場合に、自動で音声認識処理が停止されるので、ユーザの利便性が向上する。
前記音声認識装置は、第二所定時間以上継続して、前記第二判断手段によって前記光量関連値が第二閾値より小さいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第二停止手段を備えてもよい。第二所定時間以上継続して、第二判断手段によって光量関連値が第二閾値より小さいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ20に撮像される外界の光を暗くしている可能性が低い。この場合に、自動で音声認識処理が停止されるので、ユーザの利便性が向上する。
前記音声認識装置において、前記取得部は、画像を撮像する撮像手段であり、前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記光量関連値を取得し、前記第一判断手段は、前記光量取得手段によって取得された前記光量関連値に基づいて、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断し、前記音声認識手段は、前記第一判断手段によって前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識処理を実行してもよい。この場合、画像の一部にのみ光源が含まれている場合にも、音声認識処理が実行される。よって、頭部装着部のユーザは、画像の一部に光源が含まれるように撮像手段を光源に向けるだけで、音声認識装置に音声認識処理を実行させることができる。
前記音声認識装置において、前記光量取得手段は、前記画像データに基づく前記画像を前記複数の分割領域に分割し、分割した前記複数の分割領域の夫々についての前記光量関連値を取得し、前記第一判断手段は、前記光量取得手段によって取得された前記複数の分割領域の夫々の前記光量関連値が前記第一閾値よりも大きい前記分割領域の数が、所定数より多いか否かを判断することで、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断してもよい。この場合、光量関連値が第一閾値よりも大きい分割領域の数が所定数より多い場合に音声認識処理が実行され、所定数以下の場合には音声認識処理が実行されない。撮像手段の近くにある光源は、遠くにある光源より画像中の範囲が大きくなる。このため、例えば、ユーザは、近くにある光源が画像に含まれるように撮像手段を光源に向けた場合に、音声認識装置に音声認識処理を実行させることができる。また、遠くにある光源が所定数以下の分割領域の範囲に含まれた場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
前記音声認識装置において、前記光量取得手段が取得する前記光量関連値は、前記画像データに基づく前記画像におけるRGBの夫々の輝度であり、前記第一閾値は前記RGBの夫々の輝度についての閾値であってもよい。この場合、輝度に基づいて、音声認識処理が実行される。
前記音声認識装置において、前記取得部は、画像を撮像する撮像手段であり、前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、前記光量関連値は、前記画像データに基づく前記画像におけるRGBの夫々の輝度であり、前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記画像の前記RGBの夫々の前記輝度を取得し、前記第二判断手段は、前記光量取得手段によって取得された前記RGBの夫々の前記輝度のうち、前記画像データに基づく画像の少なくとも一部における前記輝度が前記第二閾値より小さいか否かを判断し、前記音声認識手段は、前記第二判断手段によって前記画像の少なくとも一部における前記輝度が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行し、前記RGBのうち、R成分の輝度についての前記第二閾値は、G成分及びB成分についての前記第二閾値よりも大きくてもよい。
例えば、ユーザが手などの身体の一部を用いて撮像手段を覆う場合、人間の血液に外界の光が透過して、画像データ中のR成分が、G成分及びB成分より大きくなる可能性がある。この場合、ユーザが撮像手段を覆い隠しているにも関わらず、第二判断手段によって光量関連値が第二閾値より小さいと判断され、音声認識処理が実行されない可能性がある。本発明では、RGBのうち、R成分の輝度についての第二閾値は、G成分及びB成分についての第二閾値よりも大きくされている。このため、ユーザが撮像手段を覆う場合において、画像データ中のR成分が、G成分及びB成分より大きくなった場合でも、第二判断手段は、光量関連値が第二閾値より小さいと判断できる。よって、より確実に、音声認識手段による音声認識処理を実行させることができる。
前記音声認識装置は、前記頭部装着部の向きを検出する方向検出部による検出結果が、所定の向きであるか否かを判断する向き判断手段を備え、前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、且つ、前記向き判断手段によって前記方向検出部による検出結果が、所定の向きであると判断された場合に、前記音声認識処理を実行してもよい。所定の向きにある光源に取得部が向けられた場合に、音声認識処理が実行される。このため、ユーザが音声認識処理を実行させる意思がなく、所定の向き以外の向きにある光源に取得部を向けた場合に音声認識処理が実行されることを防止できる。
前記音声認識装置は、前記音声認識手段によって前記音声認識処理が実行可能な状態を示す情報を前記頭部装着部に設けられた出力部に出力する出力制御手段を備えてもよい。音声認識処理が実行される場合に、出力部に出力されるので、ユーザは、音声認識処理が実行可能な状態であることを認識することができる。
本発明の第二の態様に係る音声認識プログラムは、音声認識処理を実行する音声認識装置において実行される音声認識プログラムであって、前記音声認識装置のコントローラに、音声入力部に入力された音声の音声データを取得する音声データ取得ステップと、頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得ステップと、前記光量取得ステップによって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断ステップと、前記第一判断ステップによって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得ステップによって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識ステップと、前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識ステップによって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断ステップと、前記指示判断ステップによって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断ステップによって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行ステップと
を実行させる。この場合、例えば、ユーザは手で頭部装着部のスイッチ等を操作する必要がなく、ハンズフリーで音声認識装置に音声認識処理を実行させることができる。
HMD1の斜視図である。 HMD1及びサーバ80の電気的構成を示すブロック図である。 閾値データテーブル95のデータ構成図である。 第一辞書データテーブル96のデータ構成図である。 第二辞書データテーブル97のデータ構成図である。 画像表示部14に表示される画像の一例を示す図である。 メイン処理のフローチャートである。 フラグ設定処理のフローチャートである。 フラグ設定処理のフローチャートである。 カメラ20によって光源146が撮像された状態における、画像表示部14に表示される画像の一例を示す図である。 カメラ20がユーザの手149に覆われた状態における、画像表示部14に表示される画像の一例を示す図である。
以下、本発明を具体化した実施の形態について、図面を参照して説明する。図1に示すように、ヘッドマウントディスプレイ(以下、「HMD」という。)1は、投影装置(以下、「ヘッドディスプレイ」又は「HD」という。)10と制御装置(以下、「コントロールボックス」又は「CB」という。)50を備える。HD10は、例えばユーザの頭部に装着される。CB50は、例えばユーザの腰ベルトや腕等に装着される。HMD1は、図2に示すサーバ80と、無線通信又は有線通信を介して接続し、システムを構成することも可能である。以下の説明において、図1の上方、下方、右斜め下方、左斜め上方、右斜め上方、及び左斜め下方がそれぞれ、HMD1の上方、下方、前方、後方、右方、及び左方である。
HD10は専用の装着具である眼鏡5に装着して使用される。HD10は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。HD10は、ユーザの眼に画像光を照射する。HD10はハーネス7を介してCB50と着脱可能に接続する。CB50は、HD10を制御する。
HD10の構成について説明する。HD10は筐体2を備える。筐体2は、HMD1のユーザ側から見て右端側(図1における左側)にハーフミラー3を備える。ハーフミラー3は、ユーザがHD10を頭部に装着したとき、ユーザの眼(例えば左眼)の前方に配置される。HD10は、筐体2の内部に、画像表示部14(図2参照)と接眼光学系(図示略)を備える。画像表示部14は、CB50からハーネス7を介して送信される映像信号に基づいて画像を表示する。画像表示部14は、例えば、液晶素子等の空間変調素子及び光源である。画像表示部14は、画像信号に応じた強度のレーザ光を2次元走査して画像表示を行う網膜走査型表示部、液晶ディスプレイ、及び有機EL(Organic Electro-luminescence)ディスプレイ等であってもよい。HD10は、カメラ20を備える。カメラ20は、HD10の正面方向の外界の風景を撮像する。
接眼光学系は、画像表示部14に表示された画像を示す画像光を集光し、ハーフミラー3に対して射出する。接眼光学系から射出された画像光は、筐体2の左側に設けられたハーフミラー3によって少なくとも一部(例えば半分)が反射される。HMD1がユーザに装着されている場合、ハーフミラー3によって反射された画像光は、ユーザの一方(例えば左)の眼球(図示略)に入射する。ハーフミラー3は外界の実像からの光の少なくとも一部を透過するので、ユーザは、自己の視野において実像(外界の風景)に重畳して画像を見ることができる。
眼鏡5は、HD10をユーザの頭部に保持するための構成である。眼鏡5は、フレーム6において、左眼用レンズを支えるリム部の上面右端(ユーザから見て上面左端)に、支持部4を備える。支持部4は、HD10の筐体2を保持し、筐体2を眼鏡5に取り付ける。支持部4は、筐体2の保持位置を上下方向及び左右方向に調整することができる。ユーザは、眼球の位置に合わせた位置にハーフミラー3を配置することができる。
眼鏡5は、フレーム6において、右耳に掛けるテンプル部に、マイク17及びイヤホン18を内蔵するヘッドセット16を備える。ヘッドセット16には骨伝導型のものを用いてもよい。なお、眼鏡5自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。
CB50の構成について説明する。CB50は、略直方体状で縁部を丸めた箱型の筐体を有する。CB50は電源ランプ63を内蔵する電源スイッチ62を含む操作部61を備える。ユーザは、電源スイッチ62を操作し、HMD1の電源をオン又はオフにすることができる。ユーザは、HD10における各種設定や、使用時における各種操作等を、操作部61を介して行うことが可能である。
CB50は、公知の無線通信を介して図2に示すサーバ80と接続し、サーバ80との間で音声データや画像データを含む各種データの送受信を行うことが可能である。CB50は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク9(図2参照)に接続し、サーバ80と接続してもよい。あるいはCB50は、USBインターフェイスを備え、USBケーブルを用い、サーバ80に接続してもよい。なお、サーバ80は、パーソナルコンピュータ、スマートフォン、及びタブレット型携帯端末など、その他の機器であってもよい。
図2を参照し、HMD1の電気的構成について説明する。HD10は、HD10全体の制御を行うCPU11を備える。CPU11は、RAM12、プログラムROM13、画像表示部14、インターフェイス15、及び接続コントローラ19に電気的に接続される。CPU11は、インターフェイス15を介してカメラ20及びヘッドセット16に電気的に接続される。RAM12は、各種データを一時的に記憶する。プログラムROM13は、CPU11が実行する各種プログラム等を記憶する。各種プログラムは、HD10の出荷時にプログラムROM13に記憶される。なお、CPU11は、後述するCB50のフラッシュROM54に記憶されたプログラムも実行することができる。
画像表示部14は前述の通り、映像信号に基づいて画像を表示する。インターフェイス15は、カメラ20、ヘッドセット16、及び向き検出センサ21に接続し、信号の入出力を制御する。接続コントローラ19は、ハーネス7を介してCB50の接続コントローラ58に接続し、有線通信を行う。カメラ20は画像を撮像する。ヘッドセット16はマイク17及びイヤホン18を備える。ヘッドセット16はマイク17に入力するアナログの音をデジタルに変換し、インターフェイス15を介して音声データをCPU11に送信する。ヘッドセット16はインターフェイス15を介してCPU11から受信する音声データをデジタルからアナログに変換し、イヤホン18から出力する。なお、HD10は、ヘッドセット16の代わりに、筐体2にマイクとスピーカを内蔵してもよい。向き検出センサ21はHD10の向きを検出する。HD10の向きはユーザの顔の向きと対応している。向き検出センサ21には、例えば6軸センサ及びジャイロセンサ等、種々のセンサを使用することができる。
CB50の電気的構成について説明する。CB50は、CB50全体の制御を行うCPU51を備える。CPU51は、RAM52、プログラムROM53、フラッシュROM54、インターフェイス55、ビデオRAM56、画像処理部57、接続コントローラ58、及び無線通信部59に電気的に接続される。RAM52は、各種データを一時的に記憶する。
プログラムROM53は、CPU51が実行する各種プログラム等を記憶する。プログラムROM53は、メインプログラム記憶エリア531を少なくとも備える。メインプログラム記憶エリア531は、CPU51がHMD1の各種動作を制御するために実行するメインプログラムを記憶する。メインプログラムは、例えば、後述するメイン処理及びフラグ設定処理を実行するためのプログラム等を含む。また、プログラムROM53は、OSを記憶する。メインプログラムは、OS上で実行される。メインプログラム及びOSは、HMD1の出荷時にプログラムROM53に記憶される。また、HMD1は、プログラムダウンロード用のサーバからメインプログラム及びOSを無線通信部59を介してダウンロードし、インストールしてもよい。例えば、メインプログラム及びOSは、コンピュータで読み取り可能な一時的な記憶媒体(例えば、伝送信号)として、サーバからHMD1に送信される。メインプログラムは、HMD1が備えるコンピュータで読み取り可能な記憶装置、例えば、プログラムROM53に保存される。但し、記憶装置は、例えばROM、フラッシュROM、HDD、RAMなどの、一時的な記憶媒体を除く記憶媒体であってよい。また、記憶装置は、非一時的な記憶媒体であってよい。非一時的な記憶媒体は、データを記憶する時間の長さに関わらず、データを留めておくことが可能なものである。なお、CPU51は、フラッシュROM54に記憶されたプログラムも実行可能である。
フラッシュROM54は、インストールされる各種プログラム等を記憶する。インターフェイス55は電源スイッチ62及び電源ランプ63を含む操作部61に接続し、ユーザによる操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部57は、HD10の画像表示部14に表示する画像を形成する処理を行う。なお、画像処理部57は、CPU41がプログラムに従って実行するデータ処理で実現されてもよいし、電気回路で実現されてもよい。ビデオRAM56は、画像処理部57が形成した画像を画像表示部14に表示するための映像信号を生成するため、画像を仮想的に表示した仮想画面を記憶領域内に形成する。接続コントローラ58は、ハーネス7を介してHD10の接続コントローラ19に接続し、有線通信を行う。無線通信部59は、ネットワーク9のアクセスポイント(図示略)へ無線で接続し、例えば、サーバ80など、ネットワーク9に接続する他の機器と通信を行う。
サーバ80は、サーバ80全体の制御を行うCPU81を備える。CPU81は、データバスを介してROM82、RAM83、及び入出力バス(以下、「I/Oバス」という。)85と電気的に接続する。ROM82は、CPU81が実行するBIOS等のプログラムを記憶する読出し専用の記憶装置である。RAM83は、データを一時的に記憶する読み書き可能な記憶装置である。
I/Oバス85には、ハードディスクドライブ(以下、「HDD」という。)84及び通信部86が接続されている。HDD84は、OSやプログラム等がインストールされる記憶装置である。通信部86は、ネットワーク9のアクセスポイント(図示略)へ有線通信又は無線通信で接続し、サーバ80をネットワーク9に接続する。また、図示しないが、I/Oバス85にはマウスやキーボード等の入力デバイスも接続されている。
図3を参照して、閾値データテーブル95について説明する。閾値データテーブル95は、例えば、フラッシュROM54に記憶されている。閾値データテーブル95には、色、第一閾値、及び第二閾値が対応付けられている。色は、画像データ中の画素におけるR(Red)、G(Green)、B(Blue)の各成分を表す。第一閾値及び第二閾値は、RGBの夫々についての輝度についての閾値である。第二閾値は第一閾値より小さい。なお、画像データ中のRGBの夫々の輝度は、0〜255の間で変動する。R成分、G成分、及びB成分共に、第一閾値は「220」に設定されている。また、R成分の第二閾値は、「80」に設定され、G成分及びB成分は共に「30」に設定されている。
図4及び図5を参照して、第一辞書データテーブル96及び第二辞書データテーブル97について説明する。第一辞書データテーブル96及び第二辞書データテーブル97は、例えば、フラッシュROM54に記憶されている。第一辞書データテーブル96及び第二辞書データテーブル97には、指示データと動作データとが対応付けられている。より詳細には、第一辞書データテーブル96には、指示データ「送る」、「戻る」、「N枚目」、及び「終了」が夫々、動作データ「画像の次ページを表示」、「画像の前ページを表示」、「画像のNページ目を表示」、及び「画像の表示を終了する」に対応付けられている。第二辞書データテーブル97には、指示データ「明るく」、「暗く」、「オン」、及び「オフ」が夫々、動作データ「表示輝度を明るくする」、「表示輝度を暗くする」、「画像の表示を開始する」、及び「画像の表示を停止する」に対応付けられている。指示データは、HMD1の制御を指示する操作ワードに対応する指示のデータである。操作ワードは、ユーザが発する言葉である。動作データは、HMD1に実行させる動作についてのデータである。例えば、ユーザが操作ワード「ページを送る」を発声すると、後述するS21で生成されたテキストデータ「ページを送る」に「送る」の指示データが含まれると判断され(後述する図7のS22:YES)、動作データ「画像の次ページを表示する」に基づく動作が実行される(後述する図7のS23)。なお、N枚目等の「N」は任意の自然数であり、ユーザは、Nを自然数に置き換えて発声する。
図6を参照して、画像表示部14に表示される画像の一例について説明する。図6の上側、下側、左側、及び右側を夫々、画像表示部14の上側、下側、左側、及び右側とする。図6に示すように、画像表示部14の左下部には、撮像画像表示領域141が設けられている。撮像画像表示領域141には、カメラ20によって撮像された自動車142が表示されている。撮像画像表示領域141の右上には、表示領域143が設けられている。表示領域143には、動画及び作業マニュアル等、種々の画像が表示される。本実施形態では、自動車142についての修理マニュアルの画像が表示されるとする。なお、図6に示す表示領域143に表示された画像は、修理マニュアルの1ページ目の画像であるとする。このため、表示領域143の右下部に1ページ目であることを示す「P1」が表示されている。
図7〜図9を参照して、メイン処理及びフラグ設定処理について説明する。操作部50を介してメインプログラムの起動指示が受け付けられると、CPU51は、プログラムROM53に記憶されたメイン処理及びフラグ設定処理のプログラムを含むメインプログラムをRAM52に展開し、処理を実行する。CPU51は、HMD1の電源がオフされると、メイン処理及びフラグ設定処理を終了する。なお、以下の説明では、HMD1は、ネットワーク9及びサーバ80に接続されていないとする。また、図6に示す自動車142が作業対象物であり、作業場においてユーザが自動車142の修理をする場合を具体例として例示しながら説明する。図6に示す表示領域143には、自動車142の修理マニュアルの画像の1ページ目が表示されている。この修理マニュアルは、フラッシュROM54に記憶されており、ユーザの操作に応じてCPU51が選択し、表示領域143に表示しているとする。
メイン処理では、CPU51は、マイク17から入力される音声の音声データの取得を開始する(S11)。CPU51は、S11を実行した後、音声データの取得を継続する。CPU51は、実行フラグが「1」であるか否かを判断する(S12)。CPU51は、後述する図8のS31、S43、S54、及び図9のS64において実行フラグを設定する。詳細は後述するが、具体例において、図10に示すようにカメラ20によって撮像される画像に光源146が含まれて明るくなった場合、CPU51は実行フラグを「1」に設定する。図11に示すように、カメラ20が物体、例えばユーザの手149によって覆われて暗くなる場合、CPU51は実行フラグを「−1」に設定する。図6に示すように、カメラ20によって撮像される画像に光源146が含まれず、ユーザの手149によってカメラ20が覆われていない場合、CPU51は実行フラグを「0」に設定する。
実行フラグが「1」でない場合(S12:NO)、CPU51は実行フラグが「−1」であるか否かを判断する(S13)。実行フラグが「−1」でない場合(S13:NO)、CPU51は処理をS12に戻す。実行フラグが「1」である場合(S12:YES)、CPU51は、HD10の向きを検出するか否かを判断する(S14)。例えば、向き検出センサ21が設けられていない場合、向き検出センサ21がオン状態でない場合、又は、後述する図9のS62及びS63が実行されている場合、CPU51は向きを検出しないと判断し(S14:NO)、後述するS17及びS20〜S23を実行する。
CPU51は、向きを検出すると判断した場合(S14:YES)、向き検出センサ21によって検出される向きを取得する(S15)。CPU51は、S15において取得した向き検出センサ21の検出結果が、所定の向きであるか否かを判断する(S16)。本実施形態では、所定の向きは、水平により上側(重力方向の逆方向側)であるとする。フラッシュROM54には、所定の向きに対応する向き検出センサ21の出力値が予め記憶されている。CPU51は、S15において、HD10の向きに応じた向き検出センサの出力値を取得する。CPU51は、S16において、フラッシュROM54に記憶された所定の向きに対応する向き検出センサ21の出力値と、S15において取得した向き検出センサ21の出力値とを比較することで、所定の向きであるか否かを判断する。CPU51は、所定の向きではないと判断した場合(S16:NO)、処理をS12に戻す。すなわち、CPU51は、後述する音声認識処理(S21)を実行しない。
CPU51は、所定の向きであると判断した場合(S16:YES)、図4に示す第一辞書データテーブル96を取得する(S17)。CPU51は、取得した第一辞書データテーブル96をRAM52に記憶する。CPU51は、マイク17を介して取得した音声データに基づく音声のレベルが所定レベル以上であるか否かを判断する(S20)。所定レベルは、周囲の雑音より大きいレベルに設定される。例えば、ユーザが発声した場合には、音声データに基づく音声のレベルが所定レベル以上となる。なお、所定レベルは、予めフラッシュROM54に記憶されていてもよいし、ユーザが発声していない定常状態の時の音声データに基づく音声より大きいレベルにCPU51が設定してもよい。
音声のレベルが所定レベル以上でない場合(S20:NO)、CPU51は処理をS12に戻す。音声のレベルが所定レベル以上である場合(S20:YES)、CPU51は、マイク17を介して取得した音声データに基づく音声に対して音声認識処理を実行し、音声に対応するテキストデータを生成する(S21)。CPU51は、生成したテキストデータをRAM52に記憶する。具体例においては、ユーザが「ページを送る」と言葉を発声したとする。この場合、CPU51は、音声のレベルが所定レベル以上であると判断し(S20:YES)、音声認識処理によって「ページを送る」のテキストデータを作成する(S21)。
CPU51は、指示データと、S20において生成したテキストデータとの比較に基づいて、S21において生成したテキストデータに指示データが含まれるか否かを判断する(S22)。S22において、CPU51は、S17において図4に示す第一辞書データテーブル96を取得した場合、第一辞書データテーブル96に登録された指示データを比較の対象とする。また、CPU51は、S19において図5に示す第二辞書データテーブル97を取得した場合、第二辞書データテーブル97に登録された指示データを比較の対象とする。
具体例において、CPU51は、S21の音声認識処理において「ページを送る」のテキストデータを作成している。図4に示す第一辞書データテーブル96には、指示データ「送る」が登録されている。よって、CPU51は、テキストデータに指示データが含まれると判断し(S22:YES)、S23を実行する。
S23において、CPU51は、S22において含まれると判断した指示データに対応付けられた動作データに基づく動作をHMD1が備えるHD10に実行させる。具体例の場合、図4に示す第一辞書データテーブル96において、指示データ「送る」には、動作データ「画像の次ページを表示」が登録されている。よって、CPU51は、表示領域143に表示した修理マニュアルの画像の2ページ目を表示する指示をHD10に送信する。これによって、表示領域143に修理マニュアルが表示され、ユーザは2ページ目を確認しながら、自動車142の修理を行うことができる。CPU51は処理をS12に戻す。なお、S22において、CPU51は、テキストデータに指示データが含まれないと判断した場合(S22:NO)、処理をS12に戻す。すなわち、ユーザが会話等を行い、指示データに含まれない言葉を発声しても、S23は実行されない。
実行フラグが「−1」である場合(S13:YES)、CPU51は、RAM52を参照して、単一辞書モードであるか否かを判断する(S18)単一辞書モードは、カメラ20によって撮像される画像に光源146含まれて画像が明るくなった場合、及び、カメラ20がユーザの手149によって覆われて画像が暗くなった場合の両方で、S22において第一辞書データテーブル96が使用されるモードである。複数辞書モードは、画像に光源146が含まれて画像が明るくなった場合にS22において第一辞書データテーブル96が使用され、カメラ20がユーザの手149によって覆われて画像が暗くなった場合にS22において第二辞書データテーブル97が使用されるモードである。CPU51は、例えば、メイン処理が実行される前に、ユーザの操作に応じて単一辞書モード又は複数辞書モードを設定し、RAM52に記憶する。
単一辞書モードである場合(S18:YES)、CPU51は処理をS17に進める。この場合、S22において、CPU51はS17において取得した第一辞書データテーブル96の指示データを、比較の対象とする。単一辞書モードでない場合(S18:NO)、CPU51は図5に示す第二辞書データテーブル97を取得する(S19)。CPU51は、取得した第二辞書データテーブル97をRAM52に記憶する。次いで、CPU51は、処理をS20に進める。この場合、S22において、CPU51はS19において取得した第二辞書データテーブル97の指示データを比較の対象とする。例えば、ユーザが「画面を明るく」と発声すると、CPU51はテキストデータ「画面を明るく」を生成し(S21)、テキストデータに第二辞書データテーブル97の指示データ「明るく」が含まれると判断する(S22:YES)。そして、CPU51は、動作データ「表示輝度を明るくする」に基づいて、画像表示部14の表示輝度を増加させる指示をHD10に対して送信する(S23)。以上のようにメイン処理が実行される。
図8及び図9を参照してフラグ設定処理について説明する。フラグ設定処理は、図7に示すメイン処理が実行されている間に実行される。CPU51は、実行フラグを「0」に設定する(S31)。実行フラグは、音声認識処理を実行するか否か等を判断するためのフラグである。CPU51は、設定した実行フラグをRAM52に記憶する。CPU51は、外界の光に関する情報である光情報を取得する(S32)。本実施形態では、光情報は、画像データであり、CPU51は、カメラ20に対して制御信号を送信することにより画像データを取得するとする。CPU51は、S33において取得した画像データに基づく画像を画像表示部14の撮像画像表示領域141に表示させる指示を、HD10に対して送信する(S33)。CPU51は、S32において取得した画像データに基づく画像をm分割する(S34)。mは自然数であり、本実施形態では、一例として「9」であるとする。この場合、図6における撮像画像表示領域141に点線で示すように、CPU51は、画像を9つに分割し、9つの分割領域145を形成する。なお、撮像画像表示領域141における点線は、説明のために記載しているものであり、撮像画像表示領域141には表示されない。後述する図10及び図11においても同様である。
CPU51は、S32において取得した光情報に基づいて、外界の光に関する値である光量関連値を取得する(S35)。本実施形態の光量関連値は、画像データに基づく画像におけるRGBの夫々の輝度であるとする。CPU51は、S35において複数の分割領域145の夫々についての輝度を取得する。取得される輝度は、例えば、複数の分割領域145の夫々における最大の輝度でもよいし、複数の分割領域145の夫々における画素の平均(例えば、算術平均値、中央値、最頻値など)の輝度でもよい。
CPU51は、S35において取得した前記光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいか否かを判断する(S36)。本実施形態では、CPU51は、S35において取得した複数の分割領域145の夫々の光量関連値が第一閾値よりも大きい分割領域145の数が、第一所定数Jより多いか否かを判断することで、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より小さいか否かを判断する。本実施形態では、第一所定数Jは「2」であるとする。判断の基準となる第一閾値は、図3に示す閾値データテーブル95に登録されている。
例えば、図6に示すように、撮像画像表示領域141に、例えば後述する光源146(図10参照)等が表示されていない場合、S35において取得された複数の分割領域145におけるRGBの夫々の輝度全てが第一閾値「220」より大きくなる分割領域145が第一所定数J「2」以下となる。このため、CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きくないと判断する(S36:NO)。
CPU51は時間Taを0に設定する(S37)。なお、CPU51は、S41において時間Taの計測を開始している場合には、時間Taを0に設定すると共に、時間Taの計測を停止する。CPU51は、S35において取得した光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が、第二閾値より小さいか否かを判断する(S38)。本実施形態では、CPU51は、S35において取得した複数の分割領域145の夫々の光量関連値が第二閾値よりも小さい分割領域145の数が、第二所定数Kより多いか否かを判断することで、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいか否かを判断する。本実施形態では、第二所定数Kは、「4」であるとする。判断の基準となる第二閾値は、図3に示す閾値データテーブル95に登録されている。
例えば、図6に示すように、カメラ20が手で覆われることなく、撮像画像表示領域141が暗くなっていない場合、S35において取得された複数の分割領域145におけるRGBの夫々の輝度全てが第二閾値より小さくなる分割領域145が第二所定数K「4」以下となる。このため、CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さくないと判断する(S38:NO)。CPU51は、時間Tbを0に設定する(S39)。なお、CPU51は、S52において時間Tbの計測を開始している場合には、時間Tbを0に設定すると共に、時間Tbの計測を停止する。CPU51は処理をS32に戻す。
カメラ20が光源に向けられるか、カメラ20が手などで覆われた場合に、CPU51は、音声認識処理を実行する。例えば、図10に示すように、カメラ20が光源146に向けられたとする。光源146は、作業場の天井にある2本の蛍光灯である。光源146は、上下方向中央の3つの分割領域145に位置しており、第一所定数J「2」より多い3つの分割領域145のRGBの夫々の輝度全てが、第一閾値「220」より大きくなる。この場合、CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいと判断する(S36:YES)。
CPU51は、時間Taが計測中であるか否かを判断する(S40)。時間Taが計測中である場合(S40:YES)、CPU51は、後述するS42を実行する。時間Taが計測中でない場合(S40:NO)、CPU51は、OSのタイマ機能を利用して時間Taの計測を0から開始する(S41)。CPU51は、時間Taが時間T1以上か否かを判断する。時間T1は、例えば1秒である。時間Taが時間T1以上でない場合(S42:NO)、CPU51は処理をS32に戻す。例えば、光源146がカメラ20に継続して撮像されている時間が時間T1より短い場合には、後述するS43が実行されない(S36:NO)。このため、ユーザが意図せずに光源146がカメラ20に撮像されても、時間T1より短い場合には、音声認識処理が実行されない。
時間Taが時間T1以上である場合(S42:YES)、CPU51は、実行フラグを「1」に設定する(S43)。CPU51は、設定された実行フラグをRAM52に記憶する。CPU51は、実行フラグが「1」に設定されたと判断し(図7のS12:YES)、HD10の向きが所定の向きであると判断すると(図7のS16:YES)、音声認識処理を実行する(S21)。
CPU51は、音声認識処理が実行可能な状態を示す情報である実行表示144を画像表示部14に出力する指示を、HD10に送信する(S44)。図10に示す実行表示144は、「音声認識処理を実行中です」のメッセージである。実行表示144は、他のメッセージであってもよい。また、実行表示144は、指示データに対応する操作ワードを示すテキストであってもよい。この場合、HMD1のユーザは、使用可能な操作ワードを確認できる。実行表示144が画像表示部14に出力されるので、ユーザは音声認識処理が実行可能な状態であることを認識することができる。後述するS55も同様である。
CPU51は、S45〜S49を実行する。S45〜S49は、夫々、S32〜S36と同様の処理である。CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きい場合(S49:YES)、時間Taが時間T2以上であるか否かを判断する(S50)。時間T2は、例えば5秒である。時間Taが時間T2以上でない場合(S50:NO)、CPU51は処理をS45に戻す。すなわち、S50では、時間T2以上継続して、S36及びS49において光量関連値が第一閾値より大きいと判断されたか否かが判断されている。
時間Taが時間T2以上である場合(S50:YES)、CPU51は、実行フラグを「0」に設定する(S64)。CPU51は、実行フラグを「0」に設定した場合、音声認識処理(図7のS21)を実行しない(図7のS12:NO、S13:NO)。すなわち、CPU51は、時間T2以上継続して、S36及びS49において光量関連値が第一閾値より大きいと判断した場合に、S21における音声認識処理を停止する。時間T2以上継続して、S36及びS49において光量関連値が第一閾値より大きいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ20を光源146に向けている可能性が低い。この場合に、CPU51が自動で音声認識処理を停止するので、ユーザの利便性が向上する。
CPU51は、実行表示144の画像表示部14への出力を停止する指示を、HD10に対して送信する(S65)。これによって、CPU51は、音声認識処理が停止されたことをユーザに報知する。CPU51は、時間Ta、後述する時間Tb、後述する時間Tcの計測を停止する(S66)。CPU51は処理をS32に戻す。
図11に示すように、ユーザがカメラ20の一部を手149で覆ったとする。図11では、左側の6つの分割領域145が、手149で覆われ、暗くなっている。この場合、手149で覆われた6つの分割領域145の輝度は、R「60」、G「20」、B「20」であるとする。この例では、手149に流れる血液に外界の光が透過し、画像データに基づく画像のR成分が、G成分及びB成分よりも大きくなっている。図3に示す閾値データテーブルでは、R成分の輝度についての第二閾値「80」が、G成分及びB成分についての第二閾値「30」よりも大きく設定されている。このため、第二所定数K「4」よりも多い6つの分割領域145のRGBの夫々の輝度全てが、第二閾値より小さくなる。この場合、図8に示すように、CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいと判断し(S38:YES)、S51を実行する。この場合、CPU51は、後述するS54において実行フラグを「−1」に設定し、音声認識処理を実行する(図7のS13:YES、及びS21)。
このように、ユーザが手149などの身体の一部を用いてカメラ20を覆う場合において、画像データ中のR成分が、G成分及びB成分より大きくなった場合でも、S38では、光量関連値が第二閾値より小さいと判断される。よって、ユーザは、より確実にHMD1に音声認識処理を実行させることができる。
S51において、CPU51は、時間Tbが計測中であるか否かを判断する。時間Tbが計測中である場合(S51:YES)、CPU51は、後述するS53を実行する。時間Tbが計測中でない場合(S51:NO)、CPU51は、OSのタイマ機能を利用して時間Tbの計測を0から開始する(S52)。CPU51は、時間Tbが時間T3以上であるか否かを判断する(S53)。時間T3は、例えば1秒である。時間Tbが、時間T3以上でない場合(S53:NO)、CPU51は処理をS32に戻す。例えば、カメラ20が手149に継続して覆われている時間が時間T3より短い場合には、CPU51は後述するS54を実行しない(S38:NO)。このため、ユーザが意図せずにカメラ20に撮像される画像が暗くなっても、時間T3より短い場合には、CPU51は音声認識処理を実行しない。
時間Tbが時間T3以上である場合(S53:YES)、CPU51は実行フラグを「−1」に設定する(S54)。CPU51は、設定した実行フラグをRAM52に記憶する。前述したように、CPU51は、実行フラグを「−1」に設定したと判断した場合(図7のS13:YES)、音声認識処理を実行する(S21)。
図11に示すように、CPU51は、実行表示144を画像表示部14に出力する指示を、HD10に送信する(S55)。次いで、CPU51は、S56〜S60を実行する。S56〜S60は、夫々、S32〜S35及びS38と同様の処理である。CPU51は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さい場合(S60:YES)、時間Tbが時間T4以上であるか否かを判断する(S61)。時間T4は、例えば5秒である。時間Tbが時間T4以上でない場合(S61:NO)、CPU51は処理をS56に戻す。すなわち、CPU51がS61において、時間T4以上継続して、S38及びS60において光量関連値が第二閾値より小さいと判断したか否かを判断している。
時間Tbが時間T4以上である場合(S61:YES)、CPU51は処理をS64に進め、実行フラグを「0」に設定する(S64)。CPU51は、実行フラグを「0」に設定した場合、音声認識処理(図7のS21)を実行しない(図7のS12:NO、S13:NO)。すなわち、CPU51は、時間T4以上継続して、S38及びS60において光量関連値が第二閾値より小さいと判断した場合に、S21における音声認識処理を停止する。時間T4以上継続して、S38及びS60において光量関連値が第二閾値より小さいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ20に撮像される外界の光を暗くしている可能性が低い。この場合に、CPU51が自動で音声認識処理を停止するので、ユーザの利便性が向上する。
CPU51は、S49において、画像データに基づく画像の一部における光量関連値が第一閾値より大きくないと判断した場合(S49:NO)、S62を実行する。また、CPU51は、S60において、画像データに基づく画像の一部における光量関連値が第二閾値より小さくないと判断した場合にも(S60:NO)、S62を実行する。CPU51は、S62において、OSのタイマ機能を利用して時間Tcの計測を0から開始する。
CPU51は、時間Tcが時間T5以上であるか否かを判断する(S63)。時間T5は、例えば5秒である。時間Tcが時間T5以上でない場合、CPU51はS63を繰り返す。時間Tcが時間T5以上である場合(S63:YES)、CPU51は実行フラグを「0」に設定する(S64)。このため、CPU51は、音声認識処理を停止する(図7のS12:NO、及びS13:NO)。すなわち、カメラ20に光源146が撮像されて音声認識処理が実行される状態になった後(図8のS43及び図7のS21)、カメラ20に光源146が撮像されなくなっても、CPU51は、時間T5の間、音声認識処理を実行する。同様に、カメラ20が手149で覆われて音声認識処理が実行される状態になった後(図8のS54及び図7のS21)、カメラ20が手149で覆われない状態になっても、CPU51は、時間T5の間、音声認識処理を実行する。このように、CPU51は、一旦音声認識処理を開始すれば、ユーザがカメラ20を光源146に向けなくても、又は、カメラ20が手149で覆わなくても、時間T5の間は音声認識処理を継続する。よって、ユーザは操作ワードを発声することでHMD1を操作しながら作業を行うことができる。故に、ユーザの作業効率が向上する。
以上のように本実施形態における処理が実行される。本実施形態では、CPU51は、図8のS35において取得した光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいと判断した場合に(図8のS36:YES)、実行フラグを「1」に設定する(図8のS43)。そして、CPU51は、音声認識処理を実行する(図7のS12:YES、及びS21)。このため、例えば、カメラ20が光源146に向けられるだけで、CPU51は、音声認識処理を実行する。よって、例えば、ユーザは手でHMD1のスイッチ等を操作する必要がなく、ハンズフリーでHMD1に音声認識処理を実行させることができる。また、CPU51は、操作ワードが発声されるだけで、HMD1が備えるHD10に動作データに基づく動作を実行させることができる(S23)。また、CPU51は、画像の一部に光源146が含まれる場合に、音声認識処理を実行するので、ユーザは画像の一部に光源146が含まれるようにカメラ20を光源146に向けるだけで、HMD1に音声認識処理を実行させることができる。
また、CPU51は、光量関連値が第一閾値よりも大きい分割領域145の数が第一所定数Jより多い場合に(S36:YES)、音声認識処理を実行し(S21)、第一所定数J以下の場合(S36:NO)、音声認識処理を実行しない。カメラ20の近くにある光源は、遠くにある光源より画像中の範囲が大きくなる。このため、例えば、ユーザは、近くにある光源146が画像に含まれるように撮像手段を光源に向けた場合に、HMD1に音声認識処理を実行させることができる。また、遠くにある光源が第一所定数J以下の分割領域145の範囲に含まれた場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
また、CPU51は、光量関連値が第二閾値よりも小さい分割領域145の数が第二所定数Kより多い場合に(S38:YES)、音声認識処理を実行し(S21)、第二所定数K以下の場合(S38:NO)、音声認識処理を実行しない。このため、例えば、黒色の物体が撮像された場合など、第二所定数K以下の分割領域145の範囲の光量関連値が第二閾値より小さくなった場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
また、CPU51は、光量関連値が第一閾値より大きいと判断した場合(S36:YES)、又は、光量関連値が第二閾値より小さいと判断した場合に(S38:YES)、実行フラグを「1」又は「−1」に設定し(S43及びS54)、音声認識処理を実行する(S21)。このため、ユーザは、例えば、カメラ20を光源146に向けるか、カメラ20を手149で覆うなどするだけで、HMD1に音声認識処理を実行させることができる。よって、例えば、HMD1のスイッチ等を探して操作する必要がなく、ユーザは音声認識処理をハンズフリーで実行させ易くなる。
また、フラッシュROM54には、第一辞書データテーブル96と第二辞書データテーブル97との2つの辞書データテーブルが記憶されている。このため、全ての指示データが、1つの辞書データテーブルに記憶されている場合に比べて、1つの辞書データテーブル当たりの指示データの数が少なくなる。よって、CPU51がテキストデータに指示データが含まれているか否かの判断を行うS22の判断精度が向上する。よって、CPU51は、指示データに対応付けられた動作データに基づく動作をS23においてHMD1により確実に実行させることができる。また、外界の光が明るい場合と暗い場合とで、参照する辞書データテーブルを切り替えることができる(S17及びS18)。よって、ユーザの利便性が向上する。
また、CPU51は、S36において光量関連値が第一閾値より大きいと判断した場合、且つ、S16において向き検出センサ21の検出結果が、所定の向きであると判断した場合に、S21において音声認識処理を実行する。具体例の場合、水平より上側(所定の向き)にある光源146にカメラ20が向けられた場合に、CPU51は音声認識処理を実行する。このため、ユーザが音声認識処理を実行させる意思がなく、所定の向き以外にある光源にカメラ20を向けた場合に音声認識処理が実行されることを防止できる。例えば、作業中のユーザの手元など、水平より下側(重力方向側)に光源が配置され、カメラ20が向けられても、CPU51は音声認識処理を実行しない。
本実施形態において、HMD1は本発明の「音声認識装置」の一例である。マイク17は本発明の「音声入力部」の一例である。HMD1及びHD10は本発明の「頭部装着部」の一例である。カメラ20は本発明の「取得部」及び「撮像手段」の一例である。フラッシュROM54は本発明の「記憶部」の一例である。S11において、音声データの取得が開始された後、音声データの取得を継続する処理を行うCPU51は本発明の「音声データ取得手段」の一例である。S35の処理を行うCPU51は本発明の「光量取得手段」の一例である。S36及びS49の処理を行うCPU51は本発明の「第一判断手段」の一例である。S21の処理を行うCPU51は本発明の「音声認識手段」の一例である。第一辞書データテーブル96は本発明の「対応データ」及び「第一対応データ」の一例である。第二辞書データテーブル97は本発明の「対応データ」及び「第二対応データ」の一例である。S22の処理を行うCPU51は本発明の「指示判断手段」の一例である。S23の処理を行うCPU51は本発明の「実行手段」の一例である。
S38及びS60の処理を行うCPU51は本発明の「第二判断手段」の一例である。S50:YES、及びS64の処理を行うCPU51は本発明の「第一停止手段」の一例である。時間T2は本発明の「第一所定時間」の一例である。S61:YES、及びS64の処理を行うCPU51は本発明の「第二停止手段」の一例である。時間T4は本発明の「第二所定時間」の一例である。画像表示部14は本発明の「出力部」の一例である。S44及びS55の処理を行うCPU51は本発明の「出力制御手段」の一例である。S11において、音声データの取得が開始された後、音声データの取得を継続する処理は本発明の「音声データ取得ステップ」の一例である。S35の処理は本発明の「光量取得ステップ」の一例である。S36及びS49の処理は本発明の「第一判断ステップ」の一例である。S21の処理は本発明の「音声認識ステップ」の一例である。S22の処理は本発明の「指示判断ステップ」の一例である。S23の処理は本発明の「実行ステップ」の一例である。
なお、本発明は上記の実施形態に限定されるものではなく、種々の変更が可能である。例えば、CPU51は、S33、S46、及びS57において、画像データに基づく画像を表示していたが、表示しなくてもよい。また、図3に示す閾値データテーブル95において、第一閾値はRGBの夫々が「220」であったが、これに限定されない。例えば、RGBの夫々の第一閾値が、互いに異なる値であってもよい。同様に、RGBの夫々の第二閾値が、互いに異なる値であってもよいし、互いに同じ値であってもよい。また、第一閾値及び第二閾値は予め定められていたが、ユーザの操作に応じてCPU51が設定してもよい。この場合、ユーザが作業を行う環境の明るさに合わせた閾値を設定することができる。また、S44及びS55において、実行表示144が画像表示部14に出力されていたが、これに限定されない。音声認識処理が実行される場合に、HMD1に設けられた出力部に出力されれば良く、例えば、CPU51は、イヤホン18から所定の音を出力してもよい。この場合、イヤホン18から出力される所定の音は、音声認識処理が実行可能な状態を示す情報である。また、CPU51は、S44及びS55を実行しなくてもよい。
また、所定の向きは、水平より上側であったが、これに限定されない。例えば、所定の向きは、ユーザの操作に応じてCPU51が設定してもよい。この場合、ユーザが作業を行う環境における光源の位置、及び、ユーザが設置をする光源の位置などに応じて、所定の向きを設定することができる。また、CPU51は、S14〜S16の処理を実行しなくてもよい。この場合、CPU51は、実行フラグを「1」に設定した場合に(S12:YES)、処理をS17に進める。すなわち、CPU51は、HD10の向きを判断しなくてもよい。また、光量関連値が第一閾値より大きい場合、又は、光量関連値が第二閾値より小さい場合に、CPU51は音声認識処理を実行したが、これに限定されない。例えば、CPU51は、光量関連値が第一閾値より大きい場合にのみ、音声認識処理を実行してもよい。
また、CPU51は、S36及びS49において画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいか否かを判断する場合に、S34及びS47において画像を分割していたが、これに限定されない。例えば、CPU51は、画像を分割することなく、画像データに基づく画像の少なくとも一部の輝度が第一閾値より大きいか否かを判断してもよい。同様に、CPU51は、S38及びS60において画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいか否かを判断する場合に、画像を分割していたが、これに限定されない。例えば、CPU51は、画像を分割することなく、画像データに基づく画像の少なくとも一部の輝度が第二閾値より小さいか否かを判断してもよい。
また、CPU51は、S34、S47、及びS58において、画像を分割せず、例えば、画像全体の輝度の平均値、又は、画像中で最も大きい輝度の値などを、S35で取得し、S36、S38、S49、及びS60における判断で使用してもよい。この場合、CPU51は、S34、S47、及びS58の処理を実行しなくてもよい。
また、光情報は画像データであり、光量関連値が画像のRGBの輝度であったが、これに限定されない。例えば、光情報及び光量関連値は、照度であってもよい。この場合、カメラ20の代わりに照度センサを用いてもよい。この場合、CPU51は、S32、S45、及びS56において、照度センサの出力を取得する。CPU51は、S35、S48、S59の処理において、取得された照度センサの出力の値を光量関連値に設定する。CPU51は、S36及びS49において、光量関連値である照度センサの出力の値が第一閾値より大きいか否かを判断する。CPU51は、S38及びS60において、光量関連値である照度センサの出力の値が、第一閾値より小さい値に設定された第二閾値より小さいか否かを判断する。なお、この場合、第一閾値と第二閾値とは、輝度の場合とは異なる値であり、照度に合わせて設定されていればよい。また、CPU51は、S33、S34、S46、S47、S57、及びS58の処理を実行しなくてもよい。
また、メイン処理及びフラグ設定処理はHMD1のCPU51によって実行されていたが、これに限定されない。例えば、メイン処理及びフラグ設定処理はサーバ80のCPU81によって実行される処理であってもよい。すなわち、サーバ80が音声認識処理を実行してもよい。以下、サーバ80のCPU81によって処理が実行される場合の変形例について説明する。
以下の説明では、HMD1のCPU51とサーバ80のCPU81は、それぞれ、無線通信部59、通信部86を介してネットワーク9に接続され、相互にデータを送受信可能であるとする。また、メイン処理及びフラグ設定処理を実行するプログラム、閾値データテーブル95、第一辞書データテーブル96、及び第二辞書データテーブル97等は、HDD84に記憶されているとする。以下の説明では、HMD1のCPU51がメイン処理及びフラグ設定処理を実行する場合と異なる処理について説明し、他の処理の説明は省略する。
S11で音声データの取得が開始されると、CPU81は音声データを取得する。CPU81が取得する音声データは、HMD1のCPU51がマイク17を介して取得し、サーバ80に送信した音声データである。また、S32、S45、及びS56においてCPU81が取得する画像データは、HMD1のCPU51がカメラ20を介して取得し、サーバ80に送信した画像データである。また、CPU81は、S33、S46、及びS57において画像表示部14に画像を表示させる場合、夫々、S32、S45、及びS56において取得した画像データをHMD1に送信する。HMD1のCPU51は画像データを受信し、画像表示部14に表示する。また、CPU81は、S44及びS55において実行表示144を画像表示部14に表示させる場合、実行表示144を表示するためのデータをHMD1に送信する。HMD1のCPU51は実行表示144を表示するためのデータを受信し、画像表示部14が実行表示144を表示する。
CPU81は、S65において実行表示144の停止をする場合、実行表示144の停止を指示するデータをHMD1に送信する。HMD1のCPU51は、実行表示144の停止を指示するデータを受信し、実行表示144の表示を停止する。S15においてCPU81が取得するHD10の向きは、HMD1が向き検出センサ21を介して取得し、サーバ80に送信した向きのデータである。CPU81は、S22において含まれると判断された指示データに対応付けられた動作データに基づく動作をHMD1に実行させる(S23)。この場合、CPU81は、動作データに基づく動作を実行する指示のデータをHMD1に送信する。HMD1のCPU51は、動作データに基づく動作を実行する指示のデータを受信し、動作データに基づく動作を実行する。以上の処理以外の処理は、HMD1のCPU51が実行する場合と同様である。
本変形例において、サーバ80は本発明の「音声認識装置」の一例である。HMD1及びHD10は本発明の「頭部装着部」の一例である。HDD84は本発明の「記憶部」の一例である。S11において、音声データの取得が開始された後、音声データの取得を継続する処理を行うCPU81は本発明の「音声データ取得手段」の一例である。S35の処理を行うCPU81は本発明の「光量取得手段」の一例である。S36及びS49の処理を行うCPU81は本発明の「第一判断手段」の一例である。S21の処理を行うCPU81は本発明の「音声認識手段」の一例である。S22の処理を行うCPU81は本発明の「指示判断手段」の一例である。S23の処理を行うCPU81は本発明の「実行手段」の一例である。
S38及びS60の処理を行うCPU81は本発明の「第二判断手段」の一例である。S50:YES、及びS64の処理を行うCPU81は本発明の「停止手段」の一例である。S44及びS55の処理を行うCPU81は本発明の「出力制御手段」の一例である。S11において、音声データの取得が開始された後、音声データの取得を継続する処理は本発明の「音声データ取得ステップ」の一例である。S35の処理は本発明の「光量取得ステップ」の一例である。S36及びS49の処理は本発明の「第一判断ステップ」の一例である。S21の処理は本発明の「音声認識ステップ」の一例である。S22の処理は本発明の「指示判断ステップ」の一例である。S23の処理は本発明の「実行ステップ」の一例である。
なお、メイン処理及びフラグ設定処理における全ての処理ステップをCPU51及びCPU81の一方のみが実行する必要は無く、CPU51が実行する処理ステップとCPU81が実行する処理ステップとを分けてもよい。
1 ヘッドマウントディスプレイ
14 画像表示部
17 マイク
18 イヤホン
20 カメラ
21 向き検出センサ
51,81 CPU
54 フラッシュROM
80 サーバ
84 HDD
95 閾値データテーブル
96 第一辞書データテーブル
97 第二辞書データテーブル
145 分割領域

Claims (12)

  1. 音声入力部に入力された音声の音声データを取得する音声データ取得手段と、
    頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得手段と、
    前記光量取得手段によって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断手段と、
    前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得手段によって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識手段と、
    前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識手段によって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断手段と、
    前記指示判断手段によって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行手段と
    を備えたことを特徴とする音声認識装置。
  2. 前記光量取得手段によって取得された前記光量関連値が、前記第一閾値より小さい第二閾値よりも小さいか否かを判断する第二判断手段を備え、
    前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、又は、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行することを特徴とする請求項1に記載の音声認識装置。
  3. 前記指示判断手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記記憶部に記憶された第一対応データを参照し、前記第一対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記記憶部に記憶された前記第一対応データと異なる第二対応データを参照し、前記第二対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、
    前記実行手段は、前記指示判断手段によって前記指示データが含まれると判断された場合に、前記第一対応データ又は前記第二対応データいずれかにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させることを特徴とする請求項2に記載の音声認識装置。
  4. 第一所定時間以上継続して、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第一停止手段を備えたことを特徴とする請求項1から3のいずれかに記載の音声認識装置。
  5. 第二所定時間以上継続して、前記第二判断手段によって前記光量関連値が第二閾値より小さいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第二停止手段を備えたことを特徴とする請求項2又は3に記載の音声認識装置。
  6. 前記取得部は、画像を撮像する撮像手段であり、
    前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、
    前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記光量関連値を取得し、
    前記第一判断手段は、前記光量取得手段によって取得された前記光量関連値に基づいて、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断し、
    前記音声認識手段は、前記第一判断手段によって前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識処理を実行することを特徴とする請求項1から5のいずれかに記載の音声認識装置。
  7. 前記光量取得手段は、前記画像データに基づく前記画像を前記複数の分割領域に分割し、分割した前記複数の分割領域の夫々についての前記光量関連値を取得し、
    前記第一判断手段は、前記光量取得手段によって取得された前記複数の分割領域の夫々の前記光量関連値が前記第一閾値よりも大きい前記分割領域の数が、所定数より多いか否かを判断することで、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断することを特徴とする請求項6に記載の音声認識装置。
  8. 前記光量取得手段が取得する前記光量関連値は、前記画像データに基づく前記画像におけるRGBの夫々の輝度であり、
    前記第一閾値は前記RGBの夫々の輝度についての閾値であることを特徴とする請求項6又は7のいずれかに記載の音声認識装置。
  9. 前記取得部は、画像を撮像する撮像手段であり、
    前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、
    前記光量関連値は、前記画像データに基づく前記画像におけるRGBの夫々の輝度であり、
    前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記画像の前記RGBの夫々の前記輝度を取得し、
    前記第二判断手段は、前記光量取得手段によって取得された前記RGBの夫々の前記輝度のうち、前記画像データに基づく画像の少なくとも一部における前記輝度が前記第二閾値より小さいか否かを判断し、
    前記音声認識手段は、前記第二判断手段によって前記画像の少なくとも一部における前記輝度が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行し、
    前記RGBのうち、R成分の輝度についての前記第二閾値は、G成分及びB成分についての前記第二閾値よりも大きいことを特徴とする請求項2、3、5のいずれかに記載の音声認識装置。
  10. 前記頭部装着部の向きを検出する方向検出部による検出結果が、所定の向きであるか否かを判断する向き判断手段を備え、
    前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、且つ、前記向き判断手段によって前記方向検出部による検出結果が、所定の向きであると判断された場合に、前記音声認識処理を実行することを特徴とする請求項1から9のいずれかに記載の音声認識装置。
  11. 前記音声認識手段によって前記音声認識処理が実行可能な状態を示す情報を、前記頭部装着部に設けられた出力部に出力する出力制御手段を備えたことを特徴とする請求項1から10のいずれかに記載の音声認識装置。
  12. 音声認識処理を実行する音声認識装置において実行される音声認識プログラムであって、
    前記音声認識装置のコントローラに、
    音声入力部に入力された音声の音声データを取得する音声データ取得ステップと、
    頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得ステップと、
    前記光量取得ステップによって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断ステップと、
    前記第一判断ステップによって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得ステップによって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識ステップと、
    前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識ステップによって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断ステップと、
    前記指示判断ステップによって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断ステップによって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行ステップと
    を実行させることを特徴とする音声認識プログラム。
JP2013067642A 2013-03-27 2013-03-27 音声認識装置及び音声認識プログラム Pending JP2014191238A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013067642A JP2014191238A (ja) 2013-03-27 2013-03-27 音声認識装置及び音声認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013067642A JP2014191238A (ja) 2013-03-27 2013-03-27 音声認識装置及び音声認識プログラム

Publications (1)

Publication Number Publication Date
JP2014191238A true JP2014191238A (ja) 2014-10-06

Family

ID=51837509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013067642A Pending JP2014191238A (ja) 2013-03-27 2013-03-27 音声認識装置及び音声認識プログラム

Country Status (1)

Country Link
JP (1) JP2014191238A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197629A (ja) * 2019-06-03 2020-12-10 パナソニックIpマネジメント株式会社 音声テキスト変換システムおよび音声テキスト変換装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197629A (ja) * 2019-06-03 2020-12-10 パナソニックIpマネジメント株式会社 音声テキスト変換システムおよび音声テキスト変換装置
JP7373739B2 (ja) 2019-06-03 2023-11-06 パナソニックIpマネジメント株式会社 音声テキスト変換システムおよび音声テキスト変換装置

Similar Documents

Publication Publication Date Title
US9967487B2 (en) Preparation of image capture device in response to pre-image-capture signal
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6160020B2 (ja) 透過型表示装置、表示方法および表示プログラム
US9411160B2 (en) Head mounted display, control method for head mounted display, and image display system
US9171198B1 (en) Image capture technique
US9792710B2 (en) Display device, and method of controlling display device
US20160291666A1 (en) Display apparatus and display apparatus control method
JP6398157B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6725897B2 (ja) 活動に適した照明を決定する方法
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6464729B2 (ja) 表示装置、及び、表示装置の制御方法
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
WO2015131543A1 (zh) 一种利用终端前置摄像头拍照的方法及终端
JP2015005972A (ja) 撮影画像のプライバシー保護機能を有するウェアラブルデバイス及びその制御方法並びに画像共有システム
US20160035137A1 (en) Display device, method of controlling display device, and program
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017010185A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR102304916B1 (ko) 용접 정보 제공 장치
JP2014191238A (ja) 音声認識装置及び音声認識プログラム
JP6064737B2 (ja) 音声認識装置及び音声認識プログラム
JP6609920B2 (ja) 表示装置、及び、表示装置の制御方法
JP6638325B2 (ja) 表示装置、及び、表示装置の制御方法
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6638195B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150513