JP2023076531A - ヘッドマウント情報処理装置の制御方法 - Google Patents

Abstract

【課題】ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を確実に聴き取らせることができるヘッドマウント情報処理装置の制御方法を提供する。【解決手段】音声入力部（外周音マイク１３２，１３３）は、ユーザーの耳部近傍に装着され、ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換する。音声出力部（ヘッドフォン１２２を含む）は、出力音声信号を生成し、生成した出力音声信号を出力用音声に変換してユーザーに向けて放音する。制御部１２５は、音声入力部からの入力音声信号の音量レベルと、音声出力部からの出力音声信号の音量レベルとに基づいて、周囲音が出力用音声の聴取を妨げる状態か否かを判別し、判別した結果に基づいて音声出力部の放音動作を制御する。【選択図】図２

Description

本発明は、画像や音声を視聴する機能を頭部に装着して使用するヘッドマウント情報処理装置の制御方法に関する。

特許文献１には、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、周囲音をイヤホンに出力すべきと判定された場合に、少なくとも１つのマイクから入力される音声信号をイヤホンに出力する音声出力制御部とを備える携帯端末が示される。

特開２０１５－２１１２６７号公報

一般的に、ヘッドマウント情報処理装置は、ユーザーが頭部に装着した表示部に現実空間や仮想空間（仮想オブジェクト）を表示することができる。このようなヘッドマウント情報処理装置では、近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、ユーザーに、あたかもその場に仮想の物体が存在するかのような体験を行わせることが可能になってきている。従来から、表示部とともにヘッドフォンなどの音声出力部を頭部に装着して使用するヘッドマウント情報処理装置では、音声出力部にてヘッドマウント情報処理装置内部から出力される音声信号を音声に変換して放音し、ユーザーに音声信号を伝えている。

音声出力部のうち、空気の振動で伝えられる気導音を聴く気導型ヘッドフォンでは、耳の表面に接するように装着され、特にオープンイヤー型のヘッドフォンでは耳を完全に塞ぐことなく装着されることもあり、ヘッドフォンの周りを経由して周囲の音が耳に入ってきて、周囲音を拾って聞こえてくることがある。また、骨の振動で伝えられる骨導音を聴く骨伝導型ヘッドフォンでは、耳を全く塞がない形で装着され、周囲音はそのまま耳に入り聞こえてくる。

ところで、周囲音には、ユーザーにとって必要なもの（例えば、他者からの呼びかけ、緊急車両のサイレンなど）と、ユーザーにとって不要なもの（電車や車の走行音、他者間の会話、花火や雷鳴など大きな騒がしい音、強風や大雨の音、など）がある。このような周囲音に対し、特許文献１では、イヤホンを耳に装着した状態で、マイクで集音した周囲音がユーザーにとって必要性の高い周囲音か否かを判定し、必要性の高い周囲音をユーザーがイヤホンで聴こえるようにする方式が示される。

しかし、特許文献１では、ユーザーにとって必要性の高い周囲音を聴くことについては記載されているものの、ユーザーにとって不必要な周囲音に対する対処等については何ら示唆されておらず、ユーザーにとって不必要な周囲音によりヘッドマウント情報処理装置内部から出される音声信号の視聴が妨げられてしまうという課題があった。特にヘッドマウント情報処理装置内部から出される音声信号が言葉で表される場合には、不必要な周囲音により言葉からなるユーザーへの呼びかけや警告などといったユーザーをアシスタントする音声をうまく聴取できず、聞き漏らしてしまうという課題があった。

本発明は、このようなことに鑑みてなされたものであり、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を確実に聴き取らせることができるヘッドマウント情報処理装置を提供するものである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば次の通りである。

一実施の形態によるヘッドマウント情報処理装置は、画像または音声を視聴する機能を有し頭部に装着される装置であって、音声入力部と、音声出力部と、ヘッドマウント情報処理装置の動作を制御する制御部とを具備する。音声入力部は、ユーザーの耳部近傍に装着され、ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換する。音声出力部は、出力音声信号を生成し、生成した出力音声信号を出力用音声に変換してユーザーに向けて放音する。制御部は、音声入力部からの入力音声信号の音量レベルと、音声出力部からの出力音声信号の音量レベルとに基づいて、周囲音が出力用音声の聴取を妨げる状態か否かを判別し、判別した結果に基づいて音声出力部の放音動作を制御する。

また、一実施の形態によるヘッドマウント情報処理装置は、表示部と、音声出力部と、センサデバイスと、ユーザー状態判別部と、ヘッドマウント情報処理装置の動作を制御する制御部とを備える。表示部は、仮想空間情報または現実空間情報を含む所定の情報をユーザーに表示する。音声出力部は、出力音声信号を生成し、生成した出力音声信号を出力用音声に変換してユーザーに向けて放音する。センサデバイスは、ユーザーの状態またはユーザーの周辺の状態を検知する。ユーザー状態判別部は、センサデバイスの検知結果に基づき、ユーザーの状態またはユーザーの周辺の状態が、出力用音声を聴取するのに適した状態か否かを判別する。制御部は、ユーザー状態判別部の判別結果に基づき、出力用音声を聴取するのに適した状態の場合には、音声出力部に放音を行わせ、出力用音声を聴取するのに適していない状態の場合には、音声出力部に放音の中断を指示する。

本発明のヘッドマウント情報処理装置を用いることにより、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。

また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施の形態１によるヘッドマウント情報処理装置の外観構成の一例を示す模式図である。 図１のヘッドマウント情報処理装置の概略構成例を示すブロック図である。 図２の制御部における詳細な処理内容の一例を示すフロー図である。 図２において、音声入力に関する制御部周りの主要部の構成例を示すブロック図である。 図３における放音動作の制御処理の詳細な処理内容の一例を示すフロー図である。 図２において、音声出力に関する制御部周りの主要部の構成例を示すブロック図である。 図４において、放音の再開時に遅延時間を付加する際の動作例を示す説明図である。 図３における放音動作の制御処理の図５とは異なる詳細な処理内容の一例を示すフロー図である。 図３における放音動作の制御処理の図８とは異なる詳細な処理内容の一例を示すフロー図である。 本発明の実施の形態２によるヘッドマウント情報処理装置において、図２の制御部の詳細な処理内容の一例を示すフロー図である。 図１０において、ユーザー不適状態の一例を説明する図である。 本発明の実施の形態３によるヘッドマウント情報処理装置の概略構成例を示すブロック図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
《ヘッドマウント情報処理装置の概略》
図１は、本発明の実施の形態１によるヘッドマウント情報処理装置の外観構成の一例を示す模式図である。図１のヘッドマウント情報処理装置は、ユーザーの頭部に装着されたヘッドマウント情報処理装置本体（ヘッドマウントディスプレイ）１００と、ユーザーの胸部に装着された胸部装着型ウエアラブル端末２００やユーザーの腕部に装着されたリストバンド型ウエアラブル端末３００と、入力コントローラ４００とを備える。

ヘッドマウント情報処理装置本体１００は、カメラ１１１と、ユーザーの状態またはユーザーの周辺の状態を検知するセンサデバイスとを備える。センサデバイスには、右目視線センサ１１２、左目視線センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７、周辺物体検知センサ１１８、発声音マイク１２１、第１～第３の外周音マイク１３１～１３３等が含まれる。ヘッドマウント情報処理装置本体１００は、カメラ１１１を用いてユーザーの前方映像を撮像し、センサデバイスを用いてユーザーの視線や、ユーザーの頭部の動きや、ユーザー周辺の温湿度や、ユーザー周辺の物体の有無等を検知する。

また、ヘッドマウント情報処理装置本体１００は、表示部１１９を備える。表示部１１９は、両眼の前方に設置され、例えば、仮想空間情報やカメラ１１１で撮影された現実空間情報といった所定の情報をユーザーに表示する。発声音マイク１２１は、ユーザーからの発声音声を集音して音声信号に変換する。第１～第３の外周音マイク１３１～１３３は、音声入力部を構成する。音声入力部は、ユーザーの耳部近傍に装着され、ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換する。第１の外周音マイク１３１は、例えば、ヘッドマウント情報処理装置の中心部に設けられ、ユーザーに向かって他者等から発声された音声を集音する。第２および第３の外周音マイク１３２，１３３は、ユーザーの左右の耳に接して設けられ、外部からユーザーの耳に入ってくる周囲音を集音する。

また、ヘッドマウント情報処理装置本体１００は、ユーザーの左右の耳部にそれぞれ装着されるヘッドフォン１２２（１２２ａ，１２２ｂ）を備える。ヘッドフォン１２２ａ，１２２ｂは、音声出力部を構成し、ヘッドマウント情報処理装置内部で生成した左右の出力音声信号を左右の出力用音声にそれぞれ変換してユーザーに向けて放音する。なお、ユーザーが音声出力部で音を聴く際には、耳に入ってきて空気の振動で伝えられた気導音で聞く場合と耳を経由することなく骨の振動で伝えられた骨導音で聞く場合があるが、ヘッドフォン１２２としては、気導音型でも骨導音（骨伝導）型でもよい。

胸部装着型ウエアラブル端末２００は、センサデバイスである心拍センサ２０１を備え、一定時間内に心臓が拍動する回数である心拍数を検知する。リストバンド型ウエアラブル端末３００は、センサデバイスである血圧センサ３０１を備え、ユーザーの血圧を検知する。なお、リストバンド型ウエアラブル端末３００は、脈拍センサを備え、動脈の拍動回数である脈拍数を検知してもよい。入力コントローラ４００は、ユーザーが各種の入力操作を行うものである。胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００、入力コントローラ４００は、近距離無線通信により、ヘッドマウント情報処理装置本体１００との間で情報の送受信を行う。この際には、無線に限らず有線で情報の送受信を行ってもよい。

以上のように、ユーザーに密接して装着されるヘッドマウント情報処理装置では、ヘッドマウント情報処理装置本体１００が備える第２および第３の外周音マイク１３２，１３３等の音声入力部によって耳に入る周囲音を検知することができる。また、ヘッドマウント情報処理装置本体１００やウエアラブル端末２００，３００が備える各種のセンサデバイスにより、ユーザーの状態（例えば心身状態や身体の動き）やユーザーの周辺の状態を検知することができる。また、入力コントローラ４００を介したユーザー入力操作に基づき、ヘッドマウント情報処理装置本体１００におけるユーザーの両眼前方に設けられた表示部１１９は、現実空間情報または仮想空間情報を含む所定の情報を表示することができる。

図２は、図１のヘッドマウント情報処理装置の概略構成例を示すブロック図である。図２において、ヘッドマウント情報処理装置本体１００は、図１で述べたカメラ１１１、各種のセンサデバイス１５１（１１２～１１８，１２１，１３１～１３３）、表示部１１９およびヘッドフォン１２２を備える。これに加えて、ヘッドマウント情報処理装置本体１００は、ユーザー状態判別部１２３と、振動発生部１２４と、制御部１２５と、メモリ１２８と、防音耳カバー検出部１３４と、仮想空間情報生成処理部１４１と、近距離無線通信部１４２とを備える。これらの各構成部は、それぞれバス１５０を介して相互に接続されている。

カメラ１１１は、ヘッドマウント情報処理装置本体１００の前面に設置され、ユーザー前方の風景を撮影する。撮影された映像は、現実空間の映像として表示部１１９に表示される。右目視線センサ１１２および左目視線センサ１１３は、それぞれ右目および左目の視線を検知する。ユーザーの視線を検知する技術は、アイトラッキングとして一般的に知られている。例えば、角膜反射を利用したアイトラッキングでは、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤの照射で生じた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検知する。

加速度センサ１１４は、１秒当たりの速度の変化である加速度を検知するセンサであり、動き・振動・衝撃などを検知する。ジャイロセンサ１１５は、回転方向の角速度を検知するセンサであり、縦・横・斜めの姿勢の状態を検知する。地磁気センサ１１６は、地球の磁力を検出するセンサであり、ヘッドマウント情報処理装置本体１００の向いている方向を検知する。よって、ジャイロセンサ１１５または地磁気センサ１１６を用いると、さらに、場合によっては、加速度センサ１１４を併用すると、ヘッドマウント情報処理装置本体１００を装着しているユーザーの頭部の動きを検知することができる。特に、前後方向と左右方向に加えて上下方向の地磁気を検知する３軸タイプの地磁気センサ１１６を用いると、頭部の動きに対する地磁気変化を検知することにより、頭部の動きをより高精度に検知することが可能である。

温湿度センサ１１７は、ユーザーの周辺の温度および湿度を検知するセンサである。周辺物体検知センサ１１８は、電波、光波、超音波などを発射し、対象物からの反射波を検知することで、対象物との距離や、対象物の方向や相対速度を検知するセンサである。周辺物体検知センサ１１８をユーザーの頭部に装着することで、ユーザーを基準として、ユーザーの周辺に存在する物体との距離や、物体の相対速度や、物体が存在する方向を検知することができる。

ユーザー状態判別部１２３は、ヘッドマウント情報処理装置内部で生成した出力音声信号をヘッドフォン１２２（音声出力部）を介して出力用音声として放音する際に、各種のセンサデバイス１５１の検知結果に基づき、ユーザーの状態またはユーザーの周辺の状態が、出力用音声を聴取するのに適した状態か否かを判別する。詳細は図１０以降で後述するが、ユーザー状態判別部１２３は、例えば、ユーザーが表示部１１９における仮想空間情報または現実空間情報に注視しているとみなされる場合など、予め定めた様々な場合において、出力用音声を聴取するのに適していない状態と判別する。

制御部１２５は、例えば、ＣＰＵ（Central Processing Unit）等で構成され、メモリ１２８に格納されているＯＳ（Operating System）や動作制御用アプリケーションなどのプログラム１２６を実行することによって、各構成部を制御し、ヘッドマウント情報処理装置全体の動作を制御する。詳細は後述するが、制御部１２５は、音声入力部（第２および第３の外周音マイク１３２，１３３）からの入力音声信号の音量レベルと、音声出力部（ヘッドフォン１２２等）からの出力音声信号の音量レベルとに基づいて、周囲音が出力用音声の聴取を妨げる状態か否かを判別し、判別した結果に基づいて音声出力部の放音動作を制御する。

メモリ１２８は、フラッシュメモリや、ワーク用のＲＡＭ等である。メモリ１２８は、ＯＳや、制御部１２５が使用する動作制御用アプリケーションなどのプログラム１２６を記憶している。また、メモリ１２８は、ヘッドマウント情報処理装置本体１００で生成される出力音声信号のデータや、仮想空間情報生成処理部１４１で生成される仮想空間情報や、ウエアラブル端末２００，３００からの情報といった各種の情報データ１２７を記憶している。例えば、ヘッドマウント情報処理装置本体１００で生成される出力音声信号のデータとして、ユーザーへの呼びかけ、案内、情報伝達、警告等といった音声によるユーザーとの対話を通じてユーザーの要求に応える音声アシスタントのデータ等が挙げられる。

表示部１１９は、液晶パネルなどにより構成され、現実空間情報や仮想空間情報を映像によって表示し、また、ユーザーへの呈示通知情報や動作状態等の表示内容を画面表示するものである。表示部１１９は、例えば、出力音声信号の放音を開始する際や、中断する際や、再開する際に、その旨をユーザーに通知するための表示を行ってもよい。これによって、ユーザーは、例えば、放音の中断や再開が行われた場合に、故障ではなく、正常な制御動作によって中断や再開が行われたことを認識することができる。

振動発生部１２４は、制御部１２５からの指示に応じて振動を発生させるものであり、例えば、ヘッドマウント情報処理装置本体１００で生成されたユーザーへの通知情報を振動に変換する。振動発生部１２４は、ユーザーの頭部に密接して装着された状態で振動を発生させることにより、ユーザーへ、より認識度が高い通知を行うことができる。防音耳カバー検出部１３４は、例えば、カメラ１１１の撮像範囲が耳部を含むような場合に、その画像に基づいて、ユーザーの耳部が手などでカバーされ耳に入る周囲音が防音されたか否かを検出する。なお、周囲音が防音されたか否かは、第２および第３の外周音マイク１３２，１３３に入る周囲音の大きさによって検知することも可能である。

仮想空間情報生成処理部１４１は、現実空間とは異なる仮想空間を映像や音声で表現する仮想空間情報を生成する。近距離無線通信部１４２は、近距離無線通信が可能な範囲に存在する胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００および入力コントローラ４００との間で、それぞれ近距離無線通信を行う通信インターフェースである。近距離無線通信部１４２は、例えば、各ウエアラブル端末２００，３００に搭載されたセンサからの検知情報の受信や、各ウエアラブル端末２００，３００に搭載された振動発生部を制御するための制御情報の送信や、入力コントローラ４００に対して入力操作情報の送受信などを行う。

なお、近距離無線通信部１４２は、代表的には電子タグであるが、これに限定されず、ヘッドマウント情報処理装置本体１００が胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００および入力コントローラ４００の近くに存在する場合に少なくとも無線通信可能なものであればよい。このようなものとして、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、または、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）などが挙げられる。

胸部装着型ウエアラブル端末２００は、センサデバイスである心拍センサ２０１と、振動発生部２０２と、近距離無線通信部２０３とを有する。心拍センサ２０１は、ユーザーの胸部に密接して装着され、精度よくユーザーの心拍数を検知する。近距離無線通信部２０３は、検知された心拍数の情報を近距離無線通信によりヘッドマウント情報処理装置本体１００へ送信する。振動発生部２０２は、制御入力に応じて振動を発生させるものであり、ユーザー胸部に密接して装着されることにより、発生振動を確実にユーザーに伝えることができる。

リストバンド型ウエアラブル端末３００は、センサデバイスである血圧センサ３０１と、振動発生部３０２と、近距離無線通信部３０３とを有する。血圧センサ３０１は、ユーザーの腕部に巻きつけて装着されることで、精度よくユーザーの血圧を検知する。近距離無線通信部３０３は、検知された血圧の情報を近距離無線通信によりヘッドマウント情報処理装置本体１００へ送信する。振動発生部３０２は、入力に応じて振動を発生させるものであり、ユーザーの腕部に巻きつけて装着されることにより、発生振動を確実にユーザーに伝えることができる。

ここで、ヘッドマウント情報処理装置本体１００は、近距離無線通信部１４２を介して、心拍センサ２０１からの心拍数の情報や、血圧センサ３０１からの血圧の情報を受信する。ユーザー状態判別部１２３は、当該心拍数の情報や血圧の情報に基づいてユーザーの状態（心身状態）が、出力用音声を聴取するのに適した状態か否かを判別することができる。また、ヘッドマウント情報処理装置本体１００から送信されたユーザーへの通知情報は、近距離無線通信部１４２，２０３，３０３を介して各ウエアラブル端末２００，３００の振動発生部２０２，３０２に伝達される。振動発生部２０２，３０２は、通知情報を振動に変換することで、通知情報をユーザーに知らしめることができる。

なお、ヘッドマウント情報処理装置本体１００の振動発生部１２４や、各ウエアラブル端末２００，３００の振動発生部２０２，３０２は、例えば、出力音声信号の放音を開始する際や、中断する際や、再開する際に、その旨をユーザーに通知するための振動を発生してもよい。これによって、ユーザーは、例えば、放音の中断や再開が行われたことを強く認識することができる。また、ヘッドマウント情報処理装置本体１００は、放音の中断や再開を知らしめる音声をヘッドフォン１２２にて発声させることで、ユーザーに通知し知らしめてもよい。

入力コントローラ４００は、入力操作部４０１と、近距離無線通信部４０２とを有する。入力操作部４０１は、例えばキーボードやキーボタン等による入力手段であり、ユーザーが入力したい情報を設定入力できる。また、入力操作部４０１は、例えば静電容量式などのタッチパッド方式の入力手段であってもよい。入力操作部４０１で入力された情報は、近距離無線通信部４０２を介してヘッドマウント情報処理装置本体１００へ送信される。なお、ここでは、使い勝手の向上のため、無線通信を用いたが、勿論、有線通信を用いてもよい。

《制御部の詳細》
図３は、図２の制御部における詳細な処理内容の一例を示すフロー図である。図４は、図２において、音声入力に関する制御部周りの主要部の構成例を示すブロック図である。図２の制御部１２５は、図３に示すフローを所定の制御周期で繰り返し実行する。図３において、制御部１２５は、音声入力部（第２および第３の外周音マイク１３２，１３３）を用いて周囲音を検知する（ステップＳ１０１）。次いで、制御部１２５は、音声出力部（ヘッドフォン１２２等）が出力用音声を放音中か否かを判別する（ステップＳ１０２）。ステップＳ１０２で出力用音声を放音中の場合、制御部１２５は、ステップＳ１０１で検知した周囲音の音量レベルに基づき、音量レベルの点で周囲音が出力用音声の聴取を妨げる状態か否かを判別する（ステップＳ１０３）。明細書では、この音量レベルの点で周囲音が出力用音声の聴取を妨げている状態を、音量妨害状態とも呼ぶ。

ステップＳ１０３で音量妨害状態が生じている場合、制御部１２５は、放音方法の変更で対処不可能か否かを判定する（ステップＳ１０４）。放音方法の変更とは、詳細は後述するが、例えば、出力音声信号の周波数特性を変更する処理等である。ステップＳ１０４において放音方法の変更で対処不可能な場合、制御部１２５は、音声出力部に放音の中断を指示する（ステップＳ１０５）。さらに、ステップＳ１０５において、制御部１２５は、放音を中断する旨を表示部１１９での告知表示、または振動発生部１２４，２０２，３０２での触感振動、あるいは音声出力部（ヘッドフォン１２２）での発声音声を用いてユーザーに通知し、処理を終了する。

ステップＳ１０３で音量妨害状態が生じていない場合、制御部１２５は、音声出力部が放音方法を変更して放音中であるか否かを判別する（ステップＳ１０６）。ステップＳ１０６で放音方法を変更して放音中である場合、制御部１２５は、ステップＳ１０７にて放音方法の変更を解除したのち（すなわちデフォルトの放音方法に戻したのち）、ステップＳ１０８にて音声出力部による放音を継続し、処理を終了する。一方、ステップＳ１０６で放音方法を変更して放音中でない場合（すなわちデフォルトの放音方法で放音中の場合）、制御部１２５は、音声出力部による放音をそのまま継続し、処理を終了する（ステップＳ１０８）。なお、制御部１２５は、ステップＳ１０４において放音方法の変更で対処可能な場合も、音声出力部による放音をそのまま継続する（ステップＳ１０８）。

ステップＳ１０２で出力用音声を放音中でない場合、制御部１２５は、音声出力部による放音を中断中か否かを判別する（ステップＳ１０９）。ステップＳ１０９で放音を中断中の場合、制御部１２５は、詳細は後述するがステップＳ１１０にて放音動作の制御処理を実行し、処理を終了する。放音動作の制御処理には、放音方法の変更等が含まれる。一方、ステップＳ１０９で放音を中断中でない場合、制御部１２５は、処理を終了する。

図４には、図３のステップＳ１０３（すなわち、音量妨害状態が生じているか否かの判別）に関連する制御部１２５周りの構成例が示される。図４には、制御部１２５と、音声入力部６０１とが示される。音声入力部６０１は、耳に入る周囲音を集音して入力音声信号（ＶＩ）に変換する第２および第３の外周音マイク１３２，１３３を備える。一方、制御部１２５は、周囲音判別部６１０と、音声入力処理部６１１とを備える。音声入力処理部６１１は、例えば、音声入力部６０１からの入力音声信号（ＶＩ）を受けて、その音量レベル（ＬＩ）を検出する。

周囲音判別部６１０は、閾値生成部６１５と、閾値テーブル６１６と、比較器６１７とを備える。閾値テーブル６１６には、音声出力部からの出力音声信号（ＶＯ）の音量レベル（ＬＯｘ）の各範囲と、各範囲毎の相対的な周囲音の許容値を表す閾値レベルとの対応関係が予め定義されている。閾値生成部６１５は、予め装置内部で認識している出力音声信号（ＶＯ）の音量レベル（ＬＯｘ）を受け、閾値テーブル６１６に基づいて、当該音量レベル（ＬＯｘ）に応じた閾値レベル（ＴＨｘ）を生成する。

比較器６１７は、音声入力処理部６１１からの入力音声信号（ＶＩ）の音量レベル（ＬＩ）と閾値生成部６１５からの閾値レベル（ＴＨｘ）とを比較することで、音声出力部に放音の中断を指示するか否かを判別する。言い換えれば、比較器６１７は、入力音声信号（ＶＩ）に対応する周囲音が出力音声信号（ＶＯ）に対応する出力用音声の聴取を妨げる状態か否か、すなわち音量妨害状態が生じているか否かを判別する。

具体的には、比較器６１７は、入力音声信号（ＶＩ）の音量レベル（ＬＩ）が閾値レベル（ＴＨｘ）以上の場合には、周囲音が出力用音声の聴取を妨げる状態（音量妨害状態が生じている状態）と判別して、音声出力部に放音の中断指示（ＩＮＴ）を発行する。また、比較器６１７は、音声出力部が放音を中断中に（すなわち、図３のステップＳ１１０における放音動作の制御処理の中で）、入力音声信号（ＶＩ）の音量レベル（ＬＩ）が閾値レベル（ＴＨｘ）未満となった場合には、周囲音が出力用音声の聴取を妨げない状態と判別して、音声出力部に放音の再開指示（ＲＥＳ）を発行する。言い換えれば、比較器６１７は、音量妨害状態が解消された状態と判別して、音声出力部に放音の再開指示（ＲＥＳ）を発行する。

ここで、ユーザーが出力用音声を聴取する際に妨げと感じられる周囲音の音量レベルには、個人差が生じ得る。そこで、閾値生成部６１５は、ユーザー設定によって閾値レベル（ＴＨｘ）に補正を加えることが可能となっている。なお、ここでは、閾値テーブル６１６を用いて閾値レベル（ＴＨｘ）を生成したが、例えば、予め定めた演算式等を用いて閾値レベル（ＴＨｘ）を生成することも可能である。

また、ここでは、入力音声信号（ＶＩ）の音量レベル（ＬＩ）と出力音声信号（ＶＯ）の音量レベル（ＬＯｘ）との相対比較を用いたが、場合によっては、入力音声信号（ＶＩ）の音量レベル（ＬＩ）の絶対比較を用いてもよく、相対比較と絶対比較とを組み合わせて用いてもよい。例えば、周囲音が非常に大きいような場合には、入力音声信号（ＶＩ）の音量レベル（ＬＩ）のみを用いた絶対比較によって、周囲音が出力用音声の聴取を妨げる状態であると判別することができる。

さらに、周囲音判別部６１０や音声入力処理部６１１は、ユーザーの状態またはユーザーの周辺の状態が出力用音声を聴取するのに適した状態か否かを判別する図２のユーザー状態判別部１２３に設けられてもよい。すなわち、図２では、便宜上、主に機能の観点で制御部１２５とユーザー状態判別部１２３とを分けているが、制御部１２５は、ユーザー状態判別部１２３の機能を包含することができる。また、ハードウェアの観点で、ユーザー状態判別部１２３は、例えばＣＰＵによるプログラム処理で実現することができ、この観点でも、制御部１２５は、ユーザー状態判別部１２３を包含することができる。

《放音動作の制御処理［１］》
図５は、図３における放音動作の制御処理の詳細な処理内容の一例を示すフロー図である。図６は、図２において、音声出力に関する制御部周りの主要部の構成例を示すブロック図である。図５には、図３において放音の中断中に行われる放音動作の制御処理（ステップＳ１１０）の処理内容が示され、その一例である制御処理［１］の処理内容が示される。

図５において、制御部１２５は、図３のステップＳ１０３および図４で述べたような音量妨害状態（周囲音が出力用音声の聴取を妨げる状態）が解消されたか否かを判別する（ステップＳ２０１）。ステップＳ２０１で音量妨害状態が解消された場合、図４で述べたように、制御部１２５（具体的には周囲音判別部６１０）は、再開指示（ＲＥＳ）を発行することで音声出力部に放音の再開を指示する。音声出力部は、当該再開指示（ＲＥＳ）に応じて、放音を、中断する前の箇所に遡って再開する（ステップＳ２０２）。

また、ステップＳ２０２において、詳細は図７で後述するが、制御部１２５は、放音の再開時に、音量妨害状態が解消される直前の周囲音（入力音声信号（ＶＩ））の音量レベル（ＬＩ）に応じた遅延時間を付加する。具体的には、制御部１２５は、例えば、周囲音が出力用音声の聴取を妨げない状態になる直前の入力音声信号（ＶＩ）の音量レベル（ＬＩ）に応じた所定の期間を経過後に、音声出力部に再開指示（ＲＥＳ）を発行する。さらに、ステップＳ２０２において、制御部１２５は、放音を再開する旨を表示部１１９での告知表示、または振動発生部１２４，２０２，３０２での触感振動、あるいは音声出力部（ヘッドフォン１２２）からの発声音声を用いてユーザーに通知し、処理を終了する。それ以降の制御周期では、図３のステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０６→Ｓ１０８の流れで放音動作が継続される。

一方、ステップＳ２０１で、依然として音量妨害状態が生じている場合、制御部１２５は、周囲音の偏りを解析し（ステップＳ２０３）、周囲音に偏りが有るか否かを判別する（ステップＳ２０４）。具体的には、例えば、図４における制御部１２５内の音声入力処理部６１１は、第２および第３の外周音マイク１３２，１３３からの左右の入力音声信号（ＶＩ）の音量レベル（ＬＩ）に予め定めた基準値以上の偏りが有るか否かを判別する。

ステップＳ２０４で周囲音に偏りが有る場合、制御部２０５は、表示部１１９を用いてユーザーに頭部の向きを変えるように指示し、処理を終了する（ステップＳ２０５）。その後、ユーザーが頭部の向きを変えると、それに伴い周囲音の偏りは小さくなる。その結果、次の制御周期で図３のフローを介して図４のステップＳ２０１に達した際に、音量妨害状態が解消された場合には、ステップＳ２０２で放音が再開される。

一方、ユーザーが頭部の向きを変えることで周囲音の偏りが最小となっても、音量妨害状態が解消されない場合がある。この場合、制御部１２５は、ステップＳ２０４からステップＳ２０６に進み、ステップＳ２０６にて、表示部１１９を用いてユーザーに耳を塞ぐ旨の指示を発行し、処理を終了する。その後、ユーザーは、例えば、どうしても出力用音声を聴取したいような場合には、第２および第３の外周音マイク１３２，１３３を含めるように手で耳を塞ぐ。その結果、通常、次の制御周期で図３のフローを介して図４のステップＳ２０１に達した際に、音量妨害状態が解消され、ステップＳ２０２で放音が再開される。

なお、ここでは、制御部１２５は、図４の周囲音判別部６１０による第２および第３の外周音マイク１３２，１３３の検知結果に基づいてユーザーが耳を塞いだか否かを間接的に判別したが、図２で述べた防音耳カバー検出部１３４を用いて直接的に検知してもよい。また、ここでは、制御部１２５は、ステップＳ２０４で周囲音に偏りが無い場合に、耳を塞ぐ旨の指示を発行したが、周囲音の偏りの有無に関わらず（すなわち、ステップＳ２０１で音量妨害状態が解消されない場合に）、耳を塞ぐ旨の指示を発行してもよい。さらに、ユーザーが耳を塞いだときには、例えば、第１の外周音マイク１３１等で検知した周囲音を、音量を調整して出力音声信号（ＶＯ）に重畳してもよい。この場合、全く周囲音が聞こえなくなるのを防ぐことができる。

さらに、ここでは、制御部１２５は、周囲音に偏りが有る場合に、ユーザーに頭部の向きを変えるよう指示を発行したが、この際には、頭部の向き等を含めて指示を発行してもよい。具体的には、制御部１２５は、例えば、第１～第３の外周音マイク１３１～１３３の検知結果に基づき周囲音の到来方向を判別し、その到来方向から遠ざかるような頭部の向きを計算によって算出し、センサデバイス（例えば、ジャイロセンサ１１５や地磁気センサ１１６）と連携しながら、その向きを向くようにユーザーを誘導してもよい。

図６には、図５のステップＳ２０２（すなわち、放音の再開）に関連する制御部１２５周りの構成例が示される。図６には、制御部１２５と、ヘッドフォン１２２と、音声辞書６２２とが示される。制御部１２５は、音声アシスタント処理部６２０と、音声出力処理部６２１とを備える。ここで、音声アシスタント処理部６２０および音声出力処理部６２１は、ヘッドフォン１２２と共に、出力音声信号を生成し、生成した出力音声信号を出力用音声に変換してユーザーに向けて放音する音声出力部６０２を構成する。

音声アシスタント処理部６２０は、音声によるユーザーとの対話を通じてユーザーの要求に応える機能を担い、この際に音声の元となる音声テキストデータを生成する。音声辞書６２２は、各音声を表す波形データを含み、例えば、図２のメモリ１２８に保持される。音声出力処理部６２１は、音声アシスタント処理部６２０からの音声テキストデータに音声辞書６２２からの波形データを合成することで出力音声信号（ＶＯ）を生成する。ヘッドフォン１２２は、出力音声信号（ＶＯ）を出力用音声に変換してユーザーに向けて放音する。

ここで、制御部１２５は、音声出力部に放音の中断を指示したのち、図５のステップＳ２０１において周囲音が出力用音声の聴取を妨げない状態になった場合に、ステップＳ２０２において音声出力部６０２に再開指示（ＲＥＳ）を発行する。音声出力部６０２は、再開指示（ＲＥＳ）に応じて、放音を、中断する前の箇所に遡って再開する。具体的には、音声出力部６０２は、例えば、途中で中断された文の先頭に遡って放音を再開したり、途中で中断された箇所の手前の句読点や、一つ前の文節に遡って放音を再開したり、または、予め定めた固定の文字数、単語数だけ遡って放音を再開する。

音声アシスタント処理部６２０は、音声テキストデータを生成する過程で、文の単位や、文節の単位や、句読点の位置等を認識すると共に、生成した音声テキストデータを逐次バッファ（例えば、図２のメモリ１２８）に蓄える。また、音声出力処理部６２１も、音声テキストデータに対応して生成した出力音声信号（ＶＯ）を逐次バッファに蓄える。したがって、音声出力部６０２は、制御部１２５（図４の周囲音判別部６１０）から中断指示（ＩＮＴ）を受けたタイミングに基づき、中断時の文や、文節や、句読点に挟まれる区間等といった中断箇所を認識することができる。その後、音声出力部６０２は、制御部１２５（図４の周囲音判別部６１０）から再開指示（ＲＥＳ）を受けた場合には、認識している中断箇所に基づいて、中断する前の箇所に遡って放音を再開することができる。

具体例として、音声出力部６０２が「今夜の東京地方の天気予報は、曇り後晴れです。」という文を放音する場合を想定する。音声出力部６０２は、例えば、「曇り後晴れ」の部分を放音中に中断指示（ＩＮＴ）を受けた場合で、その後に、再開指示（ＲＥＳ）を受けた場合、文の先頭に遡って「今夜の」の部分から放音を再開したり、「曇り後晴れ」の部分から放音を再開する。

なお、このように、放音の中断または再開の制御対象は、例えば、ユーザーが聞き逃すことで問題が生じ得る音声アシスタント処理部６２０からの音声等であり、音楽プレーヤーからの音楽等といったユーザーが聞き逃しても特に問題が生じない音声は、制御対象外であってもよい。また、図６の音声出力部６０２には、例えば、ユーザーによる入力コントローラ４００（図２参照）を介した指示に応じて出力音声信号（ＶＯ）の音量レベル（ＬＯｘ）が入力される。音声出力部６０２は、当該音量レベル（ＬＯｘ）に応じた音量で放音を行う。当該音量レベル（ＬＯｘ）は、図４に示した周囲音判別部６１０でも使用される。

図７は、図４において、放音の再開時に遅延時間を付加する際（ステップＳ２０２）の動作例を示す説明図である。図７には、周囲音ノイズレベルと出力音声信号の放音動作との関係が示される。図７において、制御部１２５は、周囲音ノイズレベル７０１が十分低い時刻ｔ１で出力音声信号の放音を開始し、これに伴い、放音動作状態７０２はＯＮ（動作実行）となる。その後、制御部１２５は、周囲音ノイズレベル７０１が高くなり、時刻ｔ２において、図４の閾値レベル（ＴＨｘ）に対応する第１の周囲音ノイズレベル７０３以上となった場合に、周囲音が出力用音声の聴取を妨げる状態と判別して、放音を中断する。これに伴い、放音動作状態７０２はＯＦＦ（動作停止）となる。

その後、周囲音ノイズレベル７０１は、第１の周囲音ノイズレベル７０３以上でかつ第１の周囲音ノイズレベル７０３より高い第２の周囲音ノイズレベル７０４を超えない状態で推移した後、時刻ｔ３で第１の周囲音ノイズレベル７０３未満になる。これに応じて、制御部１２５は、音声出力部に対して、即座に再開指示（ＲＥＳ）を発行するのではなく、時刻ｔ３直前（すなわち妨げない状態になる直前）の入力音声信号の音量レベルに応じた所定の期間Ｔｄ１を経過後の時刻ｔ４において再開指示（ＲＥＳ）を発行する。ここでは、当該入力音声信号の音量レベルは、第１の周囲音ノイズレベル７０３以上かつ第２の周囲音ノイズレベル７０４以下となる。音声出力部は、時刻ｔ４における再開指示（ＲＥＳ）に応じて放音を再開し、これに伴い、放音動作状態７０２はＯＮ（動作実行）となる。

その後、周囲音ノイズレベル７０１は、時刻ｔ５で第１の周囲音ノイズレベル７０３以上となり、これに伴い、放音動作状態７０２はＯＦＦになる。そして、周囲音ノイズレベル７０１は、時刻ｔ５～時刻ｔ６の期間で、第２の周囲音ノイズレベル７０４以上でかつ第２の周囲音ノイズレベル７０４より高い第３の周囲音ノイズレベル７０５を超えない状態で推移し、時刻ｔ６で第１の周囲音ノイズレベル７０３未満になる。これに応じて、制御部１２５は、音声出力部に対して、時刻ｔ６直前の入力音声信号の音量レベル（すなわち第２の周囲音ノイズレベル７０４以上かつ第３の周囲音ノイズレベル７０５以下）に応じた所定の期間Ｔｄ２を経過後に再開指示（ＲＥＳ）を発行する。ここで、期間Ｔｄ２は、対応する音量レベルが期間Ｔｄ１に対応する音量レベルよりも大きいため、期間Ｔｄ１よりも長くなる。

なお、図７の例では、周囲音ノイズレベル７０１は、所定の期間Ｔｄ２を経過する時刻ｔ８の前の時刻ｔ７で再度高くなり、第１の周囲音ノイズレベル７０３を超えている。このため、再開指示（ＲＥＳ）は発行されず、音声出力部は、放音の中断状態を維持する。時刻ｔ７の後、周囲音ノイズレベル７０１は、第３の周囲音ノイズレベル７０５以上の状態で推移した後、時刻ｔ９で第１の周囲音ノイズレベル７０３未満となる。これに応じて、制御部１２５は、音声出力部に対して、時刻ｔ９直前の入力音声信号の音量レベル（すなわち第３の周囲音ノイズレベル７０５以上）に応じた所定の期間Ｔｄ３（＞Ｔｄ２）を経過後の時刻ｔ１０において再開指示（ＲＥＳ）を発行する。音声出力部は、時刻ｔ１０における再開指示（ＲＥＳ）に応じて放音を再開する。

一般的に、ユーザーにおいて、大きな周囲音の後に聴力低下期間が生じる場合がある。この聴力低下期間は、周囲音の音量レベルが高いほど長くなる。そこで、図７に示されるような制御を行うことで、周囲音の音量レベルに応じて聴力低下期間の変化が生じても、制御部１２５は、確実に聴力低下期間を回避して放音を行うことができ、ユーザーは、周囲音の音量レベルに関わらず聴力が良好な状態で出力用音声を聞き取ることが可能となる。なお、図７の例では、周囲音の音量レベルを３段階に分けた例を示したが、更に細かい段階に分けたり、または、所定の期間が音量レベルに応じて連続的に変化するような方式を用いることも可能である。さらに、放音動作を再開する際には、出力音声信号の音量レベルを若干上げるような制御を行ってもよい。

《放音動作の制御処理［２］》
図８は、図３における放音動作の制御処理の図５とは異なる詳細な処理内容の一例を示すフロー図である。図８には、図３において放音の中断中に行われる放音動作の制御処理（ステップＳ１１０）の図５とは異なる処理内容が示され、その一例である制御処理［２］の処理内容が示される。図５では、制御部１２５がユーザーに各種対応を行わせることで、周囲音に対する対策を行ったが、図８では、制御部１２５が放音方法を変更する（具体的には周波数特性を変更する）ことで、ユーザーの対応を経ずに周囲音に対する対策を行う。

図８において、制御部１２５は、図５のステップＳ２０１の場合と同じく、音量妨害状態が解消されたか否かを判別し、解消された場合には、図５のステップＳ２０２の場合と同じく、放音の再開、遅延時間の付加、およびユーザーへの通知を行う。一方、ステップＳ２０１で、依然として音量妨害状態が生じている場合、制御部１２５は、例えば、図４の音声入力処理部６１１を用いて周囲音に対応する入力音声信号（ＶＩ）の周波数特性を解析する（ステップＳ３０１）。

続いて、制御部１２５は、ステップＳ３０１での周波数特性の解析結果に基づき、放音される出力音声信号の周波数特性を変更することで対処可能か否かを判別する（ステップＳ３０２）。すなわち、制御部１２５は、図９のステップＳ２０１や図３のステップＳ１０３で判別される音量レベルの点では音量妨害状態を解消できないが、放音方法を変更することで周囲音が出力用音声の聴取を妨げる状態を解消できるか否かを判別する。

ステップＳ３０２において周波数特性の変更で対処可能と判別した場合、制御部１２５は、放音される出力音声信号の周波数特性を変更したのち（ステップＳ３０３）、ステップＳ２０２へ進んで、放音の再開、遅延時間の付加、およびユーザーへの通知を行い、処理を終了する。それ以降の制御周期では、図３のステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０４→Ｓ１０８の流れで、周波数特性を変更した状態での放音動作が継続される。

また、この周波数特性を変更した状態での放音動作の継続の過程で、周囲音の音量レベルが低下し、音量妨害状態が解消された場合には、図３のステップＳ１０３→Ｓ１０６→Ｓ１０７の流れで周波数特性の変更が解除され、デフォルトの周波数特性に戻される。そして、図３のステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０６→Ｓ１０８の流れで放音動作が継続される。一方、制御部１２５は、ステップＳ３０２において周波数特性の変更（すなわち放音方法の変更）で対処不可能と判別した場合、処理を終了する。その結果、音量妨害状態が解消されるまで、放音を中断した状態が継続する。

ここで、ステップＳ３０１～Ｓ３０３における周波数特性の変更に関する具体的な方式の一例について説明する。まず、制御部１２５（例えば、図６の音声出力処理部６２１）は、予め、出力音声信号（ＶＯ）に適用可能な複数の周波数特性（例えば、基本周波数）を備える。制御部１２５は、ステップＳ３０１で入力音声信号の周波数特性を解析することで入力音声信号の周波数特性（例えば、基本周波数）を認識する。

そして、制御部１２５は、出力音声信号（ＶＯ）に適用可能な複数の周波数特性の中から、入力音声信号の周波数特性との類似度が予め定めた基準値よりも低くなる周波数特性を選択するように音声出力部６２１に指示を発行する（ステップＳ３０３）。具体的には、制御部１２５は、例えば、音声出力部６２１に、入力音声信号の基本周波数から基準値以上離れた出力音声信号（ＶＯ）の基本周波数を選択させる。

このように、出力音声信号の周波数特性を変更することで、ユーザーは、ある程度大きい周囲音が存在する場合であっても、放音される出力音声信号を十分に聴き取ることが可能になる。ただし、出力音声信号に適用可能な複数の周波数特性の中に、入力音声信号の周波数特性との類似度が基準値よりも低くなる周波数特性が存在しない場合には、ステップＳ３０２において周波数特性の変更で対処不可能と判別され、放音の再開等は行われない。

なお、制御部１２５は、例えば、図８に示した制御処理［２］と図５に示した制御処理［１］のいずれか一方を設定に応じて選択的に実行するか、または、図８に示した制御処理［２］ののちに図５に示した制御処理［１］を実行することが可能である。具体的には、制御部１２５は、例えば、図８のステップＳ３０２において周波数特性の変更で対処不可能と判別した場合に、図５の制御処理［１］を実行してユーザーに所定の対応を要求すればよい。

《放音動作の制御処理［３］》
図９は、図３における放音動作の制御処理の図８とは異なる詳細な処理内容の一例を示すフロー図である。図９には、図８の制御処理［２］を変形した制御処理［３］の処理内容が示される。図９では、図８の場合と同様に、制御部１２５が放音方法を変更することで、ユーザーの対応を経ずに周囲音に対する対策を行うが、図８の場合と異なり、放音される出力用音声の音像を変更することで対策を行う。

図９では、図８におけるステップＳ３０１～Ｓ３０３の処理がステップＳ４０１～Ｓ４０３の処理に置き換わっている。図９において、制御部１２５は、ステップＳ２０１で音量妨害状態が解消されない場合、周囲音の音源位置を解析する（ステップＳ４０１）。具体的には、制御部１２５は、例えば、図４の音声入力処理部６１１を用いて、第２および第３の外周音マイク１３２，１３３からの左右の入力音声信号（ＶＩ）の音量レベルや遅延差等に基づき周囲音の音源位置を判別する。

続いて、制御部１２５は、ステップＳ４０１での周囲音の音源位置の解析結果に基づき、放音される出力用音声の音像を変更することで対処可能か否かを判別する（ステップＳ４０２）。すなわち、制御部１２５は、放音方法を変更することで周囲音が出力用音声の聴取を妨げる状態を解消できるか否かを判別する。ステップＳ４０２において出力用音声の音像の変更で対処可能と判別した場合、制御部１２５は、出力用音声の音像を変更したのち（ステップＳ４０３）、ステップＳ２０２へ進んで、放音の再開、遅延時間の付加、およびユーザーへの通知を行い、処理を終了する。一方、制御部１２５は、ステップＳ４０２において出力用音声の音像の変更で対処不可能と判別した場合、処理を終了する。

ステップＳ４０３において、制御部１２５は、具体的には、音声出力部に、出力用音声の音像の位置が周囲音の音源の位置から予め定めた基準値以上離れるように、左右の出力音声信号を生成するよう指示する。これに応じて、例えば、図６の音声出力処理回路６２１は、左右の出力音声信号の音量レベルや、遅延差等を制御することで左右のヘッドフォン１２２ａ，１２２ｂから放音される出力用音声の音像を制御する。この際に、例えば、周囲音の音源位置が左斜め前方である場合には、出力用音声の音像位置は右斜め後方等に定められる。

このように、出力用音声の音像を変更することで、ユーザーは、ある程度大きい周囲音が存在する場合であっても、放音される出力用音声を十分に聴き取ることが可能になる。また、制御部１２５は、ステップＳ４０２において出力用音声の音像の変更で対処不可能と判別した場合、具体的には、周囲音の音源の位置から基準値以上離れた音像の位置を作り出すことができない場合、処理を終了する。その結果、音量妨害状態が解消されるまで、放音を中断した状態が継続する。

なお、制御部１２５は、例えば、図９に示した制御処理［３］と図８に示した制御処理［２］のいずれか一方を設定に応じて選択的に実行するか、または、図８に示した制御処理［２］の前か後であり、図５に示した制御処理［１］の前に図９に示した制御処理［３］を実行することが可能である。具体的には、制御部１２５は、例えば、図９のステップＳ４０２と図８のステップＳ３０２の両方において放音方法の変更で対処不可能と判別した場合に、図５の制御処理［１］を実行してユーザーに所定の対応を要求すればよい。

《制御部のその他の動作》
その他の動作例として、制御部１２５は、周囲音が出力用音声の聴取を妨げる状態の場合には、音声出力部に、生成した出力音声信号の最初に、ユーザーの意識を引く言葉を表す固定の出力音声信号を挿入して放音するよう指示してもよい。具体的には、制御部１２５は、このような指示を、例えば、図３のステップＳ１０５において音声でユーザーに通知を行う場合や、図８や図９で放音方法を変更したのち放音を再開する場合等で発行する。このように、ユーザーの意識を引く言葉を出力音声信号の最初に入れることにより、周囲音が増加し、放音される出力用音声を聴き取り難くなることをユーザーに明確に意識させ注意喚起することができ、また、カクテルパーティ効果の選択的注意により、放音された音声が聞こえやすくなる効果もある。ユーザーの意識を引く言葉として、例えば、予め装置に登録されたユーザーの名前等が挙げられる。

さらに、他の動作例として、制御部１２５は、周囲音が出力用音声の聴取を妨げる状態の場合には、出力用音声を放音する代わりに、表示部１１９にてヘッドマウント情報処理装置内部からの出力音声信号を文字表示するように切り替え処理を行ってもよい。この際に、制御部１２５は、放音の再開時と同様に、中断する前の箇所に遡って文字表示を行う。これによって、ヘッドマウント情報処理装置は、ユーザーに対し、所定の情報を聴覚を介して伝えることはできないが、視覚を介して伝えることができる。

《実施の形態１の主要な効果》
以上、実施の形態１のヘッドマウント情報処理装置を用いることで、代表的には、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。また、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を使い勝手よく聴き取らせることが可能になる。

詳細に説明すると、大きな周囲音が生じて耳に入りヘッドマウント情報処理装置内部からの出力音声信号の放音を聞き取れない状態では、放音を中断することで、ユーザーによる出力用音声の聞き漏らしを防ぐことができる。また、周囲音が小さくなって出力用音声の聴取を妨げない状態になったときには、放音を、中断される前の箇所に遡って再開することで、ユーザーは、出力用音声を、聞き漏らすことなく、また、使い勝手よく聴取することができる。特に、音声アシスタントからの出力用音声のように聞き漏らしが問題となり得る音声を、ユーザーに余すところなく確実に聴き取らせることが可能になる。

また、大きな周囲音が耳に入ることで、耳の聴力が暫くの間低下した場合でも、聴力の回復に要する時間を待って放音を再開することで、ユーザーは、所望の音声を確実に使い勝手よく聴取することができる。さらに、必要に応じて、出力用音声に対して周波数特性の変更や音像の変更といった放音方法の変更を行ったり、または、ユーザーに耳を塞ぐ等の対応を要求することで、依然として周囲音が存在する状況下で、ユーザーは、所望の音声を確実に使い勝手よく聴取することができる。また、放音の中断時や再開時に、表示、音声、振動によりユーザーに通知を行うことで、ユーザーの使い勝手が向上する。

なお、ここでは、周囲音に応じて放音動作の制御を行ったが、ユーザーは、ヘッドマウント情報処理装置のコンテンツ内容によっては、このような放音動作の制御を望まない場合がある。そこで、例えば、ユーザーは、ヘッドマウント情報処理装置本体１００に対して、放音動作の制御を行うか否かをコンテンツ毎に設定してもよい。ヘッドマウント情報処理装置本体１００は、このユーザー設定に応じて、放音動作の制御を行うか否かをコンテンツ毎に選択してもよい。

（実施の形態２）
《制御部の詳細》
実施の形態２において、制御部１２５は、実施の形態１で述べた周囲音の状態とは異なり、ユーザーの状態（例えば心身状態等）またはユーザーの周辺の状態（例えば危険な状況の発生等）を反映して放音動作を制御する。概略的には、図２において、ヘッドマウント情報処理装置本体１００内のセンサデバイス１５１や、各ウエアラブル端末２００，３００内のセンサデバイスは、ユーザーの状態またはユーザーの周辺の状態を検知する。

ユーザー状態判別部１２３は、当該センサデバイスの検知結果に基づき、ユーザーの状態またはユーザーの周辺の状態が、出力用音声を聴取するのに適した状態か否かを判別する。制御部１２５は、ユーザー状態判別部１２３の判別結果に基づき、出力用音声を聴取するのに適した状態の場合には、音声出力部（ヘッドフォン１２２等）に放音を行わせ、出力用音声を聴取するのに適していない状態の場合には、音声出力部に放音の中断を指示する。以下、その詳細について説明する。

図１０は、本発明の実施の形態２によるヘッドマウント情報処理装置において、図２の制御部の詳細な処理内容の一例を示すフロー図である。制御部１２５は、図１０に示すフローを所定の制御周期で繰り返し実行する。図１０において、制御部１２５は、ユーザー状態判別部１２３を用いて、各種のセンサデバイスでユーザーの状態またはユーザーの周辺の状態を検知する（ステップＳ５０１）。

次いで、制御部１２５は、音声出力部（ヘッドフォン１２２等）が出力用音声を放音中か否かを判別する（ステップＳ５０２）。ステップＳ５０２で出力用音声を放音中の場合、制御部１２５は、ステップＳ５０１の検知結果に基づき、ユーザー状態判別部１２３を用いて、ユーザーの状態またはユーザーの周辺の状態が出力用音声を聴取するのに適した状態か否かを判別する（ステップＳ５０３）。明細書では、ユーザーの状態またはユーザーの周辺の状態が出力用音声を聴取するのに適していない状態を、ユーザー不適状態とも呼ぶ。

ステップＳ５０３でユーザー不適状態が生じている場合、制御部１２５は、音声出力部に放音の中断を指示する（ステップＳ５０４）。さらに、ステップＳ５０４において、制御部１２５は、放音を中断する旨を表示部１１９での告知表示、または振動発生部１２４，２０２，３０２での触感振動、あるいは音声出力部（ヘッドフォン１２２）での発声音声を用いてユーザーに通知し、処理を終了する。一方、ステップＳ５０３でユーザー不適状態が生じていない場合、制御部１２５は、音声出力部による放音を継続し、処理を終了する（ステップＳ５０５）。

ステップＳ５０２で出力用音声を放音中でない場合、制御部１２５は、音声出力部による放音を中断中か否かを判別する（ステップＳ５０６）。ステップＳ５０６で放音を中断中でない場合、制御部１２５は、処理を終了する。一方、ステップＳ５０６で放音を中断中の場合、制御部１２５は、ユーザー不適状態が解消されたか否かを判別する（ステップＳ５０７）。

ステップＳ５０７でユーザー不適状態が解消された場合（すなわち出力用音声を聴取するのに適した状態になった場合）、図４で述べた実施の形態１の場合と同様に、制御部１２５は、再開指示（ＲＥＳ）を発行することで音声出力部に放音の再開を指示する。音声出力部は、当該再開指示（ＲＥＳ）に応じて、放音を、中断する前の箇所に遡って再開する（ステップＳ５０８）。また、ステップＳ５０８において、制御部１２５は、放音を再開する旨を表示部１１９での告知表示、または振動発生部１２４，２０２，３０２での触感振動、あるいは音声出力部（ヘッドフォン１２２）からの発声音声を用いてユーザーに通知し、処理を終了する。それ以降の制御周期では、図１０のステップＳ５０１→Ｓ５０２→Ｓ５０３→Ｓ５０５の流れで放音動作が継続される。

《ユーザー不適状態の詳細》
図１１は、図１０において、ユーザー不適状態の一例を説明する図である。図１１には、図１０のステップＳ５０３，Ｓ５０７においてユーザー不適状態が生じていると判別される状況の具体例が示され、ここでは、７通りの状況（１）～（７）が示される。状況（１）は、ユーザーが表示部１１９における仮想現実（ＶＲ）空間情報または拡張現実（ＡＲ）空間情報に注視しているとみなされる状況である。

具体的には、ユーザー状態判別部１２３は、例えば、ステップＳ５０１において右目視線センサ１１２および左目視線センサ１１３に基づきユーザーの視線の位置を検知し、さらに、図２の仮想空間情報生成処理部１４１やカメラ１１から仮想空間情報や現実空間情報の表示位置を得る。そして、ユーザー状態判別部１２３は、ユーザーの視線の位置と、仮想空間情報や現実空間情報の表示位置とが一致している時間比率が、所定の基準値以上か否かを判別する。ユーザー状態判別部１２３は、一致している時間比率が所定の基準値以上の場合、ユーザーが仮想空間情報または現実空間情報に注視しているとみなし、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態（言い換えれば、ユーザー不適状態が生じている）と判別する。

状況（２）は、ユーザーが急速な眼球運動を行っているとみなされる状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１での各視線センサ１１２，１１３の検知結果に基づき、例えば、所定時間内におけるユーザーの視線の変動回数が所定の基準値以上か否かを判別する。一般的に、人間は、ある視点から離れた別の視点に視線を移動させるとき、サッカードと呼ばれる眼球の急速な回転が起こり、ここでは、このサッカードの発生有無が判別される。ユーザー状態判別部１２３は、ユーザーの視線の変動回数が所定の基準値以上の場合、サッカードが生じているとみなして、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。

状況（３）は、ユーザが漫然としているとみなされる状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１での各視線センサ１１２，１１３の検知結果に基づき、例えば、所定時間内におけるユーザーの視線の変動回数が所定の基準値以下か否かを判別する。ユーザーの視線の変動回数が所定の基準値以下の場合、ユーザーは、眠気を感じてはっきりとした意識を持っておらず、漫然としているとみなされる。ユーザー状態判別部１２３は、ユーザが漫然としている場合、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。

状況（４）は、ユーザーの頭部が大きく動いている状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１での加速度センサ１１４、ジャイロセンサ（角速度センサ）１１５または地磁気センサ１１６の検知結果に基づき、例えば、ユーザーの頭部が所定の基準速度以上で所定の基準量以上動いたか否かを判別する。ユーザーの頭部が大きく動いている場合、例えば、ユーザーに危険が迫っている等、ユーザーの周辺の外部環境に何らかの異変が生じ、ユーザーの視覚的または聴覚的な注意は、そこに向けられている可能性がある。ユーザー状態判別部１２３は、ユーザーの頭部が大きく動いている場合、ユーザーの注力集中の邪魔をしないよう、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。

状況（５）は、ユーザーの急な体調変化が生じた状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１での心拍センサ２０１や血圧センサ３０１の検知結果に基づき、例えば、ユーザーの心拍数または血圧の時間的変化率（例えば、増加率）が予め定めた基準値以上か否かを判別する。心拍数や血圧が急激に上昇した場合、ユーザーの心身状態に急激な異変が生じ、ユーザーは聴覚に注意を払えない可能性がある。ユーザー状態判別部１２３は、ユーザーの体調変化が生じた場合、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。

なお、図１、図２では、心拍数は、最も正確に検知できる胸部に密接した胸部装着型ウエアラブル端末２００の心拍センサ２０１で検知され、血圧は、容易に検知できる腕部に密接したリストバンド型ウエアラブル端末３００の血圧センサ３０１で検知された。ただし、心拍や血圧は、特に、これに限らず、例えば、ＡＩ（Artificial Intelligence）ウォッチ等から通信で取得されてもよい。また、取得される情報は、心拍数や血圧に限らず、ユーザーの心身状態を検出できる生体情報であればよい。

状況（６）は、ユーザーが他者と会話している状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１において、第１の外周音マイク１３１、発声音マイク１２１により音声を検知し、各視線センサ１１２，１１３により眼球の動きを検知する。ユーザー状態判別部１２３は、検知した音声および眼球運動をもとに、ユーザーの意識がどこにあるかを判別し、他者と向き合って、または電話で会話しているか否かを判別する。この際に、ユーザー状態判別部１２３は、カメラ１１の撮像結果によって他者の存在を認識してもよく、また、ヘッドマウント情報処理装置本体１００に電話機能が搭載されていれば、それに基づいて電話による会話を認識してもよい。ユーザー状態判別部１２３は、ユーザーが他者と会話している場合、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。

状況（７）は、ユーザーの周囲に接近物体が存在する状況である。具体的には、ユーザー状態判別部１２３は、ステップＳ５０１において、周辺物体検知センサ１１８の検知結果に基づき、ユーザーの周囲に存在する車、人、動物などといった物体との距離や相対速度を検知することで、接近している物体がユーザーの周りの一定範囲内に存在するか否かを検知する。

ユーザー状態判別部１２３は、接近している物体がユーザーの周りの一定範囲内に存在する場合には、ユーザーの視覚的または聴覚的な注意が物体に向けられるものとして、ステップＳ５０３，Ｓ５０７において、出力用音声を聴取するのに適していない状態と判別する。また、このステップＳ５０３，Ｓ５０７の際に、制御部１２５は、ユーザー状態判別部１２３が周辺物体検知センサ１１８に基づき出力用音声を聴取するのに適していない状態と判別した場合には、ユーザーに向けて危険を表す警告音を放音するよう音声出力部に指示する。

なお、ユーザー状態判別部１２３は、例えば、接近物体を検知する範囲をユーザー周りに位置する危険範囲と、それよりも外側の範囲に位置する注意範囲の２段階に定めてもよい。接近物体が注意範囲に存在する場合、制御部１２５は、例えば、接近物体が存在する方向とは逆の方向から出力用音声を放音するように制御し、放音動作を表示、音声、振動により通知する。この場合、ユーザーは、接近物体が注意範囲に存在する場合、接近物体からの音による妨害ノイズが低減された状態で出力用音声を聴くことができる。逆に、制御部１２５は、接近物体が存在する方向から出力用音声を放音するように制御してもよい。この場合、ユーザーは、接近物体の方向を認識しやすくなる。

以上のようにして、ユーザー状態判別部１２３は、ユーザーの状態またはユーザーの周辺の状態が、出力用音声を聴取するのに適している状態か否か（言い換えれば、ユーザー不適状態が生じていないか否か）を判別する。この判別結果に基づき、制御部１２５は、出力用音声を聴取するのに適した状態の場合（ユーザー不適状態が生じていない場合）には、音声出力部に放音を行わせ、出力用音声を聴取するのに適していない状態の場合（ユーザー不適状態が生じている場合）には、音声出力部に放音の中断を指示する。

また、ユーザー不適状態のその他の例として、ユーザー状態判別部１２３は、ユーザーの周辺の温度や湿度を検知する温湿度センサ１１７を用いて、ユーザー不適状態が生じているか否かを判別してもよい。具体的には、ユーザー状態判別部１２３は、温度や湿度の時間的変化率が基準値以上の場合には、ユーザー不適状態が生じていると判別してもよい。また、ユーザーの周辺の状態を検知するセンサデバイスとして、温湿度センサ１１７に限らず、気圧を検知する気圧センサなどを用いることも可能である。

《実施の形態２の主要な効果》
以上、実施の形態２のヘッドマウント情報処理装置を用いることで、代表的には、ユーザーの状態やユーザーの周辺の状態を反映して、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。また、ユーザーの状態やユーザーの周辺の状態を反映して、ユーザーに、所望の音声を使い勝手よく聴き取らせることが可能になる。

詳細に説明すると、ユーザーから放音動作の要求があっても、図１１の状況（１）～（７）に示したように、ユーザーの状態やユーザの周辺の状態が出力用音声の聴取に適していない状態の場合には、放音動作を中断するように制御される。これにより、ユーザーは、出力用音声を聞き漏らさず、確実に聴き取ることが可能になる。また、その後に、ユーザーの状態やユーザの周辺の状態が出力用音声の聴取に適した状態となった場合には、実施の形態１の場合と同様に、放音が、中断される前の箇所に遡って再開される。これにより、ユーザーは、出力用音声を確実に聴き取ることができ、また、使い勝手よく聴き取ることが可能になる。

また、実施の形態１の場合と同様に、放音動作を中断する際や再開する際には、その旨をユーザーに通知することで、ユーザーの使い勝手が向上する。さらに、状況（７）に関しては、接近物体の程度に応じて放音動作を制御することで、ユーザーは、出力用音声をより一層聴き取り易くなる。この際に、接近物体によってユーザーに危険が生じる場合には、注意喚起や警告以外のアシスタント音声は放音されないように制御されることで、ユーザーの安全性を確保しつつ、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。

なお、例えば、状況（３）で述べたように、ユーザが漫然としているとみなされる状況では、ヘッドマウント情報処理装置本体１００は、ユーザーの目に光を与えたり、或いは点滅した２個以上の光をユーザーの視野内に表示する等の処理を行ってもよい。これにより、ユーザーは、脳が目覚めて意識がはっきりしている覚醒状態となり、制御部１２５は、この覚醒状態をユーザー状態判別部１２３を介して検知することで、放音動作を再開することができる。

（実施の形態３）
《ヘッドマウント情報処理装置の概略》
図１２は、本発明の実施の形態３によるヘッドマウント情報処理装置の概略構成例を示すブロック図である。図１２に示すヘッドマウント情報処理装置は、図２に示した構成例と比較して、図２のヘッドマウント情報処理装置本体１００内の仮想空間情報生成処理部１４１をヘッドマウント情報処理装置本体１００の外部に分離し、別装置とした構成例である。

図１２において、仮想空間情報生成サーバ５００は、仮想空間情報等を生成し、外部ネットワーク６００を介してヘッドマウント情報処理装置本体１００との間で、生成した仮想空間情報等の送受信を行う。ヘッドマウント情報処理装置本体１００は、送受信アンテナ１２０１および通信部１２０２を備え、仮想空間情報生成サーバ５００からの仮想空間情報等を送受信する。

仮想空間情報生成サーバ５００は、仮想空間情報生成処理部５０１と、メモリ５０２と、制御部５０３と、通信部５０４と、送受信アンテナ５０５とを備え、これらは、バス５０６を介して相互に接続される。仮想空間情報生成処理部５０１は、現実空間とは異なる仮想空間を映像や音声で表現する仮想空間情報を生成する。メモリ５０２は、フラッシュメモリなどであり、仮想空間情報生成処理部５０１で生成した仮想空間情報や、制御部５０３が使用する各種プログラムなどを記憶している。通信部５０４は、送受信アンテナ５０５を経由し外部ネットワーク６００を介してヘッドマウント情報処理装置本体１００と通信を行う通信インターフェースである。

以上のように、ヘッドマウント情報処理装置本体１００と分離された別のサーバ装置を用いて仮想空間情報を生成し、ヘッドマウント情報処理装置本体１００が当該仮想空間情報を通信を介して取得することで、仮想空間の情報量を大規模化することができる。また、ヘッドマウント情報処理装置本体１００のハードウェアリソースおよびソフトウェアリソースを低減できる。

なお、図２や図１２に示した構成例に対し、胸部装着型ウエアラブル端末２００内の心拍センサ２０１、リストバンド型ウエアラブル端末３００内の血圧センサ３０１、入力コントローラ４００内の入力操作部４０１を、ヘッドマウント情報処理装置本体１００内に取り込んでもよい。心拍センサ２０１は、頭部に密接して装着された状態で心拍数を検知でき、血圧センサ３０１も、頭部に密接して装着された状態で頭皮直下の頭部動脈で血圧値を検知することができる。

また、入力操作部４０１は、ヘッドマウント情報処理装置本体１００内でユーザーが入力操作を行いやすい位置に設置されればよい。或いは、ユーザーが入力操作を示す音声を発声し、発声音マイク１２１で集音して入力操作情報を取り込んでもよい。また、表示部１１９に入力操作画面を表示させ、各視線センサ１１２，１１３により検知した視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよいし、ポインタを入力操作画面上に表示させ手の動作などにより指定させて入力操作情報を取り込んでもよい。入力操作に発声や表示を用いることにより、使い勝手を一層向上させることが可能である。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：ヘッドマウント情報処理装置本体（ヘッドマウントディスプレイ）、１１１：カメラ、１１２：右目視線センサ、１１３：左目視線センサ、１１４：加速度センサ、１１５：ジャイロセンサ、１１６：地磁気センサ、１１７：温湿度センサ、１１８：周辺物体検知センサ、１１９：表示部、１２１：発声音マイク、１２２：ヘッドフォン、１２３：ユーザー状態判別部、１２４，２０２，３０２：振動発生部、１２５，５０３：制御部、１２８，５０２：メモリ、１３１：第１の外周音マイク、１３２：第２の外周音マイク、１３３：第３の外周音マイク、１３４：防音耳カバー検出部、１４１：仮想空間情報生成処理部、１４２，２０３，３０３，４０２：近距離無線通信部、１５１：センサデバイス、２００：胸部装着型ウエアラブル端末、２０１：心拍センサ、３００：リストバンド型ウエアラブル端末、３０１：血圧センサ、４００：入力コントローラ、４０１：入力操作部、５００：仮想空間情報生成サーバ、５０１：仮想空間情報生成処理部、６００：外部ネットワーク、６０１：音声入力部、６０２：音声出力部６０２、６１０：周囲音判別部、６１１：音声入力処理部、６１５：閾値生成部、６１６：閾値テーブル、６１７：比較器、６２０：音声アシスタント処理部、６２１：音声出力処理部、６２２：音声辞書。

Claims (16)

1. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示するステップと、
   前記出力音声信号の音量レベルに応じた閾値レベルを生成するステップと、
   前記入力音声信号の音量レベルと前記閾値レベルとを比較することで前記音声出力部に放音の中断を指示するか否かを判別するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
2. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示するステップと、
   を有し、
   前記音声出力部に放音の中断を指示したのち、前記周囲音が前記出力用音声の聴取を妨げない状態になった場合に、
   前記制御部が、前記音声出力部に放音の再開を指示するステップと、
   前記音声出力部が、前記再開の指示に応じて、放音を、中断する前の箇所に遡って再開するステップと、
   前記制御部が、前記音声出力部に放音の中断を指示したのち、前記周囲音が前記出力用音声の聴取を妨げない状態になった場合に、当該妨げない状態になる直前の前記入力音声信号の音量レベルに応じた所定の期間を経過後に前記音声出力部に放音の再開を指示するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
3. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、表示部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示するステップ、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記表示部を用いて前記ユーザーに耳を塞ぐ旨の指示を発行するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
4. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、表示部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御し、
   前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示するステップと、
   を有し、
   前記音声入力部が、左右の耳に入る左右の前記周囲音を集音して左右の前記入力音声信号にそれぞれ変換するステップと、
   前記制御部が、
   前記音声出力部に放音の中断を指示したのち、前記左右の入力音声信号の音量レベルに予め定めた基準値以上の偏りが有るか否かを判別するステップと、
   偏りが有る場合には、前記表示部を用いて前記ユーザーに頭部の向きを変えるように指示するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
5. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記音声出力部が、前記出力音声信号に適用可能な複数の周波数特性を備えるステップと、
   前記制御部が、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合、前記入力音声信号の周波数特性を解析するステップと、
   前記出力音声信号に適用可能な前記複数の周波数特性の中から、前記入力音声信号の周波数特性との類似度が予め定めた基準値よりも低くなる周波数特性を選択するように前記音声出力部に指示を発行するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
6. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に、生成した前記出力音声信号の最初に、前記ユーザーの意識を引く言葉を表す固定の出力音声信号を挿入して放音するよう指示するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
7. 画像または音声を視聴する機能を有し頭部に装着され、音声入力部と、音声出力部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声入力部が、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換するステップと、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別するステップと、
   判別した結果に基づいて前記音声出力部の放音動作を制御するステップと、
   前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示するステップと、
   前記音声入力部が、左右の耳に入る左右の前記周囲音を集音して左右の前記入力音声信号にそれぞれ変換するステップと、
   前記音声出力部が、生成した左右の前記出力音声信号を左右の前記出力用音声にそれぞれ変換して前記ユーザーに向けて放音するステップと、
   前記制御部が、
   前記音声出力部に放音の中断を指示したのち、前記左右の入力音声信号に基づき前記周囲音の音源の位置を判別するステップと、
   前記音声出力部に、前記出力音声信号の音像の位置が前記周囲音の音源の位置から予め定めた基準値以上離れるように前記左右の出力音声信号を生成するよう指示するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
8. 画像または音声を視聴する機能を有し頭部に装着され、音声出力部と、センサデバイスと、ユーザー状態判別部と、制御部を備えるヘッドマウント情報処理装置の制御方法であって、
   前記音声出力部が、出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音するステップと、
   前記センサデバイスが、前記ユーザーの状態を検知するステップと、
   前記ユーザ状態判別部が、前記センサデバイスの検知結果に基づき、前記ユーザーの状態が、前記出力用音声を聴取するのに適した状態か否かを判別するステップと、
   前記制御部が、
   前記ユーザー状態判別部の判別結果に基づき、前記出力用音声を聴取するのに適した状態の場合には、前記音声出力部に放音を行わせるステップと、
   前記出力用音声を聴取するのに適していない状態の場合には、前記音声出力部に放音の中断を指示するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
9. 請求項８記載のヘッドマウント情報処理装置の制御方法において、
   前記制御部が、前記音声出力部に放音の中断を指示したのち、前記出力用音声を聴取するのに適した状態になった場合に、前記音声出力部に放音の再開を指示するステップと、
   前記音声出力部が、前記再開の指示に応じて、放音を中断する前の箇所に遡って放音を再開するステップと、
   を有するヘッドマウント情報処理装置の制御方法。
10. 請求項９記載のヘッドマウント情報処理装置の制御方法において、
    前記音声出力部が、途中で中断された文の先頭に遡って放音を再開するステップ、
    を有するヘッドマウント情報処理装置の制御方法。
11. 請求項８～１０のいずれか１項に記載のヘッドマウント情報処理装置であって、表示部を有するヘッドマウント情報処理装置の制御方法において、
    前記表示部が、仮想空間情報または現実空間情報を含む所定の情報をユーザーに表示するステップと、
    視線センサである前記センサデバイスが、前記ユーザーの視線を検知するステップと、
    前記ユーザー状態判別部が、前記検知結果に基づき、前記ユーザーが前記表示部における前記仮想空間情報または前記現実空間情報に注視しているとみなされる場合、または、前記ユーザーが急速な眼球運動を行っているとみなされる場合、あるいは、前記ユーザーが漫然としているとみなされる場合には、前記出力用音声を聴取するのに適していない状態と判別するステップと、
    を有するヘッドマウント情報処理装置の制御方法。
12. 請求項８～１０のいずれか１項に記載のヘッドマウント情報処理装置の制御方法において、
    角速度センサまたは地磁気センサである前記センサデバイスが、前記ユーザーの頭部の動きを検知するステップと、
    前記ユーザー状態判別部が、前記角速度センサまたは前記地磁気センサの検知結果に基づき、前記ユーザーの頭部が大きく変動している場合には、前記出力用音声を聴取するのに適していない状態と判別するステップと、
    を有するヘッドマウント情報処理装置の制御方法。
13. 請求項８～１０のいずれか１項に記載のヘッドマウント情報処理装置の制御方法において、
    心拍センサまたは血圧を検知する血圧センサである前記センサデバイスが、前記ユーザーの心拍数を検知するステップと、
    前記ユーザー状態判別部が、前記心拍センサまたは前記血圧センサの検知結果に基づき、前記ユーザーの心拍数または血圧の時間的変化率が予め定めた基準値以上の場合には、前記出力用音声を聴取するのに適していない状態と判別するステップと、
    を有するヘッドマウント情報処理装置の制御方法。
14. 請求項８～１０のいずれか１項に記載のヘッドマウント情報処理装置の制御方法において、
    発声音マイクである前記センサデバイスが、前記ユーザーからの発声音声を集音して音声信号に変換するステップと、
    前記ユーザー状態判別部が、
    前記発声音マイクからの前記音声信号に基づき、前記ユーザーが他者と会話しているか否かを判別するステップと、
    他者と会話している場合には、前記出力用音声を聴取するのに適していない状態と判別するステップと、
    を有するヘッドマウント情報処理装置の制御方法。
15. 請求項８～１０のいずれか１項に記載のヘッドマウント情報処理装置の制御方法において、
    周辺物体検知センサである前記センサデバイスが、前記ユーザーの周辺に存在する物体を検知するステップと、
    前記ユーザー状態判別部が、前記周辺物体検知センサの検知結果に基づき、接近している物体が前記ユーザーの周りの一定範囲内に存在する場合には、前記出力用音声を聴取するのに適していない状態と判別するステップと、
    前記制御部が、前記ユーザー状態判別部が前記周辺物体検知センサの検知結果に基づき前記出力用音声を聴取するのに適していない状態と判別した場合には、前記ユーザーに向けて危険を表す警告音を放音するよう前記音声出力部に指示するステップと、
    を有するヘッドマウント情報処理装置の制御方法。
16. 請求項１～１５のいずれか１項に記載のヘッドマウント情報処理装置の制御方法において、
    前記制御部が、音声による前記ユーザーとの対話を通じて前記ユーザーの要求に応える音声アシスタントからの前記出力音声信号を対象に放音動作を制御するステップ、
    を有するヘッドマウント情報処理装置の制御方法。

Images