JP2014116722A - 機能制御装置およびプログラム - Google Patents

機能制御装置およびプログラム Download PDF

Info

Publication number
JP2014116722A
JP2014116722A JP2012268048A JP2012268048A JP2014116722A JP 2014116722 A JP2014116722 A JP 2014116722A JP 2012268048 A JP2012268048 A JP 2012268048A JP 2012268048 A JP2012268048 A JP 2012268048A JP 2014116722 A JP2014116722 A JP 2014116722A
Authority
JP
Japan
Prior art keywords
user
sound source
function
head
related transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012268048A
Other languages
English (en)
Other versions
JP5954147B2 (ja
JP2014116722A5 (ja
Inventor
Katsuaki Yamashita
功誠 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012268048A priority Critical patent/JP5954147B2/ja
Priority to PCT/JP2013/005088 priority patent/WO2014087558A1/en
Priority to US14/648,667 priority patent/US9661439B2/en
Priority to EP13771219.6A priority patent/EP2929428B1/en
Priority to CN201310628111.2A priority patent/CN103869968B/zh
Publication of JP2014116722A publication Critical patent/JP2014116722A/ja
Publication of JP2014116722A5 publication Critical patent/JP2014116722A5/ja
Application granted granted Critical
Publication of JP5954147B2 publication Critical patent/JP5954147B2/ja
Priority to US15/491,444 priority patent/US9936326B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】電子機器の機能のロック設定のセキュリティレベルを確保しつつユーザビリティをも向上させる。
【解決手段】頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを上記ユーザに向けて再生する再生部と、上記再生された音データを聴取した上記ユーザが、上記音源の位置として推定した上記ユーザの周りの空間の第2の位置を示す情報を取得する推定位置情報取得部と、上記第1の位置と上記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する判定部とを含む機能制御装置が提供される。
【選択図】図10

Description

本開示は、機能制御装置およびプログラムに関する。
近年、PC(Personal Computer)や携帯電話(スマートフォン)といった電子機器が、人々の生活に深く浸透してきている。こうした電子機器は、ユーザにさまざまな機能を提供する。そうした機能の中には、必ずしも不特定多数のユーザがアクセスすることが望まれない機能も存在する。そうした機能を保護するために、電子機器そのものや一部の機能にロックを設定することが一般的に行われている。例えば、特許文献1には、そのようなロックの設定を簡便にするための技術が記載されている。
上記の特許文献1にも記載されているように、ロックの設定/解除のための操作として一般的なのは、パスワードの入力である。しかし、特許文献1でも指摘されているように、盗み見などによってパスワードが漏洩してしまう可能性があり、セキュリティレベルは高いとはいえない。そこで、特許文献1では、タッチパネル上の押圧位置と、各位置での押圧力とを組み合わせて入力として用いる技術が提案されている。
特開2011−48665号公報
しかしながら、特許文献1などに記載された技術によってもなお、入力の様子が外部から視認できるために入力操作を模倣することが可能であり、セキュリティレベルは十分に高いとはいえない。また、パスワードにしても、押圧位置および押圧力にしても、ロックを解除するためには、ユーザが予め設定した入力パターンを記憶していなければならない。ユーザが入力パターンを忘れてしまうと、機能が利用不能になる場合もあり、ユーザビリティの面ではいまだ改善の余地があった。
そこで、本開示では、電子機器の機能のロック設定のセキュリティレベルを確保しつつユーザビリティをも向上させた、新規かつ改良された機能制御装置およびプログラムを提案する。
本開示によれば、頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを上記ユーザに向けて再生する再生部と、上記再生された音データを聴取した上記ユーザが、上記音源の位置として推定した上記ユーザの周りの空間の第2の位置を示す情報を取得する推定位置情報取得部と、上記第1の位置と上記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する判定部とを含む機能制御装置が提供される。
また、本開示によれば、頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを上記ユーザに向けて再生する機能と、上記再生された音データを聴取した上記ユーザが、上記音源の位置として推定した上記ユーザの周りの空間の第2の位置を示す情報を取得する機能と、上記第1の位置と上記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する機能とをコンピュータ装置に実現させるためのプログラムが提供される。
頭部伝達関数は、例えばユーザの頭部の形状などに応じて決まるため、所定の頭部伝達関数を用いて音源を仮想的に定位された音データを聴取したユーザが音源の位置を推定した結果によって、ユーザが当該頭部伝達関数によって示される条件を満たすか否かが識別される。この識別手法は、偽装や模倣が困難であるためにセキュリティレベルが確保されており、また入力パターンの記憶を必要としないためユーザビリティも向上している。
以上説明したように本開示によれば、電子機器の機能のロック設定のセキュリティレベルを確保しつつユーザビリティをも向上させることができる。
立体音響空間における音源について説明するための図である。 立体音響空間における頭部伝達関数について説明するための図である。 仮想的な音源の再生について説明するための図である。 仮想的な音源を再生するための装置構成の例を示す図である。 頭部伝達関数を利用したユーザ認識の一例を概念的に示す図である。 頭部伝達関数を利用したユーザ認識の別の例を概念的に示す図である。 本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。 本開示の第1の実施形態に係るHMDの装着状態を示す図である。 本開示の第1の実施形態に係るHMDを下方から見た斜視図である。 本開示の第1の実施形態に係る機能制御装置の概略的な機能構成を示すブロック図である。 本開示の第1の実施形態における仮想音源の位置の例を示す図である。 本開示の第1の実施形態における仮想音源の位置の水平方向の配置について説明するための図である。 本開示の第1の実施形態における仮想音源の位置の上下方向の配置について説明するための図である。 本開示の第1の実施形態におけるロック制御の処理の例を示すフローチャートである。 図14に示した処理の変形例を示すフローチャートである。 本開示の第1の実施形態の変形例に係る機能制御装置の概略的な機能構成を示すブロック図である。 本開示の第2の実施形態に係る機能制御装置の概略的な機能構成を示すブロック図である。 本開示の第2の実施形態における仮想音源の軌跡の例を示す図である。 本開示の第2の実施形態におけるロック解除の処理の例を示すフローチャートである。 図19に示した処理の変形例を示すフローチャートである。 本開示の第3の実施形態に係る機能制御装置の概略的な構成を示すブロック図である。 本開示の第3の実施形態におけるロック解除の処理の例を示すフローチャートである。 本開示の第4の実施形態に係る機能制御装置の概略的な構成を示すブロック図である。 本開示の第4の実施形態におけるロック解除の処理の例を示すフローチャートである。 情報処理装置のハードウェア構成を説明するためのブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.頭部伝達関数を利用したユーザ認識の基本的なアイデア
2.本開示の実施形態
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
2−4.第4の実施形態
3.ハードウェア構成
4.補足
(1.頭部伝達関数を利用したユーザ認識の基本的なアイデア)
以下で説明する本開示の実施形態では、頭部伝達関数を利用してユーザが認識される。まず、この頭部伝達関数を利用したユーザ認識の基本的なアイデアについて、図1〜6を参照して説明する。
(頭部伝達関数について)
図1は、立体音響空間における音源について説明するための図である。
立体音響空間Rは、聴取者であるユーザUの周りの空間であり、音源Sが存在する。以下の説明では、音源Sの位置を、ユーザUの位置を原点とする極座標系において、動径r、偏角θ,φを用いて表現する。ユーザUの位置は、正確には、ユーザUの左右の耳を結ぶ線分の中点でありうる。動径rは、この点から音源Sの位置までの距離である。また、偏角θは、水平面内で、ユーザUの正面の方向と音源Sの方向とがなす角である。偏角φは、垂直面内で、ユーザUの位置を含む水平面と音源Sの方向とがなす角である。
図2は、立体音響空間における頭部伝達関数について説明するための図である。
ここで、ユーザUの鼓膜に到達する音波(以下、聴取音ともいう)では、ユーザUの頭部や耳での反射および回折のために、音源Sから放射される音波(以下、原音ともいう)の特定の周波数成分が強調されたり減衰したりする。ユーザUの左耳と右耳とでは、原音が反射したり回折したりする過程が異なるため、聴取音の周波数成分が異なりうる。また、ユーザUの左耳と右耳とでは、音源Sからの距離が異なるため、聴取音の位相も異なりうる。
このときの原音から聴取音への変化を伝達関数として表現したものが、頭部伝達関数HRTF(Head-Related Transfer Function)である。HRTFは、特に、ユーザUの頭部の形状、耳介の形状、外耳道形状、および皮膚の音響インピーダンスなどに強く依存する。すなわち、HRTFは、それぞれのユーザによって異なる関数である。また、HRTFは、立体音響空間Rにおける音源Sの位置によっても異なる。
図では、音源Sからの音波が、頭部伝達関数HRTF_Lで変化してユーザUの左耳の鼓膜に到達し、頭部伝達関数HRTF_Rで変化してユーザUの右耳の鼓膜に到達することが示されている。上記のように、HRTFはそれぞれのユーザに固有であり、また音源Sの位置によって異なる。従って、HRTF_LおよびHRTF_Rは、それぞれユーザU、音源Sの位置を示す動径rおよび偏角θ,φに依存する関数として、HRTF_L(U,r,θ,φ)、およびHRTF_R(U,r,θ,φ)と表せる。
ユーザUの感覚中枢である脳は、音源Sの位置(r,θ,φ)と頭部伝達関数HRTFとの関係を、経験則として認識している。これによって、ユーザUは、HRTF_L(U,r,θ,φ)およびHRTF_R(U,r,θ,φ)で変化した聴取音によって、音源Sの位置(r,θ,φ)を認識することができる。
HRTFは、原音と聴取音との間の伝達特性を周波数領域において表現したものである。このHRTFを離散フーリエ逆変換すると、頭部インパルスレスポンスHRIR(Head-Related Impulse Response)が得られる。HRIRは、原音と聴取音との間の伝達特性を時間領域において表現したものであり、広義には頭部伝達関数に含まれる。HRIRも、HRTFと同様に、左耳と右耳とで異なり、ユーザU、音源Sの位置を示す動径rおよび偏角θ,φに依存する関数として、HRIR_L(U,r,θ,φ)およびHRIR_R(U,r,θ,φ)と表せる。
図3は、仮想音源の再生について説明するための図である。
立体音響空間Vは、聴取者であるユーザUの周りの空間として認識される仮想的な空間である。原音Xに、測定された頭部インパルスレスポンスHRIR_L(U,r,θ,φ),HRIR_R(U,r,θ,φ)を畳み込み積分すると、原音Xは、現実の立体音響空間Rで位置(r,θ,φ)にある音源Sから放射されてユーザUの鼓膜に到達する聴取音と同様に変化する。そのため、畳み込み積分後の音波をユーザUの鼓膜の近傍から放射すると、ユーザは仮想的な立体音響空間Vにおいて位置(r,θ,φ)に位置する音源を知覚する。これは一種の錯聴ともいえる。この場合、ユーザの左耳への出力信号Yと、右耳への出力信号Yとは、それぞれ以下の式1,2のように表せる。なお、“*”は、畳み込み積分演算を示す。
=X*HRIR_L(U,r,θ,φ) ・・・(式1)
=X*HRIR_R(U,r,θ,φ) ・・・(式2)
ユーザUのHRIRは、実際の音響空間Rで、音源Sとしてインパルス信号やTSP(Time Stretched Pulse)信号などを再生し、ユーザUの左耳および右耳に装着したマイクロフォンで聴取音を収音することによって周波数領域のHRTF_LおよびHRTF_Rを測定し、これを離散フーリエ逆変換することによって求められる。また、測定されたインパルス応答信号から時間領域で直接的に求めることも可能である。
上述のように、HRIRは音源Sの位置を示す動径rおよび偏角θ,φに依存するため、音源Sが位置する可能性があるそれぞれの位置で測定されることが望ましい。例えば、音源Sまでの動径rを1mなどの所定の距離に固定し、偏角θまたは偏角φを1度ごとに変化させながら、すべての偏角θ,φの組み合わせにおけるHRIRを測定することが考えられる。聴覚によって認識される方位角の最小分解能は、方向にもよるが概ね1度程度であるため、偏角θ,φを1度ずつ変化させたメッシュ上の観測点におけるHRIRを測定することによって、立体音響空間VにおいてユーザUからの距離がrの任意の位置にある仮想音源を再生することができる。
なお、ユーザUの鼓膜近傍からの音波の放射には、例えばヘッドフォン(インナーイヤー型を含む)などが用いられる。この場合、ヘッドフォンの装着位置を考慮した外耳道の伝達特性の補正、およびヘッドフォンのスピーカドライバの音響特性の補正などを加えることによって、ユーザUに音源の位置をより正確に知覚させることが可能になる。また、ユーザUの鼓膜近傍への音波の放射には、後述するトランスオーラルシステムが用いられてもよい。
図4は、仮想音源を再生するための装置構成の例を示す図である。
装置10において、左用および右用のFIR(Finite Impulse Response)フィルタ11L,11Rで、入力された原音データ(モノラル)とHRIR_LまたはHRIR_Rとの畳み込み積分が実行される。原音データは、例えばサンプリング周波数44.1kHz、量子化ビット数16ビットのデジタル信号として入力される。ここで、HRIR係数のタップ長を512サンプルとすると、FIRフィルタ11L,11Rでの畳み込み積分は、512タップの積和演算処理になる。FIRフィルタはDSP(Digital Signal Processor)のような演算ハードウェアとして実装されてもよいし、またCPU(Central Processing Unit)によるソフトウェア信号処理として実装されてもよい。
FIRフィルタ11L,11Rでの畳み込み積分の結果、ユーザの左耳への出力信号Y、および右耳への出力信号Yが得られる。これらの信号は、それぞれ、D/Aコンバータ12L,12Rでデジタル信号からアナログ信号に変換され、アンプ13L,13Rで増幅され、スピーカ14L,14Rから聴取者であるユーザUに向けて出力される。後述するように、スピーカ14L,14Rは、ヘッドフォン、またはトランスオーラルシステムを構成するスピーカなど、ユーザUの左耳と右耳とに別々の音声を出力する機能を有するスピーカである。
ここで、FIRフィルタ11L,11Rは、CPU15によって制御される。CPU15は、入力された音源位置に応じて、ストレージ装置などに格納されたHRIR係数テーブル16からHRIR係数を取得する。HRIR係数は、例えば、ユーザUを識別するユーザIDに紐付けられ、音源Sの位置を示す動径rおよび偏角θ,φの組み合わせごとに、それぞれHRIR_LおよびHRIR_Rについて格納される。
(頭部伝達関数を用いたユーザ認識)
上述のように、頭部伝達関数であるHRTFおよびHRIRは、それぞれのユーザに固有な関数である。ユーザUは、自己のHRTFによって位置(r,θ,φ)にある音源Sから放射された原音がどのように変化して聴取音になるかを経験的に学習している。ユーザUは、この学習を通して、聴取音から音源Sの位置を認識することができるようになる。
従って、例えば図3に示した仮想的な立体音響空間Vにおける音源の再生で、他のユーザU’の頭部インパルスレスポンスHRIR_L(U’,r,θ,φ),HRIR_R(U’,r,θ,φ)を原音Xに畳み込み積分したものをユーザUの鼓膜の近傍から放射しても、ユーザは仮想的な立体音響空間Vにおいて位置(r,θ,φ)に位置する音源を知覚しない。他のユーザU’のHRTFによる原音Xの変化は、ユーザUが経験的に学習している自己のHRTFによる変化とは異なるためである。このように、仮想音源の定位の知覚に関する個人差が著しいことは、一般的によく知られている現象である。
ユーザUに、自己のものではないHRTFから算出したHRIRを畳み込み積分した原音Xを提示した場合、上記のように音源の位置は正しく知覚されない。特に、前方や上下の任意の位置に正確に定位(前方定位、上下定位)させることは極めて難しい。この場合、音源は、ユーザUの頭の内部(頭内定位)、またはユーザUの後方の誤った位置に定位(後方定位)して知覚されることが知られている。
逆にいえば、ユーザUの頭部インパルスレスポンスHRIR_L(U,r,θ,φ),HRIR_R(U,r,θ,φ)を畳み込み積分した原音Xを提示された場合に、音源が位置(r,θ,φ)にあることを正しく知覚できるのは、ユーザUだけである。
頭部伝達関数を利用したユーザ認識の基本的なアイデアは、上記の発見によるものである。つまり、頭部伝達関数を利用したユーザ認識は、ユーザUのHRIRなどの頭部伝達関数をテンプレートとして用い、この頭部伝達関数を用いて仮想的に発生させた音源の位置を推定させることによってユーザUを認識するというものである。この認識では、例えば、仮想的に発生させた音源の位置が所定の微小な誤差の範囲内で正確に推定された場合に限って、ユーザUを本人であると認識する。
なお、頭部伝達関数を利用したユーザ認識は、上記のようにユーザ本人を認識するだけではなく、ユーザの属性を認識するために利用することもできる。上述のように、HRTFは、例えばユーザの頭部の形状、耳介の形状、外耳道形状、および皮膚の音響インピーダンスなどに依存して決まる関数であるため、そのような属性が類似しているユーザの間では、HRTFもある程度類似すると考えられる。従って、認識にあたって許容される誤差の範囲を調整することによって、ユーザ本人に限定した厳密な認識から、所定の属性を有するユーザ群を認識できる比較的緩やかな認識まで、認識のレベルを調整することができる。それゆえ、以下の説明における「ユーザUの認識」は、「所定の属性を有するユーザであるか否かの認識」と置き換えることもできる。
図5は、頭部伝達関数を利用したユーザ認識の一例を概念的に示す図である。
例えば、ユーザUの前方の位置(r,θ,0)にある音源Sを、頭部インパルスレスポンスHRIR_L(U,r,θ,0),HRIR_R(U,r,θ,0)を原音Xに畳み込み積分することによって仮想的に再生して、聴取者に提示する。この場合、聴取者がユーザUであれば、音源Sの位置を正しく知覚できるはずである。一方、聴取者がユーザUではなければ、音源Sの位置を正しく知覚できず、例えば聴取者の後方に位置する音源Sと誤って知覚する。従って、ユーザUの前方にある音源Sの位置を推定させれば、ユーザUを精度よく認識することができる。
図6は、頭部伝達関数を利用したユーザ認識の別の例を概念的に示す図である。
上述のように、ユーザUに、自己のものではないHRTFから算出したHRIRを畳み込み積分した原音Xを提示した場合、音源は、ユーザUの頭の内部、またはユーザUの後方の誤った位置に定位して知覚される。この誤った位置が分布する範囲は、ユーザUの上下方向について、特に狭い。つまり、自己のものではないHRTFから算出したHRIRを畳み込み積分した原音Xを提示された場合、聴取者が音源の高さを識別することは非常に困難である。
例えば、ユーザUの前方の位置(r,0,φ)にある音源Sを、頭部インパルスレスポンスHRIR_L(U,r,0,φ),HRIR_R(U,r,0,φ)を原音Xに畳み込み積分することによって仮想的に再生して、聴取者に提示する。この場合、聴取者がユーザUであれば、音源Sの位置を正しく知覚できるはずである。一方、聴取者がユーザUではなければ、音源Sの位置を正しく知覚できず、多くの場合、聴取者の後方で聴取者と同じ高さに位置する音源Sと誤って知覚する。従って、ユーザUからみて高さが異なる複数の位置のいずれかにある音源Sの位置を推定させれば、ユーザUを精度よく認識することができる。
(2.本開示の実施形態)
次に、以上で説明した基本的なアイデアを利用して電子機器のロック状態を制御する実施形態のいくつかの例について説明する。
(2−1.第1の実施形態)
まず、図7〜図16を参照して、本開示の第1の実施形態について説明する。本実施形態では、頭部伝達関数を用いて再生された仮想音源が、ヘッドマウントディスプレイ(HMD:Head Mounted Display)のヘッドフォンから出力される。出力された音源を聴取したユーザは、推定した音源の位置を、例えばHMDの入力ボタンなどを用いて回答する。回答が正しい場合、HMD、コンバータまたはHMDにコンテンツを提供する再生装置の機能にかけられたロックが解除される。
ここで、仮想音源の再生に用いられる頭部伝達関数は、例えば予め測定された特定のユーザの頭部伝達関数であってもよい。また、頭部伝達関数は、例えば所定の属性を有するユーザ群の平均的な頭部伝達関数であってもよい。上述の通り、頭部伝達関数はユーザそれぞれに固有であるが、例えば大人と子供のように、属性によってユーザの頭部の大きさや皮膚の状態に違いが出る場合、それぞれの属性の平均的な頭部伝達関数にも違いが出ると考えられる。従って、その平均的な頭部伝達関数を用いた音源の再生によって、ユーザがその属性を有するか否か、例えばユーザが大人であるか否かを判定することが可能である。
(システム構成)
図7は、本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。図7を参照すると、システム40は、HMD20と、コンバータ30とを含む。HMD20は、ユーザの頭部に装着されて、ユーザの左右の眼にそれぞれ画像を表示するとともに左右の耳にそれぞれ音声を出力する装置である。コンバータ30は、例えばレコーダやゲーム機、テレビチューナなどの再生装置から出力された画像および音声のデータ(例えば通常のディスプレイでの再生用に構成されている)を、HMD20で出力可能な画像および音声のデータに変換し、変換されたデータをHMD20に提供する。
図示された例において、HMD20とコンバータ30とは、ケーブルで接続されている。しかし、本開示の他の実施形態では、HMD20とコンバータ30とが無線で接続されていてもよく、またはHMD20とコンバータ30とが一体に形成されていてもよい。あるいは、HMD20が、予めHMDでの再生用に構成された画像および音声を再生する場合、コンバータ30は不要であり、レコーダやゲーム機、テレビチューナなどの再生装置から出力された画像および音声のデータが、直接HMD20に入力されてもよい。
なお、HMD20を用いた画像および音声の再生のための構成については、例えば特開2008−83290号公報に記載されているような公知の技術を利用することが可能であるため、ここでは詳細な説明を省略する。
図8は、本開示の第1の実施形態に係るHMDの装着状態を示す図である。図8を参照すると、HMD20は、ユーザUの頭部に、左右の眼を覆うように装着される。また、ユーザUの左右の耳には、HMD20に接続されたインナーイヤー型のヘッドフォン21が装着される。
なお、図示された例では、HMD20が非シースルー型であるが、本開示の他の実施形態では、HMDがシースルー型であってもよい。その場合、HMDは、例えば特開2008−83290号公報に記載されたような眼鏡型の形状を有していてもよい。また、ヘッドフォン21は、必ずしもHMD20に接続されていなくてもよく、例えばHMDとは別にコンバータ30などに接続されていてもよい。
図9は、本開示の第1の実施形態に係るHMDを下方から見た斜視図である。図9を参照すると、HMD20は、ヘッドフォン21に加えて、表示部22および操作部23を有する。ヘッドフォン21は、ユーザUの左耳に装着されるヘッドフォン21Lと、ユーザUの右耳に装着されるヘッドフォン21Rとを含む。また、表示部22は、ユーザの左眼に向けて画像を表示する表示部22Lと、ユーザの右眼に向けて画像を表示する表示部22Rとを含む。これらのヘッドフォン21と表示部22とによって、ユーザの右耳と左耳とにはそれぞれ独立して音声が出力され、ユーザの右眼と左眼とにはそれぞれ独立して画像が表示される。表示部22には、例えばLCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイなどが用いられる。
操作部23は、HMD20の下側の面に設けられるボタンである。図示された例では、操作部23が、電源ボタン23a、方向/メニューボタン23b、およびボリュームボタン23cを含む。なお、本開示の他の実施形態では、操作部23が図示された例とは異なる種類のボタンや、ボタン以外のスイッチやレバーなどを含んでいてもよい。ユーザがHMD20を装着している間、ユーザの視界は表示部22に表示される画像(HMDがシースルー型である場合には、透過して視認される外界の像を含む)によって占められているために、ユーザは操作部23をブラインドで、つまり視認せずに操作する。
上記のようなHMD20は、例えば画像の美しさや、ユーザが感じる臨場感、没入感といった点で、通常のディスプレイに比べて優れた性能を発揮する。その一方で、表示部とユーザの眼との距離が近くなるために、成長過程の子供の健康に影響を与える可能性がある。そこで、例えば、いわゆるチャイルドロックを設定して、子供がHMD20を使用することを防止することが推奨されている。
チャイルドロックは、子供がHMD20を使用することを防止するために、例えばHMD20が装着されたことが検出された場合にパスワードの入力を要求し、正しいパスワードが入力された場合に限ってHMD20の機能に設定されたロックを解除してHMD20を使用可能にする仕組みである。しかし、上記の通り、ユーザはHMD20の操作部23をブラインドで操作するため、コンテンツの再生制御や音量調節などの単純な操作には支障がなくても、パスワードの入力のような複雑な操作は容易ではない。
また、上述のように、パスワードの入力によるロックの設定のセキュリティレベルは高いとはいえない。例えば、親が設定したパスワードは、一緒の暮らしている子供が容易に推測可能なものでありうる。子供が推測困難なように複雑なパスワードを設定すると、上記のように操作部23でパスワードを入力するのが面倒であったり、親までパスワードを忘れてしまってHMD20が使用不能になる可能性もある。
そこで、本実施形態では、以下で説明するような機能制御装置を設け、機能のロック設定のセキュリティレベルを確保しつつユーザビリティをも向上させる。
(機能制御装置の構成)
図10は、本開示の第1の実施形態に係る機能制御装置の概略的な機能構成を示すブロック図である。図10を参照すると、機能制御装置100は、装着検出部101と、頭部伝達関数取得部103と、仮想音源位置設定部107と、生成部109と、デコード回路113と、再生部115と、回答取得部117と、判定部119と、ロック設定部121とを含む。また、機能制御装置100は、ストレージ装置などに格納された頭部伝達関数データ105および原音データ111を参照する。
機能制御装置100は、上記のシステム40に含まれ、HMD20の機能のロックを制御する。例えば機能制御装置100は、HMD20に組み込まれていてもよい。また、機能制御装置100は、コンバータ30に組み込まれていてもよい。あるいは、機能制御装置100は、独立した装置としてシステム40に含まれてもよい。機能制御装置100がHMD20に組み込まれない場合、装着検出部101による装着の検出、再生部115による音データの再生、回答取得部117による回答の取得、およびロック設定部121による機能ロックの制御は、HMD20との間の有線または無線による通信によって実行されうる。機能制御装置100は、例えば後述する情報処理装置のハードウェア構成によって実現されうる。
装着検出部101は、例えばHMD20に設けられたセンサ(接触センサ、ジャイロセンサ、加速度センサなど)の検出値に基づいて、HMD20がユーザによって装着されたことを検出する。あるいは、装着検出部101は、HMD20に設けられた機械的なスイッチが、ユーザがHMD20を装着したことによって、またはユーザの明示的な操作によって切り替えられた場合に、HMD20がユーザによって装着されたことを検出してもよい。装着検出部101は、HMD20がユーザによって装着されたことが検出された場合に、仮想音源位置設定部107にHMD20の機能のロック解除のための処理を開始させる。なお、装着検出部101の機能は、例えばユーザが操作部23の電源ボタン23aを押下してHMD20をスタンバイ状態から起動状態にしたことを検出することによって代替されうる。
頭部伝達関数取得部103は、頭部伝達関数データ105を参照して、予め用意された頭部伝達関数を取得する。ここで、取得される頭部伝達関数は、HMD20を使用するユーザUについて、予め測定されたものであってもよい。あるいは、頭部伝達関数は、共通する属性を有するユーザ群の平均的な頭部伝達関数として提供されたものであってもよい。上述のように、頭部伝達関数は、ユーザU(またはユーザUの属性)に加えて、音源Sの位置(r,θ,φ)に依存する。そこで、頭部伝達関数取得部103は、仮想音源位置設定部107から取得した仮想音源の位置を用いて頭部伝達関数データ105を参照し、予め測定されて格納されている頭部伝達関数の情報を取得する。ここで取得される頭部伝達関数は、例えばHRIRである。頭部伝達関数取得部103は、取得した頭部伝達関数の情報を生成部109に提供する。
仮想音源位置設定部107は、仮想音源の位置(r,θ,φ)をランダムに設定する。仮想音源位置設定部107は、仮想的な立体音響空間Vの任意の位置を仮想音源の位置(以下、第1の位置ともいう)に設定する。本実施形態においては、後述するように仮想音源の位置が9つの選択肢からの選択によって回答されるため、仮想音源位置設定部107は、この9つの選択肢のそれぞれに対応する立体音響空間Vの9つの位置のうちのいずれかを仮想音源の位置として設定する。仮想音源位置設定部107は、設定した仮想音源の位置の情報を頭部伝達関数取得部103および判定部119に提供する。
上記のように、頭部伝達関数取得部103は、仮想音源位置設定部107が設定した位置に基づいて、頭部伝達関数データ105から頭部伝達関数を取得する。ここで、仮想音源位置設定部107によって設定される位置は、9つの位置のうちのいずれかである。そのため、頭部伝達関数データ105には、少なくとも上記の9つの位置の頭部伝達関数が予め用意されている。
生成部109は、頭部伝達関数を用いて立体音響空間Vの第1の位置にある音源を仮想的に再生した音データを生成する。生成部109は、仮想音源位置設定部107が設定した第1の位置での頭部伝達関数の情報を、頭部伝達関数取得部103から取得する。生成部109は、例えば図4に示した装置10の場合と同様に、FIRフィルタを用いて実現されうる。生成部109は、デコード回路113から提供された原音のデータを、頭部伝達関数を用いて加工して、仮想音源の音データを生成する。生成部109は、生成した音データを再生部115に提供する。
デコード回路113は、原音データ111をデコードする。原音データ111は、例えば、サンプリング周波数44.1kHz、量子化ビット数16bitでMP3圧縮されたモノラルの音データである。デコード回路113は、この音データをデコードしてPCM信号に復調し、生成部109に提供する。
再生部115は、ユーザに向けて、生成部109から提供された音データを再生する。再生部115は、例えばヘッドフォン21に接続されるインターフェースであり、D/Aコンバータやアンプなどを含んでもよい。再生部115は、音データをヘッドフォン21に提供し、ユーザに向けて出力させる。この場合、図9に示したヘッドフォン21L,21Rが、図4に示したスピーカ14L,14Rとして機能する。
回答取得部117は、ヘッドフォン21を介して再生部115によって再生された音データを聴取したユーザが推定した、立体音響空間Vにおける仮想音源の位置(以下、第2の位置ともいう)を回答として取得する。回答取得部117は、例えば操作部23に接続されるインターフェースであり、ユーザが操作部23、具体的には方向/メニューボタン23bを用いて入力した位置を示す情報を取得する。回答取得部117は、取得した第2の位置の情報を判定部119に提供する。
判定部119は、仮想音源位置設定部107が設定した第1の位置と、回答取得部117が取得した第2の位置との関係に基づいて、HMD20のロックを解除してコンテンツ視聴などの機能を有効にするか否かを判定する。例えば、判定部119は、ユーザUの頭部伝達関数を用いて音データを生成した場合に、第1の位置と第2の位置とが符合していれば、HMD20のロックを解除することを決定してもよい。これは、仮想音源の位置を正しく知覚するユーザは、ユーザU本人であると推定されるためである。また、例えば、判定部119は、共通する属性を有するユーザ、例えば“大人”であるユーザの平均的な頭部伝達関数を用いて音データを生成した場合に、第1の位置と第2の位置との誤差が所定の範囲内であれば、HMD20のロックを解除することを決定してもよい。これは、仮想音源の位置をある程度正しく知覚するユーザが、所定の年齢以上の“大人”であると推定されるためである。判定部119は、判定の結果をロック設定部121に出力する。
ロック設定部121は、判定部119による判定の結果に基づいて、HMD20のロック制御を実行する。例えば、判定部119でHMD20のロックを解除することが決定された場合、ロック設定部121は、ロックを解除し、HMD20のコンテンツ再生機能を有効にする。一方、判定部119でHMDのロックを解除するという決定がされなかった場合、ロック設定部121は、引き続きロック状態を維持し、HMD20のコンテンツ再生機能を無効のままにする。
なお、上記の構成要素のうち、具体的な部材として例示された以外の要素は、例えばCPU、RAM(Random Access Memory)、ROM(Read Only Memory)などによって実現される。これ以降の実施形態において説明される構成要素についても同様である。
(仮想音源の位置の例)
図11は、本開示の第1の実施形態における仮想音源の位置の例を示す図である。図11を参照すると、本実施形態において、観察者には、仮想画面150が呈示される。仮想画面150は、HMD20の表示部22L,22Rによって左右両眼に画像を表示されたユーザが認識する仮想的な画面である。仮想画面150上には、ユーザからみて中央に位置Sが配置され、その周りの、ユーザからみて上、下、左、右、左上、右上、左下、右下に、それぞれ位置S〜S、位置S〜Sが配置されている。上述のように、本実施形態では、仮想音源位置設定部107が設定する第1の位置が、これらの9つの位置の中から選択される。また、これに対応して、回答取得部117が取得するユーザの回答によって示される第2の位置も、同じ9つの位置の中から選択されうる。
このように、第1の位置および第2の位置をそれぞれ所定の位置群から選択することによって、頭部伝達関数を、少なくとも所定の位置群に含まれる位置について予め用意しておけばよくなり、頭部伝達関数の測定または生成が簡単になる。また、仮想的な音源の位置を推定するユーザの回答を、選択肢からの選択によって取得することが可能になり、回答の入力、および判定が簡単になる。なお、位置群に含まれる位置の数は9つには限られず、任意の数でありうる。
また、図示されているように、仮想音源の位置S〜Sは、仮想画面150に画像として表示されてもよい。位置S〜Sが表示されることによって、ユーザは、音データを聴取して仮想音源の位置を回答するときに、例えば位置S〜Sにそれぞれ付された番号“1”〜“9”を入力することによって容易に回答することができる。また、位置S〜Sには番号が付されていなくてもよい。その場合、ユーザは、例えば操作部23の方向/メニューボタン23bを用いて仮想音源の位置に対応する方向を入力することによって回答してもよい。
あるいは、ユーザの回答は、ユーザの視線やジェスチャの検出結果に基づいて取得されてもよい。例えば、HMD20にユーザの視線を検出するためのカメラを設置し、音データが再生されたときのユーザの注視点に最も近い位置を、ユーザの回答として取得してもよい。また、例えば、HMD20のユーザの額に対応する部分や、HMD20を装着しているユーザを映すことが可能な位置にユーザのジェスチャを検出するためのカメラを設置し、音データが再生されたときのユーザのジェスチャからユーザの回答を認識してもよい。この場合、例えば、位置S〜Sのそれぞれについて、対応するジェスチャが予め設定されていてもよい(例えば、位置Sを回答する場合、左腕を横に伸ばして肘から先を上に向ける、など)。なお、ユーザの視線を検出するための構成や、ユーザのジェスチャを検出するための構成については、公知の技術を利用することが可能であるため、ここでは詳細な説明を省略する。
図12は、本開示の第1の実施形態における仮想音源の位置の水平方向の配置について説明するための図である。図では、ユーザの周りの仮想的な立体音響空間Vの、ユーザの頭の高さでの水平断面図が概略的に示されている。本実施形態では、ユーザの前方、距離rの仮想画面150上に、仮想音源の位置が配置される。距離rは、HMD20の仮想視聴距離、すなわちユーザUから仮想画面150までの仮想的な距離に等しく設定されうる。例えば、仮想視聴距離が20mであれば、距離rは20mでありうる。
図示された例において、仮想音源の位置Sは、立体音響空間Vで(r,0,0)にある。また、仮想音源の位置Sは、立体音響空間Vで(r,−θ,0)にあり、仮想音源の位置Sは、(r,θ,0)にある。従って、位置Sと位置S、および位置Sと位置Sとの間の距離は、いずれもr×tanθになる。この場合、ユーザの視点から仮想画面150上に設定された位置Sおよび位置Sまでの距離はrよりも若干大きくなるが、例えばrが20m程度、θが3°〜5°程度であれば、誤差として無視しうる範囲である。ユーザの視点から仮想画面150上の位置Sおよび位置Sまでの距離を正確にrにする場合、HMD20の仮想視聴距離、つまりユーザから位置Sまでの仮想的な距離(例えば20m)をr×cosθとして、位置Sと位置S、および位置Sと位置Sとの間の距離をr×sinθに設定してもよい。
図13は、本開示の第1の実施形態における仮想音源の位置の上下方向の配置について説明するための図である。図では、ユーザの周りの仮想的な立体音響空間Vの、ユーザの前後方向での垂直断面図が概略的に示されている。上述のように、本実施形態では、ユーザの前方、距離rの仮想画面150上に仮想音源の位置が配置され、距離rはHMD20の仮想視聴距離に等しく設定されうる。
図示された例において、仮想音源の位置Sは、立体音響空間Vで(r,0,0)にある。また、仮想音源の位置Sは、立体音響空間Vで(r,0,φ)にあり、仮想音源の位置Sは、(r,0,−φ)にある。従って、位置Sと位置S、および位置Sと位置Sとの間の距離は、いずれもr×tanφになる。この場合、ユーザの視点から仮想画面150上に設定された位置Sおよび位置Sまでの距離はrよりも若干大きくなるが、例えばrが20m程度、φが3°〜5°程度であれば、誤差として無視しうる範囲である。ユーザの視点から仮想画面150上の位置Sおよび位置Sまでの距離を正確にrにする場合、HMD20の仮想視聴距離、つまりユーザから位置S5までの仮想的な距離(例えば20m)をr×cosφとして、位置Sと位置S、および位置Sと位置Sとの間の距離をr×sinφに設定してもよい。
図示しない位置S,S,S,Sの立体音響空間Vでの位置は、上述した位置S,S〜S,Sと同様に設定される。すなわち、位置Sは(r,−θ,φ)にあり、位置Sは(r,θ,φ)にあり、位置Sは(r,−θ,−φ)にあり、位置Sは(r,θ,−φ)にある。
上記の例において、θ,φについて、ユーザが仮想音源の位置の違いを識別することが可能な最小値(最小分解能)は、約3°である。θ,φがあまり大きいと、音源の位置の違いがユーザU以外にも識別できてしまうため、θ,φの値は、一例として約3°〜約5°程度にすることが望ましい。なお、共通の属性を有するユーザ群の平均的な頭部伝達関数を用いて仮想音源を再生したような場合、ユーザによる仮想音源の位置の識別の精度があまり高くなく、またユーザ群に属する各ユーザが同じく仮想音源の位置を識別できることが望ましいため、θ,φの値は、例えば5°よりも大きい値に設定されてもよい。
(処理フロー)
図14は、本開示の第1の実施形態におけるロック制御の処理の例を示すフローチャートである。
上述した通り、本実施形態では、機能制御装置100において、HMD20がユーザによって装着されたことを装着検出部101が検出することによってロック解除のための処理が開始される(ステップS101)。まず、仮想音源位置設定部107が、仮想音源の位置をランダムに設定する(ステップS103)。ここで、仮想音源位置設定部107は、仮想音源の位置を、上述の位置S〜Sの中からランダムに選択する。
次に、頭部伝達関数取得部103が、予め頭部伝達関数データ105として格納されたデータの中から、ステップS103で設定された仮想音源の位置におけるHRIR関数を取得する(ステップS105)。ここで、取得されるHRIR関数は、例えば特定のユーザについて予め測定されたものであってもよいし、所定の属性を有するユーザの平均的な頭部伝達関数として提供されたものであってもよい。
次に、生成部109が、ステップS105で取得されたHRIR関数を原音データに畳み込み積分することによって、仮想音源の音データを生成する(ステップS107)。次に、再生部115が、HMD20のヘッドフォン21を介してユーザに向けて音データを出力する(ステップS109)。
次に、回答取得部117が、HMD20の操作部23を介して、ユーザが仮想音源の位置を推定した回答を取得する(ステップS111)。ここで、ステップS109とステップS111との間には、ユーザの思考および動作にかかる時間を考慮した所定の待機時間が設定されうる。
次に、判定部119が、ステップS111で取得された回答によって示される位置(第2の位置)が、ステップS103で設定された仮想音源の位置(第1の位置)に一致するか否かを判定する(ステップS113)。ここで、位置が一致すると判定されなかった場合、判定部119は“ロック解除失敗”と判定し、ロック設定部121はHMD20のロックを解除せず、機能を無効のままにする(ステップS115)。
一方、ステップS113において、回答によって示される位置が仮想音源の位置に一致すると判定された場合、判定部119は、さらに、ステップS103〜S109による仮想音源の再生が所定の回数繰り返されたか否かを判定する(ステップS117)。ここで、仮想音源の再生が所定の回数繰り返されたと判定された場合、判定部119は“ロック解除成功”と判定し、ロック設定部121はHMD20のロックを解除し、機能を有効にする(ステップS119)。
一方、ステップS117において、仮想音源の再生が所定の回数繰り返されたと判定されなかった場合、ステップS103からの仮想音源の再生の処理が再度実行される。このとき、ステップS103では、仮想音源の位置が再度ランダムに設定されうる。なお、所定の回数は1回であってもよく、その場合ステップS117は実行されない。
図示された例では、仮想音源の位置を変えて(ランダムに選択された結果、同じ位置が連続する場合もある)、仮想音源の再生とユーザからの回答の取得とが所定の回数繰り返される。これによって、例えば、HMD20の使用を防止したい子供が当て推量で入力した回答によって偶発的にロックが解除されてしまうような事態を防ぐことができる。
図15は、図14に示した処理の変形例を示すフローチャートである。
図示された例では、ステップS111の次に、判定部119が、取得された回答が正答であるか誤答であるかを判定し、正答/誤答のカウントを更新する(ステップS121)。カウントは、例えばRAMなどに数値として格納されうる。その次に、判定部119は、ステップS117を実行する。
ステップS117において、仮想音源の再生が所定の回数繰り返されたと判定された場合、判定部119は、所定の回数、および正答/誤答のカウントから聴取者の正答の回数を算出し、正答の回数または正答率が閾値以上であるかを判定する(ステップS123)。ここで、正答の回数または正答率が閾値以上であると判定された場合、判定部119は、“ロック解除成功”と判定し、ロック設定部121はHMD20のロックを解除し、機能を有効にする(ステップS119)。一方、正答の回数または正答率が閾値以上であると判定されなかった場合、判定部119は“ロック解除失敗”と判定し、ロック設定部121はHMD20のロックを解除せず、機能を無効のままにする(ステップS115)。
上記の変形例では、仮想音源の再生の繰り返しの中で、例えば1回誤答があっても、そこで即座にロック解除が失敗することがなく、その後正答が続けば、ロックが解除される可能性がある。これによって、HRIR関数やヘッドフォン21が不完全であったり、平均的なHRIR関数を使用していたりするために、仮想音源の位置が必ずしも毎回正確に知覚可能とは限らない場合でも、ユーザ本人、または所定の属性を有するユーザによるロック解除が失敗することを防ぐことができる。
ここで、付加的な構成として、判定部119は、ステップS121で誤答が検出された場合に、仮想音源の再生を繰り返す回数を増加させてもよい。判定部119は、例えば、“最初から、または誤答の後に3回連続して正答する”、または“仮想音源の再生を3回以上繰り返し、途中で正答率が75%以上になったらロック解除成功、50%を下回ったらロック解除失敗とする”などの条件によって、仮想音源の再生を繰り返す回数を動的に設定してもよい。
(頭部伝達関数の測定)
以上で説明した本開示の第1の実施形態では、機能制御装置100に、頭部伝達関数データ105が予め格納される。例えば、ユーザUに固有の頭部伝達関数を上記のロック解除の処理に用いる場合、頭部伝達関数は、例えば上記で図3を参照して説明したような手法によって、ユーザUについて予め測定される。より精度が高い頭部伝達関数を取得するためには、壁での反射の影響を除くために、無響空間で測定を実施することが望ましい。このような測定によってHRIRなどの頭部伝達関数が取得できれば、測定時に用いられたインパルスやTSP(Time-Stretched Pulse)に限らず、任意の音を原音データ111として用いることが可能である。
しかしながら、HMD20を利用するユーザ全員が無響空間で頭部伝達関数を測定することは現実的ではない。そこで、いくつかの代替案が考えられる。1つは、上述したように、頭部伝達関数として、所定の属性を有するユーザ(例えば、“大人”であるユーザ)の平均的な頭部伝達関数を使用することである。この場合、頭部伝達関数は、例えば、十分な数のサンプルの頭部伝達関数を無響空間で測定した結果に基づいて算出される。従って、HMD20を利用するユーザ自身は、頭部伝達関数を測定しなくてもよい。ただし、例えばユーザの頭部の形状などについて平均との差が大きい場合、ユーザがその属性を有すると認識されない場合もありうる。
また、家庭など、ユーザがHMD20を使用する場所で測定を実施してもよい。この場合、例えば、HMD20のヘッドフォン21と同じ位置に設けられたノイズキャンセリング用のマイクロフォンが、測定に利用されてもよい。家庭などの場合、専用の測定環境のように音源の位置を移動させるのは容易ではないため、例えば、スピーカなどの音源を所定の位置に固定した状態でユーザが移動することによって、複数の異なる音源位置での測定を実施してもよい。このとき、ユーザが正しい位置に移動できるように、音源との位置関係を指定するシートなどをHMD20に付属させてもよい。あるいは、HMD20のユーザの額に対応する部分にスピーカを設置したり、HMD20に紐のついたスピーカを取り付けてその紐を伸ばした状態で移動させたりして、音源とHMD20との位置関係が特定された状態で測定を実施してもよい。
上記のように測定を簡略化した場合、壁での反射や吸収などによる測定結果への影響が大きくなる。また、ユーザの移動や操作によって音源の位置が設定されるため、測定時の音源の位置の精度も高くはない。従って、測定の状況によっては、適切なHRIRなどの頭部伝達関数を取得することが困難な場合もある。その場合、頭部伝達関数を測定する代わりに、ユーザの聴取音、すなわち頭部伝達関数に従って変化した音波が測定されてもよい。ある位置に音源を配置したときにユーザの鼓膜近傍で録音された音波を、別のときに同じく鼓膜近傍で再生すれば、ユーザは仮想的に当該位置に定位した音源を知覚する。ただし、この場合、ロック解除の処理時に用いられる原音は、測定時に再生されたものと同一になる。
図16は、本開示の第1の実施形態の変形例に係る機能制御装置の概略的な機能構成を示すブロック図である。この変形例では、頭部伝達関数の代わりに、ユーザの聴取音が予め測定されている。図16を参照すると、機能制御装置160は、装着検出部101と、仮想音源位置設定部107と、音データ選択部163と、デコード回路113と、再生部115と、回答取得部117と、判定部119と、ロック設定部121とを含む。また、機能制御装置160は、ストレージ装置などに格納された音データ161を参照する。以下では、機能制御装置160について、上記の図10に示した機能制御装置100との相違点を中心に説明する。
機能制御装置160において、仮想音源位置設定部107は、設定した第1の位置の情報を、音データ選択部163および判定部119に提供する。音データ選択部163は、音データ161を参照して、仮想音響空間Vの所定の位置群にそれぞれ音源を定位させて測定された音データ群の中から、設定された第1の位置に音源を定位させて測定された音データを選択する。取得された音データは、デコード回路113でデコードされ、再生部115で再生される。このように、機能制御装置160では、格納されているデータが、既に頭部伝達関数が反映された音データであるため、例えば上記の図10に示した機能制御装置100の生成部109のような機能は必要ではない。
(2−2.第2の実施形態)
次に、図17〜図20を参照して、本開示の第2の実施形態について説明する。本実施形態は、仮想音源の位置が再生中に連続的に移動する点が上記の第1の実施形態とは異なる。それ以外の点については、第1の実施形態と同様であるため、詳細な説明を省略する。
(機能制御装置の構成)
図17は、本開示の第2の実施形態に係る機能制御装置の概略的な機能構成を示すブロック図である。図17を参照すると、機能制御装置200は、装着検出部101と、頭部伝達関数取得部103と、仮想音源位置設定部207と、生成部209と、デコード回路113と、再生部115と、視線入力部217と、判定部219と、ロック設定部121とを含む。また、機能制御装置200は、ストレージ装置などに格納された頭部伝達関数データ105および原音データ111を参照する。以下では、機能制御装置200について、上記の第1の実施形態に係る機能制御装置との相違点を中心に説明する。
機能制御装置200において、仮想音源位置設定部207は、第1の位置を軌跡として設定する。つまり、仮想音源位置設定部207は、音データの再生中に連続的に移動する仮想音源の位置を設定する。頭部伝達関数取得部103は、第1の位置の軌跡に含まれるそれぞれの位置(r,θ,φ)について、頭部伝達関数データ105から頭部伝達関数を取得して生成部209に提供する。生成部209は、提供された頭部伝達関数を用いて、立体音響空間Vを移動する音源を仮想的に再生した音データを生成する。より具体的には、生成部209は、音データの再生の間、時刻ごとに異なる頭部伝達関数を用いて原音のデータを加工することによって、移動する音源を仮想的に再生した音データを生成する。
視線入力部217は、再生部115によって再生された音データを聴取したユーザの視線の検出結果を連続的に取得する。つまり、視線入力217は、ユーザの視線の移動軌跡を取得する。視線の移動軌跡は、移動する音源を仮想的に再生した音データを聴取したユーザが、音源の軌跡を推定した回答、すなわち第2の位置の軌跡として扱われる。ユーザの視線の検出には、例えばHMD20に、ユーザの左眼および右眼を捉えるように配置されたカメラが用いられうる。この場合、ユーザの視線(注視点)は、例えば、カメラの画像からユーザの黒目と白目の領域を認識し、黒目がどこを向いているかを判定することによって識別されうる。なお、ユーザの視線を検出するための構成としては、この例の他にも公知のさまざまな技術を利用することが可能である。
判定部219は、仮想音源位置設定部207が設定した第1の位置の軌跡と、視線入力部217が取得した第2の位置の軌跡との関係に基づいて、HMD20のロックを解除してコンテンツ視聴などの機能を有効にするか否かを判定する。例えば、判定部219は、ユーザUの頭部伝達関数を用いて音データを生成した場合に、第1の位置の軌跡と第2の位置の軌跡とが符合していれば、HMD20のロックを解除することを決定してもよい。また、例えば、判定部219は、共通する属性を有するユーザの平均的な頭部伝達関数を用いて音データを生成した場合に、第1の位置の軌跡と第2の位置の軌跡との誤差が所定の範囲内であれば、HMD20のロックを解除することを決定してもよい。ここで、軌跡の符合、および軌跡間の誤差の評価については、例えば2次元図形のパターン認識などに用いられている公知の技術を利用することが可能である。
(仮想音源の軌跡の例)
図18は、本開示の第2の実施形態における仮想音源の軌跡の例を示す図である。図18を参照すると、本実施形態において、観察者には、上記の第1の実施形態と同様の仮想画面150が呈示される。図示された例では、仮想音源の軌跡が、仮想画面150上でユーザから見て左上の位置Sから、右下の位置Sまでの斜め方向の直線として設定されている。ユーザは、音が聞こえたら、音が定位している仮想画面150上の位置を目で追う。ユーザが、仮想音源の位置を正しく知覚できていれば、視線LSの軌跡は、仮想音源の軌跡に符合する、またはこれに近いものになるはずである。
本実施形態では、このように、軌跡によってユーザが仮想音源の位置を正しく知覚できているか否かを判定する。視線の軌跡の形状による判定が可能であるため、仮想画面150上に設定される仮想音源の座標系と、カメラなどの手段によって取得されるユーザの視線の座標系とは、厳密に一致していなくてもよい。つまり、図示された例であれば、座標系のずれなどを考慮し、視線LSが正確に位置Sから位置Sまでの軌跡を描かなくても、ユーザから見て左上の領域から右下の領域への軌跡を描いていれば、ユーザが仮想音源の位置を正しく知覚していると判定することも可能である。また、同様の理由によって、仮想画面150には、仮想音源の位置に関する画像を表示しなくてよい。
なお、設定される仮想音源の軌跡は、上記の例のような直線には限られない。例えば、Z形、N形、O形、L形など、ユーザが視線で追っていることが識別しやすい任意の形を仮想音源の軌跡に設定することが可能である。
また、本実施形態では、ユーザが仮想音源の軌跡を認識しやすいように、軌跡が設定される領域の中では、多くの点について頭部伝達関数が用意されていることが望ましい。例えば、図1に示した偏角θ,φでいえば3°〜5°の間隔で、頭部伝達関数が測定された位置が存在することが望ましい。上述のように、偏角θ,φについてのユーザの最小分解能は、一般的に約3°である。
本実施形態の変形例として、ユーザの回答は、ジェスチャの検出結果に基づいて取得されてもよい。例えば、HMD20のユーザの額に対応する部分や、HMD20を装着しているユーザを映すことが可能な位置にユーザのジェスチャを検出するためのカメラを設置し、音データが再生されたときのユーザのジェスチャの検出結果を連続的に取得してもよい。この場合、例えば、ジェスチャとして認識されたユーザの体の特定の部分(例えば手、指、または足など)の移動軌跡が、第2の位置の軌跡として扱われる。なお、ユーザのジェスチャを検出するための構成については、公知の技術を利用することが可能であるため、ここでは詳細な説明を省略する。
(処理フロー)
図19は、本開示の第2の実施形態におけるロック解除の処理の例を示すフローチャートである。
本実施形態でも、第1の実施形態と同様に、機能制御装置200において、HMD20がユーザによって装着されたことを装着検出部101が検出することによってロック解除のための処理が開始される(ステップS201)。まず、仮想音源位置設定部207が、仮想音源の軌跡をランダムに設定する(ステップS203)。ここで、仮想音源位置設定部207は、例えば予め用意された軌跡のパターンの中から、ランダムに軌跡を選択する。
次に、頭部伝達関数取得部103が、予め頭部伝達関数データ105として格納されたデータの中から、ステップS203で設定された仮想音源の軌跡に含まれる各位置におけるHRIR関数を取得する(ステップS205)。ここで、取得されるHRIR関数は、例えば、特定のユーザについて予め測定されたものであってもよいし、所定の属性を有するユーザの平均的な頭部伝達関数として提供されたものであってもよい。
次に、生成部209が、ステップS205で取得されたHRIR関数を原音データに畳み込み積分することによって、仮想音源の音データを生成する(ステップS207)。ここで、生成部209は、時刻ごとに異なるHRIR関数を原音データに畳み込み積分して、移動する音源を仮想的に再生した音データを生成する。次に、再生部115が、HMD20のヘッドフォン21を介してユーザに向けて音データを出力する(ステップS209)。
次に、視線入力部217が、音データが再生されている間のユーザの視線の移動軌跡を取得する(ステップS211)。ここで、ステップS209とステップS211との間には、ユーザが音を聴いてから視線を移動させるまでの反応にかかる時間を考慮した所定の待機時間が設定されうる。
次に、判定部219が、ステップS211で取得されたユーザの視線の軌跡が、ステップS203で設定された仮想音源の軌跡に整合するか否かを判定する(ステップS213)。ここで、視線の軌跡が仮想音源の軌跡に整合すると判定されなかった場合、判定部219は、“ロック解除失敗”と判定し、ロック設定部121はHMD20のロックを解除せず、機能を無効のままにする(ステップS215)。
一方、ステップS213において、ユーザの視線の軌跡が仮想音源の軌跡に整合すると判定された場合、判定部219は、さらに、ステップS203〜S209による仮想音源の再生が所定の回数繰り返されたか否かを判定する(ステップS217)。ここで、仮想音源の再生が所定の回数繰り返されたと判定された場合、判定部219は、“ロック解除成功”と判定し、ロック設定部121はHMD20のロックを解除し、機能を有効にする(ステップS219)。
一方、ステップS219において、仮想音源の再生が所定の回数繰り返されたと判定されなかった場合、ステップS203からの仮想音源の再生の処理が再度実行される。このとき、ステップS203では、仮想音源の軌跡が再度ランダムに設定されうる。なお、所定の回数は1回であってもよく、その場合ステップS217は実行されない。
図示された例では、仮想音源の軌跡を変えて(ランダムに選択された結果、同じ軌跡が連続する場合もある)、仮想音源の再生とユーザの視線の検出とが所定の回数繰り返される。これによって、例えば、HMD20の使用を防止したい子供が当て推量で入力した視線によって偶発的にロックが解除されてしまうような事態を防ぐことができる。
図20は、図19に示した処理の変形例を示すフローチャートである。
図示された例では、ステップS211の次に、判定部219が、取得された視線の軌跡が仮想音源の軌跡と整合するか否かを判定し、整合/不整合のカウントを更新する(ステップS221)。カウントは、例えばRAMなどに数値として格納されうる。その次に、判定部219はステップS217を実行する。
ステップS217において、仮想音源の再生が所定の回数繰り返されたと判定された場合、判定部219は、所定の回数、および整合/不整合のカウントから軌跡の整合の回数を算出し、整合の回数または整合率が閾値以上であるかを判定する(ステップS223)。ここで、整合の回数または整合率が閾値以上であると判定された場合、判定部219は、“ロック解除成功”と判定し、ロック設定部121はHMD20のロックを解除し、機能を有効にする(ステップS219)。一方、整合の回数または整合率が閾値以上であると判定されなかった場合、判定部219は、“ロック解除失敗”と判定し、ロック設定部121はHMD20のロックを解除せず、機能を無効のままにする(ステップS215)。
上記の変形例では、仮想音源の再生の繰り返しの中で、例えば1回軌跡の不整合があっても、そこで即座にロック解除が失敗することがなく、その後軌跡の整合が続けば、ロックが解除される可能性がある。これによって、HRIR関数やヘッドフォン21が不完全であったり、平均的なHRIR関数を使用していたりするために、仮想音源の軌跡が必ずしも毎回正確に知覚可能とは限らない場合でも、ユーザ本人、または所定の属性を有するユーザによるロック解除が失敗することを防ぐことができる。
ここで、付加的な構成として、判定部219は、ステップS221で誤答が検出された場合に、仮想音源の再生を繰り返す回数を増加させてもよい。判定部219は、例えば、“最初から、または誤答の後に3回連続して軌跡が整合する”、または“仮想音源の再生を3回以上繰り返し、途中で整合率が75%以上になったらロック解除成功、50%を下回ったらロック解除失敗とする”などの条件によって、仮想音源の再生を繰り返す回数を動的に設定してもよい。
(応用例)
本実施形態では、仮想音源を利用したロック解除にあたって、仮想画面に画像を表示しなくてよい。これを利用して、さまざまな応用例が可能である。
例えば、本実施形態は、HMDでAR(Augmented Reality)アプリケーションを利用する場合に適用可能である。ARアプリケーションでは、例えば、シースルー型のHMDで透過して視認される外界の像、または非シースルー型のHMDに搭載されたカメラを用いて撮像された外界の画像にさまざまな情報が重畳表示される。
こうしたARアプリケーションには、ユーザの視線によって操作可能であるものがある。その場合、例えば、ユーザが表示された情報のいずれかを注視した場合に、その情報に関するさらに詳細な情報が提示される。また、外界の画像に関する情報とは別に、例えばメッセージの送受信などの他の機能を起動するためのアイコンが画面の端の方に表示されており、ユーザがそのアイコンを注視することでARアプリケーションを中断して別の機能を起動することが可能である場合もある。
このような場合に、ユーザの注視によってすぐに他の機能が起動するように設定されていると、誤作動の可能性がある。例えば、ユーザが動くものを追って視線を画面の端の方に移動させたときに、偶然そこに表示されていたメッセージ機能のアイコンに視線があたってメッセージ機能が起動される可能性がある。そうすると、意図していないのにARアプリケーションが中断されてしまうことになり、ユーザは不快感を覚える。これを防ぐために、例えばアイコンが注視されたときに確認ダイアログを表示することも考えられるが、確認ダイアログの表示もARアプリケーションの邪魔になるため、ユーザにとって最善とはいえない。
ここで、本実施形態を適用することが考えられる。例えば、ARアプリケーションの起動中に、ユーザの視線がメッセージなど他の機能のアイコンにあたった場合、上記のようなロック解除の処理が実行される。つまり、ユーザの視線が機能のアイコンにあたると、仮想音源が所定の軌跡で移動しながら再生される。ユーザは、本当にその機能の起動を意図してアイコンを注視したのであれば、仮想音源の軌跡を目で追えばよい。そうすると、視線の軌跡と仮想音源の軌跡との整合によってその機能が有効化され、ARアプリケーションが中断される。一方、ユーザは、その機能の起動を意図していないのであれば、再生された音を無視すればよい。そうすると、視線の軌跡と仮想音源の軌跡とが整合しないためにその機能は有効化されず、引き続きARアプリケーションが実行される。
上記の例によれば、他の機能を起動するか否かを、ARアプリケーションの表示を中断することなくユーザに確認することができる。それゆえ、アイコンの表示によって他の機能へのアクセス性を確保しつつ、快適にARアプリケーションを楽しむことができる。
同様に、ユーザのジェスチャによって操作可能なARアプリケーションにも、本実施形態を適用可能である。例えば、HMDのユーザの額に対応する部分などに設けられたカメラを用いて、ユーザのジェスチャをコマンドとして認識して動作するARアプリケーションが存在する。この場合、例えば、ユーザの手など体の所定の部分がカメラに映ったり、さらに所定の動きをしたりした場合に、ARアプリケーションを中断してメッセージの送受信などの別の機能が起動される。
このような場合に、ユーザの手がカメラに映ったり、所定の動きをしたりした場合にすぐに他の機能が起動するように設定されていると、誤作動の可能性がある。例えば、ユーザが友人に手を上げて挨拶をしたときに偶然手がカメラに映ったり、そのときに偶然手の動きが所定の動きに一致したりした場合に、ユーザの意図に反してARアプリケーションが中断されて、メッセージ機能などの別の機能が起動される可能性がある。上記の例と同様に、確認ダイアログを表示する対応も考えられるが、確認ダイアログの表示のARアプリケーションの表示の邪魔になるため、ユーザにとって最善とはいえない。
そこで、本実施形態を適用すると、例えばARアプリケーションの起動中にユーザの手がカメラに映ったり、手が所定の動きをしたりした場合に、上記のようなロック解除の処理が実行される。つまり、ユーザの手やその動きが認識されると、仮想音源が所定の軌跡で移動しながら再生される。ユーザは、本当にその機能の起動を意図してジェスチャをしたのであれば、仮想音源の軌跡を手のジェスチャでなぞればよい。そうすると、ユーザの手の軌跡と仮想音源の軌跡との整合によってその機能が有効化され、ARアプリケーションが中断される。一方、ユーザは、その機能の起動を意図していないのであれば、再生された音を無視すればよい。そうすると、ユーザの手の軌跡と仮想音源の軌跡とが整合しないためにその機能は有効化されず、引き続きARアプリケーションが実行される。
なお、同様の適用例は、ARアプリケーション以外でも可能である。例えば、映画などのコンテンツの視聴やゲームなどでも、視線やジェスチャを使った操作入力が実装されうる。その場合、例えば、視線やジェスチャ(画面内の所定の位置の注視や、ユーザの手などの画像の検出、検出された手の所定の動きなど)によって入力されたコマンドの実行がコンテンツの視聴やゲームのプレイの中断を伴うときに、本当にその機能を起動するか否かを確認するために、上記のようなロック解除の処理が実行されうる。
ここで、提供されているコンテンツの視聴やゲームなどのアプリケーションが音声を伴うものである場合、仮想音源として全く無関係な音が再生されると、それもアプリケーションの妨げになることが考えられる。そこで、例えば、アプリケーションの音声を一時的にモノラル再生にし、その音声自体を仮想音源として所定の軌跡で再生してもよい。こうすることで、アプリケーションの音声以外の音声が混入することなく、ロック解除の処理を実行することができる。なお、上述したように、任意の音源を用いて仮想音源の再生を実行するためには、測定用の環境を準備し、高い精度で頭部伝達関数を取得しておくことが望ましい。
(2−3.第3の実施形態)
次に、図21および図22を参照して、本開示の第3の実施形態について説明する。本実施形態は、仮想音源が、選択された任意のユーザ属性について再生される点が上記の第1および第2の実施形態とは異なる。それ以外の点については、第1の実施形態または第2の実施形態と同様であるため、詳細な説明を省略する。なお、以下の説明では第1の実施形態を基にした例について説明するが、同様に第2の実施形態を基にした例も可能である。
(機能制御装置の構成)
図21は、本開示の第3の実施形態に係る機能制御装置の概略的な構成を示すブロック図である。図21を参照すると、機能制御装置300は、ユーザ属性設定部301と、頭部伝達関数取得部303と、仮想音源位置設定部107と、生成部109と、デコード回路113と、再生部115と、回答取得部117と、判定部119と、ロック設定部121とを含む。また、機能制御装置300は、ストレージ装置などに格納された頭部伝達関数データ305および原音データ111を参照する。以下では、機能制御装置300について、上記の第1の実施形態に係る機能制御装置との相違点を中心に説明する。
ユーザ属性設定部301は、ロック解除に用いるユーザの属性を設定し、設定した属性の情報を頭部伝達関数取得部303に提供する。頭部伝達関数取得部303は、頭部伝達関数データ305を参照して、指定された属性に関連付けられた頭部伝達関数を取得する。ここで取得される頭部伝達関数は、共通する属性を有するユーザ群の平均的な頭部伝達関数として提供されたものでありうる。本実施形態において、頭部伝達関数データは、複数の属性について予め用意されており、頭部伝達関数取得部303は、その中から、ユーザ属性設定部301によって設定された属性に対応する頭部伝達関数を選択する。
上述した第1および第2の実施形態と本実施形態との相違として、これらの実施形態では予め定められた頭部伝達関数(例えばHMD20の本来のユーザの頭部伝達関数や、“大人”の属性を有するユーザの平均的な頭部伝達関数)を用いてロック解除が実行されたのに対して、本実施形態では、複数の属性の中からロック解除に用いる属性が選択される。つまり、本実施形態では、例えばユーザの操作入力やアプリケーションからの要求によって、ユーザ属性設定部301が、“16歳以上”、“18歳以上”および“20歳以上”のように、複数の属性の中から対象の属性を選択することが可能である。頭部伝達関数データ305には、選択可能な属性のそれぞれに対応する頭部伝達関数が含まれる。
このような構成の具体的な利用例として、例えば、ユーザ属性設定部301は、HMD20の起動時または装着時には、“16歳以上”という属性(HMDによるコンテンツの視聴が健康に影響しないと考えられる年齢)を設定しうる。また、ユーザ属性設定部301は、HMD20でレーティングが設定されたコンテンツが再生されるときに、そのレーティングに応じた属性(例えば、“18歳以上”など)を設定しうる。このようにして、HMD20を用いたコンテンツの視聴を、HMD自体、またはコンテンツにより適合したユーザに限定することができる。
あるいは、ユーザ属性設定部301は、HMD20の起動時に、複数の属性を設定し、それぞれの属性に対応する仮想音源の再生を実行させることによって、HMD20を利用するユーザの属性を認識してもよい。例えば、ユーザ属性設定部301は、HMD20の起動時または装着時に、“大人”、“子供”、“男”および“女”の属性を設定してもよい。この場合、頭部伝達関数取得部303以下の部分では、上記の属性のそれぞれについての頭部伝達関数を用いて生成された仮想音源の音データが、すべて連続して再生されるか、または少なくとも一部が同時に再生される(例えば、“大人”と“子供”とが同時に再生され、“男”と“女”とが同時に再生される)。このとき、仮想音源位置設定部107は、それぞれの属性について、異なる位置(または位置パターン、もしくは軌跡)を仮想音源の位置として設定する。このようにして再生された仮想音源の音データを聴取したユーザが、どの属性に対応する位置を回答するかによって、ユーザの属性を識別することができる。例えば、対になる属性(例えば、“大人”と“子供”)に対応する音データを同時に再生すれば、いずれかの属性に対応する位置が選択的に回答されるため、ユーザがどちらの属性を有するかを容易に識別することができる。
上記の例において、年齢に関する属性の識別結果は、例えばHMD20自体の利用の可否や、コンテンツの視聴の可否などを判定するために用いられうる。また、性別などに関する属性の識別結果は、例えばコンテンツの推薦や、広告の表示などに用いられうる。
(処理フロー)
図22は、本開示の第3の実施形態におけるロック解除の処理の例を示すフローチャートである。
まず、ユーザ属性設定部301が、ロック解除の処理に用いるユーザの属性を設定する(ステップS301)。次に、仮想音源位置設定部107が、仮想音源の位置をランダムに設定する(ステップS303)。ここで、仮想音源位置設定部107は、仮想音源の位置を、例えば上述の位置S〜Sの中からランダムに選択する。ユーザ属性設定部301が複数の属性を設定した場合、仮想音源位置設定部107は、そのそれぞれについて異なる位置を設定しうる。
次に、頭部伝達関数取得部303が、予め頭部伝達関数データ305として格納されたデータの中から、ステップS303で設定された仮想音源の位置における、ステップS301で設定された属性に対応するHRIR関数を取得する(ステップS305)。ここで取得されるHRIR関数は、所定の属性を有するユーザの平均的な頭部伝達関数として予め提供されたものでありうる。
次に、生成部109が、ステップS305で取得されたHRIR関数を原音データに畳み込み積分することによって、仮想音源の音データを生成する(ステップS307)。次に、再生部115が、HMD20のヘッドフォン21を介してユーザに向けて音データを出力する(ステップS309)。ここで、ユーザ属性設定部301が複数の属性を設定した場合、再生部115は、それぞれの属性に対応する音データを連続して出力してもよいし、その少なくとも一部の属性に対応する音データを同時に出力してもよい。
次に、回答取得部117が、HMD20の操作部23を介して、ユーザが仮想音源の位置を推定した回答を取得する(ステップS311)。ここで、ステップS309とステップS311との間には、ユーザの思考および動作にかかる時間を考慮した所定の待機時間が設定されうる。また、ステップS309において複数の音データが連続して出力される場合、それぞれについての回答が取得されうる。
例えば、ステップS309において“大人”と“子供”との属性に対応する音データが同時に再生され、それに続いて“男”と“女”との属性に対応する音データが同時に再生された場合、回答取得部117は、第1の回答(ユーザが“大人”であるか“子供”であるかを識別するのに用いられる)と第2の回答(ユーザが“男”であるか“女”であるかを識別するのに用いられる)とを取得しうる。
次に、判定部119が、ステップS311で取得された回答によって示される位置(第2の位置)が、ステップS303で設定された仮想音源の位置(第1の位置)に一致するか否かを判定する(ステップS313)。なお、ステップS301で複数の属性が設定されている場合、ここでの判定は、属性ごとに実行されうる。この場合、設定されている属性のうちの少なくとも1つ(例えば“大人”と“子供”)が、ステップS313でのHMD20の機能のロックを解除するか否かの判定に使用される。この判定に使用されなかった属性も、別の処理として属性の当否が判定され、例えばコンテンツの推薦や広告の表示などのための情報として提供される。
上記のステップS313において、位置が一致するとは判定されなかった場合、判定部119は“ロック解除失敗”と判定し、ロック設定部121は機能を無効のままにする(ステップS315)。ここでいう機能は、例えば上記の第1の実施形態と同様にHMDの機能全体であってもよいし、または年齢に依存するプロテクトがかけられた一部のコンテンツの視聴の機能であってもよい。
一方、ステップS313において、回答によって示される位置が仮想音源の位置に一致すると判定された場合、判定部119は、さらに、ステップS303〜S309による仮想音源の再生が所定の回数繰り返されたか否かを判定する(ステップS317)。ここで、複数の属性に対応する音源が再生される場合、設定される回数は、属性ごとに異なってもよい。
ステップS317において、仮想音源の再生が所定の回数繰り返されたと判定された場合、判定部119は“ロック解除成功”と判定し、ロック設定部121は機能を有効にする(ステップS319)。一方、仮想音源の再生が所定の回数繰り返されたと判定されなかった場合、ステップS303からの仮想音源の再生の処理が再度実行される。このとき、ステップS303では、仮想音源の位置が再度ランダムに設定されうる。なお、所定の回数は1回であってもよく、その場合ステップS317は実行されない。
なお、図示しないが、本実施形態でも、第1の実施形態で図15を参照して説明したように、回答の正誤に関わらず所定の回数だけ仮想音源の再生を繰り返し、その中での正答率によってユーザの属性を判定し、ロックを解除する変形例が可能である。また、第2の実施形態で図19および図20を参照して説明したように、仮想音源位置設定部が仮想音源の軌跡を設定し、生成部が移動する音源を仮想的に再生した音データを生成し、回答取得部がユーザの視線やジェスチャなどによってユーザの回答を取得する構成も可能である。
以上で説明した本開示の第3の実施形態では、属性を任意に設定可能とすることによって、HMDの起動時または装着時のロックの設定/解除だけではなく、例えば提供されるコンテンツの年齢制限などに対応したロックの設定/解除をも制御することができる。また、ロック制御に利用する属性に限らず、その他の用途で利用するための属性に関する情報も取得することが可能である。
(2−4.第4の実施形態)
次に、図23および図24を参照して、本開示の第4の実施形態について説明する。本実施形態は、仮想音源が、選択された任意のユーザIDについて再生される点が上記の第1および第2の実施形態とは異なる。それ以外の点については、第1の実施形態または第2の実施形態と同様であるため、詳細な説明を省略する。なお、以下の説明では第1の実施形態を基にした例について説明するが、同様に第2の実施形態を基にすることも可能である。
(機能制御装置の構成)
図23は、本開示の第4の実施形態に係る機能制御装置の概略的な構成を示すブロック図である。図23を参照すると、機能制御装置400は、ユーザID設定部401と、頭部伝達関数取得部403と、仮想音源位置設定部107と、生成部109と、デコード回路113と、再生部115と、回答取得部117と、判定部119と、ロック設定部121とを含む。また、機能制御装置400は、ストレージ装置などに格納された頭部伝達関数データ405および原音データ111を参照する。以下では、機能制御装置400について、上記の第1の実施形態に係る機能制御装置との相違点を中心に説明する。
ユーザID設定部401は、ロック解除に用いるユーザのIDを設定し、設定したIDの情報を頭部伝達関数取得部403に提供する。頭部伝達関数取得部403は、頭部伝達関数データ405を参照して、指定されたIDに関連付けられた頭部伝達関数を取得する。ここで取得される頭部伝達関数は、IDに対応するユーザについて予め測定された頭部伝達関数でありうる。本実施形態において、頭部伝達関数のデータは、複数のIDについて予め用意されており、頭部伝達関数取得部403は、その中から、ユーザID設定部401によって設定されたIDに対応する頭部伝達関数を選択する。
上述した第1および第2の実施形態と本実施形態との相違として、これらの実施形態では予め定められた頭部伝達関数を用いてロック解除が実行されたのに対して、本実施形態では、複数のユーザIDの中からロック解除に用いるIDが選択される。つまり、本実施形態では、例えばユーザの操作入力やアプリケーションからの要求によって、ユーザID設定部401が、複数のユーザIDの中から対象のユーザIDを選択することが可能である。頭部伝達関数データ405には、選択可能なユーザIDのそれぞれに対応する頭部伝達関数が含まれうる。
このような構成の具体的な利用例として、例えば、ユーザID設定部401は、HMD20の起動時または装着時に、利用者として登録されたユーザの一覧を表示し、その中から操作入力によって選択されたユーザのIDをロック解除に用いるユーザのIDとして設定する。これによって、その後に実行される仮想音源を用いたロック解除の処理によって機能のロックを解除可能なのは、そのユーザIDに対応するユーザに限定されうる。あるいは、ユーザID設定部401は、HMD20の起動中に、特定のユーザに限ってアクセス可能なパーソナルコンテンツ(メッセージなどを含む)や有料コンテンツを再生する機能へのアクセスが要求された場合に、当該コンテンツのアクセスが許可されたユーザIDを用いてロック解除の処理を実行してもよい。
このような構成は、例えば、HMD20が各ユーザのパーソナルコンテンツを再生可能である場合に、再生可能なパーソナルコンテンツを起動時または装着時のロック解除の対象になったユーザのパーソナルコンテンツに限定するときに有効である。また、ユーザIDとユーザの年齢や性別などが対応付けられていれば、そのユーザの年齢に応じたコンテンツ再生の有効/無効の設定、ユーザの属性に合ったコンテンツの推薦、またはユーザの属性に合った広告の表示などが可能になる。また、HMD20が有料コンテンツを再生可能である場合に、その有料コンテンツを購入したユーザに限ってコンテンツの再生の機能を有効化することもできる。
(処理フロー)
図24は、本開示の第4の実施形態におけるロック解除の処理の例を示すフローチャートである。
まず、ユーザID設定部401が、ロック解除の処理に用いるユーザIDを設定する(ステップS401)。次に、仮想音源位置設定部107が、仮想音源の位置をランダムに設定する(ステップS403)。ここで、仮想音源位置設定部107は、仮想音源の位置を、上述の位置P1〜P9の中からランダムに選択する。
次に、頭部伝達関数取得部403が、予め頭部伝達関数データ405として格納されたデータの中から、ステップS403で設定された仮想音源の位置における、ステップS401で設定されたユーザIDに対応するHRIR関数を取得する(ステップS405)。ここで取得されるHRIR関数は、IDに対応付けられるユーザについて予め測定されたものでありうる。
以降の処理(ステップS107〜S119)については、第1の実施形態で図14を参照して説明した処理と同様であるため、詳細な説明は省略する。なお、図示しないが、本実施形態でも、第1の実施形態で図15を参照して説明したように、回答の正誤に関わらず所定の回数だけ仮想音源の再生を繰り返し、その中での正答率によってユーザの属性を判定し、ロックを解除する変形例が可能である。また、第2の実施形態で図19および図20を参照して説明したように、仮想音源位置設定部が仮想音源の軌跡を設定し、生成部が移動する音源を仮想的に再生した音データを生成し、回答取得部がユーザの視線やジェスチャなどによってユーザの回答を取得する構成も可能である。
以上で説明した本開示の第4の実施形態では、ユーザIDを任意に設定可能とすることによって、HMDの起動時または装着時のロックの設定/解除だけではなく、例えば提供されるコンテンツの保有者や利用権限などに対応したロックの設定/解除をも制御することができる。
(3.ハードウェア構成)
次に、図25を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図25は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における機能制御装置を実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)などの処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドフォンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(4.補足)
本開示の実施形態は、例えば、上記で説明したような機能制御装置(情報処理装置)、システム、機能制御装置またはシステムで実行される機能制御方法、機能制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを前記ユーザに向けて再生する再生部と、
前記再生された音データを聴取した前記ユーザが、前記音源の位置として推定した前記ユーザの周りの空間の第2の位置を示す情報を取得する推定位置情報取得部と、
前記第1の位置と前記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する判定部と
を備える機能制御装置。
(2)前記頭部伝達関数は、前記ユーザに対応する頭部伝達関数であり、
前記判定部は、前記第1の位置と前記第2の位置とが符合した場合に前記少なくとも一部の機能を有効にすることを決定する、前記(1)に記載の機能制御装置。
(3)前記判定部は、前記第1の位置と前記第2の位置とが符合した場合に前記ユーザに対してアクセスが許可されたコンテンツの再生機能を有効にすることを決定する、前記(2)に記載の機能制御装置。
(4)前記頭部伝達関数は、第1の属性を有するユーザ群に対応する第1の頭部伝達関数であり、
前記判定部は、前記第1の位置と前記第2の位置との関係に基づいて前記ユーザが前記第1の属性を有すると推定される場合に前記少なくとも一部の機能を有効にすることを決定する、前記(1)に記載の機能制御装置。
(5)前記再生部は、前記第1の頭部伝達関数を用いて前記音源を仮想的に定位させた第1の音データと、前記第1の属性とは異なる第2の属性を有するユーザ群に対応する第2の頭部伝達関数を用いて前記音源を仮想的に定位させた第2の音データとを前記ユーザに向けて再生し、
前記判定部は、前記第2の位置が、前記第1の音データと前記第2の音データとのうちのいずれの前記第1の位置に対応するかに基づいて前記ユーザが前記第1の属性を有するか前記第2の属性を有するかを判定する、前記(4)に記載の機能制御装置。
(6)前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザの視線の検出結果を取得する、前記(1)〜(5)のいずれか1項に記載の機能制御装置。
(7)前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザのジェスチャの検出結果を取得する、前記(1)〜(5)のいずれか1項に記載の機能制御装置。
(8)前記第1の位置は、前記音データの再生中に連続的に移動し、
前記推定位置情報取得部は、前記第2の位置を示す情報を連続的に取得し、
前記判定部は、前記第1の位置の軌跡と前記第2の位置の軌跡との関係に基づいて前記少なくとも一部の機能を有効にするか否かを判定する、前記(1)〜(5)のいずれか1項に記載の機能制御装置。
(9)前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザの視線の検出結果を連続的に取得する、前記(8)に記載の機能制御装置。
(10)前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザのジェスチャの検出結果を連続的に取得する、前記(8)に記載の機能制御装置。
(11)前記第1の位置は、前記ユーザの周りの空間において予め定められた位置群のうちのいずれかの位置である、前記(1)〜(7)のいずれか1項に記載の機能制御装置。
(12)前記再生部は、前記音データの再生を所定の回数繰り返し、
前記推定位置情報取得部は、前記第2の位置を示す情報の取得を前記所定の回数繰り返し、
前記判定部は、前記所定の回数の繰り返しのうち、前記第1の位置と前記第2の位置とが所定の関係を満たした回数が閾値以上である場合に前記少なくとも一部の機能を有効にすることを決定する、前記(1)〜(11)のいずれか1項に記載の機能制御装置。
(13)前記音データを生成する生成部をさらに備える、前記(1)〜(12)のいずれか1項に記載の機能制御装置。
(14)前記ユーザの周りの空間の所定の位置群にそれぞれ定位する音データ群から前記音データを選択して前記再生部に提供する音データ選択部をさらに備える、前記(1)〜(12)のいずれか1項に記載の機能制御装置。
(15)前記電子機器は、ヘッドマウントディスプレイであり、
前記判定部は、前記第1の位置と前記第2の位置との関係に基づいて前記ユーザが所定の年齢以上であると推定される場合に、前記ヘッドマウントディスプレイのコンテンツ再生機能を有効にすることを決定する、前記(1)〜(14)のいずれか1項に記載の機能制御装置。
(16)前記再生部は、前記ヘッドマウントディスプレイのヘッドフォンを介して前記音データを再生する、前記(15)に記載の機能制御装置。
(17)前記ヘッドマウントディスプレイが前記ユーザによって装着されたことを検出する装着検出部をさらに備え、
前記再生部は、前記装着されたことが検出された場合に前記音データを再生する、前記(15)または(16)に記載の機能制御装置。
(18)頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを前記ユーザに向けて再生する機能と、
前記再生された音データを聴取した前記ユーザが、前記音源の位置として推定した前記ユーザの周りの空間の第2の位置を示す情報を取得する機能と、
前記第1の位置と前記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する機能と
をコンピュータに実現させるためのプログラム。
20 ヘッドマウントディスプレイ(HMD)
21 ヘッドフォン
22 表示部
23 操作部
30 コンバータ
40 システム
100,160,200,300,400 機能制御装置
101 装着検出部
103,303,403 頭部伝達関数取得部
107,207 仮想音源位置設定部
109,209 生成部
115 再生部
117 回答取得部
119,219 判定部
121 ロック設定部
163 音データ選択部
217 視線入力部
301 ユーザ属性設定部
401 ユーザID設定部

Claims (18)

  1. 頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを前記ユーザに向けて再生する再生部と、
    前記再生された音データを聴取した前記ユーザが、前記音源の位置として推定した前記ユーザの周りの空間の第2の位置を示す情報を取得する推定位置情報取得部と、
    前記第1の位置と前記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する判定部と
    を備える機能制御装置。
  2. 前記頭部伝達関数は、前記ユーザに対応する頭部伝達関数であり、
    前記判定部は、前記第1の位置と前記第2の位置とが符合した場合に前記少なくとも一部の機能を有効にすることを決定する、請求項1に記載の機能制御装置。
  3. 前記判定部は、前記第1の位置と前記第2の位置とが符合した場合に前記ユーザに対してアクセスが許可されたコンテンツの再生機能を有効にすることを決定する、請求項2に記載の機能制御装置。
  4. 前記頭部伝達関数は、第1の属性を有するユーザ群に対応する第1の頭部伝達関数であり、
    前記判定部は、前記第1の位置と前記第2の位置との関係に基づいて前記ユーザが前記第1の属性を有すると推定される場合に前記少なくとも一部の機能を有効にすることを決定する、請求項1に記載の機能制御装置。
  5. 前記再生部は、前記第1の頭部伝達関数を用いて前記音源を仮想的に定位させた第1の音データと、前記第1の属性とは異なる第2の属性を有するユーザ群に対応する第2の頭部伝達関数を用いて前記音源を仮想的に定位させた第2の音データとを前記ユーザに向けて再生し、
    前記判定部は、前記第2の位置が、前記第1の音データと前記第2の音データとのうちのいずれの前記第1の位置に対応するかに基づいて前記ユーザが前記第1の属性を有するか前記第2の属性を有するかを判定する、請求項4に記載の機能制御装置。
  6. 前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザの視線の検出結果を取得する、請求項1に記載の機能制御装置。
  7. 前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザのジェスチャの検出結果を取得する、請求項1に記載の機能制御装置。
  8. 前記第1の位置は、前記音データの再生中に連続的に移動し、
    前記推定位置情報取得部は、前記第2の位置を示す情報を連続的に取得し、
    前記判定部は、前記第1の位置の軌跡と前記第2の位置の軌跡との関係に基づいて前記少なくとも一部の機能を有効にするか否かを判定する、請求項1に記載の機能制御装置。
  9. 前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザの視線の検出結果を連続的に取得する、請求項8に記載の機能制御装置。
  10. 前記推定位置情報取得部は、前記第2の位置を示す情報として前記ユーザのジェスチャの検出結果を連続的に取得する、請求項8に記載の機能制御装置。
  11. 前記第1の位置は、前記ユーザの周りの空間において予め定められた位置群のうちのいずれかの位置である、請求項1に記載の機能制御装置。
  12. 前記再生部は、前記音データの再生を所定の回数繰り返し、
    前記推定位置情報取得部は、前記第2の位置を示す情報の取得を前記所定の回数繰り返し、
    前記判定部は、前記所定の回数の繰り返しのうち、前記第1の位置と前記第2の位置とが所定の関係を満たした回数が閾値以上である場合に前記少なくとも一部の機能を有効にすることを決定する、請求項1に記載の機能制御装置。
  13. 前記音データを生成する生成部をさらに備える、請求項1に記載の機能制御装置。
  14. 前記ユーザの周りの空間の所定の位置群にそれぞれ定位する音データ群から前記音データを選択して前記再生部に提供する音データ選択部をさらに備える、請求項1に記載の機能制御装置。
  15. 前記電子機器は、ヘッドマウントディスプレイであり、
    前記判定部は、前記第1の位置と前記第2の位置との関係に基づいて前記ユーザが所定の年齢以上であると推定される場合に、前記ヘッドマウントディスプレイのコンテンツ再生機能を有効にすることを決定する、請求項1に記載の機能制御装置。
  16. 前記再生部は、前記ヘッドマウントディスプレイのヘッドフォンを介して前記音データを再生する、請求項15に記載の機能制御装置。
  17. 前記ヘッドマウントディスプレイが前記ユーザによって装着されたことを検出する装着検出部をさらに備え、
    前記再生部は、前記装着されたことが検出された場合に前記音データを再生する、請求項15に記載の機能制御装置。
  18. 頭部伝達関数を用いてユーザの周りの空間の第1の位置にある音源を仮想的に定位させた音データを前記ユーザに向けて再生する機能と、
    前記再生された音データを聴取した前記ユーザが、前記音源の位置として推定した前記ユーザの周りの空間の第2の位置を示す情報を取得する機能と、
    前記第1の位置と前記第2の位置との関係に基づいて電子機器の少なくとも一部の機能を有効にするか否かを判定する機能と
    をコンピュータに実現させるためのプログラム。
JP2012268048A 2012-12-07 2012-12-07 機能制御装置およびプログラム Active JP5954147B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012268048A JP5954147B2 (ja) 2012-12-07 2012-12-07 機能制御装置およびプログラム
US14/648,667 US9661439B2 (en) 2012-12-07 2013-08-28 Function control apparatus and program
EP13771219.6A EP2929428B1 (en) 2012-12-07 2013-08-28 Function control apparatus and program
PCT/JP2013/005088 WO2014087558A1 (en) 2012-12-07 2013-08-28 Function control apparatus and program
CN201310628111.2A CN103869968B (zh) 2012-12-07 2013-11-29 功能控制设备和程序
US15/491,444 US9936326B2 (en) 2012-12-07 2017-04-19 Function control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012268048A JP5954147B2 (ja) 2012-12-07 2012-12-07 機能制御装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2014116722A true JP2014116722A (ja) 2014-06-26
JP2014116722A5 JP2014116722A5 (ja) 2015-04-09
JP5954147B2 JP5954147B2 (ja) 2016-07-20

Family

ID=49293804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012268048A Active JP5954147B2 (ja) 2012-12-07 2012-12-07 機能制御装置およびプログラム

Country Status (5)

Country Link
US (2) US9661439B2 (ja)
EP (1) EP2929428B1 (ja)
JP (1) JP5954147B2 (ja)
CN (1) CN103869968B (ja)
WO (1) WO2014087558A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017507A (ja) * 2015-06-30 2017-01-19 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
WO2017029793A1 (ja) * 2015-08-20 2017-02-23 株式会社Jvcケンウッド 頭外定位処理装置、及びフィルタ選択方法
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
WO2018186693A1 (ko) * 2017-04-05 2018-10-11 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
JP2019521440A (ja) * 2016-06-27 2019-07-25 ノキア テクノロジーズ オーユー 装置および関連する方法
WO2020031486A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2020036786A (ja) * 2018-09-05 2020-03-12 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法
WO2022163801A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015134658A1 (en) * 2014-03-06 2015-09-11 Dolby Laboratories Licensing Corporation Structural modeling of the head related impulse response
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN104166518A (zh) * 2014-08-15 2014-11-26 北京数字天域科技股份有限公司 一种屏幕解锁的方法和装置
CN104267810B (zh) * 2014-09-22 2017-09-01 广东欧珀移动通信有限公司 一种控制面板的锁定方法及装置
CN107211230A (zh) * 2014-12-03 2017-09-26 株式会社索思未来 声音再现系统
US10595147B2 (en) 2014-12-23 2020-03-17 Ray Latypov Method of providing to user 3D sound in virtual environment
GB2535990A (en) * 2015-02-26 2016-09-07 Univ Antwerpen Computer program and method of determining a personalized head-related transfer function and interaural time difference function
CN105184646B (zh) * 2015-10-20 2019-04-30 中国民生银行股份有限公司 自助银行信息推送方法及装置
KR20170067058A (ko) * 2015-12-07 2017-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
CN105847974A (zh) * 2016-03-30 2016-08-10 乐视控股(北京)有限公司 一种解锁方法、装置及智能电视
US11176727B2 (en) 2016-05-27 2021-11-16 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method and apparatus for acquiring a spatial map of auditory perception of a subject
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法
US10698477B2 (en) * 2016-09-01 2020-06-30 Motorola Mobility Llc Employing headset motion data to determine audio selection preferences
US9848273B1 (en) * 2016-10-21 2017-12-19 Starkey Laboratories, Inc. Head related transfer function individualization for hearing device
EP3343348A1 (en) * 2016-12-30 2018-07-04 Nokia Technologies Oy An apparatus and associated methods
WO2019002909A1 (en) * 2017-06-26 2019-01-03 Latypov Ray METHOD FOR PROVIDING AN INTERACTIVE MUSICAL COMPOSITION TO A USER
US10469974B2 (en) * 2018-03-15 2019-11-05 Philip Scott Lyren Method to expedite playing of binaural sound to a listener
US10650118B2 (en) * 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Authentication-based presentation of virtual content
CN109145566A (zh) * 2018-09-08 2019-01-04 太若科技(北京)有限公司 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜
US10425762B1 (en) * 2018-10-19 2019-09-24 Facebook Technologies, Llc Head-related impulse responses for area sound sources located in the near field
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11625222B2 (en) * 2019-05-07 2023-04-11 Apple Inc. Augmenting control sound with spatial audio cues
CN110673819A (zh) * 2019-09-18 2020-01-10 联想(北京)有限公司 信息处理方法及电子设备
CN111372167B (zh) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
JP2022153776A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 装着型画像表示装置
FR3123467A1 (fr) * 2021-05-31 2022-12-02 Orange Procédé et dispositif de caractérisation d’un utilisateur, et dispositif de fourniture de services l’utilisant
CN114513738A (zh) * 2022-02-21 2022-05-17 北京华建云鼎科技股份公司 一种用于模拟虚拟驾驶环境的数据处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181600A (ja) * 1992-12-11 1994-06-28 Victor Co Of Japan Ltd 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
JP2008113118A (ja) * 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
JP2009543479A (ja) * 2006-07-07 2009-12-03 ハリス コーポレイション バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム
JP2011512694A (ja) * 2007-12-17 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 通信システムの少なくとも2人のユーザ間の通信を制御する方法
US20110153044A1 (en) * 2009-12-22 2011-06-23 Apple Inc. Directional audio interface for portable media device
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002143130A (ja) * 2000-11-08 2002-05-21 Matsushita Electric Ind Co Ltd 個人認証方法、および個人認証装置、およびこの装置を搭載した情報通信装置、および個人認証システム
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2007031905A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Method of and device for generating and processing parameters representing hrtfs
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
CN101483797B (zh) * 2008-01-07 2010-12-08 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
JP5482023B2 (ja) 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181600A (ja) * 1992-12-11 1994-06-28 Victor Co Of Japan Ltd 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
JP2009543479A (ja) * 2006-07-07 2009-12-03 ハリス コーポレイション バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム
JP2008113118A (ja) * 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
JP2011512694A (ja) * 2007-12-17 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 通信システムの少なくとも2人のユーザ間の通信を制御する方法
US20110153044A1 (en) * 2009-12-22 2011-06-23 Apple Inc. Directional audio interface for portable media device
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894226B2 (en) 2015-06-30 2018-02-13 Kyocera Document Solutions Inc. Information processing apparatus, setting condition specification method for image forming apparatus
JP2017017507A (ja) * 2015-06-30 2017-01-19 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
WO2017029793A1 (ja) * 2015-08-20 2017-02-23 株式会社Jvcケンウッド 頭外定位処理装置、及びフィルタ選択方法
US10412530B2 (en) 2015-08-20 2019-09-10 Jvckenwood Corporation Out-of-head localization processing apparatus and filter selection method
JP2019521440A (ja) * 2016-06-27 2019-07-25 ノキア テクノロジーズ オーユー 装置および関連する方法
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
WO2018186693A1 (ko) * 2017-04-05 2018-10-11 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
KR101916380B1 (ko) * 2017-04-05 2019-01-30 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
KR20180113025A (ko) * 2017-04-05 2018-10-15 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
US10964115B2 (en) 2017-04-05 2021-03-30 Sqand Co. Ltd. Sound reproduction apparatus for reproducing virtual speaker based on image information
WO2020031486A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11785411B2 (en) 2018-08-08 2023-10-10 Sony Corporation Information processing apparatus, information processing method, and information processing system
JP2020036786A (ja) * 2018-09-05 2020-03-12 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP7167562B2 (ja) 2018-09-05 2022-11-09 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法
WO2022163801A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP5954147B2 (ja) 2016-07-20
US20150304790A1 (en) 2015-10-22
US20170289728A1 (en) 2017-10-05
EP2929428A1 (en) 2015-10-14
US9661439B2 (en) 2017-05-23
WO2014087558A1 (en) 2014-06-12
US9936326B2 (en) 2018-04-03
CN103869968A (zh) 2014-06-18
EP2929428B1 (en) 2018-03-21
CN103869968B (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
JP5954147B2 (ja) 機能制御装置およびプログラム
US11805347B2 (en) Display system having an audio output device
JP5704013B2 (ja) ユーザ認証方法、ユーザ認証装置、およびプログラム
US8787584B2 (en) Audio metrics for head-related transfer function (HRTF) selection or adaptation
JP2022531067A (ja) 多数のヘッドセット間の音声空間化および強化
US11711665B2 (en) Switching binaural sound from head movements
CN106067833B (zh) 移动终端及其控制方法
US20210081047A1 (en) Head-Mounted Display With Haptic Output
US20210121776A1 (en) Information processing apparatus, information processing method, and information processing apparatus-readable recording medium
US11416075B1 (en) Wearable device and user input system for computing devices and artificial reality environments
CN108882112B (zh) 音频播放控制方法、装置、存储介质及终端设备
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
Zhong et al. Metaverse CAN: Embracing Continuous, Active, and Non-intrusive Biometric Authentication
EP4330796A1 (en) Handheld controller with thumb pressure sensing
CN115150716A (zh) 基于设备位置确定音频滤波器的音频系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5954147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250