JP4780185B2

JP4780185B2 - 音楽再生システムおよび情報処理方法

Info

Publication number: JP4780185B2
Application number: JP2008309270A
Authority: JP
Inventors: 誉今
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-12-04
Filing date: 2008-12-04
Publication date: 2011-09-28
Anticipated expiration: 2028-12-04
Also published as: EP2194728B1; CN101765035A; US8315406B2; JP2010136035A; EP2194728A2; EP2194728A3; CN101765035B; US20100142720A1

Description

この発明は、音楽再生装置およびこれに接続されるイヤホン装置またはヘッドホン装置であるトランデューサ装置を備える音楽再生システム、およびこの音楽再生システムの音楽再生装置での情報処理方法に関する。

移動中などに、携帯型の音楽プレーヤなどの音楽再生装置およびイヤホンやヘッドホンによって、音楽を聴くことが多くなっている。

また、イヤホンやヘッドホンなどによって音楽を聴く場合に、リスナーの体動状態や生体状態を検出し、その検出結果に応じて音楽再生に係る情報処理を行うことが考えられている。

特許文献１（特開平９−７００９４号公報）および特許文献２（特開平１１−２０５８９２号公報）には、リスナー頭部の回転を検出し、その検出結果に応じて音像定位処理を制御して、リスナー頭外の定められた位置に音像を定位させることが示されている。

特許文献３（特開２００６−１１９１７８号公報）および特許文献４（特開２００６−１４６９８０号公報）には、リスナーの脈拍や発汗などの生体状態に応じた楽曲をリスナーに推薦することなどが示されている。

特許文献５（特開２００７−２４４４９５号公報）には、加速度センサによってユーザーの鉛直方向の体動を、ノイズの影響を受けることなく正確に検出する方法が示されている。

特許文献６（特開２００５−７２８６７号公報）には、イヤホンにタッチセンサを取り付け、そのタッチセンサの検出出力に基づいて電源などをオンオフ制御することが示されている。

しかし、例えばイヤホンに、ジャイロセンサや加速度センサなどの体動センサ、または脈拍センサや発汗センサなどの生体センサを取り付けて、音楽再生に係る情報処理を行う場合、次のような問題がある。

リスナー頭部の回転を検出し、音像定位処理を行う場合、イヤホンの取り付け時や付け直し時にはセンサ出力が誤ったものとなるため、イヤホン装着完了後、どこに音像が定位するか分からなくなり、または音像が定位する位置が大きくずれてしまう。

例えば、脈拍センサの出力に応じた楽曲を選択し、推薦楽曲としてリスナーに呈示する場合、イヤホンを付け直した際、脈拍が瞬間的に速く検出されるなどによって、リスナーの実際の気分などに合致しない楽曲が選択されてしまう。

例えば、加速度センサによって走行テンポを検出し、走行テンポに応じて再生中の楽曲のテンポを制御する場合、イヤホンを付け直している間に走行テンポとして誤ったテンポが検出されてしまい、再生中の楽曲のテンポが走行テンポに合わなくなってしまう。

そのため、音楽再生装置にリセット手段を設け、リスナーがイヤホンを取り付けた直後や付け直した直後にリセット操作をすることによって、音像定位などの処理の設定やパラメータがリセットされるようにしている。

図１５に、この場合にリスナーが最初にイヤホンを取り付ける際にリスナーが行う一連の操作を示す。

最初にイヤホンを取り付ける際には、リスナーは、まずステップ２１１で示すように、イヤホンを持ち上げ、次にステップ２１２で示すように、イヤホンを耳に取り付ける。

次に、ステップ２１３で示すように、装着（取り付け）完了によってイヤホンから手を離し、次にステップ２１４で示すように、音像定位などの処理の設定やパラメータをリセットする。

図１６に、このように一度装着したイヤホンを付け直す際にリスナーが行う一連の操作を示す。

一度装着したイヤホンを付け直す際には、リスナーは、まずステップ２２１で示すように、イヤホンを付け直す。

次に、ステップ２２２で示すように、装着（付け直し）完了によってイヤホンから手を離し、次にステップ２２３で示すように、音像定位などの処理の設定やパラメータをリセットする。

上に挙げた先行技術文献は、以下の通りである。
特開平９−７００９４号公報特開平１１−２０５８９２号公報特開２００６−１１９１７８号公報特開２００６−１４６９８０号公報特開２００７−２４４４９５号公報特開２００５−７２８６７号公報

しかしながら、イヤホンを取り付け、付け直すたびに、音像定位などの処理の設定やパラメータをリセットするのは、リスナーにとって煩わしい。

しかも、例えば、音像定位の場合、リスナーがリセット操作をしようとして頭を動かしてしまうと、正しい設定やパラメータでなくなってしまうおそれがある。

そこで、この発明は、リセット操作が不要になるとともに、リスナーがリセット操作を行わなくても、イヤホンまたはヘッドホンの取り付け直後または付け直し直後の装着完了時点で音像定位などの処理が正しく実行されるようにしたものである。

この発明の音楽再生システムは、
音楽再生装置と、この音楽再生装置に接続されるトランデューサ装置とを備え、
上記トランデューサ装置は、
音声信号を音響に変換するトランデューサと、
当該トランデューサ装置を装着したリスナーの体動状態または生体状態を検出するセンサである主センサと、
リスナーの体の一部との接触状態に応じて出力値が第１値と第２値との間で変化する装着状態検知手段とを有し、
上記音楽再生装置は、
上記主センサの出力信号に応じて、音楽再生に係る情報処理を実行する情報処理部と、
上記装着状態検知手段の出力値から、上記トランデューサ装置がリスナーに取り付けられる途中または付け直される途中の状態である装着途中状態であるか、上記トランデューサ装置がリスナーに装着された後の状態である装着完了状態であるか、を区別して判断し、上記装着途中状態から上記装着完了状態に変化したと判断したとき、上記音楽再生に係る情報処理の内容を所定の基準状態へと初期化する検出制御部と
を有するものである。

上記の構成の、この発明の音楽再生システムでは、装着途中状態と判断された期間では、体動センサまたは生体センサである主センサの出力信号が無効化または抑制され、装着完了状態と判断されたとき、その無効化または抑制が解除される。

したがって、イヤホンまたはヘッドホンの装着完了状態では、音像定位や楽曲選択などにつき、イヤホンまたはヘッドホンの取り付け時または付け直し時の誤ったセンサ出力に基づく誤った処理が実行されることがない。

以上のように、この発明によれば、リセット操作が不要になるとともに、リスナーがリセット操作を行わなくても、イヤホンまたはヘッドホンの取り付け直後または付け直し直後の装着完了時点で音像定位などの処理が正しく実行されるようになる。

［１．システム構成：図１〜図４］
（１−１．システムの外観構成：図１）
図１に、この発明の音楽再生システムの一例の外観構成を示す。

この例の音楽再生システム１００は、音楽再生装置１０およびイヤホン装置５０によって構成される。

音楽再生装置１０は、この例では、携帯型の音楽プレーヤーとして、外観的には、液晶ディスプレイや有機ＥＬディスプレイなどの表示部１１、および操作キーや操作ダイヤルなどからなる操作部１２を備える。

イヤホン装置５０は、左イヤホン部６０および右イヤホン部７０を備え、コード５５の一端側の分岐されたコード部分５６および５７が左イヤホン部６０および右イヤホン部７０に接続される。

図１では省略しているが、コード５５の他端側にはプラグが取り付けられ、そのプラグが音楽再生装置１０に設けられたジャックに挿入されることによって、イヤホン装置５０が音楽再生装置１０に有線接続される。

（１−２．イヤホン装置：図２）
図２に、左イヤホン部６０および右イヤホン部７０の詳細を示す。

左イヤホン部６０は、インナーフレーム６１の一端側に、トランデューサ６２およびグリル６３が取り付けられ、他端側に、コードブッシング６４が取り付けられる。トランデューサ６２は、音声信号を音響に変換するものである。

左イヤホン部６０の耳から出る部分には、体動センサの一種として機能するジャイロセンサ６５および加速度センサ６６、およびタッチセンサ付きハウジング６８が取り付けられる。

左イヤホン部６０の耳の中に入る部分には、生体センサの一種としての脈拍センサ５１および発汗センサ５２、およびイヤピース６９が取り付けられる。

右イヤホン部７０は、左イヤホン部６０と同様に、インナーフレーム７１の一端側に、トランデューサ７２およびグリル７３が取り付けられ、他端側に、コードブッシング７４が取り付けられる。

右イヤホン部７０の耳から出る部分には、タッチセンサ付きハウジング７８が取り付けられる。右イヤホン部７０の耳の中に入る部分には、イヤピース７９が取り付けられる。

（１−３．システムの接続構成：図３）
図３に、音楽再生システム１００の接続構成を示す。

音楽再生装置１０は、バス１４に、上記の表示部１１および操作部１２のほかに、ＣＰＵ１６、ＲＯＭ１７、ＲＡＭ１８および不揮発メモリ１９が接続される。

ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ，
ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ，
ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ，である。

ＲＯＭ１７には、ＣＰＵ１６が実行すべき各種のプログラムや必要な固定データが、あらかじめ書き込まれる。ＲＡＭ１８は、ＣＰＵ１６のワークエリアなどとして機能するものである。

不揮発メモリ１９は、音楽再生装置１０に内蔵された、または音楽再生装置１０に装着されるもので、これには、楽曲データや画像データなどが記録される。

さらに、バス１４には、ＤＡＣ２１，３１、音声増幅回路２２，３２、ＡＤＣ２３，２４，２５，２６およびＧＰＩＯインタフェース２７，３７が接続される。

ＤＡＣ：ＤｉｇｉｔａｌｔｏＡｎａｌｏｇＣｏｎｖｅｒｔｅｒ，
ＡＤＣ：ＡｎａｌｏｇｔｏＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ，
ＧＰＩＯ：ＧｅｎｅｒａｌＰｕｒｐｏｓｅＩｎｐｕｔ/Ｏｕｔｐｕｔ，である。

楽曲データの左右のデジタル音声データは、ＤＡＣ２１および３１でアナログ音声信号に変換される。その変換後の左右の音声信号は、音声増幅回路２２および３２で増幅されて、イヤホン装置５０のトランデューサ６２および７２に供給される。

体動センサとして機能するジャイロセンサ６５および加速度センサ６６の出力信号は、ＡＤＣ２５および２６でデジタルデータに変換されて、バス１４に取り込まれる。

生体センサとしての脈拍センサ５１および発汗センサ５２の出力信号は、ＡＤＣ２３および２４でデジタルデータに変換されて、バス１４に取り込まれる。

図２に示したタッチセンサ付きハウジング６８および７８に取り付けられたタッチセンサ６７および７７の出力電圧は、ＧＰＩＯインタフェース２７および３７でデジタルデータに変換されて、バス１４に取り込まれる。

（１−４．システムの機能構成：図４）
音楽再生装置１０は、機能的には、図４に示すように情報処理部４１および検出制御部４３を有するものとして構成される。

情報処理部４１は、ハードウェア的には、図３に示したＣＰＵ１６、ＲＯＭ１７、ＲＡＭ１８およびＡＤＣ２３，２４，２５，２６によって構成される。

検出制御部４３は、ハードウェア的には、ＣＰＵ１６、ＲＯＭ１７、ＲＡＭ１８およびＧＰＩＯインタフェース２７，３７によって構成される。

情報処理部４１は、後述のように、主センサ群４５を構成するジャイロセンサ６５、加速度センサ６６、脈拍センサ５１または発汗センサ５２の出力信号に応じて、音像定位、楽曲の選択、楽曲再生状態の制御など、音楽再生に係る情報処理を実行する。

例えば、音像定位については、再生する楽曲のデータが、不揮発メモリ１９から読み出されて情報処理部４１に取り込まれ、後述のようにジャイロセンサ６５の出力信号に応じて音像定位処理が実行される。

なお、音楽再生と関連して、または無関係に、動画や静止画、または操作用画面や呈示用画面などの画面を、表示部１１に表示する場合、その画像または画面に係る情報処理も、情報処理部４１で実行される。

検出制御部４３は、後述のように、装着状態検知手段４７を構成するタッチセンサ６７および７７の出力電圧から、イヤホン装置５０が、装着途中状態にあるか、装着完了状態にあるかを検出判断する。

さらに、検出制御部４３は、その検出判断結果に応じて、後述のように情報処理部４１での音楽再生に係る情報処理を制御する。

［２．イヤホン装着状態の検出：図５］
音楽再生装置１０の検出制御部４３では、以下のように、イヤホン装置５０が、装着途中状態にあるか、装着完了状態にあるかが検出判断される。

図５に、タッチセンサ６７の出力電圧ＶＬおよびタッチセンサ７７の出力電圧ＶＲの時間的変化の一例を示す。

タッチセンサ６７の出力電圧ＶＬは、リスナーがタッチセンサ６７に全く手を触れていないときには、０（接地電位）であり、リスナーがタッチセンサ６７に手を触れると、その接触圧に応じて０と最高値Ｖｈとの間で変化する。

したがって、リスナーが左イヤホン部６０を左耳に取り付け、または左耳に装着されている左イヤホン部６０を付け直すときには、出力電圧ＶＬが０から最高値Ｖｈに立ち上がった後、最高値Ｖｈから０に立ち下がるようになる。

右イヤホン部７０に取り付けられたタッチセンサ７７の出力電圧ＶＲについても、同じである。

時点ｔ０は、音楽再生装置１０の電源がオンとされ、音楽再生装置１０が動作開始状態にあるが、左イヤホン部６０も、右イヤホン部７０も、装着されていない状態である。

図５は、この状態から、リスナーが左イヤホン部６０および右イヤホン部７０を耳に取り付け、さらに、例えば、その状態で楽曲を選択し、聴いている途中で、左イヤホン部６０および右イヤホン部７０を付け直した場合である。

さらに、図５は、最初の取り付け時には、タッチセンサ６７の出力電圧ＶＬがタッチセンサ７７の出力電圧ＶＲに先立って変化し、付け直し時には逆に、タッチセンサ７７の出力電圧ＶＲがタッチセンサ６７の出力電圧ＶＬに先立って変化した場合である。

この場合、音楽再生装置１０の検出制御部４３では、左イヤホン部６０の装着状態を示す信号ＳＬ、および右イヤホン部７０の装着状態を示す信号ＳＲとして、図５に示すような信号が得られる。

図５中の２つの閾値Ｖｔｈ１，Ｖｔｈ２中の閾値Ｖｔｈ１は、０に近い方であり、閾値Ｖｔｈ２は、最高値Ｖｈに近い方である。

また、タッチセンサの出力電圧が０から最高値Ｖｈに向う方向を立ち上がり方向、逆に最高値Ｖｈから０に向う方向を立ち下がり方向とする。

最初の取り付け時、信号ＳＬは、時点ｔ１で出力電圧ＶＬが立ち上がり方向に閾値Ｖｔｈ２より高くなったとき、低レベルから高レベルに反転し、時点ｔ３で出力電圧ＶＬが立ち下がり方向に閾値Ｖｔｈ１より低くなったとき、高レベルから低レベルに反転する。

同様に、信号ＳＲは、時点ｔ２で出力電圧ＶＲが立ち上がり方向に閾値Ｖｔｈ２より高くなったとき、低レベルから高レベルに反転し、時点ｔ４で出力電圧ＶＲが立ち下がり方向に閾値Ｖｔｈ１より低くなったとき、高レベルから低レベルに反転する。

付け直し時には、信号ＳＲは、時点ｔ１１で出力電圧ＶＲが立ち上がり方向に閾値Ｖｔｈ２より高くなったとき、低レベルから高レベルに反転し、時点ｔ１３で出力電圧ＶＲが立ち下がり方向に閾値Ｖｔｈ１より低くなったとき、高レベルから低レベルに反転する。

同様に、信号ＳＬは、時点ｔ１２で出力電圧ＶＬが立ち上がり方向に閾値Ｖｔｈ２より高くなったとき、低レベルから高レベルに反転し、時点ｔ１４で出力電圧ＶＬが立ち下がり方向に閾値Ｖｔｈ１より低くなったとき、高レベルから低レベルに反転する。

音楽再生装置１０の検出制御部４３では、信号ＳＬが高レベルとなる期間を、左イヤホン部６０がリスナーの耳に取り付けられる途中または付け直される途中の状態と判断する。

同様に、信号ＳＲが高レベルとなる期間を、右イヤホン部７０がリスナーの耳に取り付けられる途中または付け直される途中の状態と判断する。

信号ＳＬが低レベルとなる期間は、音楽再生装置１０の動作開始直後の未だ左イヤホン部６０が全く装着されていない状態、または左イヤホン部６０の装着が完了している状態と判断される。

同様に、信号ＳＲが低レベルとなる期間は、音楽再生装置１０の動作開始直後の未だ右イヤホン部７０が全く装着されていない状態、または右イヤホン部７０の装着が完了している状態と判断される。

このように装着状態の検出に高低２つの閾値を用いることによって、タッチセンサの出力電圧が或る閾値を超えたか否かによって装着途中状態か否かを判別する場合に比べて、装着途中状態か否かを確実かつ安定的に判別することができる。

さらに、この場合、イヤホン装置５０の装着状態を示す信号として、図示するような信号ＳＥが検出される。

信号ＳＥは、信号ＳＬ，ＳＲ中の先に高レベルに反転する方の信号の立ち上がりで高レベルに反転し、信号ＳＬ，ＳＲ中の遅れて低レベルに反転する方の信号の立ち下がりで低レベルに反転する信号である。

最終的に、この信号ＳＥから、イヤホン装置５０が、装着途中状態にあるか、装着完了状態にあるかが判断される。

図５の場合、信号ＳＥは、時点ｔ１から時点ｔ４までの期間、および時点ｔ１１から時点ｔ１４までの期間で、高レベルとなり、最終的に、時点ｔ１から時点ｔ４までの期間、および時点ｔ１１から時点ｔ１４までの期間が、装着途中状態と判断される。

これによって、図５のように左イヤホン部６０の取り付けまたは付け直しのタイミングと右イヤホン部７０の取り付けまたは付け直しのタイミングとがずれても、イヤホン装置５０の装着状態を適切に検出することができる。

例えば、左イヤホン部６０のみを付け直して、右イヤホン部７０は付け直さない場合、左イヤホン部６０の付け直し時および付け直し後には、タッチセンサ７７の出力電圧ＶＲが０となり、信号ＳＲが低レベルとなって、信号ＳＬがそのまま信号ＳＥとなる。

なお、図５では便宜上、アナログ電圧または二値信号として示しているが、上記の電圧および信号は、デジタルデータとして処理される。

［３．音楽再生に係る情報処理およびその制御：図６〜図１４］
音楽再生装置１０の検出制御部４３は、さらに、上記の検出判断結果に応じて、以下のように情報処理部４１での音楽再生に係る情報処理を制御する。

この場合の音楽再生に係る情報処理は、後述のように、音像定位、楽曲の選択、再生中の楽曲の再生状態の制御などである。

（３−１．装着状態の検出判断結果に応じた処理：図６）
図６に、音楽再生装置１０のＣＰＵ１６が検出制御部４３または情報処理部４１として実行する、主センサに関連する一連の処理の一例を示す。

ＣＰＵ１６は、音楽再生装置１０の電源がオンにされることによって処理を開始して、まずステップ９１で、上記の信号ＳＥのサンプル値のデータを取り込む。

次に、ステップ９２で、その信号ＳＥのサンプル値のデータから、イヤホン装置５０が装着途中状態にあるか否かを判断する。

図５に示したように、信号ＳＥが高レベルであれば、装着途中状態にあり、信号ＳＥが低レベルであれば、装着完了状態、または動作開始直後の未だ装着途中状態にも至っていない状態にある。

ただし、図５の時点ｔ０から時点ｔ１までの期間のような、動作開始直後の未だ装着途中状態に至っていない状態も、最初の取り付け時の装着途中状態と判断する。

ステップ９２で、装着途中状態にあると判断したときには、ステップ９３に進んで、信号ＳＥの変化の履歴から、最初の取り付け時の装着途中状態にあるか、付け直し時の装着途中状態にあるか、を判断する。

ステップ９３で、最初の取り付け時の装着途中状態にあると判断したときには、ステップ１１０に進んで、最初の取り付け時の装着途中状態に対応した非定常処理を実行する。

ステップ９３で、付け直し時の装着途中状態にあると判断したときには、ステップ１３０に進んで、付け直し時の装着途中状態に対応した非定常処理を実行する。

ステップ９２で、装着途中状態ではなく、装着完了状態にあると判断したときには、ステップ９４に進んで、信号ＳＥの変化の履歴から、最初の取り付け後の装着完了状態にあるか、付け直し後の装着完了状態にあるか、を判断する。

ステップ９４で、最初の取り付け後の装着完了状態にあると判断したときには、ステップ１２０に進んで、最初の取り付け後の装着完了状態に対応した定常処理を実行する。

ステップ９４で、付け直し後の装着完了状態にあると判断したときには、ステップ１４０に進んで、付け直し後の装着完了状態に対応した定常処理を実行する。

ステップ１１０，１２０，１３０または１４０で処理を実行した後は、ステップ９５に進んで、一連の処理を終了するか否かを判断する。

リスナーの終了操作があったときや、音楽再生装置１０の電源がオフにされたときには、一連の処理を終了する。

一連の処理を終了しないときには、ステップ９１に戻って、信号ＳＥの次のサンプル値のデータを取り込み、ステップ９２以下の処理を実行する。

（３−２．音楽再生に係る各種処理：図７〜図１４）
＜３−２−１．音像定位：図７〜図１０＞
主センサに関連して音楽再生装置１０で実行される音楽再生に係る情報処理の具体例の第１は、音像定位である。

イヤホンによって音楽などの音声を聴く場合、スピーカ用の左右の音声信号がそのまま左右のイヤホンに供給されると、リスナーの頭の中に音像が定位し、不自然に感じられることがある。

そのため、リスナー頭外の定められた仮想音源位置に音像が定位するように音声信号を処理することが考えられている。

例えば、図７に示すように、リスナー１が或る方向に向いているとき、リスナー１の正面左の所定の位置９Ｌに左音声信号の音像が定位し、正面右の所定の位置９Ｒに右音声信号の音像が定位するように、左音声信号および右音声信号を処理する。

ＨＬＬｏは、このときの位置９Ｌからリスナー１の左耳３Ｌに至る伝達関数、ＨＬＲｏは、このときの位置９Ｌからリスナー１の右耳３Ｒに至る伝達関数である。

ＨＲＬｏは、このときの位置９Ｒからリスナー１の左耳３Ｌに至る伝達関数、ＨＲＲｏは、このときの位置９Ｒからリスナー１の右耳３Ｒに至る伝達関数である。

図７の状態を、リスナー１の向きの初期方位からの回転角θが０°の状態とする。

図８は、図７の状態に対してリスナー１が頭部を回転させることによって、回転角θが０°でなくなった状態であり、かつ、それにもかかわらず、同じ位置９Ｌに左音声信号の音像が定位し、同じ位置９Ｒに右音声信号の音像が定位する状態である。

ＨＬＬａは、このときの位置９Ｌからリスナー１の左耳３Ｌに至る伝達関数、ＨＬＲａは、このときの位置９Ｌからリスナー１の右耳３Ｒに至る伝達関数である。

ＨＲＬａは、このときの位置９Ｒからリスナー１の左耳３Ｌに至る伝達関数、ＨＲＲａは、このときの位置９Ｒからリスナー１の右耳３Ｒに至る伝達関数である。

図９に、以上のようにリスナー１の向きにかかわらずリスナー１の頭外の定められた仮想音源位置に音像を定位させる場合の、音楽再生装置１０の機能構成を示す。

左音声信号Ｌｏおよび右音声信号Ｒｏは、それぞれ、圧縮されているデータについては伸長した後のデジタル左音声データおよびデジタル右音声データである。

左音声信号Ｌｏは、デジタルフィルタ８１および８２に供給され、右音声信号Ｒｏは、デジタルフィルタ８３および８４に供給される。

デジタルフィルタ８１は、上記の位置９Ｌからリスナー１の左耳３Ｌに至る伝達関数ＨＬＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ８２は、上記の位置９Ｌからリスナー１の右耳３Ｒに至る伝達関数ＨＬＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ８３は、上記の位置９Ｒからリスナー１の左耳３Ｌに至る伝達関数ＨＲＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ８４は、上記の位置９Ｒからリスナー１の右耳３Ｒに至る伝達関数ＨＲＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

加算回路８５で、デジタルフィルタ８１の出力の音声信号Ｌａと、デジタルフィルタ８３の出力の音声信号Ｒｂとが加算される。加算回路８６で、デジタルフィルタ８２の出力の音声信号Ｌｂとデジタルフィルタ８４の出力の音声信号Ｒａとが加算される。

加算回路８５の出力の音声信号Ｌａｂは、上記のＤＡＣ２１でアナログ音声信号に変換される。その変換後の音声信号が、左音声信号として、音声増幅回路２２で増幅されて、トランデューサ６２に供給される。

加算回路８６の出力の音声信号Ｒａｂは、上記のＤＡＣ３１でアナログ音声信号に変換される。その変換後の音声信号が、右音声信号として、音声増幅回路３２で増幅されて、トランデューサ７２に供給される。

一方、ジャイロセンサ６５の出力信号は、上記のＡＤＣ２５で、角速度を示すデジタルデータに変換される。

さらに、演算部８７で、その角速度が積分されて、リスナー１の頭部の回転角度が検出され、リスナー１の向きの初期方位からの回転角θが更新される。

上記の伝達関数ＨＬＬ，ＨＬＲ，ＨＲＬおよびＨＲＲが、この更新後の回転角θに応じた伝達関数となるように、更新後の回転角θに応じて、デジタルフィルタ８１，８２，８３および８４のフィルタ係数が設定される。

以上の音像定位処理それ自体は、公知である。

この発明の一例では、以上の音像定位を行う場合、図５および図６に示した最初の取り付け時および付け直し時の装着途中状態では、ステップ１１０およびステップ１３０の非定常処理として、ジャイロセンサ６５の出力信号を無効化する。

具体的に、この場合の非定常処理としては、図１０（Ａ）に示すように、ステップ１１１で、ジャイロセンサ６５の出力信号のサンプリングを停止する。

すなわち、装着途中状態では、そのときのジャイロセンサ６５の出力信号によって回転角θを更新することなく、直前の装着完了状態の最後の時点での音像定位に係る処理パラメータのまま、音像定位処理を実行する。

ただし、最初の取り付け時の装着途中状態では、直前の装着完了状態が存在しないため、音像定位処理を実行しない。

再生される楽曲は、リスナーの操作などに基づいて、音像定位の処理ルーチンとは別の処理ルーチンで選択される。

一方、最初の取り付け後および付け直し後の装着完了状態では、図６のステップ１２０およびステップ１４０の定常処理として、上記のようにジャイロセンサ６５の出力信号によって回転角θを更新しながら、音像定位処理を実行する。

図１０（Ｂ）に、装着完了状態で音楽再生装置１０のＣＰＵ１６が実行する音像定位に係る一連の処理の一例を示す。

ＣＰＵ１６は、図５の時点ｔ４や時点ｔ１４のように装着途中状態から装着完了状態に変化したことを検出したら、まずステップ１２１で、音像定位処理をリセットする。すなわち、上記の回転角θを０°として、そのときのリスナー１の向きを初期方位とする。

次に、ステップ１２２で、図３に示したＡＤＣ２５において、ジャイロセンサ６５の出力信号をサンプリングし、デジタルデータに変換する。

次に、ステップ１２３で、その変換後のジャイロセンサ６５の出力データを取り込み、さらにステップ１２４で、演算部８７において、上記のように回転角θを更新する。

次に、ステップ１２５で、その更新後の回転角θに応じた音像定位処理を実行し、さらにステップ１２６で、定常処理を続行するか否かを判断する。

定常処理を続行するときには、ステップ１２６からステップ１２２に戻って、ステップ１２２〜１２５の処理を繰り返し実行する。

装着完了状態から装着途中状態に変化したことが検出されたときや、リスナーの終了操作があったときには、以上の処理を終了する。

＜３−２−２．楽曲の選択：図１１〜図１３＞
主センサに関連して音楽再生装置１０で実行される音楽再生に係る情報処理の具体例の第２は、楽曲の選択および選択された楽曲の呈示である。

図１〜図４の例の音楽再生システム１００では、この場合の主センサとして、脈拍センサ５１、発汗センサ５２または加速度センサ６６を用いる。

脈拍センサ５１または発汗センサ５２を用いる場合、例えば、そのときのリスナーの脈拍数または発汗量から、そのときのリスナーの気分を推定し、そのときのリスナーの気分に合ったジャンルやカテゴリーの楽曲を選択して、リスナーに呈示する。

脈拍センサ５１と発汗センサ５２の両方を用い、両者の出力信号から、そのときのリスナーの気分を推定することもできる。

加速度センサ６６を用いる場合、例えば、その出力信号から、そのときのリスナーの移動速度を検出し、そのときのリスナーの移動速度に合ったテンポの楽曲を選択して、リスナーに呈示する。

そのために、不揮発メモリ１９に記録される楽曲データには、当該楽曲のジャンル、カテゴリーまたはテンポなどを示す情報が楽曲付属情報として付加される。

この場合も、図５および図６に示した最初の取り付け時および付け直し時の装着途中状態では、ステップ１１０およびステップ１３０の非定常処理として、主センサの出力信号を無効化する。

具体的に、この場合の非定常処理としては、図１１に示すように、まずステップ１５１で、装着完了フラグをオフにし、次にステップ１５２で、上記の主センサの出力信号のサンプリングを停止する。

すなわち、装着途中状態では、主センサの出力信号に基づく楽曲の選択を停止し、例えば、後述のように直前の装着完了状態の期間で選択された楽曲を再生する。

ただし、最初の取り付け時の装着途中状態では、直前の装着完了状態が存在しないため、楽曲を再生しない。

一方、最初の取り付け後および付け直し後の装着完了状態では、図６のステップ１２０およびステップ１４０の定常処理として、楽曲選択に係る処理を実行する。

図１２および図１３に、装着完了状態で音楽再生装置１０のＣＰＵ１６が実行する楽曲選択に係る一連の処理の一例を示す。

ＣＰＵ１６は、図５の時点ｔ４や時点ｔ１４のように装着途中状態から装着完了状態に変化したことを検出したら、まずステップ１６１で、装着完了フラグをオンにし、次にステップ１６２で、再生中の楽曲が存在するか否かを判断する。

時点ｔ４のように最初の取り付け後の装着完了状態になった時点では、以前の装着完了状態が存在せず、以前の装着完了状態で選択再生されて当該の時点でも再生中の楽曲は存在しない。

これに対して、時点ｔ１４のように付け直し後の装着完了状態になった時点では、以前の装着完了状態で選択再生された楽曲が直前の装着途中状態を経て当該の時点でも再生されていることがある。

また、以前の装着完了状態で或る楽曲が選択再生されても、直前の装着途中状態で当該の楽曲の再生が終了したために、当該の時点では再生中の楽曲が存在しないこともある。

ステップ１６２で再生中の楽曲が存在すると判断したときには、ステップ１６３で、当該楽曲の再生を継続し、さらにステップ１６４で、当該楽曲の終わりに達したか否かを判断する。

当該楽曲の終わりに達していなければ、ステップ１６４からステップ１６５に進んで、定常処理を続行するか否かを判断する。

定常処理を続行するときには、ステップ１６５からステップ１６３に戻って、当該楽曲の再生を継続する。

ステップ１６４で当該楽曲の終わりに達したと判断したとき、またはステップ１６２で再生中の楽曲は存在しないと判断したときには、ステップ１７１に進む。

ステップ１７１では、図３に示したＡＤＣ２３，２４または２６において、主センサである脈拍センサ５１、発汗センサ５２または加速度センサ６６の出力信号をサンプリングし、デジタルデータに変換する。

次に、ステップ１７２で、その変換後の主センサの出力データを取り込み、さらにステップ１７３で、主センサの出力データを解析し、その解析結果に応じた楽曲を選択する。

次に、ステップ１７４で、その選択した楽曲を呈示する。この呈示は、選択した１つまたは複数の楽曲のタイトルなどを表示部１１に表示することによって行う。

選択された楽曲が複数の場合、リスナーは、そのうちの１つを選択することによって、その楽曲を再生させることができる。選択された楽曲が１つの場合には、リスナーの選択によることなく、その楽曲が再生される。

ＣＰＵ１６は、ステップ１７５で、その選択された楽曲を再生し、さらにステップ１７６で、ステップ１６４と同様に、当該楽曲の終わりに達したか否かを判断する。

当該楽曲の終わりに達していなければ、ステップ１７６からステップ１７７に進んで、定常処理を続行するか否かを判断する。

定常処理を続行するときには、ステップ１７７からステップ１７５に戻って、当該楽曲の再生を継続する。

ステップ１７６で当該楽曲の終わりに達したと判断したときには、ステップ１７８に進んで、定常処理を続行するか否かを判断する。

定常処理を続行するときには、ステップ１７８からステップ１７１に戻って、ステップ１７１〜１７６の処理を繰り返し実行する。

＜３−２−３．再生状態の制御：図１４＞
主センサに関連して音楽再生装置１０で実行される音楽再生に係る情報処理の具体例の第３は、再生中の楽曲のテンポなどの再生状態の制御である。

脈拍センサ５１または発汗センサ５２を用いる場合、例えば、リスナーの脈拍数または発汗量が多いときほど、テンポが高くなり、または逆にテンポが低くなるように、再生中の楽曲のテンポを一定範囲内で制御する。

加速度センサ６６を用いる場合、例えば、その出力信号から、リスナーの移動速度を検出し、リスナーの移動速度が速いときほど、テンポが高くなり、または逆にテンポが低くなるように、再生中の楽曲のテンポを一定範囲内で制御する。

具体的に、この場合の非定常処理としては、図１４（Ａ）に示すように、まずステップ１８１で、装着完了フラグをオフにし、次にステップ１８２で、上記の主センサの出力信号のサンプリングを停止する。

すなわち、装着途中状態では、主センサの出力信号に基づくテンポの制御を停止し、再生中の楽曲を本来のテンポで再生する。

再生される楽曲は、リスナーの操作などに基づいて、再生状態の制御の処理ルーチンとは別の処理ルーチンで選択される。

一方、最初の取り付け後および付け直し後の装着完了状態では、図６のステップ１２０およびステップ１４０の定常処理として、再生状態の制御に係る処理を実行する。

図１４（Ｂ）に、装着完了状態で音楽再生装置１０のＣＰＵ１６が実行する再生状態の制御に係る一連の処理の一例を示す。

ＣＰＵ１６は、図５の時点ｔ４や時点ｔ１４のように装着途中状態から装着完了状態に変化したことを検出したら、まずステップ１９１で、装着完了フラグをオンにする。

次に、ステップ１９２で、図３に示したＡＤＣ２３，２４または２６において、主センサである脈拍センサ５１、発汗センサ５２または加速度センサ６６の出力信号をサンプリングし、デジタルデータに変換する。

次に、ステップ１９３で、その変換後の主センサの出力データを取り込み、さらにステップ１９４で、主センサの出力データを解析し、その解析結果に応じて再生中の楽曲のテンポを制御する。

次に、ステップ１９５で、定常処理を続行するか否かを判断し、定常処理を続行するときには、ステップ１９２に戻って、ステップ１９２〜１９４の処理を繰り返し実行する。

なお、再生状態としては、テンポ以外に周波数特性（周波数成分）や音量などを制御することもできる。

＜３−２−４．その他＞
上記の各例は、装着途中状態では主センサの出力信号を無効化する場合であるが、主センサの出力信号を無効化しないで、主センサの出力信号を抑制した処理を実行するようにしてもよい。

例えば、装着完了状態では再生中の楽曲のテンポを制御する場合、装着途中状態では、装着完了状態のときより小さい変化率で、主センサの出力信号に応じて再生中の楽曲のテンポを変化させる。

［４．他の実施形態または例］
（４−１．主センサについて）
主センサとしては、音楽再生に係る情報処理に応じて、左右いずれかのイヤホン部に体動センサまたは生体センサを少なくとも１つ設ければよい。

（４−２．装着状態検知手段について）
タッチセンサ６７，７７の出力電圧は、図５に示した出力電圧ＶＬ，ＶＲと反転した、タッチセンサに全く手を触れていないときに最高値となるものでもよい。

また、装着状態検知手段として、タッチセンサの代わりに、スイッチ回路の出力電圧が第１値と第２値との間で変化するようなメカニカルスイッチを用いることもできる。

（４−３．音楽再生システムについて）
音楽再生装置は、音楽再生専用のものである必要はなく、音楽データ（楽曲データ）によって音楽（楽曲）を再生できるものであれば、携帯電話端末、モバイルコンピュータまたはパーソナルコンピュータなどでもよい。

リスナーが装着するトランデューサ装置は、イヤホン装置に限らず、ヘッドホン装置でもよい。

この場合も、ヘッドホン装置のリスナーの左耳部に当接される部分、およびリスナーの右耳部に当接される部分のそれぞれに、タッチセンサなどの装着状態検知手段を設けることができる。

音楽再生装置とトランデューサ装置との接続は、図１に示したような有線によるものに限らず、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線によるものでもよい。

この発明の音楽再生システムの一例の外観構成を示す図である。イヤホン装置の一例を示す図である。この発明の音楽再生システムの一例の接続構成を示す図である。この発明の音楽再生システムの一例の機能構成を示す図である。イヤホン装着状態の検出の説明に供する図である。装着途中状態および装着完了状態での処理を示す図である。音像定位の一例の説明に供する図である。音像定位の一例の説明に供する図である。音像定位処理の一例を示す図である。音像定位を行う場合の装着途中状態および装着完了状態での処理の一例を示す図である。楽曲を選択する場合の装着途中状態での処理の一例を示す図である。楽曲を選択する場合の装着完了状態での処理の一例の一部を示す図である。楽曲を選択する場合の装着完了状態での処理の一例の一部を示す図である。再生状態を制御する場合の装着途中状態および装着完了状態での処理の一例を示す図である。従来、リスナーがイヤホンを取り付ける際に行う一連の操作を示す図である。従来、リスナーがイヤホンを付け直す際に行う一連の操作を示す図である。

符号の説明

主要部については図中に記述したので、ここでは省略する。

Claims

音楽再生装置と、この音楽再生装置に接続されるトランデューサ装置とを備え、
上記トランデューサ装置は、
音声信号を音響に変換するトランデューサと、
当該トランデューサ装置を装着したリスナーの体動状態または生体状態を検出するセンサである主センサと、
リスナーの体の一部との接触状態に応じて出力値が第１値と第２値との間で変化する装着状態検知手段とを有し、
上記音楽再生装置は、
上記主センサの出力信号に応じて、音楽再生に係る情報処理を実行する情報処理部と、
上記装着状態検知手段の出力値から、上記トランデューサ装置がリスナーに取り付けられる途中または付け直される途中の状態である装着途中状態であるか、上記トランデューサ装置がリスナーに装着された後の状態である装着完了状態であるか、を区別して判断し、上記装着途中状態から上記装着完了状態に変化したと判断したとき、上記音楽再生に係る情報処理の内容を所定の基準状態へと初期化する検出制御部と
を有する音楽再生システム。
請求項１の音楽再生システムにおいて、
上記第１値と上記第２値との間の２つの閾値のうちの上記第１値に近い方を第１閾値、上記第２値に近い方を第２閾値、上記第１値から上記第２値に向う方向を第１方向、上記第２値から上記第１値に向う方向を第２方向と定義するとき、上記検出制御部は、上記装着状態検知手段の出力値が上記第１方向に上記第２閾値を超えた時点から、その後に上記第２方向に上記第１閾値を超える時点までを、装着途中状態と判断し、上記装着状態検知手段の出力値が上記第２方向に上記第１閾値を超えた時点から、その後に上記第１方向に上記第２閾値を超える時点までを、装着完了状態と判断する音楽再生システム。
請求項２の音楽再生システムにおいて、
上記トランデューサ装置は、左右のトランデューサ部を備え、
その左右のトランデューサ部のそれぞれは、上記トランデューサおよび上記装着状態検知手段を有し、
その左右のトランデューサ部の少なくとも一方は、上記主センサを有し、
上記検出制御部は、いずれか一方のトランデューサ部の装着状態検知手段の出力値が他方のトランデューサ部の装着状態検知手段の出力値に先立って上記第１方向に上記第２閾値を超えた時点から、いずれか一方のトランデューサ部の装着状態検知手段の出力値が他方のトランデューサ部の装着状態検知手段の出力値に遅れて上記第２方向に上記第１閾値を超える時点までを、装着途中状態と判断する音楽再生システム。
請求項１の音楽再生システムにおいて、
上記主センサは、ジャイロセンサであり、
上記情報処理部は、音楽再生に係る情報処理として、再生される楽曲のデータに対してリスナー頭外の定められた位置に音像を定位させる処理を実行する音楽再生システム。
請求項１の音楽再生システムにおいて、
上記情報処理部は、音楽再生に係る情報処理として、上記主センサの出力信号に応じた楽曲を選択して、推薦楽曲として呈示し、または再生する音楽再生システム。
請求項１の音楽再生システムにおいて、
上記情報処理部は、音楽再生に係る情報処理として、上記主センサの出力信号に応じて再生中の楽曲の再生状態を制御する音楽再生システム。
音楽再生装置と、この音楽再生装置に接続されるトランデューサ装置とを備え、上記トランデューサ装置は、音声信号を音響に変換するトランデューサと、当該トランデューサ装置を装着したリスナーの体動状態または生体状態を検出するセンサである主センサと、リスナーの体の一部との接触状態に応じて出力値が第１値と第２値との間で変化する装着状態検知手段とを有する音楽再生システムの、上記音楽再生装置が上記主センサの出力信号に応じて実行する音楽再生に係る情報処理として、
上記装着状態検知手段の出力値から、上記トランデューサ装置がリスナーに取り付けられる途中または付け直される途中の状態である装着途中状態であるか、上記トランデューサ装置がリスナーに装着された後の状態である装着完了状態であるか、を区別して判断する検出工程と、
上記検出工程において上記装着途中状態から上記装着完了状態に変化したと判断したとき、上記音楽再生に係る情報処理の内容を所定の基準状態へと初期化する初期化工程と
を備える情報処理方法。
コンピュータを有する音楽再生装置と、この音楽再生装置に接続されるトランデューサ装置とを備え、上記トランデューサ装置は、音声信号を音響に変換するトランデューサと、当該トランデューサ装置を装着したリスナーの体動状態または生体状態を検出するセンサである主センサと、リスナーの体の一部との接触状態に応じて出力値が第１値と第２値との間で変化する装着状態検知手段とを有する音楽再生システムの、上記コンピュータを、
上記主センサの出力信号に応じて、音楽再生に係る情報処理を実行する情報処理手段、
および、
上記装着状態検知手段の出力値から、上記トランデューサ装置がリスナーに取り付けられる途中または付け直される途中の状態である装着途中状態であるか、上記トランデューサ装置がリスナーに装着された後の状態である装着完了状態であるか、を区別して判断し、上記装着途中状態から上記装着完了状態に変化したと判断したとき、上記音楽再生に係る情報処理の内容を所定の基準状態へと初期化する検出制御手段
として機能させる音楽再生用プログラム。