JP2008226400A - オーディオ再生装置およびオーディオ再生方法 - Google Patents

Abstract

【課題】多数のオーディオデータから再生対象を選択することは困難である。
【解決手段】オーディオ再生装置１６の制御部２０における再生対象確定部２８は、選曲モードにおいて、記憶装置１２に記憶された音楽データから複数の候補曲を選択し再生部１４に同時に再生させる。定位決定部２９は候補曲のそれぞれを異なる位置に定位させるように音声処理部２４を制御する。異なる位置から聴こえる複数の音から一の音を選択する入力を入力部１８に対し行わせることにより、再生対象確定部２８は当該音に対応する音楽データが選択されたと判断し、通常モードに移行して選択された音楽データのみを再生させる。
【選択図】図２

Description

本発明は音声再生技術に関し、特に複数のオーディオデータから選択された一のオーディオデータを再生するオーディオ再生装置、および当該装置に適用するオーディオ再生方法に関する。

オーディオデータの符号化技術の発展、記憶装置の大容量化および小型化、入手経路の多様化などの技術的背景により、個人が所有する、音楽コンテンツをはじめとするオーディオデータの数は増大化している。同時にオーディオデータを再生する環境も多様化し、５．１ｃｈなどのサラウンドシステムで臨場感を楽しんだり、携帯オーディオプレーヤに大量のデータを格納し場所を問わずに種々の音楽を楽しんだり、といったことが手軽に行えるようになった。

所有するオーディオデータの中から所望のひとつを再生する場合、一般的にはアルバム名、曲名などの文字情報に基づき選択が行われる。ところがオーディオデータの数が増えていくと、所望の曲名などを探し出すのが困難になってくる。例えば携帯オーディオプレーヤに大量の音声データを格納した場合、小型の装置に装備されたディスプレイでは一度に表示できる文字の量が限られるため、所望のデータに行き着くまでには画面のスクロール、文字の判読、選択、といった煩雑な操作を行う必要がある。

さらに携帯オーディオプレーヤやカーステレオなどの携帯型の再生装置は、歩行中や走行中などディスプレイに表示された文字を読むには不適切な環境で利用されることが多く、選曲に伴う操作に対しユーザが感じる煩わしさの度合いを一層深めるものとなっていた。

本発明はこのような課題に鑑みてなされたものであり、その目的は、複数のオーディオデータからの選択を容易に行う技術を提供することにある。

本発明のある態様はオーディオ再生装置に関する。このオーディオ再生装置は、複数のオーディオデータのいずれかをユーザに選択させるためのインターフェースを備えたオーディオ再生装置であって、複数の候補のオーディオデータを同時に再生して生成した複数の音声信号を異なる位置に定位させて同時に出力する再生部と、出力された音を受聴したユーザに異なる方向から同時に聴こえる複数の音の中から一の音を選択させることにより、選択されたオーディオデータを特定する入力部と、を含むことを特徴とする。

ここで「オーディオデータ」は、音楽データ、音声データ、ラジオ番組、音楽コンテンツなど、音が記録されたデータであればよく、また、複数の曲を収録したアルバムのデータなど、最小単位をなす音のデータの集合でもよい。

本発明のさらに別の態様はオーディオ再生方法に関する。このオーディオ再生方法は、候補となる複数のオーディオデータを同時に再生してそれぞれを異なる位置に定位させて出力するステップと、出力された音を受聴したユーザが異なる方向から同時に聴こえる複数の音の中から一の音を選択するための入力を受け付けるステップと、選択された一の音に対応するオーディオデータのみを再生するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、複数のオーディオデータからの選択を容易に行うことができる。

図１は本実施の形態におけるオーディオ再生装置の概要を説明するための図である。本実施の形態におけるオーディオ再生装置１６は、記憶装置１２に格納されたオーディオデータを再生し、得られた音声信号を出力装置３０を介してユーザ５０に聴かせる。以後の説明ではオーディオデータを音楽データとするがそれに限る趣旨ではなく、落語や会議などにおける人声、番組、環境音、放送波に含まれる音声など、音のデータであればよい。

ユーザ５０が選曲を行う際、オーディオ再生装置１６は記憶装置１２から候補となる複数の音楽データを取得し、同時に再生して出力する。このとき、各音楽データの音声信号を異なる位置に定位させる。最も単純には、２つの音楽データを候補として再生し、ユーザ５０の右耳には一方の音声信号を聞かせ（矢印５２）、左耳には他方の音声信号を聞かせる（矢印５４）。同図では理解を容易にするため出力装置３０をイヤホンなどとしてオーディオ再生装置１６とケーブルで接続しているが、それに限る趣旨ではなく、複数のスピーカなどでも同様である。以後、候補となる複数の音楽データ、およびそれを再生して出力される音声信号を包括して「候補曲」と呼ぶが、記憶装置１２に記憶された各音楽データは曲単位でなくてもよく、アルバム単位など複数の曲の集まりでもよい。また、上記の如く候補曲を同時に再生して選択させるオーディオ再生装置１６の状態を「選曲モード」と呼ぶ。

ユーザ５０は同時に聴こえる候補曲のうちのひとつを選択することにより選曲を行う。以後、選択された一の曲の音楽データおよびそれを再生して出力される音声信号を包括して選択曲と呼ぶ。選択曲が確定した場合、オーディオ再生装置１６は選曲モードから、当該曲のみを再生する通常モードに状態を切り替える。あるいは選曲モードのまま、選択曲と関連性を有する候補曲をさらに再生する。例えばアルバムに収録された曲から選曲する場合、左右から聴こえる曲のいずれかを選択することにより、候補曲を収録順に送ったり逆方向に戻したりする。３つ以上の候補曲を再生する場合は、全ての曲を異なる位置に定位させる。例えばアルバムに収録された全ての曲を異なる位置に定位させて同時に聞かせるようにしてもよい。

同時に聴こえる候補曲の中からひとつを選択することにより、ユーザ５０は候補曲の絞込みを行ったり、最終的な選択曲を確定したりする。これにより、ディスプレイを見ずに選曲を行えるうえ、文字を見てデータをひとつひとつ確認していくより選曲効率が向上する。また実際の曲を聴きながら選曲するため曲名などの記憶があいまいでも選曲が可能となる。さらに、特に目的とする曲が決まっていない場合でも、漠然と今の気分に合った曲を聴きたい、過去に保存した曲にどのようなものがあったか全体を聴き直してみたいといったニーズに対応する音楽の「ザッピング」を効率的に行うことができる。

図２は本実施の形態におけるオーディオ再生装置１６を含むオーディオ再生システムの構成を示している。オーディオ再生システム１０は、複数の音楽データを記憶する記憶装置１２、選曲モードにおいて候補曲をそれぞれ再生し、異なる位置に定位させたうえで混合して音声信号として出力するオーディオ再生装置１６、音声信号を音響として出力する出力装置３０、および現在再生中の曲についての情報を視覚的に表示する表示装置２２を含む。なお本実施の形態は視覚的情報に依存せずに選曲を可能にするため、表示装置２２は必須の要素ではない。また、オーディオ再生装置１６は通常モードでは一般的なオーディオプレーヤと同様の動作により一の曲を再生するため、以後の説明では主に選曲モード時の動作に主眼を置く。

オーディオ再生システム１０は、パーソナルコンピュータや、ポータブルプレーヤなどの音楽再生機器など、一体的またはローカルな接続によって構成してよい。この場合、記憶装置１２はハードディスクやフラッシュメモリ、オーディオ再生装置１６はプロセッサユニット、出力装置３０は内蔵スピーカや外部に接続したスピーカ、イヤホンなどを用いることができる。あるいは記憶装置１２を、オーディオ再生装置１６とネットワークを介して接続されるサーバ内のハードディスクなどで構成してもよい。また記憶装置１２が記憶する音楽データは、ＭＰ３など一般的な符号化形式によって符号化されていてもよい。

オーディオ再生装置１６は、選曲に係る指示入力をユーザから受け付ける入力部１８、音楽データを復号して音声信号を出力する再生部１４、選曲モードにおいて各音声信号を異なる位置に定位させるなどの音響処理を施す音声処理部２４、処理が施された音声信号を混合して所望のチャンネル数を有する出力信号を生成するダウンミキサー２６、再生対象の音楽データや定位させる位置を確定して再生部１４や音声処理部２４の動作、および表示装置２２の表示を制御する制御部２０を含む。

入力部１８は、選曲モードにおいて、ユーザが各候補曲を定位させる位置を変化させたり、選曲を行ったりするためのインターフェースを提供する。例えば操作キーを備えたコントローラなど一般的な装置を用いることができるが、本実施の形態におけるオーディオ再生装置１６は、より簡易な操作での選曲が可能であるため、入力部１８の構成も、例えばポケットやバッグに入れたままでも手探りで操作を行うことができる構成とすることが望ましい。具体例は後に述べる。

制御部２０は、選曲モードにおいて同時に再生する候補曲や通常モードにおいて再生する選択曲を、ユーザの指示入力などから確定し再生部１４に与える再生対象確定部２８、選曲モードにおいて各候補曲を定位させる位置を決定し、ユーザからの指示入力によってはその位置を更新して音声処理部２４に対し設定を行う定位決定部２９を含む。制御部２０は必要に応じて、再生中の曲を象徴する画像などを表示するよう、表示装置２２に対する制御も行う。

再生部１４は、記憶装置１２に記憶された音楽データのうち、制御部２０の再生対象確定部２８が確定した候補曲または選択曲を読み出し、復号して音声信号を生成する。図１では同時に再生可能な音楽データを４つとして、４つの再生部を示しているが、その数はこれに限らない。また、マルチプロセッサなどによって並列に再生処理が可能な場合は、再生部１４は外観上１つであるが、ここでは各音楽データを再生し、それぞれの音声信号を生成する処理ユニットとして別々に示している。通常モードにおいては、再生部１４のいずれかひとつが一の選択曲を復号する。

音声処理部２４は、選曲モードにおいて、復号された複数の音声信号のそれぞれを、制御部２０の定位決定部２９が決定した位置に定位させる加工を施す。音声処理部２４はこのほかに、複数の音声信号のゲイン調整やモノラル化などの前処理や、定位させる位置以外の観点で、再生する候補曲が聴覚上分離して認識されやすくなるような分離処理を適宜行ってよい。詳細は後に述べる。

ダウンミキサー２６は入力された複数の音声信号を、必要に応じて各種の調整を行ったうえで混合し、モノラル、ステレオ、５．１チャンネルなど所定のチャンネル数を有する出力信号として出力する。チャンネル数は固定でもよいし、ユーザによりハードウェア的、ソフトウェア的に切り替え設定が可能な構成としてもよい。ダウンミキサー２６は一般的なダウンミキサーで構成してもよい。

図３は、音声信号に前処理や聴覚上の分離処理を施す場合の音声処理部２４の詳細な構成を示している。音声処理部２４は前処理部４０、音声分離フィルタ４４、および定位設定フィルタ４６を含む。前処理部４０は、複数の音声信号の実効的な振幅が揃うようにゲイン調整を行ったり、各音声信号をモノラル化したりする。そのほか、音声分離処理や定位設定処理以外の必要な処理を適宜含めてよい。前処理部４０は一般的なオートゲインコントローラ、変換器などを用いて実現することができる。

音声分離フィルタ４４は複数の音声信号が分離して聴こえるように、音声信号の少なくともいずれかに処理を施す。同図において音声分離フィルタ４４は１つのブロックで表されているが、複数のフィルタで構成されていてもよい。例えば以下に述べる、周波数帯域分割フィルタ、時分割フィルタ、変調フィルタ、加工フィルタなどのいずれか、またはその組み合わせでよい。

周波数帯域分割フィルタは、周波数の可聴帯域を複数のブロックに分割し、各ブロックを複数の音声信号の少なくともいずれかに割り当てる。そして各音声信号から、割り当てられたブロックに属する周波数成分のみを抽出する。例えばブロックの境界周波数を、Ｂａｒｋの２４臨界帯域の境界周波数のいずれかとすることにより、ある音声信号の周波数成分が他の音声信号の周波数成分をマスキングしにくくなる。これにより、内耳レベルでの分離を促進する。

時分割フィルタは、共通の周期でピークのタイミングが異なるように各音声信号の振幅を変化させる。すなわち複数の音声信号のそれぞれに時間を割り当てる。周期は数十ミリ秒から数百ミリ秒のレベルとする。これにより内耳の時間的分解能によって分離して知覚しやすくなる。

変調フィルタは、音声信号の全てまたはいずれかに周期的に特定の変化を与える。例えば音声信号の振幅を変調させたり、周波数特性を変調させたりする。変調は短期間にパルス状に発生させてもよいし、数秒の長時間に渡って緩やかに変化するようにしてもよい。複数の音声信号に共通の変調を行う場合は、そのピークのタイミングを音声信号ごとに異ならせる。あるいは、周期的にクリック音などのノイズを付加したり一般的なオーディオフィルタによって実現できる加工処理を施したり定位を左右に振ったりしてもよい。これらの変調を組み合わせたり、音声信号によって別の変調を適用したり、タイミングをずらしたりすることにより、音声信号の音脈を気づかせる手がかりを与える。

加工フィルタは、音声信号全てまたはいずれかに定常的に加工処理を施す。加工処理は一般的なエフェクターで実現できる、エコー、リバーブ、ピッチシフトなどの様々な音響加工の１つまたは組み合わせでよい。定常的に周波数特性を元の音声信号と異ならせてもよい。複数の音声信号に加工処理を施す場合は当然、加工内容や加工の度合いを音声信号によって異ならせる。

前処理部４０から出力される複数の音声信号を以上のようなフィルタに入力することにより、加工された複数の音声信号が音声分離フィルタ４４より出力される。複数の音声信号のうち、どの音声信号をどのフィルタに入力するか、またフィルタ内部でどのような処理を施すかは、制御部２０が、各音声信号を定位させる位置などに基づき各フィルタに対して設定を行うことにより制御する。

制御部２０は、音声信号によって聴こえやすさが変化するようにフィルタの設定を行ってもよい。この場合は、聴こえやすくしたい音声信号に対し、周波数帯域分割フィルタにおいてより多くの周波数帯域を割り当てたり、時分割フィルタにおいてより多くの時間を割り当てたりする。あるいは単に音量を変化させるなどでもよい。例えば、後述するように所望の曲を正面から聴こえるようにシフトさせたうえで確定することにより選曲する態様においては、正面に定位させる音声信号をより際立たせて聴かせることにより、ユーザはその音声信号を選択するか否かを判断しやすくなる。

なお音声分離フィルタ４４を構成する上述したフィルタによってどの程度の分離処理を行うか、または行わないかは、音声処理部２４を構成するプロセッサなどの処理能力や実際の聴こえやすさ、必要性などに鑑み適宜選択してよい。定位設定フィルタ４６は一般的に用いられる手法で音声信号のそれぞれを異なる位置に定位させる。

図４は選曲モードにおいて複数の音楽データを定位させる位置の具体例を示している。同図の例では、同時に４つの候補曲が再生可能であり、それぞれをユーザ５０の左、正面、右、および背後の４つの位置に定位させている。記憶装置１２に４つのアルバムの音楽データが記憶されていた場合や、それまでのユーザの指示入力により４つの候補曲に絞り込まれていた場合などにおいて、再生対象確定部２８は、当該４つのアルバムのそれぞれにおいて最初のトラックに収録されている曲や、絞り込まれた４曲を候補曲として確定する。

そして定位決定部２９は、４つの候補曲６８、６２、６４、６６のそれぞれを、左、正面、右、および背後に定位させるように制御する。これによりユーザ５０は、左、正面、右、および背後から異なる曲を同時に受聴することになる。ここでユーザ５０が入力部１８によって各曲を定位させる位置を時計回りにシフトさせる指示入力（以後、「曲を送る」と呼ぶ）を行うと、定位決定部２９は定位させる位置を、候補曲６８は左から正面へ（矢印６９ａ）、候補曲６２は正面から右へ（矢印６９ｂ）、候補曲６４は右から背後へ（矢印６９ｃ）、候補曲６６は背後から左へ（矢印６９ｄ）更新する。音声処理部２４が当該更新を反映した定位設定フィルタによって更新後の位置に定位させると、ユーザ５０は、４つの候補曲が自分を中心に９０度回転したような感覚を受ける。

これを繰り返すことにより、ユーザ５０は４つの候補曲を回転させながら、各曲が聴こえてくる方向を所望の位置へ移動させることができる。ユーザ５０は、４つの候補曲を同時に聴くことにより自分の聴きたい曲が判断できたら、当該曲が正面から聴こえるように「曲を送る」。そして入力部１８によって確定の入力を行うと、当該曲が選択曲として確定される。その後は通常モードへ移行し、再生対象確定部２８は選択曲のみを再生するように制御する。このように本実施の形態では、同時に再生される候補曲を聴きながら、「曲を送る」操作と「確定」の操作のみで選曲を行うことができる。このとき同時に複数の曲を聴いているため、一般的なオーディオプレーヤにおいて再生しながら曲単位で先送りする場合と比較し、選択の自由度が増し、あたかも曲名のリストから一の曲を選択するのと同じ感覚で効率的に、かつリストを見ずに選曲を行うことができる。

図４では理解を容易にするため定位させる位置を４つとしたが、位置を増やして選択効率をさらに向上させることができる。例えば記憶装置１２に１０枚のアルバムが記憶されていても、１０の位置に定位させれば上記と同様にアルバム選択を行うことができる。この態様において定位させる位置は所望の曲を正面にシフトさせる感覚をユーザ５０に与えるための手段であるため、正面やその近傍の位置から聴こえる音以外の音をユーザが厳密に聞き分ける必要は少ない。そのため、候補曲が多い場合は、定位させる位置を均等に配置しなくてもよい。例えばユーザ５０の背後近辺を密にし、正面近辺を疎にするなどしてよい。あるいは同様の理由から、背後のひとつの位置に複数の音楽データを定位させてもよい。

また候補曲の数があらかじめ設定した定位させる位置の数より多い場合、図４のように同じ曲を回転させるのではなく、１回の移動に応じて一の候補曲を別の候補曲に入れ替えてもよい。例えば図４において矢印６９ｄの移動をなくし、背後の位置に定位させられていた候補曲６６は「曲を送る」指示入力により再生対象から除外する。そして候補曲のうち新たなものを左の位置に定位させる。この場合でも、候補曲を聴きながら「曲を送る」操作と「確定」の操作のみで選曲を行うことができる。また同時に複数の候補曲を聴かせるため、定位させる位置を左右２つのみにしたとしても、一つずつ曲を聴きながら先送りするのと比較し、選択効率がおよそ倍となる。当然、定位させる位置の数を増やすほど、選択効率もさらに向上する。

図４の例では定位させる位置を、ユーザ５０を中心とした円形上に配置しているが、それ以外の図形上でもよい。例えば四角形の辺上や直線上に配置してもよい。さらにユーザの上下に配置してもよく、例えば球面上、立方体面上などでもよい。また選択曲を確定させる際の位置は正面でなくてもよく、あらかじめユーザに認識させておくことによりいかなる位置に設定してもよい。すなわち定位させる位置の配置および選択対象の曲の移動先は、ユーザが入力部１８の操作により所望の音楽データを移動先に近づかせている感覚を得られる位置関係にあれば任意に設定してよい。

またそれらの位置をユーザの好みに応じて選択できるようにしてもよい。例えば、オーディオ再生装置を自分の部屋で動作させる場合に、定位させる位置を部屋に置かれた様々な物の位置に対応させてもよい。定位させる位置に係る情報は、定位決定部２９が参照できる図示しないメモリなどに保存しておき、各候補曲を定位させる際はその情報を参照する。

図５は上述のようなオーディオ再生装置１６の動作を実現するための入力部１８の一例であるコントローラの正面図を示している。コントローラ７０は、オーディオ再生装置１６本体に接続した別の筐体を有していてもよいし、オーディオ再生装置１６本体の表面に直接設けてもよい。別の筐体とする場合の接続方式は有線、無線を問わない。コントローラ７０は「ＮＥＸＴ」ボタン１８ａ、および「ＥＮＴＥＲ」ボタン１８ｂを含む。「ＮＥＸＴ」ボタン１８ａは、選曲モードにおいて、候補曲を定位させる位置をシフトさせる、「曲を送る」指示入力を行うためのボタンであり、「ＥＮＴＥＲ」ボタン１８ｂは、正面に定位させた候補曲を選択曲として「確定」する指示入力を行うためのボタンである。

上述したように、本実施の形態は視覚的な情報に頼らず選曲を行うため、これらの２つのボタンによって選曲の操作を行うことができる。入力部１８をこのような簡素な構成とすることにより、ユーザは服のポケットなどにコントローラ７０を入れたままでも手探りで選曲を行うことができる。また操作自体が単純なため、何か別のことをやりながらでも容易に選曲を行うことができる。

図５に示したコントローラ７０の各ボタンの押し方や押すときの状況などに応じて、さらに指示入力のバリエーションを増やすこともできる。例えば、通常モードにおいて「ＮＥＸＴ」ボタン１８ａを押下すると選曲モードに移行するようにしたり、選曲モードにおいて「ＮＥＸＴ」ボタン１８ａを連続して２回押下すると、曲のシフトが逆方向になるようにしたりできる。

次に、以上のような構成によって実現される、オーディオ再生装置１６の動作について説明する。図６はオーディオ再生装置１６の処理手順を示すフローチャートである。まず再生対象確定部２８は、ユーザが選曲を行いたい状況であることを検知する（Ｓ１０のＹ）。具体的には、オーディオ再生装置１６の起動時や、ユーザがその旨の指示入力を入力部１８に対して行った際にそれを検知する。すると再生対象確定部２８は複数の音楽データを候補曲として確定し、定位決定部２９は各候補曲を定位させる位置を決定する（Ｓ１２）。候補曲の情報は再生部１４に与えられ、定位させる位置の情報は音声処理部２４に与えられる。

再生対象確定部２８が確定する候補曲は、記憶装置１２に記憶された順、アルバム名、曲名、演奏者名でソートした順など何らかの順列の先頭から順に選択してもよいし、それまで再生していた曲が有する各種情報を分析することにより、関連性を有する候補曲を抽出していってもよい。例えばそれまで再生していた曲の演奏者と同じ演奏者の曲、当該演奏者と似た演奏者の曲、同じジャンルに属する曲、正反対の特徴を有する曲など、何らかの関連性を有するグループの中から１つずつ抽出したりする。それまで再生していた曲も候補曲に含めてよい。

次に再生部１４、音声処理部２４、ダウンミキサー２６は、再生対象確定部２８が確定した候補曲の同時再生を行い、定位決定部２９が決定した位置に定位させたうえで出力する（Ｓ１４）。ユーザは出力された音を出力装置３０を介して受聴する。ユーザが「曲を送る」指示を入力部１８に対して行うと（Ｓ１６のＹ）、定位決定部２９は定位させる位置をひとつずつずらすことにより候補曲を定位させる位置を更新する（Ｓ１８）。

ユーザは「曲を送る」指示入力を繰り返すことにより、所望の曲を、正面などあらかじめ設定した位置にシフトさせた後、選択曲として確定する。選択曲を確定する旨の指示入力が行われたら（Ｓ２０のＹ）、再生対象確定部２８が選択曲の情報を再生部１４に与え、再生部１４は選択曲のみの再生を開始する（Ｓ２２）。このとき再生される曲はひとつであるため、音声処理部２４およびダウンミキサー２６は停止してもよいし、必要に応じてその一部のみ作動させてもよい。「曲を送る」指示入力や選択曲を確定する指示入力がない間は（Ｓ１６のＮ、Ｓ２０のＮ）、同じ状態で候補曲を再生し続ける（Ｓ１４）。

以上の動作でユーザは複数の曲の中から所望の曲を選択し再生することができる。そして決定した曲を聴いている最中などにまた選曲を行いたい旨の指示入力を行えば、選曲モードとなり上記の処理が行われるし（Ｓ１０のＹ、Ｓ１２〜Ｓ２０）、当該指示入力を行わなければ決定した曲から順に通常モードで聴き続けることができる（Ｓ１０のＮ、Ｓ２２）。

次にオーディオ再生装置１６の動作を同様に実現できる入力部１８の別の例について説明する。図７は図５と別の構成を有するコントローラの正面図を示している。コントローラ７２は、図５のコントローラ７０と同様、オーディオ再生装置１６の本体に設けてもよいし、別の筐体としてもよい。コントローラ７２は４方向の方向指示ボタン１８ｃ、１８ｄ、１８ｅ、１８ｆ、および曲送りボタン１８ｇを含む。

図５に示したコントローラ７０を用いた場合、ユーザは所望の曲が正面から聴こえるように曲の定位をシフトさせたうえで選択曲として確定させたが、コントローラ７２を導入した場合、ユーザは４方向から聴こえる４つの候補曲のうちのひとつを、方向指示ボタン１８ｃ、１８ｄ、１８ｅ、１８ｆのいずれかを押下することにより選択することができる。方向指示ボタンは４つに限らず、定位させる位置の数に応じて増減させてよいが、方向によって曲を選択させるためには、全ての曲について、定位させている位置が聞き分け可能となるような数であることが望ましい。そのため多数の候補曲から選択を行う場合は、曲送りボタン１８ｇを押下させることにより、定位させる位置をシフトさせながら候補曲の入れ替えも行う。

次に入力部１８のさらに別の例として、入力をボタン操作以外の方法で行う態様について説明する。図８は、入力部１８を兼ねたイヤホンの構成を示している。イヤホン７４は耳に装着する部分に加速度センサ７６を装備する。そしてオーディオ再生装置１６の本体に設けた方向決定部７８とともに入力部１８を構成する。この構成により、ユーザの顔が向いた方向を検出し、その方向に定位させた候補曲を選択曲として確定する。なお図８はイヤホンを示しているが、以後の説明は耳に装着して音楽を聴く装置であればヘッドホンなどと置き換えることもできる。なお加速度センサ７６は、ジャイロセンサなど取り付けた物の加速度、角速度、変位などのいずれかを取得できるセンサであれば加速度センサに限定されないが、以後は加速度センサ７６として説明する。

イヤホン７４はダウンミキサー２６から出力され、ケーブル８０を介して取得した音声信号を出力するとともに、加速度センサ７６によってイヤホン７４を装着したユーザの頭の加速度を取得する。取得した加速度の情報は、ケーブル８０を伝達し、方向決定部７８に与えられる。方向決定部７８は、取得した加速度の情報に基づき、ユーザの顔の向きを算出する。加速度からユーザの顔の向きを算出する手法については既存の技術を導入することができる。

選曲モードにおいて制御部２０の再生対象確定部２８は、複数の候補曲のうち、ユーザの顔の向いた方向に対応する位置に定位させた候補曲を選択曲として確定する。これによりユーザは、所望の曲が聴こえてくる方向に顔を向けるのみで選曲を行うことができる。このような態様は、音楽を、その聴こえる方向と関連付けた本実施の形態においてこそ可能となる。ディスプレイやコントローラなど、音楽データとユーザの動きとの間に介在する物が多いほど、ユーザが感じる操作の煩雑性が増長し、操作ミスの可能性も高まる。イヤホン７４による入力によれば、所望の曲が聴こえてくる方向を向くのみで選曲が行えるため、音楽データがユーザの動きと直接結びついており、ヒューマンインターフェースとしての親和性が高く操作ミスなども起こりづらい。

また上述のように、各候補曲を定位させる位置を自分の部屋に置かれた様々な物の位置に対応させた場合、ある物の方向を向くとその位置に定位させた曲が選択される、という一種の娯楽性を提供することができる。

なおイヤホン７４とオーディオ再生装置１６とのデータの送受を電波など既存の技術によりワイヤレスで行うようにすれば、ケーブル８０はなくてもよい。また加速度センサ７６はイヤホンやヘッドホンなどとは別に、体の一部に装着するようにしてもよい。これにより、ユーザがいる環境や身体の障害などに応じて最適な入力手法を選択することができる。さらに、加速度センサ７６を装備したイヤホン７４を図５、図７で示したようなコントローラと組み合わせて入力部１８としてもよい。例えば所望の曲が聞こえる方向を向いたのみでは選曲されず、さらに確定ボタンを押した場合にのみ選択曲が確定するようにしてもよい。この場合もボタンによって必要な操作は限定されるため、容易に選曲を行うことができる。

次に、入力部１８と出力装置３０とを一体化した例について説明する。図９は表示装置を兼ねたコントローラの正面図を示している。コントローラ９０は、表示画面２２ａと、「ＮＥＸＴ」ボタン１８ａ、「ＥＮＴＥＲ」ボタン１８ｂとを含む。「ＮＥＸＴ」ボタン１８ａおよび「ＥＮＴＥＲ」ボタン１８ｂの機能は図５のコントローラ７０の「ＮＥＸＴ」ボタン１８ａおよび「ＥＮＴＥＲ」ボタン１８ｂと同様である。コントローラ９０ではさらに、再生中の曲を象徴する画像を表示画面２２ａに表示する。音楽データを象徴する画像とは、アルバムジャケットの画像やプロモーションビデオの一フレーム、プロモーションビデオの動画、当該音楽データの送り主の画像などでもよいし、単に題名などの文字情報を画像データとしたものでもよい。

選曲モードにおいては、同時に再生する候補曲を象徴する全ての画像を表示画面２２ａに表示する。このとき、表示する画像の配置を、各曲を定位させた位置を反映したものにする。図９の例では、定位が左、正面、右、背後にある４つの候補曲を聴いているとして、それぞれを象徴する画像を表示画面２２ａ中、左側（９２ａ）、上側（９２ｂ）、右側（９２ｃ）、下側（９２ｄ）に表示されている。「ＮＥＸＴ」ボタン１８ａを介して「曲を送る」指示入力があった場合は、制御部２０は、定位させる位置を更新するとともに表示画面２２ａにおける画像の配置もそれを反映したものとする。また「ＥＮＴＥＲ」ボタン１８ｂを介して選択曲が確定した場合は、通常モードとして選択曲を象徴する画像のみを表示する。

このような態様とすることにより、表示画面２２ａを確認できる状況にあるユーザは、選曲モードにおいて現在どの方向からどの曲が聞こえているかを視覚的に確認することができる。このとき、複数の音楽データについていっぺんに視認することができるため、確認の効率がよい。また定位を反映した配置で画像を表示することにより、直感的な把握が可能となる。

これまで述べたオーディオ再生装置１６では、同時に再生する候補曲の中、もしくは「曲を送る」指示入力によって入れ替えた候補曲の中から一の曲を選択し、それを再生した。ところが記憶装置１２が記憶した音楽データの数が増加してくると、複数の候補曲を同時に確認しているとはいえ、所望の曲に行き着くまでに時間がかかってしまう場合がある。そこで、音楽データに付随した分類情報を利用して、次に述べるように選曲の効率をさらに向上させるようにしてもよい。

具体的には、選択された一の曲を即再生対象とするのではなく、曲の選択によってその曲が属する分類を選択するようにする。そして、選択された分類に属する曲を新たな候補曲として再生する。このようにして分類を絞り込んでいけば、文字情報で分類を選択していくのと同様の効率で、かつ文字情報を見ずに、最終的な選択曲までたどり着くことができる。さらに文字情報で分類を選択していく場合に比べ、演奏者名やアルバム名など分類名の記憶が不確かであっても、感覚的に絞込みを行うことができ、所望の曲に行き着く可能性が高くなる。

図１０はこのような態様で利用できる音楽の分類の構造例を示している。同図に示すように、音楽の分類はジャンル／演奏者／アルバムといった階層構造で表すことができる。同図の分類は一例であり、演奏者による分類に代わり作曲者による分類であったり、アルバムによる分類の上層にリリース年代による分類が存在したり、というように任意の構造をとることができる。同じ演奏者、アルバムなどが２つ以上の分類に存在していてもよい。分類は記憶装置１２に記憶された音楽データに一般的に付加されている情報をそのまま利用することができる。

選曲のための処理は次のように行われる。再生対象確定部２８はまず、ジャンルによる分類に着目し、各ジャンルから１つずつ候補曲を選択する。図１０に示したような音楽データが記憶されている場合、例えば「ポップス」に属する曲「ａ１」、「ロック」に属する曲「ｄ１」、「クラシック」に属する曲「ｅ１」、「ジャズ」に属する曲「ｆ１」の音楽データが選択され、同時に再生される。ユーザは再生された４つの候補曲を聴きながら、所望の曲との類似性やそのときの気分などに基づき、１つの曲を入力部１８によって選択する。

ここで曲「ａ１」が選択されたとすると、再生対象確定部２８は「ポップス」のジャンルが選択されたと判断する。そして次は「ポップス」に属する演奏者による曲から１つずつ候補曲を選択する。図１０の例では演奏者「Ａ」による曲「ａ１」、演奏者「Ｂ」による曲「ｂ１」などが選択され、同時に再生される。それを聴いたユーザが例えば曲「ｂ１」を選択したとすると、再生対象確定部２８は演奏者「Ｂ」が選択されたと判断する。そして次は演奏者「Ｂ」がリリースしたアルバム「ｂ」、アルバム「ｃ」などからそれぞれ、曲「ｂ１」、曲「ｃ１」などが選択され同時に再生される。

そしてユーザが例えば曲「ｂ１」を選択した場合、アルバム「ｂ」が選択されたと判断され、アルバム「ｂ」に収録された曲「ｂ１」、曲「ｂ２」などが候補曲として再生される。そこでユーザが一の曲を選択すれば、当該曲が最終的な選択曲として確定され再生される。ここでアルバム単位、演奏者単位など、曲より上層のある分類単位で再生したい場合に備え、各層の分類を選択する際に選択曲を確定させ選曲モードから通常モードに移行できるようにしてもよい。

選択する分類は、図１０で示したような階層構造を有するものでなくてもよい。例えばユーザがそれまで再生していた曲に基づき分析を行った結果、ユーザの嗜好に合う曲などが分かっている場合、図１０で示した分類と組み合わせることにより選択肢のバリエーションが増え、多くの観点から選曲を行うことができる。例えば「ユーザの嗜好に合い、現在選曲されている曲と同じジャンルの曲」、「ユーザの嗜好に合い、現在選曲されている曲と別のジャンルの曲」、「ユーザの嗜好と異なる、現在選曲されている曲と同じジャンルの曲」といった分類に属する曲を一つずつ抽出し、候補曲として同時に再生する。

このような構成のオーディオ再生装置１６によれば、ユーザの嗜好や再生履歴など多角的な観点から選出した候補曲を実際に聴きながら選曲を行うことが可能になる。これによりユーザは、選曲前に意図していた所望の曲を再生するばかりでなく、それまで思いつかなかった曲に偶然行き当たったり、漠然とした気分に合致するアルバムが見つかったりといった、実際に曲を聴くまでなされることのない新たな発見をすることができ、いわば音楽空間の探索を楽しむことができる。

図１１は、上記のような分類による選曲を導入した場合のオーディオ再生装置１６の処理手順を示すフローチャートである。まず再生対象確定部２８は、ユーザが分類による選曲を行いたい状況であることを検知する（Ｓ３０のＹ）。具体的には、オーディオ再生装置１６の起動時や、ユーザがその旨の指示入力を入力部１８に対して行った際にそれを検知する。なおユーザが分類による選曲を望まない場合は（Ｓ３０のＮ）、図６に示した直接的な選曲処理へ移行する（Ｓ４０）。

分類による選曲を行う場合（Ｓ３０のＹ）、定位決定部２９は最上層の分類手法を特定し、分類ごとに定位させる位置を決定する（Ｓ３２）。各階層の分類手法は、あらかじめ設定したものを定位決定部２９などが参照可能な図示しないメモリなどに記憶させておいてもよい。階層構造を複数のパターンで用意しておき、ユーザが好みのものを選択するようにしてもよい。

続いて再生対象確定部２８が、各分類に属する曲から一つずつ候補曲を選択することにより、複数の分類に属する複数の候補曲が再生される（Ｓ３４）。各分類に属する曲は、記憶装置１２に音楽データとともに記憶された付加情報を参照することにより選択してもよいし、図１０に示したような分類の階層構造を表すテーブルをオーディオ再生装置１６の初回起動時などに作成してメモリなどに記憶させ、それを参照することにより選択してもよい。Ｓ３４において音声処理部２４は、Ｓ３２における定位決定部２９の決定に従い、候補曲をそれぞれの位置に定位させて出力する。

ユーザは同時に聴こえる候補曲の中から一の曲を選択する指示入力を入力部１８に対し行うことにより、分類を選択する（Ｓ３６）。Ｓ３２からＳ３６までの処理を最下層の分類まで繰り返す（Ｓ３８のＮ）。最下層の分類の選択、すなわち図１０の例ではアルバムの選択までが終了したら（Ｓ３８のＹ）、図６に示した直接的な選曲処理へ移行する（Ｓ４０）。図１０の例ではアルバムに収録された曲を候補曲として再生し、そこから選択された一の曲が最終的な選択曲となる。上述のようにＳ３８の判定は、最下層の分類まで終了したか否かに代えて、ユーザが分類による選曲を終了したい旨の指示入力を行ったか否か、で行ってもよい。

以上述べた本実施の形態によれば、ユーザが複数のオーディオデータから選択を行う際、候補となる複数のオーディオデータを、異なる位置に定位させて同時に再生する。これによりユーザは、異なる方向から聴こえてくる複数の音から一の音を選択することによりオーディオデータの選択を行うことができる。このとき定位させる位置の割り振りをユーザ自身が変化させ、音が聴こえてくる位置をシフトできるようにすることで、所望の音を所定の位置に移動させたり、候補曲を入れ替えたりでき、音の移動を楽しみながら直感的に選択を行うことができる。実際の音を聴きながら選択するため、題名や演奏者名などオーディオデータに付随した文字情報を確認しなくてもよく、わざわざディスプレイを見る手間をかけずに簡単な操作で選択を行うことができる。また文字情報についての記憶があいまいだったり特に所望のオーディオデータがない場合でも、音を聴いて選択対象を判断することができる。

さらに候補となるオーディオデータの音を同時に聴くことができるため、各オーディオデータの確認が短期間で行え、選択の効率がよくなる。このとき音声信号を聴覚上分離するいくつかの加工を行うことにより、音同士が打ち消しあうなどの不具合が軽減され、それぞれの音を候補として認識しやすくなる。

また、入力部をイヤホンなどに装備した加速度センサで構成することにより、ユーザの顔の向きで選択を行えるようにする。これにより、所望の音が聴こえる方向に顔を向ける、という自然な動作での選択が可能となり、選択入力の操作が容易になるうえ操作ミスが起こりにくくなる。また、再生しているオーディオデータに対応する画像を、定位させた位置に対応した配置で表示し、定位させる位置のシフトに連動させて表示する配置も更新する。これにより、視覚的な確認を行いたい場合において、表示位置に基づき直感的に画像とオーディオデータとを結びつけることができる。

また、オーディオデータを直接選択するばかりでなく、オーディオデータの選択を介して分類を選択させることにより、段階的に絞込みを行う態様も用意する。これにより記憶装置に記憶されたオーディオデータの数が多くても効率的に所望のデータへ到達することができる。さらに様々な分類に属するオーディオデータの音を実際に聴くことができるため、音声のザッピングが実現でき、それまで思いつかなかった新たな発見がなされるといった娯楽性を提供することもできる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施の形態は主に記憶装置に記憶されたオーディオデータから選択を行う態様について説明したが、オーディオデータは記憶装置に記憶されていなくてもよく、例えばラジオのニュース番組やネットワークを介して配信されるネットラジオの番組や音楽コンテンツなどでもよいし、それらが混在していてもよい。

例えばオーディオ再生装置にＧＰＳ（Global Positioning System）を搭載することにより、記憶装置に記憶させたオーディオデータの他、ユーザが歩行中の土地に関連の深い曲や番組などを候補として受信させる。そして全てのデータを異なる位置に定位させたうえで同時に聴かせることにより、ユーザがそのうちひとつを選択できるようにしてもよい。このときＧＰＳを利用して、ユーザの歩行速度と方向を取得し、定位させる位置をそれと同じ速度で逆方向に移動させれば、あたかも音源が街中のある位置に固定され、自分がそこを通り過ぎていくような感覚をユーザに与えることができる。

このようにすることで、自動で配信されたあまり受聴を望まないコンテンツなどの音声がついてまわるような煩わしさをユーザに与えず、街中の雑音のように感じさせることができる。偶然コンテンツが気に入れば、ユーザがその音源に近づいていくことにより、それを選択対象とすることもできる。この場合のオーディオ再生装置の動作は、加速度センサを入力手段とした上述の実施の形態と同様である。

また本実施の形態では「曲を送る」指示入力に応じて、定位させる位置をシフトするとともに一の候補曲を別の候補曲に入れ替える態様について説明したが、一度に入れ替える曲の数は２つ以上でもよく、例えば全ての候補曲を別の候補曲に入れ替えてもよい。このときユーザが「曲を送る」指示入力を行うボタンなどを所定時間、連続して押下すると、入れ替える曲の数が増加するようにしてもよい。この場合も複数の候補曲を聴きながら「曲を送る」操作と「確定」の操作のみで選曲を行うことができ、さらに興味のない曲については「早送り」する感覚で候補曲からすぐに除外することができ、選択効率がさらに向上する。

また入力部１８による候補曲を定位させる位置の移動は、本実施の形態の図４で例示したような所定の方向への順送りに限らず、前後や左右を入れ替えるなどいかなる変更でもよい。このような移動のパターンをユーザが決定できるようにしてもよい。

さらに本実施の形態をテレビ受像機を含む動画再生装置で再生される音声信号に適用してもよい。この場合、選択対象は音声信号を含む動画データとなる。このとき候補となる複数の動画データの動画サムネイルなどを多画面表示するとともに、各音声信号を異なる位置に定位させて再生する。このとき図９に示したコントローラの表示画面の如く、音声信号を定位させた位置に対応する位置に動画サムネイルを表示する。これにより、テレビの番組選択などを多画面表示によって行う際、音声を同時に確認しながら視聴対象たる番組を決定することができる。

あるいはテレビ受像機などにおいて、多画面表示するか否かに関わらず、主に視聴中の番組以外の番組、いわゆる裏番組の音声信号を同時に再生するようにしてもよい。この場合、例えば、主に視聴中の番組の音声信号をユーザの正面に、１つまたは複数の裏番組の音声信号をユーザの背後に、それぞれ定位させ、さらに音声分離フィルタ４４により主に視聴中の番組の音声信号を際立たせるように加工を施す。そしてユーザが裏番組を指定した場合に、当該番組を視聴対象とするよう、音声および画面の切り替えを行う。これにより、例えばコマーシャルが終了した際や試合中継において戦局が変化したなどの裏番組の状況変化を音声で確認することができ、視覚に頼らずに所望の番組を逃さず視聴することができる。

本実施の形態におけるオーディオ再生装置の概要を説明するための図である。 本実施の形態におけるオーディオ再生装置を含むオーディオ再生システムの構成を示す図である。 本実施の形態において音声信号に前処理や聴覚上の分離処理を施す場合の音声処理部の詳細な構成を示す図である。 本実施の形態の選曲モードにおいて複数の音楽データを定位させる位置の具体例を示す図である。 本実施の形態における入力部の一例であるコントローラの正面図である。 本実施の形態におけるオーディオ再生装置の処理手順を示すフローチャートである。 本実施の形態における入力部の別の例であるコントローラの正面図である。 本実施の形態における入力部を兼ねたイヤホンの構成を示している。 本実施の形態における表示装置を兼ねたコントローラの正面図を示している。 本実施の形態で利用する音楽の分類の構造例を示す図である。 本実施の形態において分類による選曲を導入した場合のオーディオ再生装置の処理手順を示すフローチャートである。

１０ オーディオ再生システム、 １２ 記憶装置、 １４ 再生部、 １６ オーディオ再生装置、 １８ 入力部、 ２０ 制御部、 ２２ 表示装置、 ２４ 音声処理部、 ２６ ダウンミキサー、 ２８ 再生対象確定部、 ２９ 定位決定部、 ３０ 出力装置、 ４０ 前処理部、 ４４ 音声分離フィルタ、 ４６ 定位設定フィルタ、 ７６ 加速度センサ、 ７８ 方向決定部。

Claims (13)

1. 複数のオーディオデータのいずれかをユーザに選択させるためのインターフェースを備えたオーディオ再生装置であって、
   複数の候補のオーディオデータを同時に再生して生成した複数の音声信号をユーザの周囲の空間上の異なる位置に定位させて同時に出力する再生部と、
   出力された音を受聴したユーザに異なる方向から同時に聴こえる複数の音の中から一の音を選択させることにより、選択されたオーディオデータを特定する入力部と、
   を含むことを特徴とするオーディオ再生装置。
2. 前記入力部は、各音声信号を定位させる位置を変更する指示入力を受け付ける変位指示部を備え、
   前記再生部は、前記変更する指示入力に従い、各音声信号を新たな位置に定位させて同時に出力することを特徴とする特徴とする請求項１に記載のオーディオ再生装置。
3. 前記再生部は、前記変更する指示入力に従い、候補のオーディオデータの少なくとも一部を入れ替えることを特徴とする特徴とする請求項２に記載のオーディオ再生装置。
4. 前記入力部は、前記変位指示部の操作により所定の位置に定位させた一の音声信号を選択対象として確定する指示入力を受け付ける確定部をさらに備えたことを特徴とする請求項２または３に記載のオーディオ再生装置。
5. 前記入力部は、複数の方向のいずれかを選択する入力を受け付ける方向指示部を備え、選択された方向にある位置に定位させた一の音声信号が選択対象として確定されることを特徴とする請求項１から３のいずれかに記載のオーディオ再生装置。
6. 前記入力部は、ユーザが装着したセンサによりユーザの動きを検出して、指定された方向を特定する方向検出部を備え、指定された方向にある位置に定位させた一の音声信号が選択対象として確定されることを特徴とする請求項１から３のいずれかに記載のオーディオ再生装置。
7. 前記再生部は、選択されたオーディオデータと関連性を有する複数のオーディオデータを、新たな候補のオーディオデータとしてさらに再生することを特徴とする請求項１から３のいずれかに記載のオーディオ再生装置。
8. 前記再生部は、複数の候補のオーディオデータをそれぞれ復号するとともに、復号して得られた複数の音声信号を聴覚上分離して認識させるための加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項１から３のいずれかに記載のオーディオ再生装置。
9. 前記再生部は、各オーディオデータを復号して得られた音声信号の聴覚上の認識しやすさの度合いを、定位させる位置に応じて変化させる加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項８に記載のオーディオ再生装置。
10. 候補となる複数のオーディオデータを同時に再生してそれぞれをユーザの周囲の空間上の異なる位置に定位させて出力するステップと、
    出力された音を受聴したユーザが異なる方向から同時に聴こえる複数の音の中から一の音を選択するための入力を受け付けるステップと、
    選択された一の音に対応するオーディオデータのみを再生するステップと、
    を含むことを特徴とするオーディオ再生方法。
11. 前記入力を受け付けるステップは、
    選択対象の音を所定の位置に定位させるように前記複数の音を定位させる位置を変更する指示入力を受け付けるステップと、
    前記所定の位置に定位させた音が選択対象であることを確定させる指示入力を受け付けるステップと、
    を含むことを特徴とする請求項１０に記載のオーディオ再生方法。
12. 前記入力を受け付けるステップは、方向を指定する入力を受け付けるステップを含み、指定された方向にある位置に定位させた音を選択対象として確定することを特徴とする請求項１０に記載のオーディオ再生方法。
13. 候補となる複数のオーディオデータをメモリから読み出し、同時に再生してそれぞれをユーザの周囲の空間上の異なる位置に定位させて出力する機能と、
    出力された音を受聴したユーザが異なる方向から同時に聴こえる複数の音の中から一の音を選択するための入力を受け付ける機能と、
    選択された一の音に対応するオーディオデータのみを再生する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images