JP2008299631A - コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム - Google Patents

Abstract

【課題】ユーザが特に指示をしなくても、自然なインタフェースで、ユーザの動きに合ったより適切なコンテンツが検索されるようにする。
【解決手段】コンテンツ検索装置においてコンテンツの検索を行う際、ユーザの動きに応じた信号を取得し、そのユーザの動きに応じた信号からユーザの動きのテンポと強さを含む動作情報を生成する。そして、複数のコンテンツから、その動作情報に応じたコンテンツを検索する、ことを特徴とする。
【選択図】図９

Description

本発明は、複数のコンテンツから、所望のコンテンツを検索するコンテンツ検索方法、このコンテンツ検索方法の実施に使用するコンテンツ検索装置、並びに、コンテンツ検索プログラムに関する。

従来、ストレージの記憶容量増大化および小型化や、インターネットなどの通信ネットワークの高速化に伴い、ユーザは、膨大な数の楽曲を大容量記憶装置に記憶させておいて、いつでも、どこでも、音楽を楽しみ、またはネットワーク経由で簡単に楽曲にアクセスできるようになっている。

膨大な楽曲の中から所望の楽曲を選択する方法としては、楽曲の曲名やアーチスト名を指定する方法や、予め用意されたジャンルやプレイリストから楽曲を選択する方法が、一般にとられている。また、音楽再生装置にランダム（無作為）に楽曲を選択させる方法も利用されている。このランダムに楽曲を選択するランダム機能は、種発生器で生成される種に基づいて全楽曲から無作為に楽曲を選択することができる。種としては、しばしば時間が使用される。

しかしながら、楽曲の曲名やアーチスト名を指定する方法や、ジャンルやプレイリストから楽曲を選択する方法は、ユーザにとって煩わしく、不便である。

また、音楽再生装置にランダムに楽曲を選択させる方法では、ユーザの意図しない楽曲が選択されてしまうことが多い。例えば、ユーザが歩行中または運動中に音楽を聴いているときに、ユーザの脈拍数が多いあるいはアドレナリン濃度が高い（動作が力強いもしくは大きい）にもかかわらず、同じような楽曲テンポの楽曲が再生されるという、ユーザにとって単調な音楽再生となってしまう。したがって、特にユーザが動作中は、その動きに合った楽曲が検索され、再生されることが、ユーザの動作の妨げとならない点でも、ユーザの意思や希望に沿う点でも、望ましい。

そこで、ユーザの好みや気分、またはシチュエーションに応じて、楽曲を選択する方法も提案されている。例えば、特許文献１には、ユーザの動作テンポや動作リズムなどの動作パターンを検出し、この動作パターンに合ったコンテンツパターンを持つコンテンツを直接検索することで、ユーザが特に指示をしなくても、自然なインタフェースで、ユーザの動きに合ったコンテンツまたはコンテンツリストが検索できる技術が開示されている。

特開２００６−３０２４９０号公報

しかしながら、特許文献１に記載された技術は、ユーザの動作テンポや動作リズムを含む動作パターンに基づいたコンテンツ選択が実現できるものの、ユーザの動作の力強さや大きさといったような、ユーザの動作の強さを考慮したものではなかった。そのため、ユーザの動きを、正確に反映したコンテンツ検索処理であるとは言い難かった。

本発明は斯かる点に鑑み、ユーザが特に指示をしなくても、自然なインタフェースで、ユーザの動きに合ったより適切なコンテンツが検索されるようにしたものである。

上記課題を解決するため、本発明は、コンテンツ検索装置においてコンテンツの検索を行う際、ユーザの動きに応じた信号を取得し、そのユーザの動きに応じた信号からユーザの動きのテンポと強さを含む動作情報を生成する。そして、複数のコンテンツから、その動作情報に応じたコンテンツを検索する、ことを特徴とする。

この発明によれば、ユーザが特に指示をしなくても、ユーザの動きのテンポと強さに応じたコンテンツが検索される。

本発明によれば、ユーザが特に指示をしなくても、自然なインタフェースで、ユーザの動きに合ったより適切なコンテンツが検索されるようになる。

以下、本発明の一実施の形態の例について、図１〜図１１を参照しながら説明する。本実施の形態として、コンテンツが楽曲で、かつユーザ端末で楽曲を検索する場合の、ユーザ端末（楽曲検索装置）および楽曲検索方法を示す。なお、本実施の形態において、ユーザ端末として携帯電話端末を適用した例としているが、ポータブル型の音楽記録再生装置などにも適用できるものであり、この例に限られない。

図１に、この場合のユーザ端末の一例の接続構成を示す。この例のユーザ端末は、携帯電話端末１１として構成されるもので、ＣＰＵ１６を備え、そのバス１７に、各種のコンピュータソフトウェアのプログラムやデータが書き込まれたＲＯＭ１８、およびプログラムやデータが展開されるＲＡＭ１９が接続される。

さらに、バス１７には、内部記憶装置部２１がインタフェース２２を介して接続され、外部記憶装置部２３がインタフェース２４を介して接続される。内部記憶装置部２１は、携帯電話端末１１に内蔵のハードディスクや半導体メモリなどであり、外部記憶装置部２３は、ＣＤやメモリカードなどのリムーバブル記憶装置である。内部記憶装置部２１または外部記憶装置部２３には、多数の楽曲の楽曲データ（オーディオトラック）および楽曲付属情報（メタデータ）、楽曲付属情報ライブラリ（メタデータライブラリ）、並びに複数の楽曲リストが記録される。

また、バス１７には、キー入力部２５がインタフェース２６を介して接続され、マイクロフォン２７が音声処理部２８を介して接続されるとともに、音声処理部３１を介して音声出力部３２が接続され、表示制御部３３を介して液晶表示部３４が接続される。

音声処理部２８は、マイクロフォン２７からのアナログ音声信号をデジタル音声データに変換し、必要に応じて圧縮するものであり、音声処理部３１は、バス１７に送出されたデジタル音声データを、圧縮されているものについては伸長して、アナログ音声信号に変換するものであり、音声出力部３２は、スピーカやヘッドフォンである。

また、バス１７には、インターネット１００に接続するための外部インタフェース３５が接続されるとともに、無線インタフェース３６を介してアンテナ３７が接続される。ただし、この実施形態のように携帯電話端末１１で楽曲検索または楽曲リスト検索が実行される場合には、外部インタフェース３５や、無線インタフェース３６およびアンテナ３７は、無くてもよい。

さらに、バス１７には、動きセンサ４１がエンコーダ４２を介して接続され、環境センサ４４がエンコーダ４５を介して接続される。

動きセンサ４１は、ユーザ１の動きを動作情報として検出するものである。動きセンサ４１としては、その出力の動作情報から、最終的にユーザの動作テンポや動作リズム、動作の強さなどの動作パターンを検出できるものであれば、心拍や筋電など、ユーザ１の生体状態を検出するものでもよいが、足の運び、手の動き、頭や腕の振り、体の上下動や前後左右の揺れなど、ユーザ１の身体的な動きのテンポや強さ等を直接的に検出できるものが望ましい。具体的には、後述のように加速度センサやビデオカメラ、あるいはそれらの組み合わせなどを用いる。

また、ユーザがトレッドミルで走るなど、フィットネスマシンを利用して運動をする場合には、そのマシンの動きをユーザの動きとして検出することもできる。

エンコーダ４２は、動きセンサ４１の出力の動作情報を、アナログ信号である場合にはデジタル信号に変換した上で、処理解析して、ユーザの動作テンポや動作リズム、動作の強さなどの動作パターンをキー情報として検出するものである。

環境センサ４４は、その時の日時や温度、その場の位置などを、環境情報として検出するものであり、エンコーダ４５は、環境センサ４４の出力の環境情報を、アナログ信号である場合にはデジタル信号に変換した上で、処理解析して、その時、その場の環境を、季節の別、昼夜の別、寒暖の別、屋内と屋外の別、海辺や山麓などの地域の別、などのようにパターン化して検出するものである。

環境センサ４４およびエンコーダ４５は、無くてもよいが、これらを設けることによって、例えば環境の違いを楽曲検索または楽曲リスト検索に補助的に利用することができる。

また、検出されたキー情報を内部記憶装置部２１又は外部記憶装置部２３に記憶し、その記憶されたキー情報を呼び出して、楽曲検索または楽曲リスト検索を行う場合には、環境センサ４４およびエンコーダ４５からなる環境検出部を設けることによって、ユーザが特に指定することなく、その時、その場の環境に応じたキー情報を呼び出すことができる。

図２は、ユーザの歩行時の状態の一例を示すものである。ユーザが屋外等を歩行する際に、携帯電話端末１１に楽曲を検索させる場合、図２に示すように、ユーザ１は、動きセンサ４１が内蔵され、取り付けられ、または接続された携帯電話端末１１を、腰に下げ、または腕に巻き付けるなどして携行し、検索または選択された楽曲を再生させ聴く場合には、音声出力部３２としてのヘッドフォンを頭部に装着する。

この場合の動きセンサ４１としては、加速度センサ、歪みセンサ、圧力センサなどを用い、歩行中のユーザ１の、体の上下動、足の運び、腕の振りなどから、ユーザ１の歩行状態を検出する。

まず、動きセンサ４１の出力より得られるユーザの動きのテンポについて説明する。
図３に、時間（分）に対するユーザの運動の速さをプロットしたグラフの一例を示す。ここで速さを距離／分ではなく、ステップ数／分の単位で計測することにより、ユーザの動きに関するテンポを取得することができる。これにより、ユーザのあらゆる運動について、ユーザの動きのテンポと楽曲のＢＰＭ（Beats Per Minute）を同等に論ずることができる。

このようなユーザの動きのテンポは、動きセンサ４１としてステップカウンタを用いることにより検出できる。ステップカウンタは加速度センサを応用して構成することができる。ここで、ステップカウンタについて簡単に説明する。

歩行中は、動きセンサ４１の出力の動作情報として、例えば特許文献１の図５上段に示されているように、センサ出力信号の電圧Ｖが、短い時間内では小刻みに変化しつつ、全体的には周期性を持って変化する信号が得られる。

すなわち、この場合、ユーザ１が左足を踏み込んで（接地して）から次に右足を踏み込む（接地する）までの時間、および右足を踏み込んでから次に左足を踏み込むまでの時間が、それぞれ１周期となる。この１周期が１ステップに相当する。

そして、単位時間（１分）あたりのステップ数をカウントすることにより歩行テンポを取得することができる。このカウント数が多ければ歩行テンポが速く、カウント数が少なければ歩行テンポが遅い。なお、ここで歩行とは、走行を含むものとする。

なお、１分よりも長い時間、ステップ数をカウントしてその値を平均することによって、より安定したユーザの動きのテンポが得られる。

このステップ数の検出方法としては、例えば特許文献１（図５参照）に示すような、センサ出力信号の自己相関関数を求める方法を用いることができる。センサ出力信号が特許文献１の図５の上段に示すものとなる場合、その自己相関波形は、図５の下段に示すものとなり、これから歩行周期、すなわち歩行テンポ（動作テンポ）を検出することができる。

この歩行周期は、歩行テンポを示し、歩行周期が短ければ、歩行テンポが早く、歩行周期が長ければ、歩行テンポが遅い。例えば、歩行周期が６００ｍｓｅｃであれば、１歩が６００ｍｓｅｃであるので、１分間あたり１００歩に相当し、楽曲テンポ（音楽テンポ）に変換すると、４分音符でテンポ１００となる。

ところで、ユーザが屋内等で運動をするような場合には、動きセンサ４１としてビデオカメラを用いることができる。この場合、エンコーダ４２で、ビデオカメラから得られた映像データを画像認識やパターン認識などの方法により処理解析することによって、ユーザの動作テンポを検出することができる。

また、動きセンサ４１として、携帯電話端末１１のキーボタンやパーソナルコンピュータのキーボードを利用することもできる。この場合、キーボタンを押圧し、またはキーボードを叩打することによって得られる信号（動作情報）を、エンコーダ４２（キー情報検出部５３）で処理解析することによって、キーボタン押圧テンポやキーボード叩打テンポを、ユーザの動作テンポとして検出することができる。

また、動きセンサ４１としてマイクロフォンを用いて、キーボタン押圧時やキーボード叩打時に発生する音を拾い、マイクロフォンから得られる音声信号を、動作情報として取り込むこともできる。

次に、まず、動きセンサ４１の出力より得られるユーザの動きの強さについて説明する。
図４に、時間（秒）に対するユーザの運動の強さをプロットしたグラフの一例を示す。ここでは、運動の強さの単位として加速度（ｍ／ｓ^２）を用いる。この加速度で表されるユーザの動きの強さと楽曲の強さを関連づけることにより、ユーザのあらゆる運動について、ユーザの動きの強さと楽曲の強さを同等に論ずることができる。

このようなユーザの動きの強さは、動きセンサ４１として加速度センサを用いることにより検出できる。

図４に示したグラフの読み方を説明する。図４において、矢印はユーザの動きの加速度の大きさ、すなわち運動（ステップ）の強さを表し、矢印の間隔はユーザによるステップの時間間隔を表している。

まず、ユーザが歩きのとき、動きセンサ４１では小さい加速度のステップが検出される。ユーザがジョギングを始めると、ステップの時間間隔は大きくなる（ステップの頻度が下がる）が、ステップの強さは大きくなる。次に、ユーザが走りだすと、さらにステップの頻度が増加し、かつステップの強さがさらに大きくなる。最後に、ユーザが全力疾走すると、ステップの強さは非常に大きくなるとともに、ステップの頻度がさらに増す。

このように、携帯電話端末１１において、ユーザの動きのテンポに加えて、ユーザの動きの強さを取得することにより、ユーザの動きをより正確に推定することができる。従来、楽曲のテンポやリズムだけで楽曲検索を行っていたのに対して、ユーザの動きのテンポおよび強さの情報を楽曲検索に用いることによって、よりユーザの動きの状態に合った楽曲の検索が可能になる。

図５は、携帯電話端末１１の楽曲検索および再生に関する論理構成例を示したものである。この携帯電話端末１１は、楽曲検索機能に関しては、図５左側に示すように、メタデータ（楽曲付属情報）６２ｂが付属した複数のオーディオトラック（楽曲データ）６２ａおよびメタデータライブラリ（楽曲付属情報ライブラリ）６３を管理するファイルシステム６１、動作情報処理部（生成部）６５とコンテンツ検索部（検索部）６６より構成されるアプリケーション６４によって構成される。この動作情報処理部６５とコンテンツ検索部６６の機能は、ハードウェアまたはソフトウェアによって実現される。なお、以下の説明において、オーディオトラックとメタデータを合わせて、楽曲コンテンツという。

ファイルシステム６１は、携帯電話端末１１内に格納されているファイルやデータの管理を行うものであり、図１の例では、内部記憶装置部２１または外部記憶装置部２３に記録されているオーディオトラック６２ａとメタデータ６２ｂ、およびメタデータライブラリ６３を管理している。

オーディオトラック６２ａは、楽曲コンテンツの実データ部分である。このオーディオトラック６２ａには、メタデータ６２ｂが付属している。

メタデータの代表的なものとしては、例えばＩＤ３タグがある。ＩＤ３タグは、ＭＰ３ファイルの中に、アーチスト、曲名、作成年などの情報を書き込むための規格である。このＩＤ３タグに、「楽曲のテンポ」および「楽曲の強さ」の項目が含まれる。

この楽曲のテンポおよび楽曲の強さはそれぞれ、予め設定された、所定のレンジ（範囲）を持つ。すなわち、楽曲のテンポおよび楽曲の強さはそれぞれ、大小２つの値によってそのレンジが示されている。

メタデータライブラリ６３は、複数のオーディオトラックのそれぞれのメタデータに含まれる楽曲のテンポと楽曲の強さの項目を抽出して、まとめたものである。このメタデータライブラリ６３に登録された楽曲のテンポと楽曲の強さが、後述するコンテンツ検索部６６の検索処理に利用される。

動作情報処理部６５は、動きセンサ４１から入力された動作情報を得て、これを処理解析し、ユーザの動作のテンポおよび動作の強さなどの動作パターンをキー情報として検出し、コンテンツ検索部６６に出力する。

このとき出力されるユーザの動作のテンポおよび強さは、それぞれ大小２つの値で示された所定の範囲（範囲）を持つ。

コンテンツ検索部６６は、動作情報処理部６５から入力された動作情報（ユーザの動作のテンポと強さ）と、メタデータライブラリ６３から読み出したメタデータ（楽曲のテンポと強さ）を比較して、ユーザの動きに対応するすなわち類似するメタデータに紐付けられているオーディオトラックを検索する。そして、検索したオーディオトラックを、図１に示す音声処理部３１を介して音声出力部３２に送る。

次に、携帯電話端末１１が外部（この例ではＰＣ５０）から楽曲コンテンツを取得して、その楽曲コンテンツの中からユーザの動きに合わせて再生する楽曲を検索する機能について説明する。

まず、ユーザは、パーソナルコンピュータ（以下、「ＰＣ」という。）５０を操作して、ＰＣ５０内の記憶装置部（図示略）のファイル管理を行うファイルシステム５１に、楽曲コンテンツを記録する。このとき、オーディオトラック５２ａとともに、その付属のメタデータ５２ｂが記録される。

ＣＰＵ等から構成される信号処理部５５は、オーディオトラック５２ａに付属しているメタデータ５２を読み込んで、オーディオトラック５２ａのテンポと強さのレンジ（範囲）を表す２つのデータをメタデータライブラリ５３に出力する。

なお、メタデータ５２ｂに楽曲のテンポと強さのいずれか、または両方の項目がない場合、信号処理部５５は、オーディオトラック５２ａの楽曲のテンポと楽曲の強さをそれぞれ調査して、その結果を対象のオーディオトラック５２ａのオリジナルのメタデータ５２ｂに書き込む。このとき追加した項目の内容を、メタデータライブラリ５３にも反映する。

ここで、楽曲のテンポおよび楽曲の強さについて説明する。図６に、ある楽曲の音の波形の一例を示す。図６の縦軸はビート（拍）の強さを、横軸は時間を表す。楽曲の強さのレンジは、一例として、図６に示すビートの強さのｍａｘ（最大値）とｍｉｎ（最小値）を信号処理部５５が検出して、そのまま楽曲の強さのレンジとして登録する、ことにより求められる。あるいは、信号処理部５５が、音波の複数の極大値および極小値をそれぞれ平均し、極大値の平均値および極小値の平均値を用いて楽曲の強さのレンジとする、としてもよい。

また、楽曲のテンポは、信号処理部５５が所定時間（例えば、１分またはそれより短い時間）の楽曲のビート数を検出して単位時間における楽曲のテンポ（ＢＰＭ）を計算する、ことにより求められる。そして、上記処理を当該楽曲の再生時間全体にわたって実施することにより、楽曲の中のテンポが速い部分や遅い部分のそれぞれのテンポが求められる。このようにして求めた楽曲のテンポの最大値と最小値を用いて、対象楽曲のテンポのレンジを表す。

図７は、メタデータライブラリに登録されているメタデータの一例を示している。図７の例では、メタデータの項目として、トラックＮｏ、アーチスト名、曲名、テンポ、強さがある。このようにメタデータは、１つのレコードごとに、紐付けられているオーディオトラックのトラックＮｏ、アーチスト名、曲名、テンポのレンジ、強さのレンジが記述されている。

すべての必要とされるオーディオトラックのメタデータが生成されるまで、上記の一連の処理が繰り返される。

通信処理部５６は、オーディオトラック５２ａとメタデータ５２ｂ、さらにメタデータライブラリ５３を、携帯電話端末１１に送信するものである。この通信処理部５６は、携帯電話端末１１からの送信要求に従い、要求されたオーディオトラック５２ａとその付属のメタデータ５２ｂ、および、メタデータライブラリ５３をファイルシステム５１から読み出して、携帯電話端末１１に送る。

ＰＣ５０から携帯電話端末１１に送られた、オーディオトラックと付属のメタデータ、およびメタデータライブラリ５３は、内部記憶装置部２１または外部記憶装置部２３に記憶される。

携帯電話端末１１は、図８に示すような、ユーザの動きのテンポのレンジおよび強さのレンジと、楽曲のテンポのレンジおよび強さのレンジの対応関係を示すテーブルを、内部記憶装置部２１または外部記憶装置部２３に記憶している。図８の例では、ユーザの動きのテンポが０−５００［steps/min］、かつその強さが０−５０［ｍ/ｓ^２］である。また、楽曲のテンポが０−５００［ＢＰＭ］、かつその強さが０−１００である。

一例として、ユーザの動きのテンポのレンジ（０−５００）、およびユーザの動きの強さのレンジ（０−５０）を、それぞれ８ビットの情報により２５６の諧調で表す。同様に、楽曲のテンポのレンジ（０−５００）、および楽曲の強さのレンジ（０−１００）を、それぞれ８ビットの情報により２５６の諧調で表す。このようにすることにより、ユーザの動きおよび楽曲の８ビットの情報で表された諧調が対応する場合、ユーザの動きと楽曲のテンポおよび／または強さが対応していることとなる。

次に、携帯電話端末１１による楽曲検索および再生の処理を、図９のフローチャートを参照して説明する。

まず、携帯電話端末１１は、動きセンサ４１からユーザの動きに関するデータを収集する（ステップＳ１）。すなわち、動作情報処理部６５が、動きセンサ４１からセンサ出力信号を得て、そのセンサ出力信号を解析し、ユーザの動作情報（ユーザの動きのテンポのレンジと強さのレンジ）を生成する。そして、このユーザの動作情報をコンテンツ検索部６６に送る。

次に、携帯電話端末１１は、入力されたデータに基づいてメタデータライブラリ６３をフィルタリングする（ステップＳ２）。すなわち、コンテンツ検索部６６は、動作情報処理部６５から入力されたユーザの動作情報（ユーザの動きのテンポのレンジと強さのレンジ）と、メタデータライブラリ６３に登録されたメタデータに含まれる楽曲のテンポのレンジと強さのレンジを、図８に示した対応テーブルを利用して照合する。その照合した結果に基づいて、ユーザの動きのテンポおよび強さに対応する楽曲のテンポのレンジと強さのレンジが含まれるメタデータを抽出（フィルタリング）する。そして、コンテンツ検索部６６は、抽出したメタデータと紐付けられたオーディオトラックを、ファイルシステム６１で管理されている複数のオーディオトラックから取得する。

そして、携帯電話端末１１は、ステップＳ２の処理によってフィルタリングした楽曲の中から適当な楽曲をランダムに選曲する（ステップＳ３）。コンテンツ検索部６６は、ユーザの動きのテンポおよび強さに応じて抽出された楽曲の中から、楽曲をランダムに選択して音声処理部３１を介して音声出力部３２に送る。

最後に、携帯電話端末１１は選択した楽曲を再生する（ステップＳ４）。すなわち、音声出力部３２は、コンテンツ検索部６６で検索および選択されたオーディオトラックを再生して音声を出力する。

ここで、ユーザの動きおよび楽曲のそれぞれのテンポと強さの双方に基づく楽曲選択例を、図１０および図１１を参照して説明する。

図１０は、ユーザの動きおよび楽曲のそれぞれのテンポに基づく楽曲選択例を示したものであり、横方向にテンポのレンジをとっている。また、図１１は、ユーザの動きおよび楽曲のそれぞれの強さに基づく楽曲選択例を示したものであり、横方向に強さのレンジをとっている。図１０および図１１にはそれぞれ、トラック１〜４のテンポのレンジと強さのレンジを示すとともに、ユーザの動きのテンポ７１と強さ７２を示している。

例えば、トラック１は、中程度のテンポと強さを持った楽曲であることを示している。（例えば、ポップスの楽曲）。また、トラック２は、やや速いテンポの弱い楽曲であることを示している（例えば、バイオリンの楽曲）。また、トラック３は、やや遅いテンポで、かつやや強い楽曲であることを示している（例えば、カントリー調やウェスタン調の楽曲）。また、トラック４は、速いテンポの強い楽曲であることを示している（例えば、ハードロックやヘヴィメタルの楽曲）。

ユーザの動きのテンポ７１がやや速く、その強さ７２は中程度である。このことから、おそらく、ユーザは軽いジョギング程度の運動をしているが、走ってはいないであろうことが推測できる。

ユーザの動きのテンポ７１のレンジは、図１０に示すように、トラック１とトラック２の双方のレンジにかかっている。一方、ユーザの動きの強さ７２のレンジは、図１１に示すように、トラック１とトラック３の双方のレンジにかかっている。

ユーザの動きのテンポに合う楽曲としてはトラック１または２が適切であるが、動きの強さの点からは、トラック１または３が適切であることがわかる。したがって、この例では、例示した運動をしているユーザにとって、トラック１が最適な楽曲であると判断できる。すなわち、携帯電話端末１１は、ユーザにとって最も適している楽曲としてトラック１を、ファイルシステム６１の複数のオーディオトラックから検索し、再生する。

実際には、携帯電話端末１１の内部記憶装置部２１または外部記憶装置部２３に、数百、数千という膨大な数の楽曲が記憶されており、それらの楽曲のテンポと強さはそのレンジ同士が複雑に重なり合っている。したがって、図１０および図１１の例のように、１つの楽曲（１つのトラック）だけに絞られるということはほとんど考えられず、ユーザの動きのテンポおよび強さのレンジに合った楽曲のテンポおよび楽曲の強さのレンジを持つ楽曲が複数検索される。

この場合、コンテンツ検索部６６（図５参照）は、図９を参照して説明したように、検索した複数の楽曲からランダムに楽曲を選択して音声出力部３２へ出力してもよい。あるいは、コンテンツ検索部６６は、検索した複数の楽曲をトラックＮｏ順に選択して音声出力部３２へ出力するようにしてもよい。

以上説明した実施形態によれば、動きセンサの出力信号から検出される楽曲のテンポと強さに基づいて、ユーザの動作を推測するようにしたので、ユーザの動きの強さを考慮しない従来技術と比較すると、より正確にユーザの動作の状態を推測することができる。したがって、ユーザが特に指示をしなくても、自然なインタフェースで、ユーザの動きに合ったより適切な楽曲が検索される。

また、ユーザの動きに合った適切な楽曲が検索されるので、ユーザの動きに合わない不適切な楽曲や、ユーザに不快感を与える楽曲が選択される機会を減少させることができる。また、ユーザの動作の状態に応じて楽曲が選択されるので、通常ユーザが聴かないような楽曲が選択されるという、楽しみを与えることができる。

なお、上述した実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上述の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料およびその量、処理時間および寸法などの数値的条件は好適例に過ぎず、説明に用いた各図における寸法形状および配置関係も概略的なものである。

例えば、上述した実施の形態は、コンテンツが楽曲の場合であるが、この発明は、コンテンツが楽曲以外の場合にも適用することができる。

例えば、アニメーション画像では、画像全体の変化や、画像内のキャラクタなどの動きに、テンポや強さ（動きの大きさや激しさ）が存在し、あるコンテンツでは、動きのテンポが早く、別のコンテンツでは、テンポが遅い、というコンテンツごとによる動きのテンポの違いや、あるコンテンツでは、ある大きな動き、別のコンテンツでは、別の小さな動き、というコンテンツごとによる動きの強さの違いが存在する。

したがって、各コンテンツにコンテンツ付属情報として、動きのテンポが当該コンテンツのテンポや強さを示す情報を付加し、コンテンツの検索用には、動きのテンポが当該コンテンツに対応するテンポレンジ内にあるコンテンツをリストアップする。また、動きの強さが当該コンテンツに対応する強さレンジ内にあるコンテンツをリストアップすることによって、上述した楽曲の場合と同様に、コンテンツの検索を行うことができる。

また、上述した実施の形態は、携帯電話端末等のユーザ端末がコンテンツ検索処理を実施していたが、ユーザ端末を例えばインターネットを介して、コンテンツを蓄積している検索サーバと接続し、検索サーバ側でコンテンツ検索処理を行うようにしてもよい。この場合、ユーザ端末はユーザの動作情報（ユーザの動きのテンポと強さ）を検索サーバに送信し、検索サーバがそのユーザの動作情報に基づいて検索したコンテンツを、ユーザ端末が取得して再生する。これにより、ユーザ端末ではコンテンツを記憶・保持する必要がなく、かつコンテンツ検索処理のための機能も必要ないので、ユーザ端末の構成を簡素化できる。

この場合において、コンテンツとしてストリームデータが適用できる。つまり、検索サーバがユーザの動作情報に基づいて検索したコンテンツとしてのストリームデータを、ユーザ端末が検索サーバより取得し、ユーザ端末でストリーミング再生を行うようにしてもよい。

また、上述した実施の形態では、予めパーソナルコンピュータからコンテンツを入手してユーザ端末に保存するようにしたが、例えばインターネットを通じて取得したり、携帯電話ネットワークを利用して基地局を介して取得したり、複数の携帯電話端末間でＢｌｕｅｔｏｏｔｈ等の近距離無線通信を利用して基地局を介さず直接取得するようにしてもよい。

本発明の一実施形態に係る携帯電話端末のブロック構成例を示す図である。 本発明の一実施形態に係るユーザの歩行時の状態の一例を示す図である。 本発明の一実施形態に係るユーザの運動の速さと時間の関係の一例を示す図である。 本発明の一実施形態に係るユーザの運動の強さと時間の関係の一例を示す図である。 本発明の一実施形態に係る楽曲検索および再生に関する論理構成例を示す図である。 本発明の一実施形態に係る楽曲の音の波形例を示す図である。 本発明の一実施形態に係るメタデータライブラリの例を示す図である。 本発明の一実施形態に係るユーザの動きと楽曲との対応例を示す図である。 本発明の一実施形態に係る楽曲検索および再生の処理例を示す図である。 本発明の一実施形態に係るテンポに基づく楽曲選択例を示す図である。 本発明の一実施形態に係る強さに基づく楽曲選択例を示す図である。

符号の説明

１…ユーザ、１１…携帯電話端末、１６…ＣＰＵ、２１…内部記憶装置部、２３…外部記憶装置部、４１…動きセンサ、３２…音声出力部、３４…液晶表示部、６２ａ…オーディオトラック、６２ｂ…メタデータ、６３…メタデータライブラリ、６５…動作情報処理部、６６…コンテンツ検索部

Claims (5)

1. 複数のコンテンツのコンテンツデータおよびコンテンツ付属情報を記憶保持する記憶部と、
   ユーザの動きを検出する検出部と、
   前記検出部の出力信号からユーザの動きのテンポと強さを含む動作情報を取得する取得部と、
   前記記憶部に記憶されている複数のコンテンツから、前記ユーザの動作情報に基づいてコンテンツを検索する検索部と、
   を備えることを特徴とするコンテンツ検索装置。
2. 前記コンテンツの付属情報は、前記コンテンツデータのテンポのレンジと、前記コンテンツデータの強さのレンジを含み、
   前記ユーザの動作情報は、前記ユーザの動きのテンポのレンジと、前記ユーザの動きの強さのレンジより構成され、
   前記検索部は、前記記憶部に記憶されている複数のコンテンツから、前記ユーザの動きのテンポのレンジと強さのレンジに対応する、前記コンテンツデータのテンポのレンジと強さのレンジを含むコンテンツ付属情報に紐付けられているコンテンツを検索する、
   ことを特徴とする請求項１に記載のコンテンツ検索装置。
3. コンテンツを再生する再生部を更に備え、
   前記再生部は、前記記憶部に記憶されている複数のコンテンツから、前記検索部により検索された前記コンテンツのコンテンツデータを再生する、
   ことを特徴とする請求項１に記載のコンテンツ検索装置。
4. ユーザの動きに応じた信号を取得するステップと、
   前記ユーザの動きに応じた信号からユーザの動きのテンポと強さを含む動作情報を取得するステップと、
   複数のコンテンツから、前記動作情報に応じたコンテンツを検索するステップと、
   を含むことを特徴とするコンテンツ検索方法。
5. ユーザの動きに応じた信号を取得する手順と、
   前記ユーザの動きに応じた信号からユーザの動きのテンポと強さを含む動作情報を取得する手順と、
   複数のコンテンツから、前記動作情報に応じたコンテンツを検索する手順を、
   コンピュータに実行させるためのコンテンツ検索プログラム。

Images