JP2006065002A - コンテンツ再生装置及び方法 - Google Patents

Abstract

【課題】 複数の画像を対応するＢＧＭ付きでスライドショーで再生でき、しかも、記憶容量を抑えつつ高品質な再生を可能とする。
【解決手段】 記憶装置には、複数の画像と複数の楽曲とが個々に対応付けて格納されている。クライアント制御ＩＣ１２は、スライドショーを開始すると、画像を順次読み出してＴＶ装置２７に表示すると共に表示する画像に対応付けられているオーディオデータを読み出し、デコードして、オーディオＤＳＰ１４に供給して再生する。また、クライアント制御ＩＣ１２は、オーディオデータのファイル名の拡張子を取得し、システムマイコン１１を介してオーディオＤＳＰ１４に供給する。オーディオＤＳＰ１４は、拡張子から、符号化方式を特定し、その符号化方式で欠落する周波数帯域の信号を生成・加算して再生することにより、スライドの切り換えに同期した高音質のＢＧＭを出力する。
【選択図】 図１

Description

本発明は、コンテンツ再生装置及び方法に関する。

多数の静止画と楽曲とを対応付けて記憶しておき、静止画を順次切り換えて表示する（スライドショー）ときに楽曲を再生するシステムが存在する。

しかし、従来のシステムは、画像の表示に合わせて単に楽曲を放音しているに過ぎず、即ち、ＢＧＭを流しているにすぎず、興趣に欠けるものであった。

このような欠点を解決するために画像毎に異なる楽曲を割り当て、画像の切り換えに同期して楽曲も切り換えることが考えられる。しかし、この方法では、複数の画像データと複数の楽曲データとを記録媒体に記録しなければならず、記録容量が膨大になるという問題がある。

このような欠点を解決するために画像データ及び楽曲データをそれぞれ圧縮して格納することが考えられる。しかし、圧縮率の高い圧縮方法は、非可逆的な圧縮方法であり、圧縮時に情報の一部が欠け、再生時には劣化した情報しか再生できないという問題がある。

オーディオデータを例にすると、例えば、ＭＰ３（ＭＰＥＧ１ ａｕｄｉｏ ｌａｙｅｒ ３）形式のオーディオデータでは、ビットレートが１２８ｋｂｐｓで圧縮された場合、約１６キロヘルツ以上の周波数成分が除去されている。また、ＡＴＲＡＣ３（Ａｄａｐｔｉｖｅ
ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ ３）形式の音声データでは、約１４キロヘルツ以上の周波数成分が除去されている。

このように、これらの符号化及び圧縮化手法では、高周波数成分が除去されているため、再生されたた音楽等はオリジナルに比べて音質が劣化している。そこで、除去された周波数成分に代わる信号を加算することが考えられる。このための手法としては、特許文献１に開示されている手法がある。

特許文献１に開示されている手法は、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）ディジタルオーディオ信号をローパスフィルタに通して得られる出力オーディオ信号を、当該出力信号の絶対値成分を含む信号を乗算することにより歪みを生じさせる、という手法である。
特開平７−９３９００号公報

しかし、音楽を表す音声信号は一般に、電子楽器や人間の声（ヴォーカル）の高調波によって、１０キロヘルツ以上の成分が、周波数が高くなるにつれて減衰しつつ数百ヘルツ程度（１００ヘルツ以上１キロヘルツ未満）の間隔で並ぶピークを多数含んだスペクトル分布をもつ。また、電話回線を介して伝送される音声を表す音声信号の場合は一般に、４キロヘルツ以上の成分が、同様の特徴を有するスペクトル分布を示す。

このため、出力オーディオ信号の低域成分の波形を絶対値回路等を用いて歪ませることにより高調波を発生させるに過ぎない特許文献１のオーディオ信号再生装置では、原音に近いスペクトルを有する信号を得ることができない。

また、このような除去された周波数成分に代わる信号を再生対象の信号に加算する手法は、様々なソースを利用できるオーディオシステムには適用できないという問題がある。

この点を、図１１を参照して説明する。
図１１は、従来のオーディオシステムの構成を示す。図１１において、記憶部３３は、様々な規格で符号化・圧縮されたオーディオデータを記憶し、任意のオーディオデータをデコーダ３２に提供する。デコーダ３２は、符号化されたオーディオデータをデコードして、アンプ部３１に供給する。

このような構成において、デコーダ３２で高周波成分を付加することは、機能的には可能であるが、デコード処理と高周波成分を付加する処理とが全てデコーダ３２の負荷となり、多大な処理能力が必要となる。

一方、アンプ部３１で高周波成分を付加することも論理的には可能である。しかし、アンプ部３１には、デコード済みのＰＣＭデータが供給されるため、オリジナルの信号がどの方式で圧縮された信号であるのか、或いは、欠落している周波数成分がどの周波数範囲であるのか、といったことがわからないため、適切な機能制御ができない。

本発明は、上記実状に鑑みて為されたものであり、複数の画像と複数の楽曲とを対応付けて再生でき、しかも、記憶容量を抑えつつ高品質な再生が可能なコンテンツ再生装置を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係るコンテンツ再生装置は、
画像データと圧縮オーディオデータを受信し、デコードしてそれぞれ出力するデコード手段と、
デコード手段からの画像データを画像信号に変換して表示装置に出力する画像再生手段と、
デコード手段からのオーディオデータを処理して再生すると共に圧縮により欠落している周波数帯域の信号を補完する音場補完処理を実行して、オーディオ信号を再生するオーディオ再生手段と、
を備える。

例えば、前記オーディオ再生手段は、オーディオデータの圧縮方式を判別し、判別した圧縮方式において、欠落している周波数帯域の信号を補完する音場補完処理を実行する。

前記オーディオ再生手段は、オーディオデータの圧縮方式とビットレートを判別し、判別した圧縮方式とビットレートに応じて、欠落している周波数帯域の信号を補完する音場補完処理を実行するか否かを決定する。

また、例えば、画像データと圧縮オーディオデータとは互いに対応付けられており、画像データの切り換えに応じて圧縮オーディオデータを切り換える。

上記目的を達成するため、本発明の第２の観点に係るコンテンツ再生方法は、
関連付けられている画像データと圧縮されたオーディオデータの、画像データを再生して表示し、
圧縮されたオーディオデータをデコードし、さらに、圧縮により欠落している周波数帯域の信号を補完して、オーディオ信号を再生し、
表示している画像データと再生しているオーディオデータのいずれか一方が切り替わった時に、他方を切り替わった後の一方に対応するものに切り換える、
ことを特徴とする。

上記構成によれば、複数の画像と複数の楽曲とを対応付けて再生でき、しかも、記憶容量を抑えつつ高品質な再生が可能なコンテンツ再生装置を提供することができる。

以下、本発明の実施の形態に係るコンテンツ再生システムについて説明する。

本発明の実施の形態に係るコンテンツ再生装置を備えるコンテンツ再生システムは、図１に示すように、システムマイコン１１と、クライアント制御ＩＣ(Integrated
Circuit)１２と、ＤＩＲ（Digital Interface Receiver）１３と、オーディオＤＳＰ（Digital Signal
Processor）１４と、アンプ部１５と、スピーカ部１６と、キー制御部１７と、ＰＣ（Personal Computer）１８と、ルータ１９と、メモリカード２０と、スロット２１と、ＬＡＮ（Local
Area Network）２２と、ＬＡＮコントローラ２３と、表示部２４と、表示制御マイコン２５と、ＬＡＮケーブル接続端子２６と、ＴＶ装置２７とから構成される。

上記構成のうち、システムマイコン１１と、クライアント制御ＩＣ１２と、ＤＩＲ１３と、オーディオＤＳＰ１４と、アンプ部１５と、キー制御部１７と、スロット２１と、ＬＡＮコントローラ２３と、表示部２４と、表示制御マイコン２５と、ＬＡＮケーブル接続端子２６と、は、コンテンツ再生装置１に配置されている。

システムマイコン１１は、コンテンツ再生システム全体及びコンテンツ再生装置１の全体の動作を制御するものであり、ＣＰＵ（Central Processing
Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。

クライアント制御ＩＣ１２は、ＰＣ１８やメモリカード２０から供給されたアーカイブのオーディオデータを、ＰＣＭデータにデコードして、ＤＩＲ１３に供給し、画像データ（静止画、動画）を映像信号に変換してＴＶ装置２７に出力する。

クライアント制御ＩＣ１２は、図２に示すように、ＬＡＮを介したＰＣ１８とメモリカード２０との一方をコンテンツのソースとして選択すると共に選択したソースとの通信処理を行うセレクタ５１と、セレクタ５１から供給される符号化データをデコードしてオーディオデータをＰＣＭ信号化し、画像データをデコードするデコード部５２と、デコードされた画像データをＴＶ表示用の映像信号に変換する画像処理回路５３と、システム制御部５４とを備える。

また、システム制御部５４は、セレクタ５１を介してソースから供給される画像データ及びオーディオデータの符号化方式をファイル名の拡張子などから判別し、デコード部５２にそれぞれのデコード方式を指定する。

システム制御部５４は、システムマイコン１１との間で通信を行って、システムマイコン１１からの指示に従って、セレクタ５１を切り換える。また、システム制御部５４は、画像データ及びオーディオデータに付随する属性情報（ファイル形式、ビットレート、サンプリング周波数など）やテキスト情報（ファイル名、演奏時間、演奏者、等）を、システムマイコン１１に送信する。

また、システム制御部５４は、スライドショーモード（画像を一定時間表示しつつ順次切り換えるモード）が指定された場合に、各画像に楽曲が割り当てられている場合には、画像の切り換えにあわせて楽曲を切り換えて再生する。

ＤＩＲ１３は、クライアント制御ＩＣ１２から供給されたＰＣＭデータをオーディオＤＳＰ１４に供給する。

オーディオＤＳＰ１４は、図２に示すように、機能的に、高域信号付加部６１とリスニングモード処理部６２とを備える。

高域信号付加部６１は、ＰＣ１８又はメモリカード２０に格納されている楽曲データが符号化及び圧縮化されて高周波数帯域部分が除去された形式である場合、元の信号に高帯域周波数成分を付加して出力する。高域信号付加部６１は、図３に示すように、機能的に、遅延部７１と、制御部７２と、局部発振部７３と、混合部７４と、ＨＰＦ（ハイパスフィルタ）７５と、利得調整部７６と、加算部７７とより構成されている。高域信号付加部６１の動作については後述する。

リスニングモード処理部６２は、高域信号付加部６１の出力する信号を処理して、モノラル、ステレオ、サラウンドなどのリスニングモードに対応する信号処理を行い、アンプ部１５に出力する。

アンプ部１５は、図示せぬＤ／Ａコンバータやアナログ増幅器を備え、オーディオＤＳＰ１４から入力されたデータをＤ／Ａ変換によりアナログ信号に変換して増幅し、増幅した信号をスピーカ部１６に供給する。

スピーカ部１６は、アンプ部１５から供給された音声信号を空気振動に変換して、音声を出力する。

キー制御部１７は、リモートコントローラ等の操作入力キーを用いたユーザの操作入力を受け付け、入力された信号に対応するデータをシステムマイコン１１に供給する。

ＰＣ１８は、ハードディスク装置等の記憶装置を備え、クライアント制御ＩＣ１２からの要求に応じて、記憶装置内に記憶されたコンテンツデータを、ルータ１９およびＬＡＮ２２を介してクライアント制御ＩＣ１２に供給する。

ＰＣ１８内のハードディスク装置には、画像（静止画及び動画）と楽曲のデータファイルとが複数格納されている。図４に示すように、各画像に１つの楽曲を割り当てることが可能である。割り当て情報もハードディスク内に格納される。

ルータ１９は、ＰＣ１８とクライアント制御ＩＣ１２との間のＬＡＮ２２を介したデータの授受を中継するための装置である。

メモリカード２０は、フラッシュメモリ等の不揮発性半導体メモリを内蔵する記録媒体である。メモリカード２０は、クライアント制御ＩＣ１２に接続されたスロット２１に挿入され、メモリカード２０自身内部に記録されたコンテンツデータをスロット２１を介してクライアント制御ＩＣ１２に供給する。

メモリカード２０には、ハードディスク装置と同様に、画像（静止画及び動画）と楽曲のデータファイルとが複数格納されている。図４を参照して説明したように、各画像に１つの楽曲を割り当てることが可能である。割り当て情報もメモリカード２０内に格納される。

スロット２１は、メモリカード２０の挿入口であり、クライアント制御ＩＣ１２に接続されている。スロット２１は、メモリカード２０に記録されたコンテンツデータを読み取って、クライアント制御ＩＣ１２に供給する。

ＬＡＮ２２は、Ethernet（登録商標）等から構成され、クライアント制御ＩＣ１２とＰＣ１８との間のデータの授受を媒介する。

ＬＡＮコントローラ２３は、クライアント制御ＩＣ１２とＰＣ１８との間のＬＡＮ２２を介したデータの授受を制御するためのネットワーク制御装置であり、クライアント制御ＩＣ１２に接続されている。

表示部２４は、例えば、このコンテンツ再生装置の正面パネルなどに配置され、液晶表示パネルや蛍光表示管などから構成され、表示制御マイコン２５から供給される表示用データに従ってメッセージ等を表示する。表示部２４の表示容量は比較的小さく、表示内容は動作状況や入力用の選択項目である。ＰＣ１８等に格納されている画像等は、ＴＶ装置２７に表示される。

表示制御マイコン２５は、ＣＰＵやＲＯＭ、ＲＡＭ等を備えており、システムマイコン１１の制御下に、表示部２４に表示される表示内容を制御する。

ＬＡＮケーブル接続端子２６は、ＬＡＮ２２とＬＡＮコントローラ２３とを接続する。

ＴＶ装置２７は、通常のテレビジョン受像器、ＣＲＴ、大画面の液晶表示装置、プラズマディスプレイ装置等から構成され、任意の画像（静止画、動画）を表示する。

次に、上記構成のコンテンツ再生装置の動作を説明する。
システムマイコン１１は、キー制御部１７からの指示に応じて、クライアント制御ＩＣ１２に、ＬＡＮ２２とＬＡＮコントローラ２３とを介してＰＣ１８から供給されるデータと、スロット２１とを介してメモリカード２０から供給されるデータのいずれを選択するかを指示する。

クライアント制御ＩＣ１２のシステム制御部５４は、指示に従って、セレクタ５１に、ＬＡＮ２２とＬＡＮコントローラ２３とを介してＰＣ１８から供給されるオーディオデータと、スロット２１を介してメモリカード２０から供給されるオーディオデータの一方を選択させる。

クライアント制御ＩＣ１２のシステム制御部５４は、選択したソースから供給されるファイル名等の属性情報をシステムマイコン１１に送信する。システムマイコン１１は、表示制御マイコン２５にこれらの情報を提供する。表示制御マイコン２５は、表示部２４にこれらの情報を適宜表示する。

また、キー制御部１７からの入力に応じて、システムマイコン１１とクライアント制御ＩＣ１２とは、協働して、例えば、表示部２４やＴＶ装置２７に操作メニュー等を表示する。

ユーザが操作メニューの内から、スライドショーを選択した場合について以下に説明する。
表示対象の画像群（ファイル）を指定し、スライドショーを指定すると、クライアント制御ＩＣ１２は、選択されているソースから、表示対象の画像の情報と各画像と楽曲とを対応付けるリンクデータとを読み出し、内部メモリに格納する。

続いて、クライアント制御ＩＣ１２のシステム制御部５４は、図５に示すスライドショー処理を開始し、まず、内部メモリに格納した情報に基づいて、最初に表示する画像を選択し、読み出す（ステップＳ１）。表示の順番は、画像の順番でもよく、ランダム表示が設定されている場合には、例えば、乱数を発生して任意のものを選択する（先に選択された画像は選択対象から除外する）。

続いて、クライアント制御ＩＣ１２のシステム制御部５４は、選択した画像に対応付けられた楽曲が存在するか否かを判別する（ステップＳ２）。対応する楽曲が存在する場合には（ステップＳ２；Ｙｅｓ）、その楽曲を選択し、選択した楽曲を読み出す（ステップＳ３）。

続いて、読み出した画像データと楽曲データとをそれぞれデコード部５２でデコードして、画像の表示の開始と楽曲の放音の開始とがほぼ同期するようなタイミングで、画像データを画像処理回路５３に供給してＴＶ装置２７に表示させ、楽曲データをＤＩＲ１３、オーディオＤＳＰ１４を介してスピーカ部１６から放音させる（ステップＳ４）。

続いて、一定時間の経過を待機し（ステップＳ５）、次の画像があれば（ステップＳ６；Ｎｏ）、ステップＳ１に戻り、無ければ（ステップＳ６；Ｙｅｓ）、終了する。
なお、ステップＳ２で選択した画像に対応付けられた楽曲が存在しないと判別された場合には（ステップＳ２；Ｎｏ）、ステップＳ４で画像のみ再生する。

なお、ステップＳ５の待機処理の間に、次、或いはその次の画像（と楽曲）の準備を進め、待機時間の経過と同時に画像及び楽曲を切り換えるようにすることが望ましい。

このような構成とすることにより、各画像をその画像用のＢＧＭ付で表示することができ、個々の画像を印象深く表示することができる。

このような構成とすると、多数の画像と共に多数の楽曲をＰＣ１８やメモリカード２０に格納することになる。通常知られているように、画像データも楽曲データも容量が大きく、多数の画像データと多数の楽曲データとを記憶すると、すぐに、容量が足りなくなってしまう虞がある。

そこで、ＰＣ１８やメモリカード２０には、圧縮して画像データと楽曲データとを格納する。ただし、圧縮して楽曲データを格納すると、圧縮の手法にもよるが、高周波帯域の信号成分が除去されてしまい、再生時の音質が劣化する。

そこで、このコンテンツ再生システムは、除去されている高周波帯域の信号成分を以下に説明する手法により、オーディオＤＳＰ１４で生成して、これを再生信号に付加（加算）して再生することにより、高品質の楽音を再生する。

まず、システム制御部５４は、再生対象のオーディオデータ、即ち、所定の符号化方式で符号化・圧縮されたオーディオデータの圧縮方式を判別し、また、ファイル形式、サンプリング周波数、ビットレート、音楽ジャンルなどの制御情報と、ファイル名、アルバム名、プレーヤ名、演奏時間、等のテキスト情報とを特定する。

システム制御部５４は、制御情報、例えば、ファイル名の拡張子から、ファイルの符号化方式或いは圧縮形式を判別し、デコード部５２にデコード方式を指定する。デコード部５２は、セレクタ５１から供給されるオーディオデータをデコードして、ＰＣＭ信号に変換し、ＤＩＲ１３を介して、オーディオＤＳＰ１４に供給する。

また、システム制御部５４は、再生中のオーディオデータの制御情報とテキスト情報とをシステムマイコン１１に提供する。システムマイコン１１は、テキスト情報を表示制御マイコン２５に提供し、表示部２４に曲名、等を表示させる。

システムマイコン１１は、オーディオＤＳＰ１４の高域信号付加部６１にファイル形式、ビットレート、ジャンル情報などの制御情報を通知する。

高域信号付加部６１は、その制御情報に従って、ソースに格納されている符号化・圧縮されているオーディオデータに欠落している高音域の信号を生成して、ソースから再生されたオーディオ信号に付加し、より自然な音場を生成する。

より具体的に説明すると、ＤＩＲ１３からオーディオＤＳＰ１４に入力するＰＣＭデータが表すオーディオ信号は、例えば図６（ａ）にスペクトル分布の概略を示すように、元の音声のうち、周波数が一定値以上である成分が除去されたものに相当するスペクトル分布を有している。

ＤＩＲ１４から入力するＰＣＭデータが表すオーディオ信号の占有帯域の上限を示すこの一定値（図６（ａ）で「ｆＩＮ」として示す値）は、例えば、入力音声データがＭＰ３形式でビットレート１２８ｋｂｐｓで圧縮符号化されたデータからなっている場合は約１６キロヘルツであり、また、ＡＴＲＡＣ３形式のデータからなっている場合は、約１４キロヘルツである。

ＤＩＲ１４からのＰＣＭデータは、図３に示す高域信号付加部６１の遅延部７１及び混合部７４に供給され、システムマイコン１１からの制御用データは制御部７２に供給される。

遅延部７１は、ＰＣＭデータが供給されると、これを遅延させて加算部７７に供給する。

遅延部７７の遅延時間は、混合部７４に供給された信号が混合部７４、ＨＰＦ７５及び利得調整部７６での処理を経て加算部７７に供給されるまでに経過する時間の長さに等しい。また、遅延部７１から加算部７７に供給される遅延された信号（ＰＣＭデータが表現するアナログ信号）の位相と、利得調整部７６から加算部７７に供給される信号（ＰＣＭデータが表現するアナログ信号）の位相とは、加算部７７に同時に供給されるもの同士の間では、実質的に同相であるものとする。

制御部７２は、制御情報に基づいて、局部発振部７３が発生する局部発振信号の周波数を決定し、決定した周波数を示す情報を局部発振部７３に供給する。また、制御部７２は、制御情報に基づき、ＨＰＦ７５の通過帯域特性を決定し、決定した通過帯域特性を示す情報を、ＨＰＦ７５に供給する。

制御部７２は、具体的には、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ／Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリを更に備え、この不揮発性メモリが、帯域幅テーブルと、Ｑ値テーブルとを予め記憶する。

帯域幅テーブルは、入力音声信号の占有帯域の上限の値を、符号化方式或いは圧縮方式のそれぞれについて示しているデータを格納するテーブルである。Ｑ値テーブルは、ＨＰＦ７５のＱの値を、入力音声データが表す音楽のジャンル毎に指定するデータを格納するテーブルである。Ｑの値は、１程度から７程度までの範囲とする。

そして、制御部７２は、具体的には、以下（１）〜（４）として述べる処理を行う。

（１） まず、制御部７２は、制御情報が示す形式のオーディオデータの占有帯域の上限の値を、帯域幅テーブルを検索することにより特定する。

（２） 次に、制御部７２は、以下（ａ）及び（ｂ）として示す条件に合致するように、ＨＰＦ７５の通過帯域と、局部発振信号の周波数とを決定する。すなわち、図６（ｂ）及び（ｃ）に示すように、
（ａ） 局部発振信号の周波数ｆＯＳＣが、入力音声信号の占有帯域の上限の周波数ｆＩＮより低く、
（ｂ） ＨＰＦ７５の利得のピークの周波数ｆＰが、上述の周波数ｆＩＮより低く、且つ、周波数（ｆＩＮ−ｆＯＳＣ）より高い、
という関係が成り立つように、ＨＰＦ７５の通過帯域と、局部発振信号の周波数とを決定する。すなわち、ｆＩＮ、ｆＯＳＣ及びｆＰの各値の間には、次式の関係がある。
ｆＯＳＣ ＜ｆＩＮ
（ｆＩＮ −ｆＯＳＣ）＜ｆＰ ＜ｆＩＮ

ただし、音楽を表す信号は一般に、１０キロヘルツ以上の成分が、周波数が高くなるにつれて減衰しつつ数百ヘルツ程度の間隔で並ぶピークを多数含んだスペクトル分布を有する、という特徴を持つ。

このため、後述の処理によりこのような特徴のある成分を入力音声信号に追加して出力音声信号を生成するためには、図６（ｂ）に示すように、オーディオ信号のうち周波数が約１０キロヘルツ以上の成分（あるいは、１０キロヘルツ以上でなくとも、当該特徴のある成分）が、混合部７４の処理によって、周波数ｆＩＮ以上の帯域を占めるよう周波数変換されることが望ましい。このような周波数変換の結果を得るため、例えば、入力信号のうち当該特徴を有する部分が約１０キロヘルツ以上の周波数成分であれば、局部発振信号の周波数ｆＯＳＣは、（ｆＩＮ−１０ｋＨｚ）程度とされる。

（３） （２）の処理を行う一方、制御部７２は、制御情報が示す音楽のジャンルを検索キーとしてＱ値テーブルを検索することにより、ＨＰＦ７５がとるべきＱの値を決定する。

（４） そして、制御部７２は、上述の（ａ）の条件を満たすｆＯＳＣの値を示す情報を局部発振部７３に供給する。また、上述の（ｂ）の条件を満たすｆＰの値をＨＰＦ７５の通過帯域特性のピークの周波数として指定する情報、及び、上述の（３）の処理で決定したＱの値を指定する情報を、ＨＰＦ７５に供給する。

局部発振部７３は、制御部７２より局部発振信号の周波数を示す情報を供給されると、この情報が示す通りの周波数を有する局部発振信号を発生して混合部７４へと供給する。局部発振部７４は、例えば、ＩＩＲ（Ｉｎｆｉｎｉｔｅ
Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型のローパスフィルタより構成されている。ただし、このローパスフィルタのＱの値は実質上無限大に設定されているものとする。

局部発振部７３は、ほぼ正弦波である局部発振信号を生成する。

混合部７４は、遅延部７１に供給されたものと同一の信号を、遅延部７１と同時に供給される。そして、この信号と局部発振部７３が発生する局部発振信号とを混合することにより、入力音声信号と局部発振信号との積を表す信号を生成し、生成した信号をＨＰＦ７５に供給する。

混合部７４がＨＰＦ７５に供給する信号は、入力オーディオ信号の周波数と局部発振信号の周波数の和にあたる周波数を有する成分（和成分）、及び、入力音声信号と局部発振信号の周波数の差にあたる周波数を有する成分（差成分）を含んでいる。和成分のスペクトルは、図６（ｂ）に示すように、周波数ｆＯＳＣを下限とし周波数（ｆＩＮ＋ｆＯＳＣ）を上限とする帯域を占める。また、差成分のスペクトルは、図６（ｂ）に示すように、周波数（ｆＩＮ−ｆＯＳＣ）を上限とする帯域を占める。

ＨＰＦ７５は、混合部７４より供給された成分をフィルタリングして利得調整部７６に供給する。ＨＰＦ７５は、通過帯域特性の一例のグラフを図７に示すように、ＩＩＲ型のハイパスフィルタに相当する通過帯域特性を有しており、ピークを持ち、このピークより高周波側では、周波数が増大するにつれてＨＰＦ７５の減衰率は大きくなっている。そして、ＨＰＦ７５は、このピークの周波数及びＱの値を、制御部７２から供給される情報が示す値に調整する。Ｑの値が大きいほど、ＨＰＦ７５の通過帯域特性のピークは急峻となる。

混合部７４がＨＰＦ７５に供給する信号の和成分及び差成分は、上述の通り、図６（ｂ）に示すような帯域を占める。一方、ＨＰＦ７５の通過帯域特性のピークの周波数ｆＰは、（ｆＩＮ−ｆＯＳＣ）を超えｆＩＮ未満である。従って、ＨＰＦ７５は、図６（ｃ）に示すように、混合部７４が供給する信号のうち、周波数がｆＰ以上でｆＩＮ＋ｆＯＳＣ以下である和成分を通過させ、その他の成分を実質的に遮断する。ただし、上述の通り、ＨＰＦ７５は、通過帯域特性のピークより高周波側では周波数が増大するにつれ減衰率が大きくなっているので、ＨＰＦ７５を通過する和成分も、周波数が高い成分ほど減衰が大きくなる。

利得調整部７６は、ＨＰＦ７５から供給される信号を増幅して加算部７７に供給する。利得調整部７６の利得は、加算部７７が生成する後述の出力信号のスペクトルの包絡線が、周波数ｆＩＮの近傍で滑らかになるような値に設定される。この値は、例えば、実験などに基づいて設定される。

加算部７７は、遅延部７１から供給される遅延された信号と利得調整部７６から供給される信号との和を表す信号を生成して出力する。出力信号は、図６（ｄ）に示すように、入力信号に相当する成分と、追加された成分とからなっている。そして、追加された成分は、入力信号のうち周波数が所定値以上である成分を、当該所定値と入力音声信号の占有帯域の上限の周波数の差に相当する量だけ高周波側に周波数変換することで得られている。尚、符号化方式とビットレートの関係によっては、上述の補完処理を行う必要がない場合も存在する。たとえば、ＭＰ３形式で音声を圧縮符号化する場合であっても、ビットレートが２５６ｋｂｐｓでは音声が存在する上限周波数が２２ｋＨｚ程度になる。このような場合には、上述の補完処理を行うとかえって音質が劣化してしまうので、補完処理は行わないように制御される。他の圧縮方式を採用する場合でも同様で、ビットレートとの関係によって補完処理を実行するか否かが決定される。

入力音声信号が帯域を制限された信号である場合、元の音声信号から除去された成分は、元の音声信号のうち１０キロヘルツ以上の成分の高調波成分より構成されている可能性が高い。従って、入力音声信号が帯域を制限された信号である場合、出力音声信号は、帯域が制限される前の元の音声信号に近いものとなる。

また、出力音声信号のうち入力音声信号に追加された成分は、ＨＰＦ７５の通過帯域特性のピークより高周波側の成分であり、周波数が高い成分ほど大きな減衰を受けている。このため、出力音声信号のスペクトルは、周波数が高い成分ほど強度が小さくなるような、音声の典型的なスペクトルに近い自然な分布を示す。

また、局部発振信号の周波数やＨＰＦ７５の通過帯域特性は、制御情報が直接又は間接的に表している入力信号の占有帯域幅に従って変化するので、さまざまな占有帯域幅を有する入力信号に適切な音場の補完を行うことができる。

また、制御情報に含まれるジャンル情報に従って、ＨＰＦ７５のＱの値を変化させることにより、出力信号のうち入力音声信号に追加される高域成分の包絡線の形状が変化する。これを利用して、音楽のジャンルに適したスペクトル分布が与えられる。具体的には、制御部７２は、シンバル等、高音を発する音源が多用されるロックの場合はＱの値を低くして高域成分が減衰せず多く残るようにし、そのような音源が多用されないクラシックの場合はＱの値を高くして高域成分を大きく減衰させる。

なお、制御情報は、再生中のオーディオデータの符号化方式に応じて、占有帯域の上限の周波数の値を直接示すものであってもよい。

以上では、理解を容易にするため、信号処理の内容を、ＤＳＰが実現する機能に基づいて説明したが、実際には、所定のプログラムに従って、図８に示すように、ディジタルデータを順次処理することにより実現される。

まず、ＤＩＲ１３から入力された信号は、順次バッファに格納される。そして、システムマイコン１１からロードした制御情報に基づき、局部発振信号の周波数と、後述するステップＳ１５でのフィルタリングで得るべき通過帯域特性とを決定する（ステップＳ１１）。

入力データのうちから１サンプル分を取得する（ステップＳ１２）。また、ステップＳ１１で決定した周波数を有する局部発振信号の１サンプル分のデータを生成する（ステップＳ１３）。なお、ステップＳ１２では、まだステップＳ１２で取得していないもののうち先頭の１サンプル分を取得し、また、ステップＳ１３では、ステップＳ１３で最後に生成したデータより１サンプル分位相が遅れたデータ（ただし、初回のステップＳ１３の処理では任意の初期位相を有するデータ）を生成する。

次に、ステップＳ１２で取得したデータの値とステップＳ１３で生成した局部発振信号のサンプルの値との積を計算し（ステップＳ１４）、得られた積をフィルタリングする（ステップＳ１５）。

そして、ステップＳ１２で取得したデータの値とステップＳ１５でのフィルタリングの結果得られた値とを加算し（ステップＳ１６）、加算結果を示すデータを出力し（ステップＳ１７）、処理をステップＳ１２に戻す。

このような処理により、高域信号付加部６１からは、ＰＣ１８或いはメモリカード２０に格納されている符号化オーディオデータには欠落している高帯域成分が補完された信号が出力される。

オーディオＤＳＰ１４のリスニングモード処理部６２は、システムマイコン１１によって指定されたリスニングモード（モノラル、ステレオ、サラウンド等）応じて、入力オーディオ信号を処理し、アンプ部１５を介してスピーカ部１６から放音する。

このような構成とすれば、個々の楽曲データを高圧縮率で圧縮して記録媒体に格納することができ、画像と楽曲の組を多数記録させることができる。しかも、楽曲を高音質で再生することができる。

また、クライアント制御ＩＣ１２で取得した再生対象のオーディオ信号の符号化・圧縮方法を特定可能な制御情報を表示用のテキスト情報等と共にシステムマイコン１１に伝達し、システムマイコン１１から他の制御情報（リスニングモードを指定する情報）等を指定するためのルートを介してオーディオＤＳＰ１４に伝達し、オーディオＤＳＰ１４で高音域の補完処理を行うことができる。これにより、処理負担を分散させつつ、必要な制御情報を伝達することが可能となる。

尚、本発明は上記実施の形態で示したものに限定されず、様々な変形及び応用が可能である。例えば、高音域の補完の手法自体は任意である。また、制御情報の種類や内容も任意である。また、スライドショーとして静止画を順次切り換えて表示する場合を例に説明したが、動画を順次切り換えながら表示する場合にも同様に適用可能である。また、楽曲を順次再生する時に、画面に画像を再生するという主従を逆にした場合にも同様に適用可能である。画像と楽曲データとを対応付けるデータは、ＰＣ１８やメモリカード２０に格納するだけでなく、システムマイコン１１に記憶してもよい。

また、図９（ａ）に示すように、楽曲毎にリスニングモード（モノラル、ステレオ、サラウンド）等を任意に設定可能とし、クライアント制御ＩＣ１２が画像に応じてオーディオデータを読み出す際に、リスニングモードを特定するデータを読み出し、これをシステムマイコン１１を介してオーディオＤＳＰ１４のリスニングモード処理部６２に伝え、楽曲別のリスニングモードで再生するようにしてもよい。

さらに、図９（ｂ）に示すように、画像毎にリスニングモード等を任意に設定・リンク可能とし、クライアント制御ＩＣ１２が、画像データを読み出す際に、対応するリスニングモードを特定するデータを読み出し、これをシステムマイコン１１を介してオーディオＤＳＰ１４のリスニングモード処理部６２に伝え、楽曲別のリスニングモードで再生するようにしてもよい。この場合、例えば、個々の楽曲に設定されているリスニングモードよりも画像に設定されているリスニングモードを優位とする。楽曲に設定されているリスニングモードがモノラルで、画像に設定されているリスニングモードがステレオであり、楽曲データからステレオでの再生が可能な場合には、ステレオモードで再生する。

同様にして、楽曲毎に或いは画像毎に、楽曲（ＢＧＭ）のテンポや、リズム、効果音、楽器等を設定して、個々に再生するようにしてもよい。この際も、符号化或いは圧縮処理により欠落している周波数帯域の信号を生成して加算して再生することが望ましい。

また、例えば、表示している画像の切り換え時に、例えば、図１０に示すように、左から右に画像が流れるように徐々に画像を切り換えて表示するような演出を行う場合に、その時点の画像の画面上の表示割合を判別し、ＢＧＭの音量を調整する等してもよい。

例えば、図１０の例で、画像ｎが徐々に画像ｎ＋１に変化していく場合に、図１０（ａ）の状態では、画像ｎのＢＧＭが右のスピーカで強く、画像ｎ＋１のＢＧＭが左のスピーカーから若干流れ、徐々に画像ｎ＋１のＢＧＭの割合が大きくなり、図１０（ｂ）の状態では、画像ｎのＢＧＭが右のスピーカで流れ、画像ｎ＋１の画像のＢＧＭが左のスピーカーから流れるというように、画像（スライド）が画面内で示す位置や割合によってＢＧＭのボリュームやバランスを変化させてもよい。

例えば、画面を中心で左右２つに分け、左画面内の画像ｎと画像ｎ＋１の割合がｐ：ｑの場合には、左スピーカからの放音するＢＧＭは、画像ｎのＢＧＭの割合がｐで 画像ｎ＋１のＢＧＭの割合がｑとなるように、オーディオＤＳＰ１４で処理する。また、同様に、右画面内の画像ｎと画像ｎ＋１の割合がｐ：ｑの場合には、右スピーカから放音するＢＧＭは、画像ｎのＢＧＭの割合がｐで
画像ｎ＋１のＢＧＭの割合がｑとなるように、オーディオＤＳＰ１４で処理する。

このような構成とすれば、興趣に富んだＢＧＭが付与されたスライドショーが可能となる。
なお、映像とＢＧＭとを同期させるために、共通のタイマを用いて各画像の切り替わりからの経過時間を計測して、画面上の表示割合とＢＧＭの割合を求める。

同様にして、楽曲毎に或いは画像毎に、楽曲（ＢＧＭ）のテンポや、リズム、効果音、楽器等を設定して、個々に再生するようにしてもよい。この際も、符号化或いは圧縮処理により欠落している周波数帯域の信号を生成して加算して再生することが望ましい。

さらに、画像データや楽曲データを格納する記録媒体は、ハードディスク装置（ＰＣ１８）、メモリカード２０等に限定されず、ＤＶＤ（Digital
Versatile disc)、ＣＤ（Compact Disc)、ＭＯ（Magneto-Optical
disk)等、任意である。

本発明の実施の形態に係るコンテンツ再生システムの構成図である。 図１に示すコンテンツ再生システムのうち音場補完の処理に関連する部分の構成を詳細に示すブロック図である。 オーディオＤＳＰの音場補完部分の機能を示すブロック図である。 記録媒体に格納されている画像データ（画像ファイル）とオーディオデータ（オーディオファイル）との対応付けを説明するための図である。 図４に示すように対応付けられた画像と楽曲とを同期して再生するための手順を示すフローチャートである。 音場補完処理を説明するためのスペクトル図である。 図３に示すハイパスフィルタの通過帯域特性の一例のグラフである。 図３に示す音場補完処理のフローチャートである。 （ａ）は、楽曲毎にリスニングモードを設定・変更する場合の例、（ｂ）は、画像毎に、リスニングモードを設定・変更する場合の例を示す図である。 変形例を説明するための図である。 従来のオーディオシステムの構成図である。

符号の説明

１ コンテンツ再生装置
１１ システムマイコン
１２ クライアント制御ＩＣ
１３ ＤＩＲ
１４ オーディオＤＳＰ
１５ アンプ部
１６ スピーカ部
１７ キー制御部
１８ ＰＣ
１９ ルータ
２０ メモリカード
２１ スロット
２２ ＬＡＮ
２３ ＬＡＮコントローラ
２４ 表示部
２５ 表示制御マイコン
２６ ＬＡＮケーブル接続端子

Claims (5)

1. 画像データと圧縮オーディオデータを受信し、デコードしてそれぞれ出力するデコード手段と、
   デコード手段からの画像データを画像信号に変換して表示装置に出力する画像再生手段と、
   デコード手段からのオーディオデータを処理して再生すると共に圧縮により欠落している周波数帯域の信号を補完する音場補完処理を実行して、オーディオ信号を再生するオーディオ再生手段と、
   を備える、
   ことを特徴とするコンテンツ再生装置。
2. オーディオ再生手段は、オーディオデータの圧縮方式を判別し、判別した圧縮方式において、欠落している周波数帯域の信号を補完する音場補完処理を実行する、ことを特徴とする請求項１に記載のコンテンツ再生装置。
3. 前記オーディオ再生手段は、オーディオデータの圧縮方式及び／又はビットレートを判別し、判別した圧縮方式及び／又はビットレートに応じて、欠落している周波数帯域の信号を補完する音場補完処理を実行するか否かを決定する、
   ことを特徴とする請求項１又は２に記載のコンテンツ再生装置。
4. 画像データとオーディオデータとは互いに対応付けられており、前記オーディオ再生手段は、画像データの切り換えに応じて圧縮オーディオデータを切り換えることを特徴とする請求項１、２又は３に記載のコンテンツ再生装置。
5. 関連付けられている画像データと圧縮されたオーディオデータを受信し、
   画像データを再生して表示し、
   圧縮されたオーディオデータをデコードし、さらに、圧縮により欠落している周波数帯域の信号を補完して、オーディオ信号を再生し、
   表示している画像データと再生しているオーディオデータのいずれか一方が切り替わった時に、他方を切り替わった後の一方に対応するものに切り換える、
   ことを特徴とするコンテンツ再生方法。

Images