JP2013030967A - 音声信号再生装置 - Google Patents

Abstract

【課題】 そこで、本発明は、サラウンド音声に適合した専用の外部スピーカを用いることなく、ユーザに立体的な音声を視聴させることができる音声信号処理を提供することを目的とする。
【解決手段】 外部出力装置に前方のチャンネルの音声を出力するように送信手段を制御するとともに、後方のチャンネルの音声を出力するように音声出力手段を制御する。
【選択図】 図１

Description

本発明は、音声信号再生装置に関する。

従来、音声信号再生装置として、撮像装置が知られており、撮像装置には、動画データとともに音声データを、動画ファイルとして記録できる機能が搭載されている。また、撮像装置には、前述の撮影により得られた動画ファイルの動画を撮像装置本体に搭載されたモニタに表示させたり、動画ファイルの音声を撮像装置本体に搭載されたスピーカから出力させたりする機能も搭載されている。また、動画ファイルの動画を外部のモニタに表示させたり、動画ファイルの音声を外部のスピーカから出力させたりする機能も搭載されている。

また、近年、ビデオカメラ等の動画撮影に重点を置くカメラにおいては、従来のステレオ（２ｃｈ）の音声だけではなく、いわゆる５．１ｃｈ等のサラウンド音声を記録できるものも登場してきている（例えば、特許文献１）。

特開２００３−０１８５４３号公報

しかしながら、特許文献１のように、５．１ｃｈ等のサラウンド音声を記録できる撮像装置により撮像された動画ファイルを再生する際に、５．１ｃｈ等の音声を再生する環境が必要であった。具体的には、サラウンド音声のチャンネル数に合わせたスピーカがチャンネル数分必要であった。しかし、このようなスピーカを持たない場合、従来では、２ｃｈ音声の再生可能な、ユーザの前方に配置された外部のスピーカに音声を出力する際は、サラウンド音声の各チャンネルの音声を互いにミックスしたり演算したりして、例えば２ｃｈに減らして、２つのスピーカからステレオ音声として出力させていた。

そのため、特に、音響的な立体感をユーザに提供するために必要な、前方の音声と後方の音声とが、ミックスされて前方に配置された２つのスピーカから出力されてしまい、ユーザは立体的な音響を視聴することができなかった。

そこで、本発明は、サラウンド音声に適合した専用の外部スピーカを用いることなく、ユーザに立体的な音声を視聴させることができる音声信号処理を提供することを目的とする。

このような目的を達成するために、本発明の音声信号再生装置は、少なくとも前方のチャンネルと後方のチャンネルの音声を有する複数チャンネルの音声を再生する音声信号再生装置であって、外部音声出力装置に音声を送信する送信手段と、前記装置に内蔵され音声を出力する音声出力手段と、前記複数チャンネルの音声の出力先を制御する制御手段とを有し、前記制御手段は、前記外部出力装置に前記前方のチャンネルの音声を出力するように前記送信手段を制御するとともに、前記後方のチャンネルの音声を出力するように前記音声出力手段を制御することを特徴とする。

本発明によれば、例えば、５．１ｃｈ等のサラウンド音声を再生する場合に、サラウンド音声に適合した専用の外部スピーカを用いることなく、ユーザが立体的な音声を視聴させることができる。

実施例１の撮像装置の構成を示す図である。 サラウンド音声の再生環境を示す図である。 実施例１の撮像装置の接続例を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。

本実施例では、５．１ｃｈ等の複数チャンネルの音声を有する、サラウンド音声（視聴点に対して少なくとも前方と後方の音声がある音声）を再生することができる音声信号再生装置として、撮像装置を例にとって説明する。なお、音声のチャンネル数については、５．１ｃｈに限らず、それ以上のチャンネル数の音声であっても良い。

図２に、５．１ｃｈのサラウンド音声の各チャンネル音声と視聴位置の関係について一例を示す。図２においては、視聴位置２０１、フロントセンタースピーカ２１１、フロントレフトスピーカ２１２、フロントライトスピーカ２１３、サラウンドレフトスピーカ２１４、サラウンドライトスピーカ２１５、サブウーファー２１６が示されている。

５．１ｃｈサラウンド音声は、５チャンネルの通常帯域（例えば１００Ｈｚ〜２００００Ｈｚ）の音声と、低周波領域（例えば２０Ｈｚ〜１００Ｈｚ）の音声からなる。５．１ｃｈのうち、５ｃｈの通常帯域の音声は、以下からなる。
・フロントセンタースピーカ２１１から出力されるフロントセンターチャンネル（ＦＣｃｈ）。
・フロントレフトスピーカ２１２から出力されるフロントレフトチャンネル（ＦＬｃｈ）。
・フロントライトスピーカ２１３から出力されるフロントライトチャンネル（ＦＲｃｈ）。
・サラウンドレフトスピーカ２１４から出力されるサラウンドレフトチャンネル（ＳＬｃｈ）。
・サラウンドライトスピーカ２１５から出力されるサラウンドライトチャンネル（ＳＲｃｈ）。
そして、０．１ｃｈの低周波領域の音声は、
・サブウーファー２１６から出力されるサブウーファチャンネル（ＳＷｃｈ）。

５．１ｃｈのサラウンド音声は、このように複数のチャンネルの音声から成る。本実施例では、各チャンネルの音声の名称を上述した用語を用いて説明する。

本実施例の撮像装置は、動画記録時に、撮像された画像データから動画データを生成し、同時にマイクにより集音された複数の音声信号からサラウンド音声を示す音声データを生成し、これらの動画データと音声データとを一つの動画ファイルとして記録することができる。

また、本実施例の撮像装置は、サラウンド音声を含む動画ファイルを再生する際に、外部スピーカに音声を送信して外部スピーカ（外部音声出力装置）から出力させる機能を有する。さらに、外部スピーカに音声を出力させるとともに、撮像装置本体に搭載されたスピーカから音声を出力する機能も有する。なお、動画ファイルの動画については、撮像装置本体に搭載されたモニタで表示させることも、外部のモニタに表示させることもできる。

特に、本実施例の撮像装置は、外部のスピーカに対して音声を出力する際には、外部スピーカに出力させる音声のチャンネルと、内蔵スピーカに出力させる音声のチャンネルとを選択することができる。例えば、外部スピーカに対しては、上述したＦＬｃｈ、ＦＲｃｈを含む音声を送信し、内蔵スピーカからは、ＳＬｃｈ、ＳＲｃｈの音声を出力する。

以下、このような撮像装置について説明する。

まず、本実施例の撮像装置の基本的な動作について、図１を用いて説明する。

図１は、本実施例の撮像装置１００の構成を示す機能ブロック図である。

図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）等からなり、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部１０１は、ＣＰＵやメモリからなるマイクロコンピュータであってもよい。

操作部１０２は、例えば、電源ボタン、記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を備え、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。

バス１０３は、各種データ、制御信号、指示信号などを撮像装置１００の各ブロックに送るための汎用バスである。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、メモリ１０４に送信し、一時的に記憶させる。

画像処理部１１１は、画像の記録再生に必要な処理を実行するもので、下記の処理を実行するプログラムを搭載したマイクロコンピュータである。また、制御部１０１の一部の機能として下記の処理を実行するものであってもよい。画像処理部１１１は、撮像部１１０により取得され、メモリ１０４に記憶されたデジタル画像信号に対し、ホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から判定した設定値に基づいて調整する画質調整処理を行う。

また、画質調整処理された複数のフレームの画像信号から動画データを生成する処理を行う。ここで、本実施例の画像処理部１１１は、動画データの各フレームをフレーム内符号化して圧縮符号化された動画データを生成しても良い。また、動画データの複数のフレーム間での差分や動き予測などを利用して圧縮符号化された動画データを生成してもよい。たとえばＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ ＡＶＣ）、等の様々な公知の圧縮符号化方式の動画データを生成することができる。一般に、フレーム内符号化されたフレーム画像データをＩピクチャーと呼び、前方のフレームとの差分を用いてフレーム間符号化された画像データをＰピクチャーと呼び、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをＢピクチャーと呼ぶ。これらの圧縮方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、画像処理部１１１は、画質調整処理された画像信号から静止画データを生成する処理を実行することができる。静止画データを生成する際には、ＪＰＥＧ等の一般的な圧縮符号化方式を用いるが、これらの圧縮符号化方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。なお、静止画データについては、撮像部１１０により得られたデジタル画像信号をそのまま記録する、いわゆるＲＡＷ画像データとしてもよい。

画像処理部１１１で生成された動画データ、静止画データは、メモリ１０４の前述したデジタル画像信号が記憶されている領域以外の領域に記憶される。なお、本実施例においては、撮像部１１０により得られたデジタル画像信号と、画像処理部１１１で生成された動画データ、静止画データは、同一のメモリ１０４に記憶されるものとして説明するが、別のメモリであっても良い。

音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、取得したアナログ音声信号をデジタル信号に変換してメモリ１０４に送信し、一時的に記憶させる。

音声処理部１２１は、音声の記録再生に必要な処理を実行するもので、下記の処理を実行するプログラムを搭載したマイクロコンピュータである。また、制御部１０１の一部の機能として下記の処理を実行するものであってもよい。音声処理部１２１では、音声入力部１２０により取得され、メモリ１０４に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行う。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。

音声処理部１２１で生成された音声データは、メモリ１０４に再び記憶される。

本実施例においては、音声処理部１２１は、音声入力部１２０から入力された音声信号に基づいて、モノラル音声（１ｃｈ）、ステレオ音声（２ｃｈ）、サラウンド音声（４ｃｈ、５．１ｃｈ等）を生成することができる。本実施例においては、サラウンド音声として、５．１ｃｈの音声を取り扱う。５．１ｃｈの音声として、図２を用いて説明した、ＦＣｃｈ、ＦＬｃｈ、ＦＲｃｈ、ＳＬｃｈ、ＳＲｃｈ、ＳＷｃｈの６つのチャンネルの音声を生成するものとする。

なお、サラウンド音声を生成する方法は、公知の技術であるが、例えば、音声入力部１２０に備えられた４つの無指向性のマイクにより得られたデジタル音声信号を用いて演算を行う。演算は、例えば第１のマイクにより得られた音声信号の位相を遅らせ、第１とは別の第２のマイクの音声信号との差分をとる演算により、特定の方向の指向性を持った音声を仮想的に生成することができることを利用する。この演算を繰り返すことにより、図２に示したような５方向の指向性を持った音声を取得する。また、０．１ｃｈであるＳＷｃｈの音声については、デジタル音声信号のいずれか一つの１００Ｈｚ以下の音声をローパスフィルタなどを用いて抽出することにより取得する。ここで示した演算方法は一例であり、公知の演算方法であればどのような方法でサラウンド音声を生成しても良い。

また、音声処理部１２１は、再生されたステレオ音声やサラウンド音声を内蔵スピーカ１２２から出力させることもできる。内蔵スピーカがステレオスピーカである場合には、ステレオ音声については、各スピーカにＬｃｈ、Ｒｃｈの音声を出力させる。また、サラウンド音声については、５．１ｃｈの音声を公知のダウンミックス演算式にしたがって、ステレオ音声に変換して、各スピーカに音声を出力させる。

また、音声処理部１２１は、後述の出力部１５０に外部スピーカ１６０が接続されている場合には、制御部１０１の指示により、サラウンド音声を公知のダウンミックス演算式を使用せずに再生する。具体的には後述するが、この場合には内蔵スピーカ１２２から音声を出力させるとともに、出力部１５０を介して、外部スピーカにも音声信号を送信し、外部スピーカから音声を出力させることができる。

また、表示制御部１３１は、表示部１３０に画像を表示するための表示制御を行うマイコンであって、メモリ１０４に一時的に記憶されたデジタル画像信号を読み出して、表示部１３０に表示させる。表示部１３０は、たとえば撮像装置１００に搭載された液晶パネルや有機ＥＬパネル等であっても良いし、撮像装置１００とは別の表示装置（たとえば、テレビ、モニタ、プロジェクタ）であってもよい。

そして、記録を行う場合には、制御部１０１は、メモリ１０４に記憶された動画データ、音声データ等を読み出して記録再生部１４０に転送し、記録再生部１４０は、転送された動画データ、音声データを記録媒体１４１に記録する。記録再生部１４０は、動画データと音声データを一つの動画ファイルとして記録媒体１４１に記録する。このとき、撮影時のカメラ設定や、検出データ等を示す各種データを制御部１０１が生成し、動画データ、音声データとともに記録媒体１４１に記録しても良い。ここで、記録媒体１４１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。また、静止画ファイルを記録する場合には、メモリ１０４に記憶された静止画データを読み出して、記録再生部１４０に転送し、記録再生部１４０は、転送された静止画データを記録媒体１４１に静止画ファイルとして記録する。

また、記録再生部１４０は、記録媒体１４１に記録された動画ファイル等を読み出す（再生する）。そして、制御部１０１は、たとえば読み出した動画ファイルに含まれる動画のヘッダ情報を読み出し、そのヘッダ情報に基づいて、再生すべき動画データ、音声データを記録媒体１４１から読み出すように記録再生部１４０を制御する。記録再生部１４０は、読み出した動画データを画像処理部１１１へ、再生した音声データを音声処理部１２１にそれぞれメモリ１０４を介して転送する。

画像処理部１１１は、再生した動画データの１フレームの画像を順次、メモリ１０４に記憶する。そして、表示制御部１３１は、メモリ１０４に記憶された１フレームの画像を順次読み出して、表示部１３０に表示する。一方、音声処理部１２１は、再生した音声データからデジタル音声信号を復号し、アナログ信号へ変換してアナログ音声信号を内蔵スピーカ１２２に転送して、音声を出力させたり、出力部１５０を介して外部スピーカ１６０に送信して外部スピーカ１６０により音声を出力させたりする。

また、静止画を再生する場合には記録再生部１４０は、記録媒体１４１に記録された静止画ファイル等を読み出す（再生する）。そして、制御部１０１は、読み出した静止画ファイルに含まれる静止画データを画像処理部１１１に送信し、画像処理部１１１は、静止画データの画像をメモリ１０４に記憶する。そして、表示制御部１３１は、メモリ１０４に記憶された１フレームの画像を順次読み出して、表示部１３０に表示する。

また、通信部１５１は、外部装置とデータの送受信を行うものであり、有線接続、無線接続を問わず接続可能である。

本実施例の撮像装置１００は、一例として、「ＱｕｉｃｋＴｉｍｅ（登録商標）フォーマット」で動画ファイルを記録するものとするが、どのようなフォーマットであっても良い。

なお、本実施例では記録媒体１４１のファイル管理システムは組み込み機器で一般的に使用されているＦＡＴファイルシステムを使用するものとして説明をする。ＦＡＴファイルシステムの技術自体は広く公知であるので、本実施例の特徴的な動作でのみその説明をする。また、ＦＡＴファイルフォーマットであるＮＴＦＳフォーマットやｅｘＦＡＴフォーマットなどを用いても良い。

ここで、本実施例の撮像装置１００の通常の動作について説明する。

本実施例の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、「静止画撮影モード」、「動画撮影モード」、「再生モード」等のどのモードであるかを操作部１０２からの指示信号により確認する。

「静止画撮影モード」では、撮像装置１００は撮影待機状態でユーザが操作部１０２の静止画記録ボタンを操作することで撮影を行い、静止画ファイルが記録媒体１４１に記録される。そして再び撮影待機状態になる。「動画撮影モード」では、撮像装置１００は撮影待機状態でユーザが操作部１０２の動画記録開始ボタンを操作することで撮影を開始し、その間、動画データと音声データとが記録媒体１４１に記録される。そしてユーザが操作部１０２の動画記録終了ボタンを操作することで撮影を終了し、記録媒体１４１に記録していた動画データと音声データとを動画ファイルとして完成させる。その後、再び撮影待機状態になる。「再生モード」では、ユーザが選択したファイルに関する静止画ファイルや動画ファイルを記録媒体１４１から再生して、静止画や、動画、音声を出力する。

まず、「静止画撮影」モードについて説明する。操作部１０２により静止画撮影モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。

撮影待機状態では、表示制御部１３１はメモリ１０４に一時的に記憶されたデジタル画像信号を読み出し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部１０１は撮影制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、メモリ１０４に一時的に記憶する。画像処理部１１１は、メモリ１０４に記憶されたデジタル画像信号に対し、画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。そして、画像処理部１１１で処理されたデジタル画像信号は、表示制御部１３１により読み出されて、表示部１３０に表示される。ここで、表示部１３０に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。

そして、画像処理部１１１は、メモリ１０４に一時的に記憶された画像信号を読み出して所定の符号化を行い、静止画データを生成（静止画取得）し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、静止画データを静止画ファイルとして記録媒体１４１に書き込んでいく。

なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、「動画撮影モード」について説明する。操作部１０２により動画撮影モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。

撮影待機状態では、表示制御部１３１は、メモリ１０４に順次記憶されるデジタル画像信号を読み出して表示部１３０表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、メモリ１０４に順次記憶していく。画像処理部１１１は、メモリ１０４に一時的に記憶されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。表示制御部１３１は、メモリ１０４に記憶された画像調整処理の施されたデジタル画像信号を読み出して表示部１３０に表示させる。

一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号をメモリ１０４に記憶していく。音声処理部１２１は、前述したように、メモリ１０４に記憶されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。なお、音声信号を圧縮する場合には、音声処理部１２１により、圧縮処理が実行される。

そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号、音声信号を読み出して所定の符号化を行い、動画データ，音声データ等を生成する。そして、制御部１０１は、これらの動画データ、音声データを合成し、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号を画像処理部１１１で生成された動画データとともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。

以上の動作を撮影中は継続する。

また、撮影の間、ユーザによる操作部１０２の操作に応じて、または画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。

また、同様に撮影の間、ユーザにより操作部１０２のズームキーを操作することで、制御部１０１により、撮像部１１０の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１により、撮像部１１０の「光学防振」機能や、画像処理部１１１の「電子防振」機能が動作している。

そして、ユーザが操作部１１０の動画記録終了ボタンを操作することにより撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１１１、音声処理部１２１は、メモリ１０４に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、動画データ、音声データ等を生成する。

制御部１０１は、これらの最後の動画データ、音声データとして、データストリームを形成し、記録再生部１４０に出力する。音声を圧縮しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と、動画データとを記録再生部１４０に出力する。

記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。そして、データストリームの供給が停止したら、制御部１０１はサムネイルを生成するために以下のような動作をさせるように制御する。

その後、記録再生部１４０は記録媒体１４１に記録した動画ファイルの先頭フレームの動画データを読み出し、画像処理部１１１に送信する。画像処理部１１１は、動画データを一時的にメモリ１０４に記憶させ、所定の手順で復号する。次に画像処理部１１１は得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部１０１はサムネイル用圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。

制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、「再生モード」について説明する。操作部１０２により再生モードが設定されると、制御部１０１は、記録再生部１４０を制御して、撮像装置１００の各ブロックを記録媒体１４１に記録された、動画ファイルや静止画ファイルに関する情報を読み出させ、さらに各動画ファイルや静止画ファイルの代表画像を記録媒体１４１から読み出させる。制御部１０１は、読み出させた代表画像を表示制御部１３１に送り、表示部１３０に表示させる。

表示部１３０に表示された代表画像は、操作部１０２を介してのユーザの操作によって、選択可能な状態で表示される。そして、ユーザの操作によって、代表画像が選択されると選択された代表画像の示す動画ファイルまたは静止画ファイルを読み出して、画像や音声を出力する。そのために、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部１０１は読み出された圧縮画像信号、圧縮音声信号を、画像処理部１１１及び音声処理部１２１に送る。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信してもよい。

画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして制御部１０１は、復号化した画像信号を表示制御部１３１に送信する。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示させる。また、制御部１０１は、音声処理部１２１によって復号された音声信号を内蔵スピーカ１２２に転送して出力させたり、出力部１５０を介して外部スピーカ１６０に音声信号を送信して出力させたりする。

ここで、本実施例の撮像装置１００の再生環境の一例について説明する。

図３は、本実施例の撮像装置１００と、外部のステレオスピーカを接続して、サラウンド音声を出力する際の接続状態を示す構成図である。

図３において、３０１は視聴者を示す。また、モニタ３１０は、撮像装置１００の不図示の動画出力部から出力された動画を表示するためのもので、例えばテレビやモニタである。本実施例においては、視聴者の前方にモニタ３１０、左前と右前にスピーカが配置されており、また、視聴者の後方に撮像装置本体が配置されている。

本実施例の撮像装置１００は、例えば、図３のような配置にした場合に、視聴者に立体的な音声を視聴させることができる。

本実施例の撮像装置１００は、このような配置で音声を再生することを想定している。そのため、このような配置では、右前のスピーカ１６０Ｒから、ＦＲｃｈの音声を出力させ、左前のスピーカ１６０Ｌから、ＦＬｃｈの音声を出力させ、撮像装置本体の内蔵スピーカにおいては、右のスピーカ１２２ＲからはＳＲｃｈの音声を、左のスピーカ１２２ＬからはＳＬｃｈの音声を出力させる。

具体的には、本実施例の撮像装置１００の制御部１０１は、「再生モード」において、２ｃｈの外部スピーカ１６０の接続されている状態で音声を再生する場合には、表１に示すように、内蔵スピーカ１２２から出力させる音声と、外部スピーカ１６０に出力させる音声を選択する。制御部１０１は、表１のうち、いずれかのセットを自動的に選択し、ユーザの指示により、いずれか別のセットを選択できるようにしている。すなわち、制御部１０１は、各チャンネルの音声についての出力先を指定することができる。

特に表１においては、外部スピーカに対して前方のチャンネルの音声であるＦＬｃｈ、ＦＲｃｈを含む音声を出力させるようにし、内蔵スピーカにおいて、後方のチャンネルの音声であるＳＬｃｈ、ＳＲｃｈを含む音声を出力させるように設定することができるようにしている。また、逆に外部スピーカが後方にある場合にも対応するために、外部スピーカに対して後方のチャンネルの音声であるＳＬｃｈ、ＳＲｃｈを含む音声を出力させるようにし、内蔵スピーカにおいて、前方のチャンネルの音声であるＦＬｃｈ、ＦＲｃｈを含む音声を出力させるように設定することができるようにしている。

また、前述した表１の例では、内蔵スピーカ１２２がステレオである例について説明したが、内蔵スピーカがモノラルである場合には、制御部１０１は、表２に示すように、内蔵スピーカ１２２から出力させる音声と、外部スピーカ１６０に出力させる音声を選択するようにしてもよい。

特に、表２においては、外部スピーカに対して前方のチャンネルの音声であるＦＬｃｈ、ＦＲｃｈを含む音声を出力させるようにし、内蔵スピーカにおいて、後方のチャンネルの音声であるＳＬｃｈ、ＳＲｃｈを含む音声を出力させるように設定することができるようにしている。また、逆に外部スピーカが後方にある場合にも対応するために、外部スピーカに対して後方のチャンネルの音声であるＳＬｃｈ、ＳＲｃｈを含む音声を出力させるようにし、内蔵スピーカにおいて、前方のチャンネルの音声であるＦＬｃｈ、ＦＲｃｈを含む音声を出力させるように設定することができるようにしている。

すなわち、本実施例の撮像装置１００の制御部１０１は、２ｃｈの外部スピーカ１６０を接続した状態でサラウンド音声の再生する場合には、外部スピーカ１６０に対して、サラウンドの前方に関する音声を出力させ、内蔵スピーカ１２２には、サラウンドの後方に関する音声を出力させる。または、外部スピーカ１６０に対して、サラウンドの後方に関する音声を出力させ、内蔵スピーカ１２２には、サラウンドの前方に関する音声を出力させる。

本実施例の撮像装置１００は、このような音声再生を行うことにより、ユーザに立体的な音声を視聴させることができるのである。

また、本実施例においては、撮像装置１００と外部スピーカ１６０との間に視聴者であるユーザがいる場合に適した例について説明したが、撮像装置１００と外部スピーカ１６０がユーザに対して前方に配置されていても良い。

このような場合には、本実施例の撮像装置１００の制御部１０１は、ユーザの指示により、内蔵スピーカ１２２から出力させる音声を、音声処理部１２１に加工させる。音声処理部１２１は、擬似的にＳＲｃｈ、ＳＬｃｈの音声をユーザ後方に定位させる処理を行う。この方法の一つは、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：頭蓋伝達関数）を用いた方式などの公知の方法を用いることができる。これは、人間の頭蓋が音の伝播や方向をどのように知覚しているかを演算し、あたかも、音がスピーカ設置場所以外から届いているがごとく音場を操作する技術である。

音声処理部１２１は、ユーザにより、撮像装置１００と外部スピーカ１６０がユーザに対して前方に配置されていていることが入力されると、外部スピーカに対しては、本実施例で説明したように、ＦＲｃｈ、ＦＬｃｈの音声を出力する。そして、内蔵スピーカ１２２からは、ＳＲｃｈ、ＳＬｃｈの音声を出力させるが、このときに、制御部１０１は音声処理部１２１に、前述した音声をユーザ後方に定位させるための処理を施して出力する。

このような処理を行うことによっても、本実施例の撮像装置１００は、ユーザに立体的な音声を視聴させることができるのである。

また、本実施例においては、接続された外部スピーカ１６０から前方または後方の音声を出力させ、内蔵スピーカ１２２からは、後方または前方の音声を出力させる例について説明した。しかし、例えば、撮像装置１００の充電のための充電装置にスピーカを搭載させ、通信部１５０から、内蔵スピーカから出力させていた音声信号を充電装置のスピーカに送信して出力させても良い。

これは、撮像装置１００の内蔵スピーカ１２２の出力が小さい場合にも、ユーザに対して前後の音声のバランスのとれた音声を聞かせるためである。そのために、充電装置のスピーカは、家庭用ＡＣ電源から電源を取得し、高出力で音声を出力することができるようになっている。

このような処理を行うことによっても、本実施例の撮像装置１００は、ユーザに立体的な音声を視聴させることができるのである。

なお、本実施例の撮像装置１００は、出力部１５０に外部スピーカ１６０が接続されているか否かを検知する機構が内蔵されていても良い。そうすると、たとえばサラウンド音声を外部スピーカ１６０と、内蔵スピーカ１２２とで出力している最中に、外部スピーカ１６０が出力部１５０に接続されなくなった場合に検知が可能である。制御部１０１は、このような状態を検知すると、内蔵スピーカ１２２のみにより音声を出力する。その場合には前述したように、サラウンド音声を２ｃｈにダウンミックスして内蔵スピーカから出力させるように音声処理部１２１を制御する。なお、ユーザにより内蔵スピーカ１２２の出力を停止された時も同様に、ダウンミックスした音声信号を外部スピーカ１６０から出力させるようにしても良い。

本実施例では、撮像装置について説明したが、音声信号を再生することができ、素ピー−化を内蔵した装置であればどのような装置であってもよい。例えば撮像装置としては、一般的なコンパクトデジタルカメラ、デジタル一眼カメラ、ビデオカメラ、携帯電話が含まれる。また、撮像機能が無くとも、音声再生機能を有するＩＣレコーダなどであっても良いし、パーソナルコンピュータであっても良い。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (5)

1. 少なくとも前方のチャンネルと後方のチャンネルの音声を有する複数チャンネルの音声を再生する音声信号再生装置であって、
   外部音声出力装置に音声を送信する送信手段と、
   前記装置に内蔵され音声を出力する音声出力手段と、
   前記複数チャンネルの音声の出力先を制御する制御手段とを有し、
   前記制御手段は、前記外部音声出力装置に前記前方のチャンネルの音声を出力するように前記送信手段を制御するとともに、前記後方のチャンネルの音声を出力するように前記音声出力手段を制御することを特徴とする音声信号再生装置。
2. 前記複数チャンネルの音声のうち後方のチャンネルの音声を仮想的に視聴者の後方に定位させる演算を行う演算手段を有し、
   前記制御手段は、前記外部音声出力装置に前記前方のチャンネルの音声を出力するように前記送信手段を制御するとともに、前記演算手段により演算された音声を出力するように前記音声出力手段を制御することを特徴とする請求項１記載の音声信号再生装置。
3. 前記制御手段は、前記送信手段が前記外部音声出力装置に前記前方のチャンネルの音声を出力し、前記音声出力手段が前記後方のチャンネルの音声を出力しているときに、前記外部音声出力装置または前記音声出力手段により音声の出力ができなくなると、前記複数チャンネルの音声をダウンミックスして、音声の出力ができる前記外部音声出力装置または前記音声出力手段にダウンミックスした音声を出力させることを特徴とする請求項１記載の音声信号再生装置。
4. 少なくとも前方のチャンネルと後方のチャンネルの音声を有する複数チャンネルの音声を再生する音声信号再生装置であって、
   外部音声出力装置に音声を送信する送信手段と、
   前記装置に内蔵され音声を出力する音声出力手段と、
   前記複数チャンネルの音声の出力先を制御する制御手段とを有し、
   前記制御手段は、前記外部音声出力装置に前記後方のチャンネルの音声を出力するように前記送信手段を制御するとともに、前記前方のチャンネルの音声を出力するように前記音声出力手段を制御することを特徴とする音声信号再生装置。
5. 前記制御手段は、前記送信手段が前記外部音声出力装置に前記前方のチャンネルの音声を出力し、前記音声出力手段が前記後方のチャンネルの音声を出力しているときに、前記外部音声出力装置または前記音声出力手段により音声の出力ができなくなると、前記複数チャンネルの音声をダウンミックスして、音声の出力ができる前記外部音声出力装置または前記音声出力手段にダウンミックスした音声を出力させることを特徴とする請求項４記載の音声信号再生装置。

Images