JP2009065319A - 画像音声記録装置及び画像音声再生装置 - Google Patents

Abstract

【課題】 良好な臨場感をもって録音又は再生を行うようにする。
【解決手段】 画像音声記録装置（１０）は、画角を変更可能な光学系（１１）と、前記光学系を介して被写体（１２）を撮像し該被写体の画像信号を生成する撮像手段（１４）と、前記被写体の音声を録音する録音手段（２４）と、前記光学系の画角を検出する画角検出手段（２２）と、前記画角検出手段で検出された画角に応じて前記録音手段の録音音量を調整する音量調整手段（２７）とを備える。
【選択図】 図１

Description

本発明は、画像音声記録装置及び画像音声再生装置に関し、詳細には、被写体を撮影してその画像を記録すると共に音声も記録又は再生する画像音声記録装置及び画像音声再生装置に関する。

少なくとも左右一対のマイクで拾った音声を左チャンネル音声信号及び右チャンネル音声信号として記録することをステレオ方式の音声記録という。この方式では、音声の再生時に左右のスピーカから左チャンネル音声信号と右チャンネル音声信号とを拡声出力するので、音源に拡がりを持たせて臨場感に富む音声再生を行うことができる。

ここで、ステレオ方式の音声記録を行う画像音声記録装置にあっては、上記のように、音源に拡がりを持たせて臨場感に富む音声再生を行うことができる点で有益であるが、とりわけ、小型化された画像音声記録装置、たとえば、携帯型のビデオカメラなどにあっては、小型化ゆえに、左右のマイクの間隔を広げることができず（多くの場合、数センチメートル程度しか離れていない。）、必要充分なステレオ効果が得られないという欠点があった。

かかる欠点を解消する従来技術としては、たとえば、下記の特許文献１に記載のものが知られている。この従来技術の要旨は、撮像部によって撮像された画像信号から動きベクトルを検出し、この動きベクトルから判断して、画像の有力な移動方向の音量が大きくなるように左右のマイクからの音量を調整するというものである。より詳細には、画像が左方向に移動しているときには左マイクの音量が大きくなるように、また、画像が右方向に移動しているときには右マイクの音量が大きくなるように調整するというものであり、要するに、被写体の動き方向と同方向のマイクの音量を大きくするというものである。

特開２００４−１４７２０５号公報

しかしながら、前記の従来技術にあっては、被写体の動き方向と同方向のマイクの音量を大きくするように調整するため、画像の左右方向への動きについては相応のステレオ効果が得られるものの、それ以外の方向への動きについては、依然として必要充分なステレオ効果が得られないという問題点がある。

そこで、本発明の目的は、良好な臨場感をもって録音又は再生を行うことができる画像音声記録装置及び画像音声再生装置を提供することにある。

請求項１記載の発明は、被写体を撮像し該被写体の画像信号を生成する撮像手段と、前記撮像手段で撮像する画角を設定する画角設定手段と、前記被写体の音声を録音する録音手段と、前記画角設定手段で設定した画角を検出する画角検出手段と、前記画角検出手段で検出された画角に応じて前記録音手段の録音音量を調整する音量調整手段とを備えたことを特徴とする画像音声記録装置である。
請求項２記載の発明は、前記音量調整手段は、前記画角検出手段で検出された画角が小さくなるほど、前記録音手段の録音音量を大きくするように調整することを特徴とする請求項１記載の画像音声記録装置である。
請求項３記載の発明は、被写体を撮像して該被写体の画像信号を生成する撮像手段と、前記被写体の音声を録音する録音手段と、前記撮像手段の前後方向の移動を検出する移動検出手段と、前記移動検出手段によって前後方向の移動が検出されたときには、その検出結果に応じて前記録音手段による録音音量を調整する音量調整手段とを備えたことを特徴とする画像音声記録装置である。
請求項４記載の発明は、前記録音手段は、左右のマイクを用いて録音を行うものであり、前記移動検出手段は、前記撮像手段の左右方向の移動をも検出するものであり、前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整すると共に、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を小さくするように調整する左右音量バランス調整手段を備えることを特徴とする請求項３記載の画像音声記録装置である。
請求項５記載の発明は、前記音量調整手段は、前記移動検出手段によって検出された移動方向が前方方向へ移動の場合に、前記録音音量を大きくするように調整することを特徴とする請求項３記載の画像音声記録装置である。
請求項６記載の発明は、被写体を撮像して該被写体の画像信号を生成する撮像手段と、前記被写体の音声を少なくとも前後のマイクを用いて録音する録音手段と、前記撮像手段の前後方向の移動を検出する移動検出手段と、前記移動検出手段によって前後方向の移動が検出されたときには、その検出結果に応じて前記録音手段による前後の録音音量バランスを調整する前後音量バランス調整手段とを備えたことを特徴とする画像音声記録装置である。
請求項７記載の発明は、前記録音手段は、更に左右のマイクを用いて録音を行うものであり、前記移動検出手段は、前記撮像手段の左右方向の移動をも検出するものであり、前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整すると共に、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を小さくするように調整する左右音量バランス調整手段を備えることを特徴とする請求項６記載の画像音声記録装置である。
請求項８記載の発明は、前記前後音量バランス調整手段は、前記移動検出手段によって検出された移動方向と同方向のマイクの録音音量を大きくするように調整することを特徴とする請求項６記載の画像音声記録装置である。
請求項９記載の発明は、被写体を撮像して該被写体の画像信号を生成する撮像手段と、前記被写体の音声を左右のマイクを用いて録音する録音手段と、前記撮像手段の左右方向及び上下方向の移動を検出する移動検出手段と、前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整する左右音量バランス調整手段と、前記移動検出手段によって上下方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のトータル録音音量を調整するトータル音量調整手段とを備えたことを特徴とする画像音声記録装置である。
請求項１０記載の発明は、前記左右音量バランス調整手段は、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を大きくするように調整することを特徴とする請求項９記載の画像音声記録装置である。
請求項１１記載の発明は、前記トータル音量調整手段は、前記移動検出手段によって検出された移動方向が上方向へ移動の場合に、前記トータル録音音量を大きくするように調整することを特徴とする請求項９記載の画像音声記録装置である。
請求項１２記載の発明は、前記左右方向は、鉛直軸周りの左右回転方向を含むことを特徴とする請求項９記載の画像音声記録装置である。
請求項１３記載の発明は、前記上下方向は、水平軸周りの上下回転方向を含むことを特徴とする請求項９記載の画像音声記録装置である。
請求項１４記載の発明は、被写体を撮像し該被写体の画像信号を生成する撮像手段と、前記撮像手段で撮像する画角を設定する画角設定手段と、前記被写体の音声を録音する録音手段と、前記画角設定手段で設定した画角を検出する画角検出手段と、前記画角検出手段で検出された画角に応じて前記録音手段による録音を再生する際の再生音量を調整する調整データを生成する音量調整データ生成手段と、前記録音手段による録音データと、前記音量調整データ生成手段による音量調整データを関連付けて保存するデータ保存手段と、を備えたことを特徴とする画像音声記録装置である。
請求項１５記載の発明は、画像音声記録装置により撮影された被写体の画像信号と、同じく前記画像音声記録装置により、この画像信号と関連付けて記録された音声信号と、この画像信号又は音声信号と関連付けられた、前記画像信号の記録時の前記画像音声記録装置の前記撮影画角検出情報と、を取得する取得手段と、前記取得手段により取得された前記画像音声記録装置の撮影画角検出情報に基づき、前記音声信号の音量を変更する変更手段と、前記変更手段により変更した音量で、前記取得手段で取得した音声信号を再生する音声再生手段と、前記音声再生手段による前記音声信号お再生と関連付けて、前記取得手段で取得した画像信号を再生する画像再生手段と、を備えることを特徴とする画像音声再生装置である。

本発明では、良好な臨場感をもって記録を行うことができる画像音声記録装置を提供することができる。

以下、本発明の実施形態を図面を参照しながら説明する。
図１は、本実施形態に係る画像音声記録装置の概念構成図である。この図において、画像音声記録装置１０は、ズーム機能付きの光学レンズ部１１と、この光学レンズ部１１を通して結像された被写体１２の画像を電気信号（以下、画像信号１３という。）に変換して出力する、たとえば、ＣＣＤやＣＭＯＳなどの二次元撮像デバイスからなる撮像部１４と、この画像信号１３をアナログデジタル変換してデジタルの画像信号１５として出力するＡＤ変換部１６と、この画像信号１５を一時保存するバッファメモリ２０ａを含むと共に、このバッファメモリ２０ａに一時保存された画像信号１５と後述するデジタルの左チャンネル音声信号１７及び右チャンネル音声信号１８とをメモリカードや光磁気ディスクなどの大容量記憶媒体からなる記録部１９に記録保存する信号処理部２０と、ユーザ（不図示の撮影者）によるズームスイッチ２１の操作入力に応答して前記の光学レンズ部１１のズーム倍率（以下、光学レンズ部１１の画角が狭くなる方向のズーム倍率を望遠側又はテレ側若しくはＴといい、その逆に光学レンズ部１１の画角が広くなる方向のズーム倍率を広角側又はワイド側若しくはＷということにする。）を変更するズーム駆動部２２と、この画像音声記録装置１０の（特に撮像部１４）の移動方向と移動速度（Ｖ）及び移動量（Ｘ）を検出する三軸センサ、好ましくはジャイロセンサ２３と、光学レンズ部１１の画角に対して水平方向右側に配置され、右チャンネル音声信号２５を出力する右マイク（Ｒマイクともいう。）２４ａ及び左側に配置され、左チャンネル音声信号２６を出力する左マイク（Ｌマイクともいう。）２４ｂからなるステレオマイク２４と、このステレオマイク２４から出力される右チャンネル音声信号２５及び左チャンネル音声信号２６の各々の音量レベルを個別に調整し、調整後の右チャンネル音声信号２８及び左チャンネル音声信号２９として出力する音声処理部２７と、この調整後の右チャンネル音声信号２８及び左チャンネル音声信号２９をアナログデジタル変換してデジタルの左チャンネル音声信号１７及び右チャンネル音声信号１８として出力するＡＤ変換部３０とを備えると共に、さらに、前記の音声処理部２７における右チャンネル音声信号２５及び左チャンネル音声信号２６の各々の音量レベルを個別に調整するための音声調整量を演算し、また、必要であれば、ステレオマイク２４の右マイク２４ａ及び左マイク２４ｂの各々の指向性の度合い（指向性を広くしたり狭くしたりする程度）を調整するための指向性調整量を演算する音声調整量演算部３１を備える。なお、言うまでもなく、この音声調整量演算部３１でステレオマイク２４の指向性の度合いを調整するための指向性調整量を演算する場合は、当然ながら、ステレオマイク２４の右マイク２４ａ及び左マイク２４ｂは各々指向性可変型のものでなければならない。

なお、ここでズーム倍率の変更は、光学ズームに限らず、電子ズームについても変更可能であってもよいものとする。

さて、上記のとおり、音声調整量演算部３１は、音声処理部２７における右チャンネル音声信号２５及び左チャンネル音声信号２６の各々の音量レベルを個別に調整するための「音声調整量」を演算し、また、必要であれば、ステレオマイク２４の右マイク２４ａ及び左マイク２４ｂの各々の指向性の度合いを調整するための「指向性調整量」を演算する。

「音声調整量」とは、ステレオマイク２４で拾った生の音、つまり、右チャンネル音声信号２５及び左チャンネル音声信号２６に対する個別の音量調整量のことをいう。音量調整量がゼロの場合、音声処理部２７から出力される右チャンネル音声信号２８及び左チャンネル音声信号２９は、ステレオマイク２４で拾った生の音、つまり、右チャンネル音声信号２５及び左チャンネル音声信号２６と略同じであるが、音量調整量がゼロでない場合、たとえば、左チャンネル＞右チャンネルという関係の調整量の場合には、音声処理部２７から出力される右チャンネル音声信号２８の音量に対して、同じく音声処理部２７から出力される左チャンネル音声信号２９の音量が相対的に大きくなる。又は、左チャンネル＜右チャンネルという関係の調整量の場合には、音声処理部２７から出力される右チャンネル音声信号２８の音量に対して、同じく音声処理部２７から出力される左チャンネル音声信号２９の音量が相対的に小さくなる。このように音量調整することにより、実際には高々数センチメートル程度しか離れていない右マイク２４ａと左マイク２４ｂであっても、マイク間隔が離れているが如き音源の拡がりを再現して、より臨場感に富んだ音場再生をすることができる。

かかる「音声調整量」の生成手法について、本実施形態では、以下の三つを開示する。

＜第１の音声調整量生成手法＞
この手法は、冒頭で説明した従来技術と同様のものである。すなわち、信号処理部２０の動きベクトル検出部２０ｂにおいて、現在の画像信号１５とバッファメモリ２０ａに一時保存されている画像信号１５（１フレーム前の過去の画像信号１５）とのフレーム相関により、画像の動きベクトルを検出し、この動きベクトルから判断して、画像の有力な移動方向の音量が大きくなるような音声調整量を演算するというものである。これによれば、前記の従来技術と同様に、画像が左方向に移動しているときには左マイクの音量が大きくなるように、また、画像が右方向に移動しているときには右マイクの音量が大きくなるように調整することができ、要するに、被写体の動き方向と同方向のマイクの音量を大きくすることができる。

＜第２の音声調整量生成手法＞
この手法は、本実施形態特有の手法であり、要するに、光学レンズ部１１のズーム倍率に対応した音声調整量を演算するというものである。一般的にズーム倍率を望遠側にした場合には、光学レンズ部１１の画角が狭くなり、被写体１２が近くに引き寄せられたような画像効果が得られる。この場合、被写体１２が接近するのであるから、音量を大きくする方向の音量調整量とすべきである。また、逆に、ズーム倍率を広角側にした場合には、光学レンズ部１１の画角が広くなり、被写体１２が遠ざかるような画像効果が得られる。この場合、被写体１２が離れていくのであるから、音量を小さくする方向の音量調整量とすべきである。なお、このズーム倍率による第２の音声調整量生成手法においては、ステレオ方式のマイク（ステレオマイク２４）は必須の構成でない。単一のマイク（いわゆるモノラルマイク）であっても構わない。

＜第３の音声調整量生成手法＞
この手法も、本実施形態特有の手法であり、要するに、ジャイロセンサ２３で検出された、画像音声記録装置１０の（特に撮像部１４）の移動方向と移動速度（Ｖ）及び移動量（Ｘ）を利用して、音声調整量を演算するというものである。ここで、画像音声記録装置１０の“特に撮像部１４”と特記する理由は、画像音声記録装置１０が、光学レンズ部１１や撮像部１４を含む撮像系と、それ以外の部分とに分かれているもの（別体型という。）を想定しているからである。このような別体型の画像音声記録装置１０の場合は、撮像部１４の移動方向と移動速度（Ｖ）及び移動量（Ｘ）を検出するために、ジャイロセンサ２３を、撮像部１４（又はその撮像部１４を一体的に保持する構成要素）に取り付ける必要がある。ただし、上記のような別体型の画像音声記録装置１０でない場合、つまり、光学レンズ部１１や撮像部１４を含む撮像系と、それ以外の部分とが一つのケースに収められた一体型の画像音声記録装置１０の場合、ジャイロセンサ２３の設置位置は当該ケース内であればどこであっても構わない。当該ケースの移動方向と移動速度（Ｖ）及び移動量（Ｘ）は、同時に、撮像部１４の移動方向と移動速度（Ｖ）及び移動量（Ｘ）ともなるからである。以下の説明においては、簡単化のために、一体型の画像音声記録装置１０を例にすることにする。

ジャイロセンサ２３は、ＸＹＺ軸の三軸センサであり、各軸ごとの移動量と移動速度を検出する。したがって、このジャイロセンサ２３の出力信号から、画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）を把握することができる。音声調整量演算部３１は、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）に基づいて、音声処理部２７における右チャンネル音声信号２５及び左チャンネル音声信号２６に対する音量調整量を演算する。

その音量調整量の具体例については後で詳しく説明するが、要するに、画像音声記録装置１０の姿勢が変化したときに、その姿勢変化に対応させた適切な音響効果を得るための（音声再生時の臨場感を高めるような）音量調整量を演算するというものである。

次に、本実施形態における音量調整量演算処理を含む動作について説明する。
図２は、本実施形態における音量調整量演算処理を含む動作フローを示す図である。この動作フローに示すように、画像音声記録を行う際には、まず、動作モード判定を行う（ステップＳ１１）。動作モードとは、画像の動きや、画像音声記録装置１０の姿勢変化、又は、ズーム倍率の変化に対応させて音量調整量をどのように演算するかを指定するためのモードであり、この動作フローにおいては、一例として、以下の三つのモード（動作モード１〜３）のいずれかをユーザが指定するものとする。

各モードの詳細は後述するが、動作モード１の指定を判定すると、動作モード１用制御テーブルを選択し（ステップＳ１２）、または、動作モード２の指定を判定すると、動作モード２用制御テーブルを選択し（ステップＳ１３）、または、動作モード３の指定を判定すると、動作モード３用制御テーブルを選択（ステップＳ１４）する。

このように必要な動作モード制御テーブルを選択すると、次に、ユーザによる動作モードの切り換え操作が行われたか否かを判定し（ステップＳ１５）、切り換えられた場合には、再びステップＳ１１に復帰し、そうでない場合には、ユーザによって画像音声記録の終了操作が行われたか否かを判定する（ステップＳ１６）。

そして、終了操作が行われた場合は、動作フローを終了（エンド）し、一方、終了操作が行われていない場合は、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて画像の有力な移動方向を示すデータの取り込みと、ズーム駆動部２２から光学レンズ部１１のズーム倍率の取り込みと、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）の取り込みとを行い（ステップＳ１７）、次いで、それらの取り込まれたデータと、前記のステップＳ１２〜ステップＳ１４のいずれかで選択された制御テーブル（動作モード１用制御テーブル、動作モード２用制御テーブル、動作モード３用制御テーブルのいずれか）とに従って、右チャンネル音声信号２５及び左チャンネル音声信号２６に対する個別の音量調整量を演算し、それを音声処理部２７に出力して、各々のチャンネルの音量を調整（ステップＳ１８）した後、その調整後の左チャンネル音声信号１７と右チャンネル音声信号１８とを画像信号１５と一緒に記録部１９に記録する（ステップＳ１９）という処理を、ユーザによって画像音声記録の終了操作が行われるまで（ステップＳ１６の判定結果が“ＹＥＳ”になるまで）繰り返し実行する。

なお、上記では、ステップ１８、ステップ１９による録音は各々のチャンネルの音量を、この画像音声記録装置の挙動（例えばズーム操作、前後左右上下への移動、前後左右上下への回転）に応じて調整して左右チャンネルの音声信号を記録するように構成したが、録音は音量を調整せずにそのまま録音して、再生時に再生音量を調整する調整データを生成して添付するものとしてもよい。

つまり各々のチャンネルの音量を調節するのではなく、左右チャンネルの音声信号の記録は音量を調節せずにそのまま録音を行うと共に、その代わりに再生時に左右チャンネルの音声信号の音量を調整して再生するように構成する。

そして、録音音量を調整する調整量を音声調整量演算部３１で演算する代わりに、その再生時にどのように調整したらよいかの調整の程度を、調整データとして音声調整量演算部３１での演算結果を受けて信号処理部２０で生成して、左右チャンネルの音声信号と関連付けて記録部１９に記憶しておき、音声の再生時にこの調整データを鑑みて、左右チャンネルの音声信号を再生することにより、記録の形態は異なっても音声の再生時に略同等の効果を奏するものとしてもよい。

これにより、調整の程度を反映させて再生させる場合と反映させないで再生させる場合と切り替えることが可能になり、再生時に、本発明により付加した音響効果を反映する場合としない場合を切り替えることができるようになるという、従来には無い効果を奏することができる。

また、上記では、ステップ１８、ステップ１９による録音は各々のチャンネルの音量を調整して左右チャンネルの音声信号を記録するように構成したが、録音時は音量を調整せずにそのまま録音すると共に、この画像音声記録装置の挙動（例えばズーム操作、前後左右上下への移動、前後左右上下への回転）をそのまま記録部１９に記録しておいて、音声調整量の演算は、再生時に行なうように構成してもよい。

つまりこのように構成すれば、音声調整量演算部が不要になり、この画像音声記録装置のコスト低減及び小型化が可能となる。また、ステップ１８が不要になるので、処理速度を向上することも可能になるというメリットがある。

次に、動作モード１〜３用の各制御テーブルについて説明する。
＜動作モード１用制御テーブル＞
図３は、動作モード１用制御テーブル３２を示す概念図である。このテーブルは、１２個のレコード（３２ａ〜３２ｍ）からなり、各レコードは、移動方向、検出対象、制御対象、右マイク、左マイク及び備考の６個のフィールド（３２ｎ〜３２ｓ）からなっている。ここで、移動方向フィールド３２ｎの「右へ移動」、「左へ移動」、「上へ移動」又は「下へ移動」とは、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて求められた画像の有力な移動方向（上下左右へ移動）のことである。また、移動方向フィールド３２ｎの「前へ移動」、「後へ移動」、「右へ回転」、「左へ回転」、「上へ回転」又は「下へ回転」とは、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）から求められた画像音声記録装置１０の姿勢変化のことであり、より詳しくは、「前へ移動」は、ユーザが画像音声記録装置１０を持って前に移動（前進）することであり、「後へ移動」は、ユーザが画像音声記録装置１０を持って後に移動（後退）することであり、「右へ回転」又は「左へ回転」は、鉛直軸周り方向への右回転又は左回転のことであり、また、「上へ回転」又は「下へ回転」は、水平軸周り方向への上回転又は下回転のことである。また、移動方向フィールド３２ｎの「ズーム大」又は「ズーム小」とは、ズーム駆動部２２から取り込まれた光学レンズ部１１のズーム倍率のことであり、より詳細には、「ズーム大」は望遠側（画角が狭くなる側）への変化のことであり、「ズーム小」は広角側（画角が広くなる側）への変化のことである。

なお、ここでズームの変化は、光学ズームの変化に限らず、電子ズームの変化であってもよいものとする。

この制御テーブル３２に示されているように、上下左右及び前後の移動と左右の回転の際の検出対象は移動速度（Ｖ）であり、上下の回転の際の検出対象は移動量（Ｘ）であり、ズーム大小の際の検出対象は移動速度（Ｖ）である。そして、いずれの場合も制御対象は音量である。具体的には、右へ移動の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ移動の場合は右マイクの音量を小にすると共に左マイクの音量を大にし、前へ移動の場合は右マイクの音量と左マイクの音量を共に大にし、後へ移動の場合は右マイクの音量と左マイクの音量を共に小にし、上へ移動の場合は右マイクの音量と左マイクの音量を共に大にし、下へ移動の場合は右マイクの音量と左マイクの音量を共に小にし、右へ回転の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ回転の場合は右マイクの音量を小にすると共に左マイクの音量を大にし、上へ回転の場合は右マイクの音量と左マイクの音量を共に大にし、下へ回転の場合は右マイクの音量と左マイクの音量を共に小にし、ズーム大の場合は右マイクの音量と左マイクの音量を共に大にし、ズーム小の場合は右マイクの音量と左マイクの音量を共に小にするというものである。また、いずれの場合も、検出量に応じて制御量が段階的に変化するという制御態様となっているものである。

このような制御態様とすることにより、冒頭で説明した従来技術と同様に、画像の動きベクトルから割り出された画像の有力な移動方向の音量を大きくして、臨場感を高めることができることに加え、さらに、それ以外の方向への移動や回転、並びに、ズームの大小に応じても左右のマイク音量を適切に調節することができるから、被写体の左右移動のみならず、あらゆる方向への移動、回転、並びに画角の変更に適合した臨場感溢れる音場再生を行うことができるようになる。

＜動作モード２用制御テーブル＞
図４は、動作モード２用制御テーブル３３を示す概念図である。このテーブルも、１２個のレコード（３３ａ〜３３ｍ）からなり、各レコードは、移動方向、検出対象、制御対象、右マイク、左マイク及び備考の６個のフィールド（３３ｎ〜３３ｓ）からなっている。ここで、移動方向フィールド３３ｎの「右へ移動」、「左へ移動」、「上へ移動」及び「下へ移動」とは、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて求められた画像の有力な移動方向（上下左右への移動）のことである。また、移動方向フィールド３３ｎの「前へ移動」、「後へ移動」、「右へ回転」、「左へ回転」、「上へ回転」又は「下へ回転」とは、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）から求められた画像音声記録装置１０の姿勢変化のことであり、より詳しくは、「前へ移動」は、ユーザが画像音声記録装置１０を持って前に移動（前進）することであり、「後へ移動」は、ユーザが画像音声記録装置１０を持って後に移動（後退）することであり、「右へ回転」又は「左へ回転」は、鉛直軸周り方向への右回転又は左回転のことであり、また、「上へ回転」又は「下へ回転」は、水平軸周り方向への上回転又は下回転のことである。また、移動方向フィールド３３ｎの「ズーム大」又は「ズーム小」とは、ズーム駆動部２２から取り込まれた光学レンズ部１１のズーム倍率のことであり、より詳細には、「ズーム大」は望遠側（画角が狭くなる側）への変化のことであり、「ズーム小」は広角側（画角が広くなる側）への変化のことである。ちなみに、この制御テーブル３３においては、「上へ移動」と「下へ移動」は、制御の対象とならない項目である。

この制御テーブル３３に示されているように、左右及び前後の移動と左右の回転の際の検出対象は移動速度（Ｖ）であり、上下の回転の際の検出対象は移動量（Ｘ）であり、ズーム大小の際の検出対象は移動速度（Ｖ）である。そして、上へ回転と下へ回転を除く制御対象は音量であり、上へ回転と下へ回転の制御対象は指向性（右マイク２４ａと左マイク２４ｂの指向性）である。具体的には、右へ移動の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ移動の場合は右マイクの音量を小にすると共に左マイクの音量を大にし、前へ移動の場合は右マイクの音量と左マイクの音量を共に大にし、後へ移動の場合は右マイクの音量と左マイクの音量を共に小にし、右へ回転の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ回転の場合は右マイクの音量を小にすると共に左マイクの音量を大にし、上へ回転の場合は右マイクの指向性と左マイクの指向性を共に狭くし、下へ回転の場合は右マイクの指向性と左マイクの指向性を共に広くし、ズーム大の場合は右マイクの音量と左マイクの音量を共に大にし、ズーム小の場合は右マイクの音量と左マイクの音量を共に小にするというものである。また、上下へ移動以外の制御態様として、検出量に応じて制御量が段階的に変化するというものである。

このような制御態様とすることにより、冒頭で説明した従来技術と同様に、画像の動きベクトルから割り出された画像の有力な移動方向の音量を大きくして、臨場感を高めることができることに加え、さらに、それ以外の方向への移動や回転、並びに、ズームの大小に応じても左右のマイク音量又は指向性を適切に調節することができるから、被写体の左右移動のみならず、あらゆる方向への移動、回転、並びに画角の変更に適合した臨場感溢れる音場再生を行うことができるようになる。

＜動作モード３用制御テーブル＞
図５は、動作モード３用制御テーブル３４を示す概念図である。このテーブルも、１２個のレコード（３４ａ〜３４ｍ）からなり、各レコードは、移動方向、検出対象、制御対象、右マイク、左マイク及び備考の６個のフィールド（３４ｎ〜３４ｓ）からなっている。ここで、移動方向フィールド３４ｎの「右へ移動」、「左へ移動」、「上へ移動」及び「下へ移動」とは、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて求められた画像の有力な移動方向（上下左右への移動）のことである。また、移動方向フィールド３４ｎの「前へ移動」、「後へ移動」、「右へ回転」、「左へ回転」、「上へ回転」又は「下へ回転」とは、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）から求められた画像音声記録装置１０の姿勢変化のことであり、より詳しくは、「前へ移動」は、ユーザが画像音声記録装置１０を持って前に移動（前進）することであり、「後へ移動」は、ユーザが画像音声記録装置１０を持って後に移動（後退）することであり、「右へ回転」又は「左へ回転」は、鉛直軸周り方向への右回転又は左回転のことであり、また、「上へ回転」又は「下へ回転」は、水平軸周り方向への上回転又は下回転のことである。また、移動方向フィールド３４ｎの「ズーム大」又は「ズーム小」とは、ズーム駆動部２２から取り込まれた光学レンズ部１１のズーム倍率のことであり、より詳細には、「ズーム大」は望遠側（画角が狭くなる側）への変化のことであり、「ズーム小」は広角側（画角が広くなる側）への変化のことである。ちなみに、この制御テーブル３４においては、「上へ移動」と「下へ移動」と「右へ回転」と「左へ回転」と「上へ回転」と「下へ回転」は、制御の対象とならない項目である。

この制御テーブル３３に示されているように、左右及び前後の移動の際の検出対象は移動速度（Ｖ）であり、ズーム大小の際の検出対象は移動速度（Ｖ）である。そして、「上へ移動」と「下へ移動」と「右へ回転」と「左へ回転」と「上へ回転」と「下へ回転」とを除く制御対象は音量である。具体的には、右へ移動の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ移動の場合は右マイクの音量を小にすると共に左マイクの音量を大にし、前へ移動の場合は右マイクの音量と左マイクの音量を共に大にし、後へ移動の場合は右マイクの音量と左マイクの音量を共に小にし、ズーム大の場合は右マイクの音量と左マイクの音量を共に大にし、ズーム小の場合は右マイクの音量と左マイクの音量を共に小にするというものである。また、「上へ移動」と「下へ移動」と「右へ回転」と「左へ回転」と「上へ回転」と「下へ回転」以外の制御態様として、検出量に応じて制御量が段階的に変化するというものである。

このような制御態様とすることにより、冒頭で説明した従来技術と同様に、画像の動きベクトルから割り出された画像の有力な移動方向の音量を大きくして、臨場感を高めることができることに加え、さらに、それ以外の方向への移動やズームの大小に応じても左右のマイク音量を適切に調節することができるから、被写体の左右移動のみならず、他の方向への移動並びに画角の変更に適合した臨場感溢れる音場再生を行うことができるようになる。

以上の三つの動作モード（動作モード１〜３）は、動作モード１＞動作モード２＞動作モード３の順に、より多方向への移動や回転並びにズーム変化に応じたきめ細かな音量調整を実行できるようになっているため、ユーザの所望により、必要に応じて適切な動作モードを選択すればよい。たとえば、一応の音響効果を望むのであれば、最も制御内容が単純な動作モード３を選択すればよく、または、それよりも良好な音響効果を望むのであれば、中間的な動作モード２を選択すればよく、さらに良好な音響効果を望むのであれば、最も複雑な動作モード１を選択すればよい。或いは、マイクの指向性を変更したいのであれば、動作モード２を選択すればよい。

なお、本実施形態にとって、これら三つの動作モード１〜３は、好ましい一例を示しているにすぎない。要は、画像の有力な移動方向（詳しくは、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて特定されたもの）や、ズーム駆動部２２から取り込まれた光学レンズ部１１のズーム倍率、及び、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）などの各種情報に基づいて、画像の左右方向への移動のみならず、それ以外の方向への移動、回転、さらには画角の変化に応じてマイクの音量又は指向性を制御できるようになっていればよく、たとえば、以下に示す他の動作モード（動作モード４という。）を追加したり、又は、前記の三つの動作モード１〜３のいずれかと置き換えたりしてもよい。

また、上記では特に詳述していないが、複数の動作が混合して行われてもよい。例えば、右へ回転しながら上に移動してもよい。この時は、単純に、右への回転の際の効果に、上への移動の際の効果を単純に足したものであってもよい。
これにより、より自然な録音効果を実現できる。

また、それぞれの「移動方向」に対して重み付けを記憶しておき、その重みを掛け算したものとしてもよい。例えば、右への回転の際の効果に右への回転の重みを掛け算したものに、上への移動の際の効果に上への移動の重みを掛け算したものを単純に足したものであってもよい。
これにより、より自然な録音効果を実現できる。

また、複数の「移動方向」への移動を検出した時は、その効果を足したものとすると、非常に音量が大きくなってしまう場合があるので、複数の「移動方向」への移動を検出した場合には、その効果を足したものを若干減らして効果をかけるようにしてもよい。例えば、右回転と上昇の動作が同時にあった時には、右への回転の際の効果（例えば右マイクに音量＋１、左マイク音量−１）に上への移動の効果（例えば左右マイク共に音量＋２）を足して、合計の効果（右マイク音量＋３、左マイク音量＋１）に対して、若干減らした効果（例えば２／３倍して、右マイク音量＋２、左マイク音量＋２／３）とするようにしてもよい。

また、この場合の若干減らす程度は、同時に発生した動作の数や、動作の種類によって自動的に変更される（例えば動作が2つの場合は２／３、動作が３つの場合は２／４、動作が４つの場合は２／５（動作の数が１増えるにつれて分母が１づつ上昇）するように構成してもよい。）

＜動作モード４用制御テーブル＞
図６は、動作モード４用制御テーブル３５を示す概念図である。このテーブルは、８個のレコード（３５ａ〜３５ｈ）からなり、各レコードは、移動方向、検出対象、制御対象、右マイク、左マイク及び備考の６個のフィールド（３５ｉ〜３５ｏ）からなっている。ここで、移動方向フィールド３５ｉの「上へ移動」、「下へ移動」、「右へ移動」及び「左へ移動」とは、信号処理部２０の動きベクトル検出部２０ｂで検出された動きベクトルに基づいて求められた画像の有力な移動方向（上下左右への移動）のことである。また、移動方向フィールド３５ｉの「上へ回転」及び「下へ回転」とは、ジャイロセンサ２３で検出された画像音声記録装置１０の移動方向、移動速度（Ｖ）及び移動量（Ｘ）から求められた画像音声記録装置１０の姿勢変化のことであり、より詳しくは、「上へ回転」又は「下へ回転」は、水平軸周り方向への上回転又は下回転のことである。

この制御テーブル３５に示されているように、上下への移動と回転の際の検出対象は移動速度（Ｖ）であり、左右への移動の際の検出対象は移動加速度（Ａ）（Ａは移動速度Ｖの単位時間当たりの変化量）である。そして、「上へ回転」と「下へ回転」の制御対象は音量と指向性であり、「右へ移動」と「左へ移動」の制御対象は音量であり、「上へ移動」と「下へ移動」の制御対象はリバーブ（残響効果）である。具体的には、上へ回転の場合は右マイクの音量と左マイクの音量を共に大、且つ、指向性を共に狭くし、下へ回転の場合は右マイクの音量と左マイクの音量を共に小、且つ、指向性を共に広くし、上へ移動の場合は右マイクのリバーブと左マイクのリバーブを共に大にし、下へ移動の場合は右マイクのリバーブと左マイクのリバーブを共に小にし、右へ移動の場合は右マイクの音量を大にすると共に左マイクの音量を小にし、左へ移動の場合は右マイクの音量を小にすると共に左マイクの音量を大にするというものである。また、いずれの場合の制御態様も、検出量に応じて制御量が段階的に変化するというものである。

このような制御態様とすることにより、冒頭で説明した従来技術と同様に、画像の動きベクトルから割り出された画像の有力な移動方向の音量を大きくして、臨場感を高めることができることに加え、さらに、それ以外の方向への移動や回転に応じても左右のマイク音量並びにリバーブを適切に調節することができるから、被写体の左右移動のみならず、他の方向への移動並びに回転に適合した臨場感溢れる音場再生を行うことができるようになる。

なお、本明細書は、下記の実施形態をも包含している点を明記しておく。

上記した従来技術では録音時に、画像音声記録装置の動きを加味した録音データとするために録音効果をつけて録音したデータしか録音されないので、画像音声記録装置の動きを加味する前の録音データを再生しようとしても、データが残っていないので、画像音声記録装置の動きを加味する前の録音状態で再生することができなかった。
しかし、下記のように構成することで、この問題を解決することが可能となる。

＜別の実施形態１＞
被写体を撮像して該被写体の画像信号を生成する撮像手段と、
前記被写体の音声を左右のマイクを用いて録音する録音手段と、
前記撮像手段の左右方向の移動を検出する移動検出手段と、
前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による録音を再生する際の左右の再生音量のバランスを調整する調整データを生成する音量調整データ生成手段と、
前記録音手段による録音データと、前記音量調整データ生成手段による音量調整データを関連付けて保存するデータ保存手段と、
を備えたことを特徴とする画像音声記録装置。

そしてさらに、本明細書は、下記の実施形態をも包含している点を明記しておく。

上記した従来技術では録音時に、画像音声記録装置の動きを加味したデータを作成して記録するように構成しているため、画像音声記録装置内に、音声調整量演算部３１を設ける必要があり、画像音声記録装置のコストの向上及び装置の大型化を引き起こすという問題があった。
しかし、下記のように、音声調整量の演算を記録時ではなく再生時に行なうように構成することで、この問題を解決することが可能となる。

＜別の実施形態２＞
画像音声記録装置により撮影された被写体の画像信号と、同じく前記画像音声記録装置により、この画像信号と関連付けて記録された音声信号と、この画像信号又は音声信号と関連付けられた、前記画像信号又は音声信号の記録時の前記画像音声記録装置の前記挙動情報と、を取得する取得手段と、
前記取得手段により取得された前記画像音声記録装置の挙動情報に基づき、前記音声信号の音量を変更する変更手段と、
前記変更手段により変更した音量で、前記取得手段で取得した音声信号を再生する音声再生手段と、
前記音声再生手段による前記音声信号お再生と関連付けて、前記取得手段で取得した画像信号を再生する画像再生手段と、
を備えることを特徴とする画像音声再生装置。

本実施形態に係る画像音声記録装置の概念構成図である。 本実施形態における音量調整量演算処理を含む動作フローを示す図である。 動作モード１用制御テーブル３２を示す概念図である。 動作モード２用制御テーブル３３を示す概念図である。 動作モード３用制御テーブル３４を示す概念図である。 動作モード４用制御テーブル３５を示す概念図である。

符号の説明

１０ 画像音声記録装置
１１ 光学レンズ部（光学系）
１２ 被写体
１４ 撮像部（撮像手段）
２２ ズーム駆動部（画角検出手段）
２３ ジャイロセンサ（移動検出手段）
２４ ステレオマイク（録音手段）
２４ａ 右マイク（マイク）
２４ｂ 左マイク（マイク）
２７ 音声処理部（音量調整手段）
３１ 音声調整量演算部（左右音量バランス調整手段、トータル音量調整手段、前後音量バランス調整手段）

Claims (15)

1. 被写体を撮像し該被写体の画像信号を生成する撮像手段と、
   前記撮像手段で撮像する画角を設定する画角設定手段と、
   前記被写体の音声を録音する録音手段と、
   前記画角設定手段で設定した画角を検出する画角検出手段と、
   前記画角検出手段で検出された画角に応じて前記録音手段の録音音量を調整する音量調整手段と
   を備えたことを特徴とする画像音声記録装置。
2. 前記音量調整手段は、前記画角検出手段で検出された画角が小さくなるほど、前記録音手段の録音音量を大きくするように調整することを特徴とする請求項１記載の画像音声記録装置。
3. 被写体を撮像して該被写体の画像信号を生成する撮像手段と、
   前記被写体の音声を録音する録音手段と、
   前記撮像手段の前後方向の移動を検出する移動検出手段と、
   前記移動検出手段によって前後方向の移動が検出されたときには、その検出結果に応じて前記録音手段による録音音量を調整する音量調整手段と
   を備えたことを特徴とする画像音声記録装置。
4. 前記録音手段は、左右のマイクを用いて録音を行うものであり、
   前記移動検出手段は、前記撮像手段の左右方向の移動をも検出するものであり、
   前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整すると共に、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を小さくするように調整する左右音量バランス調整手段を備える
   ことを特徴とする請求項３記載の画像音声記録装置。
5. 前記音量調整手段は、前記移動検出手段によって検出された移動方向が前方方向へ移動の場合に、前記録音音量を大きくするように調整する
   ことを特徴とする請求項３記載の画像音声記録装置。
6. 被写体を撮像して該被写体の画像信号を生成する撮像手段と、
   前記被写体の音声を少なくとも前後のマイクを用いて録音する録音手段と、
   前記撮像手段の前後方向の移動を検出する移動検出手段と、
   前記移動検出手段によって前後方向の移動が検出されたときには、その検出結果に応じて前記録音手段による前後の録音音量バランスを調整する前後音量バランス調整手段と
   を備えたことを特徴とする画像音声記録装置。
7. 前記録音手段は、更に左右のマイクを用いて録音を行うものであり、
   前記移動検出手段は、前記撮像手段の左右方向の移動をも検出するものであり、
   前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整すると共に、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を小さくするように調整する左右音量バランス調整手段を備える
   ことを特徴とする請求項６記載の画像音声記録装置。
8. 前記前後音量バランス調整手段は、前記移動検出手段によって検出された移動方向と同方向のマイクの録音音量を大きくするように調整する
   ことを特徴とする請求項６記載の画像音声記録装置。
9. 被写体を撮像して該被写体の画像信号を生成する撮像手段と、
   前記被写体の音声を左右のマイクを用いて録音する録音手段と、
   前記撮像手段の左右方向及び上下方向の移動を検出する移動検出手段と、
   前記移動検出手段によって左右方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のバランスを調整する左右音量バランス調整手段と、
   前記移動検出手段によって上下方向の移動が検出されたときには、その検出結果に応じて前記録音手段による左右の録音音量のトータル録音音量を調整するトータル音量調整手段と
   を備えたことを特徴とする画像音声記録装置。
10. 前記左右音量バランス調整手段は、前記移動検出手段によって検出された移動方向の反対方向のマイクの録音音量を大きくするように調整することを特徴とする請求項９記載の画像音声記録装置。
11. 前記トータル音量調整手段は、前記移動検出手段によって検出された移動方向が上方向へ移動の場合に、前記トータル録音音量を大きくするように調整することを特徴とする請求項９記載の画像音声記録装置。
12. 前記左右方向は、鉛直軸周りの左右回転方向を含むことを特徴とする請求項９記載の画像音声記録装置。
13. 前記上下方向は、水平軸周りの上下回転方向を含むことを特徴とする請求項９記載の画像音声記録装置。
14. 被写体を撮像し該被写体の画像信号を生成する撮像手段と、
    前記撮像手段で撮像する画角を設定する画角設定手段と、
    前記被写体の音声を録音する録音手段と、
    前記画角設定手段で設定した画角を検出する画角検出手段と、
    前記画角検出手段で検出された画角に応じて前記録音手段による録音を再生する際の再生音量を調整する調整データを生成する音量調整データ生成手段と、
    前記録音手段による録音データと、前記音量調整データ生成手段による音量調整データを関連付けて保存するデータ保存手段と、
    を備えたことを特徴とする画像音声記録装置。
15. 画像音声記録装置により撮影された被写体の画像信号と、同じく前記画像音声記録装置により、この画像信号と関連付けて記録された音声信号と、この画像信号又は音声信号と関連付けられた、前記画像信号の記録時の前記画像音声記録装置の前記撮影画角検出情報と、を取得する取得手段と、
    前記取得手段により取得された前記画像音声記録装置の撮影画角検出情報に基づき、前記音声信号の音量を変更する変更手段と、
    前記変更手段により変更した音量で、前記取得手段で取得した音声信号を再生する音声再生手段と、
    前記音声再生手段による前記音声信号お再生と関連付けて、前記取得手段で取得した画像信号を再生する画像再生手段と、
    を備えることを特徴とする画像音声再生装置。

Images