JP2007300220A - カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体 - Google Patents

Abstract

【課題】同時に複数の動画像が撮影できるカメラにおいて、複数の動画像に応じた音声記録を行うカメラ、その音声記録方法、あるいは複数の動画像の再生時に対応する音声再生を行う再生装置やその音声再生方法等を提供する。
【解決手段】右マイク１５Ｒと左マイク１５ＬのＡＤＣ２１からの信号に指向性補正部１７ａで指向性補正処理する。指向性補正部１７ａは、部分画像が画面の左側に位置する場合には、その音声に対して、加算器１でR−L処理し、続いて乗算器で撮影方向θに応じて乗算処理を行う。さらに、加算器２でＬ信号を加え、加算器３でR信号を加えて、新たなR,L音声信号が記録媒体２０に記録される。これによって画像の位置に応じて強調処理された音声が記録される。
【選択図】図１１

Description

この発明は、カメラの音声記録再生技術、特に同時に複数の動画像が撮影できるカメラの音声記録または音声再生技術に関する。

従来のビデオカメラの撮影方法を簡単に説明する。図１６は、従来の撮影方法を説明する図である。まず図１６（Ａ）は、従来のビデオカメラが構えられた状態を、背面から見た図である。図１６（Ｂ）は、操作の手順を示す簡単なフローチャートである。ユーザーは、カメラの向きを被写体に合わせる（ステップＡ１）。被写体の大きさに合わせて、カメラのズームをあわせる（ステップＡ２）。そして、撮影開始指示により撮影を開始する（ステップＡ３）。撮影終了指示を待って、撮影を終了する（ステップＡ４）。図１６（Ｃ）は撮影される画像の一例を示す。例えば、Ｃ−１のような画像を撮影中に、Ｃ−２のようにフレーミングが変更されたり、Ｃ−３のようなズームをすることは良く行われる。そして、この頻繁な操作によってユーザーの手の動きにより手ぶれ状態となることも多い。また、このような画像では鑑賞時に気持ちが悪くなるおそれもある。また、この頻繁な操作によって、ズーム音などの操作音が気になったりもするし、ズーミング制御をミスすると、即失敗につながるという難しさがあった。

このような問題を解決するために、光学手段によらず、画角の異なる２つの画像を同時に撮影する撮像装置について提案されている（特許文献１）。この撮像装置は、撮像素子の異なる領域から信号を読み出して、それぞれ動画信号として記録する装置である。

一方、動画再生時には再生される音声も重要な役割も持つ。そこで、音声被写体が撮影フレーム内を移動するような撮影条件での集音性能を改善できるビデオカメラについての提案もある（特許文献２）。特許文献２には、画像データを計算処理して被写体の移動方向を検出する動き検出部の出力に基づいてマイク指向性制御手段としてのゲイン制御部が、ステレオマイクのラインのゲインを自動制御して集音指向性の方向を修正することが、記載されている。
特開２００６−４２３９９号公報 特開２０００−４４９３号公報

上記特許文献１で提案されたような２画面を同時に撮影するカメラはその利便性が大きい。そして、２画面撮影の効果をより高めるには、画像と同時に記録される音声も重要である。しかし従来の音声記録方法では画像に関わりなく一定なので、再生時に全体の画面とアップ画面の表示切換わりがあっても、出力される音声は同じである。例えば、特許文献２にあるような、移動する被写体の位置にあわせて音声記録する方式でも、画面を切換えても再生される音声は同じである。

そこで、複数画面を同時に撮影するカメラにおいて、同時録音される音声が複数画面撮影に対応するよう記録がされれば、より複数画面撮影の有用性が高まるはずである。

本願発明は、上記課題に鑑み、同時に複数の動画像が撮影できるカメラにおいて、複数の動画像に応じた音声記録を行うカメラ、またはその音声記録方法、あるいは複数の動画像再生に対応する音声再生を行う再生装置やその音声再生方法等を提供することを目的とする。

上記目的を達成するため、第1の発明によるカメラは、撮影方向の異なる画像を同時に記録する動画像記録部と、上記撮影方向の少なくとも１つの方向情報を記録する方向記録部と、少なくとも２つのチャネルの音声信号を入力する音声信号入力部と、入力された上記音声信号を、上記方向情報に従って、撮影方向に合わせた指向特性を持つように補正する指向性補正部と、上記指向性補正部により補正された音声信号を記録する音声記録部と、を備えるものである。

また、第２の発明による再生装置は、被写体に対して異なる撮影方向で同時に撮影された複数の動画像を選択的に表示する画像再生部と、上記動画像の撮影に対応して少なくとも２つのチャネルで記録された音声信号について、上記選択表示される動画像の撮影方向に応じて指向性を補正する指向性補正部と、指向性補正部により補正された音声信号を再生する音声再生部とを備えるものである。

また、第３の発明による音声記録方法は、被写体に対して異なる撮影方向で同時に動画像を撮影するカメラにあって撮影と同時に音声を記録する音声記録方法において、入力される少なくとも２つのチャネルの音声信号に、上記動画像の撮影方向に応じて指向性を補正し、補正した音声信号を記録するものである。

本発明によれば、同時に複数の動画像が撮影できるカメラにおいて、複数の動画像に応じた音声記録を行うカメラ、またはその音声記録方法、あるいは複数の動画像再生に対応する音声再生を行う再生装置やその音声再生方法等を提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
図１から図１６を用いて実施形態を説明する。図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１には撮影レンズ２、撮像素子３、ＡＦＥ（アナログフロントエンド）４、選択部５、画像処理ユニット８、記録媒体２０が設けられる。撮影レンズ２は、入射した被写体２５の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。ＡＦＥ４は、撮像素子３からの画像信号を読み出し、読み出した画像信号にＡＧＣ処理やＣＤＳ処理やＡＤ変換等してデジタル画像データとして出力する。またＡＦＥ４は、撮像素子３の駆動も制御する。選択部５は、ＡＦＥ４からの画像データを後段の２つの画像処理部に種類に応じて選択して出力する。

画像処理ユニット８は、画像データに各種処理を施し、記録媒体に記録するものである。画像処理ユニット８は、第1画像処理部６ａ、第2画像処理部６ｂ、第1記録部７ａ、第2記録部７ｂから構成される。上記選択部５は、画面全体の領域の信号であって、所定のルールで間引かれた画像データを第1画像処理部６ａに出力する。また選択部５は、所定領域に限定された画像データを第２画像処理部６ｂに出力する。第1画像処理部６ａ及び第2画像処理部６ｂには、圧縮部や伸張部等が設けられ、画像データに対して色補正や信号圧縮、伸張などの処理を行う。圧縮部は、画像データを記録媒体に記録するための例えばＪＰＥＧ（Joint Photographic Expert Group）圧縮やＭＰＥＧ（Motion Picture Experts Group）圧縮を行う。伸張部は、圧縮された画像データを元に戻す処理を行う。

つまり、第1画像処理部６ａには、撮影領域全体の画像（以下全域画像または全体画像と称す）が入力される。また、第２画像処理部６ｂには、撮影領域の一部の画像（以下指定部画像または一部画像と称す）が入力される。第1記録部７ａが、第1画像処理部６ａで画像処理された全体の画像を記録媒体２０に記録する。同様に第２記録部７ｂが、第２画像処理部６ｂで画像処理された部分の画像を記録媒体２０に記録する。

また、カメラ１には、表示制御部９、表示部１２、タッチパネル１３が設けられる。表示制御部９は、第1画像処理部６ａと第２画像処理部６ｂによって画像処理された画像を、表示部１２へ表示するための制御を行う。表示部１２は、例えばＬＣＤから構成され、撮影時にモニタ画像を表示し、再生時には伸張処理された記録画像を表示する。タッチパネル１３は、表示部１２の表面に実装され、操作者の表示部１２の画面へのタッチ操作を直接的に検出するものである。

また、カメラ１には、ＡＦ部１４、マイク部１５、ＡＤＣ部２１、音声記録再生部１７及び右スピーカ１８Ｒ、左スピーカ１８Ｌが設けられる。ＡＦ部１４は、アクチュエータや位置エンコーダを有し、撮影レンズ２内のピントレンズの移動を制御する。ＡＦ部１４は、画像処理ユニット８からの画像のコントラスト値に基づいて合焦位置を検出し、このピントレンズを移動させる。

マイク部１５は、音声信号を入力する音声信号入力部で、撮影時に音声を検出記録するためのものである。マイク部１５は、マイク部１５には、右マイク１５Ｒと左マイク１５Ｌが設けられ、被写体の位置によってバランスを変えて録音できる。ＡＤＣ部２１は、右マイク１５Ｒ、左マイク１５Ｌからのアナログ信号をデジタル化して出力する。

音声記録再生部１７は、ＡＤＣ部２１でデジタル化された音声信号を、音声圧縮して記録媒体２０に記録する。そして、音声記録再生部１７は、再生時に記録媒体２０から音声信号を読出し伸張し、アナログ信号に変換する。音声記録再生部１７には、さらに指向性補正部１７ａが設けられる。指向性補正部１７ａは、スピーカから出力される音声を撮影画像（撮影方向θ）に合わせた指向性となるように補正する。音声記録時または音声再生時のいずれかのタイミングで行う。また、マルチ画面撮影（全域画像と指定部画像の撮影）時には、指向性補正部１７ａは指定部画像にのみ指向性の補正を行う。スピーカ１８Ｒ及び１８Ｌは、記録再生部１７で再生された音声信号を音声として出力する。
指向性補正部１７ａの詳細は、図９から図１２で説明する。

また、カメラ１には、ＭＰＵ１０、ＲＯＭ１１、操作部１６、時刻部２２、方向記録部１９が設けられる。ＭＰＵ１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。上記選択部５やタッチパネル１３もＭＰＵ１０により制御される。ＲＯＭ１１は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂが設けられる。スイッチ１６ａは指定部画像撮影の指示用である。指定部画像については後述する。スイッチ１６ｂはレリーズ指示用である。時刻部２２は、記録時に画像や音声にタイムスタンプを付帯させるための時刻発生部である。付帯される時刻データに基づいて、再生時には各画像と音声が同期して再生される。方向記録部１９は、撮影方向θの切換え結果を記録する。記録先は、例えばＲＯＭ１１である。撮影方向については、図７で説明する。

そしてこのカメラ１は、被写体像２５を撮影レンズ２を介して撮像素子３にて受像して電気信号に変換して記録するタイプのカメラであるが、ここで用いる撮像素子３は、例えば１０００万画素クラスの高画素でかつ、ＣＭＯＳセンサ等であることがより望ましい。つまり、ここで用いる撮像素子３は、秒６０フレームから１００フレームの高速全画素読出しも可能とした、最新技術を採用したものであることが望ましい。

一方、このような高画素かつ高速読出しのセンサでは、再生時に、全画素を全てを利用するような表示デバイスは現在のところない。例えばいわゆるハイビジョンと呼ばれるＴＶ（ＨＤＴＶ）ですら、１００万画素相当の解像度があれば十分である。つまり、その全ての画素（１０００万画素）を利用しての撮影は、再生まで考えるとオーバースペックになってしまう。そこで、本発明では、任意の部分を読み出して必要部分のみを読み込んで記録するようにする。このような所定エリアのみの読出しや間引きや画素信号の加算なども、ＣＭＯＳセンサの得意とするところであるので、本発明では、このような機能を有効に活用する。

そして、本発明の動画撮影カメラは、上記のような最新の高精細の高速撮像素子を駆使して、従来のような光学ズームによる可動部分を少なくして、しかもより多くの情報量を有効利用して、変化のある動きのスムースな動画像を撮影可能とするものである。

図２は、本発明のカメラ1を用いた撮影時のエリア枠の変更操作例である。図２（Ａ）は、ユーザーの手によって把持されたカメラ１を背面から見た図である。カメラ１の背面には表示部１２の表示面が配置される。表示部１２の画面には、モニタ画像に重畳して四角形のエリア枠１２ａが表示される。エリア枠１２ａは、部分的に撮影される指定部画像の位置と大きさを示すように表示される枠である。ユーザーはスイッチ１６ａ、スイッチ１６ｂを右手で操作しながら構え、表示部１２を見て、構図や撮影タイミングを決定する。そして、スイッチ１６ｂ（レリーズ）を押している間は、表示部１２に表示された全域画像が、第1画像処理部６ａと記録部７ａによってメモリに記録される。また、左手でエリア枠１２ａの位置や大きさを指定すると、タッチパネルがそれを検出して、エリア枠１２ａ内の指定部画像が第２画像処理部６ｂと記録部７ｂによって記録される。

ここで、エリア枠１２ａの判定や変更の仕方は種々考えられるが、一例として予め図２（Ｂ）のように、いくつかの枠パターン１２ａ−１を表示させておき、そのいずれを触ったかによってエリア枠を選択するようにしてもよい。あるいは、タッチした位置と回数によって、大きさを変更するような方法としてもよい。また、タッチした位置を間違えてもあやまって記録されないように、スイッチ１６ａを押さないとその部分（指定部）を記録できないようにしても良い。

図３（Ａ）は、全域撮影される撮像領域と指定部撮影される撮像領域を対比して示した図である。全撮像領域３ｃが全域撮影される領域である。全撮像領域３ｃのうち所定の指定部撮像領域３ｄが上記画像処理部６ｂで指定部撮影される領域である。つまり、指定部撮像領域３ｄのみを記録すれば電子ズームして撮影したと同様な効果になる。図３（Ｂ）は、間引き読出しされる画素を模式的に示す画素配列の図である。全撮像領域３ｃを構成する全画素のうち、全域撮影時には、例えば、斜線部の画素３ｅのみが間引いて読み出される。このとき間引きレートは、再生時の分解能が十分な分解能となるような間引き率が自動的に設定される。つまり、ＨＤＴＶ（High Definition Television）対応であれば、１００万画素程度になるように間引き率が設定される。

図４はカメラ１において、２画面撮影処理の手順を示すフローチャートである。この処理は、主にＭＰＵ１０によってプログラムに従って実行される。カメラ１が撮影モードに設定されているとする。そして、ユーザーによるスイッチ１６ｂの操作有無を判断する（ステップＳ１１）。スイッチ１６ｂの操作がなされたら（ステップＳ１１ＹＥＳ），まず、全域撮影および録音を開始する（ステップＳ１２）。ここで行われる録音は通常の録音で、後述する指向性補正処理はされていない。

次に、ユーザーによるタッチパネル１３への操作有無を判断する（ステップＳ１３）。タッチパネルへの操作がなければ（ステップＳ１３ＮＯ）、次にスイッチ１６ａへの操作有無を判断する（ステップＳ１４）。スイッチ１６ａは、指定部画像の撮影を指示するスイッチである。ユーザーによるスイッチ１６ａの操作があれば（ステップＳ１４ＹＥＳ）、次にエリア枠１２ａが表示されているかを判断する（ステップＳ１５）。エリア枠１２ａが指定されていれば（ステップＳ１５ＹＥＳ）、その枠で指定される範囲を撮影する指定部撮影を開始する（ステップＳ１６）。

指定部撮影開始と同時に専用の録音が行われる。指定部撮影時の録音においては、そのエリア枠１２ａに対応する音声を記録する（ステップＳ１７）。このエリア枠対応音声記録についての詳細は、図８のフローチャート（サブルーチン）で後述する。なお、ここでは全域撮影も継続して行われるので、２つの動画撮影が同時に行われることになる。また音声記録についても、このエリア枠対応音声記録と、ＬＲをそのままステレオで記録する通常の音声記録の２つを同時に行うのが望ましい。再生時に画面切換えに応じて、音声を切換えることができるからである。もちろん、枠内対応音声記録のみにしても可である。

エリア枠１２ａが選択されていなければ警告を表示（ステップＳ２３）して、ステップＳ１１に戻る。一方、タッチパネルへの操作があれば（ステップＳ１３ＹＥＳ）、エリア枠１２ａの変更処理を行う。まず、タッチ操作された位置が画面の中心から偏った位置のときには、その偏りを算出する。偏った指定部画像の中心と画面中心の角度を撮影方向θとして記録する（ステップＳ１９）。これは方向記録部１９が行う。続いて、タッチされた所を中心にエリア枠１２ａを表示させる（ステップＳ２０）。続いて、複数回タッチされたかを判断する（ステップＳ２１）。複数回タッチされれば（ステップＳ２１ＹＥＳ）、タッチされた回数に応じてエリア枠１２ａの大きさを変更する（ステップＳ２２）。例えば、回数に応じて小さくするようにする。

図５にエリア枠１２ａの変化例の画面を示す。図５は、タッチ操作によって、表示部１２に表示される枠エリア１２ａの大きさの変化例を示す図である。図５（Ａ）は、最初のエリア枠１２ａの大きさと、エリア枠１２ａに対してのタッチ操作を示している。そして、複数回のタッチ操作によってエリア枠１２ａが、図５（Ａ）から(Ｂ)のように次第に縮小されていく。

図４に戻る。一方、撮影中にスイッチ１６ｂの操作が解除されたと判断すると（ステップＳ１１ＮＯ），全域及び指定部いずれの撮影も終了して（ステップＳ１８）、スイッチ１６ｂの操作（撮影再開）を待つよう待機する。また、ステップＳ２１、ステップＳ２２の後もステップＳ１１に進み、終了指示がない限り撮影を継続する。以上のフローチャートにより、全域画像及び、ユーザーにより指定されたタイミングで指定された範囲の指定部画像が記録される。

次に、上記操作の変形例を図６に示す。図６は、図４で説明した撮影処理の手順の変形例を説明するフローチャートである。上記図４のフローチャートでは、スイッチ１６ｂ（レリーズ）が押されると、全域撮影が必ず行われた。しかし、全域撮影を行わずに指定部のみの撮影を行えるようにするようにしても便利である。そこで、この変形例では、全域撮影と指定部撮影の撮影操作を独立して行うようにする。

まずスイッチ１６ｂの操作の有無を判断する（ステップＳ３１）。スイッチ１６ｂが操作されていれば（ステップＳ３１ＹＥＳ）、全域撮影中であれば全域撮影を継続し、全域撮影中でなければ全域撮影を開始する（ステップＳ３２）。一方、スイッチ１６ｂが操作されなければ（ステップＳ３１ＮＯ）、全域撮影を行わないかまたは終了し（ステップＳ３３）、ステップＳ３４に進む。続いて、スイッチ１６ａの操作の有無を判断する（ステップＳ３４）。スイッチ１６ａが操作されていれば（ステップＳ３４ＹＥＳ）、エリア枠１２ａで指定された部分を撮影する指定部撮影の開始または継続を行う（ステップＳ３５）。一方、スイッチ１６ｂが操作されなければ（ステップＳ３４ＮＯ）、この指定部撮影を行わないかまたは終了する（ステップＳ３６）。そして、ステップＳ３１に戻る。これにより、全域撮影と指定部撮影の撮影が両方またはいずれか一方を任意で行うことができる。記録媒体の節約にもつながる。

図７は、マイク等の配置を示すために、カメラ１を上部から見た概略図である。向かって左側が被写体側である。カメラ１本体の前面中央部に撮影レンズ２が設けられる。光軸Ｚは撮影レンズ２の光軸で、画面の中心になる。カメラ１本体の光軸Ｚの右側（本図では上側）に右マイク１５Ｒ，その左側（本図では下側）に左マイク１６Ｌが配置されている。またカメラ１の背面にはスピーカ１８ＲＬが配置されている。そして、前述のように光軸Ｚに対して指定部画像の方向が撮影方向θで示される。ここで撮影方向θの符号は、指定部画像が画面上で、撮影者から見て右側にあるときを＋（プラス）とし、逆に左側にあるときを−（マイナス）とする。

図４のステップＳ１７で述べたエリア枠対応音声記録を説明する。図８は、エリア枠対応音声記録のサブルーチンを説明するフローチャートである。この処理はＭＰＵ１０の指示により、主に音声記録再生部１７と指向性補正部１７ａにより行われる。まず図４のステップＳ１９で予め記録した結果より、撮影方向θを検出する（ステップＳ４１）。右マイク１５Ｒから入力された音声信号Ｒと、左マイク１５Ｌから入力された音声信号Ｌとについて、指向性補正部１７ａが撮影方向θに対する指向性補正処理を行う（ステップＳ４２）。図９，１０，１１，１２は、指向性補正を行う（ステップＳ４２）４タイプの指向性補正部１７ａをそれぞれ説明するブロック図である。以下、図９、１０，１１，１２においては、指定部画像が左側に位置して、Ｌ信号を強調するものとする。

まず、図９に、第１のタイプの指向性補正部１７ａを説明するための主要ブロック図を示す。第１のタイプの指向性補正部１７ａは、モノラル録音時に強調記録する方式である。音声が出力されるスピーカはモノラルスピーカ１８Mである。指向性補正部１７ａがＬ信号に強調処理して記録媒体２０に記録する。

指向性補正部１７ａには、加算器１と加算器２と加算器３と加算器４と乗算器が設けられる。右マイク１５Ｒと左マイク１５Ｌで検出された音声信号がＡＤＣ２１でＡ／Ｄ変換され、Ｒ信号とＬ信号として指向性補正部１７ａに入力される。Ｒ信号とＬ信号が加算器１によって（R−L）なる演算がされる。そして、乗算器で（R−L）の差分が検出した撮影方向θに応じて重み付けされ、ＲとＬの変化がよりダイナミックに強調される。乗算器での増幅（加算回数の加算回数）は、撮影方向θに応じてＭＰＵ１０によって変更するよう制御される。そして、加算器２でさらにR信号が、加算器３でL信号が加算される。そしてこの演算されたＬ信号、Ｒ信号が加算器４で加算され、LRのミックス信号が記録媒体２０に記録される。これによりＬ信号がより強調されて記録される。

再生時には、記録媒体２０から上記で強調記録された音声信号が読み出され、音声記録再生部１７内のＤＡＣ（digital-to-analog converter ）によってアナログ信号に変換されモノラルスピーカ１８Ｍから出力される。

カメラにはその携帯性からの要求で横幅には制限があり、右マイク１５Ｒと左マイク１５Ｌの距離を大きく取ることができないときは、左右の音の差が少ない。このようなときでも、上記のようにＲとＬの差の信号を取ることによって、左右の差異をより強調することができる。例えば、θの絶対値が大きくなれば、（R−L）の増幅を行ってから、加算器４の加算結果をモノラルスピーカ１８Ｍに出力する。なお、上記説明ではＬ側を強調する場合の構成を説明したが、指定部画像が右側の場合には、Ｒ強調するために図９の加算器１に入力するRL信号の極性を、逆にする回路に切換えればよい。

また、上記ブロック図は指定部画像対応の音声記録のブロック図であるが、指定部画像対応の音声と全域画像対応の音声を別々のファイルで記録することも可能である。全域画像用の音声記録処理を並列的に実行することで実現できる。

図１０は、第２のタイプの指向性補正部１７ａを説明するための主要ブロック図である。第２のタイプの指向性補正部１７ａは、再生時に音声強調した出力を行う方式である。再生時にＬ信号に強調処理して出力するのが指向性補正部１７ａである。指向性補正部１７ａには、加算器１と加算器２と加算器３と加算器４と乗算器が設けられる。指向性補正部１７ａは音声記録再生部１７内に設けられる。音声が出力されるスピーカはモノラルスピーカ１８Ｍである。

記録媒体２０には、右マイク１５Ｒと左マイク１５Ｌの音声信号が、指向性補正されることなくそのまま記録されている。録音されるLR信号の内、一方は他方の付加データとして記録される。また、記録媒体２０には、撮影方向θも、撮影時に方向記録部１９によって対応する画像と関連付けて記録されているものとする。

そして、上記１０のブロック図で説明したと同様に、加算器１、加算器２、加算器３、加算器４、さらに撮影方向θに応じて乗算器を切換え処理する。そして、混合された音声信号が音声記録再生部１７内のＤＡＣによってアナログ信号に変換されモノラルスピーカ１８Ｍから出力される。

以上の第１および第２のタイプの指向性補正部１７ａいずれでも、左右の音の差により各方向からの音の差を強調することができるので、カメラのような小型の機器でステレオ録音を行うときでも、撮影方向に応じた、指向特性のある音の再生が可能になる。なお、上記の音声強調再生の処理は、カメラ１に搭載するだけでなく、撮影系の備わっていない画像再生装置に搭載しても当然によい。

図１１は、第３のタイプの指向性補正部１７ａを説明するための主要ブロック図である。第３のタイプの指向性補正部１７ａは、ステレオスピーカを搭載したカメラに適用され、ステレオ録音時に強調記録を行う方式である。上記２例では、モノラル録音、モノラルスピーカの例を説明したが、図１１のような構成によって、ステレオ録音、ステレオスピーカ１８Ｒ、１８Ｌに対応させることができる。右マイク１５Ｒ、左マイク１５Ｌの出力がそれぞれＡＤＣ２１によりＡＤ変換され、音声記録再生部１７内の指向性補正部１７ａにて指向性補正処理されて、記録媒体２０に記録される。再生時には、記録媒体２０から上記、強調記録されたR信号とL信号が読み出され、音声記録再生部１７内のＤＡＣによってアナログ信号に変換されステレオスピーカ１８R、１８ｌから出力される。

音声記録再生部１７内の指向性補正部１７ａには、加算器１、加算器２、加算器３、乗算器が設けられる。Ｒ信号とＬ信号が加算器１によって（R−L）なる演算がされる。そして、乗算器で（R−L）の差分が重み付けされ、ＲとＬの変化がよりダイナミックに強調される。乗算器での増幅（加算回数の加算回数）は、撮影方向θに応じてＭＰＵ１０によって変更するよう制御される。そして、加算器２でさらにR信号が加算され、加算器３でL信号が加算される。加算器２より出力された信号が新たなＲ信号として、記録媒体２０に記録される。また、加算器２より出力された信号が新たなＬ信号として、記録媒体２０に記録される。

図１２は、第４のタイプの指向性補正部１７ａを説明するための主要ブロック図である。第４のタイプの指向性補正部１７ａは、ステレオスピーカを搭載したカメラに適用され、再生時に音声強調した出力を行う方式である。右マイク１５Ｒ、左マイク１５Ｌの出力がそれぞれＡＤＣ２１によりＡＤ変換され、ＬＲ別々の音声データとして記録媒体２０に記録される。再生時には、記録媒体２０に記録されたＬＲの音声データが読み出される。そして、音声データが音声記録再生部１７内の指向性補正部１７ａにて指向性補正処理されて右スピーカ１８Ｒ、左スピーカ１８Ｌから出力される。

音声記録再生部１７内の指向性補正部１７ａには、加算器１、加算器２、加算器３、乗算器が設けられる。Ｒ信号とＬ信号が加算器１によって（R−L）なる演算がされる。そして、乗算器で（R−L）の差分が重み付けされ、ＲとＬの変化がよりダイナミックに強調される。乗算器での増幅（加算回数の加算回数）は、撮影方向θに応じてＭＰＵ１０によって変更するよう制御される。そして、加算器２でさらにR信号が、加算器３でL信号が加算される。加算器２より出力された信号が新たなＲ信号としてＤ／Ａ変換されて右スピーカ１８Ｒから出力される。また、加算器２より出力された信号が新たなＬ信号として、Ｄ／Ａ変換されて左スピーカ１８Ｌから出力される。このタイプでは、音声がステレオ再生されるので、より臨場感のある音を楽しむことができる。なお、上記の音声強調再生の処理は、カメラ１に搭載するだけでなく、撮影系の備わっていない画像再生装置に搭載しても当然によい。

次に、図１３、１４，１５を用いて表示部１２への再生表示時の音声効果を説明する。この効果を発生させる強調録音又は強調再生は、上記図９から１２で説明した回路によって実現される。まず図１３は、全域画像と指定部画像の両方が同時に表示される、実施形態で説明した、いわゆるマルチ表示時の例である。図１３（Ａ）が全域画像の画面で、（Ｂ）が指定部画像の画面である。（Ａ）、（Ｂ）が随時切換えられて再生が行われる。（Ａ）の全域画像の表示時には、ＲＬ音声が均等に再生される。一方（Ｂ）の指定部画像の表示時には、右側の人物をクローズアップ再生されるので、右側の音声（Ｒ）が強調再生される。

ここで指定部画像の音声に対する指向性補正処理は、第１または第３タイプのように記録時に行われても、あるいは第２または第４タイプのように再生時に行われても、何れでもよい。また、記録時に行われる場合には、音声記録として、エリア枠対応音声記録と通常記録の２つが記録されているものとする。再生時に行われる場合には、通常記録のステレオ音声のみでよい。以上のように、画面の切換えに応じて音声が連動して切換わるので、シーンの切換えがよりリアルに行われる。

次の例は、撮影される複数の画像がいずれも指定部画像の例である。実施形態では、同時に撮影される２つの動画像として、全域画像と指定部画像を挙げて説明した。しかし、同時撮影される画像としては、２つの指定部画像でも可能である。本例では、同時に撮影された２つの指定部画像（部分画像）を再生する場合である。

図１４は撮影される画面全体を示す。図１４のような被写体で、破線で囲まれた２つの画像がそれぞれ同時に記録されるとする。そして、図１４の右上の破線領域が、図１５の（Ａ）で再生される画像である。図１４の左下の破線領域が、図１５（Ｂ）で再生される画像である。つまり、画面の異なる位置を同時に撮影して、図１４（Ａ）、（Ｂ）のように再生時に切換えて再生表示させる。そして、図１４（Ａ）のような右側画像の再生時には、右側の音声であるＲ音声が強調して再生される。また同図（Ｂ）のように左側画像の再生時には、左側の音声であるＬ音声が強調して再生される。

ここで指定部画像の音声に対する指向性補正処理は、第１または第３タイプのように記録時に行われても、あるいは第２または第４タイプのように再生時に行われても、何れでもよい。また、記録時に行われる場合には、音声記録として、エリア枠対応音声記録データが２つ記録されているものとする。再生時には、通常記録のステレオ音声のみでよい。このように、画面の切換えに応じて音声が連動して切換わるので、シーンの切換えをよりリアルに行われる。

以上このような音声再生をすることにより、リアルでドラマチックな再生演出を行うことが可能になる。また、ズーミングによって再生時の強調を行うようにしてもよい。

なお、上記実施形態で説明したＭＰＵ１０の処理に関しては、一部または全てをハードウェアで構成してもよい。また、指向性補正部１７ａをソフトウェアで構成しても良い。具体的な構成は設計事項である。そして、ＭＰＵ１０による各制御処理は、ＲＯＭ１１に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵの機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。同様に、音声記録再生部１７は全部又は一部をソフトウェアで構成しても当然によい。また、実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

実施形態において、本発明が適用されるデジタルカメラ１の全体ブロック図。 実施形態において、撮影時のエリア枠の変更操作例を示す図。 実施形態において、全域撮影される撮像領域と部分撮影される撮像領域を対比して示した図。 実施形態において、カメラ１の２画面撮影処理を示すフローチャート。 実施形態において、タッチ操作によって表示部に表示される枠エリアの大きさの変化例を示す図。 実施形態において、２画面撮影の変形処理を示すフローチャート。 実施形態において、マイク等の配置を示すためのカメラの上面図。 実施形態において、枠内対応音声記録の処理を示すサブルーチン。 実施形態において、記録時に指向性補正処理が行われるカメラで、モノラルスピーカー搭載カメラに適用される回路のブロック図。 実施形態において、再生時に指向性補正処理が行われるカメラで、モノラルスピーカ搭載のカメラに適用される回路のブロック図。 実施形態において、記録時に指向性補正処理が行われるカメラで、ステレオスピーカ搭載のカメラに適用される回路のブロック図。 実施形態において、再生時に指向性補正処理が行われるカメラで、ステレオスピーカ搭載のカメラに適用される回路のブロック図。 実施形態において、マルチ画像の再生画面を示す図。 実施形態において、被写体の全体画面と２つの部分画像の位置関係を示す図。 実施形態において、２つの部分画像の再生画面を示す図。 従来の撮影方法を説明する図。

符号の説明

1…カメラ、２…撮影レンズ、３…撮像素子、３ｃ…全撮像領域、３ｄ…指定部撮像領域、
３ｅ…間引き画素、４…アナログフロントエンド（ＡＦＥ）部、
５…選択部、６ａ…第１画像処理部、６ｂ…第２画像処理部、
７ａ…第１記録部、７ｂ…第２記録部、８…画像処理ユニット、９…表示制御部
１０…ＭＰＵ、１１…ＲＯＭ、１２…表示部、１２ａ…エリア枠、１３…タッチパネル、１４…ＡＦ部、１５…マイク部、１５Ｒ…右マイク、１５Ｌ…左マイク、
１６…操作部、１６ａ、１６ｂ…スイッチ、１７…音声記録再生部、１７ａ…指向性補正部
１８…スピーカ部、１８Ｒ…右スピーカ、１８Ｌ…左スピーカ、１８Ｍ…モノラルスピーカ、
１９…方向記録部、２０…記録媒体、２１…ＡＤＣ、２２…時刻部、２５…被写体、Ｚ…光軸

Claims (9)

1. 撮影方向の異なる画像を同時に記録する動画像記録部と、
   上記撮影方向の少なくとも１つの方向情報を記録する方向記録部と、
   少なくとも２つのチャネルの音声信号を入力する音声信号入力部と、
   入力された上記音声信号を、上記方向情報に従って、撮影方向に合わせた指向特性を持つように補正する指向性補正部と、
   上記指向性補正部により補正された音声信号を記録する音声記録部と、を備える
   ことを特徴とするカメラ。
2. 撮影方向の異なる画像を同時に記録する動画像記録部と、
   上記撮影方向の少なくとも１つの方向情報を記録する方向記録部と、
   少なくとも２つのチャネルの音声信号を入力する音声信号入力部と、
   入力された上記音声信号を記録する音声記録部と、
   上記音声記録部で記録された音声信号を、上記方向情報に従って、撮影方向に合わせた指向特性を持つように補正する指向性補正部と、
   上記指向性補正部により補正された音声信号を再生する音声再生部と、を備える
   ことを特徴とするカメラ。
3. 上記動画像記録部は、上記動画像として、被写体の全体が撮影される全域画像と全域画像に含まれる一部の画像を撮影し、
   上記指向性補正部は、上記一部の画像に対応する音声信号として、上記一部の画像の撮影方向に応じた補正をする
   ことを特徴とする請求項１に記載のカメラ。
4. 上記音声記録部は、上記一部の画像に対応する音声信号とともに全域画像に対応する音声信号をあわせて記録し、この全域画像に対応する音声信号としては、上記指向性補正部による指向性補正がされない音声信号を記録する
   ことを特徴とする請求項３に記載のカメラ。
5. 被写体に対して異なる撮影方向で同時に撮影された複数の動画像を選択的に表示する画像再生部と、
   上記動画像の撮影に対応して少なくとも２つのチャネルで記録された音声信号について、上記選択表示される動画像の撮影方向に応じて指向性を補正する指向性補正部と、
   上記指向性補正部により補正された音声信号を再生する音声再生部と、を備える
   ことを特徴とする再生装置。
6. 被写体に対して異なる撮影方向で同時に動画像を撮影するカメラにあって撮影にあわせて音声を記録する音声記録方法において、
   入力される少なくとも２つのチャネルの音声信号に、上記動画像の撮影方向に応じて指向性を補正し、補正した音声信号を記録する
   ことを特徴とする音声記録方法。
7. 被写体に対して異なる撮影方向で同時に撮影された複数の動画像を選択的に表示する画像再生部を備えるカメラの音声再生方法において、
   少なくとも２つのチャネルの記録された音声信号音声を、上記選択表示される動画像の撮影方向に応じて指向性を補正し、補正された複数の音声信号を再生する
   ことを特徴とする音声再生方法。
8. 被写体に対して異なる撮影方向で同時に動画像を撮影するカメラにあって撮影にあわせて音声を記録する音声記録方法をコンピュータに実行させるプログラムにおいて、
   上記音声記録方法は、入力される少なくとも２つのチャネルの音声信号に、上記動画像の撮影方向に応じて指向性を補正し、補正した音声信号を記録する
   ことを特徴とするプログラム。
9. 被写体に対して異なる撮影方向で同時に動画像を撮影するカメラにあって撮影にあわせて音声を記録する音声記録方法をコンピュータに実行させるプログラムを記録するコンピュータ読取可能な記録媒体において、
   上記音声記録方法は、入力される少なくとも２つのチャネルの音声信号に、上記動画像の撮影方向に応じて指向性を補正し、補正した音声信号を記録する
   ことを特徴とする記録媒体。
   

Images