JP2006101310A - 撮影装置及びそのプログラム - Google Patents

Abstract

【課題】 モノラルの音声からステレオの音声を生成することができる撮影装置及びそのプログラムを実現する。
【解決手段】 動画撮影記録処理が行われると、ＣＣＤ４により撮像された動画データをフラッシュメモリ１１に記録していき（Ｓ４４）、現在のフォーカスレンズの位置から被写体の距離を検出してく（Ｓ４５）。そして、該検出した被写体の距離から位相量を算出し（Ｓ４６）、マイク２１から入力された音声データの一方をＡ／Ｄ変換器３０に出力し、他方を位相回路２９を介して、Ａ／Ｄ変換器３１に出力する。位相回路２９は、該検出された位相量に基いて入力された音声データの位相を遅らせることによりステレオの音声データを生成し（Ｓ４７）、該生成したステレオの音声を記録する（Ｓ４８）。そして、動画撮影記録処理を終了するか否かを判断し（Ｓ４９）、終了すると判断するまで上記した動作を繰り返す。
【選択図】 図８

Description

本発明は、撮影装置及びそのプログラムに係り、詳しくは、録音機能を備えた撮影装置及びそのプログラムに関する。

近年、デジタルカメラの急激な普及により、動画で被写体を撮影することができる機能など様々な機能を有したデジタルカメラが登場してきている。
これに伴い、被写体の音声を静止画像データや動画データと一緒に記録することができるデジタルカメラも登場してきた。

また、下記特許公開公報には、デジタルカメラなる発明が開示されている。詳しくは、カメラ本体から発生するノイズをサンプリングしたサンプルデータを予め記録しておき、マイクロホンから録音され、デジタルに変換された音声データ内にサンプルデータと一致するデータが判別されると、この一致したサンプルデータを反転増幅器で反転させ、音声データに合成してメモリカードに記録することにより、ノイズのない音声データをメモリカードに記録するというものである。

公開特許公報 特開平２００４−１２０２６４（段落「００１１」〜段落「００２１」参照）

しかしながら、従来のデジタルカメラ等にあっては、マイクが１つしかなかったため、音声をモノラルでしか録音することができないという問題点があった。
また、マイクを２つ付ければ、ステレオで録音することができるが、マイクを２つ必要とするため、コストがかかるという問題点もあった。
また、このような問題点は、上記した特許文献に記載の技術でも解決することができるというものではなかった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、モノラルの音声からステレオの音声を生成することができる撮影装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮影装置は、被写体を撮像する撮像手段と、
被写体のモノラルの音声データを取得する取得手段と、
被写体の距離情報を取得する距離取得手段と、
前記距離取得手段により取得された距離情報を用いて前記取得手段により取得された被写体のモノラルの音声データからステレオの音声データを生成する生成手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記距離取得手段により取得された距離情報から位相量を算出する算出手段を備え、
前記生成手段は、
前記算出手段により算出された位相量に基づいて、前記取得手段により取得された音声データの位相を遅らせることによりステレオの音声データを生成するようにしてもよい。

また、例えば、請求項３に記載されているように、前記算出手段は、
被写体距離が長くなるにつれて小さい位相量を算出するようにしてもよい。

また、例えば、請求項４に記載されているように、前記算出手段は、
被写体距離が所定距離以上長いと判断した場合は、それ以上小さい位相量の算出を禁止する手段を備えるようにしてもよい。

また、例えば、請求項５に記載されているように、前記取得手段は、
モノラルマイクから出力された被写体の音声データを取得するようにしてもよい。

また、例えば、請求項６に記載されているように、前記距離取得手段は、
ＡＦ制御を行うことによって動かされたフォーカスレンズの位置から被写体の距離情報を取得するようにしてもよい。

また、例えば、請求項７に記載されているように、前記距離取得手段は、
被写体までの距離を検出する測距手段であるようにしてもよい。

また、例えば、請求項８に記載されているように、前記測距手段により検出された距離情報に基づいて被写体に対してピントを合わせるＡＦ制御手段を備えるようにしてもよい。

また、例えば、請求項９に記載されているように、前記生成手段により生成されたステレオの音声データを記録手段に記録する記録制御手段を備えるようにしてもよい。

また、例えば、請求項１０に記載されているように、前記記録制御手段は、
前記生成手段により生成されたステレオの音声データとともに前記撮像手段により撮像された被写体の画像データを前記記録手段に記録するようにしてもよい。

また、例えば、請求項１１に記載されているように、前記取得手段、前記距離取得手段は、
記録手段に記録されている音声データ、被写体の距離情報をそれぞれ取得するようにしてもよい。

また、例えば、請求項１２に記載されているように、前記生成手段により生成された音声データの音声を放音手段から放音する放音制御手段を備えるようにしてもよい。

また、例えば、請求項１３に記載されているように、前記記録手段に記録されている画像データを取得する画像取得手段と、
前記画像取得手段により取得された画像データを表示手段に表示させる表示制御手段と、
を備え、
前記取得手段及び前記距離取得手段は、
前記表示制御手段により前記画像取得手段により取得された画像データが前記表示手段に表示されると判断した場合は、前記画像取得手段により取得された画像データと関連付けられて前記記録手段に記録されている音声データ及び被写体の距離情報を取得するようにしてもよい。

また、例えば、請求項１４に記載されているように、前記画像データは、
動画データであるようにしてもよい。

上記目的達成のため、請求項１５記載の発明によるプログラムは、被写体を撮像する処理と、
被写体のモノラルの音声データを取得する取得処理と、
被写体の距離情報を取得する距離取得処理と、
前記距離取得処理により取得された距離情報を用いて前記取得処理により取得された被写体のモノラルの音声データからステレオの音声データを生成する処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

請求項１記載の発明によれば、被写体の距離情報を取得し、該取得した被写体の距離情報を用いてモノラルの音声データからステレオの音声データを生成するようにしたので、臨場感溢れる音声を生成することができる。

請求項２記載の発明によれば、被写体の距離情報から位相量を算出し、該算出した位相量に基づいて、モノラルの音声データの位相を遅らせることによりモノラルの音声データからステレオの音声データを生成するようにしたので、臨場感溢れる音声を生成することができる。

請求項３記載の発明によれば、被写体距離が長くなるにつれて小さい位相量を算出するので、被写体が近い場合はステレオ効果は大きくなり、被写体が遠い場合にはステレオ効果は小さくなるので、より臨場感溢れる音声を生成することができる。

請求項４記載の発明によれば、被写体距離が所定距離以上長い場合には、それ以上小さい位相量の算出を禁止するので、被写体が所定距離以上遠い場所にいても、ステレオの音声を生成することができる。

請求項５記載の発明によれば、モノラルマイクから出力された音声データからステレオ音声を生成するので、マイクが１つしかない撮像装置であってもステレオ音声を生成することができる。

請求項６記載の発明によれば、ＡＦ制御により被写体に対してピントが合うように動かされたフォーカスレンズの位置から被写体の距離情報を取得するようにしたので、別個に被写体の距離を求める測距手段などを備えなくてすみ、コストを抑えることができる。

請求項７又は８記載の発明によれば、被写体までの距離を検出する測距手段を備え、その測距手段により検出された被写体の距離情報を用いて、ＡＦ制御を行なうようにしたので、ＡＦ制御用の測距手段と、ステレオ生成用の測距手段を別個に設ける必要がなく、コストを抑えることができる。

請求項９記載の発明によれば、生成された被写体のステレオ音声データを記録手段に記録するようにしたので、再生時には、音声データをステレオの音声で放音することができるので、臨場感溢れる音声を再生することができる。

請求項１０記載の発明によれば、被写体の音声データとともに、撮像された被写体の画像も記録するので、画像データ及び音声データの再生時は、画像とともにステレオの被写体の音声が放音することができ、更に臨場感が溢れる音声付画像を再生することができる。

請求項１１記載の発明によれば、記録手段に記録されている音声データと被写体距離情報をそれぞれ取得して、ステレオ音声を生成するので、音声データの記録時の負担を軽減することができる。

請求項１２記載の発明によれば、生成されたステレオ音声を放音するので、臨場感溢れる音声をユーザは聞くことができる。

請求項１３記載の発明によれば、画像データの再生時には、再生する画像と関連付けられて記録された音声データ及び被写体距離情報を取得するので、画像とともにステレオの被写体の音声を放音することができ、更に臨場感溢れる音声付画像を再生することができる。

請求項１４記載の発明によれば、画像データは、動画データなので、動画データの再生時には、更に臨場感溢れる動画を再生することができる。

請求項１３又は１４記載の発明によれば、デジタルカメラ、パソコン等に読み込ませることにより、本発明の撮影装置を実現することができる。

以下、本実施の形態について、図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮影装置を実現するデジタルカメラ１の概略的な外観図を示す図であり、図１（ａ）はデジタルカメラ１の正面図、図１（ｂ）はデジタルカメラ１の背面図を示すものである。
デジタルカメラ１の正面には、撮影レンズ２、ストロボ発光部１７、マイク２１から構成されており、デジタルカメラ１の上面にはシャッタボタン１８が設けられている。また、デジタルカメラ１の背面には、画像表示部１０、モードキー１９、キャンセルキー２０、スピーカ２２Ｒ、スピーカ２２Ｌから構成されている。

図２は、本発明の撮影装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２（フォーカスレンズ２ａ、ズームレンズ２ｂを含む）、モータ駆動ブロック３、ＣＣＤ４、ユニット回路５、ＴＧ（timing generator）６、ＤＲＡＭ７、ＲＯＭ８、ＣＰＵ９、画像表示部１０、フラッシュメモリ１１、カードＩ／Ｆ１２、キー入力部１４（シャッタボタン１８、モードキー１９、キャンセルキー２０を含む）、音声処理部１５、ストロボ駆動部１６、ストロボ発光部１７を備えており、カードＩ／Ｆ１２には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。

撮影レンズ２は、複数のレンズ群からなるフォーカスレンズ２ａ、ズームレンズ２ｂを含む。そして、撮影レンズ２にはモータ駆動ブロック３が接続されており、モータ駆動ブロック３は、図示しないフォーカスレンズ２ａ、ズームレンズ２ｂをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータと、ＣＰＵ９からの制御信号にしたがってフォーカスモータ、ズームモータをそれぞれ駆動させるモータドライバから構成されている。

ＣＣＤ４（撮像手段）は、フォーカスレンズ２ａ、ズームレンズ２ｂを介して投影された被写体の光を光電変換し、該得られたアナログ信号の撮像信号をユニット回路５に出力する。また、ＣＣＤ４はＴＧ６によって生成された所定周波数のタイミングに従って駆動する。ＴＧ６にはユニット回路５が接続されている。ユニット回路５は、ＣＣＤ４から出力される撮像信号を相関２重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、サンプリング後の撮像信号の自動利得調整を行うＡＧＣ回路、自動利得調整後のアナログ信号の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ４の出力信号はユニット回路５を経てデジタル信号としてＣＰＵ９に送られる。

ＣＰＵ９は、ユニット回路５から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理等）、バッファメモリ（ＤＲＡＭ７）に記憶された動画データの圧縮・伸張（例えば、ＪＰＥＧ、ＭＰＥＧ形式の圧縮・伸張）の処理などを行う機能を有するとともにデジタルカメラ１の各部を制御するワンチップマイコンである。

ＤＲＡＭ７は、ＣＣＤ４によって撮像された後、デジタル化され、画像処理が施された被写体の画像データ及び音声処理部１５によって取得された被写体の音声データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ９のワーキングメモリとしても使用される。
フラッシュメモリ１１やメモリ・カード１３は、撮影された画像データや音声データ等を保存するための記録媒体（記録手段）である。なお、本実施の形態では、専ら撮影した画像データや録音した音声データをフラッシュメモリ１１に記録するようにしているが、ユーザのキー入力部１４の操作によりメモリ・カード１３に画像データなどを記録することもできる。

ストロボ駆動部１６は、ＣＰＵ９の制御信号に従って、ストロボ発光部１７を閃光駆動させ、ストロボ発光部１７はストロボを閃光させる。ＣＰＵ９は、図示しない測光回路によって撮影シーンが暗いと判断すると、ストロボ駆動部１６に制御信号を送る。

画像表示部１０はカラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときにはＣＣＤ４によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用であるフラッシュメモリ１１やメモリ・カード１３から読み出され伸張された記録画像を表示する。この画像表示部１０は、本発明の表示手段に相当する。
キー入力部１４は、シャッタボタン１８、モードキー１９、キャンセルキー２０、十字キー等（図示略）の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ９に出力する。

音声処理部１５は、図３に示すように、マイク２１、アンプ／ローパスフィルタ２３、Ａ／Ｄ変換器２４、Ｄ／Ａ変換器２５、ローパスフィルタ／アンプ２６、位相回路２７、スピーカ２２Ｒ、スピーカ２２Ｌから構成されている。

マイク２１は、被写体の音声などを電気信号に変換してアンプ／ローパスフィルタ２３に音声データを出力する。アンプ／ローパスフィルタ２３は、音声データを増幅してから（ＡＭＰ）、不要な周波数帯域をカットして（ＬＰＦ）、Ａ／Ｄ変換器２４に出力する。そして、Ａ／Ｄ変換器２４は、入力された音声データをデジタル信号に変換してＣＰＵ９に出力する。
また、Ｄ／Ａ変換器２５は、ＣＰＵ９から送られてきた音声データをアナログ信号に変換してローパスフィルタ／アンプ２６に音声データを出力する。
ローパスフィルタ／アンプ２６は、入力された音声データの不要な周波数帯域をカットして、増幅してからスピーカ２２Ｒ、位相回路２７に出力する。

位相回路２７は、ＣＰＵ９からの送られてきた位相量に基づいて、入力された音声データの位相を遅らせて、スピーカ２２Ｌに出力する。そして、スピーカ２２Ｒ及びスピーカ２２Ｌは、入力された音声データを音声に変換して放音する。このスピーカ２２Ｌ、２２Ｒは、本発明の放音手段に相当する。

ＲＯＭ８には、ＣＰＵ９によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録され、ＣＰＵ９は上記したプログラムに従って処理を行う。

Ｂ．以下、本実施の形態におけるデジタルカメラ１の特徴となるそれぞれの構成の機能を動画撮影モード時と動画再生モード時に分けて説明する。
Ｂ−１．動画撮影モード時について
ユーザのキー入力部１４のモードキー１８の操作により動画撮影モードに設定され、シャッタボタンが押下されると、ＣＰＵ９は、動画撮影記録処理を開始する。
動画撮影記録処理とは、ＣＣＤ４により所定のフレームレート（例えば、１／３０秒の固定周期）で撮像された動画データを圧縮してフラッシュメモリ１１に記録する処理のことをいう。

このとき、被写体の動画撮影記録処理を行っている間は、被写体に対してピントが合うように絶えずＡＦ処理を行っている。ＡＦ処理の方式としては、種々の方式があるが、ここでは、コントラスト検出方式を採用している。コントラスト検出方式とは、フォーカスレンズ２ａを動かし、そのときのＣＣＤ４のコントラストを電気信号に変換し、その波形を解釈して高周波成分の最も大きくなるレンズの位置にフォーカスレンズ２ａをあわせてピントの調整を行うというものである。また、被写体に対して絶えずピントが合うように、一定の周期で（時間変化、信号成分の変化等）でＡＦ動作を繰り返し行うコンティニュアスＡＦ処理を行っている。これによりフォーカスレンズ２は動画撮影中、常に合焦レンズ位置付近にあることになる。

そして、動画撮影記録処理を開始すると、ＣＰＵ９は、マイク２１によって音声データに変換され、アンプ／ローパスフィルタ２３を介してからＡ／Ｄ変換器２４によってデジタル信号に変換された音声データをフラッシュメモリ１１に記録する録音処理も開始する。
また、ＣＰＵ９は、動画撮影記録処理とともに、一定周期毎でフォーカスレンズ２ａの位置情報を取得し、そのフォーカスレンズ２ａの位置情報からピントを合わせている被写体までの距離（被写体距離）を検出して、その検出した被写体の距離を示した情報（被写体距離情報）も音声データと一緒に記録する。この被写体距離情報は、被写体が動けば被写体距離も変わるので、動画撮影中は一定周期毎に絶えず記録されることとなる。

そして、シャッタボタン１８が押下されるまで、上記した動作を繰り返し、シャッタボタン１８が押下されると動画撮影記録処理、及び音声データ及び被写体距離情報の記録処理を停止して、該記録した動画データと該記録した音声データ及び被写体距離情報とを関連付けて記録する。

Ｂ−２．動画再生モード時について
ユーザのキー入力部１４のモードキーの操作により再生モードに設定され、再生したい動画ファイルが選択されると、ＣＰＵ９は該選択された動画ファイルの動画データを読み出して、画像表示部１０に動画データの動画を表示させる。
また、ＣＰＵ９は、該動画データに関連付けられてフラッシュメモリ１１に記録された音声データの読み出し（取得手段）及び被写体距離情報の読み出し（距離取得手段）を一定周期毎で行い、該読み出した音声データをＤ／Ａ変換器２５に出力する。また、ＣＰＵ９は、被写体距離と位相の換算テーブルを用いて、該読み出した被写体距離情報から位相量を算出して（算出手段）、位相回路２７に該算出した位相量のデータを順次出力する。

図４は、被写体距離と位相の換算テーブルをグラフ化したものである。
図４を見るとわかるように、被写体の距離が近いほど位相量は大きくなり、被写体の距離が遠いほど位相が小さくなる。また、この位相量が大きくなればなるほどステレオ効果は大きくなり、位相量が小さくなればなるほどステレオ効果は小さくなる。なお、被写体の距離がある一定以上遠くなると、位相量をそれ以上小さくさせることはない。なぜならば、ステレオ効果が殆どなくなってしまうからである。
本発明では、図４を見てわかる通り、位相量の最大は１８０°であり、最小は３０°である。つまり、被写体の距離がある一定以上遠くなった場合には、位相量はそれ以上、つまり、３０°以上小さくならないこととなる。
この被写体距離と位相の換算テーブルは、予めＲＯＭ８に記録されている。

そして、Ｄ／Ａ変換器２５でアナログ信号に変換された音声データは、ローパスフィルタ／アンプ２６によって不要な周波数帯域がカット及び増幅され、スピーカ２２Ｒ、及び位相回路２７を介してスピーカ２２Ｌにそれぞれ出力される。このとき位相回路２７は、ＣＰＵ９から送られてきた位相量のデータに基づいて、入力された音声データの位相を遅らせてスピーカ２２Ｌに出力する。これにより、スピーカ２２Ｒ、スピーカ２２Ｌに入力されるそれぞれの音声データは位相が異なるので、ステレオの音声データが生成されることとなる（生成手段）。

そして、スピーカ２２Ｒ、スピーカ２２Ｌは、入力された音声データを音声に変換して音声を放音する（放音制御手段）。これにより、スピーカ２２Ｒに入力される音声データと、スピーカ２２Ｌに入力される音声データとの位相は異なるのでスピーカ２２Ｒ、２２Ｌから放音される音声はステレオ音になる。
この位相回路２７は、この処理を動画再生処理が終わるまで、ＣＰＵ９から送られてきた位相量に基づいて、入力された音声データの位相を遅らせる。

Ｃ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を動画撮影モード時と動画再生モード時に分けて説明する。
Ｃ−１．動画撮影モード時について
まず、動画撮影モード時のデジタルカメラ１の動作を図５のフローチャートにしたがって説明する。

ユーザのモードキー１９の操作により動画撮影モードに設定されると、ステップＳ１でコンティニュアスＡＦ処理を開始する。このコンティニュアスＡＦ処理とは、被写体に対して絶えずピントが合うように、一定の周期で（時間変化、信号成分の変化等）でＡＦ動作を繰り返し行う処理のことをいう。
次いで、ステップＳ２に進み、撮影レンズ２を介してＣＣＤ４により撮像された被写体のスルー画像を画像表示部１０に表示させる。

次いで、ステップＳ３に進み、動画撮影を行うか否かを判断する。この判断は、ユーザのシャッタボタン１８の押下に対応する操作信号が送られてきたか否かにより判断し、シャッタボタン１８の押下に対応する操作信号が送られてきた場合には、動画撮影を行うと判断する。
動画撮影を行わないと判断すると、ステップＳ２に戻り、被写体のスルー画像を画像表示部１０に表示させて（ステップＳ２）、動画撮影を行うか否かを判断する（ステップＳ３）。つまり、動画撮影を行うと判断するまで、被写体のスルー画像を画像表示部に表示させるという動作を繰り返す。そして、ステップＳ３で動画撮影を行うと判断するとステップＳ４に進み、動画撮影記録処理を開始する。
動画撮影記録処理とは、ＣＣＤ４により撮像された動画データをフラッシュメモリ１１に記録する処理のことをいう。

次いで、ステップＳ５に進み、録音処理を開始する。つまり、マイク２１によって電気信号に変換され、アンプ／ローパスフィルタ２３及びＡ／Ｄ変換器２４を介してデジタル信号に変換された音声データをフラッシュメモリ１１に記録する処理を開始する。
次いで、ステップＳ６に進み、被写体距離を検出する。この被写体距離は、現在のフォーカスレンズ２ａの位置情報によって検出することができる。
次いで、ステップＳ７に進み、現在記録している音声データとともに該検出した被写体距離を示した情報をフラッシュメモリ１１に記録する。

次いで、ステップＳ８に進み、動画撮影記録処理を終了するか否かを判断する。この判断は、ユーザのシャッタボタン１８の押下に対応する操作信号がＣＰＵ９に送られてきたか否かにより判断し、シャッタボタン１８が押下されたと判断した場合は、動画撮影記録処理を終了すると判断する。
ここでは、シャッタボタン１８が押下されると動画撮影記録処理を開始し、再び、シャッタボタン１８が押下されると動画撮影記録処理を終了するようにしているが、シャッタボタン１８が押下されると動画撮影記録処理を開始し、シャッタボタン１８の押下が解除されると動画撮影記録処理を終了するようにしてもよい。

動画撮影記録処理を終了しないと判断すると（ステップＳ８でＮＯに分岐）、ステップＳ６に戻り、現在のフォーカスレンズ２ａの位置から被写体距離を検出し（ステップＳ６）、該検出した被写体距離情報を音声データとともに記録する（ステップＳ７）という動作を繰り返す。
一方、ステップＳ８で動画撮影記録処理を終了すると判断すると、ステップＳ９に進み、動画撮影記録処理、録音処理及びコンティニュアスＡＦ処理を終了する。
次いで、ステップＳ１０に進み、該記録した動画データと、該記録した音声データ及び被写体距離情報とを関連付けてフラッシュメモリ１１に記録する。

Ｃ−２．動画再生モード時について
ユーザのモードキー１９の操作により動画再生モードに設定されると、ステップＳ２１で、フラッシュメモリ１１に記録されている複数の動画データのサムネイル画像を画像表示部１０に表示させる。

次いで、ステップＳ２２に進み、ユーザのキー入力部１４の操作により画像表示部１０に表示されたサムネイル画像の中から、表示させたい動画データのサムネイル画像が選択されたか否かを判断する。この判断は、キー入力部１４からサムネイル画像を選択する旨の操作信号が送られてきたか否かにより判断する。
そして、サムネイル画像の選択がされていないと判断すると、ステップＳ２１に戻り、サムネイル画像の一覧表示を行ない（ステップＳ２１）、サムネイル画像が選択されたか否かを判断する（ステップＳ２２）。つまり、サムネイル画像が選択されたと判断するまで、サムネイル画像の一覧を画像表示部１０に表示させるという動作を繰り返す。そして、ステップＳ２２で、サムネイル画像の選択がされたと判断すると、ステップＳ２３に進み、該選択されたサムネイル画像に対応する動画データの再生処理を行う。

次いで、ステップＳ２４に進み、該選択されたサムネイル画像に対応する動画データと関連付けられて記録された音声データ及び被写体距離情報を読み出す。そして、該読み出された音声データは、Ｄ／Ａ変換器２５でアナログ信号に変換され、ローパスフィルタ／アンプ２６に出力される。
次いで、ステップＳ２５で、被写体距離と位相の換算テーブルを用いて、該読み出された被写体距離情報に基づいて、音声データの遅らせる位相量を算出して、該算出した位相量のデータを位相回路２７に出力する。

次いで、ステップＳ２６に進み、ステレオ音の生成を行う。このステレオ音は、位相回路２７が、該入力された位相量のデータに基づいて、位相回路２７に入力された音声データの位相を遅らせることにより生成される。つまり、ローパスフィルタ／アンプ２６から出力される音声データは、ともにスピーカ２２Ｒ及びスピーカ２２Ｌに出力されることになるが、スピーカ２２Ｌに入力される音声データは、位相回路２７を介している分だけ、スピーカ２２Ｒに入力される音声データより音声データの位相が遅れることとなる。この遅れる位相量は、上述したように被写体の距離情報によって異なることとなる。

次いで、ステップＳ２７に進み、ステレオ音の再生を行う。つまり、スピーカ２２Ｒ、スピーカ２２Ｌに入力された音声データが音声に変換され、ステレオの音声が放音される。
次いで、ステップＳ２８に進み、動画の再生が終了したか否かを判断する。動画の再生が終了したか否かの判断は、該再生している動画データを最後まで再生したか否かにより判断し、最後まで再生した場合には、動画の再生が終了したと判断する。なお、ユーザのキー入力部１４の操作により動画再生の中止の操作が行われた場合には、動画の再生を終了すると判断するようにしてもよい。

そして、動画の再生を終了しないと判断すると（ステップＳ２８でＮＯに分岐）、ステップＳ２４に戻り、被写体距離情報及び音声データを読み出し（ステップＳ２４）、被写体距離情報に基づいて位相量を算出し（ステップＳ２５）、該算出した位相量に基づいて、位相回路２７が入力された音声データの位相を遅らせることによりステレオ音の生成を行って（ステップＳ２６）、該生成したステレオ音をスピーカ２２Ｒ、２２Ｌから放音する（ステップＳ２７）という動作を動画の再生を終了すると判断するまで繰り返す。
一方、ステップＳ２８で、動画の再生を終了すると判断すると、ステップＳ２９に進み、動画データの再生を終了する。

Ｄ．以上のように、第１の実施の形態においては、音声データを記録するのと同時に、フォーカスレンズ２ａの位置情報から被写体の距離情報を検出して、音声データとともに該検出した被写体距離情報をも記録し、動画再生時に該記憶した被写体距離情報に基づいて、音声データの位相を遅らせてステレオ音を生成するので、マイクが１つしかないデジタルカメラであっても、ステレオ音声で再生することができる。

また、被写体の距離に応じて遅らせる位相を異ならせるので、つまり、被写体の距離が近いほど遅らせる位相を大きくし、被写体の距離が近いほど遅らせる位相を小さくするので、マイクが１つしかなくても、ステレオで録音したときと同様の音声を再生することを実現することができ、臨場感溢れる音声を再生することができる。
また、被写体の距離がある一定以上の距離になると、遅らせる位相はそれ以上小さくしないので、被写体が遠い場所にいる場合であってもステレオ効果を得ることができる。

なお、音声データを記録するのと同時に、フォーカスレンズ２ａの位置情報を音声データとともに記録し、動画再生時に該記憶した位置情報から被写体の距離情報を検出して、該検出した被写体の距離情報に基づいて、音声データの位相を遅らせてステレオ音を生成するようにしてもよい。さらに、フォーカスレンズ２ａの位置情報と位相の換算テーブルを用いれば、音声データを記録するのと同時に、フォーカスレンズ２ａの位置情報を距離情報として音声データとともに記録し、動画再生時に該記憶した位置情報に基づいて、音声データの位相を遅らせてステレオ音を生成することが可能になる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。
第２の実施の形態は、録音するときにステレオ音を生成してから音声データを記録するというものである。

Ｅ．デジタルカメラ１の構成
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮影装置を実現する。
但し、音声処理部１５の構成及びデジタルカメラ１のそれぞれの構成の機能が以下の点で、第１の実施の形態と異なる。

Ｅ−１．音声処理部の構成について
図７は、第２の実施の形態における音声処理部１５の構成を示すブロック図である。
音声処理部１５は、マイク２１、アンプ／ローパスフィルタ２８、位相回路２９、Ａ／Ｄ変換器３０、Ａ／Ｄ変換器３１、Ｄ／Ａ変換器３２、Ｄ／Ａ変換器３３、ローパスフィルタ／アンプ３４、ローパスフィルタ／アンプ３５、スピーカ２２Ｒ、スピーカ２２Ｌから構成されている。

スピーカ２１で電気信号に変換された音声データは、アンプ／ローパスフィルタ２８を介して、増幅及び不要な周波数帯域のカットが行なわれて、Ａ／Ｄ変換器３０、位相回路２９に出力される。
位相回路２９は、ＣＰＵ９から送られてきた位相量に基づいて、入力された音声データの位相を遅らせてＡ／Ｄ変換器３１に出力する。
Ａ／Ｄ変換器３０及びＡ／Ｄ変換器３１は、入力されたそれぞれの音声データをデジタル信号の音声データに変換してＣＰＵ９に出力する。

Ｄ／Ａ変換器３２及びＤ／Ａ変換器３３は、ＣＰＵ９から送られてきたそれぞれの音声データをアナログ信号に変換して、ローパスフィルタ／アンプ３４及びローパスフィルタ／アンプ３５に出力する。そして、音声データはローパスフィルタ／アンプ３４及びローパスフィルタ／アンプ３５を介してスピーカ２２Ｒ、スピーカ２２Ｌにそれぞれ出力され、音声に変換され放音される。

Ｅ−２．デジタルカメラ１のそれぞれの構成の機能について
動画撮影モードで動画撮影記録処理が開始されると、ＣＰＵ９は、一定周期毎にフォーカスレンズ２ａの位置情報を取得し（距離取得手段）、そのフォーカスレンズ２ａの位置情報からピントを合わせている被写体までの距離を検出し、該検出された被写体距離の情報と、被写体距離と位相の換算テーブルを用いて位相量を順次算出する（算出手段）。そして、該順次算出した位相量を位相回路２９に出力する。

また、被写体の音声は、マイク２１に入力され、マイク２１は被写体の音声を電気信号に変換して、アンプ／ローパスフィルタ２８に出力する（取得手段）。
そして、音声データは、アンプ／ローパスフィルタ２８を介して、Ａ／Ｄ変換器３０、位相回路２９に入力される。
位相回路２９は、ＣＰＵ９から送られてきた位相量に基づいて入力された音声データの位相を遅らせて、Ａ／Ｄ変換器３１に出力する。これにより、Ａ／Ｄ変換器３０、Ａ／Ｄ変換器３１に入力されるそれぞれの音声データの位相が異なるので、ステレオの音声データが生成されることとなる（生成手段）。

Ａ／Ｄ変換器３０及びＡ／Ｄ変換器３１は、入力された音声データをデジタル信号の音声データに変換してＣＰＵ９に出力する。
そして、ＣＰＵ９は、入力された音声データをフラッシュメモリ１１に順次記録する（記録制御手段）。
ＣＰＵ９は、動画撮影記録処理が終了すると判断するまで、上記した動作を繰り返し、動画撮影記録処理を終了すると判断すると、動画撮影記録処理により記録された動画データと該記録した音声データとを関連付けて記録する。

また、動画再生モードに設定され、再生したい動画データが選択されると、該選択された動画データ及び該選択された動画データに関連付けられて記録された音声データを読み出し、該読み出された動画データの動画を画像表示部１０に表示し、該読み出された音声データは、それぞれＤ／Ａ変換器３２、Ｄ／Ａ変換器３３によりアナログの音声データに変換され、ローパスフィルタ／アンプ３４、ローパスフィルタ／アンプ３５をそれぞれ介して、スピーカ２２Ｒ、スピーカ２２Ｌによって音声に変換され、ステレオの音声が放音される。
他の機能は、第１の実施の形態と同様なので説明を省略する。

Ｆ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を動画撮影モード時と動画再生モード時に分けて説明する。
Ｆ−１．動画撮影モード時について
まず、動画撮影モード時のデジタルカメラ１の動作を図８のフローチャートにしたがって説明する。

ユーザのモードキー１９の操作により動画撮影モードに設定されると、ステップＳ４１でコンティニュアスＡＦ処理を開始する。このコンティニュアスＡＦ処理とは、被写体に対して絶えずピントが合うように、一定の周期で（時間変化、信号成分の変化等）でＡＦ動作を繰り返し行う処理のことをいう。
次いで、ステップＳ４２に進み、撮影レンズ２を介してＣＣＤ４により撮像された被写体のスルー画像を画像表示部１０に表示させる。

次いで、ステップＳ４３に進み、動画撮影を行うか否かを判断する。この判断は、ユーザのシャッタボタン１８の押下に対応する操作信号が送られてきたか否かにより判断し、シャッタボタン１８の押下に対応する操作信号が送られてきた場合には、動画撮影を行うと判断する。
動画撮影を行わないと判断すると、ステップＳ４２に戻り、被写体のスルー画像を画像表示部１０に表示させ、動画撮影を行うか否かを判断する（ステップＳ４３）。つまり、動画撮影を行うと判断するまで、被写体のスルー画像を画像表示部１０に表示させるという動作を繰り返す。そして、ステップＳ４３で、動画撮影を行うと判断するとステップＳ４４に進み、動画撮影記録処理を開始する。
動画撮影記録処理とは、ＣＣＤ４により撮像された動画データをフラッシュメモリ１１に記録する処理のことをいう。

次いで、ステップＳ４５に進み、現在のフォーカスレンズ２ａの位置情報からピントを合わせている被写体までの距離を検出する。
次いで、ステップＳ４６に進み、被写体距離と位相の換算テーブルを用いて、該検出した被写体距離情報から位相量を検出する。そして、該検出した位相量を位相回路２９に出力する。

次いで、ステップＳ４７に進み、モノラルの音声データからステレオの音声データを生成する。この生成は、位相回路２９が、ＣＰＵ９から送られてきた位相量に基づいて、マイク２１、アンプ／ローパスフィルタ２８を介して入力された音声データの位相を遅らせることによりステレオ音声が生成される。つまり、アンプ／ローパスフィルタ２８から出力される音声データは、Ａ／Ｄ変換器３０及びＡ／Ｄ変換器３１にそれぞれ出力されることとなるが、Ａ／Ｄ変換器３１に入力される音声データは、位相回路２９を介している分だけ、Ａ／Ｄ変換器３０に入力される音声データより音声データの位相が遅れることとなる。

次いで、ステップＳ４８に進み、ステレオに生成された音声データをフラッシュメモリ１１に記録（録音）する。つまり、Ａ／Ｄ変換器３０によりデジタル信号に変換された音声データと、Ａ／Ｄ変換器３１によりデジタル信号に変換された音声データとがフラッシュメモリ１１に記録されることとなる。
次いで、ステップＳ４９に進み、動画撮影を終了するか否かを判断する。この判断は、シャッタボタン１８の押下に対応する操作信号がＣＰＵ９に送られてきたか否かにより判断する。

動画撮影を終了しないと判断すると、ステップＳ４５に戻り、被写体距離を検出し（ステップＳ４５）、該検出した被写体距離から位相量を算出する（ステップＳ４６）。そして、該算出した位相量からステレオの音声データを生成して（ステップＳ４７）、フラッシュメモリ１１に記録する（ステップＳ４８）という動作を動画撮影が終了すると判断するまで繰り返す。
一方、動画撮影記録処理を終了すると判断すると、ステップＳ５０に進み、動画撮影記録処理、コンティニュアスＡＦ処理を終了し、ステップＳ５１で、該記録した動画データと該記録した音声データとを関連付けて記録する。

Ｆ−２．動画再生モード時について
ユーザのモードキー１９の操作により再生モードに設定されると、フラッシュメモリ１１に記録されている複数の動画データのサムネイル画像を画像表示部１０に表示させる。
そして、ユーザのキー入力部１４の操作により画像表示部１０に表示されたサムネイル画像の中から、表示させたい動画データのサムネイル画像が選択されると、該選択されたサムネイル画像に対応する動画データ及び該動画データに関連付けられて記録されている音声データを読み出し、該動画データ及び音声データの再生処理を行う。既に、フラッシュメモリ１１に記録されている音声データはステレオの音声データなので、ステレオの音声がスピーカ２２Ｒ、スピーカ２２Ｌで放音されることとなる。

Ｇ．以上のように第２の実施の形態においては、音声データの記録時に、被写体の距離情報を検出してから位相量を求め、該求めた位相量に基づいてステレオの音声データを生成して、被写体の音声を記録するので、第１の実施の形態における効果に加え、動画再生時の負担を軽減することができる。
なお、フォーカスレンズ２ａの位置情報と位相の換算テーブルを用いれば、フォーカスレンズ２ａの位置情報（距離情報）に基づいて音声データの位相を遅らせてステレオ音を生成することが可能になる。

また、上記各実施の形態においては、ＡＦ処理をコントラスト検出方式によるＡＦ処理により被写体距離情報を取得するようにしたが、位相差検出方式によるＡＦ処理や、赤外線アクティブ方式によるＡＦ処理で被写体距離情報を取得するようにしてもよい。
位相差検出方式等のＡＦ処理により被写体距離情報を取得する場合には、ＡＦ処理を行うために検出した被写体までの距離を用いて、そのままステレオ音声を生成するための位相量を算出することができるという利点がある。この場合も、一定間隔で絶えず被写体の距離を検出して、該検出された位相量に基づいて、音声データの遅らせる位相を変えていくことは言うまでもない。

また、上記各実施の形態においては、動画撮影中における被写体の音声データの記録処理（録音処理）について説明したが、これに限られるのもではなく、静止画撮影のときも、画像データとともに被写体の音声を記録するようにしてもよい。
この場合には、静止画撮影処理を行うときに行うＡＦ処理によってピントが合わされた被写体の距離に基づいて音声データの遅らせる位相量を算出する。
また、例えば、録音モードというものを設け、動画撮影や静止画撮影を行わない場合においても、被写体の距離情報を検出して、該検出した被写体の距離情報に基づいて被写体の音声のみを記録することができるようにしてもよい。

また、上記各実施の形態における撮影装置は、上記の実施の形態に限定されるものではなく、カメラ付き携帯電話、ＰＤＡ、パソコン等、又はデジタルビデオカメラ等でもよく、要は被写体の距離を検出する機能を有した撮影機器であれば何でもよい。

本発明の実施の形態のデジタルカメラ１の概観を示す図である。 本発明の実施の形態のデジタルカメラ１のブロック図である。 第１の実施の形態における音声処理部１５のブロック図である。 被写体距離と位相の換算テーブルをグラフ化した図である。 第１の実施の形態のデジタルカメラ１の動画撮影モードの動作を示すフローチャートである。 第１の実施の形態のデジタルカメラ１の動画再生モードの動作を示すフローチャートである。 第２の実施の形態における音声処理部１５のブロック図である。 第２の実施の形態のデジタルカメラ１の動画撮影モードの動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ モータ駆動ブロック
４ ＣＣＤ
５ ユニット回路
６ ＴＧ
７ ＤＲＡＭ
８ ＲＯＭ
９ ＣＰＵ
１０ 画像表示部
１１ フラッシュメモリ
１２ カードＩ／Ｆ
１３ メモリ・カード
１４ キー入力部
１５ 音声処理部
１６ ストロボ駆動部
１７ ストロボ発光部
１８ シャッタボタン
１９ モードキー
２０ キャンセルキー
２１ マイク
２２ スピーカ
２３ ＡＭＰ／ＬＰＦ
２４ Ａ／Ｄ
２５ Ｄ／Ａ
２６ ＬＰＦ／ＡＭＰ
２７ 位相回路
２８ ＡＭＰ／ＬＰＦ
２９ 位相回路
３０ Ａ／Ｄ
３１ Ａ／Ｄ
３２ Ｄ／Ａ
３３ Ｄ／Ａ
３４ ＬＰＦ／ＡＭＰ
３５ ＬＰＦ／ＡＭＰ

Claims (15)

1. 被写体を撮像する撮像手段と、
   被写体のモノラルの音声データを取得する取得手段と、
   被写体の距離情報を取得する距離取得手段と、
   前記距離取得手段により取得された距離情報を用いて前記取得手段により取得された被写体のモノラルの音声データからステレオの音声データを生成する生成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記距離取得手段により取得された距離情報から位相量を算出する算出手段を備え、
   前記生成手段は、
   前記算出手段により算出された位相量に基づいて、前記取得手段により取得された音声データの位相を遅らせることによりステレオの音声データを生成することを特徴とする請求項１記載の撮像装置。
3. 前記算出手段は、
   被写体距離が長くなるにつれて小さい位相量を算出することを特徴とする請求項２記載の撮像装置。
4. 前記算出手段は、
   被写体距離が所定距離以上長いと判断した場合は、それ以上小さい位相量の算出を禁止する手段を備えたことを特徴とする請求項３記載の撮像装置。
5. 前記取得手段は、
   モノラルマイクから出力された被写体の音声データを取得することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 前記距離取得手段は、
   ＡＦ制御を行うことによって動かされたフォーカスレンズの位置から被写体の距離情報を取得することを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 前記距離取得手段は、
   被写体までの距離を検出する測距手段であることを特徴とする請求項１乃至５の何れかに記載の撮像装置。
8. 前記測距手段により検出された距離情報に基づいて被写体に対してピントを合わせるＡＦ制御手段を備えたことを特徴とする請求項７記載の撮像装置。
9. 前記生成手段により生成されたステレオの音声データを記録手段に記録する記録制御手段を備えたことを特徴とする請求項１乃至８の何れかに記載の撮像装置。
10. 前記記録制御手段は、
    前記生成手段により生成されたステレオの音声データとともに前記撮像手段により撮像された被写体の画像データを前記記録手段に記録することを特徴とする請求項９記載の撮像装置。
11. 前記取得手段、前記距離取得手段は、
    記録手段に記録されている音声データ、被写体の距離情報をそれぞれ取得することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
12. 前記生成手段により生成された音声データの音声を放音手段から放音する放音制御手段を備えたことを特徴とする請求項１１記載の撮像装置。
13. 前記記録手段に記録されている画像データを取得する画像取得手段と、
    前記画像取得手段により取得された画像データを表示手段に表示させる表示制御手段と、
    を備え、
    前記取得手段及び前記距離取得手段は、
    前記表示制御手段により前記画像取得手段により取得された画像データが前記表示手段に表示されると判断した場合は、前記画像取得手段により取得された画像データと関連付けられて前記記録手段に記録されている音声データ及び被写体の距離情報を取得することを特徴とする請求項１２記載の撮像装置。
14. 前記画像データは、
    動画データであることを特徴とする請求項１０又は１３記載の撮像装置。
15. 被写体を撮像する処理と、
    被写体のモノラルの音声データを取得する取得処理と、
    被写体の距離情報を取得する距離取得処理と、
    前記距離取得処理により取得された距離情報を用いて前記取得処理により取得された被写体のモノラルの音声データからステレオの音声データを生成する処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム
    
    

Images