JP2018078459A - 撮像装置 - Google Patents

Abstract

【課題】記録する映像と音声のタイミングを、ユーザーが撮像装置本体で調整することができない。【解決手段】撮像部と、表示部と、音声信号を入力とする音声入力部と、前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整する。【選択図】図１

Description

本発明は撮像装置に関し、特に、記録する映像信号と音声信号の遅延量の差を調整する装置に関するものである。

入力された映像・音声を信号処理・符号化し記録媒体に記録するデジタルビデオカメラ等の撮像装置がある。ここで多くの場合、音声信号の処理よりも映像信号の処理に時間がかかるため、映像信号と音声信号を並列に処理すると、記録された映像と音声にずれが生じる。そして、記録された映像と音声のタイミングのずれがある程度以上あると、その記録コンテンツを視聴する視聴者が違和感を感じてしまう。

したがって、デジタルビデオカメラ等の撮像装置や、その記録コンテンツを再生する再生装置では通常、音声信号に遅延処理を施し、映像と音声のタイミングのずれがないように調整をした上で記録・再生を行っている。

特開２００５−２０４１８０号公報

再生時に映像と音声のタイミングを敢えてずらしたい場合が存在する。具体的には例えば、映像と音声のずれにより視聴者に違和感を与え、不安感を誘発する演出を行う場合がある。また、ディスプレイとスピーカーから視聴者の居場所までに距離があり、音声を先に出力することで、視聴者の居場所に届く時点で映像と音声のタイミングが合うようにする場合等がある。

しかし従来の撮像装置では、映像と音声のタイミングのずれがないように調整をした上で記録を行っているため、ユーザーが撮像装置本体で映像と音声のタイミング調整を行うことができない。したがって、ユーザーが映像と音声のタイミングを調整したい場合には、撮像装置で記録した映像と音声のファイルをＰＣで取り込み編集ソフトを使用する等、追加の設備や手間が必要になってしまうという課題があった。

そこで本発明は、音声遅延調整モードにおいて急激な音量の変化を検出し、検出時とその前後のフレームの画像を表示して、音声のタイミングを合わせたい画像をユーザーに選択させることで、容易に映像と音声のタイミングを調整できる撮像装置を提供することを目的とする。

本発明の撮像装置は、撮像部と、表示部と、音声信号を入力とする音声入力部と、前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整する。

本発明によれば、急激な音量の変化を検出し、検出時とその前後のフレームの画像を表示して、ユーザーに音声のタイミングを合わせたい画像を選択させることで、ユーザーが容易に音声遅延を調整できる。

撮像装置の構成を示すブロック図である。 撮像装置の制御に関する動作を示すフローチャートである。 表示部の表示例である。 撮像装置の制御に関する動作を示すフローチャートである。

以下、図面を参照して本発明の実施例を詳細に説明する。
＜第１の実施形態＞
音声信号を処理、録音することができる撮像装置について説明する。図１は、本発明の第１の実施形態における撮像装置１００の構成を示すブロック図である。

図１において、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を、撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。音声入力部１０２は、内蔵または音声端子を介して接続された複数のマイクにより、撮像装置１００の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。メモリ１０３は、撮像部１０１により得られた画像データや、音声入力部１０２により得られた音声データを一時的に記憶する。

表示制御部１０４は、撮像部１０１により得られた画像データに係る映像や、撮像装置１００の操作画面、メニュー画面等を表示部１０５や、不図示の映像端子を介して外部のディスプレイに表示させる。符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、メモリ１０３から読み出す音声データのメモリアドレスを制御することによって音声遅延をずらし、映像と音声のタイミングを調整する。

記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ等を記録し、また、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す。ここで、記録媒体１０８は、圧縮画像データ、圧縮音声データ等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。

制御部１０９は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。操作部１１０は、ボタンやダイヤル、タッチパネルなどからなり、ユーザの操作に応じて、指示信号を制御部１０９に送信する。音声出力部１１１は、記録再生部１０７により再生された圧縮音声データや、制御部１０９により出力される音声データをスピーカ１１２や不図示の音声端子などに出力する。

外部出力部１１３は、記録再生部１０７により再生された圧縮映像データや圧縮音声データ等を外部機器に出力する。データバス１１４は、音声データや画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックに供給する。ここで、本実施例の撮像装置１００の通常の動作について説明する。本実施例の撮像装置１００は、ユーザが操作部１１０を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源が供給される。

電源が供給されると、制御部１０９は、例えば、操作部１１０のモード切り換えスイッチが、撮影モード、再生モード等のどのモードであるかを操作部１１０からの指示信号により確認する。撮影モードでは、撮像部１０１により得られた画像データと、音声入力部１０２により得られた音声データとを１つのファイルとして保存することができる。再生モードでは、記録媒体１０８に記録された圧縮画像データを記録再生部１０７により再生して表示部１０５に表示させることができる。

撮影モードでは、まず、制御部１０９は、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示制御部１０４に送信し、表示部１０５に表示させる。ユーザーはこのようにして表示された画面を見ながら撮影の準備を行う。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部１１１に送信し、接続されたスピーカ１１２や不図示のイヤホンから音声として出力させる。ユーザーは、このようにして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。

次に、ユーザーが操作部１１０の記録ボタンを操作することにより撮影開始の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示制御部１０４に送信し、表示部１０５に表示させる。また、得られた画像データをメモリ１０３に送信する。音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ１０３に送信する。

符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、メモリ１０３から読み出す音声データのメモリアドレスを制御することによって音声遅延を制御し、映像と音声のタイミングを調整している。そして、制御部１０９は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成して、記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。

以上の動作を撮影中は継続する。そして、ユーザーが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。撮像部１０１、音声入力部１０２は、それぞれ画像データ、音声データの生成を停止する。符号化処理部１０６は、メモリに記憶されている残りの画像データと音声データとを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。

そして、制御部１０９は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。制御部１０９は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードでは、制御部１０９は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読み出して、読み出された圧縮画像データ、圧縮音声データを、符号化処理部１０６に送る。符号化処理部１０６は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部１０４、音声出力部１１１に送信する。

表示制御部１０４は、復号された画像データを表示部１０５に表示させる。音声出力部１１１は、復号された音声データを、内蔵または取付けられた外部スピーカから出力させる。

本実施例の撮像装置は以上のように、画像、音声の記録再生を行うことができる。ところで、本実施例の撮像装置１００は、メモリ１０３に一時的に記憶された音声データを読み出す際に設定するメモリアドレスを制御することで、記録する映像と音声のタイミングをユーザーが調整できる音声遅延調整モードを有する。音声遅延調整モードでは例えば、ユーザーが柏手を打つことにより発生する急激な音量増加を、音量増加検出部１１５で検出し、検出時とその前後の撮影画像を表示部に表示して、ユーザーに画像を選択させる。

そして、音量増加を検出した瞬間の音声のタイミングを、ユーザーが選択した画像に合わせるように制御することで、撮影画像と音声のタイミングを調整する。

以下、フローチャートと図を参照して、音声遅延調整モードの動作を具体的に説明する。

図２は第１の実施例における撮像装置の制御に関する動作を示すフローチャートである。図２において、ユーザが操作部１１０を操作して電源が投入されると、Ｓ２０１へ進む。Ｓ２０１ではまず、撮影待機処理を行う。撮影待機処理では、撮像部１０１で撮影された画像およびＯＳＤを表示部１０５に表示する。ユーザーは表示部１０５を見ながら、操作部１１０を操作して撮像装置１００の設定を行う。ここで、ユーザーは音声遅延調整モードのＯＮ／ＯＦＦを設定することができる。

Ｓ２０２では撮像装置１００の設定が音声遅延調整モードか否かを判定する。音声遅延調整モードである場合はＳ２０３に進み、音声遅延調整モードでない場合はＳ２０１に戻る。Ｓ２０３では撮像部１０１で撮影された画像とＯＳＤを表示部１０５に表示するとともに、撮影された最新の画像から複数フレーム分の画像と音声を、メモリ１０３に一時的に記録する。

Ｓ２０４では音量増加検出部１１５により音量増加が検出されるのを待つ。音量増加が検出された場合はＳ２０５に進み、音量増加が検出されなかった場合はＳ２０１に戻る。なお、音量増加の検出方法については後述する。Ｓ２０５では、音量増加検出部１１５により音量増加を検出した瞬間と、その前後の撮影画像を、表示制御部１０４がメモリ１０３から読み出す。そして表示制御部１０４は、図３に示すような音声遅延調整用画面を作成し、表示部１０５に表示する。

Ｓ２０６では、Ｓ２０５で表示部１０５に表示された複数の画像の中から、ユーザーが音量増加のタイミングを合わせたい画像を選択し、Ｓ２０７に進む。Ｓ２０７では、Ｓ２０６でユーザーが選択した画像に合わせて音声遅延を調整する。

具体的には、音量増加を検出した瞬間の画像の、１フレーム後の画像をユーザーが選択した場合、音声が１フレーム分遅れるようにメモリアドレスを制御してメモリ１０３から音声データを読み出す。また、音量増加を検出した瞬間の画像の、１フレーム前の画像をユーザーが選択した場合、音声が１フレーム分早くなるようにメモリアドレスを制御してメモリ１０３から音声データを読み出す。ここで１フレーム分とは、撮像装置１００が１秒間にＮフレームの画像を記録するモードであるとき、１／Ｎ秒である。

また、図３において音量増加を検出した瞬間の画像と、１フレーム後の画像との間の枠をユーザーが選択した場合、音声が１/２フレーム分遅れるようにメモリアドレスを制御してメモリ１０３から音声データを読み出す。また、音量増加を検出した瞬間の画像と、１フレーム前の画像との間の枠をユーザーが選択した場合、音声が１/２フレーム分早くなるようにメモリアドレスを制御してメモリ１０３から音声データを読み出す。なお、図３では音量増加を検出した瞬間の画像と、その１フレーム前後の画像との間の選択可能な枠を一つにしているが、この選択可能な枠を複数にし、その分、音声遅延を調整できる分解能を細かくしてもよい。

なお、図３では音量増加を検出した瞬間と、その前後の計３フレーム分の画像を表示しているが、さらにその前後の画像まで表示し、ユーザーが選択できるようにしてもよい。その場合、ユーザーが選択した複数フレーム前または後の画像に合わせて、音声遅延を複数フレーム分ずらすように調整する。

Ｓ２０７で音声遅延を調整後、Ｓ２０１に戻る。ユーザーがさらに音声遅延の調整を行いたい場合は、音声遅延調整モードをＯＮに設定したまま、前述のフローを繰り返す。音声遅延調整を終了する場合は、ユーザーは音声遅延調整モードをＯＦＦに設定する。その後、ユーザーが操作部１１０の記録ボタンを操作することにより、調整した音声と映像のタイミングで撮影・記録を行うことが可能となる。

次に、音量増加の検出方法について述べる。音量増加検出部１１５は、音声入力部１０２により得られメモリ１０３に一時的に記憶された音声データを読み出す。そして、その音声データを１ミリ秒毎ごとに区切り、１ミリ秒間の絶対値の平均値を検出に使用する。ここで、この１ミリ秒間の絶対値の平均値を、サンプル値と記述する。なお、サンプル値として、１ミリ秒間の平均値ではなく最大値を用いても良い。音量増加検出部１１５は、ある時点でのサンプル値と、その１ミリ秒間前のサンプル値とを比較し、その差が所定の値を超えていたら、音量増加として検出する。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態における撮像装置の構成は、第１の実施形態で説明した図１と同様の構成であるため、説明を省略する。第１の実施形態と第２の実施形態は、音声遅延調整モードにおける処理フローが異なる。以下、フローチャートと図を参照して、第２の実施形態における音声遅延調整モードの動作を説明する。

図４は第２の実施形態における撮像装置の制御に関する動作を示すフローチャートである。なお、第１の実施形態で説明した図２と同様のフローおよび状態には同じ参照番号を付し、説明を省略する。図４においてＳ２０７で音声遅延を調整後、Ｓ４０１に進む。

Ｓ４０１では、Ｓ２０３でメモリ１０４に記録された画像と音声の中で、Ｓ２０４において音量増加を検出した瞬間とその前後複数フレームの画像を読み出す。また、音声遅延調整後のタイミングになるように音声データを読み出す。そして、読み出した画像と音声をそれぞれ表示部１０５とスピーカ１１２に繰り返し出力することで、ユーザーは、音声遅延調整後の画像と音声のタイミングを確認できる。また、Ｓ４０１では、ユーザーは表示部１０５を見ながら、操作部１１０を操作して撮像装置１００の設定を行い、音声遅延調整モードをＯＦＦに設定することができる。

Ｓ４０２では、音声遅延調整モードがＯＦＦの場合、Ｓ２０１に戻り、音声遅延調整モードがＯＮの場合、Ｓ４０３に進む。Ｓ４０３では、音量増加検出部１１５により音量増加が検出されるのを待つ。音量増加が検出されなかった場合はＳ４０１に戻り、再生を繰り返す。音量増加が検出された場合、Ｓ２０５に戻り、ユーザーが再び音声遅延の調整を行う。

このように、本実施例で説明した撮像装置は前述の処理を行うので、ユーザーが記録映像と音声のタイミングを容易に調整することができる。

１０１ 撮像部
１０２ 音声入力部
１０３ メモリ
１０４ 表示制御部
１０５ 表示部
１０６ 符号化処理部

Claims (3)

1. 撮像部と、
   表示部と、
   音声信号を入力とする音声入力部と、
   前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、
   前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、
   前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、
   前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、
   前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、
   前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整することを特徴とする撮像装置。
2. 前記表示制御部は、前記選択手段により画像が選択されてから、再び前記音量増加検出手段により音量増加が検出されるまで、前記メモリに記録された複数フレーム分の画像と遅延調整後の音声を繰り返し再生することを特徴とする請求項１に記載の撮像装置。
3. 前記音声遅延制御部により調整される音声遅延時間の分解能が、撮影フレームレートが高くなるほど小さくなることを特徴とする請求項１または２に記載の撮像装置。