JP2018078459A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2018078459A JP2018078459A JP2016219284A JP2016219284A JP2018078459A JP 2018078459 A JP2018078459 A JP 2018078459A JP 2016219284 A JP2016219284 A JP 2016219284A JP 2016219284 A JP2016219284 A JP 2016219284A JP 2018078459 A JP2018078459 A JP 2018078459A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- unit
- image
- voice
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Receiver Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】記録する映像と音声のタイミングを、ユーザーが撮像装置本体で調整することができない。【解決手段】撮像部と、表示部と、音声信号を入力とする音声入力部と、前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整する。【選択図】図1
Description
本発明は撮像装置に関し、特に、記録する映像信号と音声信号の遅延量の差を調整する装置に関するものである。
入力された映像・音声を信号処理・符号化し記録媒体に記録するデジタルビデオカメラ等の撮像装置がある。ここで多くの場合、音声信号の処理よりも映像信号の処理に時間がかかるため、映像信号と音声信号を並列に処理すると、記録された映像と音声にずれが生じる。そして、記録された映像と音声のタイミングのずれがある程度以上あると、その記録コンテンツを視聴する視聴者が違和感を感じてしまう。
したがって、デジタルビデオカメラ等の撮像装置や、その記録コンテンツを再生する再生装置では通常、音声信号に遅延処理を施し、映像と音声のタイミングのずれがないように調整をした上で記録・再生を行っている。
再生時に映像と音声のタイミングを敢えてずらしたい場合が存在する。具体的には例えば、映像と音声のずれにより視聴者に違和感を与え、不安感を誘発する演出を行う場合がある。また、ディスプレイとスピーカーから視聴者の居場所までに距離があり、音声を先に出力することで、視聴者の居場所に届く時点で映像と音声のタイミングが合うようにする場合等がある。
しかし従来の撮像装置では、映像と音声のタイミングのずれがないように調整をした上で記録を行っているため、ユーザーが撮像装置本体で映像と音声のタイミング調整を行うことができない。したがって、ユーザーが映像と音声のタイミングを調整したい場合には、撮像装置で記録した映像と音声のファイルをPCで取り込み編集ソフトを使用する等、追加の設備や手間が必要になってしまうという課題があった。
そこで本発明は、音声遅延調整モードにおいて急激な音量の変化を検出し、検出時とその前後のフレームの画像を表示して、音声のタイミングを合わせたい画像をユーザーに選択させることで、容易に映像と音声のタイミングを調整できる撮像装置を提供することを目的とする。
本発明の撮像装置は、撮像部と、表示部と、音声信号を入力とする音声入力部と、前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整する。
本発明によれば、急激な音量の変化を検出し、検出時とその前後のフレームの画像を表示して、ユーザーに音声のタイミングを合わせたい画像を選択させることで、ユーザーが容易に音声遅延を調整できる。
以下、図面を参照して本発明の実施例を詳細に説明する。
<第1の実施形態>
音声信号を処理、録音することができる撮像装置について説明する。図1は、本発明の第1の実施形態における撮像装置100の構成を示すブロック図である。
<第1の実施形態>
音声信号を処理、録音することができる撮像装置について説明する。図1は、本発明の第1の実施形態における撮像装置100の構成を示すブロック図である。
図1において、撮像部101は、撮影レンズにより取り込まれた被写体の光学像を、撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。音声入力部102は、内蔵または音声端子を介して接続された複数のマイクにより、撮像装置100の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。メモリ103は、撮像部101により得られた画像データや、音声入力部102により得られた音声データを一時的に記憶する。
表示制御部104は、撮像部101により得られた画像データに係る映像や、撮像装置100の操作画面、メニュー画面等を表示部105や、不図示の映像端子を介して外部のディスプレイに表示させる。符号化処理部106は、メモリ103に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、メモリ103から読み出す音声データのメモリアドレスを制御することによって音声遅延をずらし、映像と音声のタイミングを調整する。
記録再生部107は、記録媒体108に対して、符号化処理部106で生成された圧縮画像データ、圧縮音声データ等を記録し、また、記録媒体108に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す。ここで、記録媒体108は、圧縮画像データ、圧縮音声データ等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。
制御部109は、撮像装置100の各ブロックに制御信号を送信することで撮像装置100の各ブロックを制御することができ、各種制御を実行するためのCPUやメモリなどからなる。操作部110は、ボタンやダイヤル、タッチパネルなどからなり、ユーザの操作に応じて、指示信号を制御部109に送信する。音声出力部111は、記録再生部107により再生された圧縮音声データや、制御部109により出力される音声データをスピーカ112や不図示の音声端子などに出力する。
外部出力部113は、記録再生部107により再生された圧縮映像データや圧縮音声データ等を外部機器に出力する。データバス114は、音声データや画像データ等の各種データ、各種制御信号を撮像装置100の各ブロックに供給する。ここで、本実施例の撮像装置100の通常の動作について説明する。本実施例の撮像装置100は、ユーザが操作部110を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源が供給される。
電源が供給されると、制御部109は、例えば、操作部110のモード切り換えスイッチが、撮影モード、再生モード等のどのモードであるかを操作部110からの指示信号により確認する。撮影モードでは、撮像部101により得られた画像データと、音声入力部102により得られた音声データとを1つのファイルとして保存することができる。再生モードでは、記録媒体108に記録された圧縮画像データを記録再生部107により再生して表示部105に表示させることができる。
撮影モードでは、まず、制御部109は、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。撮像部101は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示制御部104に送信し、表示部105に表示させる。ユーザーはこのようにして表示された画面を見ながら撮影の準備を行う。
音声入力部102は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部111に送信し、接続されたスピーカ112や不図示のイヤホンから音声として出力させる。ユーザーは、このようにして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。
次に、ユーザーが操作部110の記録ボタンを操作することにより撮影開始の指示信号が制御部109に送信されると、制御部109は、撮像装置100の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。
撮像部101は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示制御部104に送信し、表示部105に表示させる。また、得られた画像データをメモリ103に送信する。音声入力部102は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ103に送信する。
符号化処理部106は、メモリ103に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、メモリ103から読み出す音声データのメモリアドレスを制御することによって音声遅延を制御し、映像と音声のタイミングを調整している。そして、制御部109は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成して、記録再生部107に出力する。記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。
以上の動作を撮影中は継続する。そして、ユーザーが操作部110の記録ボタンを操作することにより撮影終了の指示信号が制御部109に送信されると、制御部109は、撮像装置100の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。撮像部101、音声入力部102は、それぞれ画像データ、音声データの生成を停止する。符号化処理部106は、メモリに記憶されている残りの画像データと音声データとを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。
そして、制御部109は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部107に出力する。記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。制御部109は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信して、撮影待機状態に戻る。
次に、再生モードでは、制御部109は、再生状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。記録媒体108に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部107が読み出して、読み出された圧縮画像データ、圧縮音声データを、符号化処理部106に送る。符号化処理部106は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部104、音声出力部111に送信する。
表示制御部104は、復号された画像データを表示部105に表示させる。音声出力部111は、復号された音声データを、内蔵または取付けられた外部スピーカから出力させる。
本実施例の撮像装置は以上のように、画像、音声の記録再生を行うことができる。ところで、本実施例の撮像装置100は、メモリ103に一時的に記憶された音声データを読み出す際に設定するメモリアドレスを制御することで、記録する映像と音声のタイミングをユーザーが調整できる音声遅延調整モードを有する。音声遅延調整モードでは例えば、ユーザーが柏手を打つことにより発生する急激な音量増加を、音量増加検出部115で検出し、検出時とその前後の撮影画像を表示部に表示して、ユーザーに画像を選択させる。
そして、音量増加を検出した瞬間の音声のタイミングを、ユーザーが選択した画像に合わせるように制御することで、撮影画像と音声のタイミングを調整する。
以下、フローチャートと図を参照して、音声遅延調整モードの動作を具体的に説明する。
図2は第1の実施例における撮像装置の制御に関する動作を示すフローチャートである。図2において、ユーザが操作部110を操作して電源が投入されると、S201へ進む。S201ではまず、撮影待機処理を行う。撮影待機処理では、撮像部101で撮影された画像およびOSDを表示部105に表示する。ユーザーは表示部105を見ながら、操作部110を操作して撮像装置100の設定を行う。ここで、ユーザーは音声遅延調整モードのON/OFFを設定することができる。
S202では撮像装置100の設定が音声遅延調整モードか否かを判定する。音声遅延調整モードである場合はS203に進み、音声遅延調整モードでない場合はS201に戻る。S203では撮像部101で撮影された画像とOSDを表示部105に表示するとともに、撮影された最新の画像から複数フレーム分の画像と音声を、メモリ103に一時的に記録する。
S204では音量増加検出部115により音量増加が検出されるのを待つ。音量増加が検出された場合はS205に進み、音量増加が検出されなかった場合はS201に戻る。なお、音量増加の検出方法については後述する。S205では、音量増加検出部115により音量増加を検出した瞬間と、その前後の撮影画像を、表示制御部104がメモリ103から読み出す。そして表示制御部104は、図3に示すような音声遅延調整用画面を作成し、表示部105に表示する。
S206では、S205で表示部105に表示された複数の画像の中から、ユーザーが音量増加のタイミングを合わせたい画像を選択し、S207に進む。S207では、S206でユーザーが選択した画像に合わせて音声遅延を調整する。
具体的には、音量増加を検出した瞬間の画像の、1フレーム後の画像をユーザーが選択した場合、音声が1フレーム分遅れるようにメモリアドレスを制御してメモリ103から音声データを読み出す。また、音量増加を検出した瞬間の画像の、1フレーム前の画像をユーザーが選択した場合、音声が1フレーム分早くなるようにメモリアドレスを制御してメモリ103から音声データを読み出す。ここで1フレーム分とは、撮像装置100が1秒間にNフレームの画像を記録するモードであるとき、1/N秒である。
また、図3において音量増加を検出した瞬間の画像と、1フレーム後の画像との間の枠をユーザーが選択した場合、音声が1/2フレーム分遅れるようにメモリアドレスを制御してメモリ103から音声データを読み出す。また、音量増加を検出した瞬間の画像と、1フレーム前の画像との間の枠をユーザーが選択した場合、音声が1/2フレーム分早くなるようにメモリアドレスを制御してメモリ103から音声データを読み出す。なお、図3では音量増加を検出した瞬間の画像と、その1フレーム前後の画像との間の選択可能な枠を一つにしているが、この選択可能な枠を複数にし、その分、音声遅延を調整できる分解能を細かくしてもよい。
なお、図3では音量増加を検出した瞬間と、その前後の計3フレーム分の画像を表示しているが、さらにその前後の画像まで表示し、ユーザーが選択できるようにしてもよい。その場合、ユーザーが選択した複数フレーム前または後の画像に合わせて、音声遅延を複数フレーム分ずらすように調整する。
S207で音声遅延を調整後、S201に戻る。ユーザーがさらに音声遅延の調整を行いたい場合は、音声遅延調整モードをONに設定したまま、前述のフローを繰り返す。音声遅延調整を終了する場合は、ユーザーは音声遅延調整モードをOFFに設定する。その後、ユーザーが操作部110の記録ボタンを操作することにより、調整した音声と映像のタイミングで撮影・記録を行うことが可能となる。
次に、音量増加の検出方法について述べる。音量増加検出部115は、音声入力部102により得られメモリ103に一時的に記憶された音声データを読み出す。そして、その音声データを1ミリ秒毎ごとに区切り、1ミリ秒間の絶対値の平均値を検出に使用する。ここで、この1ミリ秒間の絶対値の平均値を、サンプル値と記述する。なお、サンプル値として、1ミリ秒間の平均値ではなく最大値を用いても良い。音量増加検出部115は、ある時点でのサンプル値と、その1ミリ秒間前のサンプル値とを比較し、その差が所定の値を超えていたら、音量増加として検出する。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本発明の第2の実施形態における撮像装置の構成は、第1の実施形態で説明した図1と同様の構成であるため、説明を省略する。第1の実施形態と第2の実施形態は、音声遅延調整モードにおける処理フローが異なる。以下、フローチャートと図を参照して、第2の実施形態における音声遅延調整モードの動作を説明する。
次に、本発明の第2の実施形態について説明する。本発明の第2の実施形態における撮像装置の構成は、第1の実施形態で説明した図1と同様の構成であるため、説明を省略する。第1の実施形態と第2の実施形態は、音声遅延調整モードにおける処理フローが異なる。以下、フローチャートと図を参照して、第2の実施形態における音声遅延調整モードの動作を説明する。
図4は第2の実施形態における撮像装置の制御に関する動作を示すフローチャートである。なお、第1の実施形態で説明した図2と同様のフローおよび状態には同じ参照番号を付し、説明を省略する。図4においてS207で音声遅延を調整後、S401に進む。
S401では、S203でメモリ104に記録された画像と音声の中で、S204において音量増加を検出した瞬間とその前後複数フレームの画像を読み出す。また、音声遅延調整後のタイミングになるように音声データを読み出す。そして、読み出した画像と音声をそれぞれ表示部105とスピーカ112に繰り返し出力することで、ユーザーは、音声遅延調整後の画像と音声のタイミングを確認できる。また、S401では、ユーザーは表示部105を見ながら、操作部110を操作して撮像装置100の設定を行い、音声遅延調整モードをOFFに設定することができる。
S402では、音声遅延調整モードがOFFの場合、S201に戻り、音声遅延調整モードがONの場合、S403に進む。S403では、音量増加検出部115により音量増加が検出されるのを待つ。音量増加が検出されなかった場合はS401に戻り、再生を繰り返す。音量増加が検出された場合、S205に戻り、ユーザーが再び音声遅延の調整を行う。
このように、本実施例で説明した撮像装置は前述の処理を行うので、ユーザーが記録映像と音声のタイミングを容易に調整することができる。
101 撮像部
102 音声入力部
103 メモリ
104 表示制御部
105 表示部
106 符号化処理部
102 音声入力部
103 メモリ
104 表示制御部
105 表示部
106 符号化処理部
Claims (3)
- 撮像部と、
表示部と、
音声信号を入力とする音声入力部と、
前記撮像部による撮像画像と前記音声入力部による音声信号を記憶するメモリと、
前記メモリから読み出す音声信号のメモリアドレスを制御することで音声遅延を制御する音声遅延制御部と、
前記音声遅延制御部の出力音声信号の音量増加を検出する音量増加検出部と、
前記音量増加検出部により音量増加が検出された瞬間とその前後の画像を前記メモリから読み出し、前記表示部に表示する画像を生成する表示制御部と、
前記表示制御部により生成された画像の中の所定の画像を選択する選択手段とを有し、
前記音声遅延制御部は、前記選択手段により選択された画像に応じて音声遅延時間を調整することを特徴とする撮像装置。 - 前記表示制御部は、前記選択手段により画像が選択されてから、再び前記音量増加検出手段により音量増加が検出されるまで、前記メモリに記録された複数フレーム分の画像と遅延調整後の音声を繰り返し再生することを特徴とする請求項1に記載の撮像装置。
- 前記音声遅延制御部により調整される音声遅延時間の分解能が、撮影フレームレートが高くなるほど小さくなることを特徴とする請求項1または2に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016219284A JP2018078459A (ja) | 2016-11-10 | 2016-11-10 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016219284A JP2018078459A (ja) | 2016-11-10 | 2016-11-10 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018078459A true JP2018078459A (ja) | 2018-05-17 |
Family
ID=62149260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016219284A Pending JP2018078459A (ja) | 2016-11-10 | 2016-11-10 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018078459A (ja) |
-
2016
- 2016-11-10 JP JP2016219284A patent/JP2018078459A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4724577B2 (ja) | 撮像装置及びその制御方法 | |
JP5627345B2 (ja) | 撮像装置 | |
JP2006352529A (ja) | 撮像装置 | |
JP5538918B2 (ja) | 音声信号処理装置、音声信号処理システム | |
US8514300B2 (en) | Imaging apparatus for reducing driving noise | |
JP2012209912A (ja) | 集音装置 | |
JP2013131871A (ja) | 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体 | |
JP2018074220A (ja) | 音声処理装置 | |
JP2011130134A (ja) | 撮像装置、撮像システム | |
JP2018078459A (ja) | 撮像装置 | |
JP5495753B2 (ja) | 撮像装置 | |
JP2015122731A (ja) | 動画再生装置及び動画再生方法 | |
JP6398694B2 (ja) | 無線lan機能を備えた携帯機器及び記録システム | |
JP2019161334A (ja) | 音声処理装置 | |
JP2019016851A (ja) | 音声処理装置、音声処理方法、及びプログラム | |
JP5317936B2 (ja) | 音声信号処理装置 | |
JP2017076895A (ja) | 音声信号処理装置及び方法 | |
JP2016009952A (ja) | 音声信号処理装置 | |
JP5506471B2 (ja) | 撮像装置 | |
JP2019161333A (ja) | 音声処理装置 | |
JP5409289B2 (ja) | 音声信号記録装置 | |
JP2017199987A (ja) | 撮像装置 | |
JP2018060057A (ja) | 音声処理装置 | |
JP4934062B2 (ja) | テレビカメラ | |
JP2012120128A (ja) | 再生装置及び方法 |