JP2014127737A - Image pickup device - Google Patents
Image pickup device Download PDFInfo
- Publication number
- JP2014127737A JP2014127737A JP2012280998A JP2012280998A JP2014127737A JP 2014127737 A JP2014127737 A JP 2014127737A JP 2012280998 A JP2012280998 A JP 2012280998A JP 2012280998 A JP2012280998 A JP 2012280998A JP 2014127737 A JP2014127737 A JP 2014127737A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- image
- audio signal
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画角内の複数の位置のいずれかで発生する音声を的確に収音し、ユーザが、収音している音声の状況を容易に理解することができる撮像装置に関する。 The present invention relates to an imaging apparatus that accurately picks up sound generated at any of a plurality of positions within an angle of view, and allows a user to easily understand the state of sound being picked up.
一般的にビデオカメラと称されている撮像装置は、被写体を撮影し、マイクロホンによって被写体からの音声を収音する。映像音声記録再生機能を搭載したビデオカメラにおいては、被写体を撮影した動画像の映像情報と、撮影中に収音した音声情報とを記録し再生する。 In general, an imaging device called a video camera captures a subject and picks up sound from the subject using a microphone. A video camera equipped with a video / audio recording / playback function records and plays back video information of a moving image obtained by shooting a subject and audio information collected during shooting.
ビデオカメラに搭載されているマイクロホンは、一般的に、モノラルマイクロホンまたはステレオマイクロホンである。モノラルマイクロホンで音声を収音する場合、音声は、音声が発生する位置にかかわらず１チャンネルの音声信号として記録される。ステレオマイクロホンで音声を収音する場合、左右それぞれの音声が２チャンネルの音声信号として記録される。 A microphone mounted on a video camera is generally a monaural microphone or a stereo microphone. When sound is picked up by a monaural microphone, the sound is recorded as a one-channel sound signal regardless of the position where the sound is generated. When collecting sound with a stereo microphone, left and right sounds are recorded as 2-channel audio signals.
モノラルマイクロホンまたはステレオマイクロホンを搭載したビデオカメラにおいては、画角内の複数の位置それぞれで発生する音声を的確に収音することは困難である。 In a video camera equipped with a monaural microphone or a stereo microphone, it is difficult to accurately collect sound generated at each of a plurality of positions within the angle of view.
例えば画角の中央付近に主たる撮影対象の被写体である人物が位置しており、画角の左側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生させた音を的確に収音して記録することは難しい。そこで、画角内の複数の位置のいずれかで発生する音声を的確に収音できることが求められる。 For example, it is assumed that a person who is the main subject to be photographed is located near the center of the angle of view, and an animal sounds at the left or right end of the angle of view. Under such circumstances, it is difficult to accurately collect and record the sounds generated by animals. Therefore, it is required that sound generated at any of a plurality of positions within the angle of view can be accurately picked up.
また、画角内の複数の位置のいずれかで発生する音声を収音しているとき、音声を的確に収音できているか否か等、ユーザが、収音している音声の状況を容易に理解することができることが求められる。 In addition, when picking up sound generated at any of multiple positions within the angle of view, the user can easily pick up the state of the sound being picked up, such as whether or not the sound can be picked up accurately. It is required to be able to understand.
本発明はこのような要望に対応するため、画角内の複数の位置のいずれかで発生する音声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解することができる撮像装置を提供することを目的とする。 In order to meet such a demand, the present invention can accurately pick up sound generated at any of a plurality of positions within the angle of view, and the user can easily determine the state of sound being picked up. An object is to provide an imaging device that can be understood.
本発明は、上述した従来の技術の課題を解決するため、複数のマイクロホン素子が配列されたアレーマイクロホン（１０）と、被写体を撮影する映像撮影部（１８）と、前記映像撮影部で撮影される画角と予め設定した収音の角度分解能とによって、前記アレーマイクロホンによって収音する前記画角内の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替える指向性切替部（１４）と、前記指向性切替部による制御によって、前記アレーマイクロホンにおける前記複数のマイクロホン素子が収音した音声信号を演算処理して、前記複数の角度方向のうちの少なくとも選択された特定の角度方向の音声信号を生成する音声信号演算部（１２，１２’）と、前記特定の角度方向の音声信号の収音レベルを算出する収音レベル算出部（６２〜６４）と、前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部（２６）と、前記画像データ発生部が発生した前記収音レベル表示画像の画像データを前記映像信号とともに表示させる映像合成部（２５）とを備えることを特徴とする撮像装置を提供する。 In order to solve the above-described problems of the prior art, the present invention is photographed by an array microphone (10) in which a plurality of microphone elements are arranged, a video photographing unit (18) for photographing a subject, and the video photographing unit. Directivity switching that determines a plurality of angular directions within the angle of view to be picked up by the array microphone, and switches the directivity of the picked up sound by the array microphone based on the angle of view and the angle resolution of the sound pick-up set in advance A sound signal picked up by the plurality of microphone elements in the array microphone is controlled by the control by the unit (14) and the directivity switching unit, and at least a specific selected from the plurality of angular directions is selected. An audio signal calculation unit (12, 12 ′) that generates an audio signal in the angle direction and a sound collection level of the audio signal in the specific angle direction are calculated. A sound level calculation unit (62 to 64), an image data generation unit (26) for generating image data of a sound collection level display image indicating the sound collection level calculated by the sound collection level calculation unit, and the image data generation unit And an image synthesizing unit (25) for displaying image data of the sound collection level display image in which the sound is generated together with the image signal.
本発明の撮像装置によれば、画角内の複数の位置のいずれかで発生する音声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解することができる。 According to the imaging apparatus of the present invention, it is possible to accurately pick up sound generated at any of a plurality of positions within the angle of view, and the user can easily understand the state of the sound being picked up. Can do.
以下、一実施形態の撮像装置について、添付図面を参照して説明する。一実施形態の撮像装置は映像音声記録再生機能を搭載したビデオカメラを例とする。 Hereinafter, an imaging apparatus according to an embodiment will be described with reference to the accompanying drawings. The imaging apparatus according to an embodiment is a video camera having a video / audio recording / playback function as an example.
図１において、一実施形態のビデオカメラ１１０は、アレーマイクロホン１０とステレオマイクロホン１１を備える。ステレオマイクロホン１１の代わりにモノラルマイクロホンとしてもよいし、ステレオマイクロホン１１を省略してアレーマイクロホン１０のみとしてもよい。但し、ステレオマイクロホン１１を備える方が好ましい。
In FIG. 1, a
図２は、ビデオカメラ１１０の外観形状の例と、ビデオカメラ１１０が撮影する被写体２００の例を示している。アレーマイクロホン１０とステレオマイクロホン１１は、ビデオカメラ１１０の筺体上面に例えば図２に示すように配置されている。図２に示す配置は単なる例であり、アレーマイクロホン１０とステレオマイクロホン１１の筺体上の位置、互いの位置関係は任意である。
FIG. 2 shows an example of the external shape of the
アレーマイクロホン１０は、図３の（ａ）に示すように、複数のマイクロホン素子ＭＥを水平方向に一列に配列させた構成を有する。水平方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ａ）に示すマイクロホン素子ＭＥが水平一列のアレーマイクロホン１０をアレーマイクロホン１０Ａとする。 As shown in FIG. 3A, the array microphone 10 has a configuration in which a plurality of microphone elements ME are arranged in a line in the horizontal direction. The distance between the centers of two microphone elements ME adjacent in the horizontal direction is d. The array microphone 10 in which the microphone elements ME shown in FIG.
アレーマイクロホン１０は、図３の（ｂ）に示すように、複数のマイクロホン素子ＭＥの水平一列の配列１０b1，１０b2，１０b3を垂直方向に配列させた構成であってもよい。垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ｂ）に示す水平一列のマイクロホン素子ＭＥを垂直方向に複数配列させたアレーマイクロホン１０をアレーマイクロホン１０Ｂとする。ここで、垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄでなくてもよい。
As shown in FIG. 3B, the
図１，図２に示すアレーマイクロホン１０は、図３の（ａ）に示すアレーマイクロホン１０Ａまたは図３の（ｂ）に示すアレーマイクロホン１０Ｂである。図３の（ａ），（ｂ）では、マイクロホン素子ＭＥを水平方向に６個としているが、マイクロホン素子ＭＥの水平方向の個数は６個に限定されない。アレーマイクロホン１０Ｂは、垂直方向に３列としているが、垂直方向の配列個数も３個に限定されない。また、アレーマイクロホン１０は一直線状や一平面状への配置に限定されない。
The
アレーマイクロホン１０Ａは、マイクロホン素子ＭＥの配列方向に対する法線方向を０度とすると、左右それぞれ９０度までの方向の指向性を有する音声を収音することができる。アレーマイクロホン１０Ｂは、左右それぞれ９０度までの方向と上下それぞれ９０度までの方向の指向性を有する音声を収音することができる。
The
アレーマイクロホン１０によって収音した音声信号は、音声信号演算部１２（１２’）に入力されて、後述する演算処理が施される。音声信号演算部１２は、アレーマイクロホン１０Ａからの音声信号を演算処理する。音声信号演算部１２’は、アレーマイクロホン１０Ｂからの音声信号を演算処理する。音声信号演算部１２（１２’）は、ビデオカメラ１１０が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まるチャンネル数の音声信号を演算処理によって生成して出力する。ここでの分解能とは、周音の角度分解能のことである。
The audio signal collected by the
音声信号増幅部１３は、ステレオマイクロホン１１より出力されたステレオ音声信号と、音声信号演算部１２（１２’）より出力された所定のチャンネル数の音声信号（マルチチャンネル音声信号）とをそれぞれ増幅する。音声信号増幅部１３によって増幅された音声信号は、映像音声記録処理部１６及びスイッチ６５の端子Ｔａに供給される。
The
音声信号増幅部１３によって増幅された音声信号は、音声認識部６１，音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４にも供給される。音声認識部６１は、複数の語彙を登録している辞書６１１を有する。
The voice signal amplified by the voice
音声認識部６１は、辞書６１１に登録されている語彙を参照することによって、マルチチャンネル音声信号として入力される音の中から、人が発している音声を認識する。音圧レベル演算部６２は音声信号増幅部１３から入力された信号の音圧レベルを演算する。周波数スペクトル分析部６３は音声信号増幅部１３から入力された信号の複数に分割された音声周波数帯ごとの音圧レベルを演算する。音声認識レベル算出部６４は、音声認識処理に使用したメモリデータ量に基づいて音声認識レベルを算出する。これによって人の声の認識度合いを数値化できる。
The
音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４は、マルチチャンネル音声信号における１または複数の角度方向の音声信号の収音レベルを算出する収音レベル算出部の例である。音圧レベル演算部６２が求める音圧レベルと、周波数スペクトル分析部６３が分析する音声の周波数スペクトルと、音声認識レベル算出部６４が算出する音声認識レベルを、人が発している音声の収音レベルと総称することとする。
The sound pressure
音圧レベル演算部６２は、音声認識部６１によって認識された人が発している音声の音圧レベルを演算によって求めてもよい。周波数スペクトル分析部６３は、音声認識部６１によって認識された人が発している音声の周波数スペクトルを分析してもよい。
The sound pressure
スイッチ６５が端子Ｔａに接続している状態では、音声信号増幅部１３によって増幅された音声信号が音声出力処理部２２へと供給される。スイッチ６５が端子Ｔｂに接続している状態では、記録媒体４０に記録された音声信号が映像音声再生処理部２１を介して音声出力処理部２２へと供給される。
In a state where the
音声出力処理部２２は、入力された音声信号に基づいた音をスピーカ２３より発生させることができる。操作部３０によって、音量を増加または減少させる指示がなされたら、制御部２０は、音声出力処理部２２における音声信号の増幅度を制御する。また、音声信号を、音声出力端子２９ａより外部へと出力させることができる。
The audio
制御部２０は、ビデオカメラ１１０の全体を制御する。操作部３０によってズームを調整する操作がなされたら、ズーム調整部１７は、指定されたズーム倍率となるよう映像撮影部１８を制御する。操作部３０は、ビデオカメラ１１０の筐体に設けられている操作部またはビデオカメラ１１０を遠隔制御するリモートコントローラである。映像撮影部１８は、ズームレンズと、ＣＣＤまたはＣＭＯＳの撮像素子とを有する。ズーム調整部１７によるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部１４に入力される。
The
図２において、ビデオカメラ１１０が被写体２００を撮影している際に実際にビデオカメラ１１０によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角２０１の部分である。画角２０１は、ズーム調整部１７によるズーム調整によって大きくなったり小さくなったりする。指向性切替部１４は、実効焦点距離に基づいて、画角２０１の大きさであるビデオカメラ１１０が実際に撮影している水平方向及び垂直方向の角度範囲を知ることができる。
In FIG. 2, when the
指向性切替部１４には、分解能が例えば１０度と設定されている。制御部２０によって、指向性切替部１４に設定する分解能を可変できるようにしてもよい。指向性切替部１４は、実効焦点距離に基づいて画角２０１の情報を得るようにしているが、他の方法によって画角２０１の情報を得るようにしてもよい。
In the
指向性切替部１４は、音声信号演算部１２（１２’）が画角２０１と分解能とによって決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声信号演算部１２（１２’）を制御する。指向性情報生成部１５は、音声信号演算部１２（１２’）が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声記録処理部１６に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度方向からの音声信号であるかを示す。
The
映像撮影部１８より出力された映像信号は、映像信号処理部１９に入力される。映像信号処理部１９は、入力された映像信号をＡ／Ｄ変換して所定の信号処理を施す。映像信号処理部１９によって所定の信号処理が施された映像信号は、映像音声記録処理部１６及びスイッチ６６の端子Ｔａに供給される。
The video signal output from the
スイッチ６６が端子Ｔａに接続している状態では、被写体を撮影している状態の映像信号を表示部２８に表示させるよう、映像信号処理部１９より出力された映像信号が映像信号処理部２４へと供給される。スイッチ６６が端子Ｔｂに接続している状態では、記録媒体４０に記録されて再生された映像号号を表示部２８に表示させるよう、映像音声再生処理部２１より出力された映像信号が映像信号処理部２４へと供給される。
In a state where the
スイッチ６６より出力された映像信号は、映像信号処理部２４に入力されて処理される。映像合成部２５は、画像データ発生部２６が画像データを発生している場合には、制御部２０の制御に基づいて、映像信号処理部２４より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させるよう処理する。
The video signal output from the
表示部２８は、図２に示すように、例えばビデオカメラ１１０の筺体側面に設けられている液晶パネルである。映像信号を、映像出力端子２９ｖより外部へと出力させることができる。
As shown in FIG. 2, the
映像音声記録処理部１６は、音声信号増幅部１３より出力されたステレオ音声信号及び指向性を有するマルチチャンネル音声信号と、指向性情報生成部１５より出力された指向性情報と、映像信号処理部１９より出力された映像信号とを所定の信号形式のデータとして、記録媒体４０に記録する。映像音声記録処理部１６は、映像信号及び音声信号を所定の圧縮処理方式で圧縮して記録媒体４０に記録してもよい。
The video / audio
記録媒体４０には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラックで記録される。記録媒体４０は、半導体メモリやハードディスク・ドライブ等のビデオカメラ１１０に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒体でもよい。
A stereo audio signal and a multi-channel audio signal are recorded on the
映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録されている映像信号と、ステレオ音声信号と、マルチチャンネル音声信号及び指向性情報を読み出して再生処理を施す。ステレオ音声信号及びマルチチャンネル音声信号は、スイッチ６５の端子Ｔｂに供給される。映像信号は、スイッチ６６の端子Ｔｂに供給される。指向性情報は、制御部２０に供給される。
The video / audio
図４を用いて、音声信号演算部１２（１２’）がそれぞれの方向の音声信号をどのように演算処理して生成するかについて説明する。図４では、アレーマイクロホン１０Ａを例にして説明する。アレーマイクロホン１０Ａのマイクロホン素子ＭＥの破線で示す配列方向に対する法線をＬ０とする。法線Ｌ０の方向を０度とする。音声の入射方向が０度であれば、それぞれのマイクロホン素子ＭＥにはほぼ同時に音声が到達する。
With reference to FIG. 4, how the audio signal calculation unit 12 (12 ′) calculates and generates an audio signal in each direction will be described. In FIG. 4, description will be given by taking the
図４に示すように、法線Ｌ０に対して３０度の直線Ｌ30の方向からの音声を収音する場合を考える。アレーマイクロホン１０Ａに対して直線Ｌ30の方向から音声が入射すると、６つのマイクロホン素子ＭＥの中央を基準位置として、右側の３つのマイクロホン素子ＭＥにはそれぞれDL1，DL2，DL3なる遅延時間で音声が到達する。左側の３つのマイクロホン素子ＭＥにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間である-DL1，-DL2，-DL3なる遅延時間で音声が到達する。
As shown in FIG. 4, a case is considered where sound is picked up from a direction of a straight line L30 of 30 degrees with respect to the normal L0. When sound enters the
即ち、それぞれのマイクロホン素子ＭＥが収音する音声を、図４に示す遅延時間だけ遅延させれば、アレーマイクロホン１０Ａの法線Ｌ０に対して３０度の角度である直線Ｌ30の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅延させることはできないため、例えば、最も左に位置するマイクロホン素子ＭＥの遅延時間を０として、右側のマイクロホン素子ＭＥほど遅延時間を多くするように遅延させれば、３０度の方向からの音声を収音することができる。
That is, if the sound collected by each microphone element ME is delayed by the delay time shown in FIG. 4, the sound is collected from the direction of the straight line L30 that is an angle of 30 degrees with respect to the normal line L0 of the
このように、アレーマイクロホン１０Ａ，１０Ｂのマイクロホン素子ＭＥが収音する音声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角度方向からの音声を収音することができる。同様にして、アレーマイクロホン１０Ｂの場合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の複数の角度方向からの音声を収音することができる。
As described above, if the sound collected by the microphone elements ME of the
音声信号演算部１２（１２’）は以上説明した原理に基づいて左右または上下のそれぞれの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図５を用いて、アレーマイクロホン１０Ａからの音声信号を演算処理する音声信号演算部１２の具体的構成及び動作を説明する。
The audio signal calculation unit 12 (12 ') generates and generates an audio signal having directivity from the left, right, and upper and lower angular directions based on the principle described above. First, the specific configuration and operation of the audio
図５に示すように、音声信号演算部１２は、可変遅延器121a〜121fと、加算器１２２と、増幅器１２３とを備える。可変遅延器121a〜121fは、マイクロホン素子ＭＥの数に対応して設けられている。可変遅延器121a〜121fには、制御部２０から、可変遅延器121a〜121fそれぞれの遅延時間を設定するための水平遅延制御信号Ｓdlchが入力される。
As shown in FIG. 5, the audio
例えば画角２０１が水平方向６０度であり、分解能が１０度と設定されている場合、音声信号演算部１２は、法線方向である０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の方向の音声信号を演算処理して生成する。画角２０１が水平方向３０度であれば、４チャンネル分となる。制御部２０は、それぞれのチャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Ｓdlchを、可変遅延器121a〜121fに供給する。
For example, when the angle of
画角２０１が水平方向６０度の場合、制御部２０は、０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の音声信号を生成するためのそれぞれの遅延時間を設定するよう、水平遅延制御信号Ｓdlchを順次切り替えて可変遅延器121a〜121fに供給する。
When the angle of
それぞれのマイクロホン素子ＭＥより出力された音声信号は、いずれかのチャンネルに対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器１２２は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器１２３は、加算器１２２より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２は、水平遅延制御信号Ｓdlchによって可変遅延器121a〜121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、７チャンネル分の音声信号を順次生成して出力する。
The audio signal output from each microphone element ME is delayed by the
次に、図６を用いて、アレーマイクロホン１０Ｂからの音声信号を演算処理する音声信号演算部１２’の具体的構成及び動作を説明する。図６に示すように、音声信号演算部１２’は、水平遅延部１２b1，１２b2，１２b3と、垂直遅延部１２４と、加算器１２５と、増幅器１２６とを備える。水平遅延部１２b1，１２b2，１２b3は、図３の（ｂ）に示すマイクロホン素子ＭＥの配列１０b1，１０b2，１０b3に対応して設けられている。
Next, a specific configuration and operation of the audio signal calculation unit 12 'that performs calculation processing on the audio signal from the
水平遅延部１２b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部１２b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部１２b3は、可変遅延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1，121a2〜121f2，121a3〜121f3には、図５で説明した水平遅延制御信号Ｓdlchが入力される。水平遅延部１２b1，１２b2，１２b3それぞれの動作は、図５の可変遅延器121a〜121f及び加算器１２２の部分と同じである。
The horizontal delay unit 12b1 includes variable delay devices 121a1 to 121f1 and an
垂直遅延部１２４の可変遅延器1241〜1243には、制御部２０から、水平遅延部１２b1，１２b2，１２b3より出力された音声信号に基づいて、画角２０１の垂直方向の角度と分解能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Ｓdlcvが入力される。水平遅延部１２b1，１２b2，１２b3より出力された音声信号は、垂直方向のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によって遅延される。
The
加算器１２5は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器１２６は、加算器１２５より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２’は、垂直遅延制御信号Ｓdlcvによって可変遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定することにより、複数チャンネル分の音声信号を順次生成して出力する。
The
音声信号演算部１２’は、水平方向の角度方向のチャンネル数をｎ、垂直方向の角度方向のチャンネル数をｍとすれば、ｎ×ｍチャンネルの音声信号を生成することになる。
The audio
本実施形態においては、スイッチ６５，６６をそれぞれ端子Ｔａに接続させて、撮影している被写体の映像信号を表示部２８に表示させ、撮影中に収音している状態において、マルチチャンネル音声信号のうち選択した１または複数のチャンネルの音声信号の収音レベルを表示部２８に表示させることができる。
In the present embodiment, the
ユーザが操作部３０によって所定のキーを操作すると、図７に示すように、制御部２０は、画像データ発生部２６によって、表示部２８に表示された画像２８０の例えば水平方向中央の下端部に、例えばマイクロホンの画像を用いたポインタ画像１５４を表示させる。制御部２０は、ポインタ画像１５４の向きが調整されて決定されたら、ポインタ画像１５４が向いている方向が示すチャンネルの音声信号の収音レベルを示す収音レベル表示画像を画像２８０に重畳させる。
When the user operates a predetermined key with the
図７に示す例では、制御部２０は、収音レベルを示す収音レベル表示画像として、音圧レベル演算部６２によって求めた音圧レベルに基づいた音圧レベル表示画像７１を画像２８０の右下端部に表示させている。ここでは画像２８０の右下端部を、音圧レベル表示画像７１を表示させる固定位置としている。音圧レベル表示画像７１を表示させる位置は任意である。音圧レベル表示画像７１を表示させる位置を変更可能としてもよい。
In the example illustrated in FIG. 7, the
音圧レベル表示画像７１は、一例として、矩形形状の内部に、音圧レベルに応じた個数のセグメント７１SGを表示させた画像である。１または複数のセグメント７１SGの代わりに、数値で音圧レベルを示してもよい。
As an example, the sound pressure
図８に示す例は、制御部２０が、画像データ発生部２６によって、図７に示すポインタ画像１５４の代わりに、くさび状の画像よりなる２つのポインタ画像155a，155bを表示させ、ポインタ画像155a，155bが向いている方向にマイクロホンの画像を用いたポインタ画像154a，154bを表示させたものである。ここでは、くさび状の画像を２つ、マイクロホンの画像を２つとしているが、それぞれ３個以上であってもよい。
In the example shown in FIG. 8, the
制御部２０は、ポインタ画像155a，155bの向きが調整されて決定されたら、ポインタ画像154a，154bを表示させ、ポインタ画像154a，154bが向いている方向が示すチャンネルの音声信号の音圧レベル表示画像７１を画像２８０に重畳させる。ポインタ画像155a，155bとポインタ画像154a，154bとを同時に表示した状態で、ポインタ画像155a，155bの向きを調整するようにしてもよい。ポインタ画像154a，154bや音圧レベル表示画像７１の表示位置を調整可能にしてもよい。
When the direction of the
制御部２０に人の顔を認識する顔認識機能を搭載し、人の顔を認識して、人の顔の近傍にポインタ画像154a，154bや音圧レベル表示画像７１を表示させてもよい。この場合、映像信号処理部１９より出力された映像信号を制御部２０に入力すればよい。顔認識部を制御部２０とは別に設けてもよい。
The
図９に示す例は、制御部２０が、画像データ発生部２６によって、例えば破線よりなる縦線の水平領域分割線１５５を表示させ、画像２８０を水平方向に３つの領域Ｒ１〜Ｒ３に分割させたものである。実線両矢印で示すように、水平領域分割線１５５は左右に移動可能である。ユーザが操作３０を操作することによって水平領域分割線１５５を移動させる操作をすると、制御部２０は、水平領域分割線１５５を重畳する位置を移動させるよう映像合成部２５を制御する。
In the example illustrated in FIG. 9, the
制御部２０は、水平領域分割線１５５の位置が調整されて決定されたら、領域Ｒ１〜Ｒ３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０は、領域Ｒ１〜Ｒ３の水平方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像７２を表示させればよい。
When the position of the horizontal
音圧レベル表示画像７２は、音圧レベル表示画像７１を水平方向に倒したものに相当する。音圧レベル表示画像７２は、音圧レベル表示画像７１と同様、矩形形状の内部に、音圧レベルに応じた個数のセグメント７２SGを表示させた画像である。図９において、音圧レベル表示画像７２の代わりに、音圧レベル表示画像７１を表示させてもよい。但し、図９に示すような水平方向の領域分割の場合には、音圧レベル表示画像７２を表示させる方が好ましい。
The sound pressure
アレーマイクロホン１０Ｂを用いている場合には、図１０に示すような表示も可能である。図１０の（ａ），（ｂ）に示す例は、制御部２０が、画像データ発生部２６によって、例えば破線よりなる縦線の水平領域分割線１５５と横線の垂直領域分割線１５６とを表示させ、画像２８０を水平方向に３つ、垂直方向に２つの６つの領域Ｒ１１〜Ｒ１３，Ｒ２１〜Ｒ２３に分割させたものである。実線両矢印で示すように、水平領域分割線１５５は左右に移動可能であり、垂直領域分割線１５６は上下に移動可能である。
When the
図１０の（ａ）の状態から、水平領域分割線１５５及び垂直領域分割線１５６を移動させた状態が図１０の（ｂ）である。
FIG. 10B shows a state where the horizontal
制御部２０は、水平領域分割線１５５及び垂直領域分割線１５６の位置が調整されて決定されたら、Ｒ１１〜Ｒ１３それぞれの上端部に音圧レベル表示画像７２を表示させ、領域Ｒ２１〜Ｒ２３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０は、領域Ｒ１１〜Ｒ１３，Ｒ２１〜Ｒ２３の水平方向の中央に位置（または中央に最も近い）し、垂直方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像７２を表示させればよい。
When the positions of the horizontal
図７〜図１０では、音圧レベル演算部６２によって求めた音圧レベルを示す音圧レベル表示画像７１，７２を画像２８０に重畳させる例を示している。音圧レベル表示画像７１，７２の代わりに、周波数スペクトル分析部６３が分析した周波数スペクトルを示す画像や、音声認識レベル算出部６４が算出した音声認識データ量を示す画像を重畳させてもよい。
7 to 10 show examples in which the sound pressure
図１１の（ａ）は音圧レベル表示画像７１である。図１１の（ｂ）は、周波数スペクトル分析部６３が分析した周波数スペクトルを示す周波数スペクトル表示画像７３の一例である。周波数スペクトル表示画像７３は、セグメント７３SGの数によって、周波数ｆ１〜ｆｎまでそれぞれの周波数帯域におけるレベルを表している。
FIG. 11A shows a sound pressure
図１１の（ｃ）は、音声認識レベル算出部６４が算出した音声認識レベルを示す音声認識レベル表示画像７５の一例である。音声認識レベル表示画像７５は、セグメント７５SGの数によって音声認識レベルを表している。ここでは音声認識レベル表示画像７５を音圧レベル表示画像７１と同じ形状の図形としているが、音圧レベル表示画像７１と音声認識レベル表示画像７５とを互いに異なる形状の図形としてもよい。
FIG. 11C is an example of a voice recognition
周波数スペクトル表示画像７３及び音声認識レベル表示画像７５においても、音圧レベル表示画像７２のように、セグメント７３SG，７５SGが水平方向に増減する図形としてもよい。
Also in the frequency
本実施形態においては、制御部２０による制御に基づいて、音声信号増幅部１３は、マルチチャンネル音声信号のそれぞれのチャンネルを個別に増幅することができる。音声信号増幅部１３は、選択した１または複数のチャンネルの音声信号のみ増幅することも可能である。
In the present embodiment, the audio
図１２は、図８におけるポインタ画像154aが向いている方向が示すチャンネルの音声信号の増幅度を例えば−３[dB]とし、ポインタ画像154bが向いている方向が示すチャンネルの音声信号の増幅度を例えば３[dB]とした場合を示している。図１２では、増幅度を−３[dB]とすることによって、音圧レベル表示画像７１が小さな音圧レベル表示画像７１Ｓに変更され、増幅度を３[dB]とすることによって、音圧レベル表示画像７１が大きな音圧レベル表示画像７１Ｌに変更されている。
In FIG. 12, the amplification level of the audio signal of the channel indicated by the direction in which the
このように、音圧レベル表示画像７１の大きさを音声信号の増幅度に応じた大きさとすることによって、ユーザは、どのチャンネルの音声信号の増幅度が調整されているかを容易に認識することができる。即ち、ユーザは、収音している音声の状況を容易に理解することができる。
Thus, by setting the size of the sound pressure
図１３は、図９のように音圧レベル表示画像７２を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１においては、音声信号の増幅度が３[dB]で大きな音圧レベル表示画像７２Ｌが表示されている。領域Ｒ２においては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが表示されている。領域Ｒ３においては、音声信号の増幅度が０[dB]で基準となる通常の大きさである中間の大きさの音圧レベル表示画像７２Ｍが表示されている。音圧レベル表示画像７２Ｍは、図９の音圧レベル表示画像７２と同じである。
FIG. 13 illustrates a state in which the sound pressure
図１４は、図１０の（ｂ）のように音圧レベル表示画像７２を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１１，Ｒ１２，Ｒ２２においては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが表示されている。領域Ｒ１３，Ｒ２１においては、音声信号の増幅度が３[dB]で大きな音圧レベル表示画像７２Ｌが表示されている。領域Ｒ２３においては、音声信号の増幅度が０[dB]で中間の大きさの音圧レベル表示画像７２Ｍが表示されている。
FIG. 14 shows the state where the sound pressure
図１２〜図１４では、音圧レベル表示画像７１，７２を相似の関係を維持させて大きさを変更したが、他の表示方法によって、それぞれのチャンネルの音声信号の増幅度を表すようにしてもよい。例えば、図１５の（ａ）〜（ｃ）に示すように、増幅度小を示す音圧レベル表示画像７７Ｓと、増幅度中を示す音圧レベル表示画像７７Ｍと、増幅度大を示す音圧レベル表示画像７７Ｌとを用いてもよい。音圧レベル表示画像７７Ｓ，７７Ｍ，７７Ｌは、垂直方向中央部の横幅が増幅度の程度を示している。
12 to 14, the sound pressure
このように、画像データ発生部２６は、それぞれのチャンネルの音声信号の増幅度に応じて、音圧レベル表示画像の大きさや形状を異ならせた画像データを発生すればよい。大きさや形状に加えて、輝度や色、模様を異ならせてもよい。また、制御部２０は、これらの音圧レベル表示画像の大きさや形状、輝度や色、模様を経時的に変化させるよう、画像データ発生部２６を制御してもよい。
As described above, the image
なお、音圧レベル表示画像の輝度を異ならせる場合には、増幅度が小さいほど暗くし、増幅度が大きいほど明るくすることが好ましい。音圧レベル表示画像の色を異ならせる場合には、増幅度が小さいほど寒色方向とし、増幅度が大きいほど暖色方向にすることが好ましい。さらに、制御部２０は、音圧レベル表示画像の大きさや形状、輝度や色、模様を周期的に変化させ、増幅度が大きいほど変化する周期を短くするよう、画像データ発生部２６を制御してもよい。
In the case where the brightness of the sound pressure level display image is varied, it is preferable that the lower the amplification degree, the darker the brightness, and the higher the amplification degree, the brighter. When the color of the sound pressure level display image is made different, it is preferable that the lower the amplification degree, the colder color direction, and the higher the amplification degree, the warmer color direction. Furthermore, the
周波数スペクトルを示す周波数スペクトル表示画像７３や音声認識レベルを示す音声認識レベル表示画像７５でも、同様に、それぞれのチャンネルの音声信号の増幅度に応じて大きさ、形状、輝度、色、模様の少なくとも１つを異ならせてもよい。画像データ発生部２６は、収音レベル表示画像の大きさ，形状，輝度，色，模様の少なくとも１つを音声信号増幅部１３で設定されている増幅度に応じて変更する画像データを発生すればよい。
Similarly, in the frequency
図１６を用いて、以上のように構成されるビデオカメラ１１０における収音レベル表示画像の表示動作について改めて説明する。図１６において、ビデオカメラ１１０の電源が投入されると、制御部２０は、ステップS101にて、被写体の撮影を開始させる。制御部２０は、ステップS102にて、操作部３０よって収音レベルを表示させる指示があったか否かを判定する。収音レベルを表示させる指示があれば（YES）、処理をステップS103に移行させ、収音レベルを表示させる指示がなければ（NO）、処理をステップS121に移行させる。
The display operation of the sound collection level display image in the
制御部２０は、ステップS121にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、ステップS102を繰り返す。
In step S121, the
制御部２０は、ステップS103にて、画像２８０上の所定の位置に位置指示画像を表示させる。図７におけるポインタ画像１５４、図８におけるポインタ画像155a，155b、図９または図１０における水平領域分割線１５５及び垂直領域分割線１５６は位置指示画像の例である。
In step S103, the
制御部２０は、ステップS104にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、ステップS105にて、位置指示画像を移動させる指示があったか否かを判定する。
In step S104, the
位置指示画像を移動させる指示があれば（YES）、制御部２０は、ステップS106にて、位置指示画像を移動させて、ステップS107に移行させる。位置指示画像を移動させる指示がなければ（NO）、ステップS107に移行させる。制御部２０は、ステップS107にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、処理をステップS108に移行させる。
If there is an instruction to move the position instruction image (YES), the
制御部２０は、ステップS108にて、位置指示画像の位置を決定する指示があったか否かを判定する。位置決定の指示があれば（YES）、制御部２０は、処理をステップS109に移行させ、位置決定の指示がなければ（NO）、制御部２０は、処理をステップS122に移行させる。
In step S108, the
制御部２０は、ステップS122にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS107に戻す。
In step S122, the
制御部２０は、ステップS109にて、決定した位置指示画像の位置を記憶する。指向性切替部１４は、制御部２０の制御に基づいて、ステップS110にて、実効焦点距離を取得する。指向性切替部１４は、ステップS111にて、画角と分解能からチャンネル数を決定する。ここでのチャンネル数とは、アレーマイクロホン１０によって収音して生成するマルチチャンネル音声信号のチャンネル数である。
In step S109, the
実効焦点距離をｆ、画角２０１における撮像素子の受像領域の水平方向の長さ（画角２０１の幅）をＬＷ、垂直方向の長さ（画角２０１の高さ）をＬＨとすれば、画角２０１の水平方向の角度αＷと垂直方向の角度αＨは次の式（１），（２）ようにして求めることができる。
αＷ＝２tan-1（ＬＷ／２ｆ） …（１）
αＨ＝２tan-1（ＬＨ／２ｆ） …（２）
The effective focal length is f, the horizontal length (width of the view angle 201) of the image receiving area of the image sensor at the
α W = 2 tan −1 (L W / 2f) (1)
α H = 2 tan −1 (L H / 2f) (2)
式（１），（２）より求めた画角２０１の水平方向の角度αＷと垂直方向の角度αＨと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。
Determining the number of horizontal and vertical channels from the horizontal angle α W and the vertical angle α H of the angle of
指向性切替部１４は、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS113にて、その角度方向の収音を演算処理する。音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４は、制御部２０の制御に基づいて、ステップS114にて、収音レベルを算出する。制御部２０は、ステップS115にて、図７〜図１１で説明したように、収音レベル表示画像を画像２８０に重畳させた状態で表示させる。
In step S112, the
制御部２０は、ステップS116にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、ステップS117にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら（YES）、制御部２０は、ステップS118にて、収音レベルを示す画像の表示位置を変更する必要があるか否かを判定する。
In step S116, the
ズーム倍率が変更されると、収音レベル表示画像が画角から外れて、画像２８０上に収音レベル表示画像を表示することができない場合が発生する。収音レベル表示画像の表示位置を変更する必要があれば（YES）、制御部２０は、ステップS119にて、収音レベル表示画像が画角内となるよう収音レベル表示画像の位置を変更して、処理をステップS120に移行させる。
When the zoom magnification is changed, the sound collection level display image may deviate from the angle of view, and the sound collection level display image may not be displayed on the
ステップS117にてズーム倍率が変更されなければ（NO）、また、ステップS118にて収音レベル表示画像の表示位置を変更する必要がなければ（NO）、制御部２０は、ステップS120にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。
If the zoom magnification is not changed in step S117 (NO), or if it is not necessary to change the display position of the sound collection level display image in step S118 (NO), the
表示解除の指示がなければ（NO）、制御部２０は、ステップS123にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、制御部２０は、処理をステップS116に戻す。
If there is no instruction to cancel the display (NO), the
図１６に示す例では、ズーム倍率の変更があったときに、必要に応じて、収音レベル表示画像の表示位置を変更しているが、ズーム倍率の変更があったら、収音レベル表示画像の表示を解除してもよい。併せて、位置指示画像の表示を解除してもよい。また、ズーム倍率の変更があったら、収音レベル表示画像が画角内に入っているときのみ表示を継続させ、画角から外れたら表示を解除してもよい。同様に、収音レベルを示す画像の表示を解除するに併せて位置指示画像の表示を解除してもよい。 In the example shown in FIG. 16, when the zoom magnification is changed, the display position of the sound collection level display image is changed as necessary. However, if the zoom magnification is changed, the sound collection level display image is changed. May be canceled. At the same time, the display of the position instruction image may be canceled. Further, if the zoom magnification is changed, the display may be continued only when the sound collection level display image is within the angle of view, and the display may be canceled when it is out of the angle of view. Similarly, the display of the position indication image may be canceled together with the display of the image indicating the sound collection level.
図１６に示す例では、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定し、ステップS113にて、その角度方向の収音を演算処理している。マルチチャンネル音声信号における全ての角度方向の遅延時間を決定し、全ての角度方向の収音を演算処理して、位置指示画像が示す位置に対応したチャンネルの角度方向の収音の演算処理結果のみを用いるようにしてもよい。 In the example shown in FIG. 16, the delay time in the angular direction of the channel corresponding to the position indicated by the position indicating image is determined in step S112, and the sound collection in the angular direction is processed in step S113. Determines the delay time in all angular directions in the multi-channel audio signal, calculates the sound collection in all angular directions, and only the calculation result of the sound collection in the angular direction of the channel corresponding to the position indicated by the position indication image May be used.
図１７を用いて、映像信号及び音声信号を記録する指示がなされた場合の、ビデオカメラ１１０による記録動作について説明する。図１６で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させることが可能である。また、図１６で説明した動作とは無関係に記録動作を実行させることが可能である。図１７では、説明を簡略化するため、図１６の表示動作と関連させず、記録動作のみを説明することとする。
A recording operation performed by the
ビデオカメラ１１０の電源が投入されると、制御部２０は、ステップS201にて、被写体の撮影を開始させる。制御部２０は、ステップS202にて、操作部３０よって記録開始の指示があったか否かを判定する。記録開始の指示がなければ（NO）、制御部２０は、処理をステップS211に移行させる。
When the power of the
記録開始の指示があれば（YES）、指向性切替部１４は、ステップS203にて、実効焦点距離を取得する。指向性切替部１４は、ステップS204にて、画角と分解能からチャンネル数を決定する。図１６にて説明したように、前述の式（１），（２）より求めた画角２０１の水平方向の角度αＷと垂直方向の角度αＨと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。
If there is an instruction to start recording (YES), the
指向性切替部１４は、ステップS205にて、それぞれのチャンネルに対応した角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS206にて、それぞれの角度方向の収音を演算処理する。
In step S205, the
映像音声記録処理部１６は、ステップS207にて、映像信号と、ステレオ音声信号と、それぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体４０に記録させる。映像音声記録処理部１６は、それぞれの角度方向の音声信号をマルチトラックで記録させる。
In step S207, the video / audio
制御部２０は、ステップS208にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら（YES）、処理をステップS203に戻す。ズーム倍率が変更されなかったら（NO）、制御部２０は、ステップS209にて、記録終了の指示があったか否かを判定する。記録終了の指示がなければ（NO）、処理をステップS206に戻す。記録終了の指示があれば（YES）、制御部２０は、ステップS210にて、記録停止の処理を実行させ、処理をステップS211に移行させる。
In step S208, the
制御部２０は、ステップS211にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS202に戻す。
In step S211, the
図１６で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させる場合には、次のようにすればよい。図１６のフローの所定の位置に、図１７のステップS202のような記録開始の指示があったか否かを判定するステップを設ける。そして、記録開始の指示があった場合には、図１７のステップS205〜S207，S209，S210と同様のステップを設ける。 When the recording operation is performed during the operation of displaying the sound collection level display image of the audio signal of any channel in the multi-channel audio signal described in FIG. 16, the following operation may be performed. A step of determining whether or not a recording start instruction has been issued as in step S202 of FIG. 17 is provided at a predetermined position in the flow of FIG. Then, when there is an instruction to start recording, the same steps as steps S205 to S207, S209, and S210 in FIG. 17 are provided.
次に、記録媒体４０に記録された映像信号及び音声信号の再生動作について説明する。図１において、操作部３０によって記録媒体４０に記録されている映像信号（撮影コンテンツ）を再生する操作がなされると、映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録されている映像信号及びステレオ音声信号を読み出して再生処理を施す。
Next, the reproduction operation of the video signal and audio signal recorded on the
映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体４０に記録されている場合には、映像音声再生処理部２１は、映像信号及びステレオ音声信号を伸長する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、記録媒体４０より読み出される。映像音声再生処理部２１より出力されたステレオ音声信号は、音声出力処理部２２に入力される。音声出力処理部２２は、ステレオ音声信号に基づいた音をスピーカ２３より発生させる。
When the video signal and the stereo audio signal are compressed by a predetermined compression processing method and recorded on the
映像音声再生処理部２１より出力された映像信号は、映像信号処理部２４に入力されて処理される。映像合成部２５は、画像データ発生部２６が上述した収音レベル表示画像の画像データ等の付加情報を発生している場合には、映像信号処理部２４より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させるよう処理する。
The video signal output from the video / audio
図１８は、ビデオカメラ１１０をテレビジョン受像機３００に接続し、映像信号をテレビジョン受像機３００の画面に表示させ、ステレオ音声信号による音声をテレビジョン受像機３００に内蔵されているスピーカより発生させている状態を示している。図１８では、リモートコントローラを操作部３０としている。テレビジョン受像機３００は、ビデオカメラ１１０外部の表示部である。
In FIG. 18, the
ユーザ４００が操作部３０によって、アレーマイクロホン１０によって収音して生成したマルチチャンネル音声信号を再生する所定の操作をしたら、制御部２０は、画像データ発生部２６によって、映像信号に図１８に示すようなポインタ画像５１を示す付加情報信号を発生させ、画面に表示されている画像にポインタ画像５１を重畳させる。ポインタ画像５１は、予め設定した初期位置に表示させるようにすればよい。
When the
図１９は、表示部２８及びテレビジョン受像機３００の画面に表示されている画像を示している。アレーマイクロホン１０が図３の（ａ）に示すアレーマイクロホン１０Ａの場合には、制御部２０は、画像データ発生部２６によって、映像信号に図１９に示すような縦線の水平位置識別画像５２を示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２を重畳させることが好ましい。水平位置識別画像５２は、水平方向の角度方向を区分けするための第１の識別画像である。
FIG. 19 shows images displayed on the screens of the
水平位置識別画像５２の本数は、マルチチャンネル音声信号のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号のチャンネル数が７であれば、水平位置識別画像５２の本数を６本とすれば、画面を水平方向に７分割することができる。この場合、画面は７つの領域に分割される。
The number of horizontal
ユーザ４００が操作部３０における例えば左右のカーソルキーによってポインタ画像５１を左方向または右方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を左右方向に移動させる。図１９では、ポインタ画像５１は円内に右向きの矢印よりなる画像であるが、ポインタ画像５１を左方向へと移動させたら、円内に左向きの矢印よりなる画像とする。円内に右向きまたは左向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。
When the
アレーマイクロホン１０が図３の（ｂ）に示すアレーマイクロホン１０Ｂの場合には、制御部２０は、画像データ発生部２６によって、映像信号に図２０に示すような縦線の水平位置識別画像５２と横線の垂直位置識別画像５３それぞれを示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２及び垂直位置識別画像５３を重畳させることが好ましい。垂直位置識別画像５３は、垂直方向の角度方向を区分けするための第２の識別画像である。
When the
垂直位置識別画像５３の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル数が４であれば、垂直位置識別画像５３の本数を３本とすれば、画面を垂直方向に４分割することができる。マルチチャンネル音声信号の水平方向のチャンネル数が７であれば、水平位置識別画像５２と垂直位置識別画像５３によって画面は２８の領域に分割される。
The number of vertical
ユーザ４００が操作部３０における例えば上下のカーソルキーによってポインタ画像５１を上方向または下方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を上下方向に移動させる。ポインタ画像５１を上方向へと移動させたら、円内に上向きの矢印よりなる画像とし、ポインタ画像５１を下方向へと移動させたら、円内に下向きの矢印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる。円内に上向きまたは下向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。
When the
図１９において、ユーザ４００が操作部３０における例えば決定キーを操作したら、制御部２０は、マルチチャンネル音声信号のうち、ポインタ画像５１の位置に応じた再生すべき角度方向のチャンネルを決定する。制御部２０は、映像音声再生処理部２１を制御して、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。
In FIG. 19, when the
このように、ビデオカメラ１１０は、ポインタ画像５１の水平方向の位置を移動させて、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。図２０において、右端部に位置しているこどもが発している声を聞きたい場合には、ポインタ画像５１を右端部方向に移動させて決定キーを操作すれば、そのこどもが発している声を再生して聞くことができる。
Thus, the
図２０の場合には、ポインタ画像５１の垂直方向の位置を移動させて、決定キーを操作することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。
In the case of FIG. 20, by moving the position of the
水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図９，図１０に示すようなポインタ画像５１に限定されるものではない。例えば、小さな円形画像でもよい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい。
The image of the additional information for selecting the horizontal direction or the vertical angle direction is not limited to the
図２１を用いて、映像信号及び音声信号を再生する指示がなされた場合の、ビデオカメラ１１０による再生動作について改めて説明する。図２１において、制御部２０は、ステップS301にて、記録されている映像信号（撮影コンテンツ）の再生指示がなされたか否かを判定する。再生指示がなされなければ（NO）、制御部２０は、処理をステップS320に移行させる。再生指示がなされたら（YES）、制御部２０は、ステップS302にて、映像信号とステレオ音声信号を再生させる。
The reproduction operation by the
制御部２０は、ステップＳ303にて、ポインタ画像５１を表示させる指示があったか否かを判定する。ここでは、ポインタ画像５１を用いる場合の動作について示す。制御部２０は、指示があれば（YES）、処理をステップS304に移行させ、指示がなければ（NO）、処理をステップS316に移行させる。制御部２０は、ステップS304にて、ポインタ画像５１を初期位置に表示させる。
In step S303, the
制御部２０は、ステップS305にて、ポインタ画像５１を移動させる指示があったか否かを判定する。ポインタ画像５１を移動させる指示があれば（YES）、制御部２０は、ステップS306にて、ポインタ画像５１を移動させる。ポインタ画像５１を移動させる指示がなければ（NO）、制御部２０は、処理をステップS307に移行させる。
In step S305, the
制御部２０は、ステップS307にて、選択された角度方向の音声信号を再生する指示がなされたか否かを判定する。制御部２０は、選択された角度方向の音声信号を再生する指示がなされたら、処理をステップS308に移行させ、指示がなされなかったら、処理をステップS317に移行させる。
In step S307, the
制御部２０は、ステップS317にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。例えば、操作部３０における戻りキーを操作したら、ポインタ画像５１の表示解除の指示があったとすればよい。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップS318にて、ポインタ画像５１の表示を解除して、処理をステップS316に移行させる。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップS305に戻す。
In step S317, the
制御部２０は、ステップS308にて、ポインタ画像５１の位置から再生すべきトラック番号を決定する。制御部２０は、ステップS309にて、決定したトラック番号の音声信号を再生する。制御部２０は、ステップS310にて、再生しているトラック番号の音声信号の再生を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら（YES）、制御部２０は、ステップS311にて、再生している音声信号の再生を停止させ、処理をステップS305に戻す。
In step S308, the
再生停止の指示がなされなかったら（NO）、制御部２０は、ステップS312にて、ポインタ画像５１を移動させる指示があったか否かを判定する。制御部２０は、ポインタ画像５１を移動させる指示があれば（YES）、処理をステップS308に戻し、ポインタ画像５１を移動させる指示がなければ（NO）、処理をステップS313に移行させる。
If an instruction to stop reproduction is not made (NO), the
制御部２０は、ステップS313にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップS309に戻す。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップS314にて、ポインタ画像５１の表示を解除し、ステップS315にて、再生している音声信号の再生を停止させて、ステップS316に移行させる。
In step S313, the
制御部２０は、ステップS316にて、コンテンツデータの再生停止の指示がなされたか否かを判定する。再生停止の指示がなされなければ（NO）、制御部２０は、処理をステップS302に戻す。再生停止の指示がなされたら（YES）、制御部２０は、ステップS319にて、映像信号及びステレオ音声信号の再生を停止させて、処理をステップS320に移行させる。
In step S316, the
制御部２０は、ステップS320にて、電源切断の指示がなされたか否かを判定する。電源切断の指示がなされたら（YES）、制御部２０は、処理を終了させ、電源切断の指示がなされなかったら（NO）、制御部２０は、処理をステップS301に戻す。
In step S320,
ところで、上記のステップS309では、単に決定したトラック番号の音声信号を再生すると説明した。一般的には、図１８に示すテレビジョン受像機３００はステレオスピーカであり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生することが必要である。
By the way, in the above-described step S309, it has been described that the audio signal of the determined track number is simply reproduced. In general, the
一般的に２チャンネルステレオでは、音の強度差をつけることによって音像定位の制御ができる。ある音声信号が左（Ｌ）チャンネルには重み係数wL、右（Ｒ）チャンネルにはwRの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカまでの角度をφ０、正面から音声の定位位置までの角度をφ（正面から右側を正）とすると、次式の関係になることが一般に知られている（非特許文献１、p.34参照）。ここで、φ０は表示装置の視野角に近いことが望ましい。
sinφ/sinφ０＝（ｗL−ｗR）/（ｗL＋ｗR） …（３）
In general, in 2-channel stereo, sound image localization can be controlled by providing a difference in sound intensity. When an audio signal is distributed by multiplying the left (L) channel by a weighting factor w L and the right (R) channel by a weighting factor w R , the angle from the front to the speaker with the listening point as the center is determined. It is generally known that φ 0 and the angle from the front to the sound localization position is φ (positive from the front to the right) are represented by the following equation (see
sinφ / sinφ 0 = (w L −w R ) / (w L + w R ) (3)
このことを利用して、音声出力処理部２２は、マルチチャンネル音声信号のうちの選択したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号におけるＬチャンネルとＲチャンネルとに例えば次のように振り分ければよい。
Using this, the audio
マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順にチャンネル番号ｎを1,2,3,…とすると、式（３）は次の式（４）のようになる。 If the number of multi-channel channels is N, and the channel number n is 1, 2, 3,... In order from the leftmost channel of the multi-channel, equation (3) becomes the following equation (4).
例えば、水平方向にチャンネル数Nが７の場合を考える。ここで、THX（THX社の登録商標）では2φ０＝36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。正面から左側へ１つ目、つまり左端から３つ目のチャンネルを選択した場合には、スピーカ間の角度を２φ０＝40°として、左辺分子のsin関数の変数部分のφ０{(n-1)-(N-1)/2}/Nより、40°・{(3-1)-(7-1)/2}/7＝約-5.71°、つまり約5.71°正面から左側にずれた位置に定位させる必要がある。φ＝5.71°として式（４）より、ｗL：ｗR＝1.29：0.71＝0.645：0.355となる。つまり、選択したチャンネルの音声信号を、Ｌチャンネルに35.5％、Ｒチャンネルに64.5％で振り分ければよい。 For example, consider the case where the number of channels N is 7 in the horizontal direction. Here, THX (registered trademark of THX) recommends a viewing angle of 2φ 0 = 36 ° to 40 °, and it is assumed that viewing is performed at a viewing angle of 40 °. When the first channel from the front to the left, that is, the third channel from the left end, is selected, the angle between the speakers is set to 2φ 0 = 40 °, and the variable portion of the left side sine function is φ 0 {(n- 1)-(N-1) / 2} / N, 40 ° ・ {(3-1)-(7-1) / 2} / 7 ＝ about -5.71 °, that is, about 5.71 ° shifted from the front to the left It is necessary to localize to the position. Assuming φ = 5.71 °, from Equation (4), w L : w R = 1.29: 0.71 = 0.645: 0.355. That is, the audio signal of the selected channel may be distributed to the L channel at 35.5% and the R channel at 64.5%.
正面から右側へ２つ目、つまり左端から６つ目のチャンネルを選択した場合には、同様に式（４）より、Ｌチャンネルに21％、Ｒチャンネルに79％で振り分ければよい。 When the second channel from the front to the right, that is, the sixth channel from the left end is selected, similarly, it is sufficient to assign 21% to the L channel and 79% to the R channel from the equation (4).
以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択したチャンネルの音声信号とが自然に合成され、選択した位置（方向）の音声を的確に再生することができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがない。 In this way, the stereo audio signal and the audio signal of the selected channel among the multi-channel audio signals are naturally synthesized, and the audio at the selected position (direction) can be accurately reproduced. According to the present embodiment, when the playback zoom is performed, the zoomed-up video can be associated with the reproduced audio, and the user hardly feels uncomfortable.
垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数のスピーカに対して比率を適宜設定して振り分ければよい。 In the case of a multi-channel audio signal having a plurality of channels in the vertical direction, for example, using a multi-channel speaker in which a plurality of speakers are arranged in the vertical direction, similarly, the ratio is appropriately set for the plurality of speakers and distributed. Just do it.
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention.
１０，１０Ａ，１０Ｂ アレーマイクロホン
１２，１２’ 音声信号演算部
１４ 指向性切替部
１７ ズーム調整部
１８ 映像撮影部
２０ 制御部
２２ 音声出力処理部
２３ スピーカ
２５ 映像合成部
２６ 画像データ発生部
２８ 表示部
６１ 音声認識部
６２ 音圧レベル演算部（収音レベル算出部）
６３ 周波数スペクトル分析部（収音レベル算出部）
６４ 音声認識レベル算出部（収音レベル算出部）
10, 10A,
63 Frequency spectrum analyzer (sound collection level calculator)
64 Speech recognition level calculation unit (sound collection level calculation unit)
Claims (6)
被写体を撮影する映像撮影部と、
前記映像撮影部で撮影される画角と予め設定した収音の角度分解能とによって、前記アレーマイクロホンによって収音する前記画角内の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替える指向性切替部と、
前記指向性切替部による制御によって、前記アレーマイクロホンにおける前記複数のマイクロホン素子が収音した音声信号を演算処理して、前記複数の角度方向のうちの少なくとも選択された特定の角度方向の音声信号を生成する音声信号演算部と、
前記特定の角度方向の音声信号の収音レベルを算出する収音レベル算出部と、
前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部と、
前記画像データ発生部が発生した前記収音レベル表示画像の画像データを前記映像信号とともに表示させる映像合成部と、
を備えることを特徴とする撮像装置。 An array microphone in which a plurality of microphone elements are arranged;
A video shooting unit for shooting the subject;
A plurality of angle directions within the angle of view to be picked up by the array microphone are determined according to the angle of view picked up by the video photographing unit and a preset angle resolution of the picked up sound, and the sound collecting of the sound picked up by the array microphone is determined. A directivity switching unit that switches directivity;
The sound signal picked up by the plurality of microphone elements in the array microphone is processed by the control by the directivity switching unit, and the sound signal in at least a specific angle direction selected from the plurality of angle directions is processed. An audio signal calculation unit to be generated;
A sound collection level calculation unit for calculating a sound collection level of the audio signal in the specific angular direction;
An image data generation unit for generating image data of a sound collection level display image indicating the sound collection level calculated by the sound collection level calculation unit;
A video synthesis unit for displaying the image data of the sound collection level display image generated by the image data generation unit together with the video signal;
An imaging apparatus comprising:
前記画像データ発生部は、前記音声信号増幅部で設定されている増幅度に応じて前記収音レベル表示画像を変更した画像データを発生する
ことを特徴とする請求項１に記載の撮像装置。 An audio signal amplifying unit for setting an amplification degree of the audio signal in the specific angular direction;
The imaging apparatus according to claim 1, wherein the image data generation unit generates image data in which the sound collection level display image is changed in accordance with an amplification degree set by the audio signal amplification unit.
前記指向性切替部は、前記ズーム調整部で調整したズームに応じて決まる画角と前記角度分解能とによって、前記複数の角度方向を決定する
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。 A zoom adjustment unit for adjusting a zoom when shooting the subject by the video shooting unit;
The directionality switching unit determines the plurality of angular directions according to an angle of view determined according to a zoom adjusted by the zoom adjustment unit and the angular resolution. The imaging device according to item.
前記指向性切替部は、前記画角内の水平方向及び垂直方向の複数の角度方向をそれぞれ決定して、前記アレーマイクロホンによる水平方向及び垂直方向の収音の指向性を切り替え、
前記音声信号演算部は、前記指向性切替部による制御によって、前記アレーマイクロホンの水平方向及び垂直方向の複数の配列における前記複数のマイクロホン素子が収音した音声信号を演算処理して、水平方向及び垂直方向の前記複数の角度方向からの音声信号を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。 The array microphone has a configuration in which a plurality of microphone elements arranged in a horizontal direction are arranged in a vertical direction,
The directivity switching unit determines a plurality of angular directions of a horizontal direction and a vertical direction within the angle of view, respectively, and switches the directivity of sound collection in the horizontal direction and the vertical direction by the array microphone,
The sound signal calculation unit performs calculation processing on sound signals collected by the plurality of microphone elements in a plurality of horizontal and vertical arrays of the array microphones under the control of the directivity switching unit, and performs horizontal processing and The image pickup apparatus according to claim 1, wherein audio signals from the plurality of angular directions in the vertical direction are generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012280998A JP5939444B2 (en) | 2012-12-25 | 2012-12-25 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012280998A JP5939444B2 (en) | 2012-12-25 | 2012-12-25 | Imaging device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016098598A Division JP6274251B2 (en) | 2016-05-17 | 2016-05-17 | Image data generating apparatus and image data generating method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014127737A true JP2014127737A (en) | 2014-07-07 |
| JP5939444B2 JP5939444B2 (en) | 2016-06-22 |
Family
ID=51406956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012280998A Active JP5939444B2 (en) | 2012-12-25 | 2012-12-25 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5939444B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017175474A (en) * | 2016-03-24 | 2017-09-28 | パナソニックＩｐマネジメント株式会社 | Monitoring system and monitoring method |
| CN107948870A (en) * | 2017-12-18 | 2018-04-20 | 珠海爱珂索移动医疗科技有限公司 | Portable audio noise reduction system based on stereo microphone array |
| CN108682161A (en) * | 2018-08-10 | 2018-10-19 | 东方智测（北京）科技有限公司 | Confirm the method and system of vehicle whistle |
| US10448178B2 (en) | 2016-06-30 | 2019-10-15 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and storage medium |
| WO2022154492A1 (en) * | 2021-01-13 | 2022-07-21 | 삼성전자 주식회사 | Electronic device for image capturing, method, and non-transitory storage medium |
| EP4203458A4 (en) * | 2021-01-13 | 2024-04-17 | Samsung Electronics Co., Ltd. | Electronic device for image capturing, method, and non-transitory storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210091003A (en) | 2020-01-13 | 2021-07-21 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261900A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Imaging apparatus, and imaging control program |
| JP2010278725A (en) * | 2009-05-28 | 2010-12-09 | Sanyo Electric Co Ltd | Image and sound processor and imaging apparatus |
| JP2011041096A (en) * | 2009-08-14 | 2011-02-24 | Nec Corp | Mobile terminal, method of controlling sound collection used for the same, and program |
| JP2012209912A (en) * | 2011-03-16 | 2012-10-25 | Panasonic Corp | Sound collecting device |
-
2012
- 2012-12-25 JP JP2012280998A patent/JP5939444B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261900A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Imaging apparatus, and imaging control program |
| JP2010278725A (en) * | 2009-05-28 | 2010-12-09 | Sanyo Electric Co Ltd | Image and sound processor and imaging apparatus |
| JP2011041096A (en) * | 2009-08-14 | 2011-02-24 | Nec Corp | Mobile terminal, method of controlling sound collection used for the same, and program |
| JP2012209912A (en) * | 2011-03-16 | 2012-10-25 | Panasonic Corp | Sound collecting device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017175474A (en) * | 2016-03-24 | 2017-09-28 | パナソニックＩｐマネジメント株式会社 | Monitoring system and monitoring method |
| US10448178B2 (en) | 2016-06-30 | 2019-10-15 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and storage medium |
| CN107948870A (en) * | 2017-12-18 | 2018-04-20 | 珠海爱珂索移动医疗科技有限公司 | Portable audio noise reduction system based on stereo microphone array |
| CN108682161A (en) * | 2018-08-10 | 2018-10-19 | 东方智测（北京）科技有限公司 | Confirm the method and system of vehicle whistle |
| CN108682161B (en) * | 2018-08-10 | 2023-09-15 | 东方智测（北京）科技有限公司 | Method and system for confirming vehicle whistle |
| WO2022154492A1 (en) * | 2021-01-13 | 2022-07-21 | 삼성전자 주식회사 | Electronic device for image capturing, method, and non-transitory storage medium |
| EP4203458A4 (en) * | 2021-01-13 | 2024-04-17 | Samsung Electronics Co., Ltd. | Electronic device for image capturing, method, and non-transitory storage medium |
| US12075154B2 (en) | 2021-01-13 | 2024-08-27 | Samsung Electronics Co., Ltd. | Electronic device, method, and non-transitory storage medium for photographing image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5939444B2 (en) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5939444B2 (en) | Imaging device | |
| US10944936B2 (en) | Beam forming for microphones on separate faces of a camera | |
| JP6289121B2 (en) | Acoustic signal processing device, moving image photographing device, and control method thereof | |
| KR101061287B1 (en) | imaging device | |
| CN1845582B (en) | Imaging device, sound record device, and sound record method | |
| WO2015144020A1 (en) | Shooting method for enhanced sound recording and video recording apparatus | |
| US20080247567A1 (en) | Directional Audio Capturing | |
| CN112165590A (en) | Video recording implementation method and device and electronic equipment | |
| JP2013250838A (en) | Information processing program, information processing device, information processing system and information processing method | |
| WO2014010280A1 (en) | Audio signal processing device, audio signal processing method, program, and recording medium | |
| JP2014050005A (en) | Reproducing device, and method for controlling reproducing device | |
| WO2017149124A1 (en) | A method, system and device for generating associated audio and visual signals in a wide angle image system | |
| EP2478715B1 (en) | Method for acquiring audio signals, and audio acquisition system thereof | |
| CN108574904B (en) | Audio acquisition device, audio acquisition system, and audio acquisition method | |
| JP2005159731A (en) | Imaging apparatus | |
| JP5949398B2 (en) | Video / audio recording and playback device | |
| JP6274251B2 (en) | Image data generating apparatus and image data generating method | |
| US11665391B2 (en) | Signal processing device and signal processing system | |
| CN113707165B (en) | Audio processing method and device, electronic equipment and storage medium | |
| JP3282202B2 (en) | Recording device, reproducing device, recording method and reproducing method, and signal processing device | |
| JP6249047B2 (en) | Audio processing apparatus, video processing apparatus, audio processing method, and video processing method | |
| KR20120016928A (en) | Photographing system | |
| JP2011120165A (en) | Imaging apparatus | |
| JP2010130403A (en) | Video control device, imaging apparatus and display apparatus which are provided with same | |
| JP2016144044A (en) | Information processing unit, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160421 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160504 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5939444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |