JP6631193B2 - Video sound recording system, video sound recording device, video sound recording program, and video sound recording method - Google Patents
Video sound recording system, video sound recording device, video sound recording program, and video sound recording method Download PDFInfo
- Publication number
- JP6631193B2 JP6631193B2 JP2015226788A JP2015226788A JP6631193B2 JP 6631193 B2 JP6631193 B2 JP 6631193B2 JP 2015226788 A JP2015226788 A JP 2015226788A JP 2015226788 A JP2015226788 A JP 2015226788A JP 6631193 B2 JP6631193 B2 JP 6631193B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- sound
- unit
- acquiring
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、動画像および音を収録する動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法に関する。 The present invention relates to a moving image sound recording system that records moving images and sounds, a moving image sound recording device, a moving image sound recording program, and a moving image sound recording method.
ビデオカメラやスマートフォン（高機能携帯電話機）、タブレット端末、テレビ会議装置など、カメラとマイクを内蔵し、カメラによる動画像信号の取得と並行して、マイクによる音声信号の取得を行う機能を備えた機器（デバイス）がある。 Built-in cameras and microphones, such as video cameras, smartphones (high-performance mobile phones), tablet terminals, and videoconferencing devices, equipped with a function to acquire audio signals using microphones in parallel with acquiring video signals using cameras. There are devices.
しかし、これらの機器では、カメラで撮影した被写体とは無関係で不要な音声がマイクに混入してしまう問題がある。そこで、この問題に対処した装置として、動画像信号を取得するカメラと、音声信号を取得するマイクと、前記カメラで取得された動画像信号内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報（画角情報、焦点距離情報など）とに基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、前記相対位置に向けて、前記マイクの指向性を調整する調整手段と、を備えた携帯端末がある（特許文献１）。 However, in these devices, there is a problem that unnecessary sound is mixed into the microphone irrespective of the subject photographed by the camera. Therefore, as an apparatus that addresses this problem, a camera that acquires a moving image signal, a microphone that acquires an audio signal, the position of a subject in a moving image signal acquired by the camera, Estimating means for estimating the relative position of the subject with respect to the own terminal based on parameter information (angle of view information, focal length information, etc.) to be used, and adjustment for adjusting the directivity of the microphone toward the relative position There is a portable terminal provided with the following means (Patent Document 1).
しかしながら、この携帯端末には、カメラとマイクがどちらも同一の装置に内蔵され、その位置関係が変化しないという前提がある。したがって、カメラとマイクが別々の装置に備わっており、動画像信号あるいは音声信号を無線通信等でやり取りする場合、さらにそれぞれの装置を持って動かす場合などは、その位置関係が変動するため適応できないという問題がある。 However, in this portable terminal, it is assumed that both the camera and the microphone are built in the same device, and that the positional relationship does not change. Therefore, when the camera and the microphone are provided in different devices, and a moving image signal or an audio signal is exchanged by wireless communication or the like, or when each device is moved while being held, the positional relationship is fluctuated, so that it is not possible to adapt. There is a problem.
本発明は、このような問題を解決するためになされたものであり、その目的は、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得できるようにすることである。 The present invention has been made to solve such a problem, and an object of the present invention is to obtain a moving image signal and a sound signal at the same time when a moving image signal and a sound signal are simultaneously obtained. An object of the present invention is to enable a sound signal to be acquired with high accuracy even when the relationship with the position to be acquired changes.
本発明は、被写体を撮影して動画像信号を取得する動画像取得手段と、音を収録して音信号を取得する音取得手段と、前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、を有し、前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システムである。 The present invention is a moving image acquisition unit that acquires a moving image signal by photographing a subject, a sound acquisition unit that acquires a sound signal by recording a sound, information indicating a photographing direction of the moving image acquisition unit, and A photographing parameter acquiring unit for acquiring information representing a positional relationship between a moving image acquiring unit and the sound acquiring unit; and the sound signal acquired by the sound acquiring unit based on the information acquired by the photographing parameter acquiring unit. A sound emphasis unit for emphasizing a sound signal in a predetermined direction, a device state obtaining unit for obtaining information indicating a state of movement of the moving image obtaining unit, and a moving image signal obtained by the moving image obtaining unit. from have a, and the reference point recognizing means determines whether or not consistent with the predetermined coordinate on the coordinate of a predetermined reference point images in the space, the imaging parameter acquiring unit, the device status acquisition means Using the information obtained from the above, to obtain information representing the positional relationship between the moving image acquisition means and the sound acquisition means, it is determined by the reference point recognition means that it matches, and the device state acquisition means Is a moving image and sound recording system that acquires a reference value of information indicating a shooting direction and a reference value of information indicating a positional relationship when information indicating a state of motion generated by the method indicates stillness .
本発明によれば、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得することができる。 According to the present invention, when simultaneously acquiring a moving image signal and a sound signal, even if the relationship between the position at which the moving image signal is acquired and the position at which the sound signal is acquired changes, the sound signal can be accurately acquired. Can be obtained.
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
〈動画像音声収録システム〉
図１は、本発明の実施形態に係る動画像音声収録システム１の構成を示すブロック図である。図示のように、本発明の実施形態に係る動画像音声収録システム（以下、本システム）１は、動画像撮影装置２と、音声収録装置３からなる。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Movie and audio recording system>
FIG. 1 is a block diagram showing a configuration of a moving image and
動画像撮影装置２は被写体を撮影して動画像信号を取得する。音声収録装置３は音声を収録して音声信号（音声に対応する電気信号）を取得する。また、動画像撮影装置２は、自身が取得した動画像信号と、音声収録装置３が取得した音声信号とを結合して動画像音声信号を生成し、記憶する。
The moving
なお、音声収録装置３は、音声（人間の発声による音）を収録して音声信号を生成するだけでなく、周囲に他の音（物音、機械の動作音、騒音など）が存在するときは、それらの音に対応する電気信号も生成する。すなわち、音声収録装置３は、音声を含む全ての音を収録して、それらに対応する電気信号である音信号を生成する。したがって、厳密には「音声収録装置３」は「音収録装置３」、「動画像音声収録システム１」は「動画像音収録システム１」とすべきであるが、便宜上、本実施形態では「音声収録装置３」、「動画像音声収録システム１」とした。
The
動画像撮影装置２は、動画像撮影手段２１、基準点認識手段２２、装置状態取得手段２３、撮影パラメータ取得手段２４、送信手段２５、受信手段２６、動画像音声結合手段２７、および動画像音声記憶手段２８を備えている。ここで、基準点認識手段２２、撮影パラメータ取得手段２４、および動画像音声結合手段２７は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段２０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
The moving
また、音声収録装置３は、音声収録手段３１、音声強調手段３２、強調パラメータ制御手段３３、受信手段３４、および送信手段３５を備えている。ここで、音声強調手段３２および強調パラメータ制御手段３３は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段３０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
The
《動画像撮影装置》
動画像撮影装置２における動画像撮影手段２１は、例えばカメラであり、被写体を撮影して動画像信号を取得する。動画像撮影手段２１は本発明に係る動画像取得手段として機能する。
《Moving image capturing device》
The moving
基準点認識手段２２は、動画像音声収録システム１が動画像信号および音声信号の取得を開始するに先立ち、動画像撮影装置２と音声収録装置３とを所定の位置関係（以下、初期位置関係）に設定するための手段である。
The reference point recognition means 22 establishes a predetermined positional relationship (hereinafter referred to as an initial positional relationship) between the moving
より詳しくは、動画像信号により構成される画像上の音声収録装置３の位置（以下、動画像信号により構成される画像上の位置を画像座標という）が所定の位置であるか否かを認識し、その結果を基準点合致情報として出力する。基準点合致情報は、例えば音声収録装置３の画像座標が所定の位置である場合は“true”、所定の位置でない場合は“false”となる。認識には、例えばパターンマッチングなどの手法を用いる（詳細については図３を参照して後述する）。なお、基準点は複数あってもよく、その場合、全ての点がそれぞれの所定の座標にあるか否かを判定する。
More specifically, it is recognized whether or not the position of the
装置状態取得手段２３は装置状態情報を取得する。装置状態情報とは、動画像撮影装置２の加速度や角加速度などである。装置状態情報は例えば、三次元空間内に設定したＸＹＺ直交座標におけるＸ軸方向の加速度ａX、Ｙ軸方向の加速度ａY、Ｚ軸に対する角加速度ωZ、からなる３つの値の組（ａX，ａY，ωZ）で表すことができる。ここで、Ｘ軸およびＹ軸を含む面が水平面であり、Ｚ軸は鉛直線である。これらの加速度や角加速度は、例えば加速度センサや角加速度センサを用いて取得することができる。
The device status obtaining means 23 obtains device status information. The device state information is an acceleration, an angular acceleration, and the like of the moving
撮影パラメータ取得手段２４は動画像撮影装置２の撮影パラメータ情報を取得する。撮影パラメータ情報とは、例えば、動画像撮影装置２が前述した初期位置関係に設定された状態を原点（位置関係を表す情報の基準値）、および０度（撮影方向を表す情報の基準値）としたときの、現在の動画像撮影装置２の座標（位置関係を表す情報）、および角度（撮影方向を表す情報）である。
The photographing
例えばこの情報は（Ｘ，Ｙ，θ）の３組の値で表すことが出来る。これらは、装置状態情報と、基準点認識手段２２の基準点合致情報から推定する。すなわち、装置状態情報を取得する時間間隔をΔｔ、前回推定した撮影パラメータ情報を（Ｘ0，Ｙ0，θ0）とすると、現在の撮影パラメータ情報は下記の式〔１〕〜式〔３〕により算出できる。 For example, this information can be represented by three sets of values (X, Y, θ). These are estimated from the apparatus state information and the reference point matching information of the reference point recognition means 22. That is, assuming that the time interval for acquiring the apparatus state information is Δt and the imaging parameter information estimated last time is (X 0 , Y 0 , θ 0 ), the current imaging parameter information is represented by the following equations [1] to [3]. Can be calculated by
Ｘ＝Ｘ0＋ａXΔｔ2…式〔１〕
Ｙ＝Ｙ0＋ａYΔｔ2…式〔２〕
θ＝θ0＋ωZΔｔ2…式〔３〕
これらの式において、ａXΔｔ2、ａYΔｔ2、ωZΔｔ2は、それぞれ加速度ａX、加速度ａY、角加速度ωZの時間軸上の二重積分を表す。
X = X 0 + a X Δt 2 Equation (1)
Y = Y 0 + a Y Δt 2 Equation (2)
θ = θ 0 + ω Z Δt 2 Equation (3)
In these equations, a X Δt 2 , a Y Δt 2 , and ω Z Δt 2 represent a double integral on the time axis of the acceleration a X , the acceleration a Y , and the angular acceleration ω Z , respectively.
ここで、初めの推定時の（Ｘ0，Ｙ0，θ0）については、基準点合致情報が“true”、かつ装置状態情報が静止、すなわち（ａX，ａY，ωZ）＝（０，０，０）の状態を基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）とし、そこから推定を始めるやり方がある。この場合、基準状態から、装置状態情報（ａX、ａY、ωZ）の時間軸上の二重積分を算出することで、動画像撮影装置２の現在の位置および撮影方向を表す撮影パラメータ情報を取得する。
Here, regarding (X 0 , Y 0 , θ 0 ) at the time of the first estimation, the reference point matching information is “true” and the device state information is stationary, ie, (a X , a Y , ω Z ) = ( There is a method in which the state of ( 0 , 0 , 0 ) is set as a reference state, that is, (X 0 , Y 0 , θ 0 ) = ( 0 , 0 , 0), and estimation is started from there. In this case, from the reference state, device state information (a X, a Y, ω Z) by calculating the double integral on the time axis, imaging parameter representing the current position and the shooting direction of the video
図２は、撮影パラメータ情報と装置状態情報との関係について説明するための図である。ここで、図２Ａは撮影パラメータ情報を示し、図２Ｂは装置状態情報を示す。 FIG. 2 is a diagram for explaining the relationship between the imaging parameter information and the device state information. Here, FIG. 2A shows photographing parameter information, and FIG. 2B shows apparatus state information.
図２Ａにおいて、（Ｘ，Ｙ，θ）＝（０，０，０）の点１０１は初期位置関係における動画像撮影装置２の撮影パラメータ情報を表し、（Ｘ，Ｙ，θ）＝（Ｘ1，Ｙ1，θ1）の点１０２は動画像撮影装置２の現在の撮影パラメータ情報を表す。また、矢印１０３は動画像撮影装置２の現在の撮影方向（θ1）を表す。また、（Ｘ，Ｙ，θ）＝（０，Ｙref，０）の点１００は初期位置関係における音声収録装置３に対する撮影パラメータ情報を表す。すなわち、初期位置関係では、動画像撮影装置２に対して、音声収録装置３がＹ軸方向（＝矢印１０３に示す撮影方向）にＹref離れた位置に存在することを表す。
In FIG. 2A, a
図２Ｂにおいて、ａX，ａY，ωZは、任意の点１０５（Ｘ，Ｙ，θ）におけるＸ軸方向の加速度、Ｙ軸方向の加速度、Ｚ軸の周りの角加速度の向きを表す。 In FIG. 2B, a X , a Y , and ω Z represent directions of acceleration in the X-axis direction, acceleration in the Y-axis direction, and angular acceleration around the Z-axis at an arbitrary point 105 (X, Y, θ).
図１の説明に戻る。送信手段２５は撮影パラメータ情報を音声収録装置３へ送信する。通信方法は有線通信でも無線通信でもよい。受信手段２６は音声収録装置３で収録され、強調処理された音声信号（以下、強調音声信号）を受信する。この通信方法も有線通信でも無線通信でもよい。
Returning to the description of FIG. The transmitting
動画像音声結合手段２７は、動画像撮影手段２１により取得された動画像信号と、受信手段２６により受信された強調音声信号とを結合し、関連付けられた動画像音声信号とする。動画像音声記憶手段２８は、例えばハードディスク、ソリッドステートディスク、ＳＤメモリなどからなり、動画像音声信号を記憶する。
The moving image
《音声収録装置》
本発明に係る音取得手段としての音声収録手段３１は、例えばマイクアレイからなり、音声を収録して音声信号を生成する。音声強調手段３２は、音声信号から、任意の方向から来た音声を強調した強調音声信号を生成する。強調方法には、例えばマイクアレイによるビームフォーミングや、指向性の向きの異なるマイクの切り替えなどを用いる。マイクアレイによるビームフォーミングについては後に詳述する。
《Sound recording device》
The sound recording means 31 as a sound acquisition means according to the present invention is composed of, for example, a microphone array, and records sound to generate a sound signal. The voice emphasizing means 32 generates, from the voice signal, an emphasized voice signal in which voice coming from an arbitrary direction is emphasized. As the emphasis method, for example, beam forming by a microphone array, switching of microphones having different directivity directions, and the like are used. The beam forming by the microphone array will be described later in detail.
受信手段３４は動画像撮影装置２から撮影パラメータ情報を受信する。強調パラメータ制御手段３３は、受信手段３４により受信された撮影パラメータ情報に基づいて、音声強調手段３２の強調パラメータを制御する。この強調パラメータについては後に詳述する。送信手段３５は、音声強調手段３２により生成された強調音声信号を動画像撮影装置２へ送信する。
The receiving
なお、この実施形態では、動画像撮影装置２側に動画像音声記憶手段２８があり、音声収録装置３からの音声信号を受信しているが、逆に、音声収録装置３側に動画像音声記憶手段を設けて、動画像撮影装置２からの動画像信号を受信するように構成することもできる。また、動画像音声記憶手段をさらに別の装置に設けてもよい。
In this embodiment, the moving image
また、この実施形態では、動画像音声信号を最終的に記憶しているが、例えばディスプレイやスピーカなどの出力手段を設けて、そこから出力してもよいし、テレビ会議のような用途でネットワークを介して他装置へ送信してもよい。 In this embodiment, the moving image sound signal is finally stored. However, for example, an output unit such as a display or a speaker may be provided and output from the unit. May be transmitted to another device via the.
また、この実施形態では、動画像撮影装置２と音声収録装置３とが初期位置関係であることを認識した後は、音声収録装置３は動かず、動画像撮影装置２が動くことを前提としているため、装置状態取得手段２３を動画像撮影装置２３内に設けたが、音声収録装置３内にも装置状態取得手段を設けることで、音声収録装置３の装置状態情報を取得するように構成してもよい。このように構成すれば、音声収録装置３が動いても、動画像撮影装置２は撮影パラメータ情報を取得することができる。
Further, in this embodiment, after recognizing that the moving
〈撮影パラメータ情報の基準状態の取得〉
音声収録装置３に対する動画像撮影装置２の位置、および向きを所定の状態に調整する操作の流れの一例について図３を参照して説明する。ここでは、図３Ａに示すように、動画像撮影装置２をカメラ付きタブレット端末とし、音声収録装置３を動画像撮影装置２と無線通信可能なワイヤレスマイクとした。
<Acquisition of reference state of shooting parameter information>
An example of an operation flow for adjusting the position and orientation of the moving
この操作は第１〜第３の前提のもとで実行する。
第１の前提：音声収録装置３上の３点を基準点とする。ここでは、図３Ａに示すように、音声収録装置３に付けた３つの十字型のマーカーＰa、Ｐb、Ｐcの中心を基準点とした。
第２の前提：この３点を、所定の位置、所定の向きで動画像撮影装置２により撮影したときの画像座標をそれぞれ（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc）とする。
第３の前提：そのとき、音声収録装置３は静止していなければならない。
This operation is performed under the first to third assumptions.
First assumption: three points on the
Second premise: When these three points are photographed by the moving
Third premise: At that time, the
ユーザは撮影中の音声収録装置３の画像を見ながら、３つの基準点であるマーカーＰa、Ｐb、Ｐcの中心がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致するように動画像撮影装置２を動かす。このとき、確認用に撮影中の画像の（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）の点にガイドを表示することが好適である。ここでは、図３Ｂに示すように、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）を指示する矢印Ｐ1、Ｐ2、Ｐ3をディスプレイ２００に表示した。
User while viewing the image of the
ユーザが動画像撮影装置２を動かした結果、図３Ｃに示すように、撮影中の画像上の３つの基準点の座標がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致すると、基準点認識手段２２は基準点合致情報として“true”を出力する。
As a result of the user moving the moving
さらに、装置状態取得手段２３は、動画像撮影装置２の加速度および角加速度をセンサから取得し、装置状態情報を出力する。動画像撮影装置２が静止していれば装置状態情報は（０，０，０）を示す。
Further, the device
基準点合致情報として“true”を、装置状態情報として（０，０，０）を受け取った撮影パラメータ取得手段２４は、その時点の状態を、座標、角度計算のための基準状態とする。すなわち、撮影パラメータ情報：（Ｘ，Ｙ，θ）＝（０，０，０）とし、操作を終了する。
Upon receiving “true” as the reference point match information and (0, 0, 0) as the apparatus state information, the imaging
図４は、動画像音声収録システム１が撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。
FIG. 4 is a flowchart showing a flow of processing in which the moving image
まず、動画像撮影手段２１が動画像信号を取得する(ステップＳ１)。次に、取得された動画像信号により構成される動画像上の基準点の画像座標（例えば図３ＢにおけるマーカーＰa、Ｐb、Ｐcの中心の画像座標（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc））が所定の座標（例えば（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3））と一致しているか否かを基準点認識手段２２が判定する（ステップＳ２）。判定の結果、一致していれば（ステップＳ２：YES）、ステップＳ３へ進み、一致していなければ（ステップＳ２：NO）、ステップＳ１に戻る。
First, the moving
ステップＳ３では、装置状態取得手段２３が装置状態情報（ａX，ａY，ωZ）を取得する。次に、この装置状態情報が、動画像撮影装置２が静止していることを示しているか否か、すなわち（ａX，ａY，ωZ）＝（０，０，０）であるか否かを撮影パラメータ取得手段２４が判定する（ステップＳ４）。判定の結果、静止していることを示していれば（ステップＳ４：YES）、ステップＳ５へ進み、静止していることを示していなければ（ステップＳ４：NO）、ステップＳ１に戻る。
In step S3, the device
ステップＳ５では、撮影パラメータ取得手段２４が、現在の撮影パラメータ情報を基準状態に設定する。すなわち（ａX，ａY，ωZ）＝（０，０，０）のとき、動画像撮影装置２の撮影パラメータ情報（Ｘ，Ｙ，θ）として、基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）を設定する。この結果、例えば図３のマーカーＰa、Ｐb、Ｐcの中心が矢印Ｐ1、Ｐ2、Ｐ3の先端に一致し、かつ動画像撮影装置２が静止している時に、図２Ａの点１０１における撮影パラメータ情報が設定される。
In step S5, the shooting
〈動画像撮影装置の撮影方向と音声収録装置の指向性との関係〉
図５は、動画像音声収録システム１における動画像撮影装置２の撮影方向と音声収録装置３の指向性との対応関係について説明するための図である。
<Relationship between shooting direction of moving image shooting device and directivity of audio recording device>
FIG. 5 is a diagram for explaining the correspondence between the shooting direction of the moving
図５Ａは、動画像撮影手段２１の撮影方向が音声収録装置３に向かう方向１１１である状態を示している。この図において、ｐ，ｑ，ｒ，ｓはマイク（音声収録手段３１）を表している。すなわち、４つのマイクが正方形の頂点に配置されているといえる。
FIG. 5A shows a state in which the shooting direction of the moving image shooting means 21 is the
この状態では、音声収録装置３の指向性を、動画像撮影手段２１の中心に向いている方向にピーク値を有する指向性１２１、およびその反対の方向にピーク値を有する指向性１２２からなる双極性にする。
In this state, the directivity of the
図５Ｂは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から反時計回りにθ回転した方向１１２に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から時計回りにφ回転した方向１１３にピーク値を有する指向性１２３からなる単極性にする。
FIG. 5B shows a state in which the shooting direction of the moving image shooting means 21 is oriented in a
図５Ｃは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から時計回りにθ回転した方向１１４に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から反時計回りにφ回転した方向１１５にピーク値を有する指向性１２４からなる単極性にする。
FIG. 5C shows a state in which the shooting direction of the moving image shooting means 21 is oriented in the
図５Ａ、図５Ｂ、図５Ｃに示すように、通常、注目している音源は動画像撮影手段２１の撮影方向１１１、１１２、１１４に位置すると考えられるため、音声収録装置３の指向性を１２２、１２３、１２４のように設定することにより、音源からの音を強調することができる。これらの指向性を実現するには、音声収録装置３の強調パラメータ制御手段３３が制御信号として、撮影方向情報θに応じて形成する指向性の種類（単極性か双極性か）と、その向きを示すφの値を音声強調手段３２に出力し、音声強調手段３２がその制御信号を基に指向性を形成することになる。
As shown in FIG. 5A, FIG. 5B, and FIG. 5C, the sound source of interest is generally considered to be located in the
θとφとの関係を示すテーブルの一例を下記の表１に示す。ここで、θ＝０は図５Ａに示されている方向１１１、すなわち、動画像撮影手段２１の中心から音声収録装置３のマイクに向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。つまり、図５Ｂではθはほぼ−π／４であり、図５Ｃではθはほぼπ／４である。
An example of a table showing the relationship between θ and φ is shown in Table 1 below. Here, θ = 0 is the
また、表１において、φ=０は音声収録装置３から動画像撮影手段２１の中心に向かう方向、すなわちθ＝πの方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。
In Table 1, φ = 0 is a direction from the
したがって、図５Ａ、図５Ｂ、図５Ｃと表１との関係は下記のようになる。
図５Ａ：「−π／６＜θ≦π／６」・・・「双極性、φ＝０」
図５Ｂ：「７π／６＜θ≦１１π／６」・・・「単極性、φ＝π／４」
図５Ｃ：「π／６＜θ≦５π／６」・・・「単極性、φ＝−π／４」
Therefore, the relationship between FIGS. 5A, 5B, and 5C and Table 1 is as follows.
FIG. 5A: “−π / 6 <θ ≦ π / 6”... “Bipolar, φ = 0”
FIG. 5B: “7π / 6 <θ ≦ 11π / 6”... “Unipolar, φ = π / 4”
FIG. 5C: “π / 6 <θ ≦ 5π / 6”... “Unipolar, φ = −π / 4”
音声信号を強調する方法としては、マイクアレイによるビームフォーミングなどを用いる。例えば、φ方向に指向性を形成する場合、遅延和ビームフォーミングでは下記の式〔４〕で強調音声信号が得られる。 As a method of emphasizing the audio signal, beamforming by a microphone array or the like is used. For example, when the directivity is formed in the φ direction, an enhanced audio signal is obtained by the following equation [4] in the delay-sum beamforming.
Ｙ(ω)＝ＷH(ω)ｚ(ω) …式〔４〕
ここでωは音声信号のスペクトルの角周波数、Ｙは強調音声信号のスペクトル、ｚは入力音声信号のスペクトル、Ｗは強調のためのフィルタ係数、Ｈは複素共役転置を表す。ｚとＷはベクトル表現になっており、それぞれ、下記の式〔５〕、〔６〕で表される。
Y (ω) = W H (ω) z (ω) Equation (4)
Here, ω is the angular frequency of the spectrum of the audio signal, Y is the spectrum of the enhanced audio signal, z is the spectrum of the input audio signal, W is the filter coefficient for enhancement, and H is the complex conjugate transpose. z and W are expressed in a vector, and are represented by the following equations [5] and [6], respectively.
ｚ(ω)＝［Ｚ1(ω),・・・,ＺM(ω)］T …式〔５〕
Ｗ(ω)＝［Ｗ1(ω),・・・,ＷM(ω)］T …式〔６〕
ここで、Ｚの添え字はマイクの番号を表し、Ｍはマイクの個数である。また、Ｔは行列の転置を表す。
z (ω) = [Z 1 (ω),..., Z M (ω)] T ...
W (ω) = [W 1 (ω),..., W M (ω)] T ...
Here, the suffix of Z represents the microphone number, and M is the number of microphones. T represents transposition of a matrix.
ここでＷの値は、各マイクの位置と強調したい音源の方向が同一平面状にあるとすると、次の式〔７〕のようになる。
Ｗm(ω)＝exp｛ｊ(ω/c)(ｘmsinφ＋ｙmcosφ)｝ …式〔７〕
ここで、ｃは音速、ｘm，ｙmはマイクの座標、φは強調したい音声信号の音源の方向である。
Here, when the position of each microphone and the direction of the sound source to be emphasized are on the same plane, the value of W is as shown in the following equation [7].
W m (ω) = exp { j (ω / c) (x m sinφ + y m cosφ)} ... Equation [7]
Here, c is the sound velocity, x m, the y m coordinates of the microphone, phi is the direction of the sound source of the audio signal to be emphasized.
〈音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御〉
図６は、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。
<Directivity control of the audio recording device when the position of the moving image capturing device with respect to the audio recording device changes>
FIG. 6 is a diagram for describing control of directivity of the audio recording device when the position of the moving image capturing device with respect to the audio recording device changes.
この場合は例えば、音声収録装置３から見て、３６０度（２π）を８分割した領域ａ〜ｈのどこに動画像撮影装置２が位置するかで制御信号を切り替える。例えば図示のように動画像撮影装置２が領域ｃに位置する場合、下記の表２のように撮影方向θと制御信号（指向性の種類、向きφ）を設定する。
In this case, for example, the control signal is switched depending on where the moving
この表において、θ＝０は音声収録装置３から領域ｅの中心に向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。また、φ＝０は音声収録装置３から領域ａの中心に向かう方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。
In this table, θ = 0 is a direction from the
この表に示すデータを持つテーブルを領域毎に用意することで、音声収録装置３に対する動画像撮影装置２の方向が変化しても、適切な指向性を形成することができる。なお、動画像撮影装置２が領域ｃ以外の領域（以下、注目領域）に位置するときは、表２におけるθの範囲の値を領域ｃと注目領域との角度差を付加した値にすればよい。
By preparing a table having the data shown in this table for each area, an appropriate directivity can be formed even if the direction of the moving
なお、ここではφの値を４段階に変化させているが、例えばθの値に応じて連続的に変化させるなど、より多くの段階に変化させてもよい。 Although the value of φ is changed in four steps here, it may be changed in more steps, for example, continuously changed according to the value of θ.
〈動画像音声収録システムの動作〉
図７は、動画像音声収録システム１の動作を示すフローチャートである。
<Operation of video and audio recording system>
FIG. 7 is a flowchart showing the operation of the moving picture
まず、動画像撮影装置２では、装置状態取得手段２３が装置状態情報を取得する（ステップＳ１１）。次に、撮影パラメータ取得手段２４が、ステップＳ１で取得された装置状態情報から撮影パラメータ情報を推定する（ステップＳ１２）。このときの基準状態については図４に示した処理により設定済みのものを用いる。
First, in the moving
次いで、送信手段２５が、ステップＳ２で推定された撮影パラメータ情報を音声収録装置３へ送信する（ステップＳ１３）。次に、動画像撮影手段２１が動画像信号を取得する（ステップＳ１４）。
Next, the
音声収録装置３では、受信手段３４が撮影パラメータ情報を受信し（ステップＳ２１）、強調パラメータ制御手段３３が、ステップＳ２１で受信された撮影パラメータ情報に応じて、音声強調パラメータを制御する（ステップＳ２２）。
In the
次に、音声収録手段３１が音声信号を取得し（ステップＳ２３）、音声強調手段３２が、ステップＳ２３で取得された音声信号をステップＳ２２で取得された音声強調パラメータに基づいて強調処理し、強調音声信号を取得する（ステップＳ２４）。次に、送信手段３５が、ステップＳ２４で取得された強調音声信号を動画像撮影装置２へ送信し、音声収録装置３側の処理を終える。
Next, the
動画像撮影装置２では、受信手段２６が強調音声信号を受信し（ステップＳ１５）、動画像音声結合手段２７が、ステップ１４で取得された動画像信号と、ステップＳ１５で受信された強調音声信号を結合して、動画像音声信号を取得する（ステップＳ１６）。次に、動画像音声記憶手段２８が、ステップＳ１５で取得された動画像音声信号を記憶し（ステップＳ１７）、動画像撮影装置２側の処理を終える。
In the moving
〈動画像音声収録システムを実現するコンピュータシステム〉
図８は、動画像撮影装置２および音声収録装置３を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
<Computer system that implements a video and audio recording system>
FIG. 8 is a block diagram illustrating a hardware configuration of a computer system that implements the moving
動画像撮影装置２および音声収録装置３は、図８に示すような汎用のコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、およびＩ／Ｆ（インタフェース）１５がバス１０を介して接続された構成を有し、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）などの表示部１６および操作部１７が接続されている。
The moving
ＣＰＵ１１は演算手段であり、コンピュータシステム全体の動作を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ１３は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等が格納されている。Ｉ／Ｆ１５は、バスと各種のハードウェアやネットワーク等を接続し制御する。表示部１６は、ユーザがコンピュータシステムの状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザがコンピュータシステムに情報を入力するためのユーザインタフェースである。
The
以上詳細に説明したように、本発明の実施形態に係る動画像音声収録システム１には下記（１）〜（５）の特徴がある。
（１）音声収録手段３１に対する動画像撮影手段２１の位置、および動画像撮影手段２１の撮影方向を推定し、その推定結果に応じて、音声収録手段３１へ到来する音声の方向を特定し、音声収録手段３１の指向性を変化させるので、音声収録手段３１と動画像撮影手段２１との位置関係が変化する場合でも、良好な音声信号を取得することができる。
（２）動画像撮影手段２１の撮影方向の推定結果に応じて、撮影範囲の外側から到来する音を相対的に多く抑圧することができる。
（３）動画像撮影装置２の加速度および角加速度から、動画像撮影装置２の位置および撮影方向を推定することができる。
（４）音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を、位置および撮影方向の推定に利用することができる。
（５）ユーザシステム利用時に、音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を得ることができる。
As described in detail above, the moving picture
(1) The position of the moving image photographing means 21 with respect to the sound recording means 31 and the photographing direction of the moving image photographing means 21 are estimated, and the direction of the sound arriving at the sound recording means 31 is specified according to the estimation result. Since the directivity of the
(2) According to the estimation result of the shooting direction of the moving image shooting means 21, sounds coming from outside the shooting range can be suppressed relatively more.
(3) From the acceleration and the angular acceleration of the moving
(4) The reference position of the moving image photographing means 21 with respect to the voice recording means 31 and the reference photographing direction of the moving image photographing means 21 can be used for estimating the position and the photographing direction.
(5) When using the user system, the reference position of the moving image photographing means 21 with respect to the sound recording means 31 and the reference photographing direction of the moving image photographing means 21 can be obtained.
なお、以上説明した実施形態では、動画像撮影装置２と、音声収録装置３とが別々の装置であり、かつ動画像撮影装置２が動画像撮影手段（カメラ）２１を内蔵し、音声収録装置３が音声収録手段（マイク）３１を内蔵しているが、動画像撮影装置と音声収録装置とを１つの動画像音声収録装置とし、かつ動画像撮影手段、音声収録手段を装置と別に設けるように構成してもよい。
In the embodiment described above, the moving
１…動画像音声収録システム、２…動画像撮影装置、３…音声収録装置、２１…動画像撮影手段、２２…基準点認識手段、２３…装置状態取得手段、２４…撮影パラメータ取得手段、３１…音声収録手段、３２…音声強調手段、３３…強調パラメータ制御手段。
DESCRIPTION OF
Claims (8)
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システム。 Moving image acquisition means for photographing a subject and acquiring a moving image signal;
Sound acquisition means for recording sound and acquiring a sound signal;
Shooting parameter obtaining means for obtaining information indicating a shooting direction of the moving image obtaining means, and information indicating a positional relationship between the moving image obtaining means and the sound obtaining means,
A sound emphasis unit that emphasizes a sound signal in a predetermined direction, among the sound signals acquired by the sound acquisition unit, based on the information acquired by the shooting parameter acquisition unit;
An apparatus state acquisition unit that acquires information representing a state of movement of the moving image acquisition unit,
From a moving image signal acquired by the moving image acquiring unit, a reference point recognizing unit that determines whether coordinates of a predetermined reference point in space match predetermined coordinates on the image,
Has,
The photographing parameter acquiring unit acquires information representing a positional relationship between the moving image acquiring unit and the sound acquiring unit using the information acquired by the device state acquiring unit, and matches information obtained by the reference point recognizing unit. And when the information indicating the state of motion generated by the apparatus state obtaining means indicates stationary, the reference value of the information indicating the shooting direction and the reference value of the information indicating the positional relationship are obtained. A video recording system.
前記音強調手段は、前記撮影パラメータ取得手段により取得された前記情報から推定される撮影範囲の外側から到来する音を相対的に多く抑圧する、動画像音収録システム。 The moving image sound recording system according to claim 1,
The moving image sound recording system, wherein the sound emphasizing unit suppresses a relatively large amount of sound coming from outside a photographing range estimated from the information acquired by the photographing parameter acquiring unit.
前記位置関係を表す情報は、前記音取得手段に対する前記動画像取得手段の位置を表す情報である、動画像音収録システム。 The moving image sound recording system according to claim 1,
The moving image sound recording system, wherein the information indicating the positional relationship is information indicating a position of the moving image obtaining unit with respect to the sound obtaining unit.
前記動きの状態を表す情報は、加速度および角加速度を表す情報である、動画像音収録システム。 The moving image sound recording system according to claim 1,
The moving image sound recording system, wherein the information indicating the state of the movement is information indicating acceleration and angular acceleration.
前記撮影パラメータ取得手段が前記撮影方向を表す情報の基準値および位置関係を表す情報の基準値を取得するまで、前記動画像取得手段の位置と向きの調整をガイドする表示を行う手段を有する、動画像音収録システム。 The moving image sound recording system according to claim 1,
Until the photographing parameter acquiring unit acquires the reference value of the information representing the photographing direction and the reference value of the information representing the positional relationship, a unit performing a display for guiding adjustment of the position and orientation of the moving image acquiring unit, Video sound recording system.
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録装置。 Moving image acquisition means for photographing a subject and acquiring a moving image signal;
Sound acquisition means for recording sound and acquiring a sound signal;
Shooting parameter obtaining means for obtaining information indicating a shooting direction of the moving image obtaining means, and information indicating a positional relationship between the moving image obtaining means and the sound obtaining means,
A sound emphasis unit that emphasizes a sound signal in a predetermined direction, among the sound signals acquired by the sound acquisition unit, based on the information acquired by the shooting parameter acquisition unit;
An apparatus state acquisition unit that acquires information representing a state of movement of the moving image acquisition unit,
From a moving image signal acquired by the moving image acquiring unit, a reference point recognizing unit that determines whether coordinates of a predetermined reference point in space match predetermined coordinates on the image,
Has,
The photographing parameter acquiring unit acquires information representing a positional relationship between the moving image acquiring unit and the sound acquiring unit using the information acquired by the device state acquiring unit, and matches information obtained by the reference point recognizing unit. And when the information indicating the state of motion generated by the apparatus state obtaining means indicates stationary, the reference value of the information indicating the shooting direction and the reference value of the information indicating the positional relationship are obtained. A video sound recording device.
前記コンピュータを、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段、として機能させるための動画像音収録プログラムであって、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録プログラム。 A moving image sound recording program that processes, by a computer, a moving image signal obtained by the moving image obtaining unit and a sound signal obtained by the sound obtaining unit,
Said computer,
Information indicating a shooting direction of the moving image obtaining unit, and shooting parameter obtaining unit for obtaining information indicating a positional relationship between the moving image obtaining unit and the sound obtaining unit; and the information obtained by the shooting parameter obtaining unit. Sound emphasizing means for emphasizing a sound signal in a predetermined direction among the sound signals acquired by the sound acquiring means, and an apparatus state acquiring means for acquiring information indicating a state of movement of the moving image acquiring means. And a reference point recognizing unit that determines whether or not the coordinates of a predetermined reference point in space match the predetermined coordinates on the image from the video signal acquired by the video acquisition unit. Video recording program for
The photographing parameter acquiring unit acquires information representing a positional relationship between the moving image acquiring unit and the sound acquiring unit using the information acquired by the device state acquiring unit, and matches information obtained by the reference point recognizing unit. And when the information indicating the state of motion generated by the apparatus state obtaining means indicates stationary, the reference value of the information indicating the shooting direction and the reference value of the information indicating the positional relationship are obtained. A video and audio recording program.
音を収録して音信号を取得する音取得ステップと、
前記動画像取得ステップにおける撮影の方向を表す情報、および前記動画像取得ステップにおける撮影の位置と前記音取得ステップにおける収録の位置との関係を表す情報を取得する撮影パラメータ取得ステップと、
前記撮影パラメータ取得ステップにより取得された前記情報に基づいて、前記音取得ステップにより取得する前記音信号のうち、所定の方向の音信号を強調する音強調ステップと、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得ステップと、
前記動画像取得ステップにより取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識ステップと、
を有し、
前記撮影パラメータ取得ステップは、前記装置状態取得ステップにより取得された情報を用いて、前記動画像取得ステップと前記音取得ステップとの位置関係を表す情報を取得し、前記基準点認識ステップにより合致していると判定され、かつ前記装置状態取得ステップにより生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録方法。 A moving image obtaining step in which the moving image obtaining means obtains a moving image signal by shooting the subject;
A sound acquisition step of recording a sound and acquiring a sound signal;
A photographing parameter acquiring step of acquiring information representing a direction of photographing in the moving image acquiring step, and information representing a relationship between a photographing position in the moving image acquiring step and a recording position in the sound acquiring step;
A sound emphasizing step of emphasizing a sound signal in a predetermined direction, of the sound signals obtained in the sound obtaining step, based on the information obtained in the shooting parameter obtaining step;
An apparatus state obtaining step of obtaining information indicating a state of movement of the moving image obtaining unit,
From the moving image signal obtained by the moving image obtaining step, a reference point recognition step of determining whether the coordinates of a predetermined reference point in space match the predetermined coordinates on the image,
Has,
The photographing parameter acquiring step acquires information representing a positional relationship between the moving image acquiring step and the sound acquiring step using the information acquired in the apparatus state acquiring step, and matches the reference point recognition step. Is obtained, and when the information indicating the state of motion generated in the apparatus state obtaining step indicates stationary, the reference value of the information indicating the shooting direction and the reference value of the information indicating the positional relationship are obtained. How to record video sound.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/984,728 US9794685B2 (en) | 2015-01-23 | 2015-12-30 | Video audio recording system, video audio recording device, and video audio recording method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015011515 | 2015-01-23 | ||
| JP2015011515 | 2015-01-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016140055A JP2016140055A (en) | 2016-08-04 |
| JP6631193B2 true JP6631193B2 (en) | 2020-01-15 |
Family
ID=56559405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015226788A Active JP6631193B2 (en) | 2015-01-23 | 2015-11-19 | Video sound recording system, video sound recording device, video sound recording program, and video sound recording method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6631193B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331501A (en) * | 2016-09-21 | 2017-01-11 | 乐视控股（北京）有限公司 | Sound acquisition method and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5240832B2 (en) * | 2008-06-04 | 2013-07-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Sound input device, sound input method and program |
| US9860439B2 (en) * | 2013-02-15 | 2018-01-02 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
-
2015
- 2015-11-19 JP JP2015226788A patent/JP6631193B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016140055A (en) | 2016-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9516241B2 (en) | Beamforming method and apparatus for sound signal | |
| US9071724B2 (en) | Method and apparatus for providing a video call service | |
| JP7305249B2 (en) | Method for determining motion information of image feature points, task execution method and device | |
| CN102104767B (en) | Facial pose improvement with perspective distortion correction | |
| JP7026819B2 (en) | Camera positioning method and equipment, terminals and computer programs | |
| JP6348611B2 (en) | Automatic focusing method, apparatus, program and recording medium | |
| JP2024056955A (en) | Personalized HRTF with Optical Capture | |
| JP2016165101A (en) | Device with adaptive camera array | |
| WO2017027338A1 (en) | Apparatus and method for supporting interactive augmented reality functionalities | |
| US10565726B2 (en) | Pose estimation using multiple cameras | |
| CN109302632B (en) | Method, device, terminal and storage medium for acquiring live video picture | |
| CN113763228A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| WO2018061172A1 (en) | Imaging angle adjustment system, imaging angle adjustment method and program | |
| CN111213365A (en) | Shooting control method and controller | |
| US10147160B2 (en) | Image management apparatus and system, and method for controlling display of captured image | |
| CN112839165B (en) | Method and device for realizing face tracking camera shooting, computer equipment and storage medium | |
| JP6631193B2 (en) | Video sound recording system, video sound recording device, video sound recording program, and video sound recording method | |
| JP2016194783A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| JP2016194784A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| JP6711118B2 (en) | Image management system, program and information terminal | |
| JP6521675B2 (en) | Signal processing apparatus, signal processing method, and program | |
| JP6646967B2 (en) | Control device, reproduction system, correction method, and computer program | |
| US9794685B2 (en) | Video audio recording system, video audio recording device, and video audio recording method | |
| JP2018157314A (en) | Information processing system, information processing method and program | |
| CN113707165A (en) | Audio processing method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6631193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |