JP2016140055A - Moving image sound recording system, moving image sound recording device, moving image sound recording program, and moving image sound recording method - Google Patents
Moving image sound recording system, moving image sound recording device, moving image sound recording program, and moving image sound recording method Download PDFInfo
- Publication number
- JP2016140055A JP2016140055A JP2015226788A JP2015226788A JP2016140055A JP 2016140055 A JP2016140055 A JP 2016140055A JP 2015226788 A JP2015226788 A JP 2015226788A JP 2015226788 A JP2015226788 A JP 2015226788A JP 2016140055 A JP2016140055 A JP 2016140055A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- sound
- shooting
- acquisition means
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、動画像および音を収録する動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法に関する。 The present invention relates to a moving image sound recording system, a moving image sound recording device, a moving image sound recording program, and a moving image sound recording method for recording moving images and sounds.
ビデオカメラやスマートフォン（高機能携帯電話機）、タブレット端末、テレビ会議装置など、カメラとマイクを内蔵し、カメラによる動画像信号の取得と並行して、マイクによる音声信号の取得を行う機能を備えた機器（デバイス）がある。 Built-in camera and microphone, such as a video camera, smart phone (high-function mobile phone), tablet terminal, video conference device, etc. There is a device.
しかし、これらの機器では、カメラで撮影した被写体とは無関係で不要な音声がマイクに混入してしまう問題がある。そこで、この問題に対処した装置として、動画像信号を取得するカメラと、音声信号を取得するマイクと、前記カメラで取得された動画像信号内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報（画角情報、焦点距離情報など）とに基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、前記相対位置に向けて、前記マイクの指向性を調整する調整手段と、を備えた携帯端末がある（特許文献１）。 However, these devices have a problem that unnecessary sound is mixed into the microphone regardless of the subject photographed by the camera. Therefore, as a device that has coped with this problem, a camera that acquires a moving image signal, a microphone that acquires an audio signal, the position of a person to be imaged in the moving image signal acquired by the camera, and the camera that captures the image. Based on parameter information to be used (view angle information, focal length information, etc.), estimation means for estimating the relative position of the subject to be photographed with respect to the terminal, and adjustment for adjusting the directivity of the microphone toward the relative position There is a portable terminal provided with a means (Patent Document 1).
しかしながら、この携帯端末には、カメラとマイクがどちらも同一の装置に内蔵され、その位置関係が変化しないという前提がある。したがって、カメラとマイクが別々の装置に備わっており、動画像信号あるいは音声信号を無線通信等でやり取りする場合、さらにそれぞれの装置を持って動かす場合などは、その位置関係が変動するため適応できないという問題がある。 However, this portable terminal has a premise that both the camera and the microphone are built in the same device, and the positional relationship does not change. Therefore, the camera and microphone are provided in different devices, and when moving image signals or audio signals are exchanged by wireless communication, etc., or when each device is moved, the positional relationship fluctuates and cannot be adapted. There is a problem.
本発明は、このような問題を解決するためになされたものであり、その目的は、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得できるようにすることである。 The present invention has been made to solve such a problem. The object of the present invention is to obtain a position for acquiring a moving image signal and a sound signal when acquiring the moving image signal and the sound signal at the same time. Even when the relationship with the acquisition position changes, the sound signal can be acquired with high accuracy.
本発明は、被写体を撮影して動画像信号を取得する動画像取得手段と、音を収録して音信号を取得する音取得手段と、前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、を有する動画像音収録システムである。 The present invention includes a moving image acquisition unit that captures a moving image signal by photographing a subject, a sound acquisition unit that captures sound and acquires a sound signal, information indicating a shooting direction of the moving image acquisition unit, and An imaging parameter acquisition unit that acquires information representing a positional relationship between the moving image acquisition unit and the sound acquisition unit, and the sound signal acquired by the sound acquisition unit based on the information acquired by the imaging parameter acquisition unit Among them, a moving image sound recording system having sound enhancement means for enhancing a sound signal in a predetermined direction.
本発明によれば、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得することができる。 According to the present invention, when acquiring a moving image signal and a sound signal at the same time, even if the relationship between the position where the moving image signal is acquired and the position where the sound signal is acquired changes, the sound signal is highly accurate. Can be obtained.
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
〈動画像音声収録システム〉
図１は、本発明の実施形態に係る動画像音声収録システム１の構成を示すブロック図である。図示のように、本発明の実施形態に係る動画像音声収録システム（以下、本システム）１は、動画像撮影装置２と、音声収録装置３からなる。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Video recording system>
FIG. 1 is a block diagram showing a configuration of a moving image audio recording system 1 according to an embodiment of the present invention. As shown in the figure, a moving image audio recording system (hereinafter, this system) 1 according to an embodiment of the present invention includes a moving
動画像撮影装置２は被写体を撮影して動画像信号を取得する。音声収録装置３は音声を収録して音声信号（音声に対応する電気信号）を取得する。また、動画像撮影装置２は、自身が取得した動画像信号と、音声収録装置３が取得した音声信号とを結合して動画像音声信号を生成し、記憶する。
The moving image capturing
なお、音声収録装置３は、音声（人間の発声による音）を収録して音声信号を生成するだけでなく、周囲に他の音（物音、機械の動作音、騒音など）が存在するときは、それらの音に対応する電気信号も生成する。すなわち、音声収録装置３は、音声を含む全ての音を収録して、それらに対応する電気信号である音信号を生成する。したがって、厳密には「音声収録装置３」は「音収録装置３」、「動画像音声収録システム１」は「動画像音収録システム１」とすべきであるが、便宜上、本実施形態では「音声収録装置３」、「動画像音声収録システム１」とした。 Note that the voice recording device 3 not only records voice (sound produced by human speech) and generates a voice signal, but also when other sounds (such as physical sounds, machine operation sounds, noises, etc.) are present in the surroundings. The electric signals corresponding to those sounds are also generated. That is, the sound recording device 3 records all sounds including sound and generates sound signals that are electrical signals corresponding to them. Therefore, strictly speaking, “sound recording device 3” should be “sound recording device 3” and “moving image sound recording system 1” should be “moving image sound recording system 1”. The audio recording device 3 ”and the“ moving image audio recording system 1 ”were used.
動画像撮影装置２は、動画像撮影手段２１、基準点認識手段２２、装置状態取得手段２３、撮影パラメータ取得手段２４、送信手段２５、受信手段２６、動画像音声結合手段２７、および動画像音声記憶手段２８を備えている。ここで、基準点認識手段２２、撮影パラメータ取得手段２４、および動画像音声結合手段２７は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段２０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
The moving
また、音声収録装置３は、音声収録手段３１、音声強調手段３２、強調パラメータ制御手段３３、受信手段３４、および送信手段３５を備えている。ここで、音声強調手段３２および強調パラメータ制御手段３３は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段３０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
The voice recording device 3 includes a
《動画像撮影装置》
動画像撮影装置２における動画像撮影手段２１は、例えばカメラであり、被写体を撮影して動画像信号を取得する。動画像撮影手段２１は本発明に係る動画像取得手段として機能する。
《Moving image shooting device》
The moving image photographing means 21 in the moving
基準点認識手段２２は、動画像音声収録システム１が動画像信号および音声信号の取得を開始するに先立ち、動画像撮影装置２と音声収録装置３とを所定の位置関係（以下、初期位置関係）に設定するための手段である。
Prior to the moving image / audio recording system 1 starting to acquire moving image signals and audio signals, the reference point recognizing means 22 establishes a predetermined positional relationship between the moving image capturing
より詳しくは、動画像信号により構成される画像上の音声収録装置３の位置（以下、動画像信号により構成される画像上の位置を画像座標という）が所定の位置であるか否かを認識し、その結果を基準点合致情報として出力する。基準点合致情報は、例えば音声収録装置３の画像座標が所定の位置である場合は“true”、所定の位置でない場合は“false”となる。認識には、例えばパターンマッチングなどの手法を用いる（詳細については図３を参照して後述する）。なお、基準点は複数あってもよく、その場合、全ての点がそれぞれの所定の座標にあるか否かを判定する。 More specifically, it is recognized whether or not the position of the audio recording device 3 on the image composed of moving image signals (hereinafter, the position on the image composed of moving image signals is referred to as image coordinates) is a predetermined position. The result is output as reference point match information. The reference point match information is, for example, “true” when the image coordinates of the audio recording device 3 are a predetermined position, and “false” when the image coordinates are not the predetermined position. For the recognition, for example, a technique such as pattern matching is used (details will be described later with reference to FIG. 3). There may be a plurality of reference points. In this case, it is determined whether or not all the points are at their predetermined coordinates.
装置状態取得手段２３は装置状態情報を取得する。装置状態情報とは、動画像撮影装置２の加速度や角加速度などである。装置状態情報は例えば、三次元空間内に設定したＸＹＺ直交座標におけるＸ軸方向の加速度ａX、Ｙ軸方向の加速度ａY、Ｚ軸に対する角加速度ωZ、からなる３つの値の組（ａX，ａY，ωZ）で表すことができる。ここで、Ｘ軸およびＹ軸を含む面が水平面であり、Ｚ軸は鉛直線である。これらの加速度や角加速度は、例えば加速度センサや角加速度センサを用いて取得することができる。
The device
撮影パラメータ取得手段２４は動画像撮影装置２の撮影パラメータ情報を取得する。撮影パラメータ情報とは、例えば、動画像撮影装置２が前述した初期位置関係に設定された状態を原点（位置関係を表す情報の基準値）、および０度（撮影方向を表す情報の基準値）としたときの、現在の動画像撮影装置２の座標（位置関係を表す情報）、および角度（撮影方向を表す情報）である。
The shooting
例えばこの情報は（Ｘ，Ｙ，θ）の３組の値で表すことが出来る。これらは、装置状態情報と、基準点認識手段２２の基準点合致情報から推定する。すなわち、装置状態情報を取得する時間間隔をΔｔ、前回推定した撮影パラメータ情報を（Ｘ0，Ｙ0，θ0）とすると、現在の撮影パラメータ情報は下記の式〔１〕〜式〔３〕により算出できる。 For example, this information can be expressed by three sets of values (X, Y, θ). These are estimated from the apparatus state information and the reference point match information of the reference point recognition means 22. That is, assuming that the time interval for acquiring the apparatus state information is Δt and the previously estimated shooting parameter information is (X 0 , Y 0 , θ 0 ), the current shooting parameter information is represented by the following equations [1] to [3]. Can be calculated.
Ｘ＝Ｘ0＋ａXΔｔ2…式〔１〕
Ｙ＝Ｙ0＋ａYΔｔ2…式〔２〕
θ＝θ0＋ωZΔｔ2…式〔３〕
これらの式において、ａXΔｔ2、ａYΔｔ2、ωZΔｔ2は、それぞれ加速度ａX、加速度ａY、角加速度ωZの時間軸上の二重積分を表す。
X = X 0 + a X Δt 2 Formula [1]
Y = Y 0 + a Y Δt 2 Formula [2]
θ = θ 0 + ω Z Δt 2 Formula [3]
In these equations, a X Δt 2 , a Y Δt 2 , and ω Z Δt 2 represent double integrals on the time axis of acceleration a X , acceleration a Y , and angular acceleration ω Z , respectively.
ここで、初めの推定時の（Ｘ0，Ｙ0，θ0）については、基準点合致情報が“true”、かつ装置状態情報が静止、すなわち（ａX，ａY，ωZ）＝（０，０，０）の状態を基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）とし、そこから推定を始めるやり方がある。この場合、基準状態から、装置状態情報（ａX、ａY、ωZ）の時間軸上の二重積分を算出することで、動画像撮影装置２の現在の位置および撮影方向を表す撮影パラメータ情報を取得する。
Here, for (X 0 , Y 0 , θ 0 ) at the time of the initial estimation, the reference point match information is “true” and the device state information is stationary, that is, (a X , a Y , ω Z ) = ( There is a method in which the state of ( 0 , 0 , 0 ) is set as a reference state, that is, (X 0 , Y 0 , θ 0 ) = ( 0 , 0 , 0), and estimation is started therefrom. In this case, a shooting parameter representing the current position and shooting direction of the moving
図２は、撮影パラメータ情報と装置状態情報との関係について説明するための図である。ここで、図２Ａは撮影パラメータ情報を示し、図２Ｂは装置状態情報を示す。 FIG. 2 is a diagram for explaining the relationship between the shooting parameter information and the apparatus state information. Here, FIG. 2A shows photographing parameter information, and FIG. 2B shows apparatus state information.
図２Ａにおいて、（Ｘ，Ｙ，θ）＝（０，０，０）の点１０１は初期位置関係における動画像撮影装置２の撮影パラメータ情報を表し、（Ｘ，Ｙ，θ）＝（Ｘ1，Ｙ1，θ1）の点１０２は動画像撮影装置２の現在の撮影パラメータ情報を表す。また、矢印１０３は動画像撮影装置２の現在の撮影方向（θ1）を表す。また、（Ｘ，Ｙ，θ）＝（０，Ｙref，０）の点１００は初期位置関係における音声収録装置３に対する撮影パラメータ情報を表す。すなわち、初期位置関係では、動画像撮影装置２に対して、音声収録装置３がＹ軸方向（＝矢印１０３に示す撮影方向）にＹref離れた位置に存在することを表す。
In FIG. 2A, a
図２Ｂにおいて、ａX，ａY，ωZは、任意の点１０５（Ｘ，Ｙ，θ）におけるＸ軸方向の加速度、Ｙ軸方向の加速度、Ｚ軸の周りの角加速度の向きを表す。 In FIG. 2B, a X , a Y , and ω Z represent the direction of acceleration in the X-axis direction, acceleration in the Y-axis direction, and angular acceleration around the Z-axis at an arbitrary point 105 (X, Y, θ).
図１の説明に戻る。送信手段２５は撮影パラメータ情報を音声収録装置３へ送信する。通信方法は有線通信でも無線通信でもよい。受信手段２６は音声収録装置３で収録され、強調処理された音声信号（以下、強調音声信号）を受信する。この通信方法も有線通信でも無線通信でもよい。 Returning to the description of FIG. The transmission means 25 transmits the shooting parameter information to the audio recording device 3. The communication method may be wired communication or wireless communication. The receiving means 26 receives an audio signal recorded by the audio recording device 3 and subjected to an enhancement process (hereinafter, an emphasized audio signal). This communication method may be wired communication or wireless communication.
動画像音声結合手段２７は、動画像撮影手段２１により取得された動画像信号と、受信手段２６により受信された強調音声信号とを結合し、関連付けられた動画像音声信号とする。動画像音声記憶手段２８は、例えばハードディスク、ソリッドステートディスク、ＳＤメモリなどからなり、動画像音声信号を記憶する。
The moving image
《音声収録装置》
本発明に係る音取得手段としての音声収録手段３１は、例えばマイクアレイからなり、音声を収録して音声信号を生成する。音声強調手段３２は、音声信号から、任意の方向から来た音声を強調した強調音声信号を生成する。強調方法には、例えばマイクアレイによるビームフォーミングや、指向性の向きの異なるマイクの切り替えなどを用いる。マイクアレイによるビームフォーミングについては後に詳述する。
<Audio recording device>
The sound recording means 31 as the sound acquisition means according to the present invention comprises, for example, a microphone array, and records sound and generates a sound signal. The
受信手段３４は動画像撮影装置２から撮影パラメータ情報を受信する。強調パラメータ制御手段３３は、受信手段３４により受信された撮影パラメータ情報に基づいて、音声強調手段３２の強調パラメータを制御する。この強調パラメータについては後に詳述する。送信手段３５は、音声強調手段３２により生成された強調音声信号を動画像撮影装置２へ送信する。
The receiving
なお、この実施形態では、動画像撮影装置２側に動画像音声記憶手段２８があり、音声収録装置３からの音声信号を受信しているが、逆に、音声収録装置３側に動画像音声記憶手段を設けて、動画像撮影装置２からの動画像信号を受信するように構成することもできる。また、動画像音声記憶手段をさらに別の装置に設けてもよい。
In this embodiment, the moving
また、この実施形態では、動画像音声信号を最終的に記憶しているが、例えばディスプレイやスピーカなどの出力手段を設けて、そこから出力してもよいし、テレビ会議のような用途でネットワークを介して他装置へ送信してもよい。 In this embodiment, the moving image audio signal is finally stored. However, for example, an output unit such as a display or a speaker may be provided and output from the output unit. You may transmit to other apparatuses via.
また、この実施形態では、動画像撮影装置２と音声収録装置３とが初期位置関係であることを認識した後は、音声収録装置３は動かず、動画像撮影装置２が動くことを前提としているため、装置状態取得手段２３を動画像撮影装置２３内に設けたが、音声収録装置３内にも装置状態取得手段を設けることで、音声収録装置３の装置状態情報を取得するように構成してもよい。このように構成すれば、音声収録装置３が動いても、動画像撮影装置２は撮影パラメータ情報を取得することができる。
Moreover, in this embodiment, after recognizing that the moving
〈撮影パラメータ情報の基準状態の取得〉
音声収録装置３に対する動画像撮影装置２の位置、および向きを所定の状態に調整する操作の流れの一例について図３を参照して説明する。ここでは、図３Ａに示すように、動画像撮影装置２をカメラ付きタブレット端末とし、音声収録装置３を動画像撮影装置２と無線通信可能なワイヤレスマイクとした。
<Acquisition of reference state of shooting parameter information>
An example of an operation flow for adjusting the position and orientation of the moving
この操作は第１〜第３の前提のもとで実行する。
第１の前提：音声収録装置３上の３点を基準点とする。ここでは、図３Ａに示すように、音声収録装置３に付けた３つの十字型のマーカーＰa、Ｐb、Ｐcの中心を基準点とした。
第２の前提：この３点を、所定の位置、所定の向きで動画像撮影装置２により撮影したときの画像座標をそれぞれ（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc）とする。
第３の前提：そのとき、音声収録装置３は静止していなければならない。
This operation is executed under the first to third assumptions.
First premise: Three points on the audio recording device 3 are set as reference points. Here, as shown in FIG. 3A, the center of the three cross-shaped markers Pa, Pb, and Pc attached to the audio recording device 3 is used as a reference point.
Second premise: The image coordinates when these three points are photographed by the moving
Third premise: At that time, the audio recording device 3 must be stationary.
ユーザは撮影中の音声収録装置３の画像を見ながら、３つの基準点であるマーカーＰa、Ｐb、Ｐcの中心がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致するように動画像撮影装置２を動かす。このとき、確認用に撮影中の画像の（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）の点にガイドを表示することが好適である。ここでは、図３Ｂに示すように、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）を指示する矢印Ｐ1、Ｐ2、Ｐ3をディスプレイ２００に表示した。
While viewing the image of the sound recording device 3 being photographed, the center of the markers Pa, Pb, and Pc, which are the three reference points, is (x 1 , y 1 ), (x 2 , y 2 ), (x 3 ), respectively. , Y 3 ), the moving
ユーザが動画像撮影装置２を動かした結果、図３Ｃに示すように、撮影中の画像上の３つの基準点の座標がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致すると、基準点認識手段２２は基準点合致情報として“true”を出力する。
As a result of the user moving the moving
さらに、装置状態取得手段２３は、動画像撮影装置２の加速度および角加速度をセンサから取得し、装置状態情報を出力する。動画像撮影装置２が静止していれば装置状態情報は（０，０，０）を示す。
Furthermore, the apparatus state acquisition means 23 acquires the acceleration and angular acceleration of the moving
基準点合致情報として“true”を、装置状態情報として（０，０，０）を受け取った撮影パラメータ取得手段２４は、その時点の状態を、座標、角度計算のための基準状態とする。すなわち、撮影パラメータ情報：（Ｘ，Ｙ，θ）＝（０，０，０）とし、操作を終了する。
The imaging
図４は、動画像音声収録システム１が撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。 FIG. 4 is a flowchart showing a flow of processing in which the moving image audio recording system 1 acquires the reference state of the shooting parameter information.
まず、動画像撮影手段２１が動画像信号を取得する(ステップＳ１)。次に、取得された動画像信号により構成される動画像上の基準点の画像座標（例えば図３ＢにおけるマーカーＰa、Ｐb、Ｐcの中心の画像座標（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc））が所定の座標（例えば（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3））と一致しているか否かを基準点認識手段２２が判定する（ステップＳ２）。判定の結果、一致していれば（ステップＳ２：YES）、ステップＳ３へ進み、一致していなければ（ステップＳ２：NO）、ステップＳ１に戻る。
First, the moving
ステップＳ３では、装置状態取得手段２３が装置状態情報（ａX，ａY，ωZ）を取得する。次に、この装置状態情報が、動画像撮影装置２が静止していることを示しているか否か、すなわち（ａX，ａY，ωZ）＝（０，０，０）であるか否かを撮影パラメータ取得手段２４が判定する（ステップＳ４）。判定の結果、静止していることを示していれば（ステップＳ４：YES）、ステップＳ５へ進み、静止していることを示していなければ（ステップＳ４：NO）、ステップＳ１に戻る。
In step S3, the device
ステップＳ５では、撮影パラメータ取得手段２４が、現在の撮影パラメータ情報を基準状態に設定する。すなわち（ａX，ａY，ωZ）＝（０，０，０）のとき、動画像撮影装置２の撮影パラメータ情報（Ｘ，Ｙ，θ）として、基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）を設定する。この結果、例えば図３のマーカーＰa、Ｐb、Ｐcの中心が矢印Ｐ1、Ｐ2、Ｐ3の先端に一致し、かつ動画像撮影装置２が静止している時に、図２Ａの点１０１における撮影パラメータ情報が設定される。
In step S5, the shooting
〈動画像撮影装置の撮影方向と音声収録装置の指向性との関係〉
図５は、動画像音声収録システム１における動画像撮影装置２の撮影方向と音声収録装置３の指向性との対応関係について説明するための図である。
<Relationship between shooting direction of moving image shooting device and directivity of audio recording device>
FIG. 5 is a diagram for explaining the correspondence between the shooting direction of the moving
図５Ａは、動画像撮影手段２１の撮影方向が音声収録装置３に向かう方向１１１である状態を示している。この図において、ｐ，ｑ，ｒ，ｓはマイク（音声収録手段３１）を表している。すなわち、４つのマイクが正方形の頂点に配置されているといえる。
FIG. 5A shows a state where the shooting direction of the moving image shooting means 21 is a
この状態では、音声収録装置３の指向性を、動画像撮影手段２１の中心に向いている方向にピーク値を有する指向性１２１、およびその反対の方向にピーク値を有する指向性１２２からなる双極性にする。
In this state, the directivity of the sound recording device 3 is a bipolar structure including a
図５Ｂは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から反時計回りにθ回転した方向１１２に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から時計回りにφ回転した方向１１３にピーク値を有する指向性１２３からなる単極性にする。
FIG. 5B shows a state in which the shooting direction of the moving image shooting means 21 is directed to the
図５Ｃは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から時計回りにθ回転した方向１１４に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から反時計回りにφ回転した方向１１５にピーク値を有する指向性１２４からなる単極性にする。
FIG. 5C shows a state in which the shooting direction of the moving image shooting means 21 is directed in the
図５Ａ、図５Ｂ、図５Ｃに示すように、通常、注目している音源は動画像撮影手段２１の撮影方向１１１、１１２、１１４に位置すると考えられるため、音声収録装置３の指向性を１２２、１２３、１２４のように設定することにより、音源からの音を強調することができる。これらの指向性を実現するには、音声収録装置３の強調パラメータ制御手段３３が制御信号として、撮影方向情報θに応じて形成する指向性の種類（単極性か双極性か）と、その向きを示すφの値を音声強調手段３２に出力し、音声強調手段３２がその制御信号を基に指向性を形成することになる。
As shown in FIGS. 5A, 5B, and 5C, the sound source of interest is normally considered to be located in the
θとφとの関係を示すテーブルの一例を下記の表１に示す。ここで、θ＝０は図５Ａに示されている方向１１１、すなわち、動画像撮影手段２１の中心から音声収録装置３のマイクに向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。つまり、図５Ｂではθはほぼ−π／４であり、図５Ｃではθはほぼπ／４である。
An example of a table showing the relationship between θ and φ is shown in Table 1 below. Here, θ = 0 is the
また、表１において、φ=０は音声収録装置３から動画像撮影手段２１の中心に向かう方向、すなわちθ＝πの方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。
In Table 1, φ = 0 is the direction from the sound recording device 3 toward the center of the moving
したがって、図５Ａ、図５Ｂ、図５Ｃと表１との関係は下記のようになる。
図５Ａ：「−π／６＜θ≦π／６」・・・「双極性、φ＝０」
図５Ｂ：「７π／６＜θ≦１１π／６」・・・「単極性、φ＝π／４」
図５Ｃ：「π／６＜θ≦５π／６」・・・「単極性、φ＝−π／４」
Therefore, the relationship between FIG. 5A, FIG. 5B, FIG. 5C and Table 1 is as follows.
FIG. 5A: “−π / 6 <θ ≦ π / 6”... “Bipolarity, φ = 0”
FIG. 5B: “7π / 6 <θ ≦ 11π / 6”... “Unipolar, φ = π / 4”
FIG. 5C: “π / 6 <θ ≦ 5π / 6”... “Unipolar, φ = −π / 4”
音声信号を強調する方法としては、マイクアレイによるビームフォーミングなどを用いる。例えば、φ方向に指向性を形成する場合、遅延和ビームフォーミングでは下記の式〔４〕で強調音声信号が得られる。 As a method for enhancing the audio signal, beam forming by a microphone array or the like is used. For example, when directivity is formed in the φ direction, an enhanced speech signal is obtained by the following equation [4] in the delay sum beamforming.
Ｙ(ω)＝ＷH(ω)ｚ(ω) …式〔４〕
ここでωは音声信号のスペクトルの角周波数、Ｙは強調音声信号のスペクトル、ｚは入力音声信号のスペクトル、Ｗは強調のためのフィルタ係数、Ｈは複素共役転置を表す。ｚとＷはベクトル表現になっており、それぞれ、下記の式〔５〕、〔６〕で表される。
Y (ω) = W H (ω) z (ω) (4)
Here, ω is the angular frequency of the spectrum of the speech signal, Y is the spectrum of the enhanced speech signal, z is the spectrum of the input speech signal, W is the filter coefficient for enhancement, and H is the complex conjugate transpose. z and W are represented by vectors and are expressed by the following equations [5] and [6], respectively.
ｚ(ω)＝［Ｚ1(ω),・・・,ＺM(ω)］T …式〔５〕
Ｗ(ω)＝［Ｗ1(ω),・・・,ＷM(ω)］T …式〔６〕
ここで、Ｚの添え字はマイクの番号を表し、Ｍはマイクの個数である。また、Ｔは行列の転置を表す。
z (ω) = [Z 1 (ω),..., Z M (ω)] T Equation (5)
W (ω) = [W 1 (ω),..., W M (ω)] T Equation (6)
Here, the Z suffix represents the number of the microphone, and M is the number of microphones. T represents transposition of the matrix.
ここでＷの値は、各マイクの位置と強調したい音源の方向が同一平面状にあるとすると、次の式〔７〕のようになる。
Ｗm(ω)＝exp｛ｊ(ω/c)(ｘmsinφ＋ｙmcosφ)｝ …式〔７〕
ここで、ｃは音速、ｘm，ｙmはマイクの座標、φは強調したい音声信号の音源の方向である。
Here, the value of W is expressed by the following equation [7] when the position of each microphone and the direction of the sound source to be emphasized are in the same plane.
W m (ω) = exp {j (ω / c) (x m sinφ + y m cosφ)} (7)
Here, c is the sound velocity, x m, the y m coordinates of the microphone, phi is the direction of the sound source of the audio signal to be emphasized.
〈音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御〉
図６は、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。
<Directional control of audio recording device when position of moving image shooting device changes with respect to audio recording device>
FIG. 6 is a diagram for describing directivity control of the audio recording device when the position of the moving image capturing device changes with respect to the audio recording device.
この場合は例えば、音声収録装置３から見て、３６０度（２π）を８分割した領域ａ〜ｈのどこに動画像撮影装置２が位置するかで制御信号を切り替える。例えば図示のように動画像撮影装置２が領域ｃに位置する場合、下記の表２のように撮影方向θと制御信号（指向性の種類、向きφ）を設定する。
In this case, for example, the control signal is switched depending on where the moving
この表において、θ＝０は音声収録装置３から領域ｅの中心に向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。また、φ＝０は音声収録装置３から領域ａの中心に向かう方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。 In this table, θ = 0 is a direction from the audio recording device 3 toward the center of the region e. Further, clockwise is the positive direction of θ, and counterclockwise is the negative direction of θ. Φ = 0 is a direction from the audio recording device 3 toward the center of the area a. Further, clockwise is the positive direction of φ, and counterclockwise is the negative direction of φ.
この表に示すデータを持つテーブルを領域毎に用意することで、音声収録装置３に対する動画像撮影装置２の方向が変化しても、適切な指向性を形成することができる。なお、動画像撮影装置２が領域ｃ以外の領域（以下、注目領域）に位置するときは、表２におけるθの範囲の値を領域ｃと注目領域との角度差を付加した値にすればよい。
By preparing a table having the data shown in this table for each region, even if the direction of the moving
なお、ここではφの値を４段階に変化させているが、例えばθの値に応じて連続的に変化させるなど、より多くの段階に変化させてもよい。 Here, although the value of φ is changed in four steps, it may be changed in more steps, for example, continuously changing according to the value of θ.
〈動画像音声収録システムの動作〉
図７は、動画像音声収録システム１の動作を示すフローチャートである。
<Operation of video / audio recording system>
FIG. 7 is a flowchart showing the operation of the moving image audio recording system 1.
まず、動画像撮影装置２では、装置状態取得手段２３が装置状態情報を取得する（ステップＳ１１）。次に、撮影パラメータ取得手段２４が、ステップＳ１で取得された装置状態情報から撮影パラメータ情報を推定する（ステップＳ１２）。このときの基準状態については図４に示した処理により設定済みのものを用いる。
First, in the moving
次いで、送信手段２５が、ステップＳ２で推定された撮影パラメータ情報を音声収録装置３へ送信する（ステップＳ１３）。次に、動画像撮影手段２１が動画像信号を取得する（ステップＳ１４）。
Next, the transmission means 25 transmits the shooting parameter information estimated in step S2 to the audio recording device 3 (step S13). Next, the moving
音声収録装置３では、受信手段３４が撮影パラメータ情報を受信し（ステップＳ２１）、強調パラメータ制御手段３３が、ステップＳ２１で受信された撮影パラメータ情報に応じて、音声強調パラメータを制御する（ステップＳ２２）。
In the audio recording device 3, the
次に、音声収録手段３１が音声信号を取得し（ステップＳ２３）、音声強調手段３２が、ステップＳ２３で取得された音声信号をステップＳ２２で取得された音声強調パラメータに基づいて強調処理し、強調音声信号を取得する（ステップＳ２４）。次に、送信手段３５が、ステップＳ２４で取得された強調音声信号を動画像撮影装置２へ送信し、音声収録装置３側の処理を終える。
Next, the
動画像撮影装置２では、受信手段２６が強調音声信号を受信し（ステップＳ１５）、動画像音声結合手段２７が、ステップ１４で取得された動画像信号と、ステップＳ１５で受信された強調音声信号を結合して、動画像音声信号を取得する（ステップＳ１６）。次に、動画像音声記憶手段２８が、ステップＳ１５で取得された動画像音声信号を記憶し（ステップＳ１７）、動画像撮影装置２側の処理を終える。
In the moving
〈動画像音声収録システムを実現するコンピュータシステム〉
図８は、動画像撮影装置２および音声収録装置３を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
<Computer system that realizes a moving image audio recording system>
FIG. 8 is a block diagram illustrating a hardware configuration of a computer system that implements the moving
動画像撮影装置２および音声収録装置３は、図８に示すような汎用のコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、およびＩ／Ｆ（インタフェース）１５がバス１０を介して接続された構成を有し、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）などの表示部１６および操作部１７が接続されている。
The moving
ＣＰＵ１１は演算手段であり、コンピュータシステム全体の動作を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ１３は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等が格納されている。Ｉ／Ｆ１５は、バスと各種のハードウェアやネットワーク等を接続し制御する。表示部１６は、ユーザがコンピュータシステムの状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザがコンピュータシステムに情報を入力するためのユーザインタフェースである。
The
以上詳細に説明したように、本発明の実施形態に係る動画像音声収録システム１には下記（１）〜（５）の特徴がある。
（１）音声収録手段３１に対する動画像撮影手段２１の位置、および動画像撮影手段２１の撮影方向を推定し、その推定結果に応じて、音声収録手段３１へ到来する音声の方向を特定し、音声収録手段３１の指向性を変化させるので、音声収録手段３１と動画像撮影手段２１との位置関係が変化する場合でも、良好な音声信号を取得することができる。
（２）動画像撮影手段２１の撮影方向の推定結果に応じて、撮影範囲の外側から到来する音を相対的に多く抑圧することができる。
（３）動画像撮影装置２の加速度および角加速度から、動画像撮影装置２の位置および撮影方向を推定することができる。
（４）音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を、位置および撮影方向の推定に利用することができる。
（５）ユーザシステム利用時に、音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を得ることができる。
As described above in detail, the moving image and sound recording system 1 according to the embodiment of the present invention has the following features (1) to (5).
(1) Estimating the position of the moving image photographing means 21 with respect to the sound recording means 31 and the photographing direction of the moving
(2) According to the estimation result of the shooting direction of the moving image shooting means 21, it is possible to suppress a relatively large amount of sound coming from outside the shooting range.
(3) From the acceleration and angular acceleration of the moving
(4) The reference position of the moving image photographing means 21 relative to the sound recording means 31 and the reference photographing direction of the moving image photographing means 21 can be used for estimating the position and the photographing direction.
(5) When using the user system, it is possible to obtain the reference position of the moving image photographing means 21 with respect to the sound recording means 31 and the reference photographing direction of the moving
なお、以上説明した実施形態では、動画像撮影装置２と、音声収録装置３とが別々の装置であり、かつ動画像撮影装置２が動画像撮影手段（カメラ）２１を内蔵し、音声収録装置３が音声収録手段（マイク）３１を内蔵しているが、動画像撮影装置と音声収録装置とを１つの動画像音声収録装置とし、かつ動画像撮影手段、音声収録手段を装置と別に設けるように構成してもよい。
In the embodiment described above, the moving
１…動画像音声収録システム、２…動画像撮影装置、３…音声収録装置、２１…動画像撮影手段、２２…基準点認識手段、２３…装置状態取得手段、２４…撮影パラメータ取得手段、３１…音声収録手段、３２…音声強調手段、３３…強調パラメータ制御手段。 DESCRIPTION OF SYMBOLS 1 ... Moving image audio recording system, 2 ... Moving image imaging device, 3 ... Audio recording device, 21 ... Moving image imaging means, 22 ... Reference point recognition means, 23 ... Apparatus state acquisition means, 24 ... Shooting parameter acquisition means, 31 ... voice recording means, 32 ... voice emphasis means, 33 ... emphasis parameter control means.
Claims (10)
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
を有する動画像音収録システム。 Moving image acquisition means for shooting a subject and acquiring a moving image signal;
A sound acquisition means for recording sound and acquiring a sound signal;
Shooting parameter acquisition means for acquiring information indicating the shooting direction of the moving image acquisition means, and information indicating the positional relationship between the moving image acquisition means and the sound acquisition means;
Sound enhancement means for enhancing a sound signal in a predetermined direction among the sound signals acquired by the sound acquisition means based on the information acquired by the imaging parameter acquisition means;
Video sound recording system.
前記音強調手段は、前記撮影パラメータ取得手段により取得された前記情報から推定される撮影範囲の外側から到来する音を相対的に多く抑圧する、動画像音収録システム。 In the moving image sound recording system according to claim 1,
The moving image sound recording system, wherein the sound emphasizing unit suppresses a relatively large amount of sound coming from outside the imaging range estimated from the information acquired by the imaging parameter acquisition unit.
前記位置関係を表す情報は、前記音取得手段に対する前記動画像取得手段の位置を表す情報である、動画像音収録システム。 In the moving image sound recording system according to claim 1,
The moving image sound recording system, wherein the information indicating the positional relationship is information indicating a position of the moving image acquisition unit with respect to the sound acquisition unit.
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する、動画像音収録システム。 In the moving image sound recording system according to claim 1,
Apparatus status acquisition means for acquiring information representing the state of movement of the moving image acquisition means,
The moving image sound recording system, wherein the shooting parameter acquisition unit acquires information representing a positional relationship between the moving image acquisition unit and the sound acquisition unit using the information acquired by the apparatus state acquisition unit.
前記動きの状態を表す情報は、加速度および角加速度を表す情報である、動画像音収録システム。 In the moving image sound recording system according to claim 4,
The moving image sound recording system, wherein the information representing the state of movement is information representing acceleration and angular acceleration.
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段を有し、
前記撮影パラメータ取得手段は、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システム。 In the moving image sound recording system according to claim 4 or 5,
Reference point recognizing means for determining whether or not the coordinates of a predetermined reference point in the space match the predetermined coordinates on the image from the moving image signal acquired by the moving image acquisition means,
The shooting parameter acquisition unit is information indicating the shooting direction when it is determined that the reference point recognition unit matches and the information indicating the state of movement generated by the device state acquisition unit indicates stillness. A moving image sound recording system that acquires a reference value of information and a reference value of information representing positional relationship.
前記撮影パラメータ取得手段が前記撮影方向を表す情報の基準値および位置関係を表す情報の基準値を取得するまで、前記動画像取得手段の位置と向きの調整をガイドする表示を行う手段を有する、動画像音収録システム。 In the moving image sound recording system according to claim 6,
Until the shooting parameter acquisition unit acquires the reference value of the information indicating the shooting direction and the reference value of the information indicating the positional relationship, the shooting parameter acquisition unit includes a unit that performs display for guiding the adjustment of the position and orientation of the moving image acquisition unit. Video sound recording system.
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
を有する動画像音収録装置。 Moving image acquisition means for shooting a subject and acquiring a moving image signal;
A sound acquisition means for recording sound and acquiring a sound signal;
Shooting parameter acquisition means for acquiring information indicating the shooting direction of the moving image acquisition means, and information indicating the positional relationship between the moving image acquisition means and the sound acquisition means;
Sound enhancement means for enhancing a sound signal in a predetermined direction among the sound signals acquired by the sound acquisition means based on the information acquired by the imaging parameter acquisition means;
A moving image sound recording apparatus.
前記コンピュータを、前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段として機能させるための動画像音収録プログラム。 A moving image sound recording program for processing by a computer the moving image signal acquired by the moving image acquisition means and the sound signal acquired by the sound acquisition means,
An imaging parameter acquisition unit for acquiring information indicating a shooting direction of the moving image acquisition unit and information indicating a positional relationship between the moving image acquisition unit and the sound acquisition unit;
A moving image sound recording program for functioning as sound enhancement means for enhancing a sound signal in a predetermined direction among the sound signals acquired by the sound acquisition means based on the information acquired by the shooting parameter acquisition means .
音を収録して音信号を取得する音取得ステップと、
前記動画像取得ステップにおける撮影の方向を表す情報、および前記動画像取得ステップにおける撮影の位置と前記音取得ステップにおける収録の位置との関係を表す情報を取得する撮影パラメータ取得ステップと、
前記撮影パラメータ取得ステップにより取得された前記情報に基づいて、前記音取得ステップにより取得する前記音信号のうち、所定の方向の音信号を強調する音強調ステップと、
を有する動画像音収録方法。 A moving image acquisition step of shooting a subject and acquiring a moving image signal;
A sound acquisition step for recording sound and acquiring a sound signal;
An imaging parameter acquisition step for acquiring information indicating a shooting direction in the moving image acquisition step, and information indicating a relationship between a shooting position in the moving image acquisition step and a recording position in the sound acquisition step;
Based on the information acquired by the imaging parameter acquisition step, among the sound signals acquired by the sound acquisition step, a sound enhancement step of enhancing a sound signal in a predetermined direction;
A moving image sound recording method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/984,728 US9794685B2 (en) | 2015-01-23 | 2015-12-30 | Video audio recording system, video audio recording device, and video audio recording method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015011515 | 2015-01-23 | ||
| JP2015011515 | 2015-01-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016140055A true JP2016140055A (en) | 2016-08-04 |
| JP6631193B2 JP6631193B2 (en) | 2020-01-15 |
Family
ID=56559405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015226788A Active JP6631193B2 (en) | 2015-01-23 | 2015-11-19 | Video sound recording system, video sound recording device, video sound recording program, and video sound recording method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6631193B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331501A (en) * | 2016-09-21 | 2017-01-11 | 乐视控股（北京）有限公司 | Sound acquisition method and device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009296232A (en) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | Sound input unit, sound input method and program |
| WO2014125835A1 (en) * | 2013-02-15 | 2014-08-21 | パナソニック株式会社 | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
-
2015
- 2015-11-19 JP JP2015226788A patent/JP6631193B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009296232A (en) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | Sound input unit, sound input method and program |
| WO2014125835A1 (en) * | 2013-02-15 | 2014-08-21 | パナソニック株式会社 | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331501A (en) * | 2016-09-21 | 2017-01-11 | 乐视控股（北京）有限公司 | Sound acquisition method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6631193B2 (en) | 2020-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9516241B2 (en) | Beamforming method and apparatus for sound signal | |
| CN102104767B (en) | Facial pose improvement with perspective distortion correction | |
| JP7026819B2 (en) | Camera positioning method and equipment, terminals and computer programs | |
| JP6348611B2 (en) | Automatic focusing method, apparatus, program and recording medium | |
| TW201246950A (en) | Method of controlling audio recording and electronic device | |
| JP2016522437A (en) | Image display method, image display apparatus, terminal, program, and recording medium | |
| CN113763228B (en) | Image processing method, device, electronic equipment and storage medium | |
| US20190005678A1 (en) | Pose estimation using multiple cameras | |
| JP6280674B1 (en) | Imaging angle adjustment system, imaging angle adjustment method, and program | |
| CN111385525B (en) | Video monitoring method, device, terminal and system | |
| US20170091899A1 (en) | Image management apparatus and system, and method for controlling display of captured image | |
| US10306394B1 (en) | Method of managing a plurality of devices | |
| JP6631193B2 (en) | Video sound recording system, video sound recording device, video sound recording program, and video sound recording method | |
| JP6711118B2 (en) | Image management system, program and information terminal | |
| US9983411B2 (en) | Control apparatus and correction method | |
| CN108924529A (en) | The control method and device that image is shown | |
| US9794685B2 (en) | Video audio recording system, video audio recording device, and video audio recording method | |
| JP2018157314A (en) | Information processing system, information processing method and program | |
| CN110443841B (en) | Method, device and system for measuring ground depth | |
| CN113432620A (en) | Error estimation method, error estimation device, vehicle-mounted terminal and storage medium | |
| US9497537B2 (en) | Conference apparatus | |
| US11184520B1 (en) | Method, apparatus and computer program product for generating audio signals according to visual content | |
| CN113409235B (en) | Vanishing point estimation method and apparatus | |
| EP3917160A1 (en) | Capturing content | |
| JP2019133217A (en) | Transmission program, method and apparatus, and image composition program, method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6631193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |