JP5771117B2 - Moving distance measuring device and photographing camera - Google Patents
Moving distance measuring device and photographing camera Download PDFInfo
- Publication number
- JP5771117B2 JP5771117B2 JP2011234547A JP2011234547A JP5771117B2 JP 5771117 B2 JP5771117 B2 JP 5771117B2 JP 2011234547 A JP2011234547 A JP 2011234547A JP 2011234547 A JP2011234547 A JP 2011234547A JP 5771117 B2 JP5771117 B2 JP 5771117B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- sensor
- reference plane
- measurement
- measurement reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置及び撮影カメラに関する。 The present invention relates to a moving distance measuring device and a photographing camera that are mounted on a measurement target that moves on a measurement reference plane that is a measurement reference for a moving distance, and that measures the moving distance of the measurement target.
番組制作や映画制作において、撮影カメラが動きながら撮影した映像に、ＣＧや別の映像を合成することが広く行われている。この合成に際して、撮影カメラがどのように動いたか、つまり、撮影カメラの移動距離や姿勢を示すカメラデータが必要になる。 In program production and movie production, it is widely performed to synthesize a CG or another video with a video shot while the camera is moving. In this synthesis, camera data indicating how the photographing camera has moved, that is, the movement distance and posture of the photographing camera is required.
従来から、カメラデータを計測する手法として、バーチャルスタジオで活用しているＶＲ用ペデスタル（例えば、非特許文献１）や、三脚に載せて使用する構造のＤＧＳ（データ・ギャザリング・システム）が知られている。例えば、非特許文献１に記載の技術は、ロボットカメラを取り付ける雲台に特殊な細工を施すことで、ロボットカメラの動きや姿勢をカメラデータとして計測するものである。より具体的には、パン、チルト、ロール等の回転軸の回転角を検出するためのエンコーダが雲台に取り付けられており、ロボットカメラが動いたことによって変化する回転角の変化から、カメラデータを計測する。 Conventionally, VR pedestals (for example, Non-Patent Document 1) utilized in virtual studios and DGS (data gathering system) structures that are mounted on a tripod are known as methods for measuring camera data. ing. For example, the technique described in Non-Patent Document 1 measures the movement and posture of a robot camera as camera data by applying a special work to a pan head to which the robot camera is attached. More specifically, an encoder for detecting the rotation angle of the rotation axis such as pan, tilt, and roll is attached to the camera platform, and the camera data is obtained from the change in the rotation angle that changes as the robot camera moves. Measure.
この他、ロボットカメラの動きを実際に計測するのではなく、収録映像の画像解析を行うことで、カメラデータを算出するソフトウェアも知られている。この画像解析ソフトウェアは、例えば、収録映像の中から特徴点を抽出して、動きベクトルの変化からカメラデータを逆算するものである。 In addition, software that calculates camera data by performing image analysis of recorded video instead of actually measuring the movement of the robot camera is also known. This image analysis software, for example, extracts feature points from recorded video and reversely calculates camera data from changes in motion vectors.
しかし、非特許文献１に記載の技術では、専用の大型装置（雲台）が必要になると共に、車輪部の構造や原点座標の設定の制約から、屋外のような床が平坦でない環境での使用が極めて困難である。
また、従来のＤＧＳは、屋外で使用可能であるが、非特許文献１に記載の技術と同様、専用の大型装置を使用しなければならず、重く、機動性が悪いという欠点がある。
さらに、従来の画像解析ソフトウェアは、カメラデータの精度が不十分であり、景色のような特徴が少ない映像からカメラデータを算出することが極めて困難である。
However, the technology described in Non-Patent Document 1 requires a dedicated large-scale device (head), and due to restrictions on the structure of the wheel section and the setting of the origin coordinates, the floor in an outdoor environment where the floor is not flat. It is extremely difficult to use.
In addition, the conventional DGS can be used outdoors, but, like the technique described in Non-Patent Document 1, a dedicated large-scale device must be used, and is disadvantageous in that it is heavy and poor in mobility.
Further, the conventional image analysis software has insufficient accuracy of camera data, and it is extremely difficult to calculate camera data from a video with few features such as scenery.
ここで、カメラデータのうち、撮影カメラの姿勢に関しては、６自由度の慣性センサを用いて、高い精度を確保することができる。その一方、撮影カメラの移動距離は、この慣性センサだけでは十分な精度を確保できず、その精度を向上させるためには、専用の大型装置に頼らざる得ない。 Here, among the camera data, with respect to the posture of the photographing camera, high accuracy can be ensured by using an inertial sensor having six degrees of freedom. On the other hand, the moving distance of the photographing camera cannot secure sufficient accuracy with only the inertial sensor, and in order to improve the accuracy, it is necessary to rely on a dedicated large device.
そこで、本発明は、機動性に優れ、平坦でない計測基準面でも、高い精度で移動距離を計測できる移動距離計測装置及び撮影カメラを提供することを課題とする。 Therefore, an object of the present invention is to provide a moving distance measuring device and a photographing camera that are excellent in mobility and can measure a moving distance with high accuracy even on a non-flat measurement reference plane.
前記した課題に鑑みて、本願第１発明に係る移動距離計測装置は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置であって、センサカメラと、動きベクトル検出部と、移動距離算出部と、加速度センサとを備えることを特徴とする。 In view of the above-described problems, the movement distance measurement device according to the first invention of the present application is mounted on a measurement target that moves on a measurement reference plane that is a measurement reference for the movement distance, and the movement distance measurement that measures the movement distance of the measurement target. An apparatus comprising a sensor camera, a motion vector detection unit, a movement distance calculation unit, and an acceleration sensor .
かかる構成によれば、移動距離計測装置は、センサカメラによって、計測対象の位置から計測基準面を向くように、計測基準面の動画像である計測基準面動画像を撮影する。つまり、移動距離計測装置は、小型なセンサカメラを用いるため、専用の大型装置を必要としない。また、センサカメラが計測基準面をおおよそ垂直方向から撮影するため、この計測基準面動画像は、奥行きの変化が殆どなく、画像全体で同じ動きになる。 According to such a configuration, the moving distance measuring device captures a measurement reference plane moving image that is a moving image of the measurement reference plane so that the sensor camera faces the measurement reference plane from the position to be measured. That is, since the movement distance measuring device uses a small sensor camera, a dedicated large device is not required. In addition, since the sensor camera captures the measurement reference plane from approximately the vertical direction, the measurement reference plane moving image has almost no change in depth, and the entire image has the same movement.
また、移動距離計測装置は、動きベクトル検出部によって、センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する。つまり、移動距離計測装置は、画像全体で同じ動きになる計測基準面動画像から動きベクトルを検出するため、高度で複雑な画像処理を行う必要がない。 Further, in the movement distance measuring device, the motion vector is detected from the measurement reference plane moving image captured by the sensor camera by the motion vector detecting unit. In other words, the moving distance measuring device detects a motion vector from a measurement reference plane moving image that has the same motion in the entire image, and thus does not need to perform sophisticated and complicated image processing.
そして、移動距離計測装置は、移動距離算出部によって、センサカメラの画面サイズと、センサカメラの画角と、センサカメラから計測基準面までのカメラ高さとが予め設定され、センサカメラの画角及びカメラ高さからセンサカメラの撮影範囲を求め、求めた撮影範囲に動きベクトルの大きさと画面サイズとの比を乗じることで、この動きベクトルの大きさをセンサカメラの撮影範囲内での移動距離に換算する。 In the movement distance measurement device, the movement distance calculation unit presets the screen size of the sensor camera, the angle of view of the sensor camera, and the camera height from the sensor camera to the measurement reference plane. The camera camera's shooting range is calculated from the camera height, and the obtained shooting range is multiplied by the ratio of the motion vector size and the screen size, so that the magnitude of this motion vector is converted to the moving distance within the sensor camera's shooting range. Convert.
そして、移動距離計測装置は、加速度センサが、３次元方向の加速度を計測し、移動距離算出部が、加速度センサが計測した加速度から、計測基準面の垂線に対するセンサカメラの光軸傾き量を求め、求めた光軸傾き量に応じて、垂線に対してセンサカメラの光軸が傾いた状態で算出された移動距離を、計測基準面上での移動距離（つまり、計測基準面に対してセンサカメラの光軸が垂直な状態で算出された移動距離）となるように補正することを特徴とする。
これにより、移動距離計測装置は、センサカメラが傾いた状態で計測基準面動画像を撮影した場合でも、その傾きに起因する移動距離の誤差を補正する。
Then, moving distance measuring device, an acceleration sensor, the acceleration in three-dimensional directions is measured, the moving distance calculating unit, from the acceleration by the acceleration sensor is measured, the optical axis inclination of the sensor camera relative to the normal of the measurement reference plane The travel distance calculated with the optical axis of the sensor camera tilted with respect to the perpendicular according to the obtained optical axis tilt amount is calculated based on the travel distance on the measurement reference plane (that is, with respect to the measurement reference plane). The movement is calculated so that the optical distance of the sensor camera is vertical).
Thus, even when the measurement reference plane moving image is taken with the sensor camera tilted , the moving distance measuring apparatus corrects the moving distance error due to the tilt.
前記した課題に鑑みて、本願第２発明に係る移動距離計測装置は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置であって、センサカメラと、動きベクトル検出部と、移動距離算出部と、センサカメラの向きを駆動する駆動手段と、３次元方向の加速度を計測する加速度センサと、加速度センサが計測した加速度から、計測基準面の垂線に対するセンサカメラの光軸傾き量を求め、求めた光軸傾き量に応じて、センサカメラの光軸が計測基準面に垂直となるように駆動手段を制御する駆動手段制御部とを備えることを特徴とする。 In view of the problems described above, the present patent application moving distance measuring apparatus according to the second invention is mounted on the target object which moves the measurement reference plane on which the moving distance of the measurement reference, the moving distance for measuring a moving distance of the measurement object A measurement device, a sensor camera, a motion vector detection unit, a moving distance calculation unit, a driving unit that drives the direction of the sensor camera, an acceleration sensor that measures acceleration in a three-dimensional direction, and an acceleration sensor Drive that controls the drive means so that the optical axis of the sensor camera is perpendicular to the measurement reference plane according to the calculated optical axis tilt, based on the calculated optical axis tilt amount from the acceleration. and wherein the obtaining Bei and means control unit.
かかる構成によれば、移動距離計測装置は、計測基準面に対して計測対象が傾いた状態でも、この計測対象に装着されたセンサカメラが計測基準面を垂直方向から撮影するため、計測対象の傾きに起因する移動距離の誤差を補正する必要がない。 According to such a configuration, the moving distance measurement device captures the measurement reference plane from the vertical direction even when the measurement target is tilted with respect to the measurement reference plane. There is no need to correct the error of the movement distance caused by the inclination.
また、本願第３発明に係る移動距離計測装置は、カメラ高さの変化量を計測する変化量計測部をさらに備え、移動距離算出部が、変化量計測部が計測した変化量をカメラ高さに加算又は減算することを特徴とする。
かかる構成によれば、移動距離計測装置は、計測対象が上下してカメラ高さが変化する場合でも、その高さ変化に起因する移動距離の誤差を補正する。
The movement distance measuring device according to the third invention of the present application further includes a change amount measuring unit that measures a change amount of the camera height, and the movement distance calculating unit displays the change amount measured by the change amount measuring unit as the camera height. Is added or subtracted.
According to such a configuration, even when the measurement target moves up and down and the camera height changes, the movement distance measurement device corrects an error in the movement distance caused by the height change.
また、本願第４発明に係る移動距離計測装置は、パン方向、チルト方向及びヨー方向の角速度を計測するジャイロセンサと、ジャイロセンサが計測した角速度と加速度センサが計測した加速度とから、計測対象の向きを示す姿勢データを算出する姿勢データ算出部と、をさらに備えることを特徴とする。
かかる構成によれば、移動距離計測装置は、計測対象の移動距離に加えて、姿勢データも計測することができる。
Further, the moving distance measuring device according to the fourth invention of the present application includes a gyro sensor that measures angular velocities in a pan direction, a tilt direction, and a yaw direction, an angular velocity measured by the gyro sensor, and an acceleration measured by the acceleration sensor. And an attitude data calculation unit that calculates attitude data indicating the orientation.
According to such a configuration, the movement distance measuring device can measure posture data in addition to the movement distance of the measurement target.
また、本願第５発明に係る移動距離計測装置は、計測対象としての撮影カメラに装着され、移動距離算出部が、撮影カメラが撮影した撮影映像の同期信号が入力され、入力された同期信号に同期させて移動距離を算出し、姿勢データ算出部が、同期信号が入力され、入力された同期信号に同期させて姿勢データを算出することを特徴とする。
かかる構成によれば、移動距離計測装置は、撮影カメラが撮影映像を撮影したタイミングに同期させて、移動距離及び姿勢データをカメラデータとして計測することができる。
Moreover, the moving distance measuring device according to the fifth invention of the present application is attached to a photographing camera as a measurement target, and the moving distance calculating unit inputs a synchronization signal of a photographed image photographed by the photographing camera, and outputs the synchronization signal to the inputted synchronization signal. The movement distance is calculated in synchronization, and the attitude data calculation unit receives the synchronization signal and calculates the attitude data in synchronization with the input synchronization signal.
According to such a configuration, the moving distance measuring device can measure the moving distance and the posture data as camera data in synchronization with the timing when the shooting camera has shot the shot video.
また、本願第６発明に係る移動距離計測装置は、撮影カメラが備えるズームレンズのリング回転量を計測するエンコーダと、リング回転量と撮影カメラの画角とを対応付けた撮影画角テーブルが予め設定され、撮影画角テーブルを参照して、エンコーダが計測したリング回転量から撮影カメラの画角を算出する画角算出部と、をさらに備えることを特徴とする。
かかる構成によれば、移動距離計測装置は、カメラデータに撮影カメラの画角を付加することができる。
Further, the moving distance measuring device according to the sixth invention of the present application has an encoder for measuring the ring rotation amount of the zoom lens provided in the photographing camera, and a photographing field angle table in which the ring rotation amount and the angle of view of the photographing camera are associated in advance. And an angle-of-view calculating unit configured to calculate an angle of view of the imaging camera from the ring rotation amount measured by the encoder with reference to the imaging angle-of-view table.
According to such a configuration, the moving distance measuring device can add the angle of view of the photographing camera to the camera data.
また、前記した課題に鑑みて、本願第７発明に係る撮影カメラは、本願第１発明から本願第６発明の何れかに係る移動距離計測装置を装着したことを特徴とする。 In view of the above-described problems, the photographing camera according to the seventh invention of the present application is characterized in that the moving distance measuring device according to any one of the first invention of the present application to the sixth invention of the present application is mounted.
本発明によれば、以下のような優れた効果を奏する。
本願第１，２，７発明によれば、専用の大型装置を必要としないため、機動性に優れ、平坦でない計測基準面でも移動距離を計測することができる。さらに、本願第１，２，７発明によれば、画像全体で同じ動きになる計測基準面動画像から動きベクトルを検出するため、高度で複雑な画像処理を行う必要がなく、高い精度で移動距離を計測することができる。
According to the present invention, the following excellent effects can be obtained.
First aspect, according to the 2,7 invention requires no large device dedicated excellent maneuverability, it is possible to measure the moving distance at the measurement reference plane is not flat. Furthermore, the present application first, according to the 2,7 invention, to detect the motion vector from the measurement reference plane moving images the same movement in the entire image, it is unnecessary to perform sophisticated and complex image processing, movement with high accuracy Distance can be measured.
本願第１，７発明によれば、センサカメラが傾いた状態で計測基準面動画像を撮影した場合でも、その傾きに起因する移動距離の誤差を補正して、高い精度で移動距離を計測することができる。
本願第２，７発明によれば、計測基準面に対して計測対象が傾いた状態でも、この計測対象に装着されたセンサカメラが計測基準面を垂直方向から撮影する。このため、本願第２，７発明によれば、その傾きに起因する移動距離の誤差を補正する必要がなく、高い精度で素早く移動距離を計測することができる。
According to the first and seventh inventions of the present application, even when a measurement reference plane moving image is taken in a state where the sensor camera is tilted, the moving distance is measured with high accuracy by correcting the error of the moving distance caused by the tilt. be able to.
According to the second and seventh inventions of the present application, even when the measurement target is tilted with respect to the measurement reference plane, the sensor camera attached to the measurement target captures the measurement reference plane from the vertical direction. For this reason, according to the second and seventh inventions of the present application, it is not necessary to correct the error of the movement distance due to the inclination, and the movement distance can be measured quickly with high accuracy.
本願第３，７発明によれば、計測対象が上下してカメラ高さが変化した場合でも、その高さ変化に起因する誤差を補正して、高い精度で移動距離を計測することができる。
本願第４，７発明によれば、計測対象の移動距離に加えて、姿勢データも計測することができる。
According to the third and seventh inventions of the present application, even when the measurement target moves up and down and the camera height changes, it is possible to correct the error due to the height change and measure the movement distance with high accuracy.
According to the fourth and seventh inventions of the present application, posture data can be measured in addition to the movement distance of the measurement target.
本願第５，７発明によれば、撮影カメラが撮影映像を撮影したタイミングに同期させて、カメラデータを計測するため、撮影映像とカメラデータとの時間軸が一致して、映像加工処理を効率的に行うことができる。
本願第６，７発明によれば、カメラデータに撮影カメラの画角が付加されるので、映像加工処理をより効率的に行うことができる。
According to the fifth and seventh inventions of the present application, since the camera data is measured in synchronization with the timing at which the photographing camera has photographed the photographed video, the time axes of the photographed video and the camera data coincide with each other so that the video processing process is efficient. Can be done automatically.
According to the sixth and seventh inventions of the present application, since the angle of view of the photographing camera is added to the camera data, the video processing can be performed more efficiently.
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means having the same function are denoted by the same reference numerals and description thereof is omitted.
（第１実施形態）
［カメラデータ計測装置の概略］
図１を参照して、本発明の第１実施形態に係るカメラデータ計測装置（移動距離計測装置）１００の概略について説明する。
以後の各実施形態では、計測対象を撮影カメラ２００として説明する。
(First embodiment)
[Outline of camera data measuring device]
With reference to FIG. 1, an outline of a camera data measurement device (movement distance measurement device) 100 according to the first embodiment of the present invention will be described.
In the following embodiments, the measurement target is described as the photographing camera 200.
図１（ａ）に太線で図示したカメラデータ計測装置１００は、撮影カメラ２００に装着され、この撮影カメラ２００の移動距離及び姿勢データをカメラデータとして計測するものである。このカメラデータ計測装置１００は、撮影カメラ２００が水平状態のとき、センサカメラ３０の項軸Ａｘ１が移動面（計測基準面）Ｇに垂直となるように、撮影カメラ２００の後部に装着、固定される（図４参照）。 A camera data measuring device 100 illustrated by a thick line in FIG. 1A is attached to a photographing camera 200, and measures movement distance and posture data of the photographing camera 200 as camera data. This camera data measuring device 100 is attached and fixed to the rear part of the photographing camera 200 so that the term axis Ax1 of the sensor camera 30 is perpendicular to the moving plane (measurement reference plane) G when the photographing camera 200 is in a horizontal state. (See FIG. 4).
なお、移動面Ｇとは、移動距離の計測基準となるものであり、例えば、屋外撮影であれば地面となり、屋内撮影であれば床となる。すなわち、カメラデータ計測装置１００が計測する移動距離は、この移動面Ｇ上での移動距離を表すことになる。 The moving surface G is a measurement reference for the moving distance, and is, for example, the ground for outdoor shooting and the floor for indoor shooting. That is, the moving distance measured by the camera data measuring device 100 represents the moving distance on the moving plane G.
撮影カメラ２００は、テレビ番組等の撮影映像を撮影するカメラであり、カメラマン（不図示）が肩に載せて撮影を行う一般的な肩載式のカメラである。つまり、カメラマンは、撮影カメラ２００を肩に載せて、移動面Ｇを前後左右に移動しながら撮影を行う。ここで、説明を簡易にするため、撮影カメラ２００が、ｚ軸方向のみ移動することとして説明する。 The photographic camera 200 is a camera that shoots a video image of a television program or the like, and is a general shoulder-mounted camera that is photographed by a cameraman (not shown) placed on the shoulder. That is, the photographer takes a picture while placing the photographing camera 200 on the shoulder and moving the moving plane G forward, backward, left and right. Here, in order to simplify the description, it is assumed that the photographing camera 200 moves only in the z-axis direction.
以後、図１（ｂ）に示すように、ｘ軸を左右方向とし、ｙ軸を上下方向とし、ｚ軸を前後方向とする。また、ｙ軸が回転軸となる回転方向θをパン方向とし、ｘ軸が回転軸となる回転方向φをチルト方向とし、ｚ軸が回転軸となる回転方向Ψをヨー方向とする。 Hereinafter, as shown in FIG. 1B, the x-axis is the left-right direction, the y-axis is the up-down direction, and the z-axis is the front-back direction. A rotation direction θ in which the y-axis is a rotation axis is a pan direction, a rotation direction φ in which the x-axis is a rotation axis is a tilt direction, and a rotation direction ψ in which the z-axis is a rotation axis is a yaw direction.
［カメラデータ計測装置の構成］
図２，図３を参照して、図１のカメラデータ計測装置１００の構成について説明する。
図２に示すように、カメラデータ計測装置１００は、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部（動きベクトル検出部）４０と、ＣＰＵ（Central Processing Unit）５０とを備える。
[Configuration of camera data measurement device]
The configuration of the camera data measuring apparatus 100 in FIG. 1 will be described with reference to FIGS.
As shown in FIG. 2, the camera data measuring device 100 includes a gyro sensor 10, an acceleration sensor 20, a sensor camera 30, an image processing unit (motion vector detecting unit) 40, and a CPU (Central Processing Unit) 50. Prepare.
カメラデータ計測装置１００は、基板９３の上段にジャイロセンサ１０と加速度センサ２０と画像処理部４０とが配置され、基板９３の下段にＣＰＵ５０が配置される。また、カメラデータ計測装置１００は、基板９３を挟んで画像処理部４０に対向するように、センサカメラ３０が配置される。そして、カメラデータ計測装置１００は、センサカメラ３０と画像処理部４０との間、画像処理部４０とＣＰＵ５０との間、ジャイロセンサ１０及び加速度センサ２０とＣＰＵ５０との間で信号を入出力できるように、図示を省略した回路が形成される。さらに、カメラデータ計測装置１００は、前記した各手段が配置された基板９３を、箱型の筐体９１に収納する。 In the camera data measuring apparatus 100, the gyro sensor 10, the acceleration sensor 20, and the image processing unit 40 are disposed on the upper stage of the substrate 93, and the CPU 50 is disposed on the lower stage of the substrate 93. In the camera data measuring device 100, the sensor camera 30 is arranged so as to face the image processing unit 40 with the substrate 93 interposed therebetween. The camera data measuring apparatus 100 can input and output signals between the sensor camera 30 and the image processing unit 40, between the image processing unit 40 and the CPU 50, and between the gyro sensor 10, the acceleration sensor 20, and the CPU 50. Then, a circuit not shown is formed. Furthermore, the camera data measuring apparatus 100 stores the substrate 93 on which the above-described units are arranged in a box-shaped casing 91.
また、カメラデータ計測装置１００は、センサカメラ３０のレンズ部３１を、筐体９１の底面に形成された貫通孔から突出させている。このレンズ部３１は、センサカメラ３０の撮像素子（不図示）に光を入射させるためのレンズ（不図示）が収容される。 Further, the camera data measuring device 100 projects the lens portion 31 of the sensor camera 30 from a through hole formed on the bottom surface of the housing 91. The lens unit 31 accommodates a lens (not shown) for making light incident on an image sensor (not shown) of the sensor camera 30.
図３に示すように、ジャイロセンサ１０は、パン方向ジャイロセンサ１１と、チルト方向ジャイロセンサ１３と、ヨー方向ジャイロセンサ１５とで構成される。
パン方向ジャイロセンサ１１は、カメラデータ計測装置１００及びこのカメラデータ計測装置１００が装着された撮影カメラ２００について、パン方向の角速度を計測するものである。
チルト方向ジャイロセンサ１３は、カメラデータ計測装置１００及び撮影カメラ２００について、チルト方向の角速度を計測するものである。
ヨー方向ジャイロセンサ１５は、カメラデータ計測装置１００及び撮影カメラ２００について、ヨー方向の角速度を計測するものである。
そして、ジャイロセンサ１０は、計測したパン方向、チルト方向及びヨー方向の角速度を速度データとしてＣＰＵ５０に出力する。
As shown in FIG. 3, the gyro sensor 10 includes a pan direction gyro sensor 11, a tilt direction gyro sensor 13, and a yaw direction gyro sensor 15.
The pan direction gyro sensor 11 measures the angular velocity in the pan direction of the camera data measuring device 100 and the photographing camera 200 to which the camera data measuring device 100 is attached.
The tilt direction gyro sensor 13 measures the angular velocity in the tilt direction of the camera data measuring device 100 and the photographing camera 200.
The yaw direction gyro sensor 15 measures the angular velocity in the yaw direction with respect to the camera data measuring device 100 and the photographing camera 200.
Then, the gyro sensor 10 outputs the measured angular velocities in the pan direction, the tilt direction, and the yaw direction to the CPU 50 as speed data.
加速度センサ２０は、左右方向加速度センサ２１と、上下方向加速度センサ２３と、前後方向加速度センサ２５とで構成される。
左右方向加速度センサ２１は、カメラデータ計測装置１００及びこのカメラデータ計測装置１００が装着された撮影カメラ２００について、左右方向（ｘ軸方向）の加速度を計測するものである。
上下方向加速度センサ２３は、カメラデータ計測装置１００及び撮影カメラ２００について、上下方向（ｙ軸方向）の加速度を計測するものである。
前後方向加速度センサ２５は、カメラデータ計測装置１００及び撮影カメラ２００について、前後方向（ｚ軸方向）の加速度を計測するものである。
そして、加速度センサ２０は、計測した左右方向、上下方向及び前後方向の加速度を加速度データとしてＣＰＵ５０に出力する。
The acceleration sensor 20 includes a lateral acceleration sensor 21, a vertical acceleration sensor 23, and a longitudinal acceleration sensor 25.
The left-right direction acceleration sensor 21 measures the acceleration in the left-right direction (x-axis direction) of the camera data measuring device 100 and the photographing camera 200 to which the camera data measuring device 100 is attached.
The vertical acceleration sensor 23 measures the vertical acceleration (y-axis direction) of the camera data measuring device 100 and the photographing camera 200.
The front-rear direction acceleration sensor 25 measures the acceleration in the front-rear direction (z-axis direction) for the camera data measuring device 100 and the photographing camera 200.
Then, the acceleration sensor 20 outputs the measured accelerations in the left-right direction, the up-down direction, and the front-rear direction to the CPU 50 as acceleration data.
なお、ジャイロセンサ１０及び加速度センサ２０は、一般的なＭＥＭＳ（Micro Electro Mechanical Systems）慣性センサを利用できるため、詳細な説明を省略する。このＭＥＭＳ慣性センサは、コンパクトに集積可能であり、カメラデータ計測装置１００の小型化に寄与する。 Since the gyro sensor 10 and the acceleration sensor 20 can use a general MEMS (Micro Electro Mechanical Systems) inertia sensor, detailed description is omitted. This MEMS inertial sensor can be integrated in a compact manner, and contributes to downsizing of the camera data measuring apparatus 100.
ここで、撮影カメラ２００が移動を伴う場合、加速度センサ２０の加速度データを２重積分することで移動距離を求めることも考えられる。しかし、実際に撮影を行う場合、カメラマンが滑らかなカメラワークを心がけるため、加速度データの出力レベルは、小さくなる可能性が高い。この場合、加速度データを２重積分しても、移動距離の誤差が大きくなる。そこで、カメラデータ計測装置１００は、センサカメラ３０で撮影した移動距離動画像（計測基準面動画像）を用いて、移動距離の計測を行う。 Here, when the photographing camera 200 is moved, the moving distance may be obtained by double integration of the acceleration data of the acceleration sensor 20. However, when taking a picture, since the cameraman tries to perform smooth camera work, the output level of the acceleration data is likely to be small. In this case, even if the acceleration data is double-integrated, the error of the moving distance becomes large. Therefore, the camera data measuring apparatus 100 measures the moving distance using the moving distance moving image (measurement reference plane moving image) captured by the sensor camera 30.
センサカメラ３０は、例えば、移動面Ｇの動画像である移動面動画像を撮影するＣＣＤ（Charge Coupled Device）カメラである。ここで、センサカメラ３０の光軸ＡＸ１は、図４に示すように、移動面Ｇに垂直となり、撮影カメラ２００の光軸ＡＸ２に直角に交わる。そして、センサカメラ３０は、撮影カメラ２００の位置から、一定の画角（図４の２点鎖線）で移動面Ｇを垂直方向に撮影する。従って、移動面Ｇの一部がセンサカメラ３０での撮影範囲Ｓｐとなる。その後、センサカメラ３０は、移動面Ｇが撮影された移動面動画像を画像処理部４０に出力する。 The sensor camera 30 is, for example, a CCD (Charge Coupled Device) camera that captures a moving surface moving image that is a moving image of the moving surface G. Here, as shown in FIG. 4, the optical axis AX1 of the sensor camera 30 is perpendicular to the moving plane G and intersects the optical axis AX2 of the photographing camera 200 at a right angle. Then, the sensor camera 30 images the moving surface G in the vertical direction from the position of the imaging camera 200 at a certain angle of view (two-dot chain line in FIG. 4). Therefore, a part of the moving surface G becomes the imaging range Sp with the sensor camera 30. Thereafter, the sensor camera 30 outputs a moving surface moving image obtained by photographing the moving surface G to the image processing unit 40.
画像処理部４０は、センサカメラ３０で撮影された移動面動画像が入力され、この移動面動画像から動きベクトルを検出するものである。この画像処理部４０は、図５に示すように、ブロックマッチング、勾配法等の手法により、移動面動画像Ｐから特徴点Ｆを抽出して動きベクトルＶを検出し、ＣＰＵ５０に出力する。 The image processing unit 40 receives a moving surface moving image captured by the sensor camera 30 and detects a motion vector from the moving surface moving image. As shown in FIG. 5, the image processing unit 40 extracts a feature point F from the moving surface moving image P by a method such as block matching or a gradient method, detects a motion vector V, and outputs the detected motion vector V to the CPU 50.
ここで、移動面動画像Ｐは、奥行きが殆ど変化しない、移動面Ｇでの撮影範囲Ｓｐが映し出されたフレーム画像が連続した単調な動画像となる。このため、図５に示すように、移動面動画像Ｐは、抽出した全ての特徴点Ｆが同じ動きになり、動きベクトルＶが同一になる。
なお、移動面Ｇに全く模様が存在しない場合、マーカを適当な間隔で移動面Ｇに配置することで、マーカが特徴点Ｆとして検出され、高い精度で動きベクトルＶを検出することができる。
Here, the moving surface moving image P is a monotonous moving image in which the frame images in which the imaging range Sp on the moving surface G is projected and the depth hardly changes are continuous. Therefore, as shown in FIG. 5, in the moving surface moving image P, all the extracted feature points F have the same motion and the motion vectors V are the same.
When there is no pattern on the moving plane G, the markers are detected as feature points F by arranging the markers on the moving plane G at appropriate intervals, and the motion vector V can be detected with high accuracy.
ＣＰＵ５０は、カメラデータ計測装置１００での各種演算を行うものであり、姿勢データ算出部５１と、移動距離算出部５３とを備える。ここで、ＣＰＵ５０は、ジャイロセンサ１０から速度データが入力され、加速度センサ２０から加速度データが入力され、画像処理部４０から動きベクトルＶが入力される。 The CPU 50 performs various calculations in the camera data measurement device 100 and includes an attitude data calculation unit 51 and a movement distance calculation unit 53. Here, the CPU 50 receives velocity data from the gyro sensor 10, acceleration data from the acceleration sensor 20, and a motion vector V from the image processing unit 40.
姿勢データ算出部５１は、ジャイロセンサ１０からの速度データと加速度センサ２０からの加速度データとから、撮影カメラ２００の向きを示す姿勢データを算出するものである。ここで、加速度データにより撮影カメラ２００がどちらの方向に移動しようとしたか分かる。従って、姿勢データ算出部５１は、例えば、加速度センサ２０からの加速度データに、ジャイロセンサ１０からの速度データに相乗しているクロストーク分を補正して積分処理を行う。このようにして、姿勢データ算出部５１は、パン方向、チルト方向及びヨー方向について、撮影カメラ２００の姿勢データ（Ｐθ，Ｐφ，ＰΨ）を算出する。
なお、速度データ及び加速度データから姿勢データを算出する方法は、ＭＥＭＳ慣性センサの実装に依存する一般的な処理のため、詳細な説明を省略する。
The attitude data calculation unit 51 calculates attitude data indicating the orientation of the photographing camera 200 from the speed data from the gyro sensor 10 and the acceleration data from the acceleration sensor 20. Here, it can be understood from which direction the photographing camera 200 is to move by the acceleration data. Therefore, for example, the posture data calculation unit 51 performs integration processing by correcting the acceleration data from the acceleration sensor 20 for crosstalk that is synergistic with the velocity data from the gyro sensor 10. In this way, the attitude data calculation unit 51 calculates the attitude data (P θ , P φ , P Ψ ) of the photographing camera 200 for the pan direction, the tilt direction, and the yaw direction.
Note that the method for calculating the attitude data from the velocity data and the acceleration data is a general process that depends on the implementation of the MEMS inertial sensor, and thus detailed description thereof is omitted.
移動距離算出部５３は、センサカメラ３０の画角及びカメラ高さからセンサカメラによる撮影範囲を求め、算出した撮影範囲に動きベクトルＶの大きさと画面サイズとの比を乗じることで、移動距離を算出するものである。 The moving distance calculation unit 53 obtains the shooting range by the sensor camera from the angle of view and the camera height of the sensor camera 30, and multiplies the calculated shooting range by the ratio of the magnitude of the motion vector V and the screen size to obtain the moving distance. Is to be calculated.
以下、図６を参照して、移動距離の計算について、２つの具体例をあげて説明する。
この図６では、説明を分かり易くするため、センサカメラ３０の画面サイズと、後記するセンサカメラ３０の画角ξと、カメラ高さＬと、動きベクトルＶの大きさｃとの関係を模式的に図示した。
Hereinafter, the calculation of the movement distance will be described with reference to FIG. 6 with two specific examples.
In FIG. 6, for easy understanding, the relationship among the screen size of the sensor camera 30, the angle of view ξ of the sensor camera 30, the camera height L, and the magnitude c of the motion vector V is described schematically. As shown in the figure.
ここで、移動距離算出部５３は、横の画素数ａ×縦の画素数ｂというように、センサカメラ３０の画面サイズが画素単位で予め設定される。
また、センサカメラ３０がズームしないので、移動距離算出部５３は、センサカメラ３０の画角ξが予め設定される。この画角ξは、撮影カメラ２００の移動方向（図１のｚ軸方向）の画角である。
さらに、移動距離算出部５３は、センサカメラ３０（図６では“●”で図示）から移動面Ｇまでのカメラ高さＬが予め設定される。例えば、カメラ高さＬは、カメラマンの肩の高さに設定される。
Here, the moving distance calculation unit 53 presets the screen size of the sensor camera 30 in units of pixels, such as the number of horizontal pixels a × the number of vertical pixels b.
Further, since the sensor camera 30 does not zoom, the movement distance calculation unit 53 sets the angle of view ξ of the sensor camera 30 in advance. This angle of view ξ is an angle of view in the moving direction of the photographing camera 200 (z-axis direction in FIG. 1).
Further, the moving distance calculation unit 53 is preset with a camera height L from the sensor camera 30 (shown by “●” in FIG. 6) to the moving surface G. For example, the camera height L is set to the height of the cameraman's shoulder.
＜第１例：撮影カメラの傾きを補正しない場合＞
移動距離算出部５３は、動きベクトルＶの大きさｃを画素単位に換算した後、下記の式（１）を用いて、移動距離Ｔを算出する。つまり、式（１）において、右辺第１項｛２Ｌ・ｔａｎ（ξ／２）｝が、画角ξ及びカメラ高さＬから撮影範囲Ｓｐ（図４）を求めることを表している。
Ｔ＝｛２Ｌ・ｔａｎ（ξ／２）｝・ｃ／ａ ・・・式（１）
<First example: When the camera camera tilt is not corrected>
The movement distance calculation unit 53 calculates the movement distance T using the following equation (1) after converting the magnitude c of the motion vector V into a pixel unit. That is, in Expression (1), the first term on the right side {2L · tan (ξ / 2)} represents that the shooting range Sp (FIG. 4) is obtained from the angle of view ξ and the camera height L.
T = {2L · tan (ξ / 2)} · c / a (1)
＜第２例：撮影カメラの傾きを補正する場合＞
図７に示すように、撮影カメラ２００がチルト方向に傾いた場合、計測した移動距離Ｔには誤差が発生することになる。そこで、以下で説明するように、移動距離算出部５３は、移動面Ｇに対して傾いた状態で算出された移動距離を、移動面Ｇ上での移動距離となるように補正する。
<Second example: When correcting the tilt of the photographing camera>
As shown in FIG. 7, when the photographing camera 200 is tilted in the tilt direction, an error occurs in the measured movement distance T. Therefore, as will be described below, the movement distance calculation unit 53 corrects the movement distance calculated in a state of being inclined with respect to the movement surface G so as to be the movement distance on the movement surface G.
ここで、加速度センサ２０が計測した加速度データには、重力加速度ｇが含まれる。この重力加速度ｇは、垂直下向き（ｙ軸方向下向き）に表れる。また、移動面Ｇに対するチルト方向の傾き量（傾斜角度）をηとし、撮影カメラ２００が左右方向（ｘ軸方向）に移動しないこととする。この場合、左右方向加速度センサ２１が計測した左右方向の加速度は、重力加速度の分解成分ｇ・ｓｉｎηとなる。従って、移動距離算出部５３は、左右方向加速度センサ２１が計測した重力加速度の分解成分ｇ・ｓｉｎηを重力加速度ｇで除算した値から、カメラデータ計測装置１００の傾き量を逆算できる。 Here, the acceleration data measured by the acceleration sensor 20 includes the gravitational acceleration g. This gravitational acceleration g appears vertically downward (downward in the y-axis direction). In addition, it is assumed that the tilt amount (tilt angle) in the tilt direction with respect to the moving surface G is η and the photographing camera 200 does not move in the left-right direction (x-axis direction). In this case, the lateral acceleration measured by the lateral acceleration sensor 21 is a decomposition component g · sin η of gravitational acceleration. Therefore, the moving distance calculation unit 53 can reversely calculate the tilt amount of the camera data measuring device 100 from the value obtained by dividing the gravitational acceleration decomposition component g · sin η measured by the lateral acceleration sensor 21 by the gravitational acceleration g.
そして、図７に示すように、撮影カメラ２００の光軸ＡＸ２が移動面Ｇに対してチルト方向にη傾くと、カメラデータ計測装置１００も移動面Ｇに対してチルト方向にηだけ傾き、センサカメラ３０の光軸ＡＸ１も移動面Ｇの垂線に対してηだけ傾く。つまり、移動面Ｇに対するカメラデータ計測装置１００の傾きは、移動面Ｇの垂線に対するセンサカメラ３０の光軸ＡＸ１の傾きと等しくなる。 Then, as shown in FIG. 7, when the optical axis AX2 of the photographing camera 200 is tilted by η with respect to the moving plane G in the tilt direction, the camera data measuring device 100 is also tilted by η with respect to the moving plane G in the tilt direction. The optical axis AX1 of the camera 30 is also inclined by η with respect to the normal of the moving surface G. That is, the inclination of the camera data measuring device 100 with respect to the moving surface G is equal to the inclination of the optical axis AX1 of the sensor camera 30 with respect to the perpendicular of the moving surface G.
以上より、撮影カメラ２００を支持する回転中心からセンサカメラ３０までの長さをＳとすると、移動距離算出部５３は、下記の式（２）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２Ｌ・（１＋Ｓ・ｔａｎη）・ｔａｎ（ξ／２）｝・ｃ／ａ／ｃｏｓη
・・・式（２）
From the above, assuming that the length from the rotation center supporting the photographing camera 200 to the sensor camera 30 is S, the movement distance calculation unit 53 calculates the movement distance T using the following equation (2).
T = {2L · (1 + S · tan η) · tan (ξ / 2)} · c / a / cos η
... Formula (2)
その後、ＣＰＵ５０は、姿勢データ算出部５１が算出した姿勢データと、第１例又は第２例の手法で算出した移動距離とを、カメラデータとして出力する。
この第２例によれば、カメラデータ計測装置１００は、移動面Ｇに対してセンサカメラ３０が傾いた状態で移動面動画像Ｐを撮影した場合でも、その傾きに起因する誤差を補正して、移動距離を高い精度で計測することができる。
Thereafter, the CPU 50 outputs the posture data calculated by the posture data calculation unit 51 and the movement distance calculated by the method of the first example or the second example as camera data.
According to the second example, the camera data measuring device 100 corrects an error caused by the tilt even when the moving surface moving image P is captured with the sensor camera 30 tilted with respect to the moving surface G. The moving distance can be measured with high accuracy.
なお、第１例，第２例では、撮影カメラ２００が前後方向（ｚ軸方向）に移動することとして説明したが、左右方向（ｘ軸方向）に移動した場合でも移動距離Ｔを算出できる。具体的には、動きベクトルＶが図６で縦方向に向くため、式（１）において、横の画素数ａを縦の画素数ｂに置き換えればよい。
また、第２例では、チルト方向の傾きを補正することとして説明したが、パン方向及びヨー方向の傾きも同様に補正できる。
In the first and second examples, it has been described that the photographing camera 200 moves in the front-rear direction (z-axis direction). However, the movement distance T can be calculated even when it moves in the left-right direction (x-axis direction). Specifically, since the motion vector V is oriented in the vertical direction in FIG. 6, the horizontal pixel number a may be replaced with the vertical pixel number b in Equation (1).
In the second example, the tilt direction tilt is corrected. However, the pan direction and yaw direction tilts can be similarly corrected.
［カメラデータ計測装置の動作］
図８を参照して、図３のカメラデータ計測装置１００の動作について説明する（適宜図３参照）。
カメラデータ計測装置１００は、ジャイロセンサ１０によって、速度データを計測する（ステップＳ１）。
カメラデータ計測装置１００は、加速度センサ２０によって、加速度データを計測する（ステップＳ２）。
[Operation of camera data measurement device]
With reference to FIG. 8, the operation of the camera data measuring apparatus 100 of FIG. 3 will be described (see FIG. 3 as appropriate).
The camera data measuring device 100 measures speed data with the gyro sensor 10 (step S1).
The camera data measuring device 100 measures acceleration data with the acceleration sensor 20 (step S2).
カメラデータ計測装置１００は、姿勢データ算出部５１によって、速度データ及び加速度データから姿勢データを算出する（ステップＳ３）。
カメラデータ計測装置１００は、センサカメラ３０によって、移動面Ｇを撮影する（ステップＳ４）。
In the camera data measuring device 100, the posture data calculation unit 51 calculates posture data from the velocity data and the acceleration data (step S3).
The camera data measuring device 100 images the moving surface G with the sensor camera 30 (step S4).
カメラデータ計測装置１００は、画像処理部４０によって、センサカメラ３０で撮影された移動面動画像Ｐから動きベクトルＶを検出する（ステップＳ５）。
カメラデータ計測装置１００は、移動距離算出部５３によって、前記した式（１）によって、移動距離を算出する（ステップＳ６）。
カメラデータ計測装置１００は、ＣＰＵ５０によって、姿勢データと、移動距離とを、カメラデータとして出力する（ステップＳ７）。
In the camera data measuring apparatus 100, the image processing unit 40 detects the motion vector V from the moving surface moving image P photographed by the sensor camera 30 (step S5).
In the camera data measuring apparatus 100, the movement distance calculation unit 53 calculates the movement distance by the above-described equation (1) (step S6).
The camera data measuring apparatus 100 outputs the posture data and the movement distance as camera data by the CPU 50 (step S7).
以上のように、本発明の第１実施形態に係るカメラデータ計測装置１００は、センサカメラ３０が小型軽量で専用の大型装置を必要としないため、機動性に優れ、カメラマンによる手動撮影の場合や、移動面Ｇが平坦でない場合でも、カメラデータを容易に計測することができる。さらに、カメラデータ計測装置１００は、画像全体が同じ動きになる移動面動画像Ｐから動きベクトルＶを検出するため、高度で複雑な画像処理を行う必要がなく、高い精度でカメラデータを計測することができる。 As described above, the camera data measuring device 100 according to the first embodiment of the present invention is excellent in mobility because the sensor camera 30 is small and light and does not require a dedicated large device. Even when the moving surface G is not flat, the camera data can be easily measured. Furthermore, since the camera data measuring apparatus 100 detects the motion vector V from the moving plane moving image P in which the entire image has the same motion, it is not necessary to perform advanced and complicated image processing, and measures the camera data with high accuracy. be able to.
そして、このカメラデータを用いれば、撮影映像にＣＧや他の映像を合成する、撮影映像の一部に追随して映像効果を加える等の映像加工処理が可能になり、映像表現の幅を拡大することができる。これによって、カメラデータ計測装置１００のユーザは、映画のような大スペクタクルな映像をテレビ番組として容易に制作できるようになり、迫力があって分かり易い映像を視聴者に提供することができる。 Using this camera data, video processing such as combining CG and other videos with the shot video and adding video effects following part of the shot video becomes possible, expanding the range of video expression. can do. Thus, the user of the camera data measuring apparatus 100 can easily produce a large spectacle video such as a movie as a television program, and can provide a powerful and easy-to-understand video to the viewer.
さらに、個人情報保護の観点からニュース番組等において、映像の一部にぼかしを加えて人物等の判別を困難にする映像加工処理を施す機会も増加している。このような場合、カメラデータ計測装置１００のユーザは、その映像加工処理を効率的に行うことができる。 In addition, from the viewpoint of personal information protection, there are increasing opportunities to perform video processing processing that makes it difficult to discriminate a person or the like by blurring a part of the video in a news program or the like. In such a case, the user of the camera data measuring apparatus 100 can efficiently perform the video processing process.
（第２実施形態）
［カメラデータ計測装置の構成］
図９，図１０を参照して、本発明の第２実施形態に係るカメラデータ計測装置１００Ｂの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｂは、センサカメラ３０の傾きを補正する代わりに、センサカメラ３０を移動面Ｇに正対させる点が第１実施形態と異なる。
(Second Embodiment)
[Configuration of camera data measurement device]
With reference to FIGS. 9 and 10, the configuration of the camera data measuring apparatus 100B according to the second embodiment of the present invention will be described while referring to differences from the first embodiment.
The camera data measuring device 100B is different from the first embodiment in that the sensor camera 30 faces the moving surface G instead of correcting the tilt of the sensor camera 30.
図９に示すように、カメラデータ計測装置１００Ｂは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｂと、駆動モータ（駆動手段）６１と、第１プーリ６２と、ベルト６３と、第２プーリ６４と、保持部材６５と、軸受６６とを備える。 As shown in FIG. 9, the camera data measuring device 100B includes a gyro sensor 10, an acceleration sensor 20, a sensor camera 30, an image processing unit 40, a CPU 50B, a drive motor (drive means) 61, and a first pulley. 62, a belt 63, a second pulley 64, a holding member 65, and a bearing 66.
駆動モータ６１は、例えば、モータシャフト（不図示）を有する一般的な回転モータである。この駆動モータ６１は、筐体９１の内壁中央部に配置され、モータシャフトの先端に第１プーリ６２が固定されている。また、第１プーリ６２は、後記する第２プーリ６４と並んでおり、ベルト６３によって第２プーリ６４と接続されている。また、第２プーリ６４は、センサカメラ３０と保持部材６５との間に配置され、中心軸を挿通する支持シャフト（不図示）に固定される。 The drive motor 61 is a general rotary motor having a motor shaft (not shown), for example. The drive motor 61 is disposed at the center of the inner wall of the casing 91, and a first pulley 62 is fixed to the tip of the motor shaft. The first pulley 62 is aligned with a second pulley 64 described later, and is connected to the second pulley 64 by a belt 63. The second pulley 64 is disposed between the sensor camera 30 and the holding member 65 and is fixed to a support shaft (not shown) that passes through the central axis.
保持部材６５は、互いに対向するように筐体９１の内壁に２個配置される。また、保持部材６５は、それぞれ、同一軸上に軸受６６が形成される。また、軸受６６は、センサカメラ３０から保持部材６５に向けて延長された支持シャフトの先端が挿入される。このようにして、センサカメラ３０は、軸受６６を介して、チルト方向に回転可能に支持される。 Two holding members 65 are arranged on the inner wall of the casing 91 so as to face each other. The holding members 65 are each formed with a bearing 66 on the same axis. In addition, the tip of the support shaft extended from the sensor camera 30 toward the holding member 65 is inserted into the bearing 66. In this way, the sensor camera 30 is supported via the bearing 66 so as to be rotatable in the tilt direction.
そして、駆動モータ６１は、後記するモータ制御部５５からの制御信号に基づいて、センサカメラ３０をチルト方向に駆動する。具体的には、駆動モータ６１は、制御信号が入力されると、この制御信号の駆動量だけ、第１プーリ６２を回転させる。すると、第１プーリ６２の回転運動がベルト６３を介して第２プーリ６４に伝達され、第２プーリ６４に伝達される。そして、第２プーリ６４の回転に伴って、センサカメラ３０は、その光軸ＡＸ１が移動面Ｇに対して垂直となるように、チルト方向に駆動される。 The drive motor 61 drives the sensor camera 30 in the tilt direction based on a control signal from a motor control unit 55 described later. Specifically, when a control signal is input, the drive motor 61 rotates the first pulley 62 by the drive amount of this control signal. Then, the rotational motion of the first pulley 62 is transmitted to the second pulley 64 via the belt 63 and is transmitted to the second pulley 64. As the second pulley 64 rotates, the sensor camera 30 is driven in the tilt direction so that the optical axis AX1 is perpendicular to the moving surface G.
図１０に示すように、ＣＰＵ５０は、姿勢データ算出部５１と、移動距離算出部５３と、モータ制御部（駆動手段制御部）５５とを備える。
モータ制御部５５は、センサカメラ３０の光軸ＡＸ１が移動面Ｇに対して垂直となるように駆動モータ６１の向きを制御するものである。このモータ制御部５５は、前記した第２例と同様、加速度センサ２０で計測された加速度データから、移動面Ｇの垂線に対するセンサカメラ３０の光軸ＡＸ１の傾き量を求める。そして、モータ制御部５５は、この傾き量から、センサカメラ３０の光軸ＡＸ１を移動面Ｇに対して垂直に向けるために必要な駆動モータ６１の駆動量を算出する。例えば、モータ制御部５５は、センサカメラ３０の傾き量ごとに、駆動モータ６１の駆動量を対応付けた駆動量テーブルを参照して、この駆動量を求めることができる。そして、モータ制御部５５は、この駆動量を示す制御信号を生成して駆動モータ６１に出力する。
As shown in FIG. 10, the CPU 50 includes an attitude data calculation unit 51, a movement distance calculation unit 53, and a motor control unit (driving means control unit) 55.
The motor control unit 55 controls the direction of the drive motor 61 so that the optical axis AX1 of the sensor camera 30 is perpendicular to the moving surface G. As in the second example, the motor control unit 55 obtains the amount of inclination of the optical axis AX1 of the sensor camera 30 with respect to the perpendicular of the moving surface G from the acceleration data measured by the acceleration sensor 20. Then, the motor control unit 55 calculates the drive amount of the drive motor 61 necessary for directing the optical axis AX1 of the sensor camera 30 perpendicularly to the moving surface G from the tilt amount. For example, the motor control unit 55 can obtain the drive amount by referring to a drive amount table in which the drive amount of the drive motor 61 is associated with each tilt amount of the sensor camera 30. Then, the motor control unit 55 generates a control signal indicating this drive amount and outputs it to the drive motor 61.
以上のように、本発明の第２実施形態に係るカメラデータ計測装置１００Ｂは、センサカメラ３０が、常に、垂直方向から移動面Ｇを撮影することになる。このため、カメラデータ計測装置１００Ｂは、センサカメラ３０の傾きに起因する誤差を補正する必要がなく、カメラデータを高い精度で素早く計測することができる。 As described above, in the camera data measurement device 100B according to the second embodiment of the present invention, the sensor camera 30 always images the moving surface G from the vertical direction. For this reason, the camera data measuring device 100B does not need to correct an error caused by the tilt of the sensor camera 30, and can quickly measure the camera data with high accuracy.
なお、第２実施形態では、撮影カメラ２００をヨー方向に故意に回転させて撮影することが少ないため、ヨー方向の傾きに起因する誤差を考慮していない。しかし、本発明は、チルト方向と同様の手法により、ヨー方向の傾きに起因する誤差を補正することができる。 Note that in the second embodiment, since there are few cases where the photographing camera 200 is intentionally rotated in the yaw direction for photographing, errors due to the inclination in the yaw direction are not taken into consideration. However, according to the present invention, errors caused by the tilt in the yaw direction can be corrected by a method similar to that in the tilt direction.
なお、第２実施形態では、図９のベルト駆動機構を一例として説明したが、本発明は、これに限定されない。例えば、本発明は、ラック＆ピニオン、カム機構、ダイレクトドライブ等の駆動機構を適用することもできる。 In the second embodiment, the belt driving mechanism of FIG. 9 has been described as an example, but the present invention is not limited to this. For example, a drive mechanism such as a rack and pinion, a cam mechanism, or a direct drive can be applied to the present invention.
なお、第２実施形態では、駆動手段として、回転モータ（駆動モータ６１）を説明したが、本発明は、これに限定されない。例えば、本発明は、ボイスコイルモータ、圧電素子等の駆動手段を適用することもできる。 In the second embodiment, the rotation motor (drive motor 61) has been described as the drive means, but the present invention is not limited to this. For example, the present invention can be applied to a driving means such as a voice coil motor or a piezoelectric element.
なお、第２実施形態では、カメラデータ計測装置１００Ｂの動作が、センサカメラ３０の光軸ＡＸ１を移動面Ｇに対して垂直に向けるように制御する以外、図８と同様のため、詳細な説明を省略した。
また、以後の実施形態においても、第２実施形態と同様、動作の説明を省略する。
In the second embodiment, the operation of the camera data measuring device 100B is the same as that in FIG. 8 except that the optical axis AX1 of the sensor camera 30 is controlled to be perpendicular to the moving plane G. Was omitted.
In the following embodiments, the description of the operation is omitted as in the second embodiment.
（第３実施形態）
［カメラデータ計測装置の構成］
図１１〜図１３を参照して、本発明の第３実施形態に係るカメラデータ計測装置１００Ｃの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｃは、撮影カメラ２００が上下してカメラ高さＬが変化した場合、その変化量を反映させてカメラデータを計測する点が、第１実施形態と異なる。
(Third embodiment)
[Configuration of camera data measurement device]
With reference to FIGS. 11 to 13, the configuration of a camera data measurement apparatus 100C according to the third embodiment of the present invention will be described while referring to differences from the first embodiment.
The camera data measuring device 100C is different from the first embodiment in that, when the photographing camera 200 moves up and down and the camera height L changes, the camera data is measured by reflecting the change amount.
図１１に示すように、撮影カメラ２００は、その光軸ＡＸ２が移動面Ｇに平行な状態で、変化量ΔＬだけ上方向に移動した場合を考える。このとき、撮影カメラ２００と共に、センサカメラ３０が変化量ΔＬだけ上方向に移動するので、その撮影範囲Ｓｐは広くなる。この場合、カメラデータ計測装置１００Ｃは、前記した式（１）又は式（２）において、“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えて計算することになる。 As shown in FIG. 11, the imaging camera 200 considers a case where the optical axis AX2 is moved upward by a change amount ΔL while the optical axis AX2 is parallel to the moving surface G. At this time, since the sensor camera 30 moves upward by the change amount ΔL together with the photographing camera 200, the photographing range Sp becomes wide. In this case, the camera data measuring apparatus 100C calculates “L” by “(L + ΔL)” in the above formula (1) or formula (2).
図１２に示すように、カメラデータ計測装置１００Ｃは、図３のカメラデータ計測装置１００と同一構成の計測部１１０に、センサカメラ３０と同じ高さで移動面Ｇを向くように測距計７０（変化量計測部）を取り付けたものである。 As shown in FIG. 12, the camera data measuring device 100 </ b> C is provided with a rangefinder 70 that faces the measuring plane 110 having the same configuration as the camera data measuring device 100 of FIG. 3 and faces the moving surface G at the same height as the sensor camera 30. (Change amount measuring unit) is attached.
測距計７０は、例えば、センサカメラ３０から移動面Ｇまでの距離（カメラ高さ）を計測するレーザ測距計である。この場合、測距計７０は、カメラ高さＬが、移動距離算出部５３と同じ値で予め設定される。そして、測距計７０は、移動面Ｇにレーザ光Ｌａを照射し、移動面Ｇで反射されるレーザ光Ｌａの位相の変化から、距離の測定を行う。その後、測距計７０は、測定した距離とカメラ高さＬとの差を、変化量ΔＬとして計測部１１０（ＣＰＵ５０Ｃ）に出力する。 The rangefinder 70 is, for example, a laser rangefinder that measures the distance (camera height) from the sensor camera 30 to the moving surface G. In this case, the distance meter 70 has the camera height L set in advance with the same value as that of the movement distance calculation unit 53. Then, the rangefinder 70 irradiates the moving surface G with the laser light La, and measures the distance from the change in the phase of the laser light La reflected by the moving surface G. Thereafter, the rangefinder 70 outputs the difference between the measured distance and the camera height L to the measurement unit 110 (CPU 50C) as a change amount ΔL.
なお、図１２では、説明を分かり易くするため、撮影カメラ２００の図示を省略すると共に、レーザ光Ｌａが移動面Ｇに対して斜めに照射されるように図示した。従って、測距計７０は、移動面Ｇに対して垂直にレーザ光Ｌａを照射してもよい。 In FIG. 12, for the sake of easy understanding, the illustration of the photographing camera 200 is omitted, and the laser beam La is illustrated as being obliquely irradiated to the moving surface G. Therefore, the rangefinder 70 may irradiate the laser beam La perpendicularly to the moving surface G.
図１３に示すように、カメラデータ計測装置１００Ｃは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｃと、測距計７０とを備える。 As illustrated in FIG. 13, the camera data measurement device 100C includes a gyro sensor 10, an acceleration sensor 20, a sensor camera 30, an image processing unit 40, a CPU 50C, and a rangefinder 70.
ＣＰＵ５０Ｃは、姿勢データ算出部５１と、移動距離算出部５３Ｃとを備える。ここで、ＣＰＵ５０Ｃは、速度データと、加速度データと、動きベクトルＶとに加え、測距計７０から変化量ΔＬが入力される。 The CPU 50C includes an attitude data calculation unit 51 and a movement distance calculation unit 53C. Here, the CPU 50 </ b> C receives the change amount ΔL from the rangefinder 70 in addition to the speed data, the acceleration data, and the motion vector V.
移動距離算出部５３Ｃは、変化量ΔＬをカメラ高さＬに加算した後、前記した第１例又は第２例の手法によって移動距離Ｔを算出するものである。
つまり、撮影カメラ２００の傾きを補正しない場合、移動距離算出部５３Ｃは、式（１）の“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えた下記の式（３）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２（Ｌ＋ΔＬ）・ｔａｎ（ξ／２）｝・ｃ／ａ ・・・式（３）
The movement distance calculation unit 53C calculates the movement distance T by the method of the first example or the second example described above after adding the change amount ΔL to the camera height L.
That is, when the inclination of the photographing camera 200 is not corrected, the moving distance calculation unit 53C uses the following equation (3) in which “L” in equation (1) is replaced with “(L + ΔL)” to calculate the moving distance T. calculate.
T = {2 (L + ΔL) · tan (ξ / 2)} · c / a (3)
また、撮影カメラの傾きを補正する場合、移動距離算出部５３Ｃは、式（２）の“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えた下記の式（４）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２（Ｌ＋ΔＬ）・（１＋Ｓ・ｔａｎη）・ｔａｎ（ξ／２）｝・ｃ／ａ／ｃｏｓη
・・・式（４）
When correcting the tilt of the photographing camera, the moving distance calculation unit 53C calculates the moving distance T by using the following equation (4) in which “L” in equation (2) is replaced with “(L + ΔL)”. To do.
T = {2 (L + ΔL) · (1 + S · tan η) · tan (ξ / 2)} · c / a / cos η
... Formula (4)
以上のように、本発明の第３実施形態に係るカメラデータ計測装置１００Ｃは、撮影カメラ２００が上下してカメラ高さＬが変化した場合でも、その変化量ΔＬを反映させて、カメラデータを高い精度で計測することができる。 As described above, the camera data measuring apparatus 100C according to the third embodiment of the present invention reflects the change amount ΔL and reflects the camera data even when the camera height L changes due to the shooting camera 200 moving up and down. It can be measured with high accuracy.
なお、第３実施形態では、撮影カメラ２００が上方向に移動した場合を説明したが、本発明は、下方向の移動にも適用することができる。例えば、撮影カメラ２００が下方向に変化量ΔＬだけ移動すると、その撮影範囲Ｓｐは狭くなる。この場合、移動距離算出部５３Ｃは、カメラ高さＬから変化量ΔＬを減算した後、前記した第１例又は第２例の手法によって移動距離を算出する。つまり、移動距離算出部５３Ｃは、式（１）又は式（２）の“Ｌ”を“（Ｌ−ΔＬ）”に置き換えて、移動距離を算出する。 In the third embodiment, the case where the photographing camera 200 moves upward has been described, but the present invention can also be applied to downward movement. For example, when the photographing camera 200 moves downward by the change amount ΔL, the photographing range Sp becomes narrow. In this case, the movement distance calculation unit 53C calculates the movement distance by the method of the first example or the second example described above after subtracting the change amount ΔL from the camera height L. That is, the movement distance calculation unit 53C calculates the movement distance by replacing “L” in Expression (1) or Expression (2) with “(L−ΔL)”.
なお、第３実施形態では、測距計７０をレーザ測距計として説明したが、本発明は、これに限定されない。例えば、本発明は、レンジファインダや超音波測距計を測距計７０として利用することもできる。 In the third embodiment, the rangefinder 70 has been described as a laser rangefinder, but the present invention is not limited to this. For example, in the present invention, a range finder or an ultrasonic range finder can be used as the range finder 70.
なお、第３実施形態では、変化量計測部として測距計７０を説明したが、本発明は、これに限定されない。例えば、本発明は、加速度センサ２０を変化量計測部として、加速度データで変化量ΔＬを計測することもできる。 In the third embodiment, the rangefinder 70 is described as the change amount measuring unit, but the present invention is not limited to this. For example, in the present invention, the change amount ΔL can be measured by acceleration data using the acceleration sensor 20 as a change amount measurement unit.
（第４実施形態）
［カメラデータ計測装置の構成］
図１４を参照して、本発明の第４実施形態に係るカメラデータ計測装置１００Ｄの構成について、第１実施形態と異なる点を説明する。
(Fourth embodiment)
[Configuration of camera data measurement device]
With reference to FIG. 14, the difference of the configuration of the camera data measurement device 100 </ b> D according to the fourth embodiment of the present invention from the first embodiment will be described.
カメラデータは、主に、撮影映像の合成に利用されるものである。このため、撮影映像を構成する１枚１枚のフレーム画像ごとに、カメラデータが必要となる。その一方、ジャイロセンサ１０及び加速度センサ２０は、撮影映像の合成を意識したものでなく、速度データ及び加速度データの計測タイミングが、各フレーム画像に同期していないことが多い。そこで、カメラデータ計測装置１００Ｄは、映像加工処理を確実に行うため、撮影映像の同期信号（垂直同期信号）ごとに、カメラデータを計測する。 The camera data is mainly used for synthesizing captured images. For this reason, camera data is required for each frame image constituting the captured video. On the other hand, the gyro sensor 10 and the acceleration sensor 20 are not conscious of the composition of the captured video, and the measurement timing of the speed data and the acceleration data is often not synchronized with each frame image. Therefore, the camera data measuring device 100D measures the camera data for each synchronization signal (vertical synchronization signal) of the captured image in order to reliably perform the image processing process.
具体的には、カメラデータ計測装置１００Ｄは、図１４に示すように、撮影カメラ２００から同期信号が入力される。そして、ＣＰＵ５０Ｄは、ジャイロセンサ１０からの速度データと、加速度センサ２０からの加速度データとを、同期信号が入力されたタイミングでサンプリングする。そして、ＣＰＵ５０Ｄは、サンプリングした速度データ及び加速度データと、画像処理部４０からの動きベクトルＶとを用いて、同期信号ごとにカメラデータを計測する。
なお、同期信号を用いる以外、カメラデータ計測装置１００Ｄの各手段は、図３と同様のため、詳細な説明を省略する。
Specifically, the camera data measuring device 100D receives a synchronization signal from the photographing camera 200 as shown in FIG. Then, the CPU 50D samples the speed data from the gyro sensor 10 and the acceleration data from the acceleration sensor 20 at the timing when the synchronization signal is input. Then, the CPU 50D uses the sampled speed data and acceleration data and the motion vector V from the image processing unit 40 to measure camera data for each synchronization signal.
Except for using the synchronization signal, each unit of the camera data measurement device 100D is the same as that in FIG.
以上のように、本発明の第４実施形態に係るカメラデータ計測装置１００Ｄは、計測したカメラデータが各フレーム画像に同期するため、映像加工処理を効率的に行うことができる。 As described above, the camera data measurement device 100D according to the fourth embodiment of the present invention can efficiently perform video processing because the measured camera data is synchronized with each frame image.
なお、第４実施形態では、同期信号ごとにカメラデータを計測する例で説明したが、本発明は、これに限定されない。例えば、カメラデータ計測装置１００Ｄは、ジャイロセンサ１０及び加速度センサ２０の計測周波数を、撮影映像の同期信号よりも十分に速い周波数とする。そして、カメラデータ計測装置１００Ｄは、この計測周波数でカメラデータを計測し、各フレーム画像の撮影時間に一致するカメラデータ、又は、この撮影時間に最も近いカメラデータを出力してもよい。 In the fourth embodiment, an example in which camera data is measured for each synchronization signal has been described. However, the present invention is not limited to this. For example, the camera data measurement device 100D sets the measurement frequency of the gyro sensor 10 and the acceleration sensor 20 to a frequency sufficiently faster than the synchronization signal of the captured video. The camera data measuring device 100D may measure camera data at this measurement frequency and output camera data that matches the shooting time of each frame image or camera data that is closest to the shooting time.
（第５実施形態）
［カメラデータ計測装置の構成］
図１５，図１６を参照して、本発明の第５実施形態に係るカメラデータ計測装置１００Ｅの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｅは、撮影カメラ２００の撮影画角を算出して、カメラデータに付加する点が、第１実施形態と大きく異なる。
(Fifth embodiment)
[Configuration of camera data measurement device]
With reference to FIGS. 15 and 16, the configuration of a camera data measuring apparatus 100E according to the fifth embodiment of the present invention will be described while referring to differences from the first embodiment.
The camera data measuring device 100E is greatly different from the first embodiment in that the camera angle of view of the camera 200 is calculated and added to the camera data.
図１５に示すように、撮影カメラ２００は、回転リング２２０を回転させることで、撮影画角を変更可能なズームレンズ２１０を備える。この撮影カメラ２００は、回転リング２２０にエンコーダ８０が取り付けられている。 As shown in FIG. 15, the photographing camera 200 includes a zoom lens 210 that can change a photographing angle of view by rotating a rotating ring 220. In the photographing camera 200, an encoder 80 is attached to a rotating ring 220.
エンコーダ８０は、回転リング２２０のリング回転量を計測するものである。このエンコーダ８０は、ケーブル８２を介して計測部１１０に接続されており、計測したリング回転量を計測部１１０（図１６のＣＰＵ５０Ｅ）に出力する。 The encoder 80 measures the amount of ring rotation of the rotary ring 220. The encoder 80 is connected to the measurement unit 110 via the cable 82, and outputs the measured ring rotation amount to the measurement unit 110 (CPU 50E in FIG. 16).
図１６に示すように、カメラデータ計測装置１００Ｅは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｅと、エンコーダ８０とを備える。 As shown in FIG. 16, the camera data measurement device 100E includes a gyro sensor 10, an acceleration sensor 20, a sensor camera 30, an image processing unit 40, a CPU 50E, and an encoder 80.
ＣＰＵ５０Ｅは、姿勢データ算出部５１と、移動距離算出部５３と、画角算出部５７とを備える。ここで、ＣＰＵ５０Ｅは、速度データと、加速度データと、動きベクトルＶとに加え、エンコーダ８０からリング回転量が入力される。 The CPU 50E includes an attitude data calculation unit 51, a movement distance calculation unit 53, and an angle of view calculation unit 57. Here, the CPU 50E receives the ring rotation amount from the encoder 80 in addition to the speed data, the acceleration data, and the motion vector V.
画角算出部５７は、リング回転量と、撮影カメラ２００の撮影画角とを対応付けた撮影画角テーブルが予め設定され、この撮影画角テーブルを参照して、ＣＰＵ５０Ｅに入力されたリング回転量から撮影カメラ２００の撮影画角を算出するものである。言い換えるなら、画角算出部５７は、入力されたリング回転量に対応付けられた撮影カメラ２００の撮影画角を、撮影画角テーブルから読み出すことになる。 The angle-of-view calculation unit 57 sets in advance a shooting angle-of-view table in which the ring rotation amount and the shooting angle of view of the shooting camera 200 are associated, and the ring rotation input to the CPU 50E with reference to the shooting angle-of-view table. The photographing field angle of the photographing camera 200 is calculated from the amount. In other words, the angle-of-view calculation unit 57 reads out the shooting angle of view of the shooting camera 200 associated with the input ring rotation amount from the shooting angle-of-view table.
その後、ＣＰＵ５０Ｅは、画角算出部５７が算出した撮影画角を、カメラデータに付加して出力する。
以上のように、本発明の第５実施形態に係るカメラデータ計測装置１００Ｅは、移動距離及び姿勢データに加えて、撮影画角もカメラデータとして計測することができる。
Thereafter, the CPU 50E adds the shooting angle of view calculated by the angle-of-view calculating unit 57 to the camera data and outputs it.
As described above, the camera data measuring apparatus 100E according to the fifth embodiment of the present invention can measure the shooting angle of view as camera data in addition to the movement distance and orientation data.
なお、第５実施形態において、カメラデータの精度をさらに高くしたい場合、撮影カメラ２００のフォーカスリングにもエンコーダを取り付けて、焦点位置による画角の変化を反映させてもよい。 In the fifth embodiment, when it is desired to further improve the accuracy of the camera data, an encoder may be attached to the focus ring of the photographing camera 200 to reflect the change in the angle of view depending on the focal position.
なお、第５実施形態では、画角算出部５７が撮影画角を算出する例で説明したが、本発明は、これに限定されない。例えば、ズームレンズ内に画角を検出するためのエンコーダが内蔵された撮影カメラの場合、本発明は、デジタルデータとして、ズームレンズのコネクター経由で撮影カメラの画角を取得することもできる。 In the fifth embodiment, the example in which the angle of view calculation unit 57 calculates the shooting angle of view has been described, but the present invention is not limited to this. For example, in the case of a photographing camera in which an encoder for detecting an angle of view is incorporated in a zoom lens, the present invention can also obtain the angle of view of the photographing camera as a digital data via a zoom lens connector.
なお、第２〜５実施形態では、第１実施形態に係るカメラデータ計測装置１００への適用例を説明したが、本発明は、これに限定されない。つまり、第２〜５実施形態の手法は、第１実施形態以外、他の実施形態に係るカメラデータ計測装置に適用することもできる。 In the second to fifth embodiments, the application example to the camera data measurement device 100 according to the first embodiment has been described, but the present invention is not limited to this. That is, the methods of the second to fifth embodiments can be applied to camera data measurement devices according to other embodiments other than the first embodiment.
本発明は、ＶＦＸ映画等の映画制作や、高度な合成を必要とするドラマ番組、情報番組、迅速なポストプロダクション処理が要求される報道番組等の番組制作に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for the production of a movie such as a VFX movie, a program such as a drama program that requires high-level synthesis, an information program, and a news program that requires quick post-production processing.
また、本発明は、６自由度の慣性センサとして幅広い分野で利用することができる。
例えば、自動車等の交通手段の位置を知るため、ＧＰＳ（Global Positioning System）を基本としたナビゲーションステムが活用されている。このＧＰＳでは、交通手段が衛星から遮られる環境下にあるときは測位が不可能になる。これを補うべく、従来の慣性センサで位置計測を行っているが、その精度向上は難しいのが現状である。そこで、本発明は、自動車等の交通手段を計測対象とすれば、その位置計測を高い精度で行うことができる。
この他、本発明は、身体障害者用の車イスや移動ロボットを計測対象として、これらの位置計測にも利用することができる。
In addition, the present invention can be used in a wide range of fields as an inertial sensor with 6 degrees of freedom.
For example, a navigation system based on GPS (Global Positioning System) is used to know the position of transportation means such as automobiles. With this GPS, positioning is not possible when the means of transportation is in an environment blocked by satellites. To compensate for this, position measurement is performed using a conventional inertial sensor, but it is difficult to improve the accuracy. Therefore, according to the present invention, if a transportation means such as an automobile is a measurement object, the position can be measured with high accuracy.
In addition, the present invention can also be used for measuring positions of wheelchairs and mobile robots for physically disabled persons.
１００，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ カメラデータ計測装置（移動距離計測装置）
１１０ 計測部
１０ ジャイロセンサ
１１ パン方向ジャイロセンサ
１３ チルト方向ジャイロセンサ
１５ ヨー方向ジャイロセンサ
２０ 加速度センサ
２１ 左右方向加速度センサ
２３ 上下方向加速度センサ
２５ 前後方向加速度センサ
３０ センサカメラ
４０ 画像処理部（動きベクトル検出部）
５０，５０Ｂ，５０Ｃ，５０Ｄ，５０Ｅ ＣＰＵ
５１ 姿勢データ算出部
５３，５３Ｃ 移動距離算出部
５５ モータ制御部（駆動手段制御部）
５７ 画角算出部
６１ 駆動モータ（駆動手段）
７０ 測距計（変化量計測部）
８０ エンコーダ
２００ 撮影カメラ（計測対象）
２１０ ズームレンズ
２２０ 回転リング
100, 100B, 100C, 100D, 100E Camera data measuring device (moving distance measuring device)
DESCRIPTION OF SYMBOLS 110 Measurement part 10 Gyro sensor 11 Pan direction gyro sensor 13 Tilt direction gyro sensor 15 Yaw direction gyro sensor 20 Acceleration sensor 21 Left and right direction acceleration sensor 23 Vertical direction acceleration sensor 25 Front and rear direction acceleration sensor 30 Sensor camera 40 Image processing part (motion vector detection) Part)
50, 50B, 50C, 50D, 50E CPU
51 Attitude data calculation unit 53, 53C Movement distance calculation unit 55 Motor control unit (drive means control unit)
57 Angle of view calculation unit 61 Drive motor (drive means)
70 Rangometer (Change amount measuring unit)
80 Encoder 200 Camera (Measurement target)
210 Zoom lens 220 Rotating ring
Claims (7)
前記計測対象の位置から前記計測基準面を向くように、前記計測基準面の動画像である計測基準面動画像を撮影するセンサカメラと、
前記センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する動きベクトル検出部と、
前記センサカメラの画面サイズと、前記センサカメラの画角と、前記センサカメラから前記計測基準面までのカメラ高さとが予め設定され、前記センサカメラの画角及び前記カメラ高さから前記センサカメラの撮影範囲を求め、求めた前記撮影範囲に前記動きベクトルの大きさと前記画面サイズとの比を乗じることで、前記移動距離を算出する移動距離算出部と、
３次元方向の加速度を計測する加速度センサと、を備え、
前記移動距離算出部は、前記加速度センサが計測した加速度から、前記計測基準面の垂線に対する前記センサカメラの光軸傾き量を求め、求めた前記光軸傾き量に応じて、前記垂線に対して前記センサカメラの光軸が傾いた状態で算出された前記移動距離を、前記計測基準面上での移動距離となるように補正することを特徴とする移動距離計測装置。 A moving distance measuring device that is mounted on a measurement object that moves on a measurement reference plane that is a measurement reference for a movement distance, and that measures the movement distance of the measurement object,
A sensor camera that captures a measurement reference plane moving image that is a moving image of the measurement reference plane so as to face the measurement reference plane from the position of the measurement target;
A motion vector detection unit for detecting a motion vector from a measurement reference plane moving image captured by the sensor camera;
A screen size of the sensor camera, an angle of view of the sensor camera, and a camera height from the sensor camera to the measurement reference plane are set in advance, and from the angle of view of the sensor camera and the camera height, the sensor camera A moving distance calculating unit that calculates a moving distance by determining a shooting range and multiplying the determined shooting range by a ratio between the size of the motion vector and the screen size;
Acceleration of three-dimensional directions and a acceleration sensor for measuring,
The moving distance calculating unit, the acceleration the acceleration sensor is measured to obtain the optical axis inclination of the sensor camera relative to the normal of the measurement reference plane, according to the optical axis tilt amount calculated, over the previous SL perpendicular the moving distance calculated in a state in which the optical axis is tilted in the sensor camera Te and the measurement reference plane on the correction moving distance measurement device you characterized in that such a movement distance.
前記計測対象の位置から前記計測基準面を向くように、前記計測基準面の動画像である計測基準面動画像を撮影するセンサカメラと、
前記センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する動きベクトル検出部と、
前記センサカメラの画面サイズと、前記センサカメラの画角と、前記センサカメラから前記計測基準面までのカメラ高さとが予め設定され、前記センサカメラの画角及び前記カメラ高さから前記センサカメラの撮影範囲を求め、求めた前記撮影範囲に前記動きベクトルの大きさと前記画面サイズとの比を乗じることで、前記移動距離を算出する移動距離算出部と、
前記センサカメラの向きを駆動する駆動手段と、
３次元方向の加速度を計測する加速度センサと、
前記加速度センサが計測した加速度から、前記計測基準面の垂線に対する前記センサカメラの光軸傾き量を求め、求めた前記光軸傾き量に応じて、前記センサカメラの光軸が前記計測基準面に垂直となるように前記駆動手段を制御する駆動手段制御部と、
を備えることを特徴とする移動距離計測装置。 A moving distance measuring device that is mounted on a measurement object that moves on a measurement reference plane that is a measurement reference for a movement distance, and that measures the movement distance of the measurement object,
A sensor camera that captures a measurement reference plane moving image that is a moving image of the measurement reference plane so as to face the measurement reference plane from the position of the measurement target;
A motion vector detection unit for detecting a motion vector from a measurement reference plane moving image captured by the sensor camera;
A screen size of the sensor camera, an angle of view of the sensor camera, and a camera height from the sensor camera to the measurement reference plane are set in advance, and from the angle of view of the sensor camera and the camera height, the sensor camera A moving distance calculating unit that calculates a moving distance by determining a shooting range and multiplying the determined shooting range by a ratio between the size of the motion vector and the screen size;
Driving means for driving the direction of the sensor camera;
An acceleration sensor that measures acceleration in a three-dimensional direction;
From the acceleration measured by the acceleration sensor, the optical axis tilt amount of the sensor camera with respect to the normal of the measurement reference plane is obtained, and the optical axis of the sensor camera is brought into the measurement reference plane according to the calculated optical axis tilt amount. A drive means controller for controlling the drive means so as to be vertical;
It characterized by obtaining Bei the moving distance measurement device.
前記移動距離算出部は、前記変化量計測部が計測した前記変化量を前記カメラ高さに加算又は減算することを特徴とする請求項１又は請求項２に記載の移動距離計測装置。 A change amount measuring unit for measuring a change amount of the camera height;
The moving distance calculating unit, the moving distance measuring apparatus according to claim 1 or claim 2, characterized in that adding or subtracting the change amount which the variation amount measuring section has measured the camera height.
前記ジャイロセンサが計測した角速度と前記加速度センサが計測した加速度とから、前記計測対象の向きを示す姿勢データを算出する姿勢データ算出部と、
をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の移動距離計測装置。 A gyro sensor that measures angular velocities in the pan direction, tilt direction, and yaw direction;
An attitude data calculation unit that calculates attitude data indicating the orientation of the measurement target from the angular velocity measured by the gyro sensor and the acceleration measured by the acceleration sensor;
Further comprising a moving distance measuring device according to claim 1 to any one of claims 3, characterized in.
前記移動距離算出部は、前記撮影カメラが撮影した撮影映像の同期信号が入力され、入力された前記同期信号に同期させて前記移動距離を算出し、
前記姿勢データ算出部は、前記同期信号が入力され、入力された前記同期信号に同期させて前記姿勢データを算出することを特徴とする請求項４に記載の移動距離計測装置。 The moving distance measuring device is attached to a photographing camera as the measurement target,
The movement distance calculation unit receives a synchronization signal of a captured image captured by the imaging camera, calculates the movement distance in synchronization with the input synchronization signal,
The movement distance measuring device according to claim 4 , wherein the posture data calculation unit is configured to calculate the posture data in synchronization with the input synchronization signal.
前記リング回転量と前記撮影カメラの画角とを対応付けた撮影画角テーブルが予め設定され、当該撮影画角テーブルを参照して、前記エンコーダが計測したリング回転量から前記撮影カメラの画角を算出する画角算出部と、
をさらに備えることを特徴とする請求項５に記載の移動距離計測装置。 An encoder for measuring a ring rotation amount of a zoom lens provided in the photographing camera;
A shooting angle of view table in which the ring rotation amount and the angle of view of the shooting camera are associated with each other is set in advance, and the angle of view of the shooting camera is calculated from the ring rotation amount measured by the encoder with reference to the shooting angle of view table. An angle of view calculation unit for calculating
The moving distance measuring device according to claim 5 , further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011234547A JP5771117B2 (en) | 2011-10-26 | 2011-10-26 | Moving distance measuring device and photographing camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011234547A JP5771117B2 (en) | 2011-10-26 | 2011-10-26 | Moving distance measuring device and photographing camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013093738A JP2013093738A (en) | 2013-05-16 |
| JP5771117B2 true JP5771117B2 (en) | 2015-08-26 |
Family
ID=48616537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011234547A Active JP5771117B2 (en) | 2011-10-26 | 2011-10-26 | Moving distance measuring device and photographing camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5771117B2 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015138010A (en) * | 2014-01-24 | 2015-07-30 | 清水建設株式会社 | Position detection system and method for photographing camera |
| JP2017059955A (en) * | 2015-09-15 | 2017-03-23 | ツネイシホールディングス株式会社 | Imaging system and computer program |
| US10989542B2 (en) | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
| JP6987797B2 (en) * | 2016-03-11 | 2022-01-05 | カールタ インコーポレイテッド | Laser scanner with real-time online egomotion estimation |
| US11573325B2 (en) | 2016-03-11 | 2023-02-07 | Kaarta, Inc. | Systems and methods for improvements in scanning and mapping |
| US11567201B2 (en) | 2016-03-11 | 2023-01-31 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
| JP6024074B1 (en) * | 2016-04-19 | 2016-11-09 | 株式会社ニチギ | Unmanned moving body for photography |
| WO2019099605A1 (en) | 2017-11-17 | 2019-05-23 | Kaarta, Inc. | Methods and systems for geo-referencing mapping systems |
| WO2019165194A1 (en) | 2018-02-23 | 2019-08-29 | Kaarta, Inc. | Methods and systems for processing and colorizing point clouds and meshes |
| CN108267179B (en) * | 2018-04-18 | 2024-02-20 | 湖南磁浮技术研究中心有限公司 | Device for detecting dynamic performance of collector shoe and contact rail of medium-low speed maglev train |
| JP6771696B2 (en) | 2018-05-11 | 2020-10-21 | 三菱電機株式会社 | Data synchronization device, data synchronization method and data synchronization program |
| WO2020009826A1 (en) | 2018-07-05 | 2020-01-09 | Kaarta, Inc. | Methods and systems for auto-leveling of point clouds and 3d models |
| JP7287820B2 (en) * | 2019-04-02 | 2023-06-06 | 株式会社トプコン | surveying equipment |
| JP7202261B2 (en) * | 2019-06-10 | 2023-01-11 | 株式会社トプコン | surveying equipment |
| CN115103121A (en) * | 2022-07-05 | 2022-09-23 | 长江三峡勘测研究院有限公司（武汉） | Slope oblique photography device, image data acquisition method and image data acquisition instrument |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0973543A (en) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | Moving object recognition method/device |
| JP3684799B2 (en) * | 1997-12-09 | 2005-08-17 | アシスト シンコー株式会社 | Device for detecting displacement amount of stop position of moving object |
| JP2003023562A (en) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | Image photographic system and camera system |
| JP3793474B2 (en) * | 2002-03-13 | 2006-07-05 | 富士写真フイルム株式会社 | Mouse digital camera |
| JP4325332B2 (en) * | 2003-09-16 | 2009-09-02 | カシオ計算機株式会社 | Pen-type data input device and program |
| JP4699773B2 (en) * | 2005-02-10 | 2011-06-15 | 東洋農機株式会社 | Speed sensor, speed sensor program, and mobile body equipped with these |
| JP5304064B2 (en) * | 2008-07-09 | 2013-10-02 | 日産自動車株式会社 | Speed measuring device and speed measuring method |
-
2011
- 2011-10-26 JP JP2011234547A patent/JP5771117B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013093738A (en) | 2013-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5771117B2 (en) | Moving distance measuring device and photographing camera | |
| JP3513950B2 (en) | Image stabilization camera | |
| US6304284B1 (en) | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera | |
| JP5680196B2 (en) | Optical measuring method and measuring system for obtaining three-dimensional coordinates on the surface of a measuring object | |
| JP5027747B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| EP2056066B1 (en) | Surveying Instrument | |
| CN101715055B (en) | Imaging apparatus, and imaging method | |
| WO2010001940A1 (en) | Position measurement method, position measurement device, and program | |
| JP5027746B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| JP2009241247A (en) | Stereo-image type detection movement device | |
| JP5284169B2 (en) | Image shake correction apparatus, optical apparatus including the same, and imaging apparatus | |
| JP2000010141A (en) | Digital camera with camera shake correction mechanism | |
| JP6823482B2 (en) | 3D position measurement system, 3D position measurement method, and measurement module | |
| JP2010219942A (en) | Mobile object image tracking apparatus | |
| JPH11306363A (en) | Image input device and image inputting method | |
| JP2019056571A (en) | Survey system | |
| JP3957888B2 (en) | Imaging apparatus and captured image composition method | |
| JP2000283720A (en) | Method and device for inputting three-dimensional data | |
| JP2018155664A (en) | Imaging system, imaging control method, image processing device, and image processing program | |
| KR20190143202A (en) | Photographing apparatus and method for 3d modeling | |
| JP2008032701A (en) | Survey instrument | |
| JP2019118090A (en) | Imaging apparatus and control method of imaging apparatus | |
| JP2018134712A (en) | Robot system and control method for robot system | |
| TW201804366A (en) | Image processing device and related depth estimation system and depth estimation method | |
| US20080252746A1 (en) | Method and apparatus for a hybrid wide area tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150626 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5771117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |