JP2001086392A - 動画像の動き推定装置 - Google Patents
動画像の動き推定装置Info
- Publication number
- JP2001086392A JP2001086392A JP26053299A JP26053299A JP2001086392A JP 2001086392 A JP2001086392 A JP 2001086392A JP 26053299 A JP26053299 A JP 26053299A JP 26053299 A JP26053299 A JP 26053299A JP 2001086392 A JP2001086392 A JP 2001086392A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- motion
- coordinate position
- lens
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 カメラにセンサを取り付けて、カメラの姿
勢、レンズの状態の変化から動画像のグローバルな動き
を推定する従来の動き推定装置では、高精度なカメラの
キャリブレーションを行っていなかったため正確な動き
推定を行うことができなかった。 【解決手段】 カメラ操作に伴ってカメラ操作パラメー
タを取得するカメラ操作パラメータ取得回路１と、カメ
ラのキャリブレーションによりあらかじめ求めておいた
レンズの焦点距離、画像中心位置、レンズの歪曲収差の
１次、２次係数および光学中心位置からなるカメラ内部
パラメータを供給するカメラ内部パラメータ供給回路２
と、それら両回路１，２からそれぞれ供給されたパラメ
ータを用いて動画像の動き推定を行う動き推定回路３と
を少なくとも具える構成とした。
勢、レンズの状態の変化から動画像のグローバルな動き
を推定する従来の動き推定装置では、高精度なカメラの
キャリブレーションを行っていなかったため正確な動き
推定を行うことができなかった。 【解決手段】 カメラ操作に伴ってカメラ操作パラメー
タを取得するカメラ操作パラメータ取得回路１と、カメ
ラのキャリブレーションによりあらかじめ求めておいた
レンズの焦点距離、画像中心位置、レンズの歪曲収差の
１次、２次係数および光学中心位置からなるカメラ内部
パラメータを供給するカメラ内部パラメータ供給回路２
と、それら両回路１，２からそれぞれ供給されたパラメ
ータを用いて動画像の動き推定を行う動き推定回路３と
を少なくとも具える構成とした。
Description
【０００１】
【発明の属する技術分野】本発明は動画像の動き推定装
置に係り、とくにテレビジョンカメラ等のカメラ操作に
よる動画像の動き推定装置に関する。
置に係り、とくにテレビジョンカメラ等のカメラ操作に
よる動画像の動き推定装置に関する。
【０００２】
【従来の技術】テレビジョン画像の動画像の動きは、カ
メラ操作による動き（以下、グローバルな動きと言う）
と被写体の移動による動き（以下、ローカルな動きと言
う）とに大別できるが、本発明は、特にグローバルな動
きを推定するものに属している。動画像の動きを推定し
ようとするときには、従来、動画像のグローバルな動き
およびローカルな動きのいずれに対しても動画像自体か
ら推定していて、勾配法を用いる手法やブロックマッチ
ング法を用いる手法などさまざまなものがある。
メラ操作による動き（以下、グローバルな動きと言う）
と被写体の移動による動き（以下、ローカルな動きと言
う）とに大別できるが、本発明は、特にグローバルな動
きを推定するものに属している。動画像の動きを推定し
ようとするときには、従来、動画像のグローバルな動き
およびローカルな動きのいずれに対しても動画像自体か
ら推定していて、勾配法を用いる手法やブロックマッチ
ング法を用いる手法などさまざまなものがある。
【０００３】
【発明が解決しようとする課題】しかしながら、雑音の
影響や画像自身のあいまいさなどから、上述したような
手法で動画像自体から画像の動きを正確に推定すること
はきわめて困難なことであり、膨大な数の研究が行われ
てきたにもかかわらず、動画像の動きを正確に推定する
手法は未だ確立されていない。
影響や画像自身のあいまいさなどから、上述したような
手法で動画像自体から画像の動きを正確に推定すること
はきわめて困難なことであり、膨大な数の研究が行われ
てきたにもかかわらず、動画像の動きを正確に推定する
手法は未だ確立されていない。
【０００４】一方、カメラにセンサを取り付けて、カメ
ラの姿勢、レンズの状態の変化から動画像のグローバル
な動きを推定しようとする試みもなされているが、この
ためにはカメラに対して厳密なキャリブレーションを行
う必要がある。カメラのキャリブレーションとは、３次
元空間で座標位置が明確なターゲット点とそれに対応し
た画像上での点の座標とを用いて焦点距離、光軸と画像
面との交点である画像中心位置、およびレンズの歪曲収
差などのカメラ内部パラメータを求めることである。し
かしながら、これまでのシステムでは、高精度なカメラ
のキャリブレーションを行っていなかったため正確な動
き推定は達成されなかった。
ラの姿勢、レンズの状態の変化から動画像のグローバル
な動きを推定しようとする試みもなされているが、この
ためにはカメラに対して厳密なキャリブレーションを行
う必要がある。カメラのキャリブレーションとは、３次
元空間で座標位置が明確なターゲット点とそれに対応し
た画像上での点の座標とを用いて焦点距離、光軸と画像
面との交点である画像中心位置、およびレンズの歪曲収
差などのカメラ内部パラメータを求めることである。し
かしながら、これまでのシステムでは、高精度なカメラ
のキャリブレーションを行っていなかったため正確な動
き推定は達成されなかった。
【０００５】本発明の目的は、カメラにセンサを取り付
け、カメラの姿勢、レンズの状態の変化から画像のグロ
ーバルな動きを推定する上述した種類の動画像の動き推
定装置において、その推定確度を高めることにある。
け、カメラの姿勢、レンズの状態の変化から画像のグロ
ーバルな動きを推定する上述した種類の動画像の動き推
定装置において、その推定確度を高めることにある。
【０００６】
【課題を解決するための手段】本発明は、例えば、カメ
ラに取り付けられたセンサにより取得された高精度なカ
メラ操作パラメータとキャリブレーションによりあらか
じめ求めておいたカメラ内部パラメータ（焦点距離、画
像中心位置、レンズの歪曲収差の１次、２次係数、およ
び光学中心位置）とを用いて動画像のグローバルな動き
を正確かつ高速に推定することができるようにしたもの
である。
ラに取り付けられたセンサにより取得された高精度なカ
メラ操作パラメータとキャリブレーションによりあらか
じめ求めておいたカメラ内部パラメータ（焦点距離、画
像中心位置、レンズの歪曲収差の１次、２次係数、およ
び光学中心位置）とを用いて動画像のグローバルな動き
を正確かつ高速に推定することができるようにしたもの
である。
【０００７】すなわち、本発明動画像の動き推定装置
は、カメラ操作に伴ってカメラ操作パラメータを取得す
るカメラ操作パラメータ取得回路と、カメラのキャリブ
レーションによりあらかじめ求めておいたレンズの焦点
距離、画像中心位置、レンズの歪曲収差の１次係数、レ
ンズの歪曲収差の２次係数および光学中心位置からなる
カメラ内部パラメータを供給するカメラ内部パラメータ
供給回路と、該カメラ内部パラメータ供給回路から供給
されるカメラ内部パラメータを用いて注目画素の座標位
置をレンズの歪曲収差による誤差を含まない座標位置に
変換し、該変換した座標位置に対し当該位置のカメラ操
作による移動先の座標位置を前記カメラ操作パラメータ
取得回路で取得したカメラ操作パラメータを用いて求
め、該求めた移動先の座標位置を前記カメラ内部パラメ
ータ供給回路から供給されるカメラ内部パラメータを用
いてレンズの歪曲収差による誤差を含む座標位置に変換
し、該変換した座標位置と前記注目画素の座標位置との
差分を推定した動きとして求める動き推定回路とを少な
くとも具えて構成したことを特徴とするものである。
は、カメラ操作に伴ってカメラ操作パラメータを取得す
るカメラ操作パラメータ取得回路と、カメラのキャリブ
レーションによりあらかじめ求めておいたレンズの焦点
距離、画像中心位置、レンズの歪曲収差の１次係数、レ
ンズの歪曲収差の２次係数および光学中心位置からなる
カメラ内部パラメータを供給するカメラ内部パラメータ
供給回路と、該カメラ内部パラメータ供給回路から供給
されるカメラ内部パラメータを用いて注目画素の座標位
置をレンズの歪曲収差による誤差を含まない座標位置に
変換し、該変換した座標位置に対し当該位置のカメラ操
作による移動先の座標位置を前記カメラ操作パラメータ
取得回路で取得したカメラ操作パラメータを用いて求
め、該求めた移動先の座標位置を前記カメラ内部パラメ
ータ供給回路から供給されるカメラ内部パラメータを用
いてレンズの歪曲収差による誤差を含む座標位置に変換
し、該変換した座標位置と前記注目画素の座標位置との
差分を推定した動きとして求める動き推定回路とを少な
くとも具えて構成したことを特徴とするものである。
【０００８】また、本発明動画像の動き推定装置は、前
記カメラ操作パラメータが、カメラの水平移動量、パン
角度、チルト角度、ズーム比およびフォーカス量のいず
れか１つまたは複数であることを特徴とするものであ
る。
記カメラ操作パラメータが、カメラの水平移動量、パン
角度、チルト角度、ズーム比およびフォーカス量のいず
れか１つまたは複数であることを特徴とするものであ
る。
【０００９】また、本発明動画像の動き推定装置は、前
記カメラ操作パラメータが、カメラに取り付けられたセ
ンサにより取得されたものであることを特徴とするもの
である。
記カメラ操作パラメータが、カメラに取り付けられたセ
ンサにより取得されたものであることを特徴とするもの
である。
【００１０】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。図１
は、本発明による動画像の動き推定装置の原理的構成図
である。図１に示す動画像の動き推定装置は、撮影時の
カメラ操作パラメータを計測して取得するカメラ操作パ
ラメータ取得回路１と、カメラのキャリブレーションに
よりあらかじめ求めておいたカメラ内部パラメータを供
給するカメラ内部パラメータ供給回路２と、それら回路
１と回路２から供給されたパラメータを用いて動画像の
動き推定を行う動き推定回路３とから構成されている。
実施の形態に基づいて本発明を詳細に説明する。図１
は、本発明による動画像の動き推定装置の原理的構成図
である。図１に示す動画像の動き推定装置は、撮影時の
カメラ操作パラメータを計測して取得するカメラ操作パ
ラメータ取得回路１と、カメラのキャリブレーションに
よりあらかじめ求めておいたカメラ内部パラメータを供
給するカメラ内部パラメータ供給回路２と、それら回路
１と回路２から供給されたパラメータを用いて動画像の
動き推定を行う動き推定回路３とから構成されている。
【００１１】上記において、カメラ操作パラメータ取得
回路１は、カメラにカメラの位置、姿勢、およびレンズ
の状態を計測するそれぞれのセンサを取り付け、撮影
（カメラ操作）を行う際、これらのカメラ操作パラメー
タを映像信号と同期（ＮＴＳＣ方式の場合、６０Hz）し
て取得し、記録する。主なカメラ操作パラメータとして
は、カメラの水平移動量、パン角度、チルト角度、ズー
ム比に対応する値、およびフォーカス量に対応する値が
ある。これらのパラメータはカメラ操作に伴って取り出
されるとともに映像信号と共にタイムコードにより一括
管理される。
回路１は、カメラにカメラの位置、姿勢、およびレンズ
の状態を計測するそれぞれのセンサを取り付け、撮影
（カメラ操作）を行う際、これらのカメラ操作パラメー
タを映像信号と同期（ＮＴＳＣ方式の場合、６０Hz）し
て取得し、記録する。主なカメラ操作パラメータとして
は、カメラの水平移動量、パン角度、チルト角度、ズー
ム比に対応する値、およびフォーカス量に対応する値が
ある。これらのパラメータはカメラ操作に伴って取り出
されるとともに映像信号と共にタイムコードにより一括
管理される。
【００１２】また、カメラ内部パラメータ供給回路２
は、１組のズーム比とフォーカス量によって表されるレ
ンズ状態に対応する焦点距離ｆ、画像の中心位置の座標
（Ｃx，Ｃy ) 、光学中心位置Ｏ、レンズの歪曲収差の
１次係数ｋ1 、レンズの歪曲収差の２次係数ｋ2 などの
カメラ内部パラメータのテーブルを保存している。この
カメラ内部パラメータのテーブルは、あらかじめ各々の
レンズの状態（ズーム比に対応する値やフォーカス量に
対応する値）についてキャリブレーションを行うことに
より作成、保存することができる。ここで、ズーム比と
フォーカス量は連続的に変わるが、キャリブレーション
は、ズーム比とフォーカス量の稼働範囲をそれぞれにつ
いて例えば１００等分し、総計１０，０００個の状態に
ついて行い、１０，０００組の内部パラメータのテーブ
ルにする。
は、１組のズーム比とフォーカス量によって表されるレ
ンズ状態に対応する焦点距離ｆ、画像の中心位置の座標
（Ｃx，Ｃy ) 、光学中心位置Ｏ、レンズの歪曲収差の
１次係数ｋ1 、レンズの歪曲収差の２次係数ｋ2 などの
カメラ内部パラメータのテーブルを保存している。この
カメラ内部パラメータのテーブルは、あらかじめ各々の
レンズの状態（ズーム比に対応する値やフォーカス量に
対応する値）についてキャリブレーションを行うことに
より作成、保存することができる。ここで、ズーム比と
フォーカス量は連続的に変わるが、キャリブレーション
は、ズーム比とフォーカス量の稼働範囲をそれぞれにつ
いて例えば１００等分し、総計１０，０００個の状態に
ついて行い、１０，０００組の内部パラメータのテーブ
ルにする。
【００１３】また、動き推定回路３は、回路１から供給
されるカメラ操作パラメータを入力し、さらにレンズ状
態（１つのレンズ状態は、上記のように、ズーム比とフ
ォーカス量の組に対応する焦点距離によって表される）
に対応するカメラ内部パラメータをカメラ内部パラメー
タ供給回路２から読み込み、以下に説明する手順により
動き画像の動き推定を行い、その結果として推定動き
（図１参照）を出力する。
されるカメラ操作パラメータを入力し、さらにレンズ状
態（１つのレンズ状態は、上記のように、ズーム比とフ
ォーカス量の組に対応する焦点距離によって表される）
に対応するカメラ内部パラメータをカメラ内部パラメー
タ供給回路２から読み込み、以下に説明する手順により
動き画像の動き推定を行い、その結果として推定動き
（図１参照）を出力する。
【００１４】以下に、カメラのパン操作、チルト操作お
よびズーミング操作のそれぞれの場合について、本発明
装置において行われる動き推定の手順を詳細に説明す
る。なお、以下の説明においては、パン操作、チルト操
作、ズーミング操作のいずれにおいても、画像中におい
て座標が（Ｘ1 ，Ｙ1 ）で表される画素（注目画素）に
ついて、カメラ操作によって生じる当該画素の動きを推
定する（推定動きを出力する）ものとする。また、以下
の手順はすべて図１中の動き推定回路３において実行さ
れる。
よびズーミング操作のそれぞれの場合について、本発明
装置において行われる動き推定の手順を詳細に説明す
る。なお、以下の説明においては、パン操作、チルト操
作、ズーミング操作のいずれにおいても、画像中におい
て座標が（Ｘ1 ，Ｙ1 ）で表される画素（注目画素）に
ついて、カメラ操作によって生じる当該画素の動きを推
定する（推定動きを出力する）ものとする。また、以下
の手順はすべて図１中の動き推定回路３において実行さ
れる。
【００１５】まず、パン操作の場合について説明する。 １．上記の座標（Ｘ1 ，Ｙ1 ）を、カメラ内部パラメー
タである画像中心位置の座標とレンズの歪曲収差係数を
用いて歪曲収差による誤差を含まない理想的な結像位置
（Ｘu1，Ｙu1）に変換する。この変換は、本例では次の
（１）式に示される歪曲収差モデルに基づいて行われ
る。
タである画像中心位置の座標とレンズの歪曲収差係数を
用いて歪曲収差による誤差を含まない理想的な結像位置
（Ｘu1，Ｙu1）に変換する。この変換は、本例では次の
（１）式に示される歪曲収差モデルに基づいて行われ
る。
【数１】 ここで、（Ｃx ，Ｃy ）は、図１に示すカメラ操作パラ
メータ取得回路１から供給されるズーム比とフォーカス
量に対応した画像中心位置の座標であり、カメラ内部パ
ラメータ供給回路２から供給される。また、（１）式に
おいて、ｋ1 ，ｋ2 はそれぞれ１次および２次の歪曲収
差係数である。
メータ取得回路１から供給されるズーム比とフォーカス
量に対応した画像中心位置の座標であり、カメラ内部パ
ラメータ供給回路２から供給される。また、（１）式に
おいて、ｋ1 ，ｋ2 はそれぞれ１次および２次の歪曲収
差係数である。
【００１６】２．これにパン操作を行った後の理想的な
結像位置（Ｘu2，Ｙu2）を次の（２）式より求める。
結像位置（Ｘu2，Ｙu2）を次の（２）式より求める。
【数２】 ここで、θはカメラ操作パラメータ取得回路１から供給
されるパン角度である。また、ｆはカメラ操作パラメー
タ取得回路１から供給されるズーム比とフォーカス量の
組に対応した焦点距離を表すが、カメラ内部パラメータ
供給回路２から供給される。
されるパン角度である。また、ｆはカメラ操作パラメー
タ取得回路１から供給されるズーム比とフォーカス量の
組に対応した焦点距離を表すが、カメラ内部パラメータ
供給回路２から供給される。
【００１７】３．画像中心位置の座標（Ｃx ，Ｃy ）、
レンズの歪曲収差係数ｋ1,ｋ2 を用いて、上記２．の手
順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズの
歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、次の（３）式に示される方
程式を解くことによりレンズの歪曲収差による誤差を含
むパン操作後の画素位置の座標（Ｘ2 ，Ｙ2 ）を求め
る。
レンズの歪曲収差係数ｋ1,ｋ2 を用いて、上記２．の手
順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズの
歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、次の（３）式に示される方
程式を解くことによりレンズの歪曲収差による誤差を含
むパン操作後の画素位置の座標（Ｘ2 ，Ｙ2 ）を求め
る。
【数３】
【００１８】４．レンズの歪曲収差による誤差を含む画
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をパン操作を行ったときの注目
画素の推定動きとする。
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をパン操作を行ったときの注目
画素の推定動きとする。
【００１９】次に、チルト操作の場合について説明す
る。 １．注目画素の座標（Ｘ1 ，Ｙ1 ）を、カメラ内部パラ
メータである画像中心位置の座標とレンズの歪曲収差係
数を用いて歪曲収差による誤差を含まない理想的な結像
位置（Ｘu1，Ｙu1）に変換する。この変換は、本例でも
パン操作のときと同様、上述の（１）式に示される歪曲
収差モデルに基づいて行われる。
る。 １．注目画素の座標（Ｘ1 ，Ｙ1 ）を、カメラ内部パラ
メータである画像中心位置の座標とレンズの歪曲収差係
数を用いて歪曲収差による誤差を含まない理想的な結像
位置（Ｘu1，Ｙu1）に変換する。この変換は、本例でも
パン操作のときと同様、上述の（１）式に示される歪曲
収差モデルに基づいて行われる。
【００２０】２．チルト操作を行った後の理想的な結像
位置（Ｘu2，Ｙu2）を次の（４）式により求める。
位置（Ｘu2，Ｙu2）を次の（４）式により求める。
【数４】 ここで、θはカメラ操作パラメータ取得回路１から供給
されるチルト角度である。また、ｆはカメラ操作パラメ
ータ取得回路１から供給されるズーム比とフォーカス量
の組に対応した焦点距離を表すが、カメラ内部パラメー
タ供給回路２から供給される。
されるチルト角度である。また、ｆはカメラ操作パラメ
ータ取得回路１から供給されるズーム比とフォーカス量
の組に対応した焦点距離を表すが、カメラ内部パラメー
タ供給回路２から供給される。
【００２１】３．画像中心位置の座標（Ｃx ，Ｃy ）、
レンズの歪曲収差係数ｋ1 ，ｋ2 を用いて、上記２．の
手順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズ
の歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、上述の（３）式に示される
方程式を解くことによりレンズの歪曲収差による誤差を
含むチルト操作後の画素位置の座標（Ｘ2 ，Ｙ2 ）を求
める。
レンズの歪曲収差係数ｋ1 ，ｋ2 を用いて、上記２．の
手順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズ
の歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、上述の（３）式に示される
方程式を解くことによりレンズの歪曲収差による誤差を
含むチルト操作後の画素位置の座標（Ｘ2 ，Ｙ2 ）を求
める。
【００２２】４．レンズの歪曲収差による誤差を含む画
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をチルト操作を行ったときの注
目画素の推定動きとする。
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をチルト操作を行ったときの注
目画素の推定動きとする。
【００２３】最後に、ズーミング操作の場合について説
明する。 １．注目画素の座標（Ｘ1 ，Ｙ1 ）を、カメラ内部パラ
メータである画像中心位置の座標とレンズの歪曲収差係
数を用いて歪曲収差による誤差を含まない理想的な結像
位置（Ｘu1，Ｙu1）に変換する。この変換は、本例でも
パン操作のときと同様、上述の（１）式に示される歪曲
収差モデルに基づいて行われる。
明する。 １．注目画素の座標（Ｘ1 ，Ｙ1 ）を、カメラ内部パラ
メータである画像中心位置の座標とレンズの歪曲収差係
数を用いて歪曲収差による誤差を含まない理想的な結像
位置（Ｘu1，Ｙu1）に変換する。この変換は、本例でも
パン操作のときと同様、上述の（１）式に示される歪曲
収差モデルに基づいて行われる。
【００２４】２．これにズーミング操作を行った後の理
想的な結像位置（Ｘu2，Ｙu2）を次の（５）式により求
める。
想的な結像位置（Ｘu2，Ｙu2）を次の（５）式により求
める。
【数５】 ここで、（Ｃx1，Ｃy1）とｆ1 、（Ｃx2、Ｃy2）とｆ2
は、それぞれズーミング操作前後のカメラ操作パラメー
タ取得回路１から供給されるズーム比とフォーカス量の
組に対応した画像中心と焦点距離を表すが、カメラ内部
パラメータ供給回路２から供給される。
は、それぞれズーミング操作前後のカメラ操作パラメー
タ取得回路１から供給されるズーム比とフォーカス量の
組に対応した画像中心と焦点距離を表すが、カメラ内部
パラメータ供給回路２から供給される。
【００２５】３．画像中心位置の座標（Ｃx ，Ｃy ）、
レンズの歪曲収差係数ｋ1 ，ｋ2 を用いて、上記３．の
手順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズ
の歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、上述の（３）式に示される
方程式を解くことにより、レンズの歪曲収差による誤差
を含むズーミング操作後の画素位置の座標（Ｘ2 ，Ｙ
2 ）を求める。
レンズの歪曲収差係数ｋ1 ，ｋ2 を用いて、上記３．の
手順で求めた理想的な結像位置（Ｘu2，Ｙu2）をレンズ
の歪曲収差による誤差を含む画素位置の座標（Ｘ2 ，Ｙ
2 ）に変換する。すなわち、上述の（３）式に示される
方程式を解くことにより、レンズの歪曲収差による誤差
を含むズーミング操作後の画素位置の座標（Ｘ2 ，Ｙ
2 ）を求める。
【００２６】４．レンズの歪曲収差による誤差を含む画
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をズーミング操作を行ったとき
の注目画素の推定動きとする。
素位置の座標（Ｘ2 ，Ｙ2 ）と上述の注目画素の座標
（Ｘ1 ，Ｙ1 ）との差分をズーミング操作を行ったとき
の注目画素の推定動きとする。
【００２７】以上は、それぞれパン操作、チルト操作お
よびズーミング操作を行ったときに生じるグローバルな
画像の動きを正確に推定するように構成した本発明装置
の実施形態の説明であるが、全く同様な構成により、カ
メラの水平移動、レンズのフォーカス操作に対してもそ
れにより生じるグローバルな画像の動きを推定すること
ができることは、言うまでもない。
よびズーミング操作を行ったときに生じるグローバルな
画像の動きを正確に推定するように構成した本発明装置
の実施形態の説明であるが、全く同様な構成により、カ
メラの水平移動、レンズのフォーカス操作に対してもそ
れにより生じるグローバルな画像の動きを推定すること
ができることは、言うまでもない。
【００２８】
【発明の効果】本発明によれば、カメラにカメラの位
置、姿勢、およびレンズの状態を計測するそれぞれのセ
ンサを取り付け、撮影を行う際、これらのカメラ操作パ
ラメータを映像信号と同期して取得するとともに、カメ
ラのキャリブレーションによりあらかじめ求めておいた
カメラ内部パラメータの供給を受けて動画像の動き推定
を行うように構成することで、カメラの操作によるグロ
ーバルな動きを正確かつ高速に推定することができる。
置、姿勢、およびレンズの状態を計測するそれぞれのセ
ンサを取り付け、撮影を行う際、これらのカメラ操作パ
ラメータを映像信号と同期して取得するとともに、カメ
ラのキャリブレーションによりあらかじめ求めておいた
カメラ内部パラメータの供給を受けて動画像の動き推定
を行うように構成することで、カメラの操作によるグロ
ーバルな動きを正確かつ高速に推定することができる。
【００２９】また、本発明の応用として動画像を符号化
する際に本発明による推定装置を使用すれば、グローバ
ルな動きはごく少数のカメラパラメータにより表現でき
るため、動画像の符号化効率が向上する。
する際に本発明による推定装置を使用すれば、グローバ
ルな動きはごく少数のカメラパラメータにより表現でき
るため、動画像の符号化効率が向上する。
【図１】 本発明による動画像の動き推定装置の原理的
構成図である。
構成図である。
１ カメラ操作パラメータ取得回路 ２ カメラ内部パラメータ供給回路 ３ 動き推定回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 鹿喰 善明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 金次 保明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 田中 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C022 AB21 AB66 AC27 5C059 NN23
Claims (3)
- 【請求項１】 カメラ操作に伴ってカメラ操作パラメー
タを取得するカメラ操作パラメータ取得回路と、 カメラのキャリブレーションによりあらかじめ求めてお
いたレンズの焦点距離、画像中心位置、レンズの歪曲収
差の１次係数、レンズの歪曲収差の２次係数および光学
中心位置からなるカメラ内部パラメータを供給するカメ
ラ内部パラメータ供給回路と、 該カメラ内部パラメータ供給回路から供給されるカメラ
内部パラメータを用いて注目画素の座標位置をレンズの
歪曲収差による誤差を含まない座標位置に変換し、該変
換した座標位置に対し当該位置のカメラ操作による移動
先の座標位置を前記カメラ操作パラメータ取得回路で取
得したカメラ操作パラメータを用いて求め、該求めた移
動先の座標位置を前記カメラ内部パラメータ供給回路か
ら供給されるカメラ内部パラメータを用いてレンズの歪
曲収差による誤差を含む座標位置に変換し、該変換した
座標位置と前記注目画素の座標位置との差分を推定した
動きとして求める動き推定回路とを少なくとも具えて構
成したことを特徴とする動画像の動き推定装置。 - 【請求項２】 請求項１記載の動画像の動き推定装置に
おいて、前記カメラ操作パラメータは、カメラの水平移
動量、パン角度、チルト角度、ズーム比およびフォーカ
ス量のいずれか１つまたは複数であることを特徴とする
動画像の動き推定装置。 - 【請求項３】 請求項１または２記載の動画像の動き推
定装置において、前記カメラ操作パラメータは、カメラ
に取り付けられたセンサにより取得されたものであるこ
とを特徴とする動画像の動き推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26053299A JP2001086392A (ja) | 1999-09-14 | 1999-09-14 | 動画像の動き推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26053299A JP2001086392A (ja) | 1999-09-14 | 1999-09-14 | 動画像の動き推定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001086392A true JP2001086392A (ja) | 2001-03-30 |
Family
ID=17349285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26053299A Pending JP2001086392A (ja) | 1999-09-14 | 1999-09-14 | 動画像の動き推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001086392A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009177703A (ja) * | 2008-01-28 | 2009-08-06 | Ricoh Co Ltd | 画像処理方法、画像処理装置及び画像撮像装置 |
-
1999
- 1999-09-14 JP JP26053299A patent/JP2001086392A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009177703A (ja) * | 2008-01-28 | 2009-08-06 | Ricoh Co Ltd | 画像処理方法、画像処理装置及び画像撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3971783B2 (ja) | パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム | |
| US7106361B2 (en) | System and method for manipulating the point of interest in a sequence of images | |
| JP7143225B2 (ja) | 三次元再構成方法及び三次元再構成装置 | |
| US8391542B2 (en) | Method for estimating the pose of a PTZ camera | |
| JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
| CN110070598A (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
| JP4960941B2 (ja) | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム | |
| JPWO2019230813A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
| KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| JP2014186004A (ja) | 計測装置、方法及びプログラム | |
| JPWO2019225682A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
| JP2024052755A (ja) | 三次元変位計測方法及び三次元変位計測装置 | |
| Willson et al. | Perspective projection camera model for zoom lenses | |
| JP4102386B2 (ja) | ３次元情報復元装置 | |
| JP2006195540A (ja) | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム | |
| JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
| CN110322514B (zh) | 一种基于多中心投影模型的光场相机参数估计方法 | |
| JP4860431B2 (ja) | 画像生成装置 | |
| JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| KR101996169B1 (ko) | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 | |
| JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| JP2017059998A (ja) | 画像処理装置およびその方法、並びに、撮像装置 | |
| JP2001086392A (ja) | 動画像の動き推定装置 | |
| JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070123 |