JP2003196663A - カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体 - Google Patents
カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体Info
- Publication number
- JP2003196663A JP2003196663A JP2001401419A JP2001401419A JP2003196663A JP 2003196663 A JP2003196663 A JP 2003196663A JP 2001401419 A JP2001401419 A JP 2001401419A JP 2001401419 A JP2001401419 A JP 2001401419A JP 2003196663 A JP2003196663 A JP 2003196663A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- program
- orientation
- focal length
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 長方形の４頂点の軌跡データからカメラパラ
メータを求め、長方形の部分に２次元物体の投影像を貼
り付けることを可能とする。 【解決手段】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める際に、 【数１】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
する。
メータを求め、長方形の部分に２次元物体の投影像を貼
り付けることを可能とする。 【解決手段】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める際に、 【数１】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
する。
Description
【０００１】
【発明の属する技術分野】本発明は、撮影された画像デ
ータを入力として、それを撮影した時のカメラのパラメ
ータ（位置、向き、焦点距離）を求めるカメラパラメー
タ算出方法、画像処理装置、その処理プログラム、及び
プログラムを記録している記録媒体に関するものであ
る。
ータを入力として、それを撮影した時のカメラのパラメ
ータ（位置、向き、焦点距離）を求めるカメラパラメー
タ算出方法、画像処理装置、その処理プログラム、及び
プログラムを記録している記録媒体に関するものであ
る。
【０００２】
【従来の技術】例えば、あるカメラを用いて、動画像
（以下オリジナル動画像という。）を撮影し、このオリ
ジナル動画像の各時刻における画像に、１つの長方形の
物体等の長方形状体が撮影されていた場合について考察
する。この長方形の４つの頂点を、第１〜４の頂点とい
う。このオリジナル動画像に投影された長方形の４隅
（４つの頂点）の投影像の軌跡をトラック（軌跡追跡）
する。第１の頂点の投影像をトラックした結果を（Ｕ1
(t),Ｖ1(t)）とする。すなわち、時刻ｔにおける第１の
頂点は、画像上で（Ｕ1(t),Ｖ1(t)）に投影されてい
る。同様に、第２、３、４の頂点の投影像をトラックし
た結果を、それぞれ、（Ｕ2(t),Ｖ2(t)）、（Ｕ3(t),Ｖ
3(t)）、（Ｕ4(t),Ｖ4(t)）とする。各時刻ｔにおい
て、次の式１を解き、ｒ00(t)、ｒ01(t)、ｒ02(t)、ｒ1
0(t)、ｒ11(t)、ｒ12(t)、ｒ20(t)、ｒ21(t)、を求め
る。
（以下オリジナル動画像という。）を撮影し、このオリ
ジナル動画像の各時刻における画像に、１つの長方形の
物体等の長方形状体が撮影されていた場合について考察
する。この長方形の４つの頂点を、第１〜４の頂点とい
う。このオリジナル動画像に投影された長方形の４隅
（４つの頂点）の投影像の軌跡をトラック（軌跡追跡）
する。第１の頂点の投影像をトラックした結果を（Ｕ1
(t),Ｖ1(t)）とする。すなわち、時刻ｔにおける第１の
頂点は、画像上で（Ｕ1(t),Ｖ1(t)）に投影されてい
る。同様に、第２、３、４の頂点の投影像をトラックし
た結果を、それぞれ、（Ｕ2(t),Ｖ2(t)）、（Ｕ3(t),Ｖ
3(t)）、（Ｕ4(t),Ｖ4(t)）とする。各時刻ｔにおい
て、次の式１を解き、ｒ00(t)、ｒ01(t)、ｒ02(t)、ｒ1
0(t)、ｒ11(t)、ｒ12(t)、ｒ20(t)、ｒ21(t)、を求め
る。
【０００３】
【数５】
【０００４】次に、長方形のテクスチャ（画像）を用意
する。座標（i,j）におけるこのテクスチャのデータ
を、Ｄ(i,j)とする。
する。座標（i,j）におけるこのテクスチャのデータ
を、Ｄ(i,j)とする。
【０００５】各時刻ｔにおけるｒij(t)を用いて、各
（i,j）に対して、式２に示す座標変換を行う。その結
果を（Ａ(i,j,t),Ｂ(i,j,t)）とする。オリジナル動画
像の内、時刻ｔの画像に対して、（Ａ(i,j,t),Ｂ(i,j,
t)）の位置にＤ(i,j)でデータを上書きする。これによ
り、オリジナル動画像の長方形の投影部分に、テクスチ
ャＤ(i,j)を貼り付けることができる。次の式２に示す
射影変換により位置が変換されてＤ(i,j)の上書きが行
われるので、奥行き感を忠実に再現したテクスチャＤ
(i,j)の画像が作成できる。
（i,j）に対して、式２に示す座標変換を行う。その結
果を（Ａ(i,j,t),Ｂ(i,j,t)）とする。オリジナル動画
像の内、時刻ｔの画像に対して、（Ａ(i,j,t),Ｂ(i,j,
t)）の位置にＤ(i,j)でデータを上書きする。これによ
り、オリジナル動画像の長方形の投影部分に、テクスチ
ャＤ(i,j)を貼り付けることができる。次の式２に示す
射影変換により位置が変換されてＤ(i,j)の上書きが行
われるので、奥行き感を忠実に再現したテクスチャＤ
(i,j)の画像が作成できる。
【０００６】
【数６】
【０００７】ここで、図１、図２、図３を参照しながら
上述したことを再度説明する。図１は、オリジナル動画
像の時刻ｔの画像である。図１において、各点１１、１
２、１３、１４が、それぞれ、第１、２、３、４の頂点
の投影像である。すなわち、点１１の座標が（Ｕ1(t),
Ｖ1(t)）、点１２の座標が（Ｕ2(t),Ｖ2(t)）、点１３
の座標が（Ｕ3(t),Ｖ3(t)）、点１４の座標が（Ｕ4(t),
Ｖ4(t)）である。図２には、長方形のテクスチャＤ(i,
j)が示されている。図３は、図２に示すテクスチャを、
上記方法により図１に示す画像に貼り付けた後の画像で
ある。図３に示す画像は、あたかも、長方形の部分に最
初からテクスチャＤ(i,j) があったかのような状態を撮
影した画像となる。
上述したことを再度説明する。図１は、オリジナル動画
像の時刻ｔの画像である。図１において、各点１１、１
２、１３、１４が、それぞれ、第１、２、３、４の頂点
の投影像である。すなわち、点１１の座標が（Ｕ1(t),
Ｖ1(t)）、点１２の座標が（Ｕ2(t),Ｖ2(t)）、点１３
の座標が（Ｕ3(t),Ｖ3(t)）、点１４の座標が（Ｕ4(t),
Ｖ4(t)）である。図２には、長方形のテクスチャＤ(i,
j)が示されている。図３は、図２に示すテクスチャを、
上記方法により図１に示す画像に貼り付けた後の画像で
ある。図３に示す画像は、あたかも、長方形の部分に最
初からテクスチャＤ(i,j) があったかのような状態を撮
影した画像となる。
【０００８】
【発明が解決しようとする課題】ところで、上述したよ
うな方法では、２次元のデータである長方形の画像を貼
り付けることはできるが、３次元の物体を貼り付けるこ
とはできなかった。これを行うには、各時刻ｔにおける
撮影した際のカメラの位置、向き、焦点距離を知る必要
があるが、従来、これらの値を知るには、より多くの特
徴点の軌跡データが必要であり、上記長方形の４頂点の
軌跡からは求めることができなかった。
うな方法では、２次元のデータである長方形の画像を貼
り付けることはできるが、３次元の物体を貼り付けるこ
とはできなかった。これを行うには、各時刻ｔにおける
撮影した際のカメラの位置、向き、焦点距離を知る必要
があるが、従来、これらの値を知るには、より多くの特
徴点の軌跡データが必要であり、上記長方形の４頂点の
軌跡からは求めることができなかった。
【０００９】本発明は、このような実情に鑑みてなされ
たものであり、撮影された画像データ内の長方形の４頂
点の軌跡データから、カメラパラメータ（カメラの位
置、向き、焦点距離）を求めることを可能とするような
カメラパラメータ算出方法、画像処理装置、その処理プ
ログラム、及びプログラムを記録している記録媒体の提
供を目的とする。
たものであり、撮影された画像データ内の長方形の４頂
点の軌跡データから、カメラパラメータ（カメラの位
置、向き、焦点距離）を求めることを可能とするような
カメラパラメータ算出方法、画像処理装置、その処理プ
ログラム、及びプログラムを記録している記録媒体の提
供を目的とする。
【００１０】
【課題を解決するための手段】本発明に係るカメラパラ
メータ算出方法は、撮影装置を使用して撮影した３次元
上にある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める方法において、
メータ算出方法は、撮影装置を使用して撮影した３次元
上にある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める方法において、
【００１１】
【数７】
【００１２】という式（ａ）を満たす変数Ｔx(t)、Ｔy
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求めることにより、上述の課題を解決する。
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求めることにより、上述の課題を解決する。
【００１３】ここで、各変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)は、時間とともに滑らかに
変化すると仮定して、該Ｔx(t)、Ｔy(t)、Ｔz(t)、α
(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求めることが挙
げられる。
α(t)、β(t)、γ(t)、ｆ(t)は、時間とともに滑らかに
変化すると仮定して、該Ｔx(t)、Ｔy(t)、Ｔz(t)、α
(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求めることが挙
げられる。
【００１４】また、このようなカメラパラメータを算出
するための処理をコンピュータに実行させるためのプロ
グラム、該プログラムが記録された記録媒体を提供する
こともできる。
するための処理をコンピュータに実行させるためのプロ
グラム、該プログラムが記録された記録媒体を提供する
こともできる。
【００１５】次に、本発明に係る画像処理装置は、撮影
装置を使用して撮影した３次元上にある長方形状体の頂
点の投影像位置（Ｕi(t),Ｖi(t)）、（ｉ＝１〜４）を
入力とし、該撮影装置のカメラパラメータを求める画像
処理装置において、
装置を使用して撮影した３次元上にある長方形状体の頂
点の投影像位置（Ｕi(t),Ｖi(t)）、（ｉ＝１〜４）を
入力とし、該撮影装置のカメラパラメータを求める画像
処理装置において、
【００１６】
【数８】
【００１７】という式（ａ）を満たす変数Ｔx(t)、Ｔy
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求め、カメラの位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメ
ラの向き（α(t),β(t),γ(t)）、及びカメラの焦点距
離ｆ(t)を出力する演算処理手段を有することを特徴と
することにより、上述の課題を解決する。
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求め、カメラの位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメ
ラの向き（α(t),β(t),γ(t)）、及びカメラの焦点距
離ｆ(t)を出力する演算処理手段を有することを特徴と
することにより、上述の課題を解決する。
【００１８】この場合も、各変数Ｔx(t)、Ｔy(t)、Ｔz
(t)、α(t)、β(t)、γ(t)、ｆ(t)は、時間とともに滑
らかに変化すると仮定して、該Ｔx(t)、Ｔy(t)、Ｔz
(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求める
ことが挙げられる。
(t)、α(t)、β(t)、γ(t)、ｆ(t)は、時間とともに滑
らかに変化すると仮定して、該Ｔx(t)、Ｔy(t)、Ｔz
(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求める
ことが挙げられる。
【００１９】
【発明の実施の形態】以下、本発明に係るカメラパラメ
ータ算出方法、画像処理装置、プログラム、及びプログ
ラムを記録している記録媒体の実施の形態について説明
する。
ータ算出方法、画像処理装置、プログラム、及びプログ
ラムを記録している記録媒体の実施の形態について説明
する。
【００２０】本発明の特徴は、長方形の４頂点の軌跡デ
ータから、カメラパラメータ（カメラの位置、向き、焦
点距離）を求めることができるので、それと同じカメラ
パラメータを使った３次元物体の投影像を、オリジナル
動画像に貼り付けることで、あたかも、長方形の部分に
最初から３次元物体があったかのような状態を撮影した
画像を作成することができる。
ータから、カメラパラメータ（カメラの位置、向き、焦
点距離）を求めることができるので、それと同じカメラ
パラメータを使った３次元物体の投影像を、オリジナル
動画像に貼り付けることで、あたかも、長方形の部分に
最初から３次元物体があったかのような状態を撮影した
画像を作成することができる。
【００２１】オリジナル動画像は、時刻ｔ＝１からｔ＝
Ｔまで撮影が行われたとする。長方形の縦横比をＲと
し、画像の縦横比をＱとする。時刻ｔにおけるカメラの
位置を（Ｔx(t),Ｔy(t),Ｔz(t)）とし、カメラの向きを
（α(t),β(t),γ(t)）とし、カメラの焦点距離をｆ(t)
とすると、次の式３が成立する。
Ｔまで撮影が行われたとする。長方形の縦横比をＲと
し、画像の縦横比をＱとする。時刻ｔにおけるカメラの
位置を（Ｔx(t),Ｔy(t),Ｔz(t)）とし、カメラの向きを
（α(t),β(t),γ(t)）とし、カメラの焦点距離をｆ(t)
とすると、次の式３が成立する。
【００２２】
【数９】
【００２３】従って、観測値（Ｕi(t),Ｖi(t)）には、
誤差（εi(t),δi(t)）が含まれていると考え、次の式
４の条件下で、次の式５で表わされる２乗誤差を最小と
するような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、
γ(t)、ｆ(t)及びＲ、Ｑを求めればよい。
誤差（εi(t),δi(t)）が含まれていると考え、次の式
４の条件下で、次の式５で表わされる２乗誤差を最小と
するような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、
γ(t)、ｆ(t)及びＲ、Ｑを求めればよい。
【００２４】
【数１０】
【００２５】
【数１１】
【００２６】上記式４の条件下で上記式５を解くという
事は、次の式６を最小とするＴx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求めることと
同値である。
事は、次の式６を最小とするＴx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求めることと
同値である。
【００２７】
【数１２】
【００２８】ただし、上記式６が最小値となる解を求め
るのは不安定であり、観測値（Ｕi(t),Ｖi(t)）に含ま
れるほんの少しの誤差（εi(t),δi(t)）の違いで、求
められるＴx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ
(t)、ｆ(t)及びＲ、Ｑは、大きく違ってくる。この場
合、さらに、以下のような工夫をすることでより安定し
た解を求めることができる。
るのは不安定であり、観測値（Ｕi(t),Ｖi(t)）に含ま
れるほんの少しの誤差（εi(t),δi(t)）の違いで、求
められるＴx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ
(t)、ｆ(t)及びＲ、Ｑは、大きく違ってくる。この場
合、さらに、以下のような工夫をすることでより安定し
た解を求めることができる。
【００２９】すなわち、パラメータＴx(t)、Ｔy(t)、Ｔ
z(t)、α(t)、β(t)、γ(t)、ｆ(t)は、実際に撮影した
ときのカメラの位置、向き、焦点距離を表わしており、
時間と共に滑らかに変化すると考えられる。つまり、次
の式７で表わされる値は、それぞれ非常に小さな値であ
る。
z(t)、α(t)、β(t)、γ(t)、ｆ(t)は、実際に撮影した
ときのカメラの位置、向き、焦点距離を表わしており、
時間と共に滑らかに変化すると考えられる。つまり、次
の式７で表わされる値は、それぞれ非常に小さな値であ
る。
【００３０】
【数１３】
【００３１】従って、「式７で表わされる値は、ほぼ０
である。」という条件も加味することで、より安定な解
を求めることができる。すなわち、次の式８が最小値と
なるような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、
γ(t)、ｆ(t)及びＲ、Ｑを求めればよい。
である。」という条件も加味することで、より安定な解
を求めることができる。すなわち、次の式８が最小値と
なるような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、
γ(t)、ｆ(t)及びＲ、Ｑを求めればよい。
【００３２】
【数１４】
【００３３】ここで、上記式８中のｋTx、ｋTy、ｋTz、
ｋα、ｋβ、ｋγ、Ｋf は、それぞれ、Ｔx(t)、Ｔy
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)の滑らかさ
を表わす重みである。あるパラメータの変化が滑らかに
変化するように撮影が行われたのであれば、それに対応
する重みを重くすればよい。これら重みは、ユーザーに
より与えられるが、デフォルトとして適当な値（例え
ば、０．０１）がセットされるようにしておけば、ユー
ザーは明示的にセットしなくてもよくなる。
ｋα、ｋβ、ｋγ、Ｋf は、それぞれ、Ｔx(t)、Ｔy
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)の滑らかさ
を表わす重みである。あるパラメータの変化が滑らかに
変化するように撮影が行われたのであれば、それに対応
する重みを重くすればよい。これら重みは、ユーザーに
より与えられるが、デフォルトとして適当な値（例え
ば、０．０１）がセットされるようにしておけば、ユー
ザーは明示的にセットしなくてもよくなる。
【００３４】以上の一連の処理を、再度、図４のフロー
チャートを用いて説明する。
チャートを用いて説明する。
【００３５】図４において、まず最初にステップＳ１
で、ｋTx、ｋTy、ｋTz、ｋα、ｋβ、ｋγ、Ｋf の値を
入力する。さきほども述べたが、不明である場合は入力
を行う必要はなく、デフォルトの値がセットされる。そ
して、ステップＳ２に進む。
で、ｋTx、ｋTy、ｋTz、ｋα、ｋβ、ｋγ、Ｋf の値を
入力する。さきほども述べたが、不明である場合は入力
を行う必要はなく、デフォルトの値がセットされる。そ
して、ステップＳ２に進む。
【００３６】ステップＳ２では、オリジナル動画像に投
影された長方形の４隅（４つの頂点）の投影像の軌跡を
入力する。すなわち、ｔ＝１〜Ｔまでの、（Ｕ1(t),Ｖ1
(t)）、（Ｕ2(t),Ｖ2(t)）、（Ｕ3(t),Ｖ3(t)）、（Ｕ4
(t),Ｖ4(t)）を入力する。そして、ステップＳ３に進
む。
影された長方形の４隅（４つの頂点）の投影像の軌跡を
入力する。すなわち、ｔ＝１〜Ｔまでの、（Ｕ1(t),Ｖ1
(t)）、（Ｕ2(t),Ｖ2(t)）、（Ｕ3(t),Ｖ3(t)）、（Ｕ4
(t),Ｖ4(t)）を入力する。そして、ステップＳ３に進
む。
【００３７】ステップＳ３では、上記式８が最小値とな
るような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ
(t)、ｆ(t)及びＲ、Ｑを求める。そして、ステップＳ４
に進む。
るような、Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ
(t)、ｆ(t)及びＲ、Ｑを求める。そして、ステップＳ４
に進む。
【００３８】ステップＳ４で、Ｔx(t)、Ｔy(t)、Ｔz
(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを出力し
て、この一連の処理を終わる。
(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを出力し
て、この一連の処理を終わる。
【００３９】また、あるパラメータが変化しないことが
予め分かっていれば、それを条件に加えて解けばよい。
具体的には、焦点距離を変更せずに撮影が行われたので
あれば、ｆ(t)は一定であるという条件を加えて、解け
ばよい。
予め分かっていれば、それを条件に加えて解けばよい。
具体的には、焦点距離を変更せずに撮影が行われたので
あれば、ｆ(t)は一定であるという条件を加えて、解け
ばよい。
【００４０】なお、このようにして求めた、Ｔx(t)、Ｔ
y(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を使って、次の式９に示す変換により３次元物体を２次
元画像に変換して、オリジナル動画像に貼り付けること
で、あたかも、最初から３次元物体があったかのような
状態を撮影した画像となる。
y(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を使って、次の式９に示す変換により３次元物体を２次
元画像に変換して、オリジナル動画像に貼り付けること
で、あたかも、最初から３次元物体があったかのような
状態を撮影した画像となる。
【００４１】
【数１５】
【００４２】なお、上記式９で、（Ｘm,Ｙm,Ｚm）は３
次元物体の位置である。そして、（Ｕm(t),Ｖm(t)）
が、時刻ｔにおける、その３次元物体を貼り付ける場所
である。
次元物体の位置である。そして、（Ｕm(t),Ｖm(t)）
が、時刻ｔにおける、その３次元物体を貼り付ける場所
である。
【００４３】次に、本発明の画像処理装置の実施の形態
は、例えば、図５に示す演算装置により実施される。
は、例えば、図５に示す演算装置により実施される。
【００４４】この図５において、カメラパラメータ算出
のための演算装置２０は、いわゆるＣＰＵ等の演算処理
回路２１と、この演算処理回路２１の処理プログラムが
格納されたプログラムメモリ２２と、処理データ（オリ
ジナル動画像と特徴点の画像上での投影位置の情報）を
格納するデータメモリ２３と、データをユーザーに表示
するための表示装置２４と、マウスやキーボード等から
成る入力装置２５と、各回路を接続してプログラムやデ
ータを伝送するバス２６とを備えている。
のための演算装置２０は、いわゆるＣＰＵ等の演算処理
回路２１と、この演算処理回路２１の処理プログラムが
格納されたプログラムメモリ２２と、処理データ（オリ
ジナル動画像と特徴点の画像上での投影位置の情報）を
格納するデータメモリ２３と、データをユーザーに表示
するための表示装置２４と、マウスやキーボード等から
成る入力装置２５と、各回路を接続してプログラムやデ
ータを伝送するバス２６とを備えている。
【００４５】データメモリ２３に格納されている画像デ
ータおよび入力装置２５により入力されるデータを使用
して、演算処理回路２１で、上記図４に示したフローチ
ャートのような一連の処理が行われる。
ータおよび入力装置２５により入力されるデータを使用
して、演算処理回路２１で、上記図４に示したフローチ
ャートのような一連の処理が行われる。
【００４６】上記プログラムメモリ２２には、上述した
ようなカメラパラメータ算出方法の各手順を実行するた
めのプログラムが記憶される。また、このプログラムが
記録されたＣＤ−ＲＯＭ等の光ディスク、磁気ディス
ク、磁気テープ、半導体メモリ等の記録媒体を提供する
こともできる。
ようなカメラパラメータ算出方法の各手順を実行するた
めのプログラムが記憶される。また、このプログラムが
記録されたＣＤ−ＲＯＭ等の光ディスク、磁気ディス
ク、磁気テープ、半導体メモリ等の記録媒体を提供する
こともできる。
【００４７】以上説明したような本発明の実施の形態に
よれば、上記長方形の４頂点の軌跡からカメラパラメー
タを求めることができる。そして、このカメラパラメー
タを使用して３次元の物体を貼り付けることで、あたか
も、最初から３次元物体があったかのような状態を撮影
した画像を作成することができる。
よれば、上記長方形の４頂点の軌跡からカメラパラメー
タを求めることができる。そして、このカメラパラメー
タを使用して３次元の物体を貼り付けることで、あたか
も、最初から３次元物体があったかのような状態を撮影
した画像を作成することができる。
【００４８】なお、本発明は上記実施の形態のみに限定
されるものではなく、本発明の要旨を逸脱しない範囲で
種々の変更が可能であることは勿論である。
されるものではなく、本発明の要旨を逸脱しない範囲で
種々の変更が可能であることは勿論である。
【００４９】
【発明の効果】以上の説明から明らかなように、本発明
によれば、撮影装置を使用して撮影した３次元上にある
長方形状体の頂点の投影像位置（Ｕi(t),Ｖi(t)）、
（ｉ＝１〜４）を入力とし、該撮影装置のカメラパラメ
ータを求める際に、
によれば、撮影装置を使用して撮影した３次元上にある
長方形状体の頂点の投影像位置（Ｕi(t),Ｖi(t)）、
（ｉ＝１〜４）を入力とし、該撮影装置のカメラパラメ
ータを求める際に、
【００５０】
【数１６】
【００５１】という式（ａ）を満たす変数Ｔx(t)、Ｔy
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求めることにより、カメラの位置（Ｔx(t),Ｔy(t),Ｔ
z(t)）、カメラの向き（α(t),β(t),γ(t)）、及びカ
メラの焦点距離ｆ(t)等のカメラパラメータを得ること
ができる。すなわち、長方形の４頂点の軌跡からカメラ
パラメータを求めることができ、このカメラパラメータ
を使用して３次元の物体を貼り付けることで、あたか
も、最初から３次元物体があったかのような状態を撮影
した画像を作成することができる。
(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑ
を求めることにより、カメラの位置（Ｔx(t),Ｔy(t),Ｔ
z(t)）、カメラの向き（α(t),β(t),γ(t)）、及びカ
メラの焦点距離ｆ(t)等のカメラパラメータを得ること
ができる。すなわち、長方形の４頂点の軌跡からカメラ
パラメータを求めることができ、このカメラパラメータ
を使用して３次元の物体を貼り付けることで、あたか
も、最初から３次元物体があったかのような状態を撮影
した画像を作成することができる。
【図１】撮像装置を使用して撮影された画像の一例を示
す図である。
す図である。
【図２】３次元物体上に貼り付けるテクスチャの一例を
示す図である。
示す図である。
【図３】テクスチャが貼り付けられた画像の一例を示す
図である。
図である。
【図４】本発明に係るカメラパラメータの算出方法の実
施の形態の動作を説明するためのフローチャートであ
る。
施の形態の動作を説明するためのフローチャートであ
る。
【図５】本発明に係る画像処理装置の実施の形態の概略
的な構成例を示すブロック回路図である。
的な構成例を示すブロック回路図である。
１１〜１４ 長方形の各頂点、 ２０ 演算装置、 ２
１ 演算処理回路、２２ プログラムメモリ、 ２３
データメモリ、 ２４ 表示装置、 ２５入力装置、
２６ バス
１ 演算処理回路、２２ プログラムメモリ、 ２３
データメモリ、 ２４ 表示装置、 ２５入力装置、
２６ バス
Claims (8)
- 【請求項１】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める方法において、 【数１】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
することを特徴とするカメラパラメータ算出方法。 - 【請求項２】 上記式（ａ）を満たし、かつ、各変数Ｔ
x(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)
は、時間とともに滑らかに変化すると仮定して、該Ｔx
(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及
びＲ、Ｑを求め、カメラの位置（Ｔx(t),Ｔy(t),Ｔz
(t)）、カメラの向き（α(t),β(t),γ(t)）、及びカメ
ラの焦点距離ｆ(t)を出力することを特徴とする請求項
１記載のカメラパラメータ算出方法。 - 【請求項３】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを求める画像処理装置において、 【数２】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
する演算処理手段を有することを特徴とする画像処理装
置。 - 【請求項４】 上記演算処理手段は、上記式（ａ）を満
たし、かつ、各変数Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、
β(t)、γ(t)、ｆ(t)は、時間とともに滑らかに変化す
ると仮定して、該Ｔx(t)、Ｔy(t)、Ｔz(t)、α(t)、β
(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラの位置
（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α(t),β
(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力するこ
とを特徴とする請求項３記載の画像処理装置。 - 【請求項５】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを演算装置により求めるためのプログラム
において、 【数３】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
する処理を上記演算装置に実行させることを特徴とする
プログラム。 - 【請求項６】 上記式（ａ）を満たし、かつ、各変数Ｔ
x(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)
は、時間とともに滑らかに変化すると仮定して、該Ｔx
(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及
びＲ、Ｑを求め、カメラの位置（Ｔx(t),Ｔy(t),Ｔz
(t)）、カメラの向き（α(t),β(t),γ(t)）、及びカメ
ラの焦点距離ｆ(t)を出力する処理を上記演算装置に実
行させることを特徴とする請求項５記載のプログラム。 - 【請求項７】 撮影装置を使用して撮影した３次元上に
ある長方形状体の頂点の投影像位置（Ｕi(t),Ｖi
(t)）、（ｉ＝１〜４）を入力とし、該撮影装置のカメ
ラパラメータを演算装置により求めるためのプログラム
が記録されたコンピュータ読み取り可能な記録媒体にお
いて、 【数４】 という式（ａ）を満たす変数Ｔx(t)、Ｔy(t)、Ｔz(t)、
α(t)、β(t)、γ(t)、ｆ(t)及びＲ、Ｑを求め、カメラ
の位置（Ｔx(t),Ｔy(t),Ｔz(t)）、カメラの向き（α
(t),β(t),γ(t)）、及びカメラの焦点距離ｆ(t)を出力
する処理を上記演算装置に実行させるプログラムが記録
されたことを特徴とする記録媒体。 - 【請求項８】 上記式（ａ）を満たし、かつ、各変数Ｔ
x(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)
は、時間とともに滑らかに変化すると仮定して、該Ｔx
(t)、Ｔy(t)、Ｔz(t)、α(t)、β(t)、γ(t)、ｆ(t)及
びＲ、Ｑを求め、カメラの位置（Ｔx(t),Ｔy(t),Ｔz
(t)）、カメラの向き（α(t),β(t),γ(t)）、及びカメ
ラの焦点距離ｆ(t)を出力する処理を上記演算装置に実
行させるプログラムが記録されたことを特徴とする請求
項７記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001401419A JP2003196663A (ja) | 2001-12-28 | 2001-12-28 | カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001401419A JP2003196663A (ja) | 2001-12-28 | 2001-12-28 | カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003196663A true JP2003196663A (ja) | 2003-07-11 |
Family
ID=27605403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001401419A Withdrawn JP2003196663A (ja) | 2001-12-28 | 2001-12-28 | カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003196663A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009505553A (ja) * | 2005-08-17 | 2009-02-05 | オーラッド ハイ−テック システムズ エルティーディー． | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 |
-
2001
- 2001-12-28 JP JP2001401419A patent/JP2003196663A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009505553A (ja) * | 2005-08-17 | 2009-02-05 | オーラッド ハイ−テック システムズ エルティーディー． | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 |
| US8483549B2 (en) | 2005-08-17 | 2013-07-09 | Orad Hi-Tec Systems Ltd. | System and method for managing the visual effects insertion in a video stream |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| JP6395423B2 (ja) | 画像処理装置、制御方法及びプログラム | |
| US9865032B2 (en) | Focal length warping | |
| US9424676B2 (en) | Transitioning between top-down maps and local navigation of reconstructed 3-D scenes | |
| JP2009134509A (ja) | モザイク画像生成装置及びモザイク画像生成方法 | |
| JP2021044004A (ja) | 任意ビューの生成 | |
| JP6902881B2 (ja) | 情報処理装置及び三次元モデルの生成方法 | |
| Stoev et al. | A case study on automatic camera placement and motion for visualizing historical data | |
| JP2021152724A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4376340B2 (ja) | 曲線スライダ装置 | |
| JP5530391B2 (ja) | カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム | |
| JPH11164325A (ja) | パノラマ画像生成方法及びそのプログラムを記録した記録媒体 | |
| JP2003196663A (ja) | カメラパラメータ算出方法、画像処理装置、プログラム及び記録媒体 | |
| JPH1079027A (ja) | 移動カメラ用の画像処理装置 | |
| US20040155886A1 (en) | Image simulation processing method, processing apparatus, and program | |
| JP2004072553A (ja) | 映像歪み補正方法及び同方法用プログラム | |
| JP2007025979A (ja) | 動画像編集システム、動画像編集方法、動画像編集プログラム及び記録媒体 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP3175971B2 (ja) | 動画内容表示方法 | |
| JP2005157847A (ja) | 画像処理装置および処理方法 | |
| US11861815B2 (en) | Composite image creating method, composite image creating apparatus, and computer program stored in recording medium to execute the method | |
| JP2003178308A (ja) | 演算方法及び装置、プログラム、並びに記録媒体 | |
| JP2000057376A (ja) | 新視点画像生成方法 | |
| JP3872469B2 (ja) | データ処理方法、データ処理装置 | |
| JPH11238144A (ja) | 画像変換装置及び画像変換方法及び画像変換プログラムが記録された記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050301 |