JP2008015576A - 3次元コンピュータグラフィックス合成方法及び装置 - Google Patents
3次元コンピュータグラフィックス合成方法及び装置 Download PDFInfo
- Publication number
- JP2008015576A JP2008015576A JP2006182964A JP2006182964A JP2008015576A JP 2008015576 A JP2008015576 A JP 2008015576A JP 2006182964 A JP2006182964 A JP 2006182964A JP 2006182964 A JP2006182964 A JP 2006182964A JP 2008015576 A JP2008015576 A JP 2008015576A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- information
- moving image
- distance information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 9
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000013329 compounding Methods 0.000 abstract 2
- 238000006243 chemical reaction Methods 0.000 description 13
- 239000002131 composite material Substances 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出し、前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する。
【選択図】 図1
Description
また、本発明は、動画再生時に、サイズや位置等違和感なく3次元CGをリアルタイムに合成可能とすることを目的とする。
また、本発明は、動画再生時に、動画上に3次元CGを合成する合成位置情報を3次元データとして取得することを目的とする。
また、再生(画像生成)時に3次元で合成するため、算出した3次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と3次元CGとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。
また、再生(画像生成)時に3次元で合成するため、算出した3次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と3次元CGとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。
図3は、本発明に係る3次元コンピュータグラフィックス合成装置の機能ブロック図である。図3において、101は編集システムを制御する編集制御計算機、102は動画撮像手段、103は動画像データ記憶手段、104は特徴点特定手段、105は合成位置算出手段、106は合成位置情報記憶手段、107はCGモデル生成手段、108はCGモデル記憶手段、109は再生時のシステムを制御する再生制御計算機、111はカメラ情報記録手段、112はシミュレータ操作機器、113は画像再生手段、114は3次元変換手段、115は2次元変換手段、116はリアルタイム合成手段、117は表示装置である。
動画像データ記憶手段103に動画撮像手段102で撮像した実写動画像データを記憶させておく(ステップP102)。
特徴点特定手段104はコンピュータにより構成され、動画像撮像手段102により撮像した実写動画像データにおける特徴点の位置を特定する。例えば、再生された実写動画像のある1フレームについて画像の中から特徴的な点を担当者が予め指定し、特徴点特定手段104は他のフレームについてその指定された点とその周囲との関係から同一の特徴点の位置をフレーム間でトラッキング(追尾)処理を行い、特徴点の画面上の位置を特定する。
合成位置算出手段105はコンピュータにより構成され、前記特徴点特定手段104が特定した特徴点の画像上の位置と特徴点の3次元情報(x,y,z)のうち仮想した視点からの距離(z)でないx(又はy)の情報(仮想的でよい)から距離情報(z)を算出し(ステップP103)、この3次元の位置情報(x,y,z)を合成位置情報記憶手段106に記憶しておく(ステップP104)。
この合成位置の算出について説明する。通常3次元CGモデルは、以下の式(1)〜(4)に示すように既知の3次元データを2次元データに変換して画面に表示する。
P´=TP (1)
V =MP´ (2)
P =[xm ym zm]T P :3次元データ(ワールド座標系)
P´=[x´m y´m z´m]T P´:3次元データ(カメラ座標系)
V =[xp yp]T V :2次元データ(スクリーン座標系)
T:変換マトリクス(ワールド座標系→カメラ座標系)
V:変換マトリクス(カメラ座標系→スクリーン座標系)
xp=F(xm,ym,zm) (3)
yp=G(xm,ym,zm) (4)
F:線形1次方程式
G:線形1次方程式
合成位置算出手段105においては、上式とは逆に2次元データ(xpとyp)と既知(又は仮想)の距離(zm)でない3次元データの1つ(xm又はym)を使用して、残りの2つの3次元データ(ym又はxmと、zm)を算出するものである。2次元データ(xpとyp)は、前述の特徴点特定手段104が特定した特徴点の画像上の位置から合成位置算出手段105が特定した3次元CGモデルを合成する画面上の位置である。式(5)〜式(11)にymを既知としてzmとxmを求める式を示す。ここで式(5)、式(6)はそれぞれ式(3)、式(4)を要素で表したものである。
xp=fxxm+fyym+fzzm (5)
yp=gxxm+gyym+gzzm (6)
gxxp=gxfxxm+gxfyym+gxfzzm (7)
fxyp=fxgxxm+fxgyym+fxgzzm (8)
(gxfz−fxgz)zm=gxxp−fxyp−(gxfy−fxgy)ym
(9)
zm=(gxxp−fxyp−(gxfy−fxgy)ym)/(gxfz−fxgz)
(10)
xm=(xp−(fyym+fzzm))/fx (11)
画像再生手段113は、動画像データ手段103から実写動画像データを得て再生する(ステップP108)。画像再生手段113は、例えばビデオ再生装置、CD再生装置、DVD再生装置あるいはコンピュータ装置を用いる。
3次元変換手段114は、CGモデル記憶手段108からのCGモデルデータを合成位置情報記憶手段106の合成位置情報による距離情報(z)を含む位置に操作者からの視点から見た姿勢になるように3次元データを構成する。このとき、カメラ情報記録手段111から位置情報を参照して補正する(ステップP109)。
2次元変換手段115は、3次元変換手段114からの3次元データを表示装置117のスクリーン座標系の2次元データに変換する(ステップP110)。
リアルタイム合成手段116は、画像再生手段113が実写動画像を再生する際に2次元変換手段115からのCGモデルと合成する。従って、CGモデルは、合成位置算出手段105で算出された位置になるように合成される(ステップP111)。表示装置117は合成画像を表示することができる。
上記のようにステップP103において合成位置算出手段105が、動画像データ記憶手段103からの動画像データすなわち2次元データ上の合成位置(特徴点など)から逆算して3次元の位置情報を得る逆算方式をとることにより、入力となる3次元情報に誤差があっても、動画上の特徴点などに追従した合成が可能となる。
Claims (2)
- 予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、
前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出し、
前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成することを特徴とする3次元コンピュータグラフィックス合成方法。 - 予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定する特徴点特定手段と、
前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出する合成位置算出手段と、
前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する画像合成手段とを備えたことを特徴とする3次元コンピュータグラフィックス合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006182964A JP4863790B2 (ja) | 2006-07-03 | 2006-07-03 | 3次元コンピュータグラフィックス合成方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006182964A JP4863790B2 (ja) | 2006-07-03 | 2006-07-03 | 3次元コンピュータグラフィックス合成方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008015576A true JP2008015576A (ja) | 2008-01-24 |
JP4863790B2 JP4863790B2 (ja) | 2012-01-25 |
Family
ID=39072555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006182964A Active JP4863790B2 (ja) | 2006-07-03 | 2006-07-03 | 3次元コンピュータグラフィックス合成方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4863790B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015506030A (ja) * | 2011-12-13 | 2015-02-26 | ソリダニム | ビデオムービーを撮影するためのシステム |
WO2019107420A1 (ja) * | 2017-11-28 | 2019-06-06 | Jfeスチール株式会社 | 設備管理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149517A (ja) * | 1994-09-22 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元映像から3次元映像を生成する方法 |
JPH10304244A (ja) * | 1997-05-01 | 1998-11-13 | Sony Corp | 画像処理装置およびその方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2003141569A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
-
2006
- 2006-07-03 JP JP2006182964A patent/JP4863790B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149517A (ja) * | 1994-09-22 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元映像から3次元映像を生成する方法 |
JPH10304244A (ja) * | 1997-05-01 | 1998-11-13 | Sony Corp | 画像処理装置およびその方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2003141569A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015506030A (ja) * | 2011-12-13 | 2015-02-26 | ソリダニム | ビデオムービーを撮影するためのシステム |
US9648271B2 (en) | 2011-12-13 | 2017-05-09 | Solidanim | System for filming a video movie |
US9756277B2 (en) | 2011-12-13 | 2017-09-05 | Solidanim | System for filming a video movie |
WO2019107420A1 (ja) * | 2017-11-28 | 2019-06-06 | Jfeスチール株式会社 | 設備管理システム |
JPWO2019107420A1 (ja) * | 2017-11-28 | 2019-12-12 | Jfeスチール株式会社 | 設備管理システム |
KR20200078597A (ko) * | 2017-11-28 | 2020-07-01 | 제이에프이 스틸 가부시키가이샤 | 설비 관리 시스템 |
KR102374570B1 (ko) | 2017-11-28 | 2022-03-14 | 제이에프이 스틸 가부시키가이샤 | 설비 관리 시스템 |
US11308376B2 (en) | 2017-11-28 | 2022-04-19 | Jfe Steel Corporation | Equipment management system |
Also Published As
Publication number | Publication date |
---|---|
JP4863790B2 (ja) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108200445B (zh) | 虚拟形象的虚拟演播系统及方法 | |
TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
JP4285422B2 (ja) | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 | |
US11232626B2 (en) | System, method and apparatus for media pre-visualization | |
Gonzalez-Franco et al. | Movebox: Democratizing mocap for the microsoft rocketbox avatar library | |
WO2009093136A3 (en) | Image capture and motion picture generation | |
WO2020166376A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP4863790B2 (ja) | 3次元コンピュータグラフィックス合成方法及び装置 | |
JPH10327349A (ja) | 画像生成装置および画像生成方法 | |
JP2006310936A (ja) | 任意視点映像生成システム | |
JP5115799B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP7387286B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4886349B2 (ja) | 模擬視界生成装置 | |
JP4371863B2 (ja) | 再生装置及び方法 | |
Krinidis et al. | An audio-visual database for evaluating person tracking algorithms | |
JP5523295B2 (ja) | 動画生成装置 | |
JP2021197082A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP4899733B2 (ja) | 画像生成方法及び画像生成システム | |
WO2019130413A1 (ja) | 画像生成システム、画像生成方法及びプログラム | |
JP3485459B2 (ja) | 被写体映像統合方法及び装置及び記録媒体 | |
CN219802409U (zh) | 一种xr虚拟制片实时合成系统 | |
WO2023100703A1 (ja) | 画像制作システム、画像制作方法、プログラム | |
AU2018203096B2 (en) | System, method and apparatus for rapid film pre-visualization | |
WO2023100704A1 (ja) | 画像制作システム、画像制作方法、プログラム | |
JP2003348388A (ja) | 3dコマーシャルビデオ制作システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4863790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |