JP2008015576A - 3次元コンピュータグラフィックス合成方法及び装置 - Google Patents

3次元コンピュータグラフィックス合成方法及び装置 Download PDF

Info

Publication number
JP2008015576A
JP2008015576A JP2006182964A JP2006182964A JP2008015576A JP 2008015576 A JP2008015576 A JP 2008015576A JP 2006182964 A JP2006182964 A JP 2006182964A JP 2006182964 A JP2006182964 A JP 2006182964A JP 2008015576 A JP2008015576 A JP 2008015576A
Authority
JP
Japan
Prior art keywords
image
dimensional
information
moving image
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006182964A
Other languages
English (en)
Other versions
JP4863790B2 (ja
Inventor
Kazunari Nakajima
和成 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Precision Co Ltd
Original Assignee
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Precision Co Ltd filed Critical Mitsubishi Precision Co Ltd
Priority to JP2006182964A priority Critical patent/JP4863790B2/ja
Publication of JP2008015576A publication Critical patent/JP2008015576A/ja
Application granted granted Critical
Publication of JP4863790B2 publication Critical patent/JP4863790B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】実写動画像の再生時に動画上に3次元CGを合成する合成位置情報を3次元データとして取得して、ユーザーのシミュレータ装置の操作入力に応じて、サイズや位置等違和感なく3次元CGをリアルタイムに合成可能とする。
【解決手段】予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出し、前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する。
【選択図】 図1

Description

本発明は、シミュレータ装置において、実写動画像へ視点からの距離に対応した3次元CG(コンピュータグラフィックス)をリアルタイムに合成する方法及び装置に関するものである。
従来の動画像へのCG合成には、映画など編集時に合成し再生時には特に処理を行わないものがある。またゲーム等では編集時に画面上(2次元)の位置のみを算出し、再生(画像生成)時に2次元で構成すると思われるものがあるが、この場合再生時の位置は固定になる。
本発明は、実写動画像の再生(描画)時にユーザーのシミュレータ装置の操作入力に応じて、3次元CGモデルを合成表示可能とすることを目的とする。
また、本発明は、動画再生時に、サイズや位置等違和感なく3次元CGをリアルタイムに合成可能とすることを目的とする。
また、本発明は、動画再生時に、動画上に3次元CGを合成する合成位置情報を3次元データとして取得することを目的とする。
請求項1に係る3次元コンピュータグラフィックス合成方法は、予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出し、前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成することを特徴とするものである。
請求項2に係る3次元コンピュータグラフィックス合成装置は、予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定する特徴点特定手段と、前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出する合成位置算出手段と、前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する画像合成手段とを備えたことを特徴とするものである。
請求項1に係る3次元コンピュータグラフィックス合成方法によると、2次元データすなわち予め撮像した動画像データから特徴点のフレーム間トラッキングにより特定された画像上の位置から、3次元データすなわち前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出することにより、入力となる3次元情報の位置情報に誤差があっても、動画像上の特徴な点に追従した合成が可能となる。
また、再生(画像生成)時に3次元で合成するため、算出した3次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と3次元CGとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。
請求項2に係る3次元コンピュータグラフィックス合成装置によると、2次元データすなわち特徴点特定手段によって予め撮像した動画像データから特徴点のフレーム間トラッキングにより特定された画像上の位置から、3次元データすなわち合成位置算出手段が前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出することにより、入力となる3次元情報の位置情報に誤差があっても、動画像上の特徴な点に追従した合成が可能となる。
また、再生(画像生成)時に3次元で合成するため、算出した3次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と3次元CGとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。
図1は、3次元コンピュータグラフィックス合成方法を説明する基本的フロー図、図2は、ユーザーの入力を考慮したフロー図である。
図3は、本発明に係る3次元コンピュータグラフィックス合成装置の機能ブロック図である。図3において、101は編集システムを制御する編集制御計算機、102は動画撮像手段、103は動画像データ記憶手段、104は特徴点特定手段、105は合成位置算出手段、106は合成位置情報記憶手段、107はCGモデル生成手段、108はCGモデル記憶手段、109は再生時のシステムを制御する再生制御計算機、111はカメラ情報記録手段、112はシミュレータ操作機器、113は画像再生手段、114は3次元変換手段、115は2次元変換手段、116はリアルタイム合成手段、117は表示装置である。
動画撮像手段102は例えばビデオカメラで構成し、走行中の電車の運転席から見た実情景を撮像する(図1、図2のステップP101)。
動画像データ記憶手段103に動画撮像手段102で撮像した実写動画像データを記憶させておく(ステップP102)。
特徴点特定手段104はコンピュータにより構成され、動画像撮像手段102により撮像した実写動画像データにおける特徴点の位置を特定する。例えば、再生された実写動画像のある1フレームについて画像の中から特徴的な点を担当者が予め指定し、特徴点特定手段104は他のフレームについてその指定された点とその周囲との関係から同一の特徴点の位置をフレーム間でトラッキング(追尾)処理を行い、特徴点の画面上の位置を特定する。
合成位置算出手段105はコンピュータにより構成され、前記特徴点特定手段104が特定した特徴点の画像上の位置と特徴点の3次元情報(x,y,z)のうち仮想した視点からの距離(z)でないx(又はy)の情報(仮想的でよい)から距離情報(z)を算出し(ステップP103)、この3次元の位置情報(x,y,z)を合成位置情報記憶手段106に記憶しておく(ステップP104)。
この合成位置の算出について説明する。通常3次元CGモデルは、以下の式(1)〜(4)に示すように既知の3次元データを2次元データに変換して画面に表示する。
P´=TP (1)
V =MP´ (2)

P =[x P :3次元データ(ワールド座標系)
P´=[x´ y´ z´ P´:3次元データ(カメラ座標系)
V =[x V :2次元データ(スクリーン座標系)
T:変換マトリクス(ワールド座標系→カメラ座標系)
V:変換マトリクス(カメラ座標系→スクリーン座標系)

=F(x,y,z) (3)
=G(x,y,z) (4)
F:線形1次方程式
G:線形1次方程式

合成位置算出手段105においては、上式とは逆に2次元データ(xとy)と既知(又は仮想)の距離(z)でない3次元データの1つ(x又はy)を使用して、残りの2つの3次元データ(y又はxと、z)を算出するものである。2次元データ(xとy)は、前述の特徴点特定手段104が特定した特徴点の画像上の位置から合成位置算出手段105が特定した3次元CGモデルを合成する画面上の位置である。式(5)〜式(11)にyを既知としてzとxを求める式を示す。ここで式(5)、式(6)はそれぞれ式(3)、式(4)を要素で表したものである。

=f+f+f (5)
=g+g+g (6)
=g+g+g (7)
=f+f+f (8)
(g−f)z=g−f−(g−f)y
(9)
=(g−f−(g−f)y)/(g−f
(10)
=(x−(f+f))/f (11)
一方、CGモデル生成手段107は動画撮像手段102で撮像した動画上に合成すべきCGモデルを生成しておき(ステップP105)、このデータをCGモデル記憶手段108に記憶しておく(ステップP106)。また、CGモデルを動画像データと合成する際に正しく座標変換及び投影効果を出すために撮像装置(カメラ)102の情報(位置、姿勢及び画角またはそれを得るための情報)をカメラ情報記録手段111に記憶しておく(ステップP107)。
以上の撮影、編集フェーズ(オフライン)の後、再生(描画)フェーズ(リアルタイム)に移行する。
画像再生手段113は、動画像データ手段103から実写動画像データを得て再生する(ステップP108)。画像再生手段113は、例えばビデオ再生装置、CD再生装置、DVD再生装置あるいはコンピュータ装置を用いる。
3次元変換手段114は、CGモデル記憶手段108からのCGモデルデータを合成位置情報記憶手段106の合成位置情報による距離情報(z)を含む位置に操作者からの視点から見た姿勢になるように3次元データを構成する。このとき、カメラ情報記録手段111から位置情報を参照して補正する(ステップP109)。
2次元変換手段115は、3次元変換手段114からの3次元データを表示装置117のスクリーン座標系の2次元データに変換する(ステップP110)。
リアルタイム合成手段116は、画像再生手段113が実写動画像を再生する際に2次元変換手段115からのCGモデルと合成する。従って、CGモデルは、合成位置算出手段105で算出された位置になるように合成される(ステップP111)。表示装置117は合成画像を表示することができる。
ユーザーがシミュレータ操作機器112を操作入力する(図2のステップP112)と、入力による合成位置の変更分情報を3次元変換手段114に与え、3次元変換手段114は、ステップP109における3次元データ構成において、ステップP112による操作入力の変更分により位置情報に変更を加える(図2のステップP113)。
上記のようにステップP103において合成位置算出手段105が、動画像データ記憶手段103からの動画像データすなわち2次元データ上の合成位置(特徴点など)から逆算して3次元の位置情報を得る逆算方式をとることにより、入力となる3次元情報に誤差があっても、動画上の特徴点などに追従した合成が可能となる。
本発明は、鉄道シミュレータ等の用途が考えられるが、鉄道車両の運転・走行の教育・訓練用や研究用に限定されるものではなく、一般の遊技場やイベント会場での、ゲーム・娯楽・アトラクションの目的にも使用できるものである。
3次元コンピュータグラフィックス合成方法を説明する基本的フロー図である。 3次元コンピュータグラフィックス合成方法をユーザーの入力を考慮し説明するフロー図である。 3次元コンピュータグラフィックス合成装置の機能ブロック図である。
符号の説明
101…計算機、102…動画撮像手段、103…動画像データ記憶手段、104…特徴点特定手段、105…合成位置算出手段、106…合成位置情報記憶手段、107…CGモデル生成手段、108…CGモデル記憶手段、111…カメラ情報記録手段、112…シミュレータ操作機器、113…画像再生手段、114…3次元変換手段、115…2次元変換手段、116…リアルタイム合成手段、117…表示装置。

Claims (2)

  1. 予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、
    前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出し、
    前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成することを特徴とする3次元コンピュータグラフィックス合成方法。
  2. 予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定する特徴点特定手段と、
    前記画像上の位置と3次元情報のうち距離情報でない位置情報の1つとから前記距離情報を算出する合成位置算出手段と、
    前記算出された距離情報をもとに画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する画像合成手段とを備えたことを特徴とする3次元コンピュータグラフィックス合成装置。
JP2006182964A 2006-07-03 2006-07-03 3次元コンピュータグラフィックス合成方法及び装置 Active JP4863790B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182964A JP4863790B2 (ja) 2006-07-03 2006-07-03 3次元コンピュータグラフィックス合成方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182964A JP4863790B2 (ja) 2006-07-03 2006-07-03 3次元コンピュータグラフィックス合成方法及び装置

Publications (2)

Publication Number Publication Date
JP2008015576A true JP2008015576A (ja) 2008-01-24
JP4863790B2 JP4863790B2 (ja) 2012-01-25

Family

ID=39072555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182964A Active JP4863790B2 (ja) 2006-07-03 2006-07-03 3次元コンピュータグラフィックス合成方法及び装置

Country Status (1)

Country Link
JP (1) JP4863790B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015506030A (ja) * 2011-12-13 2015-02-26 ソリダニム ビデオムービーを撮影するためのシステム
WO2019107420A1 (ja) * 2017-11-28 2019-06-06 Jfeスチール株式会社 設備管理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149517A (ja) * 1994-09-22 1996-06-07 Sanyo Electric Co Ltd 2次元映像から3次元映像を生成する方法
JPH10304244A (ja) * 1997-05-01 1998-11-13 Sony Corp 画像処理装置およびその方法
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2003141569A (ja) * 2001-10-31 2003-05-16 Canon Inc 情報処理方法および映像合成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149517A (ja) * 1994-09-22 1996-06-07 Sanyo Electric Co Ltd 2次元映像から3次元映像を生成する方法
JPH10304244A (ja) * 1997-05-01 1998-11-13 Sony Corp 画像処理装置およびその方法
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2003141569A (ja) * 2001-10-31 2003-05-16 Canon Inc 情報処理方法および映像合成装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015506030A (ja) * 2011-12-13 2015-02-26 ソリダニム ビデオムービーを撮影するためのシステム
US9648271B2 (en) 2011-12-13 2017-05-09 Solidanim System for filming a video movie
US9756277B2 (en) 2011-12-13 2017-09-05 Solidanim System for filming a video movie
WO2019107420A1 (ja) * 2017-11-28 2019-06-06 Jfeスチール株式会社 設備管理システム
JPWO2019107420A1 (ja) * 2017-11-28 2019-12-12 Jfeスチール株式会社 設備管理システム
KR20200078597A (ko) * 2017-11-28 2020-07-01 제이에프이 스틸 가부시키가이샤 설비 관리 시스템
KR102374570B1 (ko) 2017-11-28 2022-03-14 제이에프이 스틸 가부시키가이샤 설비 관리 시스템
US11308376B2 (en) 2017-11-28 2022-04-19 Jfe Steel Corporation Equipment management system

Also Published As

Publication number Publication date
JP4863790B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
CN108200445B (zh) 虚拟形象的虚拟演播系统及方法
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
JP4285422B2 (ja) 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体
US11232626B2 (en) System, method and apparatus for media pre-visualization
Gonzalez-Franco et al. Movebox: Democratizing mocap for the microsoft rocketbox avatar library
WO2009093136A3 (en) Image capture and motion picture generation
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4863790B2 (ja) 3次元コンピュータグラフィックス合成方法及び装置
JPH10327349A (ja) 画像生成装置および画像生成方法
JP2006310936A (ja) 任意視点映像生成システム
JP5115799B2 (ja) 画像処理装置および方法、並びにプログラム
JP7387286B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4886349B2 (ja) 模擬視界生成装置
JP4371863B2 (ja) 再生装置及び方法
Krinidis et al. An audio-visual database for evaluating person tracking algorithms
JP5523295B2 (ja) 動画生成装置
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP4899733B2 (ja) 画像生成方法及び画像生成システム
WO2019130413A1 (ja) 画像生成システム、画像生成方法及びプログラム
JP3485459B2 (ja) 被写体映像統合方法及び装置及び記録媒体
CN219802409U (zh) 一种xr虚拟制片实时合成系统
WO2023100703A1 (ja) 画像制作システム、画像制作方法、プログラム
AU2018203096B2 (en) System, method and apparatus for rapid film pre-visualization
WO2023100704A1 (ja) 画像制作システム、画像制作方法、プログラム
JP2003348388A (ja) 3dコマーシャルビデオ制作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4863790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250