JP2012128737A - Three-dimentional (3d) video generation system - Google Patents
Three-dimentional (3d) video generation system Download PDFInfo
- Publication number
- JP2012128737A JP2012128737A JP2010280863A JP2010280863A JP2012128737A JP 2012128737 A JP2012128737 A JP 2012128737A JP 2010280863 A JP2010280863 A JP 2010280863A JP 2010280863 A JP2010280863 A JP 2010280863A JP 2012128737 A JP2012128737 A JP 2012128737A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- unit
- camera
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、テレビや携帯電話など３Ｄグラフィックスハードウェアが使用できない表示機器に動的に３Ｄ映像を生成する３Ｄ映像生成システム及び３Ｄ映像生成方法に関するものである。 The present invention relates to a 3D video generation system and a 3D video generation method for dynamically generating 3D video on a display device that cannot use 3D graphics hardware such as a television or a mobile phone.
ゲームやアニメーションなどにおける３Ｄ表現は、３ＤＣＧポリゴンデータを３Ｄグラフィクスハードウェアによって２Ｄ画像として描画することによって実現している。 3D representation in games, animations, and the like is realized by rendering 3DCG polygon data as 2D images with 3D graphics hardware.
一方、３Ｄテレビや携帯電話等の表示機器では、高度なＣＰＵやグラフィックエンジン、多量のメモリ等を価格の点から搭載しにくく、多くの演算を必要とする３ＤＣＧポリゴンモデルは事実上使用できないため、従来、これらの表示機器では、アイコンやキャラクタ等に代表されるオブジェクトのアニメーション映像効果や視差画像を得るために、３Ｄオーサリングツールによってあらかじめ作成したムービーを再生するようにしている。 On the other hand, display devices such as 3D TVs and mobile phones are difficult to install with sophisticated CPUs, graphic engines, and large amounts of memory from the viewpoint of price, and 3DCG polygon models that require a lot of computation cannot be used. Conventionally, in these display devices, a movie created in advance by a 3D authoring tool is reproduced in order to obtain an animation image effect or a parallax image of an object represented by an icon or a character.
ところが、このような規定のムービーであると、オブジェクトの視点を変えたいとか、オブジェクトの姿勢を変化させたいといった映像内容の動的な変更要求に対応することができない。これは、立体視のための視差の変更のために３Ｄ表現を動的に調整する必要がある３Ｄテレビなどの表示機器において、特に解決が必要な問題である。 However, such a prescribed movie cannot respond to a dynamic change request for video content such as changing the viewpoint of the object or changing the posture of the object. This is a problem that particularly needs to be solved in a display device such as a 3D television that needs to dynamically adjust the 3D representation in order to change the parallax for stereoscopic viewing.
そこで、モーフィングによって２Ｄ画像を擬似的に３Ｄ映像化する技術が開発されてきている。例えば特許文献１〜３では、キャラクタの状態が割り当てられた画像群から、モーフィングを用いて中割り画像を生成する技術が紹介されているし、その他、モーフィングに関しては、動きを自然化するための様々な手法が考えられている。 In view of this, a technique for simulating a 2D image into a 3D image by morphing has been developed. For example, Patent Documents 1 to 3 introduce a technique for generating an intermediate image using morphing from an image group to which a character state is assigned. In addition, for morphing, a technique for naturalizing movements is introduced. Various methods are considered.
しかしながら、このようなモーフィングでは、自由視点でのオブジェクトの３Ｄ映像化が難しい。様々な姿勢や状態の異なる画像にメタ情報（状態や姿勢）を付加する手法等も考えられてはいるが、アニメーションが複雑または長大になると、不自然な状態や姿勢が含まれやすくなる。 However, in such morphing, it is difficult to make a 3D image of an object from a free viewpoint. Although a method of adding meta information (state and posture) to images having various postures and states has been considered, if the animation is complicated or long, unnatural states and postures are likely to be included.
本発明は、かかる課題を鑑みてなされたものであって、３Ｄグラフィクスハードウェア等を使用できない表示機器においても３Ｄ表現による視差画像等を動的に合成でき、メニューやアイコンなどに様々な視覚エフェクトを適用することが可能な３Ｄ映像生成システムを提供することをその主たる目的としたものである。 The present invention has been made in view of such a problem, and a display device that cannot use 3D graphics hardware or the like can dynamically synthesize a parallax image or the like in 3D representation, and can display various visual effects on menus and icons. The main object of the present invention is to provide a 3D video generation system to which the above can be applied.
すなわち、本発明は、３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることを特徴とする。
That is, the present invention is a video system configured by communicably connecting a 3D information processing apparatus capable of processing 3D images and a 2D image display apparatus capable of processing 2D images,
The 3D information processing apparatus generates a 3D object having a plurality of postures and sets one or more control points corresponding to each of the 3D objects of each posture, and one posture for the 3D object. A state transition definition unit that defines other postures that can be transitioned from, a camera angle setting unit that sets one or more camera angles for each posture of the 3D object set in the 3D object registration unit, and each of the camera angles A 2D image output unit that outputs a 2D image that is a field-of-view image captured in step 1, a state transition information defined by the state transition definition unit, and a parameter configured at least from a camera angle set corresponding to each 2D image A parameter output unit for outputting,
The 2D image display device reads an image reading unit that reads a 2D image transmitted from the 2D image output unit, a parameter reading unit that reads the parameter transmitted from the parameter output unit, and between two designated 2D images A plurality of transition images are generated from state transition information and camera angles included in the parameters, and a video generation unit that generates videos that continuously change between the 2D images is provided. And
このようなものであれば、３Ｄグラフィクスハードウェアを持たず、３Ｄ画像、すなわち３次元情報を有する画像を、３次元情報を保持させたまま、変形や視点変更のできない２Ｄ画像表示装置でも、任意の視点における３Ｄアニメーション映像等を、装置内部の２Ｄ画像処理演算で生成できる。これは、３Ｄ情報処理装置側で、３Ｄ画像を、２Ｄ画像演算できるだけの処理を施した後、２Ｄ画像にして送信するからである。
前記２Ｄ画像演算処理とは、例えばステレオ視やイメージモーフィングの手法を組み合わせによる２Ｄ画像の変形処理や合成処理のことである。
If this is the case, any 2D image display device that does not have 3D graphics hardware and that cannot be transformed or changed the viewpoint while maintaining the 3D information without changing the 3D image, that is, the image having the 3D information, is arbitrary. 3D animation images and the like at the viewpoint can be generated by 2D image processing calculation inside the apparatus. This is because the 3D information processing apparatus side performs processing sufficient to perform 2D image calculation, and then transmits the 3D image as a 2D image.
The 2D image calculation processing is, for example, deformation processing or composition processing of 2D images by combining stereo viewing and image morphing techniques.
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。 In addition, when synthesizing an animation image that adds various movements to a character from a still image, it is necessary to synthesize many still images with different postures without a sense of incongruity. In this embodiment, since a composition rule using state transition can be defined, it is possible to synthesize images having different postures without a sense of incongruity.
本発明は、姿勢変更を伴わず、カメラアングル、すなわちカメラ視点のみ変更した場合の遷移３Ｄ画像も生成することができる。その場合は、前記３Ｄ情報処理装置が、３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることが好ましい。
The present invention can also generate a transition 3D image when only the camera angle, that is, the camera viewpoint, is changed without changing the posture. In this case, the 3D information processing apparatus sets a camera angle setting unit that sets one or more camera angles for a 3D object, and a 2D image output unit that outputs a 2D image that is a visual field image captured at each camera angle. And a parameter output unit that outputs a parameter configured at least from the camera angle,
The 2D image display device reads an image reading unit that reads a 2D image transmitted from the 2D image output unit, a parameter reading unit that reads the parameter transmitted from the parameter output unit, and between two designated 2D images It is preferable that a plurality of transition images are generated from a camera angle included in the parameter, and a video generation unit that generates a video that continuously changes between the 2D images is provided.
このように本発明によれば、３Ｄ情報処理装置と２Ｄ画像表示装置とでの機能分担を巧みに設定しているので、２Ｄ画像表示装置で、３Ｄ表現によるオブジェクトの視差画像や変形遷移画像を、例えばユーザの操作によって動的に、都度生成することができる。 As described above, according to the present invention, since the function sharing between the 3D information processing apparatus and the 2D image display apparatus is skillfully set, the 2D image display apparatus can display the parallax image and the modified transition image of the object in 3D representation. For example, it can be dynamically generated by a user operation.
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態に係る映像生成システムの全体構成を概略的に表したものである。
この映像生成システムは、メニューやアイコンなど表示機器のＧＵＩにかかわるコンテンツの生成と利用に主として用いられるものである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 schematically shows the overall configuration of a video generation system according to the present embodiment.
This video generation system is mainly used for generation and use of content related to GUI of a display device such as menus and icons.
図１中、３Ｄ情報処理装置たる汎用計算機４００は、ハードウェア的には、ＣＰＵやメモリ、ディスプレイ、入力機器等を具備するものであり、前記メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである３ＤＣＧモデルオーサリングツール１００としての機能を発揮する。 In FIG. 1, a general-purpose computer 400, which is a 3D information processing apparatus, includes a CPU, a memory, a display, an input device, and the like in hardware. The CPU cooperates with peripheral devices according to a program stored in the memory. By functioning, it functions as a 3DCG model authoring tool 100 that is editing software for outputting an image group for dynamically synthesizing parallax images and animation images and various parameters 500.
２Ｄ画像表示装置たる電化製品２００は、画像表示機能で言えば、一般的な２Ｄ画像の表示機能のみを備え、画像群および各種パラメータ５００を処理するための処理能力を持つプロセッサを備えたものである。しかして、この電化製品２００が有する後述の各部としての機能は、汎用計算機４００同様、メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって得られるものである。なお、この電化製品２００において表示されるメニューやアイコンなどは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。 In terms of the image display function, the electrical appliance 200 as a 2D image display device includes only a general 2D image display function, and includes a processor having a processing capability for processing an image group and various parameters 500. is there. Thus, the functions of each part to be described later that the electrical appliance 200 has are obtained by the CPU cooperating with the peripheral device according to the program stored in the memory, like the general-purpose computer 400. Note that menus, icons, and the like displayed on the electric appliance 200 are dynamically displayed according to an operation event 600 given by an external operation device 300 (or an internal operation device such as an operation panel on the device) 300 such as a remote controller. Be changed.
＜オーサリングツール１００について＞
次に、３ＤＣＧモデルオーサリングツール１００が有する機能について、図２を参照しながら説明する。
<About the authoring tool 100>
Next, functions of the 3DCG model authoring tool 100 will be described with reference to FIG.
３ＤＣＧポリゴンモデル作成部１０１では、電化製品２００において表示させたいキャラクタ等の３Ｄオブジェクトの作成を支援する。具体的にこのものは、オペレータによる３Ｄオブジェクトの作成操作に係る支援をし、完成した３Ｄオブジェクトをメモリの所定領域に登録する。ここで３Ｄオブジェクトとは、３次元情報を有するオブジェクトのことである。 The 3DCG polygon model creation unit 101 supports creation of a 3D object such as a character to be displayed on the electrical appliance 200. Specifically, this assists the operator in creating a 3D object, and registers the completed 3D object in a predetermined area of the memory. Here, the 3D object is an object having three-dimensional information.
制御点登録部１０２では、電化製品２００における画像処理のために必要な制御点が３ＤＣＧポリゴンモデルに登録される。この制御点の設定は、この制御点登録部１０２が自動で行っても良いし、オペレータの指定を受け付けて、それをこの制御点登録部１０２が登録するようにしても良い。３ＤＣＧポリゴンモデルに登録された３Ｄ空間上の制御点は、カメラの内部パラメータおよび外部パラメータから得られるカメラ行列によって容易に２Ｄ画像に射影できる。 The control point registration unit 102 registers control points necessary for image processing in the electrical appliance 200 in the 3DCG polygon model. The control point registration may be performed automatically by the control point registration unit 102 or may be registered by the control point registration unit 102 upon receiving an operator's designation. Control points on the 3D space registered in the 3DCG polygon model can be easily projected onto a 2D image by a camera matrix obtained from the internal parameters and external parameters of the camera.
３ＤＣＧポリゴンモデル編集部１０３では、作成した３ＤＣＧポリゴンモデルの姿勢が変更される。ここでいう姿勢とは、オブジェクトの向きだけでなく、立つ・座るなどの変形をも含む意味である。この姿勢変更の設定は、この３ＤＣＧポリゴンモデル編集部１０３が自動で行っても良いし、オペレータの操作にしたがって、３ＤＣＧポリゴンモデル編集部１０３が姿勢を変更するようにしても良い。このとき、姿勢の変更に応じて頂点も移動するため、頂点に定義づけられた制御点も移動する。
状態登録部１０４では、３ＤＣＧポリゴンモデル編集部１０３において決定した姿勢が、アニメーションにおける基準状態（基点）として登録される。
In the 3DCG polygon model editing unit 103, the posture of the created 3DCG polygon model is changed. The posture here means not only the orientation of the object but also the deformation such as standing and sitting. The setting of the posture change may be automatically performed by the 3DCG polygon model editing unit 103, or the posture may be changed by the 3DCG polygon model editing unit 103 in accordance with an operator's operation. At this time, since the vertex also moves in accordance with the change in posture, the control point defined for the vertex also moves.
In the state registration unit 104, the posture determined by the 3DCG polygon model editing unit 103 is registered as a reference state (base point) in the animation.
なお、請求項１で言う３Ｄオブジェクト登録部とは、以上の３ＤＣＧポリゴンモデル作成部１０１、制御点登録部１０２、３ＤＣＧポリゴンモデル編集部１０３及び状態登録部１０４を具備するものである。 The 3D object registration unit referred to in claim 1 includes the above-described 3DCG polygon model creation unit 101, control point registration unit 102, 3DCG polygon model editing unit 103, and state registration unit 104.
状態遷移定義部１０５では、前記状態登録部１０４において登録した状態間をどのように移動するか遷移関係が定義される。この定義は、オペレータの指示によってよいし、状態遷移定義部１０５が自動で定義しても良い。電化製品２００がある状態から別の状態への遷移映像を表示する場合、定義された状態遷移規則を元に画像間の遷移経路を決定することで、意図した遷移映像を生成できる。 In the state transition definition unit 105, a transition relationship is defined as to how to move between the states registered in the state registration unit 104. This definition may be in accordance with an operator instruction, or may be automatically defined by the state transition definition unit 105. When a transition video from one state to another state is displayed, the intended transition video can be generated by determining a transition path between images based on a defined state transition rule.
カメラアングル設定部１０６では、電化製品２００において表示させる視野範囲を満たすカメラアングルを設定する。カメラアングルの設定はオペレータの指示にしたがって行ってもよいし、このカメラアングル設定部１０６が自動で行っても良い。電化製品２００で生成される視野画像の精度は、カメラアングル設定部１０６で設定されたカメラアングルのサンプル数に依存する。 The camera angle setting unit 106 sets a camera angle that satisfies the visual field range to be displayed on the electric appliance 200. The camera angle may be set according to an instruction from the operator, or the camera angle setting unit 106 may automatically set the camera angle. The accuracy of the visual field image generated by the electrical appliance 200 depends on the number of camera angle samples set by the camera angle setting unit 106.
２Ｄ画像出力部１０７では、状態登録部１０４において登録された３ＤＣＧポリゴンモデルの姿勢ごとに、カメラアングル設定部１０６において設定したカメラアングルで撮影した視野画像を出力する。出力画像は、状態をｍ個、カメラアングルをｎ個としたとき、ｍ×ｎ枚である。 The 2D image output unit 107 outputs a field image captured at the camera angle set by the camera angle setting unit 106 for each posture of the 3DCG polygon model registered by the state registration unit 104. The number of output images is m × n, where m states and n camera angles.
各種パラメータ出力部１０８では、状態登録部１０４によって登録された状態や、状態遷移定義部によって定義された状態遷移表、およびカメラアングル設定部１０６によって設定されたカメラパラメータが出力される。
次に、かかる３ＤＣＧモデルオーサリングツール１００によるデータ作成の流れの一例を図３を参照しながら説明する。
The various parameter output unit 108 outputs the states registered by the state registration unit 104, the state transition table defined by the state transition definition unit, and the camera parameters set by the camera angle setting unit 106.
Next, an example of the flow of data creation by the 3DCG model authoring tool 100 will be described with reference to FIG.
まず、オペレータの指示によって使用するキャラクタやオブジェクトの３ＤＣＧポリゴンモデルを作成し（S101）、作成した３ＤＣＧポリゴンモデルの頂点のいくつかを、制御点として定義する（S102）。これは、電化製品２００における画像の合成処理に必要となる。 First, a 3DCG polygon model of a character or object to be used is created according to an operator's instruction (S101), and some vertices of the created 3DCG polygon model are defined as control points (S102). This is necessary for image composition processing in the appliance 200.
次に、オペレータの指示により、３ＤＣＧポリゴンモデルに形状の変形を加え代表的な姿勢を与える（S103）。このときのモデルの姿勢を状態として登録する（S104）。このとき、３ＤＣＧモデルオーサリングツール１００は、登録した姿勢を再現するために必要な変形処理（変換行列）をメモリに記憶する。新たな姿勢を、アニメーションの生成に必要な数だけ、手順S103、S104を繰り返して登録していく（S105）。 Next, in accordance with an operator's instruction, the 3DCG polygon model is deformed to give a representative posture (S103). The model posture at this time is registered as a state (S104). At this time, the 3DCG model authoring tool 100 stores a deformation process (transformation matrix) necessary for reproducing the registered posture in the memory. Steps S103 and S104 are repeatedly registered as many new postures as necessary for the generation of animation (S105).
そして、キャラクタやオブジェクトの３ＤＣＧモデルが、登録した姿勢間をどのように遷移するかをオペレータの指示により定義する（S106）。状態間の遷移についての説明は、後述する。 Then, how the 3DCG model of the character or object changes between the registered postures is defined by an instruction from the operator (S106). A description of transition between states will be given later.
次に、オペレータの指示によって、状態間の遷移によるアニメーション命令セットを作成する（S107〜S109）。アニメーション命令セットは、単純なテキストコマンドであるため、オペレータは、３ＤＣＧモデルオーサリングツール１００以外のツールでも作成できる。そのため、本ツールにおいて設定の必要が無ければこれらの処理は省略できる。 Next, an animation instruction set by transition between states is created according to an instruction from the operator (S107 to S109). Since the animation instruction set is a simple text command, the operator can create it using a tool other than the 3DCG model authoring tool 100. For this reason, if there is no need for setting in this tool, these processes can be omitted.
次に、本ツール１００が出力する２Ｄ画像のカメラアングルについて登録する（S110）。また、立体視のための視差画像や自由視点映像が必要な場合、必要な数のカメラアングルを追加する（S111）。 Next, the camera angle of the 2D image output by the tool 100 is registered (S110). When a parallax image for stereoscopic viewing or a free viewpoint video is necessary, a necessary number of camera angles are added (S111).
そして、登録した状態の姿勢に変形した３ＤＣＧポリゴンモデルを、登録したカメラアングルで撮影し、その２Ｄ画像を出力し（S112）。電化製品２００における画像の合成処理に必要となる各種パラメータを出力する（S113）。各種パラメータとは、モデルの状態と状態遷移表、アニメーション命令セット、カメラパラメータである。 Then, the 3DCG polygon model transformed into the registered posture is photographed with the registered camera angle, and the 2D image is output (S112). Various parameters necessary for image composition processing in the electrical appliance 200 are output (S113). The various parameters are the model state and state transition table, animation command set, and camera parameters.
＜電化製品２００について＞
次に、２Ｄ画像表示装置たる電化製品２００が有する機能について、図４を参照しながら説明する。
画像読込部２０１は、３ＤＣＧモデルオーサリングツール１００が２Ｄ画像出力部１０７において出力した画像群を読み込む。
各種パラメータ読込部２０２は、３ＤＣＧモデルオーサリングツール１００が各種パラメータ出力部１０８において出力したパラメータ群を読み込む。
初期画像生成部２０３は、読み込んだ画像と各種パラメータから、イベントのアイドル状態のときのパラメータに従って初期画像を生成する。
<About the electric appliance 200>
Next, functions of the electric appliance 200 as a 2D image display device will be described with reference to FIG.
The image reading unit 201 reads an image group output from the 2D image output unit 107 by the 3DCG model authoring tool 100.
The various parameter reading unit 202 reads the parameter group output from the various parameter output unit 108 by the 3DCG model authoring tool 100.
The initial image generation unit 203 generates an initial image from the read image and various parameters according to the parameters in the event idle state.
動作イベント処理部２０４は、外部操作機器（または機器上の操作パネルなどの内部操作機器）３００が動作イベント出力部３０１において出力する動作イベント６００を読み込む。
動作設計部２０５は、読み込んだ動作イベント６００に従い、画像合成のためのパラメータ条件や遷移命令コマンドを設定する。
視差処理部２０６は、読み込んだ動作イベントや電化製品２００が要求する視点でのカメラアングルとカメラ行列を設定する。
２Ｄ画像生成部２０７は、動作設計部２０５で設定した合成順序と、視差設定部２０６で設定したカメラアングルで２Ｄ画像を合成する。
なお、特許請求項１で言う映像生成部とは、前記動作設計部２０５、視差処理部２０６、及び２Ｄ画像生成部２０７を具備したものである。
かかる電化製品２００による画像作成の流れを、図５を参照しながら説明する。
The operation event processing unit 204 reads an operation event 600 output from the operation event output unit 301 by the external operation device (or an internal operation device such as an operation panel on the device) 300.
The motion design unit 205 sets parameter conditions and transition command for image composition according to the read motion event 600.
The parallax processing unit 206 sets the camera angle and the camera matrix at the viewpoint of the read operation event or the appliance 200 requests.
The 2D image generation unit 207 synthesizes the 2D image with the synthesis order set by the motion design unit 205 and the camera angle set by the parallax setting unit 206.
Note that the video generation unit referred to in claim 1 includes the motion design unit 205, the parallax processing unit 206, and the 2D image generation unit 207.
The flow of image creation by the electric appliance 200 will be described with reference to FIG.
まず、３ＤＣＧモデルオーサリングツール１００により作成された２Ｄ画像群を通信等を介して受信し読み込む（S201）。次いで、３ＤＣＧモデルオーサリングツール１００により作成された各種パラメータを同様に読み込む（S202）。そして、読み込んだ２Ｄ画像群と各種パラメータから、動作イベントのアイドル状態のときの初期パラメータに従って初期画像を生成し表示する（S203）。なお、生成手順は、初期パラメータの条件に従いS207以下を実行する。 First, a 2D image group created by the 3DCG model authoring tool 100 is received and read via communication or the like (S201). Next, various parameters created by the 3DCG model authoring tool 100 are similarly read (S202). Then, from the read 2D image group and various parameters, an initial image is generated and displayed according to the initial parameters when the operation event is in the idle state (S203). The generation procedure executes S207 and subsequent steps according to the conditions of the initial parameters.
次に初期画像を表示し、入力待ち状態に移行する（S204）。そして、電化製品２００のユーザから入力された動作イベント命令のうち、状態遷移に関する命令コマンドに従い、画像間の遷移命令コマンドを設定する（S206）。 Next, an initial image is displayed, and the process shifts to an input waiting state (S204). Then, a transition command command between images is set in accordance with a command command related to state transition among operation event commands input from the user of the appliance 200 (S206).
次に、入力された動作イベント命令が要求するカメラアングルに基づき、カメラ行列を作成する（S207）。S206で設定した遷移規則に従い、遷移が終了するまで連続画像を生成する（S208、S209）。入力された動作イベント命令が、複数の視差映像を必要とする場合、新たなカメラアングルについてS207〜S209の操作を実行する（S210）。最後に連続画像を２Ｄ映像として画面に出力する（S211）。
以上が、３ＤＣＧモデルオーサリングツール１００及び電化製品２００の構成である。
Next, a camera matrix is created based on the camera angle requested by the input operation event command (S207). In accordance with the transition rule set in S206, a continuous image is generated until the transition is completed (S208, S209). When the input operation event command requires a plurality of parallax images, the operations of S207 to S209 are executed for a new camera angle (S210). Finally, the continuous image is output to the screen as a 2D video (S211).
The above is the configuration of the 3DCG model authoring tool 100 and the appliance 200.
＜具体的な状態遷移の設定例＞
次いで、画像遷移アニメーションを制御するための状態遷移の概念について、図６〜９を参照しながら動物のキャラクタを例に説明する。
<Specific state transition setting example>
Next, the concept of state transition for controlling the image transition animation will be described by taking an animal character as an example with reference to FIGS.
図６においてキャラクタの初期状態（アイドル状態）を、立つ姿勢（S1041）に設定する。このキャラクタにさまざまな行動をとらせるために、他の姿勢を定義する。図６の例では、立つ姿勢（S1041）の他に、座る姿勢（S1042）、吼える姿勢（S1043）、歩く姿勢（S1044）の３つ、計４つを定義する。この４つの姿勢のキャラクタは３ＤＣＧモデルオーサリングツール１００でオペレータの操作の下、作成され、制御点とともにメモリに登録されたものである。このようにいくつかの状態が与えられたとき、キャラクタの姿勢の変化が小さい状態同士を姿勢の遷移先としてオペレータが設定する。この遷移先の関係を示すテーブル（状態遷移表）は、状態遷移定義部１０５がメモリに登録する。 In FIG. 6, the character's initial state (idle state) is set to a standing posture (S1041). In order to make this character take various actions, other postures are defined. In the example of FIG. 6, in addition to the standing posture (S1041), three postures are defined: a sitting posture (S1042), a barking posture (S1043), and a walking posture (S1044). These four posture characters are created under the operation of the operator by the 3DCG model authoring tool 100 and registered in the memory together with the control points. When several states are given in this way, the operator sets states with small changes in character posture as posture transition destinations. The state transition definition unit 105 registers the table (state transition table) indicating the transition destination relationship in the memory.
前記姿勢の変化の小さい状態間の画像の合成では、合成後の画素の変化を小さく抑えられるため、自然な遷移となる。S1041とS1043のように姿勢が大きく異なるものは、直接遷移できないように遷移規則を定義することにより、それぞれの画像の合成を避けられる。これにより、画像の合成において不自然な中割り画像の発生を防ぐことができる。 In the composition of the images between the states where the posture change is small, the change in the pixel after the composition can be suppressed to be small, so that the transition is natural. By defining a transition rule so that direct transition is not possible for those with greatly different postures such as S1041 and S1043, synthesis of each image can be avoided. Thereby, generation | occurrence | production of the unnatural middle image in the composition of an image can be prevented.
図６の遷移規則を状態遷移図で表すと図７のように、状態遷移表で表すと図８のようになる。図８におけるIa、Ib、Icは、状態間の遷移命令コマンドである。 The transition rule of FIG. 6 is represented by a state transition diagram as shown in FIG. 7, and is represented by a state transition table as shown in FIG. In FIG. 8, Ia, Ib, and Ic are transition instruction commands between states.
電化製品２００では、前述した４つの姿勢のキャラクタを２次元にそれぞれ投影した画像群と、各パラメータ、すなわち各２Ｄ画像での制御点及び状態遷移表を３ＤＣＧモデルオーサリングツール１００から受信する。
次に、電化製品２００の動作設計部２０５による画像間の遷移命令コマンドの生成例を示す。
The appliance 200 receives from the 3DCG model authoring tool 100 an image group obtained by projecting the above-described four posture characters two-dimensionally and each parameter, that is, a control point and a state transition table in each 2D image.
Next, an example of generation of a transition command command between images by the operation design unit 205 of the appliance 200 will be described.
例えば、立つ姿勢（S1041）から、吼える姿勢（S1043）への動作イベントがユーザから入力された場合、図７の状態遷移表に従い、S1041からS1042を経てS1043に到達する経路が求まる。図８より、動作イベントの遷移要求を満たす遷移命令コマンドは、初期状態であるS1041を基点として(Ib,Ic)となる。これは、S1041とS1043の姿勢が大きく異なるため、S1042を中間経路として利用して合成することで、結果のアニメーションを滑らかにしている。状態遷移による画像の合成規則の制御は、大量の画像を合成して複雑なアニメーションを生成する場合においても、合成結果の不自然さを軽減できる。 For example, when an operation event from a standing posture (S1041) to a standing posture (S1043) is input from the user, a route from S1041 to S1042 to S1043 is obtained according to the state transition table of FIG. From FIG. 8, the transition command command that satisfies the operation event transition request is (Ib, Ic) with S1041 being the initial state as a base point. This is because the postures of S1041 and S1043 are greatly different, and the resulting animation is smoothed by combining S1042 as an intermediate path. Control of the image composition rule by state transition can reduce the unnaturalness of the composition result even when a large amount of images are synthesized to generate a complex animation.
＜具体的な視差の補間例＞
次に、具体的な視差の補間、すなわち３Ｄオブジェクトの姿勢は変わらず、異なる視点から撮影した２つの画像が存在するとき、別の視点の画像を生成するための手法を、図９を参照しながら説明する。
<Specific Parallax Interpolation Example>
Next, referring to FIG. 9, a specific parallax interpolation, that is, a method for generating an image of another viewpoint when there are two images taken from different viewpoints without changing the posture of the 3D object. While explaining.
３次元空間中に存在する対象物O（S20601）上の同じ頂点M(S20602)を、内部パラメータと外部パラメータが既知であるカメラC1（S20604）とカメラC2（S20606）で撮影しているとき、頂点Mの３次元位置は、カメラC1（S20604）で撮影された参照画像I1(S20603)中の制御点m1（S20607）とカメラC2（S20606）で撮影された参照画像C2(S20605)中の制御点m2（S20607）より、三角測量法により求められる。また、２つのカメラ間の対応関係を表す基礎行列Fが、カメラ間の幾何学的な拘束（エピポーラ拘束）により、以下のように成り立つ。
ｍ１ ＴＦｍ２＝０ （１）
The same vertex M (S20602) on the object O (S20601) existing in the three-dimensional space is photographed by the camera C 1 (S20604) and the camera C 2 (S20606) whose internal parameters and external parameters are known. when the three-dimensional positions of the vertices M, the camera C 1 (S20604) in the captured reference image I 1 (S20603) reference image C control points m 1 and (S20607) taken by the camera C 2 (S20606) in 2 Obtained by the triangulation method from the control point m 2 (S20607) in (S20605). In addition, a basic matrix F representing the correspondence between two cameras is established as follows due to geometric constraints (epipolar constraints) between the cameras.
m 1 T Fm 2 = 0 (1)
新たに任意の視点の補間カメラC(S20609)が与えられた場合、制御点m1(S20607)と制御点m2(S20608)から、補間画像(S20610)中の補間制御点m(S20611)を求める問題を考える。
（１）より、カメラC1とカメラCの関係は、
ｍ１ ＴＦ１ｍ＝０ （２）
ここで、F1はカメラC1と補間カメラCの間の基礎行列である。
（１）より、カメラC2とカメラCの関係は、
ｍ２ ＴＦ２ｍ＝０ （３）
ここで、F2はカメラC2と補間カメラCの間の基礎行列である。
（２）と（３）より、補間制御点mは以下の式で表される。
ｍ＝ｍ１Ｆ１ Ｔ×ｍ２Ｆ２ Ｔ （４）
When a new arbitrary viewpoint interpolation camera C (S20609) is given from the control point m 1 (S20607) and the control point m 2 (S20608), the interpolation control points in the interpolated image (S20610) m and (S20611) Think about the problem you want.
From (1), the relationship between camera C 1 and camera C is
m 1 T F 1 m = 0 (2)
Here, F 1 is a basic matrix between the camera C 1 and the interpolation camera C.
From (1), the relationship between camera C 2 and camera C is
m 2 T F 2 m = 0 (3)
Here, F 2 is a basic matrix between the camera C 2 and the interpolation camera C.
From (2) and (3), the interpolation control point m is expressed by the following equation.
m = m 1 F 1 T × m 2 F 2 T (4)
補間画像中の補間制御点mは、カメラ間の対応関係を表すF1とF2が求まれば（４）式により直ちに求まる。この手法により、カメラパラメータが既知である複数の視点のカメラから撮影した画像群を用いると、任意の視点での画像を新たに算出することが可能である。 The interpolation control point m in the interpolated image can be obtained immediately by equation (4) if F 1 and F 2 representing the correspondence between the cameras are obtained. With this method, it is possible to newly calculate an image at an arbitrary viewpoint by using a group of images taken from a plurality of viewpoint cameras whose camera parameters are known.
ここでは、オーサリングツール１００の２Ｄ画像出力部１０７から出力された複数の２Ｄ視野画像と、各種パラメータ出力部１０８から出力されるカメラパラメータを電化製品２００は読み込み、その視差処理部２０６が前記手法に基づいて、中間の補間カメラの画像を算出する。 Here, the appliance 200 reads a plurality of 2D visual field images output from the 2D image output unit 107 of the authoring tool 100 and camera parameters output from the various parameter output units 108, and the parallax processing unit 206 uses the above-described method. Based on this, an image of the intermediate interpolation camera is calculated.
＜状態遷移と視差の補間の組み合わせによる制御点群の変換＞
上述の状態遷移と視差の補間とを組み合わせた制御点群の電化製品２００側での動作、すなわち計算方法を、図１０を参照しながら説明する。
<Conversion of control point group by combination of state transition and parallax interpolation>
An operation on the appliance 200 side of the control point group combining the above-described state transition and parallax interpolation, that is, a calculation method will be described with reference to FIG.
動作イベント処理部２０４が受け取った動作イベントが、立つ状態（S1041）から座る状態（S1042）の遷移命令と、ある視点のカメラ（S20801）での描画命令を持つとする。このとき、以下の条件で、目的の補間画像３（S20722）中の制御点群３(S20723)を求める。
・立つ状態（S1041）が持つ参照画像群は、参照画像１（S20702）と参照画像２（S20705）である。
・座る状態（S1042）が持つ参照画像群は、参照画像３（S20708）と参照画像４（S20711）である。
・参照画像１（S20702）には、制御点群１(S20704)とカメラ行列１（S20703）が与えられている。
・参照画像２（S20705）には、制御点群２(S20707)とカメラ行列２（S20706）が与えられている。
・参照画像３（S20708）には、制御点群３(S20710)とカメラ行列３（S20709）が与えられている。
・参照画像４（S20711）には、制御点群４(S20713)とカメラ行列４（S20712）が与えられている。
It is assumed that the motion event received by the motion event processing unit 204 has a transition command from a standing state (S1041) to a sitting state (S1042) and a drawing command at a certain viewpoint camera (S20801). At this time, the control point group 3 (S20723) in the target interpolation image 3 (S20722) is obtained under the following conditions.
The reference image group that the standing state (S1041) has is the reference image 1 (S20702) and the reference image 2 (S20705).
The reference image group that the sitting state (S1042) has is the reference image 3 (S20708) and the reference image 4 (S20711).
Reference image 1 (S20702) is given control point group 1 (S20704) and camera matrix 1 (S20703).
Reference image 2 (S20705) is given control point group 2 (S20707) and camera matrix 2 (S20706).
Reference image 3 (S20708) is given control point group 3 (S20710) and camera matrix 3 (S20709).
Reference image 4 (S20711) is given control point group 4 (S20713) and camera matrix 4 (S20712).
最初の処理では、カメラ視点補間操作１（S20714）により、補間カメラ行列(S20701)の視点における補間画像１（S20715）中の補間制御点群１（S20716）の位置を算出する。 In the first process, the position of the interpolation control point group 1 (S20716) in the interpolation image 1 (S20715) at the viewpoint of the interpolation camera matrix (S20701) is calculated by the camera viewpoint interpolation operation 1 (S20714).
次の処理は、カメラ視点補間操作２（S20715）により、補間カメラ行列(S20701)の視点における補間画像２（S20718）中の補間制御点群２（S20719）の位置を算出する。 In the next process, the position of the interpolation control point group 2 (S20719) in the interpolation image 2 (S20718) at the viewpoint of the interpolation camera matrix (S20701) is calculated by the camera viewpoint interpolation operation 2 (S20715).
最後の処理は、制御点ワーピング操作（S20720）により、補間制御点群１（S20716）の位置と補間制御点群２（S20719）の位置を遷移の経過時間で決まる混合比率で補間して、中間姿勢（S20721）中の補間画像３（S20722）中の制御点群３(S20723)の位置を算出する。 The final process is to interpolate the position of the interpolation control point group 1 (S20716) and the position of the interpolation control point group 2 (S20719) by the control point warping operation (S20720) with a mixing ratio determined by the elapsed time of transition. The position of the control point group 3 (S20723) in the interpolation image 3 (S20722) in the posture (S20721) is calculated.
補間による制御点の移動処理はワーピングと呼ばれる。カメラ補間操作とワーピング操作の二種の処理により、自由な視点で状態間を遷移する補間制御点群が求められる。 The process of moving control points by interpolation is called warping. An interpolation control point group that transitions between states from a free viewpoint is obtained by two types of processing, camera interpolation operation and warping operation.
＜変換された制御点群を用いた３Ｄアニメーション画像の合成＞
上述の手法により目的の画像の補間制御点群３（S20723）が算出されているときの電化製品２００側での動作、すなわち補間画像の合成方法を図１１を参照しながら説明する。
<Composition of 3D animation image using converted control point group>
An operation on the electric appliance 200 side when the interpolation control point group 3 (S20723) of the target image is calculated by the above-described method, that is, a method of synthesizing the interpolation image will be described with reference to FIG.
目的の補間画像中の補間制御点群が与えられているとき、ある参照画像が持つ制御点群を補間制御点群に一致させるように参照画像中のすべての画素を移動させると、目的の補間画像の幾何学的制約にそった変換画像が得られる。この操作はイメージワーピングと呼ばれる。図１１において、以下の４つのイメージワーピングを行う。
・参照画像１（S20702）にイメージワーピング処理１（S20724）を施すと変換画像１（S20725）が得られる。
・参照画像２（S20705）にイメージワーピング処理２（S20726）を施すと変換画像２（S20727）が得られる。
・参照画像３（S20708）にイメージワーピング処理３（S20728）を施すと変換画像３（S20729）が得られる。
・参照画像４（S20711）にイメージワーピング処理４（S20730）を施すと変換画像４（S20731）が得られる。
When an interpolation control point group in the target interpolation image is given, if all the pixels in the reference image are moved so that the control point group of a reference image matches the interpolation control point group, the target interpolation is performed. A converted image that conforms to the geometric constraints of the image is obtained. This operation is called image warping. In FIG. 11, the following four image warpings are performed.
When the image warping process 1 (S20724) is performed on the reference image 1 (S20702), a converted image 1 (S20725) is obtained.
When the image warping process 2 (S20726) is performed on the reference image 2 (S20705), a converted image 2 (S20727) is obtained.
When the image warping process 3 (S20728) is performed on the reference image 3 (S20708), a converted image 3 (S20729) is obtained.
When the image warping process 4 (S20730) is performed on the reference image 4 (S20711), a converted image 4 (S20731) is obtained.
得られた変換画像１（S20725）、変換画像２（S20727）、変換画像３（S20729）、変換画像４（S20731）が補間画像３と同じ補間カメラ行列(S20701)から撮影した画像とみなせる。したがって補間画像３（S20722）は、これら４つの画像を視点遷移と状態遷移の割合で決まる混合比率で単純に混合することで求められる。この混合処理はクロスディゾルプと呼ばれる。以上の処理により、任意の視点におけるアニメーション画像を合成できる。 The obtained converted image 1 (S20725), converted image 2 (S20727), converted image 3 (S20729), and converted image 4 (S20731) can be regarded as images taken from the same interpolation camera matrix (S20701) as the interpolation image 3. Therefore, the interpolated image 3 (S20722) is obtained by simply mixing these four images at a mixing ratio determined by the ratio of the viewpoint transition and the state transition. This mixing process is called a cross dissolve. Through the above processing, an animation image at an arbitrary viewpoint can be synthesized.
＜効果＞
以上のような構成によれば、３Ｄグラフィクスハードウェアを持たない２Ｄ画像表示機器でも、任意の視点における３Ｄアニメーション映像を機器内部の２Ｄ画像処理演算で生成できる。これは、ステレオ視やイメージモーフィングの手法を組み合わせによって、２Ｄ画像の変形処理や合成処理のみで実現できる。
<Effect>
According to the above configuration, even a 2D image display device that does not have 3D graphics hardware can generate a 3D animation image at an arbitrary viewpoint by 2D image processing calculation inside the device. This can be realized only by 2D image deformation processing and composition processing by combining stereo viewing and image morphing techniques.
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。 In addition, when synthesizing an animation image that adds various movements to a character from a still image, it is necessary to synthesize many still images with different postures without a sense of incongruity. In this embodiment, since a composition rule using state transition can be defined, it is possible to synthesize images having different postures without a sense of incongruity.
イメージモーフィングでは、２Ｄ画像への制御点の定義が非常に難しいため、制御点の定義に関して研究の焦点が当てられていることが多い。一般的に、複数の画像同士を対応付ける制御点の推定は、莫大な計算時間を必要とし、標準的な計算機では実時間で処理できない。これに対して、本実施形態では、３ＤＣＧオーサリングツールにおける編集において、制御点を３ＤＣＧポリゴンモデルに埋め込むことにより、２Ｄ画像とともに制御点の２Ｄ位置も出力できるため、煩雑な制御点の推定処理が無い。したがって、標準的な計算能力の演算装置を搭載した家電でも、短時間で一連のイメージモーフィング処理が実行できる。 In image morphing, since it is very difficult to define control points for 2D images, research is often focused on the definition of control points. In general, estimation of a control point that associates a plurality of images requires enormous calculation time and cannot be processed in real time by a standard computer. In contrast, in the present embodiment, in the editing by the 3DCG authoring tool, since the control points are embedded in the 3DCG polygon model, the 2D positions of the control points can be output together with the 2D image, so there is no complicated control point estimation process. . Accordingly, a series of image morphing processes can be executed in a short time even in home appliances equipped with a computing device having a standard computing ability.
任意の視差画像と姿勢の遷移画像の両方を算出することは、多くの計算時間を必要とする。本実施形態では、比較的計算量の少ない制御点の変形処理と、計算量の多い２Ｄ画像の加工処理を分け、２Ｄ画像の加工処理を極力減らし、また、煩雑な行列演算を、すべて制御点の変形処理で行っているため、２Ｄ画像の加工を、合成のための参照画像がＮ枚のときO（N）の線形時間で処理することができる。 Calculating both an arbitrary parallax image and a posture transition image requires a lot of calculation time. In the present embodiment, the control point transformation process with a relatively small amount of calculation and the processing process of the 2D image with a large amount of calculation are separated, and the processing process of the 2D image is reduced as much as possible. Therefore, the processing of the 2D image can be performed in a linear time of O (N) when there are N reference images for synthesis.
＜その他＞
本発明は前記実施形態に限られるものではない。
例えば、図１２は、オブジェクトがメニューやアイコンではなく、ネットワークコンテンツ配信サービスなどによる映像データにかかわるコンテンツの場合に好ましい全体構成を表している。
<Others>
The present invention is not limited to the above embodiment.
For example, FIG. 12 shows a preferable overall configuration when the object is not a menu or an icon but content related to video data by a network content distribution service or the like.
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。映像コンテンツポータルサービス７００は、３ＤＣＧモデルオーサリングツール１００によって作成した映像コンテンツを、画像群および各種パラメータ５００としてネットワーク端末８００と通じて電化製品２００に配信する。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。 The 3DCG model authoring tool 100 operating on the general-purpose computer 400 is editing software for outputting an image group and various parameters 500 for dynamically synthesizing parallax images and animation images. The electrical appliance 200 is a device having a general 2D image display function and a processor having a processing capability for processing an image group and various parameters. The video content portal service 700 distributes the video content created by the 3DCG model authoring tool 100 to the electrical appliance 200 through the network terminal 800 as an image group and various parameters 500. The display content of the video content displayed on the electrical appliance 200 is dynamically changed according to an operation event 600 given by an external operation device such as a remote control (or an internal operation device such as an operation panel on the device) 300.
図１３は、オブジェクトが、携帯電話などの撮影機器上で取得した画像や映像データを入出力可能な表示機器における映像データにかかわるコンテンツの場合に好ましい全体構成を示している。 FIG. 13 shows a preferable overall configuration when the object is content related to video data in a display device capable of inputting and outputting images and video data acquired on a photographing device such as a mobile phone.
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像や映像データを入出力でき、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。電化製品２００が取得した画像コンテンツ９００を、３ＤＣＧモデルオーサリングツール１００の編集素材として汎用計算機４００に出力する。３ＤＣＧモデルオーサリングツール１００によって、画像コンテンツ９００を編集し、画像群および各種パラメータ５００として表示機器２００に出力される。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。 The 3DCG model authoring tool 100 operating on the general-purpose computer 400 is editing software for outputting an image group and various parameters 500 for dynamically synthesizing parallax images and animation images. The electrical appliance 200 is a device that includes a general 2D image display function, can input and output image and video data, and includes a processor having processing capability for processing an image group and various parameters. The image content 900 acquired by the electrical appliance 200 is output to the general-purpose computer 400 as an editing material of the 3DCG model authoring tool 100. The image content 900 is edited by the 3DCG model authoring tool 100 and output to the display device 200 as an image group and various parameters 500. The display content of the video content displayed on the electrical appliance 200 is dynamically changed according to an operation event 600 given by an external operation device such as a remote control (or an internal operation device such as an operation panel on the device) 300.
また、本発明は、姿勢の変更を伴わず、単にカメラ視点を動かすだけの３Ｄ映像生成にも適用できる。その場合、姿勢の変更に係る各部は不要となる。
その他、本発明はその趣旨を逸脱しない範囲に於いて種々の変形が可能である。
The present invention can also be applied to 3D video generation in which the camera viewpoint is simply moved without changing the posture. In that case, each part which concerns on the change of an attitude | position becomes unnecessary.
In addition, the present invention can be variously modified without departing from the spirit of the present invention.
４００・・・汎用計算機（３Ｄ情報処理装置）
２００・・・電化製品（２Ｄ画像表示装置）
１０１・・・３ＤＣＧポリゴンモデル作成部
１０２・・・制御点登録部
１０３・・・３ＤＣＧポリゴンモデル編集部
１０４・・・状態登録部
１０５・・・状態遷移定義部
１０６・・・カメラアングル設定部
１０７・・・２Ｄ画像出力部
１０８・・・各種パラメータ出力部（パラメータ出力部）
２０１・・・画像読込部
２０２・・・各種パラメータ読込部（パラメータ読込部）
２０３・・・初期画像生成部
２０４・・・動作イベント処理部
２０５・・・動作設計部
２０６・・・視差処理部
２０７・・・２Ｄ画像生成部
400 ... General-purpose computer (3D information processing device)
200 ... electric appliance (2D image display device)
101 ... 3DCG polygon model creation unit 102 ... control point registration unit 103 ... 3DCG polygon model editing unit 104 ... state registration unit 105 ... state transition definition unit 106 ... camera angle setting unit 107 ... 2D image output unit 108 ... Various parameter output units (parameter output units)
201... Image reading unit 202... Various parameter reading unit (parameter reading unit)
203 ... Initial image generation unit 204 ... Motion event processing unit 205 ... Motion design unit 206 ... Parallax processing unit 207 ... 2D image generation unit
Claims (2)
前記３Ｄ情報処理装置が、
複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、
前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、
前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。 A video system configured by communicably connecting a 3D information processing apparatus capable of processing a 3D image and a 2D image display apparatus capable of processing a 2D image,
The 3D information processing apparatus
A 3D object registration unit that generates a 3D object with a plurality of postures and sets one or more control points corresponding to each of the 3D objects with each posture;
For the 3D object, a state transition definition unit that defines another posture that can be transitioned from one posture;
A camera angle setting unit that sets one or more camera angles for each posture of the 3D object set in the 3D object registration unit;
A 2D image output unit that outputs a 2D image that is a visual field image captured at each camera angle;
A parameter output unit that outputs at least a parameter composed of the state transition information defined by the state transition definition unit and a camera angle set corresponding to each 2D image,
The 2D image display device
An image reading unit for reading a 2D image transmitted from the 2D image output unit;
A parameter reading unit for reading the parameters transmitted from the parameter output unit;
Generating a plurality of transition images between two designated 2D images from state transition information and camera angles included in the parameters, and generating a video that continuously changes between the 2D images; A video generation system comprising:
前記３Ｄ情報処理装置が、
３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。 A video system configured by communicably connecting a 3D information processing apparatus capable of processing a 3D image and a 2D image display apparatus capable of processing a 2D image,
The 3D information processing apparatus
A camera angle setting unit for setting one or more camera angles for a 3D object;
A 2D image output unit that outputs a 2D image that is a visual field image captured at each camera angle;
A parameter output unit that outputs at least a parameter configured from the camera angle;
The 2D image display device
An image reading unit for reading a 2D image transmitted from the 2D image output unit;
A parameter reading unit for reading the parameters transmitted from the parameter output unit;
A plurality of transition images between the two specified 2D images are generated from a camera angle included in the parameter, and a video generation unit that generates a video that continuously changes between the 2D images is provided. Feature video generation system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010280863A JP2012128737A (en) | 2010-12-16 | 2010-12-16 | Three-dimentional (3d) video generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010280863A JP2012128737A (en) | 2010-12-16 | 2010-12-16 | Three-dimentional (3d) video generation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012128737A true JP2012128737A (en) | 2012-07-05 |
Family
ID=46645661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010280863A Pending JP2012128737A (en) | 2010-12-16 | 2010-12-16 | Three-dimentional (3d) video generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012128737A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247463A1 (en) * | 2015-09-25 | 2018-08-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP2020043467A (en) * | 2018-09-11 | 2020-03-19 | 株式会社アクセル | Image processing apparatus, image processing method, and image processing program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08202897A (en) * | 1995-01-26 | 1996-08-09 | Matsushita Electric Ind Co Ltd | Animation presenting method |
| US5990901A (en) * | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
| JP2001101439A (en) * | 1999-09-30 | 2001-04-13 | Sony Corp | Device and method for processing information and program storage medium |
| JP2002056374A (en) * | 2000-08-10 | 2002-02-20 | Nabura:Kk | Homepage image reading method, program medium therefor, and device therefor |
| JP2005527052A (en) * | 2002-05-23 | 2005-09-08 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Streaming images with 3D graphics depth |
-
2010
- 2010-12-16 JP JP2010280863A patent/JP2012128737A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08202897A (en) * | 1995-01-26 | 1996-08-09 | Matsushita Electric Ind Co Ltd | Animation presenting method |
| US5990901A (en) * | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
| JP2001101439A (en) * | 1999-09-30 | 2001-04-13 | Sony Corp | Device and method for processing information and program storage medium |
| JP2002056374A (en) * | 2000-08-10 | 2002-02-20 | Nabura:Kk | Homepage image reading method, program medium therefor, and device therefor |
| JP2005527052A (en) * | 2002-05-23 | 2005-09-08 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Streaming images with 3D graphics depth |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247463A1 (en) * | 2015-09-25 | 2018-08-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US10600253B2 (en) * | 2015-09-25 | 2020-03-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP2020043467A (en) * | 2018-09-11 | 2020-03-19 | 株式会社アクセル | Image processing apparatus, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590771B (en) | 2D video with options for projection viewing in modeled 3D space | |
| KR101212231B1 (en) | Method for displaying advanced virtual reality blended of freedom movement | |
| CN111414225B (en) | Three-dimensional model remote display method, first terminal, electronic device and storage medium | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| US20170150212A1 (en) | Method and electronic device for adjusting video | |
| JP2006244306A (en) | Animation generation system, animation generation device, animation generation method, program, and storage medium | |
| JP7392105B2 (en) | Methods, systems, and media for rendering immersive video content using foveated meshes | |
| JP7378243B2 (en) | Image generation device, image display device, and image processing method | |
| WO2012032996A1 (en) | Information processing device, method of processing information, and program | |
| US20160239095A1 (en) | Dynamic 2D and 3D gestural interfaces for audio video players capable of uninterrupted continuity of fruition of audio video feeds | |
| CN110710203A (en) | Methods, systems, and media for generating and rendering immersive video content | |
| CN110889384A (en) | Scene switching method and device, electronic equipment and storage medium | |
| JP2012128737A (en) | Three-dimentional (3d) video generation system | |
| JP6149967B1 (en) | Video distribution server, video output device, video distribution system, and video distribution method | |
| JP3309841B2 (en) | Synthetic moving image generating apparatus and synthetic moving image generating method | |
| JP7119854B2 (en) | Changed pixel region extraction device, image processing system, changed pixel region extraction method, image processing method and program | |
| JP2017084215A (en) | Information processing system, control method thereof, and program | |
| JP7029118B2 (en) | Image display method, image display system, and image display program | |
| KR102558294B1 (en) | Device and method for capturing a dynamic image using technology for generating an image at an arbitray viewpoint | |
| US11816785B2 (en) | Image processing device and image processing method | |
| JP7119853B2 (en) | Changed pixel region extraction device, image processing system, changed pixel region extraction method, image processing method and program | |
| KR102561903B1 (en) | AI-based XR content service method using cloud server | |
| US20230360333A1 (en) | Systems and methods for augmented reality video generation | |
| Lee et al. | Mirage: A touch screen based mixed reality interface for space planning applications | |
| US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141225 |