JP3538263B2 - Image generation method - Google Patents
Image generation methodInfo
- Publication number
- JP3538263B2 JP3538263B2 JP20325595A JP20325595A JP3538263B2 JP 3538263 B2 JP3538263 B2 JP 3538263B2 JP 20325595 A JP20325595 A JP 20325595A JP 20325595 A JP20325595 A JP 20325595A JP 3538263 B2 JP3538263 B2 JP 3538263B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- subject
- dimensional
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【産業上の利用分野】本発明は、コンピュータグラフィ
ックスによる画像と実写動画像との合成に適した画像生
成方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image generation method suitable for synthesizing an image by computer graphics and a moving image.
【０００２】[0002]
【従来の技術】仮想的な世界を表現するために、映画の
映像やコンピュータゲームの画像等には、カメラ等で撮
影した実写動画像とコンピュータグラフィックスによる
画像との合成画像が使用されることが多い。例えば、映
画等の一場面として頻繁に使用される合成画像として
は、コンピュータグラフィックスによる人物画像の背景
に山岳風景等の実写動画像を再現したものや、これとは
逆に、コンピュータグラフィックスによる背景画像の中
に人物の実写動画像を再現したもの等が挙げられる。2. Description of the Related Art In order to represent a virtual world, a composite image of an actual moving image photographed by a camera or the like and an image based on computer graphics is used as a movie image or a computer game image. There are many. For example, as a synthetic image frequently used as one scene of a movie or the like, a real image of a mountain scenery or the like is reproduced on the background of a human image by computer graphics, or, on the contrary, a computer image by computer graphics. An example in which a real moving image of a person is reproduced in the background image is given.
【０００３】さて、こうした合成画像には、写実性が要
求されることが多い。すなわち、２次元のディスプレイ
画面上で、３次元空間での物体や情景の構造や動きを再
現することを必要とされる。こうした写実的な像を生成
するための技法は、透視投影と、隠稜及び隠面の除去を
基礎的な概念とする。[0003] Such composite images often require realism. That is, it is necessary to reproduce the structure and movement of an object or scene in a three-dimensional space on a two-dimensional display screen. Techniques for generating such realistic images are based on perspective projection and removal of hidden edges and hidden surfaces.
【０００４】例えば、図８に示すように、背景となる実
写動画像にコンピュータグラフィックスによる３次元オ
ブジェクト(以下、ＣＧモデルと呼ぶ)の画像８０１を合
成する場合等には、実写動画像内の被写体８０２とＣＧ
モデル８０１との位置関係に応じて両者の大きさを適当
に決定し、且つ、実写動画像に含まれる被写体８０２と
ＣＧモデルの画像８０１の不可視部分を消去することに
より、遠近感を出している。通常、こうした処理は、多
視点画像(２ヵ所以上の異なる観測点から撮影した画像)
等から抽出した被写体の３次元形状（一般に、立体を構
成する面のポリゴンによって定義される）に基づいて作
成した仮想的なマスク物体を、ＣＧモデルと共に仮想的
な３次元空間に配置した状態において施される。そし
て、最終的にはスクリーン座標系にＣＧモデル８０１と
マスク物体とを透視投影するが、このとき、マスク物体
の透視投影図の位置に実写動画像内に含まれる被写体の
画像を再現する。なお、こうした処理は、実写動画像を
構成する各フレームの画像に対して各々施される。ただ
し、各フレームの画像間の特徴点の対応付けが可能であ
ることを前提とする。なお、この種の従来技術として
は、特願平６−２３４８４４公報記載の画像表示方法等
が知られている。For example, as shown in FIG. 8, when an image 801 of a three-dimensional object (hereinafter referred to as a CG model) by computer graphics is combined with an actual moving image serving as a background, Subject 802 and CG
The size is appropriately determined according to the positional relationship with the model 801, and the invisible part of the subject 802 and the CG model image 801 included in the actual moving image is erased to give a perspective. . Usually, these processes are multi-view images (images taken from two or more different observation points)
In a state where a virtual mask object created based on the three-dimensional shape of a subject (generally, defined by a polygon of a surface constituting a three-dimensional object) extracted from an object or the like is arranged in a virtual three-dimensional space together with a CG model. Will be applied. Finally, the CG model 801 and the mask object are perspectively projected on the screen coordinate system. At this time, an image of the subject included in the actual moving image is reproduced at the position of the perspective projection view of the mask object. It should be noted that such processing is performed on each frame image constituting the real photographed moving image. However, it is assumed that feature points between images of each frame can be associated. As a conventional technique of this kind, an image display method described in Japanese Patent Application No. 6-234844 is known.
【０００５】ところで、こうした処理を行う場合には、
まず、多視点画像を利用して、仮想的な３次元空間にお
ける特徴点の３次元座標を算出すると共に、この仮想的
な３次元空間における各フレームの画像の視点パラメー
タ（視点を決定するパラメータ）を決定する必要がある
が、このための方法としては、各フレームの画像に含ま
れる被写体の特徴点の２次元座標に基づいて、仮想的な
３次元空間における各フレームの画像の視点パラメータ
（視点位置、視角）の値と、各特徴点の３次元座標とを
算出する算出方法が各種開発されている。なお、この方
法について具体例が、「因子分解法による物体形状とカ
メラ運動の復元、金出、ポ−ルマン、森田著、電子情報
通信学会論文誌、Ｄ−II ｖｏｌ. Ｊ７６−Ｄ−II
Ｎｏ．８」等に詳しく説明されているので、ここでは省
略する。By the way, when performing such processing,
First, three-dimensional coordinates of a feature point in a virtual three-dimensional space are calculated using a multi-viewpoint image, and viewpoint parameters (parameters for determining a viewpoint) of an image of each frame in the virtual three-dimensional space. It is necessary to determine a viewpoint parameter (viewpoint) of the image of each frame in the virtual three-dimensional space based on the two-dimensional coordinates of the feature point of the subject included in the image of each frame. Various methods have been developed for calculating the values of (position, viewing angle) and the three-dimensional coordinates of each feature point. A specific example of this method is described in "Reconstruction of Object Shape and Camera Motion by Factorization Method, Kanade, Paulman, Morita, Transactions of the Institute of Electronics, Information and Communication Engineers, D-II vol. J76-D-II.
No. 8 ", etc., and are omitted here.
【０００６】[0006]
【発明が解決しようとする課題】ところで、上記の従来
技術によって実写動画像とＣＧモデルの画像８０１とを
合成した場合、必ずしも図８に示すような良好な合成画
像が得られる訳ではなく、実際には、図９に示すよう
に、実写動画像に含まれる被写体８０２とＣＧモデルの
画像８０１との間に、画像の不整合な領域Ａが生じてし
まうことが多い。こうした領域Ａが生じるのは、主に、
多視点画像から抽出した実写動画像の３次元形状には誤
差（レンズなどの歪により生じる誤差、量子化誤差、各
標本点の補間に伴って生じる誤差等）が含まれているに
もかかわらず、これらに基づいて、マスク物体を作成す
ることに起因する。すなわち、図１０に示すような、本
来被写体８０２ａの３次元形状とは異なる３次元形状を
有するマスク物体８０２を、スクリーン座標系に透視投
影しても、この透視投影図の形状と実写動画像の形状と
が完全に一致することはない。By the way, when a real photographed moving image and an image 801 of a CG model are synthesized by the above-described prior art, a good synthesized image as shown in FIG. 8 is not always obtained. In many cases, as shown in FIG. 9, an inconsistent area A of the image is generated between the subject 802 included in the actual photographed moving image and the image 801 of the CG model. Such an area A mainly occurs mainly because
Although the three-dimensional shape of the actual moving image extracted from the multi-viewpoint image includes errors (errors caused by distortion of a lens or the like, quantization errors, errors caused by interpolation of each sample point, etc.) , Based on which a mask object is created. That is, even if the mask object 802 having a three-dimensional shape that is different from the three-dimensional shape of the subject 802a as shown in FIG. 10 is perspectively projected on the screen coordinate system, the shape of the perspective projection view and the actual moving image The shape does not completely match.
【０００７】そこで、こうした問題を解決するために
は、仮想的な３次元空間において、各フレームの画像の
視点を決定するパラメータの値を補正する必要がある。
以下、このことについて、図１１、図１２、図１３を参
照しながら説明する。Therefore, in order to solve such a problem, it is necessary to correct the value of a parameter for determining a viewpoint of an image of each frame in a virtual three-dimensional space.
Hereinafter, this will be described with reference to FIGS. 11, 12, and 13. FIG.
【０００８】図１１中Ｂで示される位置を視点位置とし
て、ＣＧモデル１１０１とマスク物体１１０２とが、そ
れぞれ、スクリーン座標系１１０４に透視投影される。
ところが、このマスク物体１１０２は、前述したよう
に、本来の実写動画像の被写体１１０３の３次元形状と
は異なる３次元形状を有しているため、両者を合成した
合成画像上においては、図１２に示すように、ＣＧモデ
ル１１０１の画像１１０１ａと実写動画像１１０３ａと
の間の不整合な領域Ａを生じることになる。ところが、
別の視点Ｃから、マスク物体１１０２とＣＧモデル１１
０１とをスクリーン座標系１１０４へそれぞれ透視投影
すると、図１３に示すような良好な合成画像を得ること
ができ、静止画像としては、見かけ上の不自然さを解消
することができる。The CG model 1101 and the mask object 1102 are respectively perspectively projected on the screen coordinate system 1104 with the position indicated by B in FIG. 11 as the viewpoint position.
However, as described above, since the mask object 1102 has a three-dimensional shape different from the three-dimensional shape of the subject 1103 in the original actual moving image, the mask object 1102 shown in FIG. As shown in FIG. 5, an inconsistent area A occurs between the image 1101a of the CG model 1101 and the real moving image 1103a. However,
From another viewpoint C, the mask object 1102 and the CG model 11
13 is projected onto the screen coordinate system 1104, respectively, a good composite image as shown in FIG. 13 can be obtained, and as a still image, the unnatural appearance can be eliminated.
【０００９】しかし、こうした視点の位置の補正を施し
た一連のフレームを動画像として再生すると、連続する
フレームの画像の視点の位置が、撮影装置の移動とは無
関係な僅かな変動を繰り返すために、最悪の場合には、
ディスプレイ画面に表示されたＣＧモデル１１０１の画
像は、絶え間なく僅かに振動し続けることになる。例え
ば、直線上を移動するＣＧモデル１１０１が、ディスプ
レイ画面上には、図１４に示すように、僅かに異なる方
向を有するベクトルａ1〜ａ6によって定義される方向に
移動する画像１１０１ａとして再生される。こうした動
画像は、これを観察する者に対して、不自然な印象或る
いは不快な印象を与えることになる。However, when a series of frames in which the viewpoint positions are corrected as described above is reproduced as a moving image, the viewpoint positions of the images of the continuous frames repeat a slight change unrelated to the movement of the photographing apparatus. , In the worst case,
The image of the CG model 1101 displayed on the display screen continuously and slightly vibrates. For example, CG model 1101 that moves in a straight line is, on the display screen, as shown in FIG. 14, is reproduced as an image 1101a which moves in the direction defined by a vector a 1 ~a 6 having a slightly different direction You. Such a moving image gives an unnatural impression or an unpleasant impression to the observer.
【００１０】そこで、本発明は、最終的な動画像の品質
が損なわれないように、動画像とコンピュータグラフィ
ックスによる画像とを合成する画像合成方法を提供する
ことを目的とする。Accordingly, an object of the present invention is to provide an image synthesizing method for synthesizing a moving image and an image based on computer graphics so that the quality of the final moving image is not impaired.
【００１１】[0011]
【課題を解決するための手段】上記目的達成のため、本
発明は、仮想的な３次元空間上に配置した仮想的な３次
元物体を、実写動画像に含まれる被写体の特徴点の位置
に基づいて前記仮想的な３次元空間上の配置が定まる、
前記仮想的な３次元空間上の投影面に投影した映像と、
前記実写動画像に含まれる被写体の映像を合成した映像
を生成する画像生成方法であって、前記実写動画像を構
成する各フレームの画像から、前記被写体の特徴点の座
標を抽出するステップと、前記抽出された被写体の特徴
点が時間経過に伴って滑らかに移動するように、前記抽
出された被写体の特徴点の座標を補正するステップと、
前記補正された特徴点の座標に基づいて、前記仮想的な
３次元空間上の投影面の配置を定めるステップと、前記
補正された特徴点の座標に基づいて、前記実写動画像に
含まれる被写体の３次元形状と倣った３次元形状を有す
る仮想的な物体であるマスク物体を作成するステップ
と、前記仮想的な３次元空間上に、前記マスク物体を配
置するステップと、前記投影面に、前記仮想的な３次元
空間に配置されたマスク物体と前記仮想的な３次元物体
とを投影するステップと、前記マスク物体が前記投影面
に投影された領域に、前記実写動画像に含まれる被写体
の映像をはめ込むステップとを有すること特徴とする画
像生成方法を提供する。According to the present invention, a virtual three-dimensional object arranged in a virtual three-dimensional space is located at a position of a feature point of a subject included in a real moving image. The arrangement in the virtual three-dimensional space is determined based on
An image projected on the projection plane in the virtual three-dimensional space,
An image generation method for generating a video image obtained by synthesizing a video image of a subject included in the live-action moving image, wherein the coordinates of feature points of the subject are extracted from images of each frame constituting the live-action moving image, Correcting the coordinates of the extracted feature points of the subject so that the feature points of the extracted subject move smoothly with time;
Determining an arrangement of the projection plane in the virtual three-dimensional space based on the coordinates of the corrected feature point; and a subject included in the actual moving image based on the corrected coordinates of the feature point. Creating a mask object that is a virtual object having a three-dimensional shape that mimics the three-dimensional shape of the above; arranging the mask object on the virtual three-dimensional space; Projecting the mask object arranged in the virtual three-dimensional space and the virtual three-dimensional object, and setting a subject included in the actual photographed moving image in an area where the mask object is projected on the projection plane. And a step of fitting the video.
【００１２】[0012]
【作用】本発明に係る画像生成方法によれば、前記抽出
された被写体の特徴点が時間経過に伴って滑らかに移動
するように補正された被写体の特徴点の座標に基づい
て、前記仮想的な３次元空間上の投影面の配置を定め、
かつ、前記実写動画像に含まれる被写体の３次元形状と
倣った３次元形状を有する仮想的な物体であるマスク物
体を作成する。そして、前記仮想的な３次元空間上に配
置した前記マスク物体と前記仮想的な３次元物体とを、
前記投影面に投影し、更に、前記マスク物体が前記投影
面に投影された領域に、前記実写動画像に含まれる被写
体の映像をはめ込む。According to the image generation method of the present invention, based on the coordinates of the feature points of the subject corrected so that the extracted feature points of the subject move smoothly over time, the virtual The arrangement of projection planes in a three-dimensional space,
In addition, a mask object which is a virtual object having a three-dimensional shape following the three-dimensional shape of the subject included in the actual moving image is created. Then, the mask object and the virtual three-dimensional object arranged in the virtual three-dimensional space are:
The image is projected on the projection plane, and further, the image of the subject included in the actual moving image is set in the area where the mask object is projected on the projection plane.
【００１３】このように、本発明に係る画像生成方法に
よれば、補正された被写体の特徴点の一連の２次元座標
に基づいて作成された、より適正な３次元形状を有する
マスク物体を用いて合成画像を作成するため、被写体の
画像と仮想的な３次元物体の画像との間の不整合領域を
減少させることができる。従って、必要とされる視点の
補正量が減少するので、合成された仮想的な３次元物体
の映像には、周囲の画像の動きに調和しない振動が生じ
にくくなる。更に、補正された被写体の特徴点の一連の
座標に基づいて仮想的な３次元空間上の投影面の配置が
決定されるので、実写動画像を構成する一連のフレーム
の画像における視点が、実写動画像に含まれる被写体の
動きに合わせて自然に変化するようになるという効果も
生じる。すなわち、最終的な動画像の視点が安定するた
め、より自然な動画像を得ることができる。その結果、
高品質な動画像を再生することができる。As described above, according to the image generating method of the present invention, a mask object having a more appropriate three-dimensional shape created based on a series of two-dimensional coordinates of the corrected feature points of the subject is used. Therefore, the mismatched region between the image of the subject and the image of the virtual three-dimensional object can be reduced. Therefore, the required amount of correction of the viewpoint is reduced, and vibrations that do not match the movement of the surrounding images are less likely to occur in the synthesized image of the virtual three-dimensional object. Furthermore, since the arrangement of the projection plane in the virtual three-dimensional space is determined based on the corrected series of coordinates of the feature points of the subject, the viewpoint in the image of the series of frames constituting the real moving image is There is also an effect that the image naturally changes in accordance with the movement of the subject included in the moving image. That is, since the viewpoint of the final moving image is stabilized, a more natural moving image can be obtained. as a result,
High quality moving images can be reproduced.
【００１４】[0014]
【実施例】以下、添付の図面を参照しながら、本発明に
係る実施例について説明する。Embodiments of the present invention will be described below with reference to the accompanying drawings.
【００１５】まず、図１を参照しながら、本実施例に係
る画像生成方法よる処理を行うための装置の構成につい
て説明する。なお、図１に示した構成は、実際には情報
処理装置のＣＰＵにより実現されるプロセスと、情報処
理装置のハードウエアとを機能的に示したものである。First, the configuration of an apparatus for performing processing by the image generation method according to the present embodiment will be described with reference to FIG. Note that the configuration shown in FIG. 1 is a functional representation of a process realized by the CPU of the information processing apparatus and hardware of the information processing apparatus.
【００１６】本装置は、合成画像などを表示する表示装
置１００と、本実施例に係る画像合成処理を行う演算部
１０１と、実写動画像のディジタル画像情報等を記憶す
る記憶領域１０２とを備える。The present apparatus includes a display device 100 for displaying a composite image and the like, an arithmetic unit 101 for performing the image synthesizing process according to the present embodiment, and a storage area 102 for storing digital image information of a real photographed moving image. .
【００１７】以下、演算部の各ブロックで行われる処理
を、実施例に係る画像生成方法による、画像合成処理の
流れに合わせて説明していく。ただし、記憶領域１０２
には、ＶＴＲ等の撮影装置で撮影された実写動画像のデ
ィジタル画像情報ａと、一般的なグラフィックス・パッ
ケージ等を利用して作成した３次元オブジェクト（以
下、ＣＧモデルと呼ぶ）のディジタル画像情報ｂとが予
め記憶されていることを前提とする。以下、図２に示す
ような、静止した物体を様々な観測位置から連続的に撮
影した実写動画像と、図３に示すようなＣＧモデルの画
像との合成画像を作成する場合を例に挙げる。Hereinafter, the processing performed in each block of the arithmetic unit will be described in accordance with the flow of the image synthesis processing by the image generation method according to the embodiment. However, the storage area 102
Includes digital image information a of an actual photographed moving image photographed by a photographing device such as a VTR, and a digital image of a three-dimensional object (hereinafter referred to as a CG model) created by using a general graphics package or the like. It is assumed that the information b is stored in advance. Hereinafter, a case will be described as an example in which a composite image of an actual moving image obtained by continuously photographing a stationary object from various observation positions as shown in FIG. 2 and a CG model image as shown in FIG. 3 is created. .
【００１８】まず、特徴点抽出部１０３では、記憶領域
１０２に記憶された実写動画像のディジタル画像情報ａ
から実写動画像に含まれる被写体の特徴点を抽出し、実
写動画像を構成する全フレームの画像について、仮想的
な２次元空間における各特徴点の２次元座標を算出す
る。こうした被写体の特徴点の一例としては、図４に示
すような被写体の輪郭の屈折点４００や、特徴的な模様
等が挙げられる。また、特徴点の座標を算出すると同時
に、各フレームの画像間で特徴点の対応をとる必要があ
る。こうした処理を行う具体的な方法としては、各フレ
ームの画像毎にしきい値処理を施すことにより特徴点を
自動的に抽出していく方法や、周知のユーザインタフェ
ースを利用して、操作者が、各フレームの画像毎に、特
徴点を直接指定していく方法や、操作者が直接指定した
特徴点を追跡していくオプティカルフロー法等が挙げら
れる。これらは、いずれも、画像の特徴点を抽出する際
に一般的に用いられる方法なので、ここでは詳しい説明
を省略する。First, in the feature point extracting unit 103, the digital image information a of the real photographed moving image stored in the storage area 102 is stored.
, The feature points of the subject included in the real moving image are extracted, and the two-dimensional coordinates of each characteristic point in the virtual two-dimensional space are calculated for the images of all the frames constituting the real moving image. Examples of such feature points of the subject include a refraction point 400 of the contour of the subject as shown in FIG. 4 and a characteristic pattern. In addition, it is necessary to calculate the coordinates of the feature points and, at the same time, take correspondence of the feature points between the images of each frame. As a specific method for performing such processing, a method of automatically extracting feature points by performing threshold processing for each image of each frame, or a method of using a well-known user interface, A method of directly designating a feature point for each image of each frame, an optical flow method of tracking a feature point directly designated by an operator, and the like can be given. Each of these methods is generally used when extracting feature points of an image, and a detailed description thereof will be omitted here.
【００１９】次に、補正部１０４において、特徴点抽出
部１０３で、時系列に抽出された、各特徴点の一連の座
標の各成分(Ｘ1,Ｙ1)，．．，(Ｘｍ,Ｙｍ)，．．，(Ｘ
ｎ,Ｙｎ）（但し、ｍは、１以上ｎ以下の整数)に対して
平滑化処理を施す。以下、この平滑化処理について説明
する。Next, in the correction unit 104, each component (X 1 , Y 1 ),... Of a series of coordinates of each feature point extracted in time series by the feature point extraction unit 103. . , (Xm, Ym),. . , (X
n, Yn) (where m is an integer of 1 to n). Hereinafter, the smoothing process will be described.
【００２０】本実施例では、次式に基づく、再帰的な平
滑化処理を行う。In this embodiment, a recursive smoothing process is performed based on the following equation.
【００２１】[0021]
【数１】 (Equation 1)
【００２２】ここで、(Ｘm',Ｙm')は、補正後の特徴点
の座標であり、δは、１以下の重み係数である。Here, (Xm ', Ym') is the coordinate of the corrected feature point, and δ is a weight coefficient of 1 or less.
【００２３】こうした平滑化処理を施すことにより、各
特徴点の一連の座標に、突発的に生じる極端な変動を、
δの値に応じて、適当に抑制することができる。なお、
補正部１０４で行われる平滑化処理は、数式１に基づく
ものに限定されるものではない。例えば、特徴点の一連
の座標の各成分を、それぞれ、スプライン関数を利用し
て平滑化しても良い。なお、スプライン関数の詳細につ
いては、「スプライン関数とその応用、市田、吉本著、
教育出版者、シリーズ新しい応用の数学20、1979」等に
記載されているので、ここでは省略する。By performing such a smoothing process, a sudden change in a series of coordinates of each feature point suddenly occurs.
It can be suppressed appropriately according to the value of δ. In addition,
The smoothing process performed by the correction unit 104 is not limited to the one based on Expression 1. For example, each component of a series of coordinates of a feature point may be smoothed using a spline function. For details on spline functions, see "Spline functions and their applications, Ichida and Yoshimoto,
Since it is described in Educational Publishers, Series New Applied Mathematics 20, 1979, etc., it is omitted here.
【００２４】次に、３次元座標算出部１０５では、補正
部１０４で平滑化処理が施された特徴点の２次元座標か
ら、仮想的な３次元空間における、特徴点の３次元座標
が算出される。また、この仮想的な３次元空間におけ
る、各フレームの画像の視点パラメータ（視点位置、視
角）も同時に算出される。なお、ここで行われる処理
は、従来の技術の欄で説明した算出方法に基づくもので
なので、ここでは詳しい説明を省略する。Next, the three-dimensional coordinate calculation unit 105 calculates the three-dimensional coordinates of the feature point in the virtual three-dimensional space from the two-dimensional coordinates of the feature point subjected to the smoothing processing by the correction unit 104. You. In addition, the viewpoint parameters (viewpoint position, viewing angle) of the image of each frame in the virtual three-dimensional space are calculated at the same time. Since the processing performed here is based on the calculation method described in the section of the related art, a detailed description is omitted here.
【００２５】次に、３次元モデル生成部１０６では、３
次元座標算出部１０５で算出された特徴点の３次元座標
により実写動画像に含まれる被写体の３次元形状を決定
した後、この３次元形状に基づいて、仮想的なマスク物
体が生成される。これも、従来の技術の欄で説明した画
像生成方法と同様な処理によるものなので、ここでは詳
しい説明を省略する。ただし、本実施例では、平滑化さ
れた特徴点の３次元座標を利用しているため、従来技術
の欄で説明した画像生成方法において作成されるマスク
物体よりも、被写体本来の３次元形状に倣った、より適
正な３次元形状を有するマスク物体を作成することがで
きる。Next, the three-dimensional model generation unit 106
After determining the three-dimensional shape of the subject included in the actual moving image based on the three-dimensional coordinates of the feature points calculated by the three-dimensional coordinate calculation unit 105, a virtual mask object is generated based on the three-dimensional shape. This is also based on the same processing as the image generation method described in the section of the related art, and a detailed description thereof will be omitted. However, in this embodiment, since the three-dimensional coordinates of the smoothed feature points are used, the original three-dimensional shape of the subject is more than the mask object created by the image generation method described in the section of the related art. A mask object having a more appropriate three-dimensional shape can be created.
【００２６】次に、画像生成部１０７では、３次元モデ
ル生成部で作成されたマスク物体を、仮想的な３次元空
間に配置する。Next, the image generation unit 107 arranges the mask object generated by the three-dimensional model generation unit in a virtual three-dimensional space.
【００２７】次に、画像合成部１０８では、更に、この
仮想的な３次元空間に、図５に示すように、記憶領域１
０２に記憶されたディジタル画像情報ｂにより定義され
るＣＧモデル３００を配置する。この段階において、従
来技術の欄で説明した隠稜及び隠面の除去等の写実的な
合成画像を作成するための処理が施される。なお、これ
らも、従来技術の欄で説明した画像合成方法と同様な処
理によるものなので、ここでは詳しい説明を省略する。
こうした処理を施した後、３次元座標算出部１０５で算
出されたパラメータにより定まる各フレームの画像の各
視点から、スクリーン座標系にＣＧモデル３００とマス
ク物体とをそれぞれ透視投影し（図６参照）、更に、ス
クリーン座標系におけるマスク物体の透視投影図の位置
に被写体の映像を再現する。このとき、本実施例におい
ても、被写体の画像とＣＧモデルの画像との間の不整合
領域を生じるため、従来技術の欄で説明したような視点
の補正を行う必要がある。しかし、より適正な３次元形
状を有するマスク物体を用いているので、動画像を構成
する時系列的のフレームの画像において、視点の補正量
は、滑らかに且つ僅かに変動するのみである。そして、
最終的に、表示装置のディスプレイ画面上には、図７に
示すような合成画像が表示される。Next, the image synthesizing unit 108 further stores the storage area 1 in this virtual three-dimensional space as shown in FIG.
02, a CG model 300 defined by the digital image information b stored therein. At this stage, processing for creating a realistic composite image such as removal of hidden edges and hidden surfaces described in the section of the related art is performed. Note that these are also the same processing as the image synthesizing method described in the section of the related art, and thus detailed description thereof will be omitted.
After such processing, the CG model 300 and the mask object are perspectively projected onto the screen coordinate system from each viewpoint of the image of each frame determined by the parameters calculated by the three-dimensional coordinate calculation unit 105 (see FIG. 6). Further, the image of the subject is reproduced at the position of the perspective projection view of the mask object in the screen coordinate system. At this time, also in this embodiment, since a mismatched region occurs between the image of the subject and the image of the CG model, it is necessary to perform the viewpoint correction as described in the section of the related art. However, since a mask object having a more appropriate three-dimensional shape is used, the correction amount of the viewpoint only smoothly and slightly fluctuates in the image of the time-series frames constituting the moving image. And
Finally, a composite image as shown in FIG. 7 is displayed on the display screen of the display device.
【００２８】このように、本発明に係る画像生成方法に
よれば、平滑化された被写体の特徴点の一連の２次元座
標に基づいて作成された、より適正な３次元形状を有す
るマスク物体を用いて合成画像を作成するため、被写体
の画像とＣＧモデルの画像との間の不整合領域を補正す
るために必要とされる視点の補正量が減少するので、合
成された仮想的な３次元物体の映像には、周囲の画像の
動きに調和しない振動が生じにくくなる。更に、平滑化
された被写体の特徴点の一連の２次元座標に基づいて視
点が定義されるので、視点が、実写動画像に含まれる被
写体の動きに合わせて自然に変化するようになるという
効果も生じる。すなわち、最終的な動画像の視点が安定
するため、より自然な動画像を得ることができる。その
結果、高品質な動画像を再生することができる。なお、
こうした動画像の高品質さが、これを観察する者の心理
に与える印象を考慮すれば、以上の処理を施すことによ
り、動画像の各フレームの誤差が最小にならなくなるこ
とは、それほど問題とならない。As described above, according to the image generating method of the present invention, a mask object having a more appropriate three-dimensional shape created based on a series of two-dimensional coordinates of the smoothed characteristic points of the subject is obtained. Since a synthetic image is created using the image, the amount of correction of the viewpoint required to correct the mismatched region between the image of the subject and the image of the CG model is reduced. Vibrations that do not match the movement of the surrounding images are less likely to occur in the image of the object. Further, since the viewpoint is defined based on a series of two-dimensional coordinates of the smoothed feature points of the subject, the viewpoint is naturally changed in accordance with the movement of the subject included in the actual moving image. Also occurs. That is, since the viewpoint of the final moving image is stabilized, a more natural moving image can be obtained. As a result, a high-quality moving image can be reproduced. In addition,
Considering the impression that the high quality of the moving image has on the psychology of the observer, it is a problem that the above processing does not minimize the error of each frame of the moving image. No.
【００２９】なお、本実施例では、被写体の全特徴点に
対して同様な平滑化処理を施しているが、必ずしもこの
ようにする必要はない。例えば、数式１において、特徴
点毎に、重み係数δの値を変更すれば、局所的に平滑化
の程度を変えることができる。具体的には、予め、ＣＧ
モデルとマスク物体とが重なり合う概ねの領域を特定し
ておき、この領域内の特徴点に対しては、他の特徴点よ
りも小さな値の重み係数δを設定すれば、平滑化処理を
施すことにより生じる誤差を最小限に抑えることができ
る。また、合成画像を作成した後に、最初の入力値を修
正するプロセスに、３次元形状や視点パラメ−タをフィ
−ドバックすることにより、逐次、３次元形状や視点パ
ラメ−タを、平滑化に有効な値に修正していくようにし
てもよい。In this embodiment, the same smoothing process is performed on all the feature points of the subject. However, this is not always necessary. For example, in Equation 1, if the value of the weight coefficient δ is changed for each feature point, the degree of smoothing can be locally changed. Specifically, the CG
If a general area where the model and the mask object overlap is specified, and a feature point in this area is set to a smaller weight coefficient δ than other feature points, smoothing processing is performed. Can be minimized. Also, after the composite image is created, the three-dimensional shape and viewpoint parameters are fed back in the process of correcting the first input value, so that the three-dimensional shape and viewpoint parameters are successively smoothed. You may make it correct to an effective value.
【００３０】[0030]
【発明の効果】本発明に係る画像生成方法によれば、動
画像と、コンピュータグラフィックによる画像とを良好
に合成することができる。その結果、最終的な動画像の
品質を損なうことがない。According to the image generating method of the present invention, a moving image and an image based on computer graphics can be satisfactorily synthesized. As a result, the quality of the final moving image does not deteriorate.
【図１】本発明に係る画像生成方法よる処理を説明する
ための図である。FIG. 1 is a diagram for explaining processing by an image generation method according to the present invention.
【図２】実写動画像の一例を示した図である。FIG. 2 is a diagram showing an example of a real moving image.
【図３】ＣＧモデルの一例を示した図である。FIG. 3 is a diagram illustrating an example of a CG model.
【図４】図１の実写動画像の特徴点の一例を示した図で
ある。FIG. 4 is a diagram showing an example of characteristic points of the real moving image of FIG. 1;
【図５】図３のＣＧモデルと、図２の実写動画像の被写
体のマスク物体の、仮想的な３次元空間への配置を説明
するための図である。5 is a diagram for explaining the arrangement of a CG model in FIG. 3 and a mask object of a subject of the real moving image in FIG. 2 in a virtual three-dimensional space.
【図６】図５の仮想的な３次元空間の、スクリーン座標
系への透視投影図である。FIG. 6 is a perspective projection view of the virtual three-dimensional space of FIG. 5 onto a screen coordinate system.
【図７】図２の実写動画像と図３のＣＧモデルとの合成
画像を示した図である。7 is a diagram showing a composite image of the real moving image of FIG. 2 and the CG model of FIG. 3;
【図８】実写動画像とＣＧモデルとが良好に合成された
合成画像を示した図である。FIG. 8 is a diagram showing a synthesized image in which a real moving image and a CG model are successfully synthesized.
【図９】合成画像上に生じる画像の不整合を説明するた
めの図である。FIG. 9 is a diagram illustrating an image mismatch that occurs on a composite image.
【図１０】実写動画像の被写体のマスク物体の３次元形
状に生じる誤差を説明するための図である。FIG. 10 is a diagram for explaining an error occurring in a three-dimensional shape of a mask object as a subject in a real moving image.
【図１１】視点位置の補正を説明するための図である。FIG. 11 is a diagram for explaining correction of a viewpoint position.
【図１２】視点位置の補正前の、ＣＧモデルと実写動画
像との合成画像を示した図である。FIG. 12 is a diagram showing a composite image of a CG model and a real moving image before correction of a viewpoint position.
【図１３】視点位置の補正後の、ＣＧモデルと実写動画
像との合成画像を示した図である。FIG. 13 is a diagram showing a composite image of a CG model and a real moving image after correcting the viewpoint position.
【図１４】合成動画像上の、ＣＧモデルの画像の動きを
説明するための図である。FIG. 14 is a diagram for explaining the movement of an image of a CG model on a synthetic moving image.
１００…表示装置、１０１…演算部、１０２…記憶領
域、１０３…特徴点抽出部、１０４…補正部、１０５…
３次元座標算出部、１０６…３次元モデル生成部、１０
７…画像生成部、１０８…画像合成部100 display device, 101 calculation unit, 102 storage area, 103 feature point extraction unit, 104 correction unit, 105
3D coordinate calculation unit, 106 ... 3D model generation unit, 10
7: Image generation unit, 108: Image synthesis unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 誠 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 野山 英郎 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 能田 亜紀 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 湯浅 俊之 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (56)参考文献 特表 平６−510893（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 15/00 - 17/40 H04N 5/272 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Makoto Kato 1099 Ozenji Temple, Aso-ku, Kawasaki City, Kanagawa Prefecture Hitachi, Ltd.System Development Laboratory (72) Inventor Hideo Noyama 1099 Ozenji Temple, Aso-ku, Kawasaki City, Kanagawa Hitachi, Ltd. Manufacturing System Development Laboratory (72) Inventor Aki Noda 1099 Ozenji Temple, Aso-ku, Kawasaki City, Kanagawa Prefecture Hitachi, Ltd.System Development Research Laboratory (72) Inventor Toshiyuki Yuasa 1099 Ozenji Temple, Aso-ku, Kawasaki City, Kanagawa Prefecture Hitachi, Ltd. (56) References Table 6-510893 (JP, A) (58) Field surveyed (Int. Cl. 7 , DB name) G06T 15/00-17/40 H04N 5/272
Claims (6)
３次元物体を、実写動画像に含まれる被写体の特徴点の
位置に基づいて前記仮想的な３次元空間上の配置が定ま
る、前記仮想的な３次元空間上の投影面に投影した映像
と、前記実写動画像に含まれる被写体の映像を合成した
映像を生成する画像生成方法であって、 前記実写動画像を構成する各フレームの画像から、前記
被写体の特徴点の座標を抽出するステップと、 前記抽出された被写体の特徴点が時間経過に伴って滑ら
かに移動するように、前記抽出された被写体の特徴点の
座標を補正するステップと、 前記補正された特徴点の座標に基づいて、前記仮想的な
３次元空間上の投影面の配置を定めるステップと、 前記補正された特徴点の座標に基づいて、前記実写動画
像に含まれる被写体の３次元形状と倣った３次元形状を
有する仮想的な物体であるマスク物体を作成するステッ
プと、 前記仮想的な３次元空間上に、前記マスク物体を配置す
るステップと、 前記投影面に、前記仮想的な３次元空間に配置されたマ
スク物体と前記仮想的な３次元物体とを投影するステッ
プと、 前記マスク物体が前記投影面に投影された領域に、前記
実写動画像に含まれる被写体の映像をはめ込むステップ
とを有すること特徴とする画像生成方法。An arrangement of a virtual three-dimensional object arranged in a virtual three-dimensional space is determined based on a position of a feature point of a subject included in a real moving image. An image generation method for generating an image obtained by synthesizing an image projected on a projection plane in the virtual three-dimensional space and an image of a subject included in the actual photographed moving image, Extracting the coordinates of the feature points of the subject from the image of the frame; and calculating the coordinates of the feature points of the extracted subject so that the extracted feature points of the subject move smoothly over time. Correcting; determining the arrangement of the projection plane in the virtual three-dimensional space based on the corrected coordinates of the feature points; and determining the actual moving image based on the corrected coordinates of the feature points. The object included in the image Creating a mask object that is a virtual object having a three-dimensional shape following the three-dimensional shape of the object; arranging the mask object on the virtual three-dimensional space; Projecting the mask object and the virtual three-dimensional object arranged in the virtual three-dimensional space, and including the mask object in an area where the mask object is projected on the projection plane, in the actual moving image. Fitting an image of a subject to be reproduced.
物体の映像との間にずれが生じないように、実写動画像
を構成するフレームの画像の視点を移動させるステップ
を有することを特徴とする画像生成方法。2. The image generating method according to claim 1, wherein a real photographed moving image is formed so as not to cause a shift between the image of the subject on the projection plane and the image of the virtual three-dimensional object. Moving the viewpoint of the image of the frame that constitutes the image generation method.
って、 前記被写体の特徴点が位置する前記実写動画像の領域に
応じて、前記被写体の特徴点の座標の補正によって得ら
れる、前記被写体の特徴点の座標の移動の滑らかさの程
度を変えるステップを有することを特徴とする画像生成
方法。3. The image generation method according to claim 1, wherein the coordinates of the feature points of the subject are corrected in accordance with a region of the actual moving image where the feature points of the subject are located. Changing the degree of smoothness of the movement of the coordinates of the feature points of the subject.
３次元物体を、実写動画像に含まれる被写体の特徴点の
位置に基づいて前記仮想的な３次元空間上の配置が定ま
る、前記仮想的な３次元空間上の投影面に投影した映像
と、前記実写動画像に含まれる被写体の映像を合成した
映像を、ディスプレイ画面に表示する画像生成装置であ
って、 前記実写動画像のデジタル画像デ−タと、前記仮想的な
３次元物体の３次元形状を定義する形状デ−タとを記憶
する記憶装置と、 前記実写動画像を構成する各フレームの画像から、前記
被写体の特徴点の座標を抽出する抽出手段と、 前記抽出手段が抽出した前記被写体の特徴点が時間経過
に伴って滑らかに移動するように、前記被写体の特徴点
の座標を補正する平滑化手段と、 前記平滑化手段に補正された特徴点の座標に基づいて、
前記仮想的な３次元空間上の投影面の配置を定める視点
算出手段と、 前記平滑化手段に補正された特徴点の座標に基づいて、
前記被写体の３次元形状と倣った３次元形状を有する仮
想的な物体であるマスク物体を作成し、前記仮想的な３
次元空間上に、前記マスク物体を配置するモデル生成手
段と、 前記視点算出手段が配置を定めた投影面に、前記仮想的
な３次元空間に配置された前記仮想的な３次元物体と前
記マスク物体をそれぞれ投影する投影手段と、 前記投影手段が前記マスク物体を投影した前記投影面上
の領域に、前記実写動画像に含まれる被写体の映像をは
め込む合成手段とを備えることを特徴とする画像生成装
置。4. An arrangement in a virtual three-dimensional space of a virtual three-dimensional object arranged in a virtual three-dimensional space is determined based on a position of a feature point of a subject included in a real moving image. An image generating apparatus for displaying, on a display screen, a video obtained by combining a video projected on a projection plane in the virtual three-dimensional space and a video of a subject included in the real moving image, the real moving image A storage device for storing digital image data of the three-dimensional object and shape data defining the three-dimensional shape of the virtual three-dimensional object; and Extraction means for extracting the coordinates of the feature points; and smoothing means for correcting the coordinates of the feature points of the subject so that the feature points of the subject extracted by the extraction means move smoothly with time. Correction to the smoothing means Based on the coordinates of the feature points
A viewpoint calculation unit that determines an arrangement of the projection plane in the virtual three-dimensional space; and a coordinate of a feature point corrected by the smoothing unit.
A mask object, which is a virtual object having a three-dimensional shape following the three-dimensional shape of the subject, is created.
Model generation means for arranging the mask object in a three-dimensional space; and the virtual three-dimensional object and the mask arranged in the virtual three-dimensional space on a projection plane determined by the viewpoint calculation means. An image characterized by comprising projection means for projecting an object, and combination means for fitting an image of a subject included in the actual moving image into an area on the projection plane where the projection means projects the mask object. Generator.
段が投影した前記仮想的な３次元物体の映像との間にず
れが生じないように、前記実写動画像を構成するフレー
ムの画像の視点を移動させる移動手段を有することを特
徴とする画像生成装置。5. The image generating apparatus according to claim 4, wherein a shift occurs between the image of the subject fitted by the combining unit and the image of the virtual three-dimensional object projected by the projecting unit. An image generating apparatus, comprising: moving means for moving a viewpoint of an image of a frame constituting the actual photographed moving image so that the moving image does not exist.
って、 前記補正手段は、前記被写体の特徴点が位置する前記実
写動画像の領域に応じて、前記被写体の特徴点の座標の
補正の程度を変えることを特徴とする画像生成装置。6. The image generating apparatus according to claim 4, wherein the correction unit calculates coordinates of feature points of the subject in accordance with an area of the actual moving image where the feature points of the subject are located. An image generating apparatus characterized by changing a degree of correction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20325595A JP3538263B2 (en) | 1995-08-09 | 1995-08-09 | Image generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20325595A JP3538263B2 (en) | 1995-08-09 | 1995-08-09 | Image generation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0950540A JPH0950540A (en) | 1997-02-18 |
| JP3538263B2 true JP3538263B2 (en) | 2004-06-14 |
Family
ID=16471003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20325595A Expired - Fee Related JP3538263B2 (en) | 1995-08-09 | 1995-08-09 | Image generation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3538263B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100297946B1 (en) * | 1998-03-18 | 2001-08-07 | 이준식 | Device and method for image synthetic |
| KR100442817B1 (en) * | 1998-09-09 | 2004-09-18 | 삼성전자주식회사 | 3D object recognition method based on one 2D image and modelbase generation method |
| KR100355815B1 (en) * | 2000-04-11 | 2002-10-19 | 이지로보틱스 주식회사 | Apparatus for motion capture and motion animation using multiple mobile robot |
| JP4465643B2 (en) * | 2000-05-17 | 2010-05-19 | 株式会社セガ | Image processing device, electronic game device, and storage medium for video game machine |
| JP2002157606A (en) * | 2000-11-17 | 2002-05-31 | Canon Inc | Image display controller, composite reality presentation system, image display control method, and medium providing processing program |
| DE102006005044B4 (en) * | 2006-02-03 | 2011-01-27 | Metaio Gmbh | Method and system for determining a data model for superposition with a real object in an object tracking method |
| CN100435171C (en) * | 2006-03-31 | 2008-11-19 | 北京北大方正电子有限公司 | Method for arranging three dimension figure |
| JP5682060B2 (en) * | 2010-12-20 | 2015-03-11 | 国際航業株式会社 | Image composition apparatus, image composition program, and image composition system |
| JP5718197B2 (en) * | 2011-09-14 | 2015-05-13 | 株式会社バンダイナムコゲームス | Program and game device |
| JP6775776B2 (en) | 2017-03-09 | 2020-10-28 | 株式会社岩根研究所 | Free viewpoint movement display device |
| CN111031305A (en) * | 2019-11-21 | 2020-04-17 | 北京市商汤科技开发有限公司 | Image processing method and apparatus, image device, and storage medium |
| JP2022512262A (en) | 2019-11-21 | 2022-02-03 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Image processing methods and equipment, image processing equipment and storage media |
| WO2022264519A1 (en) * | 2021-06-14 | 2022-12-22 | ソニーグループ株式会社 | Information processing device, information processing method, and computer program |
-
1995
- 1995-08-09 JP JP20325595A patent/JP3538263B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0950540A (en) | 1997-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| Agrawala et al. | Artistic multiprojection rendering | |
| US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
| CA2581273C (en) | System and method for processing video images | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| US20080246757A1 (en) | 3D Image Generation and Display System | |
| US6388666B1 (en) | System and method for generating stereoscopic image data | |
| JP3538263B2 (en) | Image generation method | |
| JP3524147B2 (en) | 3D image display device | |
| JP3366048B2 (en) | Video special effect device and method | |
| JP2001022936A (en) | Device for generating three-dimensional shape | |
| JP3086577B2 (en) | 3D image conversion method for 2D images | |
| US7009606B2 (en) | Method and apparatus for generating pseudo-three-dimensional images | |
| KR20000051217A (en) | Three-dimensional face synthesis method using facial texture image from several views | |
| JP2001291116A (en) | Device and method for generating three-dimensional image and program providing medium | |
| CN112868052A (en) | Method and system for providing at least partial content with six degrees of freedom | |
| JP4098882B2 (en) | Virtual reality generation apparatus and method | |
| CN116524087A (en) | Audio-driven speaker video synthesis method and system for fusing nerve radiation field | |
| JP5165819B2 (en) | Image processing method and image processing apparatus | |
| US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
| JP3850080B2 (en) | Image generation and display device | |
| JP7011728B2 (en) | Image data output device, content creation device, content playback device, image data output method, content creation method, and content playback method | |
| JP2000030080A (en) | Virtual reality system | |
| JPH1188910A (en) | Three-dimension model generating device, three-dimension model generating method, medium recording three-dimension model generating program three-dimension model reproduction device, three-dimension model reproduction method and medium recording three-dimension model reproduction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040319 |
|
| LAPS | Cancellation because of no payment of annual fees |