JP2002517840A - ３次元画像処理方法及びその装置 - Google Patents

３次元画像処理方法及びその装置

Info

Publication number
JP2002517840A
JP2002517840A JP2000552633A JP2000552633A JP2002517840A JP 2002517840 A JP2002517840 A JP 2002517840A JP 2000552633 A JP2000552633 A JP 2000552633A JP 2000552633 A JP2000552633 A JP 2000552633A JP 2002517840 A JP2002517840 A JP 2002517840A
Authority
JP
Japan
Prior art keywords
image
character
dimensional
dimensional image
comprehensive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000552633A
Other languages
English (en)
Inventor
クリストファー・ピーター・フロックハート
ダンカン・ヒューズ
Original Assignee
トリコーダー テクノロジー ピーエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トリコーダー テクノロジー ピーエルシー filed Critical トリコーダー テクノロジー ピーエルシー
Publication of JP2002517840A publication Critical patent/JP2002517840A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 本発明はコンピュータゲームのキャラクターを個性化する方法を提供する。この方法では、ゲームのキャラクター１（例えばインターネットに接続されたパーソナルコンピュータのユーザー）の少なくとも１つの２次元画像Ｉをプレーヤーのコンピュータから離れたところにあるサーバーＳにおいてデジタル処理する。包括画像Ｇは変形され、ユーザーの顔または頭部と整合されて動画化可能なキャラクターファイルに変換され、プレーヤーのコンピュータにダウンロードされる。好ましくは２つの重複画像をデジタルカメラで取得し、サーバーにアップロードする。サーバーではそれらの画像が立体画像処理されて不完全な３次元像Ｉが形成され、それが包括３次元像Ｇと比較され、包括３次元像が不完全な３次元像と整合するように変形される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔画像を処理するための方法と装置とに関するものである。ここで
言う顔画像とは、特に、例えばコンピュータゲームのようなデジタルアニメーシ
ョンに用いられるものであるが、これに限定されるわけではない。
【０００２】
【従来の技術】
異なる視点から撮影された２つまたはそれ以上の重複する２次元画像を１つの
共通な３次元像に変換する写真式画像形成法は公知であり、原理的にはこの手法
を人間の顔に適用し、公知のデジタル技術を用いて３次元像の動画とすることが
可能である。
【０００３】 対応する画像（例えば航空写真において）の画像領域間で対応をとるアルゴリ
ズムは公知である。例として、Gruenのアルゴリズム（S Afr I of Photogrammet
ry, remote sensing and Cartography Vol. 14 No.3(1985)に掲載のA.W.Gruenに
よる論文“Adaptive least squares correlation: a powerful image matching
technique”、及び、Int Arch photogrammetry Vol. 25 No.3(1986) P254に掲載
のA.W.Gruen及びE.P.Baltsaviasによる論文“High precision image matching f
or digital terrain model generation”参照）、及びそれに“領域拡大”改良
を加えたもの（Image and Vision Computing Vol. 7 No.2 1989年5月, p83に掲
載のOtto及びChauによる論文“Region-growing algorithm for matching terrai
n images”参照）を挙げることができる。
【０００４】 Gruenのアルゴリズムは順応型最小自乗法アルゴリズムである。このアルゴリ
ズムでは、典型的には15×15ピクセル〜30×30ピクセルの２つ画像断片について
対応がとられる（すなわち、画像断片間で最も良い対応が得られるように、より
大きな左画像及び右画像から画像断片が選択される）。この対応付けは、画像座
標間のアフィン幾何変換（すなわち、変換において平行線を平行に維持しながら
伸張または圧縮を行う）、及び画像断片における画素のグレーレベル間の付加的
な放射変換を行い、対応をとる画素間の相違を表現する過剰本数の線形方程式を
生成し、相違を最小化する最小自乗解を捜し出すことにより行われる。
【０００５】 Gruenのアルゴリズムはイタレーション型アルゴリズムであり、正しい解に収
束させるためには、対応付けのための妥当な推定値を予め入力する必要がある。
Otto及びChauによる領域成長アルゴリズムは、一画像における一点と他の画像に
おける一点とを概略対応付けることから始め、Gruenのアルゴリズムを利用して
、より正確な対応付けを行って、幾何学的、放射的変換パラメータを生成し、初
期整合点近傍の領域における点の概略整合をとるために変換パラメータを用いる
。近傍点としては、例えば5〜10ピクセルの格子間隙間を有する格子上の４つの
隣接点を選択する。これは、Gruenのアルゴリズムを全画素にわたって用いるこ
とを避けるためである。
【０００６】 IEEE Transactions on Pattern Analysis and Machine Intelligence Vol. 16
No.10, 1994年,1041-1049ページに掲載のHu等による論文“Matching Point Fea
tures with ordered Geometric, Rigidity and Disparity Constraints”（及び
それが参照した文献）は、重複画像内の特徴点間の対応付けを行うさらなる方法
を開示している。
【０００７】 現在係属中である本出願人による特許出願は、以下に示すようなGruenのアル
ゴリズムに対する種々の改良を開示している。 ｉ）アルゴリズム中に用いられている付加的な放射シフトを省略する。 ii）一連のイタレーションにおいて、対応候補点が１回のイタレーション当たり
ある量（例えば３ピクセル）以上移動した場合は、その点は有効な対応点ではな
いとみなし、削除する。 iii）対応領域拡大の最中、安定した収束のために必要なデータを確保するため
に、領域の４面のうち少なくとも３面について十分なコントラストが存在するか
をチェックすることが有効である。これを容易にするためには、異なる環境下に
おいてパラメータ（例えばコントラスト要求値）を最適化可能であるようにアル
ゴリズムを適合性のあるものとすることが望ましい。 iv）一画像における各画像断片と他の画像における点との間の対応の有効性を定
量化するためには、他の画像における対応点にアルゴリズムを適用して開始画像
におけるオリジナル格子点を再導出し（すなわち、立体対応工程を逆行する）、
オリジナル格子点と逆立体対応によって開始画像中に特定された新たな格子点と
の間の距離を測定することが有効であることが判っている。その距離が小さいほ
ど対応は良好である。
【０００８】
【発明が解決しようとする課題】
しかし、公知の写真式画像形成法では、高品質の重複画像間の対応付けがなお
も必要であり、対象物にテキスチャ情報がほとんどない場合（人間の顔では広い
範囲でそうである）には、全ての領域について対応付けを行うことは困難または
不可能である。その結果、３次元再構成画像には穴が形成される。このような問
題点は、光学的な（特に赤外線）パターン（特に斑点状のパターン）を対象物に
投影することによって解決される。しかし、パターン投影が必要であると、既に
洗練された装置のコストが高くなる。
【０００９】 本発明の目的の一つは、このような欠点を解消、または軽減することである。
【００１０】
【課題を解決するための手段】
本発明が提供する方法によれば、ある物体に関する２つまたはそれ以上の２次
元画像を写真式画像形成法によって処理してその物体の不完全な３次元像を生成
し、その不完全な３次元像をその物体類の包括像と組合せて３次元像を形成する
。
【００１１】 一実施形態では、上記物体は、人間または動物の体、または体の一部分である
。
【００１２】 好ましい実施形態では、包括像と組合せて導出される３次元像は、動画化可能
なフォーマットで構成される。
【００１３】 好ましい実施形態では、得られた３次元像はコンピュータゲームのキャラクタ
ーのファイル形態に変換され、コンピュータゲームに取込まれる。
【００１４】 本発明の他の特徴によれば、コンピュータゲームのキャラクターを個性化する
方法が提供される。この方法では、ゲームプレーヤーの少なくとも一画像が、プ
レーヤーのコンピュータから離れた場所でデジタル処理され、動画化可能なキャ
ラクターファイルの変換されてプレーヤーのコンピュータにロードされる。例え
ば、前記画像をインタネットサーバーで処理し、インターネットを通じてダウン
ロードすることが可能である。
【００１５】 本発明に係るさらなる好ましい特徴は従属請求項によって規定される。
【００１６】 好ましい実施形態では、Quake,Doom,Descentなど人気のあるゲーム愛好者に、
彼等自身の顔（好ましくは３次元の顔画像）がゲームキャラクターにはめ込まれ
た特製キャラクターを提供する完全に自動化されたシステムが実現される。この
サービスは、サーバーオペレータがほとんど、あるいは全く介入することなしに
、インターネットを経由して提供可能である。
【００１７】 ゲーム愛好者がこのように容易にアクセス可能なシステムは現在存在しない。
【００１８】 画像処理工程において包括頭部画像を用いることにより、許容できる結果を得
るためには比較的低品質の３次元面が要求される。３次元データセットにおける
穴明きの問題はこうして排除される。
【００１９】 ゲームではキャラクターを、リアルタイムで、種々のパソコン環境で操作しな
ければならないので、低解像度のモデルが要求される。
【００２０】 ユーザーは、自身の画像を送ってからフロッピーディスクのようなデータ媒体
にモデルを取得するまで、あるいは電子メールを通じてモデルを取得するまでの
往復に要する数時間を許容すべき場合がある、ということが想定される。
【００２１】 一実施形態によれば、ゲームユーザーは、指定のガイドラインに沿って、彼自
身／彼女自身の画像セットを、デジタルカメラまたは写真スキャニングによって
取得する必要がある。
【００２２】 次いで、彼／彼女は、サーバーのウェブページにアクセスする。ウェブページ
は、ユーザーが入力すべき以下の情報の入力形態を表示する。 ＊氏名 ＊電子メールアドレス ＊モデルを取得したいゲームの種類 ＊提出する画像 ＊顔画像をはめ込む人物の選択 ＊クレジットカード情報
【００２３】 次いでサーバーは、以下のタスクからなる画像処理の段取りを行う。 ＊提供された画像ファイルから顔の３次元寸法を決定する ＊頭部包括画像を上記寸法に合わせて修正する ＊提供された画像から取得したテクスチャマップを適用する ＊頭部モデルのポリゴンリダクションを行う ＊頭部モデルを人物像にはめ込む ＊指定のゲームのフォーマットにモデルを変換して完成させる
【００２４】 適切に処理を行った後、完成したキャラクターを添付ファイルにして指定の電
子メールアドレスへ送信し、ユーザーのクレジットカードに請求する電子決済を
行う。
【００２５】
【発明の実施の形態】
以下、図１〜３を参照しながら、本発明の好ましい実施形態を説明する。
【００２６】 図１を参照すると、左画像Ｉ１及び右画像Ｉ２を、例えばデジタルカメラによ
って取得し、一般的な写真式画像形成法によって処理して、ゲームプレーヤー頭
部の不完全な３次元像１００を形成する。
【００２７】 ゲームプレーヤーの顔表面幾何寸法は、Gruen式領域対応付け、顔特徴点対応
付け、及び人間の顔の統計学的モデルを用いた顔特徴点認識によって決定される
。Gruen式領域対応付けは、突出したテクスチャがない場合には問題があり、従
って、対象人物の顔のテクスチャ、照明条件、及び画像間で異なる色調や彩度の
影響を極めて受けやすい。上記方式はまた、カメラ配置、あるいは撮影された画
像の光学幾何配置の影響を受けやすい。顔特徴点の対応付けは、不正確に取得さ
れた顔特徴点により、極めて低品質のモデルが生成されるという問題を有してい
る。統計学的モデルを用いた顔特徴点認識は、不正確さを排除して、より安定し
た解法を実現する。画像提出段階の一部で、ユーザーに、画像上のいくつかのキ
ーポイントを指摘させることも可能である。
【００２８】 上記の問題点を軽減するために、頭部包括３次元像２００が提供される。先行
段階で取得された幾何寸法情報を用いて包括頭部モデルを変形し、対象人物の概
略計算幾何寸法に合わせることができる。この頭部は、２つの形態、すなわち、
NURBS（Non-Uniform Rational B Spline）モデルまたはポリゴンモデルのどちら
かである。NURBSモデルは、対象人物の幾何寸法に容易に変形可能であるという
利点を有しているが、処理費用が高く、また、後続の処理段階ではポリゴンモデ
ルに変換しなければならないという欠点も有している。
【００２９】 この処理段階（変更された包括頭部３００）では、各画像におけるいくつかの
点と３次元モデルにおける点との間の対応がとられているべきである。このこと
によって、テクスチャマップ作成がとても容易になる。複数画像を用いることに
よって生ずるテクスチャ融合の問題は依然として残る。
【００３０】 頭部３次元像（１００）からテクスチャマップを生成し（４００）、段階３０
０から得られた像に貼り付け（段階５００）（すなわち、変更された包括頭部に
付与する）、結果として得られるリアルなキャラクター画像を、次にゲームキャ
ラクターの体に一体化する（貼り付ける）（段階６００）。
【００３１】 必要に応じて、結果として得られたモデルをポリゴン形態に変換する（段階７
００）。
【００３２】 変更された包括頭部がポリゴン形態であるならば、ポリゴン数を削減しなけれ
ばならない（段階８００）。ポリゴンリダクションに関しては、多数のアルゴリ
ズム、及び市場で入手可能なコードが存在する。伝送し、ゲームで使用される比
較的小さなモデルを形成するために、完成したモデルのポリゴン数は極めて少な
い数、例えば100前後に削減する。
【００３３】 最後に、ポリゴンリダクションを行った画像を、ゲームで使用できるようにゲ
ームのファイル形態に変換する（段階９００）。
【００３４】 この最後の段階は、ゲーム製作者との連携または協力を必要とするかもしれな
い。あるいは、この作業を完全に独立して行うことも考えられる。
【００３５】 次に、図２Ａ，２Ｂ，２Ｃを参照し、２次元画像Ｉ１，Ｉ２の取得について説
明する。これら各図は異なるカメラ配置を示している。これらのカメラ配置は、
（例えばゲームセンターの）個室内にセットされた、またはゲームプレーヤーが
セットした固定立体カメラ配置として設定される。それぞれにおいて、カメラＣ
は一視点から一画像を撮影し、同一の、または異なるカメラＣが別の視点から重
複画像を撮影する。視野Ｖは、対象人物１の顔の領域で重複していなければなら
ない。
【００３６】 図２Ａでは、２台のカメラが斜めに、直角を形成するように配置され、図２Ｂ
では、２台のカメラが平行に配置されている。図２Ｃでは、２台のカメラが直交
配置され、すなわち、１台のカメラが対象人物１の正面画像を、他のカメラが側
方画像を撮影するように配置されている。図２Ｃの配置は特に好ましい。なぜな
ら、正面画像と側方画像とが独立に取得されるからである。正面画像及び側方画
像を解析することによって特徴点のサイズ及び位置を特定することができ、結果
として得られたデータは、包括頭部の一領域の選択に、または、段階３００に先
立って包括頭部の種々のパラメータを調整するために利用可能である。
【００３７】 デジタル化された画像の数点を公知のアルゴリズム（例えばGruenのアルゴリ
ズム）によって対応付けることにより、正確なカメラの位置及び方位が特定可能
であり、残りの点は、カメラと同じ位置、同じ方位で配置され同じ光学パラメー
タを有する仮想プロジェクタを用いて、対をなす対応点から光線を投影すること
によって比較的容易に対応付けが可能であり、こうして生成されるべき対象人物
１の３次元像が形成される。
【００３８】 次に図３を参照する。上記のような包括画像ＧとデジタルカメラＣによって提
供されるキャラクター１の画像Ｉとの間の対応付けは、インターネット上のサー
バーコンピュータＳによって処理可能である。カメラＣによって取得された２次
元画像は、ゲームプレーヤーによって（写真プリントとして）貼り付けられるか
、または、ユーザーのコンピュータＰＣからインターネットにより提供される通
信リンクＣＬを経由してサーバーに（電子メールの添付ファイルとして）アップ
ロードされる。
【００３９】 このような処理を行うために、サーバーコンピュータＳは、そのハードディス
クＨＤに以下のソフトウェアを収納している。 ｉ）一般的なコンピュータゲームのためのファイル形態変換ソフトウェア、グラ
フィックソフトウェア、画像対応付けソフトウェア（例えばGruenのアルゴリズ
ムに基づくもの、またはその派生種）、及び立体画像処理ソフトウェアを含めて
、図１に概要を示す処理を行うために必要なソフトウェア。 ii）ＷＷＷ送信形態Ｆをユーザーのコンピュータ画面上に表示し、例えばクレジ
ットカード情報のようなユーザーがコンピュータに入力する個人情報、及び対象
キャラクターを含むゲームのフォーマットを処理するためのソフトウェア。 iii）適切なセキュリティソフトウェアを含む適切なインターネットサーバーソ
フトウェア。 iv）適切なＯＳ（オペレーティングシステム）。
【００４０】 アイテムiii）及びiv）は周知のものであり、アイテムi）及びii）については
、当業者であればプログラム作成できる程度に既に詳述したので、さらなる詳細
説明は不要である。
【００４１】 ユーザーのコンピュータＰＣのハードディスクＨＤには、１つまたは複数のゲ
ームプログラム、インターネットアクセス用ソフトウェア、カメラＣによって提
供される画像を処理するためのグラフィックソフトウェア、及び従来のＯＳ、例
えばWindows 95（登録商標）、またはWindows 98（登録商標）を収納しておく。
コンピュータＰＣ及びコンピュータＳは、いずれも、標準的なマイクロプロセッ
サμＰ、例えばIntel Pentium（登録商標）プロセッサ、ＲＡＭ、ＲＯＭ、及び
標準的なモデムＭまたは他の通信デバイスに接続された適切な入／出力回路Ｉ/
Ｏを備えている。
【００４２】 ＷＷＷ送信形態Ｆは、Java Appletに基づくものであり、提出される画像の画
質を検証し、ボディタイプの選択を行う。サーバーオペレータは、処理のために
画像を受け入れる前に、画像のサイズ、解像度、コントラスト比をチェックした
いと思う。画像の受け入れ、及びクレジットカード決済の前にアプレットによっ
てこれが行われると、程度の悪い変換を削減することに役立つ。早期段階におい
て潜在的な瑕疵を排除することによって、処理時間の無駄が削減される。こうし
て、画像の画質がキャラクターの形成には不十分であるということが判るまでの
時間が短縮されるので、ユーザーの不満も低減される。
【００４３】 ウェブページ／フォームを正しく構成すると、ゲームユーザーの価値あるデー
タベースが構築可能であり、このデータベースは販売したり、将来の開発のため
にダイレクトメールに利用したりしてもよい。
【００４４】 インターネット提出フォームＦで要求される基本情報に加えて、オペレータは
ユーザー自身に関する他の情報を要求することもできる。例えば、 ＊ユーザーがプレーするゲームの種類 ＊年齢 ＊ユーザーがどのようにしてこのシステムを発見したか 、などである。
【００４５】 対象人物の正面の写真を１枚撮影し、顔の特徴を検出し、包括モデル上に画像
を写像することも可能である。脳の活動のかなりの部分は顔認識に用いられてい
るので、モデルは対象人物の実際の幾何寸法を概略近似すればよく、テクスチャ
マップは低解像度でよい。この手法は、Tomb Raiderのようなゲームで要求され
る高い解像度のモデルには不十分であるかもしれない。
【００４６】 好ましい実施形態はインターネットサーバーをベースにおいているが、本発明
を、その目的のために設置されたゲームボックス内において実施してもよい。そ
して、画像Ｉ１，Ｉ２をボックス内で撮影し、その後の処理は、ボックス内で行
ってもよいし、離れた場所に存在し、このような多数のボックスにリンクされて
ネットワークを構成する例えばサーバーコンピュータで処理してもよい。
【００４７】 変更形態として、キャラクターの３次元面を取得するために２台以上のカメラ
を用いてもよい。
【図面の簡単な説明】
【図１】 本発明の一つの特徴に従い画像処理を行う方法のフローチャート
である。
【図２】 図２Ａは、図１に示す方法に従って画像を取得するためのカメラ
配置の一形態を示す概略平面図、図２Ｂは、図１に示す方法に従って画像を取得
するためのカメラ配置の他の形態を示す概略平面図、図２Ｃは、図１に示す方法
に従って画像を取得するためのカメラ配置のさらなる他の形態を示す概略平面図
である。
【図３】 本発明の第２の特徴に従い、動画化されたゲームキャラクターを
インターネット経由で提供する方法を示す概略図である。
【符号の説明】
１ 対象人物（物体） １００ 頭部３次元像 ２００ 頭部３次元包括像 ３００ 修正頭部包括像 ４００ テクスチャマップ導出段階 ５００ テクスチャマップを頭部に貼り付ける段階 ６００ 人体像にはめ込む段階 ７００ ポリゴンモデルへの変換段階 ８００ ポリゴンリダクション段階 ９００ ゲームファイルへの変換段階 ＣＬ 通信リンク Ｇ 包括像 Ｉ１ 左画像（２次元画像） Ｉ２ 右画像（２次元画像） Ｓ サーバー
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年７月１０日（２０００．７．１０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＤ，ＧＥ，Ｇ Ｈ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，Ｚ Ｗ (72)発明者 ダンカン・ヒューズ イギリス・アーリング・Ｗ５・２ＱＮ・モ ントペリア・ロード・モントペリア・コー ト・２ Ｆターム(参考） 5B050 AA08 BA07 BA09 BA12 CA05 DA01 EA06 EA24 EA28 FA02 5B057 AA20 BA11 CA12 CB13 CE08 DB03 DC16 DC36

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 物体（１）の３次元像を形成する方法であり、前記物体に関
    する２つまたはそれ以上の２次元画像（Ｉ１，Ｉ２）を写真式画像形成法によっ
    て処理して（１００）前記物体に関する不完全な３次元像（Ｉ）を形成し、該不
    完全な３次元像をその種の物体の包括像（Ｇ）と組合せて（３００）３次元像を
    形成することを特徴とする方法。
  2. 【請求項２】 前記物体（１）は、人間または動物の体、または体の一部で
    あることを特徴とする請求項１に記載の方法。
  3. 【請求項３】 前記包括像（Ｇ）と組合せて導出される前記３次元像は、動
    画化可能なキャラクターの形態で形成されることを特徴とする請求項１または２
    に記載の方法。
  4. 【請求項４】 前記動画化可能なキャラクターのファイルをコンピュータゲ
    ームにロードすることを特徴とする請求項３に記載の方法。
  5. 【請求項５】 コンピュータゲームのキャラクターを個性化する方法であり
    、ゲームキャラクターの少なくとも１つの２次元画像（Ｉ１，Ｉ２）をプレーヤ
    ーのコンピュータから離れた場所でデジタル処理して動画化可能なキャラクター
    のファイルに変換し（９００）、前記プレーヤーのコンピュータにロードするこ
    とを特徴とする方法。
  6. 【請求項６】 前記キャラクターの少なくとも２つの画像（Ｉ１，Ｉ２）を
    前記離隔場所において立体画像法によって処理し（１００）、３次元の動画化可
    能なキャラクターファイルを形成することを特徴とする請求項５に記載の方法。
  7. 【請求項７】 前記動画化可能なキャラクターファイルを、通信リンク（Ｃ
    Ｌ）を経由して離れたサーバー（Ｓ）からダウンロードすること特徴とする請求
    項３から６のいずれか１項に記載の方法。
  8. 【請求項８】 前記動画化可能なキャラクターファイルを、インターネット
    を介してダウンロードすることを特徴とする請求項７に記載の方法。
  9. 【請求項９】 前記少なくとも１つの２次元画像（Ｉ１，Ｉ２）を離れたサ
    ーバー（Ｓ）にアップロードし、が該サーバーにおいて前記２次元画像を立体画
    像処理することを特徴とする請求項１から８のいずれか１項に記載の方法。
  10. 【請求項１０】 前記物体またはキャラクター（１）の３次元幾何像（Ｉ）
    をその種の物体またはキャラクターの包括３次元幾何像（Ｇ）と組合せて修正さ
    れた包括３次元幾何像を形成し（３００）、該包括３次元幾何像にテクスチャマ
    ップを組合せる（５００）ことを特徴とする請求項１から４のいずれか１項、ま
    たは、請求項６の従属項としての請求項７から９のいずれか１項に記載の方法。
  11. 【請求項１１】 前記包括３次元像はNURBS（Non-Uniform Rational B-Spli
    ne）モデルであり、該包括３次元像を前記物体またはキャラクター（１）から検
    出された特徴点に応じて変形させることを特徴とする請求項１０に記載の方法。
  12. 【請求項１２】 前記物体またはキャラクター（１）の２次元画像（Ｉ１，
    Ｉ２）をその特徴点を検出するために解析し、前記物体またはキャラクターの包
    括像（Ｇ）を、該包括像の特徴点と前記２次元画像の特徴点とが対応付けられる
    ように変形させることを特徴とする請求項１から４のいずれか１項、または、請
    求項６の従属項としての請求項７から９のいずれか１項に記載の方法。
  13. 【請求項１３】 略直交配置された視点から取得された２つの画像（Ｉ１，
    Ｉ２）を解析してそれらの特徴点を検出し、前記包括像（Ｇ）を、該包括像の特
    徴点と前記両２次元画像の特徴点とが対応付けられるように３次元的に変形させ
    ることを特徴とする請求項１３に記載の方法。
  14. 【請求項１４】 前記２次元画像（Ｉ１，Ｉ２）は、人間に顔または頭部（
    １）であることを特徴とする請求項１から１３のいずれか１項に記載の方法。
  15. 【請求項１５】 物体またはキャラクター（１）の３次元像（Ｉ）をポリゴ
    ンモデルの形態で形成し（７００）、該ポリゴンモデルに対しポリゴンリダクシ
    ョンを行う（８００）ことを特徴とする請求項１から１４のいずれか１項に記載
    の方法。
JP2000552633A 1998-06-01 1999-06-01 ３次元画像処理方法及びその装置 Withdrawn JP2002517840A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9811695.7 1998-06-01
GBGB9811695.7A GB9811695D0 (en) 1998-06-01 1998-06-01 Facial image processing method and apparatus
PCT/GB1999/001744 WO1999063490A1 (en) 1998-06-01 1999-06-01 3d image processing method and apparatus

Publications (1)

Publication Number Publication Date
JP2002517840A true JP2002517840A (ja) 2002-06-18

Family

ID=10832987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000552633A Withdrawn JP2002517840A (ja) 1998-06-01 1999-06-01 ３次元画像処理方法及びその装置

Country Status (6)

Country Link
EP (1) EP1082706A1 (ja)
JP (1) JP2002517840A (ja)
KR (1) KR20010074504A (ja)
AU (1) AU4275899A (ja)
GB (2) GB9811695D0 (ja)
WO (1) WO1999063490A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007185537A (ja) * 2007-04-13 2007-07-26 Sophia Co Ltd 遊技機
EP2247117A2 (en) 2009-04-27 2010-11-03 Mitsubishi Electric Corporation Stereoscopic video distribution system, stereoscopic video distribution method, stereoscopic video distribution apparatus, stereoscopic video viewing system, stereoscopic video viewing method, and stereoscopic video viewing apparatus
JP5603452B1 (ja) * 2013-04-11 2014-10-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
JP2014210213A (ja) * 2014-08-21 2014-11-13 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2342026B (en) * 1998-09-22 2003-06-11 Luvvy Ltd Graphics and image processing system
US7359748B1 (en) 2000-07-26 2008-04-15 Rhett Drugge Apparatus for total immersion photography
JP4677661B2 (ja) * 2000-10-16 2011-04-27 ソニー株式会社 動画像受注システム及び方法
US6980333B2 (en) * 2001-04-11 2005-12-27 Eastman Kodak Company Personalized motion imaging system
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
KR101050364B1 (ko) * 2009-09-30 2011-07-20 주식회사 한울네오텍 3차원 객체를 제공하는 사진 장치 및 그 제공방법
JP2013535726A (ja) * 2010-07-23 2013-09-12 アルカテル−ルーセント 仮想環境のユーザを視覚化するための方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9013983D0 (en) * 1990-06-22 1990-08-15 Nat Res Dev Automatic carcass grading apparatus and method
US5550960A (en) * 1993-08-02 1996-08-27 Sun Microsystems, Inc. Method and apparatus for performing dynamic texture mapping for complex surfaces
EP0664527A1 (en) * 1993-12-30 1995-07-26 Eastman Kodak Company Method and apparatus for standardizing facial images for personalized video entertainment
GB9610212D0 (en) * 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
DE19626096C1 (de) * 1996-06-28 1997-06-19 Siemens Nixdorf Inf Syst Verfahren zur dreidimensionalen Bilddarstellung auf einer Großbildprojektionsfläche mittels eines Laser-Projektors
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
IL121178A (en) * 1997-06-27 2003-11-23 Nds Ltd Interactive game system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007185537A (ja) * 2007-04-13 2007-07-26 Sophia Co Ltd 遊技機
JP4521012B2 (ja) * 2007-04-13 2010-08-11 株式会社ソフイア 遊技機
EP2247117A2 (en) 2009-04-27 2010-11-03 Mitsubishi Electric Corporation Stereoscopic video distribution system, stereoscopic video distribution method, stereoscopic video distribution apparatus, stereoscopic video viewing system, stereoscopic video viewing method, and stereoscopic video viewing apparatus
JP5603452B1 (ja) * 2013-04-11 2014-10-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
EP2789373A1 (en) 2013-04-11 2014-10-15 Kabushiki Kaisha Square Enix (also trading as "Square Enix Co., Ltd." Video game processing apparatus and video game processing program
JP2014206817A (ja) * 2013-04-11 2014-10-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
US9710974B2 (en) 2013-04-11 2017-07-18 Kabushiki Kaisha Square Enix Video game processing apparatus and video game processing program
JP2014210213A (ja) * 2014-08-21 2014-11-13 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム

Also Published As

Publication number Publication date
KR20010074504A (ko) 2001-08-04
GB2350511B (en) 2003-11-19
GB2350511A (en) 2000-11-29
EP1082706A1 (en) 2001-03-14
AU4275899A (en) 1999-12-20
WO1999063490A1 (en) 1999-12-09
GB9811695D0 (en) 1998-07-29
GB9912707D0 (en) 1999-08-04

Similar Documents

Publication Publication Date Title
US6532011B1 (en) Method of creating 3-D facial models starting from face images
CN108711185B (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
Hu et al. Approaches to large-scale urban modeling
Wu et al. Interactive normal reconstruction from a single image
JP4679033B2 (ja) 深度マップのメジアン値融合のためのシステムおよび方法
CN106373178B (zh) 生成人工图像的装置和方法
JP3992629B2 (ja) 画像生成システム、画像生成装置、画像生成方法
JP2019503906A (ja) ３ｄプリントされたカスタム着用物の生成
US20040095385A1 (en) System and method for embodying virtual reality
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2000067267A (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
JP2003196327A (ja) ３次元コンピュータモデリング
CN109427007A (zh) 基于多视角的虚拟试衣方法
EP1204073A3 (en) Image generation method and apparatus
JP2002042169A (ja) 三次元画像提供システム及び方法並びにモーフィング画像提供システム及び方法
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
JP2002517840A (ja) ３次元画像処理方法及びその装置
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
WO2002041249A2 (en) Illumination based image synthesis
CN113657357A (zh) 图像处理方法、装置、电子设备及存储介质
JP2006227838A (ja) 画像処理装置及び画像処理プログラム
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
WO2001063560A1 (en) 3d game avatar using physical characteristics
JP2003090714A (ja) 画像処理装置、及び画像処理プログラム
JP3614709B2 (ja) 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060801