JP2002042169A

JP2002042169A - 三次元画像提供システム及び方法並びにモーフィング画像提供システム及び方法

Info

Publication number: JP2002042169A
Application number: JP2000204483A
Authority: JP
Inventors: Hima Furuta; 秘馬古田; Takeo Miyazawa; 丈夫宮沢
Original assignee: INFINITEFACE COM Inc; Infinitefacecom Inc
Current assignee: INFINITEFACE COM Inc; Infinitefacecom Inc
Priority date: 2000-07-06
Filing date: 2000-07-06
Publication date: 2002-02-08
Also published as: US20020085046A1; EP1170699A2

Abstract

(57)【要約】【課題】従来になかったインターネットマーケティン
グ手法を提供する。【解決手段】対象物に関する三次元モデルを格納する
三次元モデルデータベースと、前記対象物を見るための
視点を設定する視点設定部と、前記三次元モデルデータ
ベースに基づき前記視点から見た前記対象物の画像を生
成する画像生成部と、前記視点を追跡する追跡部と、前
記追跡部の出力に基づき前記視点位置を設定したユーザ
ーの嗜好の分析を行う分析部とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、対象物の三次元
モデルに基づく三次元画像を提供する三次元画像提供シ
ステム及び方法並びに異なる対象物の画像を混合したモ
ーフィング画像を提供するモーフィング画像提供システ
ム及び方法に関する。

【０００２】

【従来の技術】インターネットにおいて多数のホームペ
ージが作成され、多くの人々に閲覧されている。ほとん
どすべてのホームページは画像を含むもののこれらは平
面的なものであり、ユーザーは好みの視点から見た画像
を自由に得ることはできなかった。ＷＷＷサーバに三次
元モデルを用意しておき、ユーザーが自由に視点を設定
できるようにしておけば、多くのユーザーがこのサーバ
を利用するであろうと考えられる。

【０００３】

【発明が解決しようとする課題】一方、インターネット
におけるマーケティングに関心が集まっているが、従来
のマーケティングはせいぜいどのページを訪れたか、ど
のバナー広告をクリックしたか程度しかわからなかっ
た。それに対して、三次元モデルを用いてユーザーが自
由に視点を設定できるようにしておけば、ユーザーひと
りひとりの嗜好を分析することが可能である。

【０００４】この発明は、従来になかったマーケティン
グ手段を提供できる三次元画像提供システム及び方法並
びにモーフィング画像提供システム及び方法を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】この発明は、対象物に関
する三次元モデルを格納する三次元モデルデータベース
と、前記対象物を見るための視点を設定する視点設定部
と、前記三次元モデルデータベースに基づき前記視点か
ら見た前記対象物の画像を生成する画像生成部と、前記
視点を追跡する追跡部と、前記追跡部の出力に基づき前
記視点位置を設定したユーザーの嗜好の分析を行う分析
部とを備える。

【０００６】好ましくは、前記画像生成部により生成さ
れた前記対象物の画像を編集する画像編集部を備える。

【０００７】好ましくは、前記分析部は、前記視点が描
く軌跡を分析することによりユーザーの嗜好の分析を行
う。

【０００８】好ましくは、前記分析部は、ユーザーが複
数の視点を設定したときに、前記視点の位置の統計を求
めることによりユーザーの嗜好の分析を行う。

【０００９】この発明は、同一の対象物を異なる視点か
ら見た２つ以上の画像を受けて前記対象物に関する三次
元モデルを生成する三次元モデル生成部と、前記三次元
モデルを格納する三次元モデルデータベースと、前記対
象物を見るための視点を設定する視点設定部と、前記三
次元モデルデータベースに基づき前記視点から見た前記
対象物の画像を生成する画像生成部とを備える。

【００１０】好ましくは、前記三次元モデル生成部は、
前記２つ以上の画像にそれぞれ表れる前記対象物に関し
て前記２つ以上の画像の間において対応する点を検索す
る対応点検索部と、前記対応点検索部の出力に基づき前
記対象物の三次元形状を認識する三次元形状認識部と、
前記三次元形状認識部の認識結果に基づき前記対象物を
再現する幾何学的計算部とを備える。

【００１１】好ましくは、前記画像生成部により生成さ
れた前記対象物の画像を編集する画像編集部を備える。

【００１２】この発明は、同一の対象物を異なる視点か
ら見た２つ以上の画像を受けて前記対象物に関する三次
元モデルを生成する三次元モデル生成部と、前記対象物
を見るための視点を設定する視点設定部と、前記三次元
モデルに基づき前記視点から見た前記対象物の画像を生
成する画像生成部とを備える。

【００１３】好ましくは、前記三次元モデル生成部は、
前記２つ以上の画像にそれぞれ表れる前記対象物に関し
て前記２つ以上の画像の間において対応する点を検索す
る対応点検索部と、前記対応点検索部の出力に基づき前
記対象物の三次元形状を認識する三次元形状認識部と、
前記三次元形状認識部の認識結果に基づき前記対象物を
再現する幾何学的計算部とを備える。

【００１４】好ましくは、前記画像生成部により生成さ
れた前記対象物の画像を編集する画像編集部を備える。

【００１５】この発明は、異なる対象物についての２つ
以上の画像を受けてこれら画像の間の対応関係を求める
モーフィングデータ生成部と、前記２つ以上の画像と前
記対応関係を格納するモーフィングデータベースと、前
記２つ以上の画像の混合比を設定する混合比設定部と、
前記モーフィングデータベースに基づき前記２つ以上の
画像を前記混合比で混合した画像を生成する画像生成部
とを備える。

【００１６】好ましくは、前記モーフィングデータ生成
部は、前記２つ以上の画像に表れる対象物に関して前記
２つ以上の画像の間において対応する点を検索する対応
点検索部と、前記対応点検索部の出力に基づき前記２つ
以上の画像を再構成する幾何学的計算部とを備える。

【００１７】好ましくは、前記画像生成部により生成さ
れた合成画像を編集する画像編集部を備える。

【００１８】この発明は、同一対象物を異なる視点から
見た２つ以上の画像を取得して送信するステップと、前
記２つ以上の画像に基づき前記対象物に関する三次元モ
デルを生成するステップと、前記対象物を見るための視
点を設定するステップと、前記三次元モデルに基づき設
定された前記視点から見た画像を生成するステップと、
生成された画像を送信するステップとを備える。

【００１９】この発明は、画像処理プログラムを受信し
てコンピュータが実行可能なように展開するステップ
と、前記画像プログラムを実行して、同一対象物を異な
る視点から見た２つ以上の画像に基づき前記対象物に関
する三次元モデルを生成するステップと、前記対象物を
見るための視点を設定するステップと、前記三次元モデ
ルに基づき設定された前記視点から見た画像を生成する
ステップと、生成された画像を表示するステップと、前
記視点の情報を送信するステップとを備える。

【００２０】好ましくは、設定された前記視点の移動を
追跡するステップと、前記視点の移動に基づき前記視点
位置を設定したユーザーの嗜好を分析するステップと、
分析結果を送信するステップとを備える。

【００２１】この発明は、サーバの三次元モデルデータ
ベースを用いて三次元画像を生成するステップと、前記
三次元画像のアクセス方法の情報を含むメッセージを作
成するステップと、メールを送信するステップと、メー
ルを受信するステップと、指定されたアクセス方法によ
り前記三次元画像を取得するステップと、メッセージと
ともに三次元画像を表示するステップとを備える。

【００２２】この発明は、異なる対象物の２つ以上の画
像を取得して送信するステップと、前記２つ以上の画像
の間の対応関係を求めてモーフィング用のデータベース
を生成するステップと、モーフィング用の前記２つ以上
の画像の混合比を設定するステップと、前記モーフィン
グ用のデータベースに基づき設定された前記２つ以上の
画像を前記混合比で混合してモーフィング画像を生成す
るステップと、生成された画像を送信するステップとを
備える。

【００２３】好ましくは、設定された前記混合比を追跡
するステップと、前記混合比を分析して前記混合比を設
定したユーザーの嗜好の分析を行うステップと、分析結
果を送信するステップとを備える。

【００２４】この発明に係る記録媒体は、コンピュータ
に、上記いずれかの方法を実行させるためのプログラム
を記録したものである。

【００２５】媒体には、例えば、フロッピー（登録商
標）ディスク、ハードディスク、磁気テープ、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、
バッテリバックアップ付きのＲＡＭメモリカートリッ
ジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカ
ートリッジ等を含む。

【００２６】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００２７】媒体とは、何等かの物理的手段により情報
（主にデジタルデータ、プログラム）が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。

【００２８】

【発明の実施の形態】発明の実施の形態１．この発明の
実施の形態について図を用いて説明する。このシステム
は、ユーザーから、同一の対象物を異なる視点から見た
２つ以上の画像を送ってもらい、これらの画像から前記
対象物の三次元モデルを生成するとともに、三次元モデ
ルに基づき任意の視点から見た前記対象物の画像を生成
してユーザーに提供するためものである。あるいは、We
bデザイナがユーザーからの画像に基づき三次元画像を
提供するためのものである。なお、三次元モデルは予め
用意されていても良い。

【００２９】図１はこの発明の実施の形態の動作の概略
の説明図である。同図（ａ）は、生成済みの三次元デー
タが送られてからの視点データの分析を行うものであ
り、同図（ｂ）は、三次元データを生成しながら、その
視点データの分析を行うものである。別の言い方をすれ
ば、同図（ａ）は三次元モデル生成部がサーバー側にあ
る場合を示し、同図（ｂ）はクライアント側にある場合
を示す。

【００３０】図１（ａ）について説明すると、まず、ク
ライアントからサーバへ２枚の画像が送られ（符号
Ａ）、サーバが三次元モデルを生成する（符号Ｂ）。ク
ライアントは視点を設定し（符号Ｃ）、視点情報をサー
バへ送る（符号Ｄ）。サーバは三次元画像を生成し（符
号Ｅ）、生成した三次元画像をクライアントへ送る（符
号Ｆ）とともに、視点の追跡及び分析を行う（符号
Ｇ）。なお、サーバに予め用意された三次元モデルを使
用する場合には、ステップＡ及びＢは不要である。

【００３１】図１（ｂ）について説明すると、まず、サ
ーバからクライアントへ２枚の画像（符号Ｈ）及び画像
処理プログラム（ＪＡＶＡ（登録商標））（符号Ｉ）を
送る。クライアントは受けたプログラムを起動して２枚
の画像を処理し、三次元モデルを生成する（符号Ｊ）。
視点が設定されたら（符号Ｋ）、その視点に基づき三次
元画像を生成する（符号Ｌ）とともに、サーバへ視点情
報を送る（符号Ｍ）。サーバは視点の追跡及び分析を行
う（符号Ｎ）。なお、２枚の画像をクライアント側で用
意する場合には、ステップＨは不要である。

【００３２】図１（ｂ）の手順は、図１（ａ）の手順に
比べて格段に少ないデータ量で三次元表示を行うことが
できる。例えば、データ量は１／１０−１／１００）に
なる。図１（ｂ）ではサーバからクライアントへ三次元
画像を送る必要がないのでデータ量が少なくて済むから
である。クライアント側で三次元画像を生成する場合で
あっても、リアルタイムでユーザーから視点情報を受け
ることにより、ユーザーの視点データを記録し分析する
ことができるのである。

【００３３】図１（ａ）に対応するシステムのブロック
図は図２であり、図１（ｂ）に対応するシステムのブロ
ック図は図６である。

【００３４】図２はこの発明の実施の形態に係る三次元
モデル・三次元画像生成システムの機能ブロック図であ
る。パソコン（クライアント）２には、画像データＰ
１、Ｐ２が直接入力されるか、又は、カメラ１ａ，１ｂ
からの画像データが入力される。これら画像データは、
同一の対象を異なる視点から見たものである。入力され
た複数の画像データはサーバに送られる。サーバにおい
て、対応点検索部４が複数の画像間の対応点、つまり対
象物上の同じ点を検索し、三次元形状認識部５が検索さ
れた対応点に基づき対象物の三次元形状を認識する。幾
何学的計算部７が認識結果に基づき三次元形状を復元す
る。認識された三次元形状及び／又は復元された三次元
形状は、三次元モデルデータベース７に格納される。三
次元モデルデータベース７を参照することにより、任意
の視点から見た対象物の画像を生成することができる。
対応点検索部４、三次元形状認識部５及び幾何学的計算
部６については後に詳述する。

【００３５】対象物の三次元モデルが確立されたら、パ
ソコン（クライアント）２は対象物を見る視点情報を送
る。このデータを受けてサーバの視点設定部１０は視点
を設定する。画像生成部８は、視点設定部１０から視点
情報を受けて、三次元モデルデータベース７を参照しつ
つ、当該視点から見た対象物の画像を生成する。ユーザ
ーの要求に応じて画像編集部９は生成された画像に所定
の修正を加える。編集された画像がパソコン（クライア
ント）２に送られる。パソコン２の画面上に画像Ｐが表
示される。このシステムにより、写真しかないときでも
サーバにより立体モデルを求めることができる。一度、
立体モデルが得られたならば、ユーザーは自由な視点移
動を行うことにより、あたかも実物を眺めるごとく好き
な位置から対象物を見ることができる。

【００３６】画像編集部９は、ユーザーの希望に応じた
修正を加えることができる。この修正は生成された画像
に対して行っても良いし、三次元モデルそのものに対し
て行っても良い。前者の場合、画像が生成されるごとに
修正が必要であるが元のモデルには影響がないので気軽
に修正できる。後者の場合、一度、モデルに修正を加え
れば、それ以降生成される画像のすべてに修正が反映さ
れる。修正の例として、ユーザーが旧型の自動車の写真
しかないときにそれを三次元モデル化し、それに修正を
加えて新型の自動車のモデルに変換したり、新型のモデ
ルを検討するために用いたりすることが考えられる。ま
た、ビューティーシミュレーションに適用する場合、画
像編集部９で化粧をシミュレーションすることが考えら
れる。

【００３７】視点追跡部１１は、視点設定部１０の出力
をモニタして視点の位置及びその移動を逐次取得する。
視点追跡部１１により、あるユーザーが対象物をどの位
置から見るか容易に知ることができる。分析部１２は視
点の位置及び移動をユーザーごとに分析してマーケティ
ング情報などを得て、その利用者に提供する。

【００３８】このシステムによれば、ユーザーにとって
自分の気に入った対象物（人物、自動車、模型など）を
有料あるいは無料で三次元モデル化できる。しかも、ユ
ーザー側の作業は２つの画像を取得するのみで、非常に
簡単である。さらに、ユーザーは任意の視点を設定して
サーバに要求を出すことにより、任意の視点から見た前
記対象物の画像を得ることができる。すなわち、ユーザ
ーはお気に入りの対象物を三次元モデル化することによ
り、コンピュータ上で前記対象物を自由に動かしたり変
形したりすることができ、しかもそれらの状態を画像と
して保存できる。例えば、自分の自動車をお気に入りの
視点から見た画像を得て、それをお気に入りの風景画像
と合成して楽しんだり、自分の自動車にお気に入りのデ
コレーションを加えて、その状態を任意の視点から見て
シミュレーションしたり楽しんだりすることができる。
従来から自分で撮影した画像をお気に入りの風景に合成
することが行われていたが、これら画像はいずれも平面
的で任意の視点から見たものではなかったので、合成後
の画像には不自然なところが残っていた。しかし、この
システムによれば任意の視点から見た画像を利用できる
ので、そのような欠点が解消される。また、三次元モデ
ルを記憶するサーバを電子メールで参照することによ
り、三次元画像メールも利用することができる。

【００３９】図３及び図４に基づいてこのシステムの動
作を説明する。ユーザーは同一対象物を異なる視点から
見た２つ以上の画像を取得してサーバへ送信する（Ｓ
１）。これらの画像に基づいてサーバが三次元モデルを
生成する（Ｓ２）。なお、三次元モデルが予め用意され
ているときは、ステップＳ１及びＳ２は省略できる。

【００４０】クライアントがサーバの三次元モデルデー
タベースにアクセスする（Ｓ３）。クライアントが任意
の視点を設定し（Ｓ４）、サーバが設定された視点から
見た画像を生成する（Ｓ５）。生成された画像が所望の
ものであれば次のステップに進み、そうでなければステ
ップＳ４及びＳ５を繰り返す。このように、ユーザーは
試行錯誤を繰り返しながら対象物に関する所望の画像を
得ることができる。どの視点から見た画像が最も好まし
いかはユーザーごとに異なるので、ステップＳ４及びＳ
５はユーザーにとって所望の画像を得るために便利な機
能である。他方、視点の位置及び移動を分析することに
より、マーケティング情報を得ることもできる。例え
ば、ユーザーの年齢、性別、職業、性格、趣味などによ
り対象物どの角度から見ることを好むかがわかる。この
ような細かい分析は従来不可能であった。例えば、図４
に示すようにユーザーの視点が図示された軌跡にそって
動きつつ、点Ａ〜Ｅから見た画像が生成された場合、そ
の軌跡を分析することによりそのユーザーの好みがわか
る。例えば、自動車を前方から眺めるときは低い視点位
置を設定し、フロントビューがアップで表示されること
を好み、一方、後方から眺めるときは高い視点位置を設
定し、自動車全体が表示されることを好む、ということ
がわかる。そして、視点Ａ〜Ｅを分析することによりユ
ーザーがどの位置からの画像を好むかを知ることができ
る。ユーザーが最終的に選択した視点を、最も好む視点
と判断し、それを多数のユーザーについて求めて統計を
とれば、その自動車が最もアピールする位置がわかる。
その位置から見た姿がもっとも良くなるように自動車の
デザインを決定すれば、ユーザーの好みに最も合う自動
車を提供できると考えられる。あるいは、多くのユーザ
ーについて設定された視点の位置を求めて統計をとるよ
うにしてもよい。上記の場合はあくまで一例であるが、
本システムによるマーケティングの有効性は理解されよ
う。このような分析がステップＳ１０〜Ｓ１２において
なされる。

【００４１】生成された画像を編集する（Ｓ６）。生成
された画像をそのままクライアントに送信してもよい
が、デジタル画像処理技術を適用して編集を加えるよう
にしてもよい。

【００４２】例えば、ユーザーが所有する自動車の三次
元モデルから画像を生成し、生成された画像にデフォル
メを加えてもよいし、実際にはないオプションを加えて
もよいし、モデルチェンジをシミュレーションして新型
／旧型のモデルの画像を生成するようにしてもよい。

【００４３】例えば、ビューティーシミュレーションを
行ってもよい。このシミュレーションは、３Ｄ情報に基
づいて、化粧、エステ、洋服、香水、小物類、アクセサ
リー、ヘアスタイルなどのシミュレーションを行う。ま
た、後述のモーフィング技術を用いて、自分を気に入っ
たモデルに似せるための情報を得ることができる。例え
ば、自分と気に入ったモデルの間の中間の画像をモーフ
ィング技術で作成し、希望の画像を選択する。選択され
た画像が自分から何％、モデルから何％の位置にあるか
を調べることもできる。なお、本シミュレーションによ
れば、顔（頭部）ばかりでなく、全身についてもシミュ
レーション可能である。

【００４４】編集された画像をクライアントへ送信する
（Ｓ７）。クライアントの表示装置上に受信した画像が
表示される。

【００４５】次に、視点追跡部１１及び分析部１２の処
理について説明する。視点設定部１０から視点の情報を
受けて視点の移動を追跡する（Ｓ１０）とともに、視点
の移動を分析する（Ｓ１１）。例えば、視点の描く軌跡
がどのようなものであるから、その高さ及び視線の向き
はどうか、などについて分析する。また、設定された視
点の位置はどこか、最終的に選択された画像の視点はど
れか、などについて分析する。なお、編集された画像を
クライアントへ送信するときに（Ｓ７）、複数の視点か
らの複数の画像のうちどれが最も気に入ったかユーザー
に入力させたうえで画像を送信するようにすればよい。
例えば、複数の視点について比較的粗い画像を複数生成
し、これらを候補として画面に並べ、最も気に入ったも
のを選択させ、選択されたもののみを高精度の画像とし
た生成し、それを送信する。このようにすれば、ユーザ
ーが最も好む視点の情報を確実に把握できる。

【００４６】分析部１２についてさらに詳しく説明す
る。分析部は、例えば次のような処理を行う。（１）消費者のＷｅｂ閲覧情報（クリック数等）の全て
を統計する。（２）閲覧情報を解析し、購買情報でなく興味情報を解
析する。（３）購買情報と総合し、商品嗜好情報の新しい形を提
供する。（４）年齢別情報や地域情報等の情報と併せて解析す
る。

【００４７】分析部１２は、図示しない会員データベー
スの内容に基づき、ユーザーデータの全体像を俯瞰する
ためのデータを抽出し整理して提供する。登録ユーザー
の全体集計を行って、登録者総数、性別の比率、年齢層
の分布、居住エリアの分布などの基本的な項目につい
て、ユーザー特性をつかむ。アンケートヘの協力の度合
い、ホームページでの商品購買頻度など、ユーザーの行
動履歴を組み合わせて読むことで、どの層がターゲット
層であるを知ることができる。

【００４８】ターゲット層のイメージが明確になれば、
サーバ１０により提供されるシステムのコンテンツの作
り方、語り口、商品の品揃えなどの基本要素をそのター
ゲット層の嗜好に適合させていくことで、ビジネスを効
率よく進めることができる。また、女性を狙っていたの
に、思った以上に女性の登録者が少ないなど、問題点も
浮き彫りになってくる。その場合は、女性が多くアクセ
スしている情報サイトにバナー広告を重点出稿してみ
る、といった対策につなげることができる。

【００４９】システムが扱っている商品の中で、最も適
した商品の情報を前面に出すなど、グループ属性に特化
したメールマガジンの原稿を複数用意して、グループご
とに発送することも考えられる。一律に同じ文面のもの
よりも、より高い効果が期待できる。

【００５０】分析部１２は、アクセス分析を行う。「ア
クセス分析」はどれだけの人数がそのサイトを訪れたか
について測定するもっとも基本的な分析である。サイト
を店に例えるならば、来店者数にあたる。曜日、時間に
よって来店者の増減はどうなつているのか、玄関だけ覗
いて帰っていった人の数や、各コーナーごとの顧客の数
など、さまざまな視点での分析が可能である。本システ
ムは、ページ単位あるいは画像単位でしかできなかった
分析を対象物をどの位置から見るか、つまりユーザーに
とって好ましい画像の視点は何かという観点から分析を
行うことができる。さらに以下のような分析も可能であ
る。

【００５１】アクセス分析は、HIT数、PV（ページビュ
ー）、訪問者数の三つの指標で行われる。HIT数は、そ
のサイトに対してどれだけの「データ数」の送信要求が
されたかという数値である。ここでいう「データ数」の
単位は、コンピュータ上でのデータファイルの数であ
る。ホームページ一ページでもその中にグラフィック情
報が多くあるとその分HIT数は多くなる。逆に一ページ
の中に非常に多くの情報がぎつしり詰まっていても、そ
れがテキストのみの一ファイルならば、あくまでHIT数
は「1」とカウントされる。

【００５２】より実感に近い指標はPV（ページビユー）
という指標である。そのサイトで延べ何ページのホーム
ページが見られたかを表わす。情報量が多くても少なく
ても同じ1PVになるという欠点はあるが、バナー広告の
ようにページ単位で露出する広告の媒体価値や効果測定
指標としては標準的なものである。

【００５３】そのサイトのトップページだけのPVの数を
訪問者数という場合がある。PVはあくまで延べ視聴ペー
ジ数なので、何人の人がそれを見たかについては把握で
きない。それを補うための指標である。もちろん一人の
人が何度もトップページにアクセスした場合はその分も
カウントされてしまうので、ここでの訪問者数はあくま
でも概数である。

【００５４】より正確なアクセス人数を測定するために
は、「クッキー」や「登録システム」といった方法を使
う必要がある。

【００５５】クッキーは、行動分析を可能にするだけで
なく、ワン・トゥ・ワンマーケティングのためにも有効
な方法となる。クッキーを使うことで、同一の人（正確
にはブラウザー）がサイト内でどのような行動を行った
かの追跡が可能になる。

【００５６】たとえば、編集機能を利用して自動車のモ
デルチェンジを試みた人は、それを利用しなかった人よ
りもカタログ請求の比率が顕著に高いという傾向がわか
ったとする。この傾向をうまく利用すれば、ターゲット
に対する効果的なアプローチが可能となる。モデルチェ
ンジを試みた人に対して、カタログ請求のページを強制
的に見せることができれば、その応募比率を飛躍的に向
上させることができる。

【００５７】クッキーを利用することで、その人の行動
や嗜好に添った形で情報をカスタマイズして提供するこ
とが可能になる。以上のようなことを実現するために
は、サイト側にクッキーを発行するための機能とデータ
ベースの機能が必要である。

【００５８】クッキーを使ったパーソナライズは、個人
を完全に特定できないが、登録システムはその点を克服
することができる。住所、電話番号、電子メールアドレ
スと氏名を予め登録し、トータルビューティーサイト専
用のIDやパスワードを発行しておく。会員になった人は
アクセスのつどID、パスワードを入力して、会員専用の
ページに入っていく。

【００５９】サイト側から見れば、ログインさせること
で、それ以降どの人が、どのページに行き、どのような
行動をしたかをすべて捕捉することができる。同時に、
ログインした時からその個人専用のページを表示させる
ことも可能である。

【００６０】登録時に自分のほしい情報分野をアンケー
ト形式で回答させ、その個人の興味にあったニュースを
ページに配信することができる。

【００６１】登録時の情報だけでなく、その個人がサイ
トの中のどのコーナーをよく見ているかといった行動情
報から、その個人の嗜好を推察し、それにあった情報を
提示することができる。

【００６２】このシステムによれば、提供者にとってユ
ーザーがどのような商品を欲しているかを、従来になか
った観点から調べることができる。つまり、ユーザーが
どの視点を好むかを調べることができる。例えば、ある
商品を三次元モデル化しておき、ユーザーが任意の視点
から商品を見ることができるようにしておく。ユーザー
がサーバに対して視点を指定してその商品の画像を要求
する。ユーザーは所望の視点から見た当該商品の画像を
得ることができる。一方、ユーザーがどのような視点を
指定したか、その後視点をどのように変更したかを、サ
ーバ側の記録に基づいて分析することがわかる。提供者
はユーザーがどのような視点を好むか知ることができ
る。従来技術において、複数の商品の画像あるいはひと
つの商品を複数の視点から見た複数の画像を用意してお
き、ユーザーがどの商品を好むか、どの視点の画像を好
むかは知ることができた。しかし、ユーザーが実際にど
の視点から見て商品の評価を行っているかは知ることが
できなかった。このシステムは、従来では知ることがで
きなかった「ユーザーの好む視点」という情報を得て、
これをマーケティングに利用することができるのであ
る。

【００６３】具体的な適用例を示す。（１）ビューティーシミュレーション自分の容姿の三次元モデルを生成する。生成された三次
元モデルに編集（化粧）を施す。ユーザーは、編集され
た三次元モデルをさまざまな角度から眺めて化粧の様子
を観察する。気に入らなければ編集をやり直し、再度化
粧の様子を観察する。従来よりも実感的なシミュレーシ
ョンが可能である。

【００６４】化粧品メーカーや美容室は、ユーザーの好
みを正確に知ることができる。すなわち、編集において
どのような化粧が好まれるかという点ばかりでなく、ユ
ーザーがどの視点から見た自分の容姿を気に掛けている
のかという点も知ることができる。ユーザーの好みの視
点がわかればその視点からの容姿が最も美しくなるよう
な化粧品を提供することも可能であろう。

【００６５】（２）不動産シミュレーション分譲用不動産の内部の三次元モデルを生成する。ユーザ
ーは三次元モデル内を自由に移動しつつ、さまざまな角
度から部屋の様子を眺める。ユーザーは、平面図やパン
フレットの限られた写真からは得られない部分を存分に
見ることができる。

【００６６】不動産提供者は、ユーザーはどのような部
分に注目するのか、実際の部屋の中をどのように移動す
るのかを知ることができる。これらの情報を生かすこと
により、ユーザーの真のニーズに沿った物件を提供でき
る。

【００６７】（３）バーチャルなアイ・カメラアイ・カメラ(eye camera)とは、視線の動きを記録する
カメラであり、広告の研究に使用される。このシステム
の視点追尾機能を利用することにより、バーチャルなア
イカメラを実現できる。研究の対象とする商品等の三次
元モデルを用意しておき、それにユーザーが自由にアク
セスし、任意の視点から前記商品等を眺めることができ
るようにしておく。ユーザーはマウス等を使って任意の
視点を設定するが、サーバは視点の設定及び移動を逐一
記録する。視点の設定状況を前記商品等の三次元モデル
に対応付ければ、従来のアイ・カメラと同様の情報を得
ることができる。このシステムによるメリットは、アイ
・カメラの装置をユーザーにいちいち持たせる必要がな
いことである。そのため、多くのユーザーについて非常
に簡単その視点情報を得ることができる。

【００６８】発明の実施の形態２．発明の実施の形態２
のシステムを応用すると、三次元画像メールを送信でき
る。その処理のフローチャートを図５に示す。発明の実
施の形態１で説明したように、サーバに２枚の画像を送
ることにより三次元モデルを生成する（Ｓ２０）。その
三次元画像のアクセス方法（ＵＲＬなど）を含むメッセ
ージを作成する（Ｓ２１）。作成したメッセージを送信
する（Ｓ２２）。

【００６９】受信者は、メールを受信後（Ｓ２３）、メ
ッセージに含まれるアクセス方法にしたがってサーバに
アクセスし、三次元モデルに基づき所定の画像を得る
（Ｓ２４）。この際、視点を任意に設定できるのはいう
までもない。メッセージとともに三次元画像を表示する
（Ｓ２５）。なお、メッセージの表示の省略も可能であ
る。以上の手順で三次元画像メールを送信できる。三次
元画像データを直接送ることと比べるとデータ量が少な
くて済む。受信者は、任意の角度から対象物を眺めるこ
とができ、従来の平面的な画像よりも詳しい情報を得る
ことができる。

【００７０】発明の実施の形態３．図１（ｂ）に対応す
るシステムのブロック図を図６に示す。符号１３はクラ
イアントに送るための２枚の画像を格納する画像データ
ベースである。画像データベース１３は、さまざまな対
象物に関する異なる視点から見た２枚の画像を格納して
いる。符号１４はクライアントに送るための画像処理プ
ログラムを格納する外部記憶装置（メモリ）である。そ
の他の部分は、図２で示されたものと同じあるいは相当
部分であるので、これらの説明は省略する。

【００７１】発明の実施の形態４．この発明の実施の形
態４について図を用いて説明する。このシステムは、ユ
ーザーから異なる対象物に関する２つ以上の画像を送っ
てもらい、これらの画像に基づきモーフィング処理を行
い、その画像を生成してユーザーに提供するものであ
る。なお、モーフィング用の画像は予め用意されていて
もよい。

【００７２】モーフイング（Morphing）とは、米国のハ
リウッドで開発されたコンピュータグラフィックス（C
G）技術であり、2つの異なる画像、例えば、二人の人物
の顔の画像があるとき、一方の画像から他方の画像へ徐
々に画面を変化させること、及びそのような一連の画像
を提供する技術である。モーフイングにより、例えば、
白い虎が若い女性に変身していくような一連の画像が得
られる。

【００７３】2つの画像A、Bが与えられたとき、モーフ
イング処理は概ね次のように行われる。まず、画像A内
の特徴点（feature point）と画像B内の特徴点との対応
関係（例えば、目と目、鼻と鼻）を求めることがなされ
る。この作業は、通常は、作業者によりなされる。対応
関係が求められれば、画像Aの特徴点pを、時間をかけて
画像Bの特徴点qに少しづつ変化させていく。すると、前
述のような一連の画像が得られる。

【００７４】CGにおいては、一般に画像は多数の三角形
の要素からなる。したがって、モーフイングは、画像A
の特徴点pの三角形を、画像Bの特徴点qの三角形に対応
関係を維持しつつ変形することにより行われる。このこ
とを、図１７を参照しつつ説明する。この図において、
三角形Aが画像Aの一部であり、三角形Bが画像Bの一部で
あるとする。三角形Aの頂点p1，p2，p3は三角形Bの頂点
q1，q2，q3にそれぞれ対応する。三角形Aを三角形Bに変
換するには、頂点p1とq1の差分、頂点p2とq2の差分、頂
点p3とq3の差分を求めて、これら差分を三角形Aの各頂
点pl，p2，p3にそれぞれ加えればよい。これら差分のす
べて（100％）を加えることにより、三角形Aが三角形B
に変換される。ところで、これら差分のすべてではな
く、その一部、例えば、その30％、60％を加えることも
可能である。この場合、三角形Aと三角形Bの中間の図形
が得られる。例えば、図１７において、三角形A’は差
分の30％を加算した場合の模式的例であり、三角形B’
は差分の60％を加算した模式的例である。なお、便宜
上、この加算の割合を以下の説明において混合比とす
る。

【００７５】このシステムにおいて、数百点に及ぶ特徴
点の対応関係は対応点検索部４により自動的に得られ
る。モーフィングデータベース７には、画像Ａに関する
多数の三角形のデータと、画像Ｂに関する多数の三角形
のデータと、これらの間の対応関係が記憶されている。

【００７６】図７はこの発明の実施の形態に係る三次元
モデル・三次元画像生成システムの機能ブロック図であ
る。パソコン（クライアント）２には、画像データＰ
１、Ｐ２が直接入力されるか、又は、カメラ１ａ，１ｂ
からの画像データが入力される。これら画像データは、
異なる対象を見たものである。入力された複数の画像デ
ータはサーバに送られる。サーバにおいて、対応点検索
部４が複数の画像間の対応点、つまり対象物間で対応す
る点を検索する。幾何学的計算部７が画像を復元する。
複数の画像とこれらの間の対応関係は、モーフィングデ
ータベース７に格納される。モーフィングデータベース
７を参照することにより、複数の画像とそれらの中間画
像を生成することができる。対応点検索部４及び幾何学
的計算部６については後に詳述する。

【００７７】対応関係が確立されたら、パソコン（クラ
イアント）２は混合比設定部２０により混合比を設定す
る。このデータを受けてサーバの画像生成部８は、モー
フィングデータベース７を参照しつつ、画像を生成す
る。ユーザーの要求に応じて画像編集部９は生成された
画像に所定の修正を加える。編集された画像がパソコン
（クライアント）２に送られる。パソコン２の画面上に
画像Ｐが表示される。

【００７８】次に、混合比追跡部２１及び分析部２２の
処理について説明する。混合比設定部２０から混合比の
情報を受けて混合比の変化を追跡する。分析部２２は混
合比の変化を分析する。例えば、編集された画像をクラ
イアントへ送信するときに、最も気に入った混合比をユ
ーザーに入力させたうえで画像を送信するようにすれば
よい。

【００７９】分析部２２は、図示しない会員データベー
スの内容に基づき、ユーザーデータの全体像を俯瞰する
ためのデータを抽出し整理して提供する。登録ユーザー
の全体集計を行って、登録者総数、性別の比率、年齢層
の分布、居住エリアの分布などの基本的な項目につい
て、ユーザー特性をつかむとともに、混合比からユーザ
ーが好む画像を分析する。これとユーザーの行動履歴を
組み合わせて読むことで、どの層がターゲット層である
を知ることができる。

【００８０】このシステムの用途にはさまざまな分野が
考えられる。例えば、次のようなものである。（１）２つの対象物間で純粋にモーフィングを楽しむ。（２）ある対象物に他の対象物の要素を混入させてデフ
ォルメを施す。（３）自分の容姿をタレントに似せようとする場合にお
いて、自分の容姿のどの部分をどの程度、化粧等で変え
れば良いか判断する。（４）理想のスタイル・容姿を表現する場合において、
タレント等の画像を組み合わせて表現する。

【００８１】対応点検索部、三次元形状認識部、幾何学
的計算部これらの処理の概略について述べる。図９のフローチャ
ートによれば、まず、2つ以上の異なる視点から見た2つ
以上の画像A，B,・・・を得る（Sl）。次に、画像Aと画
像Bの間で特徴点の対応関係を求める（S2）。特徴点と
して、エッジ、コーナ、テクスチヤ‥・などが考えられ
る．画像Aと画像Bの聞で対応関係にある特徴点の移動量
を求める（S3）。これらの処理により、対象物の三次元
モデルを得ることができるとともに、モーフイング処理
に必要な特徴点の抽出及びその移動量（変化量）を求め
ることができる。

【００８２】その動作原理について、図１０及び図１１
を用いて説明する。図１０（a）（b）に示すように、あ
る空間に円錐201と立方体202が配置され、これらを2台
のカメラ1a，1bで撮影しているとする。これらカメラ1
a，1bの視点は異なるから、これらにより得られる画像
も異なる。これらカメラ1a，1bにより、図１１（a），
（b）の画像が得られたとする。これらの画像を比較す
ると、円錐201及び立方体202の位置が変化していること
がわかる。円錐201の相対位置変化量をy、立方体202の
相対位置変化量をxとすると、図１１から、x＜yである
ことがわかる。この大小関係は物体とカメラの間の距離
に関係する。移動量が大きいとき、その特徴点はカメラ
から近い位置にある。一方、移動量が小さいとき、その
特徴点はカメラから遠い位置になる。このように移動量
に応じて距離がわかる。そこで、特徴点を、その移動量
に応じて分類（ソーティング）し（S4）、移動量が小さ
なもの（遠くにあるもの）から順に画像を書き込んでい
く（S5）。すると、近くにあるものは上書きされるので
表示されるが、遠いもの（隠れる部分）は上書きにより
消されるので見えない。このように奥行き情報を用いる
ことなく、三次元空間画像を適切に再現できる。

【００８３】上記処理において、複数の画像間で特徴点
の対応関係を求めることにより、三次元空間内の物体の
位置を求める処理がある。ここで、この処理装置／方法
をフェイシャルイメージジェネレータと名づける。以
下、これについて詳細に説明する。

【００８４】フェイシャルイメージジェネレータは、3
つのカメラを用いて、制約条件として適する3焦点テン
ソル（triforcal Tensor）を用いて処理を行う。シーナ
リイメージジェネレータは、2つのカメラを用いて、制
約条件としてエピポーラジオメトリーを用いて処理を行
う。3つのカメラを用いることにより、平面対平面では
対応が難しかったが、3つのカメラの空間的制約条件を
取り入れることにより対応点検索を自動化できたのであ
る。

【００８５】フェイシャルイメージジェネレータ 3つのカメラから視点の異なる3つの画像を得て、これら
を処理する場合を例にとり説明する。視点の異なる3つ
の画像が、3つの特徴点検出器10a〜10cに入力される。
特徴点検出器10a〜10cは、注目点（interest point）と
も呼ばれる特徴点のリストを出力する。三角形や四角形
のような幾何学的形状であれば、その頂点が特徴点とな
る。通常の写真画像における、明確に区別可能なテクス
チヤーを有する非常に鮮明な注目点は、特徴点のための
良い候補である。

【００８６】相関ユニット11a、11b及びロバストマッチ
ングユニット12は、シード（Seed）発見ユニットを構成
する。これは、信頼性の高い初期的な三眼マッチ（trin
ocular match：3つのカメラ位置からなる制約条件）の
集合を見出すためのものである。これは、注目点の三つ
のリストを受けて、シードマッチと呼ばれる注目点の三
眼マッチのリストを出力する。相関ユニット11a，11b
は、仮の三眼マッチのリストを確立する。ロバストマッ
チングユニットは、三つの視野の幾何的拘束に適用し用
いて、信頼性の高いシードマッチのリストを完成させ
る。

【００８７】相関ユニット11a，11bの動作について説明
する。これらのユニットは、三つの画像間での三対の各
々に対して処理を行う。対応関係を求めるために、ZNCC
（ゼロ平均正規化相互相閑）相関測度が用いられる。ZN
CC相関測度は、対象の大きさが画像間で多少異なってい
たり、画像が多少変形しているときでも、画像間の対応
関係を求めることができる。このため、ZNCC相関測度が
マッチングシードのために用いられる。

【００８８】シフト量が△＝（△x，△y）^Tである点、x
＝（x，y）^TにおけるZNCCx（△）は以下のように定義さ
れる。

【数1】

【００８９】ここに、Ｉ＾（x）およびI＾’（x）は、x
を中心として与えられた一定処理範囲に対するピクセル
輝度の平均である。

【００９０】次に、ロバストマッチングユニット12によ
り、相関ユニット11によるステレオマッチングの結果
が、単一の三眼マッチに統合される。ロバストマッチン
グユニット12は、相関ユニット11から潜在的な三眼マッ
チの注目点リストを受けて、信頼性の高い三眼マッチの
注目点リストを出力する。三つの画像中における各々の
三眼マッチは当初はランダムサンプリングに基づきなが
らも、三眼マッチ以外のものを取り除くため、三視野拘
束の12の成分を評価することで、統計学的に有意に処理
される。同一の対象を3つカメラが撮影し、異なる視野
の3つの画像が得られたとき、3つの画像それぞれにおけ
るその対象の同一の点（例えば、特徴点）の位置は、所
定のルールに従い、その対象物の位置及びカメラ位置・
カメラ方向から一意に定められる。したがって、相関ユ
ニット11により得られた三眼マッチの注目点リストにつ
いて、それぞれがそのルールを満足するかどうか調べる
ことにより、正しい三眼マッチの注目点リストを得るこ
とができる。

【００９１】ここで、u＝（u，v）、u’＝（u’，v’）
およびu”＝（u”，v”）を、三眼マッチの正規化され
た相対座標とすると、三視野拘束を満足する三眼リスト
は、以下のような、t1ないしt12の12個の成分により決
定される条件式を満たす。

【数2】次に、カメラ方向の自動決定ユニット12について説明す
る。第1の画像乃至第3の画像を得るための三つのカメラ
が先験的に固定されているとしても、その方向は依然と
して可変であるので、従来のオフラインキャリブレーシ
ョンをここに適用することは困難である。そこで、カメ
ラ方向の自動決定ユニット12は、マッチ伝播の処理に拘
束条件を与えるために、カメラ方向を決定する。すなわ
ち、カメラ方向の自動決定ユニット12は、ロバストマッ
チングユニット12からシードマッチの注目点リストを受
けて、カメラシステムの方向を出力する。

【００９２】カメラ方向の自動決定ユニット12の基本的
な観念について説明する。まず、全ての三視野内部（in
lier）マッチを用いて、三視野拘束t1，・・・t12が最
適に再計算される。後に使用するための三視野拘束から
の直接的なカメラ方向の引き戻しは、アフインカメラ
（affine camera）の問題が、1D（一次元）射影カメラ
の問題に分解可能であるされるという独自の観察に基づ
いてなされる。

【００９３】当業者にとって、L．Quan and T．Kanade
"Affine structure from line correspondences with
uncalibrated affine cameras．"IEEE Transactions on
Pattern Analysis and Machine Intelligence，19
（8）：834−845，August1997に最初に導入された、良
い1D射影カメラのモデルが、通常のアフィンカメラにと
って平面の無限遠に表れることは明らかである。全ての
方向の量が、平面上の無限遠に埋め込まれ（embedded）
ており、したがって、1D射影カメラによりコード化され
ている。1Dカメラは、その3焦点テンソルTijk（強い制
約条件の基になる）であって、T_ijkuⁱu’^ju”^k＝0であ
るようなT_ijkにより完全に定められている。

【００９４】上記観点から、本発明の実施の形態のカメ
ラ方向の決定手順は次のように定められる。S11 2Dア
フィンカメラを、1D射影カメラに変換する。これには、
テンソル成分の間で、4（a−1）＋2（b−1）＋c→iによ
り定義されるテンソル−ベクトル写像を用い、三視野拘
束成分により、tiにより表わされるアフィンカメラの三
組（triplet）を、Tabcにより表わされる1Dカメラの三
組に変換される。S12 その上の極（エピポール：epipo
le）を取り出す。1Dカメラのエピポールは、たとえば、
ABS（Tjke2）＝0（ABSは絶対値記号）を、エピポールe2
およびe3について解くことによりテンソルから取り出す
ことができる。他のエピポールは、同様に、マトリクス
Ti・ke’1を、e’1およびe’3について因数分解（facto
rizing）し、かつ、マトリクスT_．jke”1を、e”1およ
びe”2について因数分解することにより得ることができ
る。S13 カメラマトリクスM’＝（H，h）およびM”＝
（H’，h’）、並びに、カメラ中心c，c’およびc”を
決定する。まず直接的にh＝ｅ’1およびh’＝e”1とす
る。カメラマトリクスの相同部分は、Tijk＝Hi^jh^k−h’
^jＨi^kから決定される。次いで、カメラ中心および2D射
影を復元することで、その核（カーネル）としてカメラ
マトリクスから決定され得る。S14 射影構造を更新す
る。アフィンカメラの既知のアスペクト比は、疑似画像
面上の環状点（circularpoint）の既知のものと等価で
ある。平面上の無限遠での絶対円錐（absolute conic）
の双対（dual）は、各アフィン画像の環状点の視線（vi
ewing rays）が、カメラ中央を経て絶対円錐に接するこ
とを調べることにより、決定することができる。S15
カメラ方向のパラメータを決定する。絶対円錐をその正
規位置（canonicalposition）に変形することは、全て
の射影量を、その真の対応するユークリッド量に変換す
ることになる。ユークリッド空間でのカメラ中央は、ア
フィンカメラの方向を与え、かつ、アフィンエピポーラ
ー幾何（affine epipolar geometry）は、その上の極
（epipoles）から推定される。

【００９５】次に、三つの画像中のマッチの最大数を予
測するための、幾何的拘束によるマッチ伝播器14につい
て説明する。このユニット14は、カメラ方向の自動決定
器13からシードマッチの注目点リストおよびカメラ方向
パラメータを受けて、三つの画像の稠密なマッチングを
出力する。

【００９６】初期シードマッチが得られた後、この初期
シードマッチからマッチ伝播の最初の推定を領域成長法
を使って行う。この発明の実施の形態において、領域成
長がマッチ成長に適用され、相関スコアに基づく類似測
度が利用される。伝播によ、る領域拡大は、テクスチャ
の局所最大値をシードマッチさせる方向で行われ、強い
テクスチャを有するが局所最大ではないその近傍まで拡
張され得る。

【００９７】全ての初期シードマッチは、同時に伝播を
開始する。各ステップで、最大のZNCCスコアをもつマッ
チ（a，A）が、シードマッチの現在の組から除去される
（S21）。次いで、その”マッチの近傍”における新た
なマッチを見出すと同時に、全ての新たなマッチが、現
在のシードの組と、構造の下で、受け入れられたマッチ
の組とに加える（S22）。画素aおよびAの近傍は、aおよ
びAを中心とする5×5のウィンドウ内の全ての画索をと
り、マッチング結果の連続的な拘束を保証する。第1の
画像中の近傍画索の各々に対して、第2の画像中の対応
する位置の近傍中の3×3のウィンドウの全ての画素から
なる仮のマッチ候補のリストが構築される。したがっ
て、画素の輝度変化の制限は、1画素を超えない。この
伝播処置は、第1の画像から第2の画像、および、第1の
画像から第3の画像で同時に実行され、各画像の対の間
のカメラ方向によって、この伝播は拘束される。カメラ
系の幾何的拘束を満足するもののみが伝播される。さら
に、これら二つの同次伝播は、カメラ系の三視野拘束を
満足するもののみが保持される。

【００９８】マッチングの一致性の拘束（unicity cons
traint）および処理の終了は、新たなマッチが受け入れ
られない時に発生する。マッチングを行う探索範囲は各
画素に対して減じられるため、ZNCCのために小さな5×5
のウィンドウが用いられ、したがって、小規模な幾何的
変形は許される。

【００９９】悪い伝播のリスクは、全てのマッチしたシ
ード点にわたる全ての最良の最初の計画をも壊す恐れが
あるため、細心の注意が必要である。シードを選択する
ステップは、相関を用いて注目点のマッチングをなす現
存する多くの手法とは違う。すなわち、伝播は、最大の
ものをとるというよりも、むしろ、最も信頼できるもの
を求めているに過ぎない。これにより、この発明の実施
の形態のアルゴリズムは、初期杓なマッチにおいて良好
でないシードの存在にさらされるおそれが小さい。極端
な場合には、興味点の一つの良好なマッチのみが、全て
のテクスチヤ化された画像へと広がる事も有り得る。

【０１００】次に、リサンプリングユニット15について
説明する。マッチ伝播器14により得られた稠密マッチン
グは、依然として、間違いもあり不揃いである。リサン
プリングユニット15は、マッチングマップを正則化する
とともに、更なる処理のためにより効果的な画像表現を
提供する。リサンプリングユニット15は、マッチ伝播器
14から三つの画像の稠密マッチングを受けて、リサンプ
リングされた三眼マッチのリストを出力する。

【０１０１】最初の画像は、二つの異なるスケールであ
る8×8および16×16の正方形グリッドによるパッチに細
分される。パッチの各々に対して、稠密マッチングから
全ての矩形のマッチした点が取得される。これらは、矩
形のこれらマッチした点ui←→u’iに仮に適合されて、
潜在的なパッチが見出される。P²中のホモグラフイー
は、射影面の間の射影変換であり、λiu’i＝Huiである
ような、同次的（homogeneous）な3×3の特異でないマ
トリクスにより表わされる。ここに、uおよびu’は、同
次的な座標において表れる。テクスチャ化された細片
は、作られたオブジェクトを除き完全な平面に過ぎない
ため、パッチに対する推定上の相同は、通常の最小自乗
法により推定される。これにより、パッチのマッチした
点のいくつかが、ほとんどが載っている共通平面上に載
っていない場合であっても、信頼性のあるホモグラフイ
ーの概算が提供される。ホモグラフィーに対する一致が
75％に達した場合には、パッチは平面と考えられる。第
2の画像および第3の画像中の対応するパッチの境界は、
第1の画像中のパッチの四隅を、概算されたホモグラフ
ィーHに射影（マッピング）することにより定義され
る。このようにして、三つの画像中の対応するパッチが
得られる。

【０１０２】パッチをホモグラフイーに適合させる処理
は、まず、より大きなスケールからより小さなスケール
まで、最初の画像の全てのパッチに対して繰り返され、
最終的に、結果として、全てのホモグラフイーにマッチ
した平面パッチとなる。

【０１０３】次に、三視野連携トライアンギュレーショ
ン（三角形分割）ユニット16について説明する。画像の
補間は、専ら、深さ情報のない画像の内容に依拠し、可
視性の変化およびオクルージョンの影響を受けやすい。
三視野連携トライアンギュレーションは、本質的には、
可視性の問題を扱うようにデザインされている。三視野
連携トライアンギュレーション（三角形分割）ユニット
16は、リサンプリングされた三眼マッチを受けて、三視
野連携トライアンギュレーション（三角形分割）を出力
する。各画像のトライアンギュレーション（三角形分
割）は、その最小の粗さの特性（minimal roughness pr
operty）のため、デローネイ（Delaunay）である。デロ
ーネイトライアンギュレーション（三角形分割）は、マ
ッチした領域をマッチしていないものから分離したいと
きに、必然的に拘束される。画像のマッチしたバッチの
連結された成分の境界は、全ての画像中に現れねばなら
ず、したがって、これら境界は、各デローネイトライア
ンギュレーション（三角形分割）に対する拘束となる。

【０１０４】三視野連携トライアンギュレーション（三
角形分割）は、以下のものとして定義される。・三つの画像中に1対1の頂点の対応がある。・拘束エッジ（constraint edge）は、三つの画像中の
マッチした領域の連結された成分の境界エッジである。・三つの画像中に、1対1の拘束エッジの対応がある。・各画像において、三角測量は、拘束エッジによる拘束
されたデローネイトライアングルである。

【０１０５】次に、視野補間ユニット17について説明す
る。視野補間ユニット17により、任意の中間的な画像、
例えば、第1のカメラと第2のカメラの中間の位置から見
た画像を得ることができる。中間的な任意の画像は、元
の三つの画像から生成することができる。視野補間ユニ
ット17は、三視野連携トライアンギュレーション（三角
形分割）の結果を受けて、α＋β＋γ＝1であるような
α、βおよび、γをバラメータとする任意め中間画像工
（α，β，γ）を出力する。

【０１０６】視野補間処理は次の手順で行われる。 1．まず、三つの画像から結果として得られる三角形の
位置が補間される。 2．個々の三角形の各々が新たな位置にワープされ、ま
た、歪みの重みが、ワープされた三角形に割り当てられ
る。 3．全画像の各々は、そのトライアンギュレーションか
らワープされる。探さの情報がないため、各三角形に対
するワープの順序は、最大の移動量のものから演繹的に
なされ、Paiter法のように、生成された画像の同じ位置
に写像される任意の画素が、後ろ前の順序で到達するこ
とが予想される。全てのマッチしていない三角形には最
も小さい移動量が割り当てられ、これらは、任意のマッ
チした三角形の前に、ワープされる。 4．最終的なピクセルの色が、3つの重みづけされワープ
された画像を混合することにより得られる。

【０１０７】シーナリイメージジェネレータ前述のようにシーナリイメージジェネレータは、さはど
高い測定精度を必要としない。したがって、2つ以上の
画像に基づき処理することが可能である。以下、2つの
視野に基づき処理を行う二視野ユニットと、3つの視野
に基づき処理を行う三視野ユニットについて説明する。

【０１０８】A．二視野ユニット図１５は、二視野ユニットのシステムアーキテクチャの
概要を示す。 1. Feature point detection unit 特徴点検出器20a，20bは、それぞれ画像を受けて、特徴
点のリストを出力する。これらのユニットは、個々の画
像の各々に対して独立して適用される。 2. Binocular seed finding unit 二視野シード発見ユニットは、信頼できる初期的なマッ
チの集合を見出す。二視野シード発見ユニットは、注目
点の二つのリストを受けて、シードマッチと称される二
視野マッチの注目点リストを出力する。このユニットは
二つの部分からなる。一つは、仮の二視野マッチの注目
点リストを確立する相関ユニット21であり、もう一つ
は、基本マトリクスによりコード化された二視線の幾何
的拘束に適用されるロバスト法を用いて、信頼できるシ
ードマッチの注目点リストを完成させるロバストマッチ
ングユニット22である。

【０１０９】3. Constraint match propagation unit 幾何的拘束によるマッチ伝播器23は、二つの画像中のマ
ッチの最大数を予測する。幾何的拘束によるマッチ伝播
器23は、シードマッチのリストを受けて、二つの画像の
稠密なマッチングを出力する。M．Lhuillier and L．Qu
an "Image interpolation by joint view triangulatio
n", Proceedings of the Conference on Computer Visi
on and Pattern Recognition，Fort Collins，Colorad
o，U．S．A，1999を参照しつつ説明する。Mを現在のマ
ッチした点のリストとし、Bを現在のシードのリストで
あるとする。明らかに、リストBはSに初期化され、Mは
空のリストに初期化される。

【０１１０】各ステップにおいて、シードマッチBの組
から最良のマッチm←→m’が引かれる(pull)。次いで、
mおよびm’の近傍中の付加的なマッチが見出される。m
の近傍は、mを中心とする5×5のウィンドウ中の全ての
画素をとる。第1の画像の近傍のピクセルの各々に対し
て、第2の画像中に、仮のマッチ候補のリストが構築さ
れる。このリストは、第2の画像中の対応する位置の近
傍における3×3の全ての画素から構成される。マッチン
グの基準c（ｘ，ｘ’）は、上で定義された相関である
が、ひとつの5×5のウィンドウ内に収まったものであ
る。最終的に、mおよびm’の近傍における付加的なマッ
チが、マッチリストMおよびシードマッチリストBに同時
に加えられ、一致性の拘束（unicity constraint）が保
存される。シードマッチリストBが空になるとアルゴリ
ズムが終了する。このアルゴリズムは、マッチした点の
領域のシード画素Bのためのヒープデータ構造により実
行され得る。

【０１１１】4. Re-sampling unit 稠密マッチングの出力には、依然として多少の誤りが含
まれるとともに、不揃いである。リサンプリングユニッ
ト24は、マッチングマップを正則化するとともに、更な
る処理のためにより効果的な画像表現を提供する。リサ
ンプリングユニット24は、2つの画像の稠密マッチング
を受けて、リサンプリングされた二視野マッチのリスト
を出力する。前記参考文献を参照して説明する。総当り
的な疑似稠密マッチング結果は、依然として、間違って
おりかつ不揃いであり得る。我々は、風景（scenes）上
に硬直拘束（rigidity constraint）を持っていない
が、風景の面が少なくともある程度は平滑であると仮定
する。したがって、基本マトリクス或いは三焦点のテン
ソルによりコード化された大局的な幾何的拘束を使用す
るかわりに、平面ホモグラフイーによりコード化された
局所的幾何的拘束を用いることができる。疑似稠密マッ
チングは、局所的に適合するパッチにより生かされる。
マッチされたパッチは以下のように記述される。

【０１１２】第1の画像は、二つの異なるスケールであ
る8×8および16×16の正方形グリッドによるパッチに細
分される。パッチの各々に対して、疑似稠密マッチング
のマップから全ての正方形のマッチした点が取得され
る。平面ホモグラフイーHは、正方形のこれらマッチし
た点u _i←→u‘_iに仮に適合されて、潜在的なパッチが見
出される。P²中のホモグラフイーは、射影面の間の射影
変換であり、λ_ｉｕ‘_ｉ＝Hu_iであるような、同次的（h
omogeneous）な3×3の特異でないマトリクスにより表わ
される。ここに、uおよびu‘は、同次座標（homogeneou
s coordinates）において表される。マッチされた点の
対の各々は、マトリクス成分h_ij中の同次的な一次方程
式を与える。ホモグラフイーマトリクスの9つの成分
は、8つについてのみ、スケールまで順にカウントす
る。したがって、そのうちの三つが同一直線状にない、
四つのマッチされた点が、Hを評価するのに十分なもの
となる。テクスチヤ化されたパッチは、作られたオブジ
ェクト（manufactured object）を除きほとんど完全な
平面にならないため、パッチに対する推定上のホモグラ
フイーは、通常の最小自乗法により評価されることがで
きない。正方形のパッチ（square patch）のマッチした
ポイントのいくつかが共通平面、多数はこの平面上に載
っている、の上に実際には載っていないときであって
も、ホモグラフィーを高い信頼性で評価できる強い方法
（Robust method）が適用されなければならない。Fisch
lerおよびBollesによりもともと導入されたランダムサ
ンプルコンセンサス（RANSAC）法が、ホモグラフイーの
ロバスト評価のために利用される。

【０１１３】ホモグラフイーに対する一致が75％に達し
た場合には、パッチは平面と考えられる。対応するパッ
チの境界は、第1の画像中のパッチの四隅を、評価され
たホモグラフイーHに射影（マッピング）することによ
り定義される。このようにして、二つの画像中の対応す
るパッチが得られる。

【０１１４】パッチをホモグラフイーにフィットさせる
処理は、最初に、より大きなスケールからより小さなス
ケールまで、第1の画像の全てのパッチに対して繰り返
され、その結果、全てのマッチした平面パッチとなる。
このように構築されたパッチは、第2の画像にオーバー
ラップする場合がある。オーバーラップしたパッチの数
を減じるために（問題を解決するものではないが）、隣
接するパッチのコーナーは、十分に隣接しているなら
ば、共通のものに一致させられる。各パッチは、その対
角線の一つに沿って、さらに処理されるために二つの三
角形に細分される。

【０１１５】5. Two view joint triangulation unit 画像の補間は、専ら、深さ情報のない画像の内容に依存
し、可視性の変化およびオクルージョンの影響を受けや
すい。三視野ジョイントトライアンギュレーションは、
本質的には、可視性の間題を扱うようにデザインされて
いる。二視野トライアンギュレーションユニット25は、
リサンプリングされた二視野マッチを受けて、連結二視
野トライアンギュレーションの結果を出力する。画像の
補間は、専ら、深さ情報のない画像の内容に依拠してい
るため、可視性の変化の影響を受けやすい。ここで、我
々は、複数ビューの表示を提案し、可視性の問題を取り
扱う。この表示方法は、いかなる3D入力データを用いる
ことなく二つの画像を同時かつ矛盾なく（矛盾がないこ
とがすぐに明らかになる）トライアンギュレーション
（三角形分割）を行う、我々がjoint view triangulati
onと呼ぶものである。トライアンギュレーションは、個
々の画像および距離のデータを表示かつ再構築するのに
十分にパワフルなツールであることが証明されている。

【０１１６】各画像のトライアンギュレーションは、そ
の最小の粗さの特性のため、デロネ（Delaunay）であ
る。デロネトライアンギュレーションは、マッチした領
域をマッチしていないものから分離したいときに、必然
的に拘束される。画像のマッチしたパッチの連結された
成分の境界は、全ての画像中に現れねばならず、したが
って、これら境界は、各デロネトライアンギュレーショ
ンに対する拘束となる。

【０１１７】ジョイントトライアンギュレーションのた
めの非矛盾性により、画像の頂点の間に1対1の対応が存
在し、かつ、マッチされた領域の拘束されたエッジすな
わち領域の境界の間に1対1の対応が存在する。

【０１１８】要約すると、二つのビューのためのジョイ
ントトライアンギュレーションは、以下の特性を有して
いる。1．二つの画像において1対1に頂点が対応するこ
と。2．二つの画像において、1対1に拘束されたエッジ
が対応すること。拘束エッジは、二つの画像においてマ
ッチされた領域の連結された成分の境界エッジである。 3．各画像のトライアンギュレーションは、拘束エッジ
による拘束されたデロネ（Delaunay）である。

【０１１９】ジョイントトライアンギュレーションのた
めのグリーデイ法（greedy method）は、自然な選択で
ある。そのアルゴリズムは、簡単に説明すると以下のよ
うなものである。・ジョイントビュートライアンギュレーションは、各画
像中の二つの三角形から開始する。・次いで、マッチされた平面三角形の各々が、各トライ
アンギュレーションに増分として挿入される。この挿入
は、列ごとにグリッドの上から下まで順番に実行され
る。それぞれの列に対して、実行を容易にすること及び
ロバスト性のために２つのパスのアルゴリズムが用いら
れる。第1のパスは、左から右まで全てのパッチを検査
することからなる。第2の画像の三角形が、現在のマッ
チされた領域の何れも横切っていない場合には、その頂
点は、拘束されたトライアンギュレーションのためた画
像平面に挿入される。次に、新たに追加された三角形が
マッチされた領域の何れかに連結される場合には、マッ
チされた領域の各々の多角形状の境界が再計算される。
三角形が境界の多角形と共通のエッジを共有する場合に
は、当該三角形は、多角形にて輪郭が描かれるマッチさ
れた領域に連結される。現在の列のための第2のパス
は、望ましくないマッチされていない穴を埋めるために
必要である。この穴は、上記データ構造のトポロジー的
な制限による第1のパス中に生成され得る。・完了ステップ。このポイントに、矛盾ない（consiste
nt）ジョイントトライアンギュレーションが得られる。
我々は、マッチされていない三角形の各々がアフイン変
換に適合し得るかどうかをさらにチェックすることによ
り、構造を改良している。マッチされていない三角形
が、アフイン変換にフィットすることに成功した場合に
は、ジョイントトライアンギュレーションにおいて、マ
ッチされていなかったものがマッチされたものに変化す
る。

【０１２０】6. View interpolation unit 任意の数の中間的な新たな画像は、元の三つの画像から
生成され得る。視野補間ユニット26は、二視野トライア
ンギュレーションの結果を受けて、λをパラメータとす
る任意の中間画像I（λ）を出力する。二つの元々の画
像を補間することにより全ての中間画像を生成する方法
につき説明を加える。すべての中間画像I（λ）は、λ
∈［0，1］によりパラメータ化され、かつ、二つの元々
の画像の形状補間とテクスチヤブリーディングにより得
られる。二つの元々の画像は、補間パスの終点、つまり
I（０）＝IおよびI（１）＝I‘である。

【０１２１】3ステップのアルゴリズムは以下のとおり
である。・個々の三角形をワープする。まず、位置は、以下のように、三角形u←→u’の各頂点
ごとに補間される。 u“（λ）＝（1−λ）ｕ＋λu′ かつ、重みωが、ワープされた三角形の各々に割り当て
られ、ワープされた三角形の変形を測る。この重みω
は、１により有界な第1の画像w．r．t．第2の画像の三
角形表面の比率γに比例する。すなわち、第1の画像の
三角形に対してω＝min（1，γ）であり、第2の画像の
三角形に対してω’＝min（1，1／γ）である。・全体の画像をワープする。パッチのオクルージョン問題を適切に取り扱うために、
我々は、Zバッファアルゴリズム或いはペインター法（P
ainter’s method）を用いることができる。ペインタ
ー法では、探さの情報が有用であるときに画素が後ろか
ら前に向う順序でソートされる。深さの情報が存在しな
い場合、生成された画像において同じ位置に写像（マッ
ピング）された任意の画素が、ペインター法のように、
後ろから前に向う順序で到達することが期待できるよう
に、各パッチごとのワープの順序は、最大の移動量（di
sparity）から推論される。もともとの画像IおよびI
‘の全ての三角形のパッチは、マッチされたものに続く
マッチされていないものをまずワープすることにより、
I＾およびI’＾上にワープされる。その頂点が画像のコ
ーナーである三角形は考慮されない。第一に、全てのマ
ッチされていない三角形は、元々の画像のオクルージョ
ンにより引き起こされた穴を含むときに、I＾およびI’
＾上にワープされる。より正確には、マッチされた領域
およびマッチされていない領域を連結する小さなマッチ
されていない三角形が、他のマッチされていない三角形
の前にワープされる。これは、これら三角形が、異なる
物体よりはそれらしいからである。第二に、マッチされ
た三角形が、発見的順序（heuristic order）でワープ
される。これは、三角形の最大置換（maximum displace
ment）の降順である。・色彩補間最終的な画素の色彩は、二つの重み付けされワープされ
た画像I＾およびI’＾を混合（bleeding）することによ
り得られる。

【数３】

【０１２２】B．三視野ユニット三視野ユニットについて、図１６を参照して説明する。
図１６の装置は、図１２の装置と類似するが、図１２の
カメラ方向の自動決定器13を備えない点で相違する。特
徴点検出ユニット30、相関ユニット31、幾何的拘束によ
るマッチ伝播器33、リサンプリングユニット34、三視野
連結トライアンギュレーション（三角形分割）ユニット
35及び視野補間ユニット36は、前述のものと同様である
ので、その説明は省略する。

【０１２３】ロバストマッチングユニット32は、潜在的
な三眼マッチの注目点リストを受けて、信頼できるシー
ド三眼マッチの注目点リストを出力する。三つの画像中
の7或いは8個のランダムサンプリングによる三眼マッチ
に基づいて基本マトリクスおよび三焦点テンソルにより
コード化された三視線マッチング拘束の全成分が推定さ
れ、三眼マッチしないものが除去される。

【０１２４】以上、詳細に説明したように、共通の対象
物が表された複数の画像から、これら画像に共通する特
徴点の対応関係を得ることができる。また、この対応関
係に基づき、対象物の三次元形状を得ることができる。
特に、3つのカメラを用いたときは、これらカメラ位置
・方向の制約条件下で精度良く処理を行うことができ
る。この処理により、モーフイング処理が自動化できる
とともに、所定の視野から見た対象物の画像を容易に生
成することができる。この発明の実施の形態の装置／方
法は、いわゆるコンピュータビジョンに広く適用するこ
とができる。

【０１２５】なお、上述の装置／方法は、三つの画像か
らフェイシヤル画像を生成するために開発されたアイデ
アと同様のものが、プロセッシングユニットを合理的に
変更することにより、二つの画像或いはN個の画像にも
拡張することができる。顔の画像以外の他の物体も、同
様の手順で処理することができる。

【０１２６】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【０１２７】また、本明細書において、手段とは必ずし
も物理的手段を意味するものではなく、各手段の機能
が、ソフトウェアによって実現される場合も包含する。
さらに、一つの手段の機能が、二つ以上の物理的手段に
より実現されても、若しくは、二つ以上の手段の機能
が、一つの物理的手段により実現されてもよい。

【図面の簡単な説明】

【図１】この発明の実施の形態１の説明図である。

【図２】この発明の実施の形態１に係るシステムの構
成図である。

【図３】この発明の実施の形態１に係るシステムのフ
ローチャートである。

【図４】この発明の実施の形態１の動作説明図であ
る。（ａ）は平面図、（ｂ）は側面図である。

【図５】この発明の実施の形態２に係るシステムのフ
ローチャートである。

【図６】この発明の実施の形態３に係るシステムの構
成図である。

【図７】この発明の実施の形態４に係るシステムの構
成図である。

【図８】この発明の実施の形態４に係るシステムのフ
ローチャートである。

【図９】この発明の実施の形態に係るシステムの処理
の概略を示すフローチャートである。

【図１０】この発明の実施の形態に係るシステムの動
作原理の説明図である。

【図１１】この発明の実施の形態に係るシステムの動
作原理の説明図である。

【図１２】この発明の実施の形態に係るシステムの概
略ブロック図である。

【図１３】この発明の実施の形態に係るシステムのカ
メラ方向の決定手順の概略を示すフローチャートであ
る。

【図１４】この発明の実施の形態に係るシステムのマ
ッチ伝播順の概略を示すフローチャートである。

【図１５】この発明の実施の形態に係る他のシステム
の概略ブロック図である。

【図１６】この発明の実施の形態に係る他のシステム
の概略ブロック図である。

【図１７】モーフィングの原理の説明図である。

【符号の説明】

１カメラ２パソコン（クライアント）３通信手段４対応点検索部５三次元形状認識部６幾何学的計算部７三次元モデル／モーフィングデータベース８画像生成部９画像編集部１０視点設定部１１視点追跡部１２分析部２０混合比設定部２１混合比追跡部２２分析部

───────────────────────────────────────────────────── フロントページの続き (71)出願人 500318391 Ｏｎｅ５ｔｈＡｖｅ．Ｓｕｉｔ 15 Ｊ，ＮｅｗＹｏｒｋ，ＮＹ10003, Ｕ．Ｓ．Ａ. (72)発明者宮沢丈夫東京都港区元麻布二丁目１番17号ザワンインフィニット・インコーポレイテッド内Ｆターム(参考） 5B050 CA07 CA08 EA19 EA27 EA28 FA02 FA09 5B057 BA02 BA23 CA13 CB13 CD01 CD11 CE08 DA16 DB03 DC09

Claims

【特許請求の範囲】

【請求項１】対象物に関する三次元モデルを格納する
三次元モデルデータベースと、前記対象物を見るための視点を設定する視点設定部と、前記三次元モデルデータベースに基づき前記視点から見
た前記対象物の画像を生成する画像生成部と、前記視点を追跡する追跡部と、前記追跡部の出力に基づき前記視点位置を設定したユー
ザーの嗜好の分析を行う分析部とを備える三次元画像提
供システム。
【請求項２】前記画像生成部により生成された前記対
象物の画像を編集する画像編集部を備えることを特徴と
する請求項１記載の三次元画像提供システム。
【請求項３】前記分析部は、前記視点が描く軌跡を分
析することによりユーザーの嗜好の分析を行うことを特
徴とする請求項１記載の三次元画像提供システム。
【請求項４】前記分析部は、ユーザーが複数の視点を
設定したときに、前記視点の位置の統計を求めることに
よりユーザーの嗜好の分析を行うことを特徴とする請求
項１記載の三次元画像提供システム。
【請求項５】同一の対象物を異なる視点から見た２つ
以上の画像を受けて前記対象物に関する三次元モデルを
生成する三次元モデル生成部と、前記三次元モデルを格納する三次元モデルデータベース
と、前記対象物を見るための視点を設定する視点設定部と、前記三次元モデルデータベースに基づき前記視点から見
た前記対象物の画像を生成する画像生成部とを備える三
次元画像提供システム。
【請求項６】前記三次元モデル生成部は、前記２つ以上の画像にそれぞれ表れる前記対象物に関し
て前記２つ以上の画像の間において対応する点を検索す
る対応点検索部と、前記対応点検索部の出力に基づき前記対象物の三次元形
状を認識する三次元形状認識部と、前記三次元形状認識部の認識結果に基づき前記対象物を
再現する幾何学的計算部とを備えることを特徴とする請
求項５記載の三次元画像提供システム。
【請求項７】前記画像生成部により生成された前記対
象物の画像を編集する画像編集部を備えることを特徴と
する請求項５記載の三次元画像提供システム。
【請求項８】同一の対象物を異なる視点から見た２つ
以上の画像を受けて前記対象物に関する三次元モデルを
生成する三次元モデル生成部と、前記対象物を見るための視点を設定する視点設定部と、前記三次元モデルに基づき前記視点から見た前記対象物
の画像を生成する画像生成部とを備える三次元画像提供
システム。
【請求項９】前記三次元モデル生成部は、前記２つ以上の画像にそれぞれ表れる前記対象物に関し
て前記２つ以上の画像の間において対応する点を検索す
る対応点検索部と、前記対応点検索部の出力に基づき前記対象物の三次元形
状を認識する三次元形状認識部と、前記三次元形状認識部の認識結果に基づき前記対象物を
再現する幾何学的計算部とを備えることを特徴とする請
求項８記載の三次元画像提供システム。
【請求項１０】前記画像生成部により生成された前記
対象物の画像を編集する画像編集部を備えることを特徴
とする請求項８記載の三次元画像提供システム。
【請求項１１】異なる対象物についての２つ以上の画
像を受けてこれら画像の間の対応関係を求めるモーフィ
ングデータ生成部と、前記２つ以上の画像と前記対応関係を格納するモーフィ
ングデータベースと、前記２つ以上の画像の混合比を設定する混合比設定部
と、前記モーフィングデータベースに基づき前記２つ以上の
画像を前記混合比で混合した画像を生成する画像生成部
とを備えるモーフィング画像提供システム。
【請求項１２】前記モーフィングデータ生成部は、前記２つ以上の画像に表れる対象物に関して前記２つ以
上の画像の間において対応する点を検索する対応点検索
部と、前記対応点検索部の出力に基づき前記２つ以上の画像を
再構成する幾何学的計算部とを備えることを特徴とする
請求項１１記載のモーフィング画像提供システム。
【請求項１３】前記画像生成部により生成された合成
画像を編集する画像編集部を備えることを特徴とする請
求項１１記載のモーフィング画像提供システム。
【請求項１４】同一対象物を異なる視点から見た２つ
以上の画像を取得して送信するステップと、前記２つ以上の画像に基づき前記対象物に関する三次元
モデルを生成するステップと、前記対象物を見るための視点を設定するステップと、前記三次元モデルに基づき設定された前記視点から見た
画像を生成するステップと、生成された画像を送信するステップとを備える三次元画
像提供方法。
【請求項１５】画像処理プログラムを受信してコンピ
ュータが実行可能なように展開するステップと、前記画像プログラムを実行して、同一対象物を異なる視
点から見た２つ以上の画像に基づき前記対象物に関する
三次元モデルを生成するステップと、前記対象物を見るための視点を設定するステップと、前記三次元モデルに基づき設定された前記視点から見た
画像を生成するステップと、生成された画像を表示するステップと、前記視点の情報を送信するステップとを備える三次元画
像提供方法。
【請求項１６】設定された前記視点の移動を追跡する
ステップと、前記視点の移動に基づき前記視点位置を設定したユーザ
ーの嗜好を分析するステップと、分析結果を送信するステップとを備えることを特徴とす
る請求項１４又は請求項１５記載の三次元画像提供方
法。
【請求項１７】サーバの三次元モデルデータベースを
用いて三次元画像を生成するステップと、前記三次元画像のアクセス方法の情報を含むメッセージ
を作成するステップと、メールを送信するステップと、メールを受信するステップと、指定されたアクセス方法により前記三次元画像を取得す
るステップと、メッセージとともに三次元画像を表示するステップとを
備える三次元画像提供方法。
【請求項１８】異なる対象物の２つ以上の画像を取得
して送信するステップと、前記２つ以上の画像の間の対応関係を求めてモーフィン
グ用のデータベースを生成するステップと、モーフィング用の前記２つ以上の画像の混合比を設定す
るステップと、前記モーフィング用のデータベースに基づき設定された
前記２つ以上の画像を前記混合比で混合してモーフィン
グ画像を生成するステップと、生成された画像を送信するステップとを備えるモーフィ
ング画像提供方法。
【請求項１９】設定された前記混合比を追跡するステ
ップと、前記混合比を分析して前記混合比を設定したユーザーの
嗜好の分析を行うステップと、分析結果を送信するステップとを備えることを特徴とす
る請求項１８記載のモーフィング画像提供方法。