JP2000348210A

JP2000348210A - 画像合成方法、画像合成装置、及びプログラム提供媒体

Info

Publication number: JP2000348210A
Application number: JP11155361A
Authority: JP
Inventors: Hidetoshi Nagano; 秀敏永野; Takahiro Ishii; 隆寛石井; Takushi Totsuka; 卓志戸塚; Naosuke Asari; 直介浅利
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-06-02
Filing date: 1999-06-02
Publication date: 2000-12-15

Abstract

(57)【要約】【課題】元画像中の各画素毎の信頼性を考慮して良好
な合成画像を生成する。【解決手段】画像の各画素に対する信頼性の評価を行
い、各画素毎の重みを算出することができる。また、画
像を変形したときの変形度合いの評価を行い、変形度合
いに応じた画素毎の重みを算出する。従来は考慮されて
いなかった画素毎の信頼性を反映させることにより、例
えばカメラに正対していないためにつぶれてしまった模
様など、信頼性の低い画素の合成画像への悪影響を低く
抑えることができ、良好な結果画像を得ることが可能と
なる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２以上の画像を合
成して新しい画像を生成する画像合成方法及び装置に係
り、特に、元画像の各々が持つ信頼性を考慮して良好な
合成画像を生成する画像合成方法及び装置に関する。更
に詳しくは、本発明は、元画像中の各画素毎の信頼性を
考慮して良好な合成画像を生成する画像合成方法及び装
置に関する。

【０００２】

【従来の技術】昨今の情報処理技術の発展に伴い、高機
能で且つ強力な演算能力を持つ汎用コンピュータ・シス
テムが、各種研究機関や企業内のオフィス、一般家庭へ
と広汎に普及してきている。また、コンピュータの適用
分野も拡大し、コンピュータ・データのみならず、画像
や音声など、様々のデータも電子化され、コンピュータ
上で扱われるようになってきた。

【０００３】例えば、デジタル・カメラなどの撮像手段
により捕捉された電子的な画像データは、コンピュータ
内に取り込まれ、画像合成や画像変形などの画像処理を
行うことができる。

【０００４】画像合成は、例えば、映画やテレビジョン
映像でシーンが切り替わる場面において適用される。す
なわち、元画像に対して変形を加え、さらに別の画像と
合成することで、自然で緩やかなシーン変更を実現する
ことができる。あるいは、異なる角度から撮像された２
枚以上の画像を合成して、さらに別の角度から見た仮想
的な撮像画像を作成することができる。２以上の画像を
合成する際、各画像に重み付けを行うのが一般的であ
る。この場合の重み付け値は画像の変形度合いをあらわ
すものであり、合成画像はより大きな重み付け値を持つ
元画像に類似した画像となる。

【０００５】また、画像合成技術の１つとして、ある人
物の顔画像から別の人物の顔画像へと滑らかに変化させ
る”Ｍｏｒｐｈｉｎｇ”が知られている。別人物の顔画
像の間では、目の位置や鼻の形など、各構成要素の位置
やサイズが相違する。したがって、滑らか顔画像の移り
変わりを実現するためには、各構成要素どうしの対応関
係が崩れないように、適切な画像変形を加えてから画像
合成を行う必要がある。

【０００６】以下、図１７を参照しながら、Ｍｏｒｐｈ
ｉｎｇ処理について説明する。例えば、顔画像Ａ１から
顔画像Ｂ１へ滑らかな移り変わりを実現するためには、
元画像どうしを合成させた中間画像を差し込んで、画像
を急激に変化させないようにする必要がある。ここで言
う中間画像は、字義通り、元画像Ａ１と元画像Ｂ１の中
間的な画像であり、各元画像の特徴を兼ね備えたもので
ある。このように２つの画像双方の特徴を付与するため
に、元画像Ａ１と元画像Ｂ１間において顔の構成要素
（目や口、鼻など）の対応関係を崩れないように変形し
た変形画像Ａ２及び変形画像Ｂ２を求めて、これら変形
画像Ａ２及びＢ２の合成画像（Ａ２＋Ｂ２）を中間画像
として挿入する。

【０００７】但し、元画像Ａ１から変形画像Ａ２への変
形量、及び、元画像Ｂ１から変形画像Ｂ２への変形量
は、一通り（すなわち一定）であるとは限らない。例え
ば、Ａ１からＡ２への変形量ΔＡを小さく、Ｂ１からＢ
２への変形量ΔＢを大きくすることで、中間画像（Ａ２
＋Ｂ２）を顔画像Ａ１により近いものとなるように変形
度合いを設定することができる。また、逆に、変形量Δ
Ａを大きく、変形量ΔＢを小さくすることで、中間画像
（Ａ２＋Ｂ２）を顔画像Ｂ１により近いものとなるよう
に変形度合いを設定することができる。さらに、時間の
変化とともに、変形量ΔＡ及びΔＢの配分すなわち変形
度合いを変化させていくことによって、顔画像Ａ１から
顔画像Ｂ１への滑らかに移り変わる中間画像を生成する
ことができる。

【０００８】このような画像合成処理を行う際、変形量
だけでなく色濃度の配合加減も考慮する必要があるの
で、変形度合いに応じて各画像の色濃度の重みを付ける
とよい。例えば、Ａ１からＢ１に向かう移り変わりの最
初の段階では画像Ａ２の色配分重みを大きくし、徐々に
Ｂ２の色配分重みを大きくしていく。変形量の配分と色
の配分の双方を徐々に変化させた合成画像Ａ２＋Ｂ２を
中間画像として、画像Ａ１と画像Ｂ１の間に挿入するこ
とにより、滑らかに変化する動画像を作成することがで
きる。

【０００９】Ｍｏｒｐｈｉｎｇ処理の適用は、顔画像の
変化のみに限定されない。例えば、図１８に示すよう
に、既知の３次元物体を及びの各々の方向から実在
するカメラで撮像した実像画像Ａ１及びＢ１を入力して
おき、これら実像画像を元に、仮想カメラで別の方向
から撮像した仮想画像を合成する場合にも、Ｍｏｒｐｈ
ｉｎｇ技術を適用することができる。この場合、各々の
元画像Ａ１及びＢ１間において３次元物体の構成要素の
対応関係を崩さないようにするために、それぞれ変形画
像Ａ２及びＢ２を生成して、これら変形画像の合成した
画像（Ａ２＋Ｂ２）を仮想画像とすることができる。な
お、各変形画像を生成するには、元画像及び仮想画像に
おける投影パラメータ（後述）が使用される。

【００１０】略言すれば、画像合成技術を用いることに
より、２枚以上の実像画像を元に、実際にはカメラで撮
像していない、すなわち実在しない仮想画像を合成する
ことができる訳である。

【００１１】ところで、上述した従来の画像合成技術で
は、各画像を重み付けしてから合成を行うが、重み付け
値はどの元画像により近似させた画像を合成するかとい
う変形度合いを表しているに過ぎず、元画像の各々が持
つ画像の信頼性とは無関係である。

【００１２】また、１枚の画像の中でも、情報としての
信頼性は均一ではなく、各画素毎に異なる。例えばの図
１８（前述）に示すような３次元物体を撮像した画像の
場合、カメラと正対した物体表面に関する画素領域の色
濃度値は比較的信頼性が高い。これに対し、斜めに撮像
した面に関する画素領域は、傾いた分だけ物体表面の単
位面積当たりの画素数が少なくなり（すなわち、情報量
が少なくなり）、画質が劣化し、すなわち信頼性が低下
する。極端に斜めになった面を撮像した場合、背景の色
が物体表面のテクスチャに混じり込んでしまうので、画
素が持つ信頼性はさらに低下する。

【００１３】画像合成は、複数の画像間で、３次元物体
上の対応する点に関する画素データどうしを合成するも
のである。しかしながら、信頼性が低い画素データを、
信頼性の高い画素データと同等に取り扱ってしまうと、
画素の質の低下を招き、正確な合成画像を得ることがで
きなくなってしまう。

【００１４】従来の画像合成技術では、画像合成時に行
う各画像の重み付けは変形度合いを表すものであり、元
画像の各々が持つ信頼性とは無関係であった。また、与
えられる重み付け値は、１つの画像に含まれる画素全体
に対して均一に与えられるものであり、画素毎に区々で
ある信頼性等の重みを考慮するものではなかった。

【００１５】

【発明が解決しようとする課題】本発明の目的は、２以
上の画像を合成して新しい画像を生成する、優れた画像
合成方法、画像合成装置、及びプログラム提供媒体を提
供することにある。

【００１６】本発明の更なる目的は、各元画像が持つ信
頼性を考慮して良好な合成画像を生成することができ
る、優れた画像合成方法、画像合成装置、及びプログラ
ム提供媒体を提供することにある。

【００１７】本発明の更なる目的は、元画像中の各画素
毎の信頼性を考慮して良好な合成画像を生成することが
できる、優れた画像合成方法、画像合成装置、及びプロ
グラム提供媒体を提供することにある。

【００１８】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、２以上
の画像を合成して新しい画像を生成する画像合成方法で
あって、複数の重み付き画像を生成する重み付き画像生
成ステップと、生成された複数の重み付き画像を変形し
て重み付き変形画像を生成するとともに、変形度合いに
応じて重みを再計算する画像変形ステップと、再計算さ
れた重みに従って複数の重み付き変形画像どうしを合成
する画像合成ステップと、を具備することを特徴とする
画像合成方法である。

【００１９】本発明の第１の側面に係る画像合成方法に
おいて、前記重み付き画像生成ステップは、画素が持つ
データの信頼性に従って画素毎に信頼性重みを与えるサ
ブステップを含んでいてもよい。

【００２０】また、前記重み付き画像生成ステップは、
元画像を入力するサブステップと、元画像中の各画素が
持つデータの信頼性に従って画素毎に信頼性重みを与え
るサブステップを含んでいてもよい。

【００２１】また、前記重み付き画像生成ステップは、
元画像中に含まれる物体の３次元形状データと投影パラ
メータに基づいて各画素の信頼性を求め、画素毎に信頼
性重みを与えるサブステップを含んでいてもよい。

【００２２】また、元画像が平行投影に従った投影画像
を含む場合は、投影方向、投影スクリーンの中心位置の
３次元座標、投影スクリーン上の投影画像の縦横方向と
ピクセル解像度からなる投影パラメータを用い、元画像
が中心投影に従った投影画像を含む場合は、投影中心の
３次元座標、投影方向、投影スクリーンと投影中心との
距離、投影スクリーン上の投影画像の縦横方向とピクセ
ル解像度、画像の中心位置からなる投影パラメータを用
いてもよい。

【００２３】また、前記３次元形状データは、（１）３
次元位置を持つ複数の頂点からなるポリゴン（多面体）
によって表現された形状データ、（２）物体表面と投影
情報の基準点又は面（投影中心や投影スクリーンなど）
との距離を画像によって表現された形状データ、又は、
（３）Ｎｕｒｂｓ曲線やベジエ曲線など制御点によって
表現された形状データのいずれかであってもよい。

【００２４】また、前記の画素毎に信頼性重みを与える
サブステップでは、３次元物体表面上の単位面積が投影
スクリーン上に投影された面積、又は、３次元物体表面
の法線方向と視線方向の一致度合いのいずれかに基づい
て信頼性重みを評価してもよい。

【００２５】また、前記画像変形ステップは、外部入力
された変形パラメータを用いて重み付き画像を変形する
サブステップと、変形パラメータが表す変形度合いに応
じて、変形処理後の重み付き画像の各画素が持つ変形重
みを算出するサブステップと、生成時の重み付き画像が
持つ重みと算出された変形重みとから、変形処理後の重
み付き画像の各画素についての重みを再計算するサブス
テップと、を含んでもよい。

【００２６】また、変形パラメータとして、（１）重み
付き画像の変形処理時における各画素の移動量（Δｘ，
Δｙ）を記述した変形オフセット、又は、（２）重み付
き画像生成時の投影パラメータと投影画像内の物体の３
次元形状と所望の変形画像を得るための投影パラメー
タ、のうちいずれか一方を用いてもよい。

【００２７】また、前記の変形重みを算出するサブステ
ップでは、変形処理される重み付き画像に対する変形パ
ラメータの他に、前記の重み付き画像生成ステップで生
成された他の重み付き画像に対する変形パラメータを使
用してもよい。

【００２８】また、前記の変形重みを算出するサブステ
ップでは、変形オフセットを変形パラメータとして用
い、且つ、以下のいずれかの値により各画素の変形度合
いを評価して変形重みを付与してもよい。（１）変形前後での面積の減少量（２）変形オフセットの長さの逆数（３）他の重み付き画像に対する変形パラメータを用い
る場合は、変形オフセットを最短のものから３つ選択
し、該３つに入らなければ重みをゼロとし、入れば該３
つの変形オフセットで形成される３角形の内分比

【００２９】また、前記の変形重みを算出するサブステ
ップでは、投影画像内の物体の３次元形状と投影パラメ
ータを変形パラメータとして用い、且つ、以下のいずれ
かの値により各画素の変形度合いを評価してもよい。（１）変形前後での面積の減少量（２）視線方向の一致度合い（３）他の重み付き画像に対する変形パラメータを用い
る場合は、視線方向の一致度合いが高いのものから３つ
選択し、該３つに入らなければ重みをゼロとし、入れば
該３つの視線方向で形成される３角形若しくは球面３角
形の内分比

【００３０】また、前記の各画素についての重みを再計
算するサブステップでは、変形処理後の重み付き画像に
おける各画素の重みと、前記の変形重みを算出するサブ
ステップで算出された変形重みとを積算又は合算するこ
とにより各画素の重みを再計算してもよい。

【００３１】前記画像合成ステップでは、変形処理後の
複数の重み付き画像を入力して、各画像上で同じ位置の
画素の色濃度値を重み付き平均処理して、該平均値を結
果画像上の同一位置の画素における色濃度値とすること
により合成処理してもよい。

【００３２】また、本発明の第２の側面は、２以上の画
像を合成して新しい画像を生成する画像合成方法であっ
て、（ａ）２以上の元画像を取得するステップと、
（ｂ）元画像の各々に対して、各画素が持つデータの信
頼性に従って画素毎に信頼性重みを与えるステップと、
（ｃ）元画像の各々に対して、変形度合いに従って変形
重みを計算するステップと、（ｄ）信頼性重み及び変形
重みに基づいて画素毎の重みを再計算するステップと、
（ｅ）再計算された画素毎の重みに従って各画像を合成
するステップと、を具備することを特徴とする画像合成
方法である。

【００３３】また、本発明の第３の側面は、２以上の画
像を合成して新しい画像を生成する画像合成方法であっ
て、各元画像に対して、画素が持つデータの信頼性に従
って画素毎に信頼性重みを与えるステップと、各画素の
信頼性重みを考慮しながら、元画像どうしを合成するス
テップと、を含むことを特徴とする画像合成方法であ
る。

【００３４】また、本発明の第４の側面は、２以上の画
像を合成して新しい画像を生成する画像合成装置であっ
て、複数の重み付き画像を生成する重み付き画像生成手
段と、生成された複数の重み付き画像を変形して重み付
き変形画像を生成するとともに、変形度合いに応じて重
みを再計算する画像変形手段と、再計算された重みに従
って複数の重み付き変形画像どうしを合成する画像合成
手段と、を具備することを特徴とする画像合成装置であ
る。

【００３５】本発明の第４の側面に係る画像合成装置に
おいて、前記重み付き画像生成手段は、画素が持つデー
タの信頼性に従って画素毎に信頼性重みを与えてもよ
い。

【００３６】また、本発明の第５の側面は、２以上の画
像を合成して新しい画像を生成する画像合成装置であっ
て、（ａ）２以上の元画像を取得する手段と、（ｂ）元
画像の各々に対して、各画素が持つデータの信頼性に従
って画素毎に信頼性重みを与える手段と、（ｃ）元画像
の各々に対して、変形度合いに従って変形重みを計算す
る手段と、（ｄ）信頼性重み及び変形重みに基づいて画
素毎の重みを再計算する手段と、（ｅ）再計算された画
素毎の重みに従って各画像を合成する手段と、を具備す
ることを特徴とする画像合成装置である。

【００３７】また、本発明の第６の側面は、２以上の画
像を合成して新しい画像を生成する画像合成装置であっ
て、各元画像に対して、画素が持つデータの信頼性に従
って画素毎に信頼性重みを与える手段と、各画素の信頼
性重みを考慮しながら、元画像どうしを合成する手段
と、を含むことを特徴とする画像合成装置である。

【００３８】また、本発明の第７の側面は、２以上の画
像を合成して新しい画像を生成するための処理をコンピ
ュータ・システム上で実行せしめるコンピュータ・プロ
グラムを有形的且つコンピュータ可読な形式で提供する
プログラム提供媒体であって、前記コンピュータ・プロ
グラムは、複数の重み付き画像を生成する重み付き画像
生成ステップと、生成された複数の重み付き画像を変形
して重み付き変形画像を生成するとともに、変形度合い
に応じて重みを再計算する画像変形ステップと、再計算
された重みに従って複数の重み付き変形画像どうしを合
成する画像合成ステップと、を具備することを特徴とす
るプログラム提供媒体である。

【００３９】本発明の第７の側面に係るプログラム提供
媒体において、前記重み付き画像生成ステップは、画素
が持つデータの信頼性に従って画素毎に信頼性重みを与
えるサブステップを含んでもよい。

【００４０】また、本発明の第８の側面は、２以上の画
像を合成して新しい画像を生成するための処理をコンピ
ュータ・システム上で実行せしめるコンピュータ・プロ
グラムを有形的且つコンピュータ可読な形式で提供する
プログラム提供媒体であって、前記コンピュータ・プロ
グラムは、（ａ）２以上の元画像を取得するステップ
と、（ｂ）元画像の各々に対して、各画素が持つデータ
の信頼性に従って画素毎に信頼性重みを与えるステップ
と、（ｃ）元画像の各々に対して、変形度合いに従って
変形重みを計算するステップと、（ｄ）信頼性重み及び
変形重みに基づいて画素毎の重みを再計算するステップ
と、（ｅ）再計算された画素毎の重みに従って各画像を
合成するステップと、を具備することを特徴とするプロ
グラム提供媒体である。

【００４１】また、本発明の第９の側面は、２以上の画
像を合成して新しい画像を生成するための処理をコンピ
ュータ・システム上で実行せしめるコンピュータ・プロ
グラムを有形的且つコンピュータ可読な形式で提供する
プログラム提供媒体であって、前記コンピュータ・プロ
グラムは、各元画像に対して、画素が持つデータの信頼
性に従って画素毎に信頼性重みを与えるステップと、各
画素の信頼性重みを考慮しながら、元画像どうしを合成
するステップと、を含むことを特徴とするプログラム提
供媒体である。

【００４２】

【作用】しかして、本発明に係る画像合成処理によれ
ば、まず、複数の重み付き画像が生成される。画像は、
デジタル・カメラのような撮像装置によって捕捉された
画像データを外部入力したものであっても、３次元コン
ピュータ・グラフィックスなどで生成されたものでもよ
い。入力画像中に含まれる物体の３次元形状等に関する
データは既知であることをとする。

【００４３】また、生成された重み付き画像は、画素毎
に重みが付与されている。付与される重みは、各画素が
持つ色濃度値などのデータの信頼性に従った値を示す
「信頼性重み」である。例えば、カメラの撮像画像であ
れば、カメラに相対した物体表面は高い信頼性重みを持
つ。これに対し、斜め方向から撮像された物体表面は、
物体表面の単位面積当たりの画素数が少なく、表面の模
様がつぶれてしまうため、信頼性重みは低い。

【００４４】次いで、複数の重み付き画像どうしを合成
処理する前に、各画像間の対応関係を保つために、互い
の画像とは中間的な変形画像を生成する。所謂、Ｍｏｒ
ｐｈｉｎｇである。この変形処理において、物体表面を
描画する画素位置は移動するが、各画素が持っていた信
頼性重みを変形後の画素が引き継ぐ。

【００４５】また、変形画像どうしを合成処理する際、
合成の結果画像をいずれの変形画像に近づけるかという
変形度合いに応じて、各画像に変形重みが付与される。
次いで、変形重みと各画素が持つ信頼性重みとを考慮し
て、各画素の重みを再計算する。

【００４６】そして、再計算された画素毎の重みに従っ
て、各変形画像どうしを合成する。この合成処理は、例
えば、各変形画像の同一位置の画素が持つ色濃淡値の重
み付き平均値を求め、これを結果画像の画素の色濃淡値
とすることによって実現される。

【００４７】本発明に係る画像合成処理によれば、画像
の各画素に対する信頼性の評価を行い、各画素毎の重み
を算出することができる。さらに、画像を変形したとき
の変形度合いの評価を行い、変形度合いに応じた画素毎
の重みを算出することができる。

【００４８】さらに、本発明に係る画像合成処理によれ
ば、複数の画像を変形し、各画像における画素単位での
信頼性を示す重みと、変形度合いに応じた重みの双方に
反映した合成画像を得ることができる。

【００４９】本発明により、従来は考慮されていなかっ
た画素毎の信頼性を反映しながら、画像に変形を加えて
合成する画像合成処理が可能となる。したがって、カメ
ラに正対していないためにつぶれてしまった模様など、
信頼性の低い画素の合成画像への悪影響を低く抑えるこ
とができ、良好な結果画像を得ることが可能となる。

【００５０】本発明の第７乃至第９の側面に係るプログ
ラム提供媒体は、例えば、様々なプログラム・コードを
実行可能な汎用コンピュータ・システムに対して、コン
ピュータ・プログラムをコンピュータ可読な形式で提供
する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶
媒体、あるいは、ネットワークなどの伝送媒体など、そ
の形態は特に限定されない。

【００５１】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、本発明の第７乃至第９の側面
に係るプログラム提供媒体を介して所定のコンピュータ
・プログラムをコンピュータ・システムにインストール
することによって、コンピュータ・システム上では協働
的作用が発揮され、本発明の第１乃至第３の側面と同様
の作用効果を得ることができる。

【００５２】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００５３】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００５４】まず、本発明の実施に供される画像合成シ
ステム１０の構成について説明する。この画像合成シス
テム１０は、画像の合成や変形処理に特化してデザイン
された専用ハードウェアとして構成することができる、
あるいは、汎用コンピュータ・システム上で画像合成・
変形処理を実行する所定のアプリケーション・プログラ
ムを実行するという形態で画像合成システム１０を具現
することも可能である。

【００５５】図１には、画像合成システム１０のハード
ウェア構成を模式的に示している。以下、各部について
説明する。

【００５６】演算処理部１１は、画像合成システム１０
全体の動作を統括的に制御するメイン・コントローラで
あり、その実体は、画像の合成・変形処理を実行する所
定のアプリケーション・プログラムを起動するＣＰＵ
（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）
である。後述する重み付き画像生成部１１Ａ、画像変形
部１１Ｂ、画像合成部１１Ｃは、例えば演算処理部１１
で実行される処理モジュールとして具現化される。

【００５７】演算処理部１１は、実行プログラム・コー
ドをロードしたり作業データを一時格納するための主メ
モリすなわちＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭ
ｅｍｏｒｙ：図示しない）や、システム１０の電源投入
時自己診断テスト・プログラム（ＰＯＳＴ）や入出力操
作を実行するためのコード群（ＢＩＯＳ）を恒久的に格
納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ：図
示しない）を含んでいてもよい。

【００５８】入力部１２は、ユーザからのコマンド入力
などを受容する装置である。キャラクタ・ベースでコマ
ンド入力を行うキーボードや、座標指示形式でコマンド
入力を行うマウスなどの装置がこれに含まれる。例え
ば、重み付き画像（後述）の重みの修正等は、入力部１
２を介して指示される。

【００５９】表示部１３は、処理画像やコマンド入力の
ためのメニューなど、作業画面をユーザに提示するため
の装置であり、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕ
ｂｅ：冷陰極線管）ディスプレイやＬＣＤ（Ｌｉｑｕｉ
ｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶表示ディス
プレイ）がこれに該当する。

【００６０】カメラ１６は、３次元空間上に実在する物
体を撮像して、電子的な画像データとして取り込むため
の装置であり、カメラ・インターフェース１７を介して
システム１０に接続される。カメラ１６は、中心投影又
は平行投影（後述）のいずれの形式で物体を撮像しても
よい。また、視線方向などが異なる複数の撮像条件下で
同一の撮像対象を撮像して、複数枚の入力画像を得るた
めに、複数基のカメラ１６及びカメラ・インターフェー
ス１７を備えてもよい。あるいは、１基のカメラ１６を
移動させて、同一の撮像対象から複数枚の入力画像を得
るようにしてもよい。撮像画像は、例えば、所定のファ
イル形式（例えば、拡張子”．ｂｍｐ”を持つビットマ
ップ形式）で、外部記憶装置１４に蓄積される。

【００６１】本実施例では、カメラ１６による入力画像
に基づいて３次元の形状計測や色計測などが可能（若し
くは、３次元形状データや色情報が既知）であることを
前提とする。また、画像合成システム１０は、形状計測
や色計測などのための図１に含まれない計測装置を装備
していてもよい。３次元形状測定を行うことで、複数の
計測条件で観測される画像データ及び３次元形状データ
を得ることができる。ここで言う３次元形状データに
は、例えば、３次元位置を持つ複数の頂点からなるポリ
ゴン（多面体）によって表現された形状データ、物体表
面と投影情報の基準点又は面（投影中心や投影スクリー
ンなど）との距離を画像によって表現された形状デー
タ、Ｎｕｒｂｓ曲線やベジエ曲線など制御点によって表
現された形状データなどが含まれる。

【００６２】外部記憶装置１４は、例えば、ハード・デ
ィスク・ドライブ（ＨＤＤ）のような、比較的大容量で
再書き込み可能且つ不揮発の記憶装置のことを指し、デ
ータ・ファイルを蓄積したり、プログラム・ファイルを
インストールするために使用される。データ・ファイル
の例は、カメラ１６によって撮像された画像ファイル
や、３次元幾何情報やテクスチャ・データなどを基にコ
ンピュータ・グラフィックス（ＣＧ）によって描画され
た画像ファイルなどである。また、プログラム・ファイ
ルの例は、演算処理部１１において実行される画像合成
・変形アプリケーションや、ＣＧアプリケーションなど
である。

【００６３】メディア・ドライブ１５は、メディアを装
填して、メディア上にデータを読み書きするための装置
である。ここで言うメディアとして、ＭＯ（Ｍａｇｎｅ
ｔｏ−Ｏｐｔｉｃａｌｄｉｓｃ）、ＣＤ−ＲＯＭ、Ｄ
ＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓ
ｃ）などの、システム１０から着脱自在で可搬型のメデ
ィアが挙げられる。画像データ・ファイルやプログラム
・ファイルは、メディアを媒介として流通され、メディ
ア・ドライブ１５によって外部記憶装置１４にインスト
ールすることができる。また、可搬型メディアを介して
元画像のデータを入手することで、画像合成システム１
０自体は対象物の形状や画像を測定するためのカメラ１
６や形状計測・色計測などの機能を装備する必要がなく
なり、且つ、画像入力作業も省力化される。

【００６４】ネットワーク・インターフェース１８は、
画像合成システム１０をネットワーク接続するための装
置である。ネットワーク上には、複数のコンピュータ・
システム（以下では、「リモート・システム」とも呼
ぶ：図示しない）が存在する。本実施例の画像合成シス
テム１０は、自らが合成及び／又は変形して生成した画
像を、ネットワーク経由でリモート・システムに転送す
ることができる。あるいは、リモート・システムからネ
ットワーク経由で、画像データ・ファイルやプログラム
・ファイルなどの供給を受けることもできる。また、ネ
ットワークを介して元画像のデータを入手することで、
画像合成システム１０自体は対象物の形状や画像を測定
するためのカメラ１６や形状計測・色計測などの機能を
装備する必要がなくなり、且つ、画像入力作業も省力化
される。

【００６５】次に、この画像合成システム１０上で画像
合成・変形処理を実行する場合におけるデータの流れに
ついて、図２を参照しながら説明する。

【００６６】重み付き画像生成部１１Ａは、画素毎に重
みを持った画像を生成する。例えば、重み付け画像生成
部１１Ａは、カメラ１６によって撮像された入力画像に
対して、視線方向などの投影パラメータに従って各画素
毎に重みを算出する。あるいは、ＣＧアプリケーション
などによって描画された３次元ＣＧ画像に対して、物体
の３次元幾何情報などの投影パラメータに従って各画素
毎に重みを算出する。

【００６７】ここで言う「重み」とは、画素が持つ色濃
淡値などのデータの信頼性を反映した値、すなわち信頼
性重みのことであり、他の画像との合成を行うときに
は、対応する画素が互いに持つ色濃度の混ぜ具合に影響
を与える重み付け因子である。信頼性重みの算出方法に
付いては、後に詳解する。

【００６８】重み付き画像生成部１１Ａが出力する重み
付き画像は、記憶部５１に一旦格納される。記憶部５１
の実体は、重み付き画像生成部１１Ａのローカルに配設
された作業メモリであっても、あるいはハード・ディス
ク１４上に割り当てられたファイルであってもよい。

【００６９】画像変形部１１Ｂは、記憶部５１から重み
付き画像を取り出して、変形パラメータに従って画像の
変形を行う。ここで言う「変形パラメータ」とは、重み
付き画像に対する変形を決定可能とするパラメータであ
り、例えばユーザによって、入力部１２を介して入力さ
れる。例えば、図１８に示す例では、仮想カメラによる
撮像方向などの投影パラメータに従って変形パラメータ
が決定する。

【００７０】画像を変形する際には、元画像の各画素毎
の重みに基づいて、変形後画像の各画素毎の信頼性を示
す重みを算出する。図１７に示す例で説明するならば、
変形後の画像Ａ２において目を描画する画素位置は、元
画像Ａ１における画素位置から移動する。そこで、両画
像間の対応関係に従って、元画像Ａ１において目を描画
する画素が持つ信頼性を、変形画像Ａ２において目を描
画する画素に付与する必要がある。また、図１８に示す
例では、元画像Ｂ１においてカメラに正対する面Ｘ及び
斜めの面Ｙの各々が持つ信頼性を、変形画像Ｂ２中で各
々に対応する面を構成する画素に対して付与する。

【００７１】また、画像変形部１１Ｂでは、画像の変形
度合いに応じた各画素の重み、すなわち変形重みも算出
する。変形重みとは、例えば図１７に示す例において、
合成画像Ａ２＋Ｂ２を合成前の変形画像Ａ２又はＢ２の
うちどちらに類似させるかを示す値である。

【００７２】画像変形部１１Ｂは、信頼性を示す「信頼
性重み」と変形度合いを示す「変形重み」という２種類
の重みに基づいて、合成前の画像を構成する各画素毎の
最終的な重みを再計算する。そして、重み付き変形画像
として、記憶部５２に一旦格納される。記憶部５２の実
体は、画像変形部１１Ｂのローカルに配設された作業メ
モリであっても、あるいはハード・ディスク１４上に割
り当てられたファイルであってもよい。

【００７３】画像合成部１１Ｃは、複数の重み付き変形
画像を記憶部５２から取り出して、各画素が持つ重みを
反映した合成処理を行う。合成処理の結果画像は、記憶
部５３に一旦格納される。記憶部５３の実体は、画像合
成部１１Ｃのローカルに配設された作業メモリであって
も、あるいはハード・ディスク１４上に割り当てられた
ファイルであってもよい。

【００７４】なお、記憶部５１，５２，５３は、メモ
リ、ハード・ディスク、ＭＯなど、メディアの形態は問
わないが、ランダム・アクセス可能であることが好まし
い。また、各記憶部５１，５２，５３をそれぞれ独立し
た記憶装置としても、単一の記憶装置上の記憶領域を区
分して使用するようにしてもよい。また、本発明を実現
する上で、記憶部５１，５２，５３の各々を配設する必
要は必ずしもない。例えば、各機能モジュール間で処理
済み画像データを直接転送するようにしてもよい。ある
いは、ネットワークやシステム１０から着脱自在な可搬
型メディアを介してデータの授受を行ってもよい。

【００７５】また、各機能モジュール１１Ａ，１１Ｂ，
１１Ｃは、スタンド・アロンの画像合成システム１０内
に収容されている必要は必ずしもない。例えば、ネット
ワークを介して接続される複数のリモート・システム上
に各機能モジュールが散在していてもよい。

【００７６】図３には、画像合成システム１０において
実行される画像合成処理の手順をフローチャートの形式
で示している。以下、このフローチャートの各ステップ
について説明しておく。

【００７７】まず、ステップＳ１１では、重み付き画像
生成部１１Ａにおいて、重み付き画像を生成する。重み
は、画像を構成する各画素毎に付与される、画素データ
の信頼性を示す値すなわち信頼性重みである。生成され
た重み付き画像は、記憶部５１に一旦格納される（ステ
ップＳ１２）。

【００７８】次いで、画像変形部１１Ｂでは、記憶部５
１から重み付き画像を取り出して、画像の変形と各画素
の重みの再計算を行う（ステップＳ１３）。すなわち、
ユーザにより指定された変形パラメータを用いて画像の
変形を行うとともに、入力画像の各画素との対応関係に
従って、変形後画像中の各画素の信頼性を示す重みを算
出する。さらに、画像合成時に考慮される変形の度合い
を反映した変形重みを算出する。そして、これら２つの
重みを合わせて、変形後画像の各画素についての重みを
再計算する。

【００７９】各画素毎に再計算された重みを持つ変形画
像は、重み付き変形画像として、記憶部５２に一時格納
される（ステップＳ１４）。

【００８０】次いで、画像合成部１１Ｃでは、複数（例
えば２枚）の重み付き変形画像を記憶部５２から取り出
して、各画素の重みを用いて、合成画像の各画素毎の色
濃度値を算出する（ステップＳ１５）。そして、得られ
た結果画像は、記憶部５３に格納される（ステップＳ１
６）。

【００８１】次に、重み付き画像生成部１１Ａについて
詳解する。図４には、重み付き画像生成部１１Ａにおけ
るデータの入出力フローを模式的に示している。以下、
同図を参照しながら説明する。

【００８２】所定の撮像条件に従って、カメラ１６は物
体を撮像する。そして、撮像画像（以下では、「投影画
像」とも言う）を基に形状計測や色計測を行い、物体の
３次元形状データを求める。また、撮像条件から投影パ
ラメータが抽出される。なお、ここで言う３次元形状デ
ータには、例えば、３次元位置を持つ複数の頂点からな
るポリゴン（多面体）によって表現された形状データ、
物体表面と投影情報の基準点又は面（投影中心や投影ス
クリーンなど）との距離を画像によって表現された形状
データ、Ｎｕｒｂｓ曲線やベジエ曲線など制御点によっ
て表現された形状データなどが含まれる。

【００８３】重み付き画像生成部１１Ａには、取得され
た投影画像とともに、３次元形状データと投影パラメー
タが入力される。

【００８４】入力された３次元形状データと投影パラメ
ータは、図示の画像重み算出部２１にそのまま渡され
る。また、投影画像は、投影画像生成部２２（後述）を
経由して、画像重み算出部２１に入力される。

【００８５】画像重み算出部２１では、投影画像内の物
体の３次元形状データと投影パラメータに基づいて、各
画素の色濃度の信頼性を示す重みを算出する。例えば、
カメラと正対した面を描画する画素は信頼性が高い。こ
れに対し、斜めから撮像された面は単位面積当たりの描
画に使用される画素の割合が低く、模様などの表面情報
がつぶれてしまうので信頼性重みは低くなる。但し、信
頼性重みの算出方法の詳細については後述に譲る。

【００８６】ユーザは、画像重み算出部２１が算出した
信頼性重みの変更や、算出されていない画素の重みを、
入力部１２を介して直接入力してもよい。

【００８７】重み付き画像生成部１１Ａへの入力データ
は、各画素毎に色濃度と奥行きを測定でき、さらにカメ
ラの投影パラメータを取り扱うことができる３次元測定
装置（図示しない）を用いることにより、容易に得るこ
とができる。但し、これらの入力データは、必ずしもカ
メラ１６の実写データに基づくものである必要はなく、
メディアやネットワークを介して外部から同種のデータ
が供給されてもよい。

【００８８】図５には、重み付き画像生成部１１Ａにお
いて実行される重み付き画像生成処理の手順をフローチ
ャートの形式で示している。以下、このフローチャート
の各ステップについて説明する。

【００８９】まず、ステップＳ２１では、物体の３次元
形状データ、投影パラメータ、及び、投影画像の入力が
行われる。

【００９０】ここで言う３次元形状データには、例え
ば、３次元位置を持つ複数の頂点からなるポリゴン（多
面体）によって表現された形状データ、物体表面と投影
情報の基準点又は面（投影中心や投影スクリーンなど）
との距離を画像によって表現された形状データ、Ｎｕｒ
ｂｓ曲線やベジエ曲線など制御点によって表現された形
状データなどが含まれる。

【００９１】また、本明細書で言う「投影パラメータ」
とは、３次元物体を画像に投影する諸条件を規定したパ
ラメータのことを指す。物体の投影方法には、「中心投
影」と「平行投影」の２種類があり、投影方法により投
影パラメータは若干異なる。以下、図６を参照しながら
投影パラメータについて説明しておく。

【００９２】中心投影とは、ピンホール・カメラ・モデ
ルを用いた投影方法であり、投影の中心Ｃと３次元物体
表面の点Ｐとを結ぶ直線（「視線」とも言う）と投影ス
クリーンとの交点Ｑに、物体表面の点Ｐの色濃度値を配
置していくことで、物体を投影する。中心投影では、同
じ大きさの物体であっても、カメラの投影中心Ｃに近づ
くにつれ大きな像として投影され、逆に、投影中心Ｃか
ら遠ざかるにつれ小さく投影される。現存するほとんど
のカメラがこの投影モデルで表現され、現実的である。

【００９３】中心投影における投影パラメータは、カメ
ラの投影中心の３次元位置Ｃ、３次元回転行列Ｒによっ
て記述される投影方向、２次元の拡大縮小率を示すスク
リーン画素ピッチ（Ｘ_p，Ｙ_p）及び、投影スクリーン上
での画像の中心と投影軸とのずれを示すスクリーン位置
オフセット（Ｘ_o，Ｙ_o）である。実際のカメラを用いた
撮像画像の場合、レンズ歪みの影響がある。但し、撮像
画像に補正を施すことによりレンズ歪みの影響を除去す
ることは可能であり、且つ、レンズ歪みの問題自体は本
発明の要旨と直接関連しないので、本明細書では考慮し
ないこととする。

【００９４】中心投影の場合、撮像物体表面上の任意の
点Ｐが投影スクリーン上に投影された点Ｑ（Ｘ，Ｙ）の
座標値は、投影パラメータを用いて以下の式によって表
される。

【００９５】

【数１】

【００９６】一方、平行投影は、中心投影法におけるピ
ンホール・カメラの投影中心Ｃを物体から無限遠に設置
したと等価な投影モデルである。この投影方法によれ
ば、同じ大きさの物体であれば、投影スクリーンとの位
置関係によって投影画像の大きさが変化することはな
い。但し、カメラを物体から無限遠に離すという観点か
ら、現実的ではない。

【００９７】平行投影における投影パラメータは、３次
元回転行列Ｒで記述される投影方向、２次元の拡大縮小
率を示すスクリーン画素ピッチ（Ｘ_p，Ｙ_p）及び、投影
スクリーン上での画像の中心と投影軸とのずれを示すス
クリーン位置オフセット（Ｘ_o，Ｙ_o）である。

【００９８】平行投影の場合、撮像物体表面上の任意の
点Ｐが投影スクリーン上に投影された点Ｑ（Ｘ，Ｙ）の
座標値は、投影パラメータを用いて以下の式によって表
される。

【００９９】

【数２】

【０１００】なお、外部記憶装置１４に保管されている
画像、メディアやネットワーク経由で供給された画像を
用いる場合には、この画像を重み付き画像生成部１１Ａ
に入力することで、投影画像と同様に処理される。

【０１０１】再び図５に戻って、重み付き画像生成の処
理手順について説明する。ステップＳ２２では、入力さ
れた投影画像の各画素毎の重みを、３次元形状データと
投影パラメータを基にして算出する。このステップで得
ようとする重みとは、画素の信頼性を示す値、言い換え
れば、投影画像内の色情報から３次元物体表面の色情報
を再現するときの再現性を示す値である。

【０１０２】本実施例では、３次元物体の表面上の一定
面積が投影スクリーン上で占める面積を指標として該物
体表面の信頼性重みを表す算出方法、又は、物体表面の
法線方向と視線方向がどの程度一致しているかを指標と
して該物体表面の信頼性重みを表す算出方法のいずれか
を用いることにしている。以下、これらの方法につい
て、図７を参照しながら説明しておく（同図において、
信頼性重みの算出対象となる物体表面の法線方向を３次
元単位ベクトルＮで表し、カメラの視線方向を３次元単
位ベクトルＶで表し、投影方向を３次元回転ベクトルＲ
で表すこととする。また、投影中心は、中心投影の場合
のみ存在し、３次元位置Ｃで表すこととする。）。

【０１０３】前者の投影スクリーン上の面積を指標とし
て信頼性重みを算出する方法では、視線方向に対する微
小な立体角を用いて、３次元物体の表面上の一定面積が
投影スクリーン上で占める面積を評価する。中心投影と
平行投影の各々の場合における、信頼性重みｗｓの評価
式を、以下に示す。但し、以下の各式において、〈ｘ，
ｙ〉はベクトルｘ及びｙの内積を表すものとする。

【０１０４】

【数３】

【０１０５】

【数４】

【０１０６】また、後者の算出方法では、物体表面の法
線方向と視線方向のなす角θを用いて、物体表面の法線
方向と視線方向がどの程度一致しているかを評価する。
中心投影と平行投影の各々の場合における、信頼性重み
ｗθの評価式を以下に示す。

【０１０７】

【数５】

【０１０８】

【数６】

【０１０９】再び図５に戻って、重み付き画像生成の処
理手順について説明する。ステップＳ２３では、必要に
応じて、ユーザ自らが各画素の重みを入力する。入力操
作は入力部１２を介して行われる。投影画像中の物体の
３次元形状データや投影パラメータが不明な場合や、所
与の３次元形状データと投影パラメータから算出された
重みを修正する必要がある場合には、このステップでユ
ーザ入力が行われる。

【０１１０】最後に、ステップＳ２４において、生成さ
れた重み付き画像が出力され、記憶部５１（前述）に一
時保管される。

【０１１１】さらに、図８には、入力画像が３次元ＣＧ
によって描画された図形モデルである場合などのよう
に、３次元物体の形状と表面の色情報が所定の計算処理
等により完全に分っている場合のデータフローを示して
いる。

【０１１２】この場合、まず、３次元物体の形状データ
や色情報と、投影パラメータが投影画像生成部２２に入
力される。投影画像生成部２２では、指定された投影パ
ラメータに投影されるべき画像を所定の描画処理等によ
って生成して、これを投影画像として、重み付き画像生
成部２１に入力する。

【０１１３】重み付き画像生成部２１では、さらに、３
次元物体の形状データや色情報と、投影パラメータ、画
素重みを入力して、上述と同様の処理により重み付き画
像を生成する。生成された重み付き画像は、記憶部５１
に一旦保管される。

【０１１４】なお、上述した画像重み算出部２１や投影
画像生成部２２の実体は、専用のハードウェア装置であ
る他、演算処理部１１において実行されるプログラム・
コードであってもよい。

【０１１５】次に、画像変形部１１Ｂについて詳解す
る。図９には、画像変形部１１Ｂにおけるデータの入出
力フローを模式的に示している。同図に示すように、画
像変形部１１Ｂは、変形処理部３１と、画像重み再算出
部３２と、変形重み算出部３３という機能モジュールで
構成される。以下、同図を参照しながら説明する。

【０１１６】画像変形部１１Ｂは、重み付き画像生成部
１１Ａによって生成された重み付き画像と、この入力画
像を変形するための変形パラメータと、後の画像合成工
程でこの画像と合成される他の重み付き画像に対する変
形パラメータとを入力に持つ。

【０１１７】変形パラメータは、「変形オフセット」と
「３次元形状＋投影パラメータ」の２種類で構成され
る。変形オフセットとは、変形後の画像が変形前の画像
中の各画素に対してＸＹ各軸方向に何画素分移動するか
を表した２次元パラメータ（Δｘ，Δｙ）である。ま
た、３次元形状＋投影パラメータは、投影画像中に映し
出された物体の３次元形状に関する幾何データ等と、変
形前の画像の投影パラメータ、及び、所望の変形を与え
る投影パラメータとで構成される。

【０１１８】変形処理部３１は、記憶部５１から取り出
した重み付き画像を変形パラメータに応じて画像変形す
る。このとき、変形前後の画像の対応関係に従って、変
形後の重み付き画像の各画素についての信頼性重みを算
出する。

【０１１９】例えば、図１０に示す例では、元画像Ａ１
は、各画素毎に色濃度値を持った画像データと、各画素
毎の重みに関するデータで構成される。同図では、画素
が持つ信頼性重みの値の大小に応じた明暗を付けて表現
している。この元画像Ａ１中の物体は変形オフセット
（Δｘ，Δｙ）だけ移動し、さらに、投影画像中に映し
出された物体の３次元形状に関する幾何データ等と、変
形前の画像の投影パラメータ、及び、所望の変形を与え
る投影パラメータに従って、変形処理が行われる。元画
像Ａ１は、別の投影方向から投影された画像Ａ２に変形
される。このとき、変形前後における画像中の物体の対
応関係に従って、変形画像Ａ２中の各画素についての信
頼性重みが求められる。

【０１２０】変形重み算出部３３は、変形度合いに応じ
た変形重みを算出する。例えば、図１に示す例で、重み
付き変形画像Ａ２を他の重み付き変形画像Ｂ２と合成し
て合成画像（Ａ２＋Ｂ２）を生成する場合、元画像Ａ１
又はＢ１のうちいずれの方により類似した合成画像（Ａ
２＋Ｂ２）を生成するかという変形度合いに応じて、画
像Ａ２に付与すべき変形重みが決定される。

【０１２１】画像重み再算出部３２は、変形処理部３１
によって求められた信頼性重みと、変形重み算出部３３
によって求められた変形重みとを合わせた重みが、各画
素毎に算出される。算出した各画素の重みと変形処理後
の画像からなる重み付き変形画像が、画像変形部１１Ｂ
から出力され、記憶部５２に一時的に保管される。

【０１２２】図１１には、画像変形部１１Ｂにおいて実
行される重み付き画像の変形処理の手順をフローチャー
トの形式で示している。以下、このフローチャートの各
ステップについて説明する。

【０１２３】まず、ステップＳ３１では、変形パラメー
タを用いて、重み付き画像を変形する。重み付き画像の
変形処理ステップＳ３１は、さらに、ステップＳ４１〜
Ｓ４３に細分化される。

【０１２４】ステップＳ４１では、変形後の画像を保存
するための画像領域を確保する。ステップＳ４２では、
変形パラメータを用いて、入力画像と画像領域の対応関
係を求める。次いで、ステップＳ４３では、確保した画
像領域中の各画素の色濃度値と重みを求める。ここで求
められる重みは、各画素の信頼性を示す信頼性重みであ
り、先行ステップＳ４２で求めた対応関係に従って、入
力画像の各画素の重みから求められる。

【０１２５】ステップＳ３２では、変形後の画像の各画
素について変形重みを算出する。変形重みは、変形パラ
メータに依存して算出される。したがって、使用する変
形パラメータが変形オフセットか、又は、３次元形状＋
投影パラメータであるかによって、算出方法が異なる。
さらに、重み付き画像を変形処理するのに用いた変形パ
ラメータと同画像内の物体の３次元形状から変形重みを
計算するか、又は、重み付き画像を変形処理するのに用
いた変形パラメータと他の重み付き画像についての変形
パラメータとの比較によって計算するかによっても、変
形重みの算出方法が異なる。

【０１２６】図１２及び図１３には、変形オフセットを
変形パラメータに用いた場合の変形重みの算出方法を模
式的に図解している。

【０１２７】このうち、図１２は、重み付き画像を変形
処理するのに用いた変形オフセットと同画像内の物体の
３次元形状から変形重みを計算する方法について図解し
ている。この場合、ステップＳ３１において使用した変
形パラメータを用いて変形重みを求める方法としては、
変形前後での面積の縮小率を変形重みとして用いる方法
と、変形オフセットの長さの逆数を変形重みとする方法
の２通りが考えられる。各画素の移動量ｍ＝（Δｘ，Δ
ｙ）とし、変形量のｘｙ各方向の微小成分を夫々、ｄｍ
／ｄｘ＝ｔ（ｘ１，ｙ１）及びｄｍ／ｄｙ＝ｔ（ｘ２，
ｙ２）とすれば、前者の面積縮小率を用いる算出方法で
は、変形重みｗｍは下式によって表される。

【０１２８】

【数７】

【０１２９】また、後者の変形オフセットの長さを用い
る算出方法では、変形重みは下式によって表される。

【０１３０】

【数８】

【０１３１】また、図１３は、画像を変形処理するのに
用いた変形オフセットと他の重み付き画像についての変
形オフセットとの比較によって計算する方法について図
解している。この場合、変形画像の各画素毎に、変形オ
フセットの長さが最小となるものから３個目までの変形
オフセットを探索し、この３個の変形オフセットによっ
て変形処理される画素の重みを、これら変形オフセット
によって構成される図示の３角形の内分比により決定す
る。各変形オフセットによって形成される各３角形の面
積を、図示の通りそれぞれＳ１，Ｓ２，Ｓ３とすると、
それぞれの変形重みｗｍ１，ｗｍ２，２ｍ３は下式のよ
うに表される。

【０１３２】

【数９】

【０１３３】他方、図１４及び図１５には、物体の３次
元形状データ＋投影パラメータを変形パラメータに用い
た場合の変形重みの算出方法を模式的に図解している。

【０１３４】このうち図１４は、重み付き画像を変形処
理するのに用いた変形パラメータと同画像内の物体の３
次元形状から変形重みを計算する方法について図解して
いる。この場合、ステップＳ３１において使用した変形
パラメータを用いて変形重みを求める方法としては、３
次元物体表面上の単位面積がスクリーン上に投影される
面積の減少度合いから変形重みとして用いる方法と、視
線方向の変化から変形重みを求める方法の２通りが考え
られる。前者の算出方法の場合、投影方法によって面積
変化に影響するパラメータが異なる（前述及び図６、図
７を参照のこと）ことから、変形重みの算出方法も相違
する。立体角を用いて考えた場合、変形重みｗｍは、各
投影方法において以下のように表される。

【０１３５】

【数１０】

【０１３６】

【数１１】

【０１３７】また、後者の視線方向の変化から変形重み
を求める方法の場合、元画像の視線方向Ｖ１と所望の変
形を与える視線方向Ｖ２のなす角度をθとし、両方向が
一致する程度をｃｏｓθ又は１／θで表すようにする。
この場合、中心投影、平行投影の各々の投影方法におけ
る変形重みは以下の式で表される。

【０１３８】

【数１２】

【０１３９】

【数１３】

【０１４０】但し、上記の各式において、投影方向Ｖ
１，投影中心Ｃ１，投影方向（回転行列）Ｒ１は夫々、
元画像の投影パラメータであり、また、投影方向Ｖ２，
投影中心Ｃ２，投影方向（回転行列）Ｒ２は夫々、元画
像の変形に用いる投影パラメータである。

【０１４１】また、図１５は、画像を変形処理するのに
用いた変形パラメータと他の重み付き画像についての変
形パラメータとの比較によって計算する方法について図
解している。同図において、変形の結果、変形画像中の
ある１つの画素Ｑｔに移動される各元画像Ａ１，Ａ２，
Ａ３上の対応画素をそれぞれ画素Ｑ１，Ｑ２，Ｑ３とす
る。また、各画素Ｑ１，Ｑ２，Ｑ３に対する視線方向を
それぞれＶ１，Ｖ２，Ｖ３とし、変形画像中の画素Ｑｔ
に対する視線方向をＶｔとする。

【０１４２】図１５に示す例の場合、変形画像の各画素
毎に、所望の変形画像を得るための視線方向に最も近い
視線方向を持つ変形パラメータを３個探索する。そし
て、この３個の変形パラメータによって変形処理される
画素の重みを、視線方向によって構成される図示の３角
形の内分比により変形重みを決定する。各変形オフセッ
トによって形成される３角形の面積を、夫々Ｓ１，Ｓ
２，Ｓ３とすると、夫々の変形重みｗｍ１，ｗｍ２，２
ｍ３は下式のように表される。、視線方向によって形成
される３角形は、図示の通り、単位球面上で、Ｖ１，Ｖ
２，Ｖ３，Ｖｔのうちの２点を通る大円で囲まれる球面
３角形であってもよい。

【０１４３】

【数１４】

【０１４４】再び、図１１に戻って、画像変形の処理手
順について説明する。ステップＳ３３では、ステップＳ
３１で求めた信頼性重みと、ステップＳ３２で求めた変
形重みとから、各画素毎の重みｗを再計算する。

【０１４５】本実施例では、ステップＳ３１で求めた信
頼性重みｗ１（ｗｓ又はｗθ）と、ステップＳ３２で求
めた変形重みｗ２（＝ｗｍ）の積ｗ１×ｗ２を最終的な
画素の重みｗとすることとする。但し、積ではなく、両
重みの和ｗ１＋ｗ２を重みｗとして用いても、本発明は
同様に作用する。

【０１４６】また、ステップＳ３２では視線方向の変化
から変形重みを計算する方法（図１４、［数１２］及び
［数１３］を参照のこと）を採用し、且つ、ステップＳ
３３では重み再計算方法ｗ＝ｗ１×ｗ２を採用した場
合、３次元コンピュータ・グラフィックスの光源計算付
きテクスチャ・マッピング処理を以下のように実行する
ことにより、重みｗの計算処理を高速化することができ
る。

【０１４７】まず、ステップＳ３１で求めた変形画像の
信頼性重みをテクスチャとしてロードする。次いで、変
形画像内の物体の３次元形状を記述したポリゴン・デー
タの面法線を、変形前の各画素への視線方向とする。さ
らに、光源計算処理では、拡散成分のみの演算を行うよ
うに設定して、最大輝度が１．０になるようにする。こ
の結果、光源計算処理で得られる描画色は、［数１２］
及び［数１３］における内積の値となる。

【０１４８】ＯｐｅｎＧＬが用意するＡＰＩ（Ａｐｐｌ
ｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅ
ｒｆａｃｅ）のうち、光源計算の結果の色とテクスチャ
の色とを乗算する処理を行うＧＬＴｅｘｔＥｎｖ（ＧＬ
＿ＴＥＸＴＵＲＥ＿ＥＮＶ＿ＭＯＤＥ，ＧＬ＿ＭＯＤＵ
ＬＡＴＥ）で、テクスチャ・マッピングのモード設定を
行えば、グラフィックス・ライブラリを用いて重みｗの
計算処理を行うことができる。

【０１４９】なお、ＯｐｅｎＧＬは、米シリコン・グラ
フィックス社が定めた２次元及び３次元グラフィックス
用のＡＰＩであり、点、線、多角形などのプリミティブ
の描画のような基本機能から、テクスチャ・マッピング
や多項式の評価に至る広範囲のグラフィックス機能をサ
ポートしている（周知）。

【０１５０】次に、画像合成部１１Ｃにおいて実行され
る画像合成処理について説明する。図１６には、この画
像処理の手順をフローチャートの形式で示している。以
下、このフローチャートの各ステップについて説明す
る。

【０１５１】まず、ステップＳ５１において、結果画像
における画素毎の色濃度値を、合成前の各々の重み付き
画像における色濃度値を基に計算する。この色濃度値計
算は、Ｓ５１Ａ，Ｓ５１Ｂ，及びＳ５１Ｃという３つの
サブステップで構成される。

【０１５２】ステップＳ５１Ａでは、全ての合成前の重
み付き画像における対応画素の重みを加算して、結果画
像における各画素の重みの合計値Σｗを求める。

【０１５３】ステップＳ５１Ｂでは、合成前の重み付き
画像の各々について、各画素の重みｗを合計値Σｗで除
してｂｌｅｎｄ係数αを求め（いわゆる正規化処理であ
る）、その画素の色濃度値をα倍する。

【０１５４】ステップＳ５１Ｃでは、合成前の各重み付
き画像における対応画素のα倍された色濃度値を加算し
て、結果画像における画素の色濃度値とする。

【０１５５】次いで、ステップＳ５２では、算出された
各画素の色濃度値を纏めて、結果画像として出力する。
結果画像は、記憶部５３に一時保管される。

【０１５６】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【０１５７】

【発明の効果】以上詳記したように、本発明によれば、
元画像の各々が持つ信頼性を考慮して良好な合成画像を
生成することができる、優れた画像合成方法、画像合成
装置、及びプログラム提供媒体を提供することができ
る。

【０１５８】また、本発明によれば、元画像中の各画素
毎の信頼性を考慮して良好な合成画像を生成することが
できる、優れた画像合成方法、画像合成装置、及びプロ
グラム提供媒体を提供することができる。

【０１５９】本発明に係る画像合成処理によれば、画像
の各画素に対する信頼性の評価を行い、各画素毎の重み
を算出することができる。また、画像を変形したときの
変形度合いの評価を行い、変形度合いに応じた画素毎の
重みを算出することができる。

【０１６０】さらに、本発明に係る画像合成処理によれ
ば、複数の画像を変形し、各画像における画素単位での
信頼性を示す信頼性重みと、変形度合いに応じた変形重
みの双方に反映した合成画像を得ることができる。

【０１６１】本発明により、従来は考慮されていなかっ
た画素毎の信頼性を反映しながら、画像に変形を加えて
合成する画像合成処理が可能となる。したがって、カメ
ラに正対していないためにつぶれてしまった模様など、
信頼性の低い画素の合成画像への悪影響を低く抑えるこ
とができ、良好な結果画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を実現するのに適した画像合成装置１０
のハードウェア構成を模式的に示した図である。

【図２】画像合成システム１０上で画像合成・変形処理
を実行する場合におけるデータの流れを模式的に示した
図である。

【図３】画像合成システム１０において実行される画像
合成処理の手順を示したフローチャートである。

【図４】重み付き画像生成部１１Ａにおけるデータの入
出力フローを模式的に示した図である。

【図５】重み付き画像生成部１１Ａにおいて実行される
重み付き画像生成処理の手順を示すフローチャートであ
る。

【図６】中心投影、平行投影の各々の投影方法における
投影パラメータを図解したものである。

【図７】信頼性重みを算出する方法を図解したものであ
る。

【図８】３次元ＣＧモデルのように、物体の３次元形状
と投影パラメータが計算などにより完全に分っている場
合における、重み付き画像生成部１１Ａにおけるデータ
の入出力フローを模式的に示した図である。

【図９】画像変形部１１Ｂにおけるデータの入出力フロ
ーを模式的に示した図である。

【図１０】変形パラメータに応じて、元の重み付き画像
Ａ１が変形処理されて、重み付き変形画像Ａ２が得られ
る様子を模式的に示した図である。

【図１１】画像変形部１１Ｂにおいて実行される重み付
き画像の変形処理の手順を示したフローチャートであ
る。

【図１２】変形後画像の各画素についての変形重みを算
出する方法を模式的に図解したものであり、より具体的
には、変形オフセットを変形パラメータに用いた場合に
おいて、重み付き画像を変形処理するのに用いた変形オ
フセットと同画像内の物体の３次元形状に基づいて変形
重みを計算する方法を模式的に図解したものである。

【図１３】変形後画像の各画素についての変形重みを算
出する方法を模式的に図解したものであり、より具体的
には、変形オフセットを変形パラメータに用いた場合に
おいて、画像を変形処理するのに用いた変形オフセット
と他の重み付き画像についての変形オフセットとの比較
によって計算する方法を模式的に図解したものである。

【図１４】変形後画像の各画素についての変形重みを算
出する方法を模式的に図解したものであり、より具体的
には、３次元形状データ＋投影パラメータを変形パラメ
ータに用いた場合において、重み付き画像を変形処理す
るのに用いた変形パラメータと同画像内の物体の３次元
形状に基づいて変形重みを計算する方法を模式的に図解
したものである。

【図１５】変形後画像の各画素についての変形重みを算
出する方法を模式的に図解したものであり、より具体的
には、３次元形状データ＋投影パラメータを変形パラメ
ータに用いた場合において、画像を変形処理するのに用
いた変形パラメータと他の重み付き画像についての変形
パラメータとの比較によって計算する方法を模式的に図
解したものである。

【図１６】画像合成部１１Ｃにおいて実行される画像合
成処理の手順を示したフローチャートである。

【図１７】Ｍｏｒｐｈｉｎｇ処理の手順を模式的に図解
したものである。

【図１８】Ｍｏｒｐｈｉｎｇ処理の手順を模式的に図解
したものである。

【符号の説明】

１０…画像合成システム１１…演算処理部１２…入力部１３…表示部１４…外部記憶装置１５…メディア・ドライブ１６…カメラ１７…カメラ・インターフェース１８…ネットワーク・インターフェース２１…画像重み算出部２２…投影画像生成部３１…変形処理部３２…画像重み再算出部３３…変形重み算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者戸塚卓志東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者浅利直介東京都品川区東五反田１丁目14番10号株式会社ソニー木原研究所内Ｆターム(参考） 5B050 BA09 BA18 EA07 EA13 EA19 EA28 FA02 5B057 CD11 CE08 DA16 DC03 DC04 DC08 5B080 AA01 AA06 AA13 FA08 5C076 AA11 AA12 AA23 AA26 BA06

Claims

【特許請求の範囲】

【請求項１】２以上の画像を合成して新しい画像を生
成する画像合成方法であって、複数の重み付き画像を生成する重み付き画像生成ステッ
プと、生成された複数の重み付き画像を変形して重み付き変形
画像を生成するとともに、変形度合いに応じて重みを再
計算する画像変形ステップと、再計算された重みに従って複数の重み付き変形画像どう
しを合成する画像合成ステップと、を具備することを特
徴とする画像合成方法。
【請求項２】前記重み付き画像生成ステップは、画素
が持つデータの信頼性に従って画素毎に信頼性重みを与
えるサブステップを含むことを特徴とする請求項１に記
載の重み付き画像合成方法。
【請求項３】前記重み付き画像生成ステップは、元画
像を入力するサブステップと、元画像中の各画素が持つ
データの信頼性に従って画素毎に信頼性重みを与えるサ
ブステップを含むことを特徴とする請求項１に記載の重
み付き画像合成方法。
【請求項４】前記重み付き画像生成ステップは、元画
像中に含まれる物体の３次元形状データと投影パラメー
タに基づいて各画素の信頼性を求め、画素毎に信頼性重
みを与えるサブステップを含むことを特徴とする請求項
１に記載の重み付き画像合成方法。
【請求項５】元画像が平行投影に従った投影画像を含
む場合は、投影方向、投影スクリーンの中心位置の３次
元座標、投影スクリーン上の投影画像の縦横方向とピク
セル解像度からなる投影パラメータを用い、元画像が中
心投影に従った投影画像を含む場合は、投影中心の３次
元座標、投影方向、投影スクリーンと投影中心との距
離、投影スクリーン上の投影画像の縦横方向とピクセル
解像度、画像の中心位置からなる投影パラメータを用い
ることを特徴とする請求項４に記載の画像合成方法。
【請求項６】前記３次元形状データは、３次元位置を持つ複数の頂点からなるポリゴン（多面
体）によって表現された形状データ、物体表面と投影情報の基準点又は面（投影中心や投影ス
クリーンなど）との距離を画像によって表現された形状
データ、又は、制御点によって表現された形状データのいずれかである
ことを特徴とする請求項４に記載の画像合成方法。
【請求項７】前記の画素毎に信頼性重みを与えるサブ
ステップは、３次元物体表面上の単位面積が投影スクリ
ーン上に投影された面積、又は、３次元物体表面の法線
方向と視線方向の一致度合いのいずれかに基づいて信頼
性重みを評価することを特徴とする請求項４に記載の画
像合成方法。
【請求項８】前記画像変形ステップは、外部入力された変形パラメータを用いて重み付き画像を
変形するサブステップと、変形パラメータが表す変形度合いに応じて、変形処理後
の重み付き画像の各画素が持つ変形重みを算出するサブ
ステップと、生成時の重み付き画像が持つ重みと算出された変形重み
とから、変形処理後の重み付き画像の各画素についての
重みを再計算するサブステップと、を含むことを特徴と
する請求項１に記載の画像合成方法。
【請求項９】変形パラメータとして、重み付き画像の変形処理時における各画素の移動量（Δ
ｘ，Δｙ）を記述した変形オフセット、又は、重み付き画像生成時の投影パラメータと投影画像内の物
体の３次元形状と所望の変形画像を得るための投影パラ
メータ、のうちいずれか一方を用いることを特徴とする
請求項８に記載の画像合成方法。
【請求項１０】前記の変形重みを算出するサブステッ
プは、変形処理される重み付き画像に対する変形パラメ
ータの他に、前記の重み付き画像生成ステップで生成さ
れた他の重み付き画像に対する変形パラメータを使用す
ることを特徴とする請求項８に記載の画像合成方法。
【請求項１１】前記の変形重みを算出するサブステッ
プは、変形オフセットを変形パラメータとして用い、且
つ、以下のいずれかの値により各画素の変形度合いを評
価して変形重みを付与することを特徴とする請求項８に
記載の画像合成方法。（１）変形前後での面積の減少量（２）変形オフセットの長さの逆数（３）他の重み付き画像に対する変形パラメータを用い
る場合は、変形オフセットを最短のものから３つ選択
し、該３つに入らなければ重みをゼロとし、入れば該３
つの変形オフセットで形成される３角形の内分比
【請求項１２】前記の変形重みを算出するサブステッ
プは、投影画像内の物体の３次元形状と投影パラメータ
を変形パラメータとして用い、且つ、以下のいずれかの
値により各画素の変形度合いを評価して変形重みを付与
することを特徴とする請求項８に記載の画像合成方法。（１）変形前後での面積の減少量（２）視線方向の一致度合い（３）他の重み付き画像に対する変形パラメータを用い
る場合は、視線方向の一致度合いが高いのものから３つ
選択し、該３つに入らなければ重みをゼロとし、入れば
該３つの視線方向で形成される３角形若しくは球面３角
形の内分比
【請求項１３】前記の各画素についての重みを再計算
するサブステップは、変形処理後の重み付き画像におけ
る各画素の重みと、前記の変形重みを算出するサブステ
ップで算出された変形重みとを積算又は合算することに
より各画素の重みを再計算することを特徴とする請求項
８に記載の画像合成方法。
【請求項１４】前記画像合成ステップは、変形処理後
の複数の重み付き画像を入力して、各画像上で同じ位置
の画素の色濃度値を重み付き平均処理して、該平均値を
結果画像上の同一位置の画素における色濃度値とするこ
とにより合成処理することを特徴とする請求項１に記載
の画像合成方法。
【請求項１５】２以上の画像を合成して新しい画像を
生成する画像合成方法であって、（ａ）２以上の元画像
を取得するステップと、（ｂ）元画像の各々に対して、
各画素が持つデータの信頼性に従って画素毎に信頼性重
みを与えるステップと、（ｃ）元画像の各々に対して、
変形度合いに従って変形重みを計算するステップと、
（ｄ）信頼性重み及び変形重みに基づいて画素毎の重み
を再計算するステップと、（ｅ）再計算された画素毎の
重みに従って各画像を合成するステップと、を具備する
ことを特徴とする画像合成方法。
【請求項１６】２以上の画像を合成して新しい画像を
生成する画像合成方法であって、各元画像に対して、画素が持つデータの信頼性に従って
画素毎に信頼性重みを与えるステップと、各画素の信頼性重みを考慮しながら、元画像どうしを合
成するステップと、を含むことを特徴とする画像合成方
法。
【請求項１７】２以上の画像を合成して新しい画像を
生成する画像合成装置であって、複数の重み付き画像を生成する重み付き画像生成手段
と、生成された複数の重み付き画像を変形して重み付き変形
画像を生成するとともに、変形度合いに応じて重みを再
計算する画像変形手段と、再計算された重みに従って複数の重み付き変形画像どう
しを合成する画像合成手段と、を具備することを特徴と
する画像合成装置。
【請求項１８】前記重み付き画像生成手段は、画素が
持つデータの信頼性に従って画素毎に信頼性重みを与え
ることを特徴とする請求項１７に記載の重み付き画像合
成装置。
【請求項１９】前記重み付き画像生成手段は、元画像
を入力する手段と、元画像中の各画素が持つデータの信
頼性に従って画素毎に信頼性重みを与える手段を含むこ
とを特徴とする請求項１７に記載の重み付き画像合成装
置。
【請求項２０】前記重み付き画像生成手段は、元画像
中に含まれる物体の３次元形状データと投影パラメータ
に基づいて各画素の信頼性を求め、画素毎に信頼性重み
を与える手段を含むことを特徴とする請求項１７に記載
の重み付き画像合成装置。
【請求項２１】元画像が平行投影に従った投影画像を
含む場合は、投影方向、投影スクリーンの中心位置の３
次元座標、投影スクリーン上の投影画像の縦横方向とピ
クセル解像度からなる投影パラメータを用い、元画像が
中心投影に従った投影画像を含む場合は、投影中心の３
次元座標、投影方向、投影スクリーンと投影中心との距
離、投影スクリーン上の投影画像の縦横方向とピクセル
解像度、画像の中心位置からなる投影パラメータを用い
ることを特徴とする請求項２０に記載の画像合成装置。
【請求項２２】前記３次元形状データは、３次元位置を持つ複数の頂点からなるポリゴン（多面
体）によって表現された形状データ、物体表面と投影情報の基準点又は面（投影中心や投影ス
クリーンなど）との距離を画像によって表現された形状
データ、又は、制御点によって表現された形状データのいずれかである
ことを特徴とする請求項２０に記載の画像合成装置。
【請求項２３】前記の画素毎に信頼性重みを与える手
段は、３次元物体表面上の単位面積が投影スクリーン上
に投影された面積、又は、３次元物体表面の法線方向と
視線方向の一致度合いのいずれかに基づいて信頼性重み
を評価することを特徴とする請求項２０に記載の画像合
成装置。
【請求項２４】前記画像変形手段は、外部入力された変形パラメータを用いて重み付き画像を
変形する手段と、変形パラメータが表す変形度合いに応じて、変形処理後
の重み付き画像の各画素が持つ変形重みを算出する手段
と、生成時の重み付き画像が持つ重みと算出された変形重み
とから、変形処理後の重み付き画像の各画素についての
重みを再計算する手段と、を含むことを特徴とする請求
項１７に記載の画像合成装置。
【請求項２５】変形パラメータとして、重み付き画像の変形処理時における各画素の移動量（Δ
ｘ，Δｙ）を記述した変形オフセット、又は、重み付き画像生成時の投影パラメータと投影画像内の物
体の３次元形状と所望の変形画像を得るための投影パラ
メータ、のうちいずれか一方を用いることを特徴とする
請求項２４に記載の画像合成装置。
【請求項２６】前記の変形重みを算出する手段は、変
形処理される重み付き画像に対する変形パラメータの他
に、前記の重み付き画像生成ステップで生成された他の
重み付き画像に対する変形パラメータを使用することを
特徴とする請求項２４に記載の画像合成装置。
【請求項２７】前記の変形重みを算出する手段は、変
形オフセットを変形パラメータとして用い、且つ、以下
のいずれかの値により各画素の変形度合いを評価して変
形重みを付与することを特徴とする請求項２４に記載の
画像合成装置。（１）変形前後での面積の減少量（２）変形オフセットの長さの逆数（３）他の重み付き画像に対する変形パラメータを用い
る場合は、変形オフセットを最短のものから３つ選択
し、該３つに入らなければ重みをゼロとし、入れば該３
つの変形オフセットで形成される３角形の内分比
【請求項２８】前記の変形重みを算出する手段は、投
影画像内の物体の３次元形状と投影パラメータを変形パ
ラメータとして用い、且つ、以下のいずれかの値により
各画素の変形度合いを評価して変形重みを付与すること
を特徴とする請求項２４に記載の画像合成装置。（１）変形前後での面積の減少量（２）視線方向の一致度合い（３）他の重み付き画像に対する変形パラメータを用い
る場合は、視線方向の一致度合いが高いのものから３つ
選択し、該３つに入らなければ重みをゼロとし、入れば
該３つの視線方向で形成される３角形若しくは球面３角
形の内分比
【請求項２９】前記の各画素についての重みを再計算
する手段は、変形処理後の重み付き画像における各画素
の重みと、前記の変形重みを算出する手段で算出された
変形重みとを積算又は合算することにより各画素の重み
を再計算することを特徴とする請求項２４に記載の画像
合成装置。
【請求項３０】前記画像合成手段は、変形処理後の複
数の重み付き画像を入力して、各画像上で同じ位置の画
素の色濃度値を重み付き平均処理して、該平均値を結果
画像上の同一位置の画素における色濃度値とすることに
より合成処理することを特徴とする請求項１７に記載の
画像合成装置。
【請求項３１】２以上の画像を合成して新しい画像を
生成する画像合成装置であって、（ａ）２以上の元画像
を取得する手段と、（ｂ）元画像の各々に対して、各画
素が持つデータの信頼性に従って画素毎に信頼性重みを
与える手段と、（ｃ）元画像の各々に対して、変形度合
いに従って変形重みを計算する手段と、（ｄ）信頼性重
み及び変形重みに基づいて画素毎の重みを再計算する手
段と、（ｅ）再計算された画素毎の重みに従って各画像
を合成する手段と、を具備することを特徴とする画像合
成装置。
【請求項３２】２以上の画像を合成して新しい画像を
生成する画像合成装置であって、各元画像に対して、画素が持つデータの信頼性に従って
画素毎に信頼性重みを与える手段と、各画素の信頼性重みを考慮しながら、元画像どうしを合
成する手段と、を含むことを特徴とする画像合成装置。
【請求項３３】２以上の画像を合成して新しい画像を
生成するための処理をコンピュータ・システム上で実行
せしめるコンピュータ・プログラムを有形的且つコンピ
ュータ可読な形式で提供するプログラム提供媒体であっ
て、前記コンピュータ・プログラムは、複数の重み付き画像を生成する重み付き画像生成ステッ
プと、生成された複数の重み付き画像を変形して重み付き変形
画像を生成するとともに、変形度合いに応じて重みを再
計算する画像変形ステップと、再計算された重みに従って複数の重み付き変形画像どう
しを合成する画像合成ステップと、を具備することを特
徴とするプログラム提供媒体。
【請求項３４】前記重み付き画像生成ステップは、画
素が持つデータの信頼性に従って画素毎に信頼性重みを
与えるサブステップを含むことを特徴とする請求項３３
に記載のプログラム提供媒体。
【請求項３５】２以上の画像を合成して新しい画像を
生成するための処理をコンピュータ・システム上で実行
せしめるコンピュータ・プログラムを有形的且つコンピ
ュータ可読な形式で提供するプログラム提供媒体であっ
て、前記コンピュータ・プログラムは、（ａ）２以上の
元画像を取得するステップと、（ｂ）元画像の各々に対
して、各画素が持つデータの信頼性に従って画素毎に信
頼性重みを与えるステップと、（ｃ）元画像の各々に対
して、変形度合いに従って変形重みを計算するステップ
と、（ｄ）信頼性重み及び変形重みに基づいて画素毎の
重みを再計算するステップと、（ｅ）再計算された画素
毎の重みに従って各画像を合成するステップと、を具備
することを特徴とするプログラム提供媒体。
【請求項３６】２以上の画像を合成して新しい画像を
生成するための処理をコンピュータ・システム上で実行
せしめるコンピュータ・プログラムを有形的且つコンピ
ュータ可読な形式で提供するプログラム提供媒体であっ
て、前記コンピュータ・プログラムは、各元画像に対して、画素が持つデータの信頼性に従って
画素毎に信頼性重みを与えるステップと、各画素の信頼性重みを考慮しながら、元画像どうしを合
成するステップと、を含むことを特徴とするプログラム
提供媒体。