JP2000201298A - 画像処理装置および画像処理方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 実際に撮影された実写画像とＣＧ（Computer
Graphics）画像とを合成して、自然な合成画像を生成
する。 【解決手段】 ステップＳ１において、実写画像を構成
する各画素に表示された物体の点までの距離に関する距
離情報でなる実写距離画像と、ＣＧ画像を構成する各画
素に表示された物体の点までの距離に関する距離情報で
なるＣＧ距離画像とが、各画素ごとに比較され、その比
較結果を表す距離比較画像が生成される。さらに、ステ
ップＳ２において、その距離比較画像に基づいて、実写
画像を構成する画素のうち、ＣＧ画像を構成する画素よ
りも手前にある画素である前景画素が検出され、前景画
素のα値が、その前景画素についての距離情報に基づい
て求められる。そして、ステップＳ３において、実写画
像とＣＧ画像とが、前景画素のα値に基づいて合成され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに提供媒体に関し、特に、例え
ば、実際に撮影された画像と、３次元ＣＧ（Computer G
raphics）とを合成して、自然な合成画像を生成するこ
とができるようにする画像処理装置および画像処理方
法、並びに提供媒体に関する。

【０００２】

【従来の技術】近年、カメラ（ビデオカメラ）によって
被写体を撮像することにより得られる画像（以下、適
宜、実写画像という）と、３次元ＣＧ（以下、適宜、Ｃ
Ｇ画像という）とを合成した合成画像を生成する方法と
して、実写画像を構成する各画素に表示された物体の点
までの距離に関する距離情報でなる距離画像（以下、適
宜、実写距離画像という）を用いたものが考えられてい
る。

【０００３】即ち、ＣＧ画像（３次元ＣＧ）を表示する
ためのデータには、一般に、各画素に表示された点まで
の距離に関する距離情報（例えば、いわゆるＺ値）が含
まれており、いま、ＣＧ画像を構成する各画素について
の距離情報を画素値として構成される距離画像を、ＣＧ
距離画像というものとすると、実写距離画像とＣＧ距離
画像とを、画素ごとに比較し、これにより、実写画像の
各画素（に表示された対象物上の点）と、ＣＧ画像の各
画素（に表示された対象物上の点）との前後関係を認識
する。そして、実写画像とＣＧ画像のうち、手前にある
（カメラ側にある）方の画素を、合成画像の画素とす
る。その結果、合成画像においては、実写画像の画素と
ＣＧ画像の画素のうち、手前にある方の画素のみが表示
される（奥側にある画素は隠れた状態となる）。

【０００４】このような手法によれば、ＣＧ画像として
の家の中を、実写画像としての人物が歩き回っている様
子を表示した合成画像や、実写画像としての人と壁との
間の空間を、ＣＧ画像としての飛行機が通過している様
子を表示した合成画像などを容易に得ることが可能とな
る。

【０００５】なお、実写画像どうしの合成も、上述のよ
うな実写画像とＣＧ画像とを合成する場合と同様にして
行うことができる。

【０００６】ここで、距離画像（実写距離画像、ＣＧ距
離画像）を構成する各画素（画素値）は、その画素に表
示された物体の点までの、カメラからの距離を表し、例
えば、手前にある画素は大きな値に、奥側にある画素は
小さな値とされる。この場合、距離画像においては、手
前にある物体は明るく表示され（輝度が高くされ）、奥
側にある物体は暗く表示される（輝度が低くされる）。

【０００７】一方、画像の合成方法としては、従来よ
り、例えば、クロマキーを用いた手法が知られている
が、このクロマキーを用いた手法を、２次元的合成手法
というものとすると、上述の距離画像を用いる手法は、
３次元的合成手法ということができる。

【０００８】即ち、クロマキーを用いた手法では、距離
画像のような奥行き方向に関する情報が存在しないた
め、あらかじめ合成しようとする複数の画像を、手前ま
たは奥側からの順番に並べて、第１のレイヤの画像、第
２のレイヤの画像、・・・とし、そのレイヤの順番にし
たがって、合成画像に表示される画素が決定される。従
って、例えば、上述したような実写画像としての人と壁
との間の空間を、ＣＧ画像としての飛行機が通過してい
る様子を表示した合成画像を生成する場合においては、
人の実写画像、壁の実写画像、および飛行機のＣＧ画像
の３枚の画像を用意し、人の実写画像、飛行機のＣＧ画
像、壁の実写画像のように、手前から並ぶ順番でレイヤ
に分けて合成する必要がある。

【０００９】これに対して、距離画像を用いる手法によ
れば、その距離画像によって、合成対象の画像につい
て、１画素ごとの前後関係を認識することができること
から、実写画像としての人と壁との間の空間を、ＣＧ画
像としての飛行機が通過している様子を表示した合成画
像を生成する場合においては、人と壁が表示された実写
画像と、飛行機のＣＧ画像との２枚の画像を用意すれば
良く、また、画像をレイヤに分けて、その順序を考慮す
る必要がない。

【００１０】

【発明が解決しようとする課題】しかしながら、距離画
像を用いる場合には、合成対象の２枚の画像について、
画素ごとに前後関係を認識して、手前にある方の画素
を、合成画像を構成する画素として採用することから、
画素単位での合成しか行うことができない。このため、
２枚の画像の前後関係が入れ替わる物体の境界部分（い
わゆるエッジ）では、ジャギー（エイリアシング）が発
生する。

【００１１】ところで、画像の合成手法としては、その
合成の対象となる前景の画像（前景画像）を構成する各
画素ごとに設定されたα（アルファ）値を用いる手法
も、従来より知られている。

【００１２】即ち、α値は、例えば、０乃至１の範囲の
値によって、前景画像の各画素の不透明度を表すもの
で、一般に、０のα値は、前景画像の画素が、完全に透
明な状態に対応し（従って、合成画像においては、前景
画像の画素は表示されず、背景の画像（背景画像）の画
素のみが表示される）、１のα値は、前景画像の画素
が、完全に不透明な状態に対応する（従って、合成画像
において、前景画像の画素のみが表示される）。また、
０より大きく、１より小さいα値は、前景画像の画素
が、半透明な状態に対応する（従って、合成画像におい
て、前景画像の画素と、背景画像の画素とを、α値にし
たがって混合したものが表示される）。

【００１３】いま、左からｉ＋１番目で、上からｊ＋１
番目の前景画像または背景画像の画素を、それぞれF[i,
j]またはB[i,j]とそれぞれ表し、また、画素F[i,j]のα
値を、α[i,j]と表すと、それらを合成して得られる合
成画像C[i,j]は、次式で表される。

【００１４】 C[i,j]=α[i,j]F[i,j]＋(1-α[i,j])B[i,j] ・・・（１）

【００１５】従って、例えば、ＣＧ画像を前景画像とす
るとともに、実写画像を背景画像として、そのＣＧ画像
と実写画像との合成を行う場合においては、例えば、Ｃ
Ｇ画像を構成する各画素についてα値を用意しておき、
式（１）にしたがって、合成を行うことで、例えば、Ｃ
Ｇ画像に表示されたガラスや水などの半透明の物体を通
して、実写画像に表示された人物が見えているような合
成画像を生成することができる。

【００１６】以上のようなα値は、また、ＣＧ画像に生
じるジャギーを低減するアンチエイリアシングにも利用
される。

【００１７】即ち、ＣＧ画像のレンダリングは、１画素
単位で行われ、また、α値は、物体の内部側の画素では
１となり、外部側の画素では０となる。このため、α値
が０の部分と、１の部分との境界部分（従って、物体の
境界部分）では、画素単位で、前景画像である物体と、
背景画像とが、いわばギザギザに切り分けられた状態の
ジャギーが生じる。そこで、各画素のα値を、その周辺
の画素のα値の、例えば平均値などにするようなアンチ
エイリアシングが行われる。

【００１８】この場合、物体の境界から離れた内部側の
画素の、値が１のα値は、その周辺の画素のα値も１で
あるから、アンチエイリアシングによって、その値は変
化しない。同様に、物体の境界から離れた外部側の画素
の、値が０のα値も、アンチエイリアシングによって、
その値は変化しない。一方、物体の境界部分の画素の、
値が１のα値は、その周辺の、値が０のα値の影響によ
り、１より小さい値となる。その結果、物体の境界部分
は、前景画像である物体と、背景画像とが混合されるこ
とによりぼかされ、これにより、前景画像から背景画像
への変化が滑らかになり、ジャギーが低減される。

【００１９】そこで、距離画像を用いて合成を行う場合
も、α値を利用してアンチエイリアシングを行うことに
より、ジャギーを低減することが考えられる。しかしな
がら、実写画像では、それを構成する画素についてのα
値がすべて１であり、そのα値をそのまま用いてジャギ
ーを低減することは困難であった。

【００２０】本発明は、このような状況に鑑みてなされ
たものであり、距離画像を用いて画像の合成を行う場合
に生じるジャギーを低減することができるようにするも
のである。

【００２１】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、第１の画像を構成する各画素に表示された物
体の点までの距離に関する距離情報でなる第１の距離画
像と、第２の画像を構成する各画素に表示された物体の
点までの距離に関する距離情報でなる第２の距離画像と
を、各画素ごとに比較し、その比較結果を表す距離比較
画像を生成する距離比較画像生成手段と、距離比較画像
に基づいて、第１の画像を構成する画素のうち、第２の
画像を構成する画素よりも手前にある画素である前景画
素を検出し、前景画素の不透明度情報を、その前景画素
についての距離情報に基づいて求める不透明度情報算出
手段とを備えることを特徴とする。

【００２２】請求項７に記載の画像処理方法は、第１の
画像を構成する各画素に表示された物体の点までの距離
に関する距離情報でなる第１の距離画像と、第２の画像
を構成する各画素に表示された物体の点までの距離に関
する距離情報でなる第２の距離画像とを、各画素ごとに
比較して、その比較結果を表す距離比較画像を生成し、
距離比較画像に基づいて、第１の画像を構成する画素の
うち、第２の画像を構成する画素よりも手前にある画素
である前景画素を検出して、前景画素の不透明度情報
を、その前景画素についての距離情報に基づいて求める
ことを特徴とする。

【００２３】請求項８に記載の提供媒体は、第１の画像
を構成する各画素に表示された物体の点までの距離に関
する距離情報でなる第１の距離画像と、第２の画像を構
成する各画素に表示された物体の点までの距離に関する
距離情報でなる第２の距離画像とを、各画素ごとに比較
して、その比較結果を表す距離比較画像を生成し、距離
比較画像に基づいて、第１の画像を構成する画素のう
ち、第２の画像を構成する画素よりも手前にある画素で
ある前景画素を検出して、前景画素の不透明度情報を、
その前景画素についての距離情報に基づいて求める処理
を情報処理装置に行わせるための制御情報を提供するこ
とを特徴とする。

【００２４】請求項９に記載の提供媒体は、第１の画像
を構成する各画素に表示された物体の点までの距離に関
する距離情報でなる第１の距離画像と、第２の画像を構
成する各画素に表示された物体の点までの距離に関する
距離情報でなる第２の距離画像とを、各画素ごとに比較
して、その比較結果を表す距離比較画像を生成し、距離
比較画像に基づいて、第１の画像を構成する画素のう
ち、第２の画像を構成する画素よりも手前にある画素で
ある前景画素を検出して、前景画素の不透明度情報を、
その前景画素についての距離情報に基づいて求めること
により得られる不透明度情報を、少なくとも含むデータ
を提供することを特徴とする。

【００２５】請求項１に記載の画像処理装置において
は、距離比較画像生成手段は、第１の画像を構成する各
画素に表示された物体の点までの距離に関する距離情報
でなる第１の距離画像と、第２の画像を構成する各画素
に表示された物体の点までの距離に関する距離情報でな
る第２の距離画像とを、各画素ごとに比較し、その比較
結果を表す距離比較画像を生成するようになされてい
る。不透明度情報算出手段は、距離比較画像に基づい
て、第１の画像を構成する画素のうち、第２の画像を構
成する画素よりも手前にある画素である前景画素を検出
し、前景画素の不透明度情報を、その前景画素について
の距離情報に基づいて求めるようになされている。

【００２６】請求項７に記載の画像処理方法において
は、第１の画像を構成する各画素に表示された物体の点
までの距離に関する距離情報でなる第１の距離画像と、
第２の画像を構成する各画素に表示された物体の点まで
の距離に関する距離情報でなる第２の距離画像とを、各
画素ごとに比較して、その比較結果を表す距離比較画像
を生成し、距離比較画像に基づいて、第１の画像を構成
する画素のうち、第２の画像を構成する画素よりも手前
にある画素である前景画素を検出して、前景画素の不透
明度情報を、その前景画素についての距離情報に基づい
て求めるようになされている。

【００２７】請求項８に記載の提供媒体においては、第
１の画像を構成する各画素に表示された物体の点までの
距離に関する距離情報でなる第１の距離画像と、第２の
画像を構成する各画素に表示された物体の点までの距離
に関する距離情報でなる第２の距離画像とを、各画素ご
とに比較して、その比較結果を表す距離比較画像を生成
し、距離比較画像に基づいて、第１の画像を構成する画
素のうち、第２の画像を構成する画素よりも手前にある
画素である前景画素を検出して、前景画素の不透明度情
報を、その前景画素についての距離情報に基づいて求め
る処理を情報処理装置に行わせるための制御情報を提供
するようになされている。

【００２８】請求項９に記載の提供媒体においては、第
１の画像を構成する各画素に表示された物体の点までの
距離に関する距離情報でなる第１の距離画像と、第２の
画像を構成する各画素に表示された物体の点までの距離
に関する距離情報でなる第２の距離画像とを、各画素ご
とに比較して、その比較結果を表す距離比較画像を生成
し、距離比較画像に基づいて、第１の画像を構成する画
素のうち、第２の画像を構成する画素よりも手前にある
画素である前景画素を検出して、前景画素の不透明度情
報を、その前景画素についての距離情報に基づいて求め
ることにより得られる不透明度情報を、少なくとも含む
データを提供するようになされている。

【００２９】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００３０】即ち、請求項１に記載の画像処理装置は、
第１の画像と第２の画像とを合成して合成画像を生成す
る際に用いる、第１の画像を構成する各画素の不透明度
を表す不透明度情報を求める画像処理装置であって、第
１の画像を構成する各画素に表示された物体の点までの
距離に関する距離情報でなる第１の距離画像と、第２の
画像を構成する各画素に表示された物体の点までの距離
に関する距離情報でなる第２の距離画像とを、各画素ご
とに比較し、その比較結果を表す距離比較画像を生成す
る距離比較画像生成手段（例えば、図３に示すプログラ
ムの処理ステップＳ１など）と、距離比較画像に基づい
て、第１の画像を構成する画素のうち、第２の画像を構
成する画素よりも手前にある画素である前景画素を検出
し、前景画素の不透明度情報を、その前景画素について
の距離情報に基づいて求める不透明度情報算出手段（例
えば、図３に示すプログラムの処理ステップＳ２など）
とを備えることを特徴とする。

【００３１】請求項５に記載の画像処理装置は、第１の
距離画像を生成する距離画像生成手段（例えば、図１に
示す３次元距離測定装置２など）をさらに備えることを
特徴とする。

【００３２】請求項６に記載の画像処理装置は、不透明
度情報に基づいて、第１の画像と第２の画像とを合成
し、合成画像を生成する合成画像生成手段（例えば、図
３に示すプログラムの処理ステップＳ３など）をさらに
備えることを特徴とする。

【００３３】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００３４】図１は、本発明を適用した画像合成システ
ム（システムとは、複数の装置が論理的に集合した物を
いい、各構成の装置が同一筐体中にあるか否かは問わな
い）の一実施の形態の構成例を示している。

【００３５】この画像合成システムにおいては、実写画
像（第１の画像）と、ＣＧ画像（第２の画像とが構成さ
れ、これにより、合成画像が生成されるようになされて
いる。

【００３６】即ち、現実の世界（実空間）における物体
（前景となっている被写体の他、背景となっている壁な
ども含む）は、複数のビデオカメラ（撮像装置）でなる
カメラセット１で、異なる視線方向から撮像され、その
結果得られる複数の実写画像は、３次元距離測定装置２
に供給される。また、カメラセット１を構成する複数の
ビデオカメラが出力する実写画像のうちの１つは、画像
合成装置３にも供給される。さらに、画像合成装置３に
実写画像を出力するビデオカメラは、物体を撮像したと
きの前側焦点距離（ビデオカメラのレンズ中心から、そ
のピント（フォーカス）があっている点までの距離）
も、画像合成装置３に出力する。

【００３７】ここで、本実施の形態では、カメラセット
１から、例えば、ＲＧＢ（Red, Green, Bule）などのカ
ラーの実写画像（以下、適宜、実写カラー画像という）
が出力されるようになされている。

【００３８】３次元距離測定装置２では、カメラセット
１からの複数の画像を用い、いわゆるステレオ処理を行
うことで、実写カラー画像についての距離画像（実写距
離画像（第１の距離画像））が生成される。この実写距
離画像は、画像合成装置３に供給される。

【００３９】画像合成装置３には、さらに、３ＣＧ作成
装置４から、ＣＧカラー画像、ＣＧα画像、およびＣＧ
距離画像も供給される。

【００４０】即ち、３ＣＧ作成装置４は、例えば、コン
ピュータをベースとしたコンピュータグラフィックスシ
ステムで構成されており、そこでは、カラーの３次元Ｃ
ＧであるカラーＣＧ画像が生成（レンダリング）され、
画像合成装置３に出力される。なお、前述したように、
ＣＧ画像（３次元ＣＧ）を表示するためのデータには、
一般に、各画素に表示された点までの距離に関する距離
情報（Ｚ値）が含まれており、この距離情報に対応する
値を画素値として構成される距離画像（ＣＧ距離画像
（第２の距離画像））も、３ＣＧ作成装置４から画像合
成装置３に出力される。さらに、ＣＧ画像のレンダリン
グの際には、そのＣＧ画像を構成する各画素について用
意されたα値が用いられるが、そのα値を画素値として
構成される画像（以下、適宜、ＣＧα画像という）も、
３ＣＧ作成装置４から画像合成装置３に出力される。

【００４１】画像合成装置３では、実写カラー画像とＣ
Ｇカラー画像とを、カメラセット１からの焦点距離、３
次元距離測定装置２からの実写距離画像、並びに３ＣＧ
作成装置４からのＣＧα画像およびＣＧ距離画像に基づ
いて合成する画像合成処理が行われ、その結果得られる
合成画像が出力される。この合成画像は、モニタ５に供
給されて表示される。

【００４２】次に、図２は、図１の画像合成装置３の構
成例を示している。

【００４３】ＲＯＭ（Read Only Memory）１１は、例え
ば、ＩＰＬ（Initial Program Loading）のプログラム
などを記憶している。ＣＰＵ（Central Processing Uni
t）１２（情報処理装置）は、ＲＯＭ１１に記憶された
ＩＰＬのプログラムを実行することで、外部記憶装置１
５に記憶されたＯＳ（Operating System）のプログラム
を読み出して実行し、さらに、そのＯＳの制御の下、外
部記憶装置１５に記憶されたアプリケーションプログラ
ム（制御情報）を実行することで、実写カラー画像とＣ
Ｇカラー画像とを合成する画像合成処理を行うようにな
されている。ＲＡＭ（Random Access Memory）１３は、
ＣＰＵ１２が実行するプログラムや、その動作上必要な
データを一時記憶するようになされている。

【００４４】通信Ｉ／Ｆ（Interface）１４は、例え
ば、モデムや、ＴＡ（Terminal Adapter）などでなり、
図示せぬネットワーク（例えば、ＰＳＴＮ（Public Sys
tem Telephone Network）や、ＩＳＤＮ（Integrated Sy
stem Digital Network）、ＣＡＴＶ（Cable Televisio
n）網、衛星回線、インターネットなど）との通信を制
御するようになされている。

【００４５】外部記憶装置１５は、例えば、ＨＤ（Hard
Disk）や、ＣＤ−ＲＯＭ（CompactDisc Read Only Mem
ery）などでなり、上述したように、ＯＳのプログラム
や、画像合成処理を行うためのアプリケーションプログ
ラムを記憶している。また、外部記憶装置１５は、ＣＰ
Ｕ１２が画像合成処理を行うことによって得られる合成
画像や、後述する距離比較画像、実写α画像などのデー
タを一時記憶するようにもなされている。

【００４６】入出力Ｉ／Ｆ１６は、カメラセット１や、
３次元距離測定装置２、３ＣＧ作成装置４からのデータ
を受信し、また、ＣＰＵ１２が画像合成処理を行うこと
によって得られる合成画像を、モニタ５に送信するため
の制御を行うＩ／Ｆとして機能するようになされてい
る。

【００４７】次に、図３のフローチャートを参照して、
図２のＣＰＵ１２が行う画像合成処理について説明す
る。

【００４８】入出力Ｉ／Ｆ１６では、カメラセット１か
らの実写カラー画像および焦点距離、３次元距離測定装
置２からの実写距離画像、並びに３ＣＧ作成装置４から
のＣＧカラー画像、ＣＧα画像、およびＣＧ距離画像が
受信され、ＣＰＵ１２に供給される。ＣＰＵ１２では、
ステップＳ１において、実写距離画像およびＣＧ距離画
像から、距離比較画像が生成され、さらに、ステップＳ
２において、その距離比較画像と、焦点距離および実写
距離画像を用いて、実写α画像が生成される。そして、
ステップＳ３において、その実写α画像と、ＣＧα画像
を用いて、実写カラー画像とＣＧカラー画像とが合成さ
れ、合成画像が生成されて、画像合成処理を終了する。
以上のようにして生成された合成画像は、入出力Ｉ／Ｆ
１６を介してモニタ５に出力される。

【００４９】なお、合成画像は、モニタ５に出力する
他、通信Ｉ／Ｆ１４を介して他の装置に送信したり、外
部記憶装置１５に供給して記憶させることも可能であ
る。

【００５０】また、実写α画像も、ＣＧα画像、実写カ
ラー画像、ＣＧカラー画像、実写距離画像、およびＣＧ
距離画像とともに、通信Ｉ／Ｆ１４を介して他の装置に
送信したり、外部記憶装置１５に供給して記憶させるこ
とも可能である。

【００５１】次に、図４のフローチャートを参照して、
図３のステップＳ１の処理の詳細について説明する。

【００５２】まず最初に、ステップＳ１１において、画
素のｙ座標を表す変数ｙが、例えば０に初期化され、ス
テップＳ１２に進み、画素のｘ座標を表す変数ｘも、０
に初期化される。ここで、画像の座標系については、そ
の最も左上を原点とし、左から右方向にｘ軸をとり、上
から下方向にｙ軸をとるものとする。この場合、左から
ｘ＋１番目で、上からｙ＋１番目の位置にある画素の座
標は、（ｘ，ｙ）で表される。

【００５３】その後、ステップＳ１３に進み、以後、ス
テップＳ１３乃至Ｓ１５の処理を繰り返すことで、実写
距離画像と、ＣＧ距離画像とが、各画素ごとに比較さ
れ、その比較結果を表す距離比較画像が生成される。

【００５４】即ち、左からｘ＋１番目で、上からｙ＋１
番目の位置にあるＣＧ距離画像または実写距離画像の画
素（画素値）を、それぞれ変数cg_range_image[x,y]ま
たはreal_range_image[x,y]で表すものとすると、ステ
ップＳ１３では、変数real_range_image[x,y]が、変数c
g_range_image[x,y]より大（または以上）であるか否か
が判定される。ステップＳ１３において、変数real_ran
ge_image[x,y]が、変数cg_range_image[x,y]より大であ
ると判定された場合、即ち、座標（ｘ，ｙ）にある画素
（以下、適宜、画素（ｘ，ｙ）と記載する）について
は、実写カラー画像の画素（に表示された点）の方が、
ＣＧカラー画像の画素（に表示された点）よりも手前
（カメラセット１側）にある場合（ここでは、前述した
ように、距離画像の画素値が大きいほど、対応する画素
が手前にある）、ステップＳ１４に進み、距離比較画像
を構成する、左からｘ＋１番目で、上からｙ＋１番目の
位置にある画素を表す変数compare_image[x,y]に、０ま
たは１のうちの、例えば１がセットされ、ステップＳ１
６に進む。

【００５５】また、ステップＳ１３において、変数real
_range_image[x,y]が、変数cg_range_image[x,y]より大
でないと判定された場合、即ち、画素（ｘ，ｙ）につい
ては、実写カラー画像の画素が、ＣＧカラー画像の画素
（に表示された点）よりも奥側にあると判定された場
合、ステップＳ１５に進み、変数compare_image[x,y]
に、０または１のうちの、例えば０がセットされ、ステ
ップＳ１６に進む。

【００５６】ステップＳ１６では、変数ｘが１だけイン
クリメントされ、ステップＳ１７に進み、変数ｘが、画
像の水平方向（ｘ方向）の画素数IMG_XSIZE以上である
かどうかが判定される。ステップＳ１７において、変数
ｘがIMG_XSIZE以上でないと判定された場合、ステップ
Ｓ１３に戻り、以下、同様の処理が繰り返される。

【００５７】また、ステップＳ１７において、変数ｘが
IMG_XSIZE以上であると判定された場合、ステップＳ１
８に進み、変数ｙが１だけインクリメントされ、ステッ
プＳ１９に進む。ステップＳ１９では、変数ｙが、画像
の垂直方向（ｙ軸方向）の画素数IMG_YSIZE以上である
かどうかが判定される。ステップＳ１９において、変数
ｙがIMG_YSIZE以上でないと判定された場合、ステップ
Ｓ１２に戻り、以下、同様の処理を繰り返す。

【００５８】一方、ステップＳ１９において、変数ｙが
IMG_YSIZE以上であると判定された場合、リターンす
る。

【００５９】以上の処理によれば、実写距離画像の画素
のうち、ＣＧ距離画像の対応する画素よりも手前にある
ものについては１を画素値とし、そうでないものについ
ては０を画素値とする画像、即ち、距離比較画像compar
e_imageが生成される。

【００６０】次に、図５のフローチャートを参照して、
図３のステップＳ２の処理の詳細について説明する。

【００６１】まず最初に、ステップＳ２１において、関
数mask(compare_image,masked_compare_image,real_ran
ge_image）がコールされる。

【００６２】ここで、関数maskの引数の１つであるmask
ed_compare_imageは、距離比較画像compare_imageをぼ
かした画像（いわば、ピントがずれた状態の画像）（以
下、適宜、マスク画像という）を格納するためのIMG_XS
IZE×IMG_YSIZEの２次元配列変数を表し、いま、距離比
較画像compare_image、マスク画像masked_compare_imag
e、または実写距離画像real_range_imageを、それぞれ
変数f，g、またはrに対応させると、関数mask(f,g,r)に
よれば、実写距離画像rに基づき、距離比較画像fにぼか
しをかけたマスク画像gが、例えば、次式にしたがって
生成される。

【００６３】

【数１】 ・・・（２） 但し、式（２）において、

【数２】 ・・・（３）

【００６４】なお、Ｋは、ぼかしの程度を決めるファク
タで、小さいほど、よりぼかすことができる。また、Ｌ
は、マスク画像gの画素値の変化の割合を決めるファク
タで、大きいほど、その変化が急峻になる。さらに、Ｆ
は、カメラセット１から供給される焦点距離に対応し、
Ｒ_maxは、実写距離画像rがとり得る最大値（実写距離画
像rの画素値r[i,j]の中の最大値ではなく、その画素値
としてとり得る最大値）を表す。

【００６５】式（２）から明らかなように、マスク画像
gの画素g[i,j]は、距離比較画像fの対応する画素f[i,j]
を中心とする横×縦がＭ×Ｎ画素の範囲にある画素をタ
ップとし、そのタップを用いて、タップ係数がB(k,l)で
表される２次元フィルタ（マスク）によってフィルタリ
ングを行うことで生成される。そして、タップ係数B(k,
l)は、式（３）から、焦点距離（前側焦点距離）Ｆを基
準とする、実写カラー画像を構成する画素の相対的な距
離|r[i,j]-F｜によって決定される。

【００６６】ここで、式（３）の第２式におけるSは、
タップ係数B(k,l)を求める際の正規化を行うためのもの
であり、ここでは、無視することとして、|r[i,j]-F｜
が小さい場合、即ち、実写カラー画像を構成する画素の
距離r[i,j]が、前側焦点距離Fにほぼ等しい場合を考え
ると、式（３）の第３式におけるqは大きくなり、従っ
て、第１式におけるタップ係数B(k,l)は、その変化が急
峻なものとなる。この場合、式（２）において、タップ
を構成するＭ×Ｎ画素については、その中心部分にある
画素には、ある程度の大きさの値のタップ係数B(k,l)が
乗算されることになるが、周辺部分にある画素には、０
に近い値のタップ係数B(k,l)が乗算されることになる。
その結果、マスク画像gの画素g[i,j]は、距離比較画像f
の対応する画素f[i,j]を中心とするＭ×Ｎ画素の外周側
の画素の影響はほとんど受けず、その中心部分にある画
素のみの影響を受けることとなり、実質的に、ぼかしの
範囲が狭まることになる。

【００６７】一方、|r[i,j]-F｜が大きい場合、即ち、
実写カラー画像を構成する画素の距離r[i,j]が、前側焦
点距離Fから離れている場合、式（３）の第３式におけ
るqは小さくなり、従って、第１式におけるタップ係数B
(k,l)は、その変化が緩やかなものとなる。この場合、
式（２）において、タップを構成するＭ×Ｎ画素につい
ては、その中心部分にある画素だけでなく、外周側にあ
る画素に対しても、ある程度の大きさの値のタップ係数
B(k,l)が乗算されることになる。その結果、マスク画像
gの画素g[i,j]は、距離比較画像fの対応する画素f[i,j]
を中心とするＭ×Ｎ画素すべての影響を受けることとな
り、実質的に、ぼかしの範囲が拡がることになる。

【００６８】以上のように、関数mask(f,g,r)によれ
ば、実写カラー画像を構成する画素の距離r[i,j]と、前
側焦点距離Fとの差が小さいほど、ぼかしの範囲が狭
く、実写カラー画像を構成する画素の距離r[i,j]と、前
側焦点距離Fとの差が大きいほどぼかしの範囲が拡がる
マスク画像gが生成される。

【００６９】なお、ここでは、距離比較画像fにおける
タップを構成する画素を、Ｍ×Ｎ画素に固定としている
が、このタップを構成する画素数は、前側焦点距離を基
準とする、実写カラー画像を構成する画素の相対的な距
離|r[i,j]-F｜に基づいて変化させるようにすることも
可能である。即ち、相対的な距離|r[i,j]-F｜が大きい
場合は、ＭまたはＮを大にして、ぼかしの範囲を拡げ、
相対的な距離|r[i,j]-F｜が小さい場合は、ＭまたはＮ
を小にして、ぼかしの範囲を狭めるようにすることが可
能である。

【００７０】ステップＳ２１において、以上のような関
数mask(compare_image,masked_compare_image,real_ran
ge_image）が演算され、これにより、マスク画像masked
_compare_imageが得られた後は、ステップＳ２２に進
み、変数ｙが０に初期化され、ステップＳ２３に進む。
ステップＳ２３では、変数ｘが０に初期化され、ステッ
プＳ２４に進み、以後、ステップＳ２４乃至Ｓ２６の処
理を繰り返すことで、距離比較画像compare_imageに基
づき、実写カラー画像を構成する画素のうち、ＣＧカラ
ー画像を構成する対応する画素よりも手前にある画素
（以下、適宜、前景画素という）が検出され、その前景
画素についてのα値（不透明度情報）が求められる。

【００７１】即ち、ステップＳ２４では、距離比較画像
の画素compare_image[x,y]が１に等しいか否かが判定さ
れる。ステップＳ２４において、距離比較画像の画素co
mpare_image[x,y]が１に等しいと判定された場合、即
ち、実写カラー画像の画素（ｘ，ｙ）が前景画素である
場合、ステップＳ２５に進み、その前景画素のα値を表
す変数real_alpha_image[x,y]に、マスク画像の画素ｍ
ａｓｋｅｄ＿ｃｏｍｐａｒｅ＿ｉｍａｇｅ［ｘ，ｙ］が
セットされ、ステップＳ２７に進む。

【００７２】また、ステップＳ２４において、距離比較
画像の画素ｃｏｍｐａｒｅ＿ｉｍａｇｅ［ｘ，ｙ］が１
に等しくない（０である）と判定された場合、即ち、実
写カラー画像の画素（ｘ，ｙ）が前景画素でない場合、
ステップＳ２５に進み、その画素のα値を表す変数real
_alpha_image[x,y]に、０がセットされ、ステップＳ２
７に進む。

【００７３】ステップＳ２７では、変数ｘが１だけイン
クリメントされ、ステップＳ２８に進み、変数ｘがIMG_
XSIZE以上であるかどうかが判定される。ステップＳ２
８において、変数ｘがIMG_XSIZE以上でないと判定され
た場合、ステップＳ２４に戻り、以下、同様の処理が繰
り返される。

【００７４】また、ステップＳ２８において、変数ｘが
IMG_XSIZE以上であると判定された場合、ステップＳ２
９に進み、変数ｙが１だけインクリメントされ、ステッ
プＳ３０に進む。ステップＳ３０では、変数ｙがIMG_YS
IZE以上であるかどうかが判定され、IMG_YSIZE以上でな
いと判定された場合、ステップＳ２３に戻り、以下、同
様の処理を繰り返す。

【００７５】一方、ステップＳ３０において、変数ｙが
IMG_YSIZE以上であると判定された場合、リターンす
る。

【００７６】以上の処理によれば、実写距離画像の画素
のうち、ＣＧ距離画像の対応する画素よりも手前にある
ものについては、マスク画像の画素masked_compare_ima
ge[x,y]をα値とし、そうでないものについては０をα
値とする画像、即ち、実写α画像real_alpha_imageが生
成される。

【００７７】次に、図６のフローチャートを参照して、
図３におけるステップＳ３の処理の詳細について説明す
る。

【００７８】まず最初に、ステップＳ４１において、変
数ｙが０に初期化され、ステップＳ４２に進み、変数ｘ
が０に初期化され、ステップＳ４３に進む。そして、以
後、ステップＳ４３乃至Ｓ４５の処理を繰り返すこと
で、実写α画像およびＣＧα画像に基づき、実写カラー
画像と、ＣＧカラー画像とが、画素単位で合成され、合
成画像が生成される。

【００７９】即ち、ステップＳ４３では、距離比較画像
の画素compare_image[x,y]が１に等しいかどうかが判定
される。ステップＳ４３において、距離比較画像の画素
compare_image[x,y]が１に等しいと判定された場合、即
ち、実写カラー画像の画素（ｘ，ｙ）が前景画素である
場合、ステップＳ４４に進み、前述の式（１）に対応す
る次式にしたがって、実写カラー画像の画素real_image
[x,y]と、ＣＧカラー画像の画素cg_image[x,y]とが合成
され、合成画像の画素composite_image[x,y]が生成され
る。

【００８０】 composite_image[x,y]=real_image[x,y]×real_alpha_image[x,y] ＋cg_image[x,y]×(1-real_alpha_image[x,y]) ×cg_alpha_image[x,y] ・・・（４） 但し、cg_alpha_image[x,y]は、ＣＧα画像の画素
（ｘ，ｙ）の画素値、即ち、ＣＧカラー画像の画素
（ｘ，ｙ）のα値を表す。

【００８１】一方、ステップＳ４３において、距離比較
画像の画素compare_image[x,y]が１に等しくないと判定
された場合、即ち、実写カラー画像の画素（ｘ，ｙ）が
前景画素でない場合、ステップＳ４５に進み、前述の式
（１）に対応する次式にしたがって、実写カラー画像の
画素real_image[x,y]と、ＣＧカラー画像の画素cg_imag
e[x,y]とが合成され、合成画像の画素composite_image
[x,y]が生成される。

【００８２】 composite_image[x,y]=cg_image[x,y]×cg_alpha_image[x,y] +real_image[x,y]×(1-cg_alpha_image[x,y]) ×real_alpha_image[x,y] ・・・（５）

【００８３】ステップＳ４４およびＳ４５の処理後は、
いずれも、ステップＳ４６に進み、変数ｘが１だけイン
クリメントされ、ステップＳ４７に進む。ステップＳ４
７では、変数ｘがIMG_XSIZE以上であるかどうかが判定
され、IMG_XSIZE以上でないと判定された場合、ステッ
プＳ４３に戻り、以下、同様の処理が繰り返される。

【００８４】また、ステップＳ４７において、変数ｘが
IMG_XSIZE以上であると判定された場合、ステップＳ４
８に進み、変数ｙが１だけインクリメントされ、ステッ
プＳ４９に進む。ステップＳ４９では、変数ｙがIMG_YS
IZE以上であるかどうかが判定され、IMG_YSIZE以上でな
いと判定された場合、ステップＳ４２に戻り、以下、同
様の処理を繰り返す。

【００８５】一方、ステップＳ４９において、変数ｙが
IMG_YSIZE以上であると判定された場合、リターンす
る。

【００８６】以上の処理によれば、実写カラー画像と、
ＣＧカラー画像とが、実写α画像に基づいて合成される
結果、実写カラー画像とＣＧカラー画像との境界部分に
おいては、それらが混合されることにより、滑らかな合
成画像を得ることができる。

【００８７】ここで、図７は、実写画像と、ＣＧ画像と
を合成した合成画像を示している。実写カラー画像とＣ
Ｇカラー画像との境界部分においては、実写画像のα値
（実写α画像の画素値）が、１より幾分か小さい値にな
っており、その結果、実写カラー画像とＣＧカラー画像
とが混合され、ジャギーが低減される。

【００８８】即ち、距離比較画像compare_imageは、実
写カラー画像の前景画素についてのみ１となっており、
他の画素については０となっているから、これを実写画
像のα値として、ＣＧ画像との合成を行うことも可能で
ある。しかしながら、距離比較画像compare_imageがと
り得る値は０と１のいずれか一方のみであるから、これ
を実写画像のα値とすると、実写カラー画像とＣＧカラ
ー画像との境界部分において、それらが混合されること
はなく、図８（Ａ）に示すような階段状のギザギザ（ジ
ャギー）が発生する。

【００８９】これに対して、実写α画像real_alpha_ima
geは、距離比較画像compare_imageにフィルタをかけて
ぼかしたものであり、距離比較画像compare_imageにお
いて０の画素値に近接する１の画素値は、実写α画像re
al_alpha_imageでは、０と１との間の中間値となってい
る。その結果、実写α画像real_alpha_imageを、実写画
像のα値として、実写カラー画像とＣＧカラー画像との
合成を行った場合には、それらの境界部分において、両
者が混合され、図８（Ｂ）に示すように、ジャギーを低
減することができる。

【００９０】さらに、本実施の形態では、実写カラー画
像を構成する画素の距離r[i,j]と、前側焦点距離Fとの
差が小さいほど、ぼかしの範囲が狭く、実写カラー画像
を構成する画素の距離r[i,j]と、前側焦点距離Fとの差
が大きいほどぼかしの範囲が拡がるマスク画像masked_c
ompare_imageを生成し、これを利用して、実写α画像re
al_alpha_imageを求めるようにしたので、合成画像とし
て、実写カラー画像の、ＣＧカラー画像との境界部分の
距離に応じて、自然なぼかしの入ったものを得ることが
できる。

【００９１】即ち、実写カラー画像の、ＣＧカラー画像
との境界部分の距離が、前側焦点距離Fとほぼ等しい場
合には、図９（Ａ）に示すようなぼかしの範囲の狭い合
成画像を得ることができ、前側焦点距離Fから離れてい
る場合には、図９（Ｂ）に示すようなぼかしの範囲の広
い合成画像を得ることができる。なお、このようなぼか
しの入れ方は、実写カラー画像における背景がぼやけた
ものである場合に、特に有効である。

【００９２】以上、本発明を、実写画像とＣＧ画像とを
合成する画像合成システムに適用した場合について説明
したが、本発明は、その他、例えば、実写画像どうしを
合成する場合にも適用可能である。

【００９３】なお、本実施の形態では、カラーの画像を
対象に合成を行うようにしたが、輝度のみの（白黒の）
画像を対象に合成を行うことも可能である。

【００９４】また、本実施の形態では、式（２）によっ
て、実写距離画像real_range_imageに基づき、ぼかしの
範囲が変化するマスク画像masked_compare_imageを生成
するようにしたが、マスク画像masked_compare_imageと
しては、その他、実写距離画像real_range_imageに関係
なく、一定のぼかしが入ったものを生成するようにする
ことも可能である。

【００９５】具体的には、マスク画像masked_compare_i
mage（g）は、例えば、次式にしたがって求めることが
可能である。

【００９６】

【数３】 ・・・（６） 但し、式（６）におけるm[k,l]は、２次元フィルタのタ
ップ係数を表す２次元配列変数で、例えば、次式で定義
される。

【数４】 ・・・（７）

【００９７】さらに、本実施の形態では、ＣＰＵ１２
に、プログラムを実行させることにより、画像合成処理
を行うようにしたが、画像合成処理は、それ専用のハー
ドウェアによって行うことも可能である。

【００９８】また、本実施の形態では、画像合成処理を
行うためのプログラムを、外部記憶装置１５に記憶させ
ておくようにしたが、画像合成処理を行うためのプログ
ラムは、例えば、インターネットその他の伝送媒体を介
して提供するようにすることも可能である。

【００９９】

【発明の効果】請求項１に記載の画像処理装置および請
求項７に記載の画像処理方法、並びに請求項８に記載の
提供媒体によれば、第１の画像を構成する各画素に表示
された物体の点までの距離に関する距離情報でなる第１
の距離画像と、第２の画像を構成する各画素に表示され
た物体の点までの距離に関する距離情報でなる第２の距
離画像とが、各画素ごとに比較され、その比較結果を表
す距離比較画像が生成される。そして、その距離比較画
像に基づいて、第１の画像を構成する画素のうち、第２
の画像を構成する画素よりも手前にある画素である前景
画素が検出され、前景画素の不透明度情報が、その前景
画素についての距離情報に基づいて求められる。従っ
て、その不透明度情報に基づいて、第１と第２の画像を
合成することにより、ジャギーを低減することが可能と
なる。

【０１００】請求項９に記載の提供媒体によれば、第１
の画像を構成する各画素に表示された物体の点までの距
離に関する距離情報でなる第１の距離画像と、第２の画
像を構成する各画素に表示された物体の点までの距離に
関する距離情報でなる第２の距離画像とを、各画素ごと
に比較して、その比較結果を表す距離比較画像を生成
し、距離比較画像に基づいて、第１の画像を構成する画
素のうち、第２の画像を構成する画素よりも手前にある
画素である前景画素を検出して、前景画素の不透明度情
報を、その前景画素についての距離情報に基づいて求め
ることにより得られる不透明度情報を、少なくとも含む
データが提供される。従って、その不透明度情報に基づ
いて、第１と第２の画像を合成することにより、ジャギ
ーを低減することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像合成システムの一実施の
形態の構成例を示すブロック図である。

【図２】図１の画像合成装置３の構成例を示すブロック
図である。

【図３】図２の画像合成装置３による画像合成処理を説
明するためのフローチャートである。

【図４】図３のステップＳ１の処理のより詳細を説明す
るためのフローチャートである。

【図５】図３のステップＳ２の処理のより詳細を説明す
るためのフローチャートである。

【図６】図３のステップＳ３の処理のより詳細を説明す
るためのフローチャートである。

【図７】図２の画像合成装置３による実写画像とＣＧ画
像との合成結果を示す図である。

【図８】実写α画像を用いた場合と用いない場合の合成
結果を示す図である。

【図９】実写カラー画像の画素の距離に応じてぼかしの
範囲が変化することを示す図である。

【符号の説明】

１ カメラセット， ２ ３次元距離測定装置， ３
画像合成装置， ４３ＣＧ作成装置， ５ モニタ，
１１ ＲＯＭ， １２ ＣＰＵ， １３ ＲＡＭ， １
４ 通信Ｉ／Ｆ， １５ 外部記憶装置， １６ 入出
力Ｉ／Ｆ

フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA16 CB01 CB08 CB16 CE04 CE05 CE08 CE11 5C023 AA11 AA16 AA21 AA34 AA37 AA38 BA01 BA11 BA15 CA01 CA03 CA08 DA04 DA08

Claims (9)

【特許請求の範囲】
1. 【請求項１】 第１の画像と第２の画像とを合成して合
   成画像を生成する際に用いる、前記第１の画像を構成す
   る各画素の不透明度を表す不透明度情報を求める画像処
   理装置であって、 前記第１の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第１の距離画像と、
   前記第２の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第２の距離画像と
   を、各画素ごとに比較し、その比較結果を表す距離比較
   画像を生成する距離比較画像生成手段と、 前記距離比較画像に基づいて、前記第１の画像を構成す
   る画素のうち、前記第２の画像を構成する画素よりも手
   前にある画素である前景画素を検出し、前記前景画素の
   不透明度情報を、その前景画素についての前記距離情報
   に基づいて求める不透明度情報算出手段とを備えること
   を特徴とする画像処理装置。
2. 【請求項２】 前記第１の画像は、前記物体を、所定の
   撮像装置によって撮像して得られる画像であり、 前記不透明度情報算出手段は、前記前景画素の不透明度
   情報を、その前景画素についての前記距離情報と、前記
   撮像装置の焦点距離との差に基づいて求めることを特徴
   とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記不透明度情報算出手段は、前記距離
   情報と焦点距離との差が大きいほど、前記合成画像にお
   いてぼけた範囲が拡がるような前記不透明度情報を求め
   ることを特徴とする請求項２に記載の画像処理装置。
4. 【請求項４】 前記撮像装置をさらに備えることを特徴
   とする請求項２に記載の画像処理装置。
5. 【請求項５】 前記第１の距離画像を生成する距離画像
   生成手段をさらに備えることを特徴とする請求項１に記
   載の画像処理装置。
6. 【請求項６】 前記不透明度情報に基づいて、前記第１
   の画像と第２の画像とを合成し、前記合成画像を生成す
   る合成画像生成手段をさらに備えることを特徴とする請
   求項１に記載の画像処理装置。
7. 【請求項７】 第１の画像と第２の画像とを合成して合
   成画像を生成する際に用いる、前記第１の画像を構成す
   る各画素の不透明度を表す不透明度情報を求める画像処
   理方法であって、 前記第１の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第１の距離画像と、
   前記第２の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第２の距離画像と
   を、各画素ごとに比較して、その比較結果を表す距離比
   較画像を生成し、 前記距離比較画像に基づいて、前記第１の画像を構成す
   る画素のうち、前記第２の画像を構成する画素よりも手
   前にある画素である前景画素を検出して、前記前景画素
   の不透明度情報を、その前景画素についての前記距離情
   報に基づいて求めることを特徴とする画像処理方法。
8. 【請求項８】 第１の画像と第２の画像とを合成して合
   成画像を生成する際に用いる、前記第１の画像を構成す
   る各画素の不透明度を表す不透明度情報を求める処理を
   情報処理装置に行わせるための制御情報を提供する提供
   媒体であって、 前記第１の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第１の距離画像と、
   前記第２の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第２の距離画像と
   を、各画素ごとに比較して、その比較結果を表す距離比
   較画像を生成し、 前記距離比較画像に基づいて、前記第１の画像を構成す
   る画素のうち、前記第２の画像を構成する画素よりも手
   前にある画素である前景画素を検出して、前記前景画素
   の不透明度情報を、その前景画素についての前記距離情
   報に基づいて求める処理を前記情報処理装置に行わせる
   ための制御情報を提供することを特徴とする提供媒体。
9. 【請求項９】 第１の画像と第２の画像とを合成して合
   成画像を生成する際に用いる、前記第１の画像を構成す
   る各画素の不透明度を表す不透明度情報を提供する提供
   媒体であって、 前記第１の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第１の距離画像と、
   前記第２の画像を構成する各画素に表示された物体の点
   までの距離に関する距離情報でなる第２の距離画像と
   を、各画素ごとに比較して、その比較結果を表す距離比
   較画像を生成し、 前記距離比較画像に基づいて、前記第１の画像を構成す
   る画素のうち、前記第２の画像を構成する画素よりも手
   前にある画素である前景画素を検出して、前記前景画素
   の不透明度情報を、その前景画素についての前記距離情
   報に基づいて求めることにより得られる前記不透明度情
   報を、少なくとも含むデータを提供することを特徴とす
   る提供媒体。