JP2004318827A

JP2004318827A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2004318827A
Application number: JP2004029437A
Authority: JP
Inventors: Shinji Miwa; 真司三輪; Naoki Kayahara; 直樹萱原
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-03-31
Filing date: 2004-02-05
Publication date: 2004-11-11
Anticipated expiration: 2024-02-05
Also published as: JP4141968B2; US20040247179A1

Abstract

【課題】対象画像を画像オブジェクト領域に分割する場合に、明確なエッジにより分割できない曖昧部分を境界領域として検出し、境界領域の画像情報を、背景画像に適合するように調整する画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】対象画像において、２つの隣接する画像オブジェクトである対象画像オブジェクトと隣接画像オブジェクトの中間の特性を有する境界領域を検出し、対象画像オブジェクトの特性を有する対象画像オブジェクト領域に接する境界領域の画素から、隣接画像オブジェクトの特性を有する隣接画像オブジェクト領域に接する境界領域の画素への、特性の変化に基づいて、境界領域に属する画素の画素情報を生成する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。特に、複数個の画素によって構成されるエッジ判定できない対象画像を、画素の画素情報に基づいて、複数個の画像領域に分割する画像処理装置、画像処理方法およびプログラムに関する。

対象画像を画像オブジェクト領域毎の画像領域に分割する処理は、対象画像の中に存在する物体の画像認識、画像補正・強調等の処理のために必要であった。しかしながら、デジタルスチルカメラによる撮影や、写真からスキャナで取り込んだ自然画像では、必ずしも明確なエッジで分離されていない場合があり、このような場合であっても、後工程のために対象画像を画像オブジェクト領域ごとに分離する必要があった。そのため、従来から対象画像を画像オブジェクト領域ごとに分離するための領域分離の方法がいくつか考えられている。

また、対象画像の中から選択した画像オブジェクトを他の画像である背景画像に合成して合成画像を生成する場合、分割された画像オブジェクト領域の周囲と背景画像との違和感をなくすような方法も考えられている。
図２０から図２３を参照しながら、従来の領域分離処理よる合成画像の生成方法について説明する。

従来の領域分離処理では、隣接する画素間において両画素の特性差異が大きい部分をエッジとして検出し、検出したエッジにより構成される閉領域を一つの画像オブジェクト領域としていた。
図２０は、縦３×横３画素のビットマップデータを示す模式図であり、図２１は、エッジ判定による合成画像生成処理のフローチャートを示す図である。

以下、図２１のフローチャートを、図２０の場合を例に挙げて説明する。尚、各画素は画素情報としてＸ座標とＹ座標とによって識別される位置情報も備えている。更に、画素をｐ（ｘ、ｙ）と記す。また、画素ｐ（ｘ、ｙ）の特性を表す値として、その画素の特性を色相値、彩度値および明度値を例に挙げて説明する。また、図２２において、隣接する画素間の境界部の中心点を境界点と呼び、ｆ（ｘ１、ｙ１、ｘ２、ｙ２）と記す。境界点ｆ（ｘ１、ｙ１、ｘ２、ｙ２）は、画素ｐ（ｘ１、ｙ１）と画素ｐ（ｘ２、ｙ２）の境界部の中心点である。

図２１により、エッジ判定による合成画像生成処理は、まず、画素ｐ（０，０）に注目し（Ｓ１３０１）、画素ｐ（０，０）と画素Ｐ（１，０）の特性を比較する（Ｓ１３０２）。このとき、注目すべき画素ｐ（０，０）を注目画素、比較すべき画素Ｐ（１，０）を比較画素と呼ぶ。この結果、画素ｐ（０，０）と画素Ｐ（１，０）との間の特性差異があらかじめ設定されたエッジ判定閾値より大きい場合（Ｓ１３０３；Ｙｅｓ）、境界点ｆ（０，０，１，０）をエッジ点と判断する（Ｓ１３０４）。例えば、エッジ判定閾値として「色相値：１５」という設定があれば、画素ｐ（０，０）の色相値（＝３０）と画素Ｐ（１，０）の色相値（＝０）の差がエッジ判定閾値より大きいため、境界点ｆ（０，０，１，０）をエッジ点と判断する。次に、画素ｐ（０，０）と画素Ｐ（０，１）の特性を比較する（Ｓ１３０６）。画素ｐ（０，０）と画素Ｐ（０，１）との間の特性差異があらかじめ設定されたエッジ判定閾値より大きい場合（Ｓ１３０７；Ｙｅｓ）、境界点ｆ（０，０，０，１）をエッジ点と判断する（Ｓ１３０８）。画素ｐ（０，０）の色相値（＝３０）と画素Ｐ（０，１）の色相値（＝３０）の差がエッジ判定閾値以下ため、境界点ｆ（０，０，０，１）をエッジ点としない。

次に、注目画素を画素ｐ（１，０）に移し（Ｓ１３０９、Ｓ１３１１、またはＳ１３１２）、同様に画素ｐ（１，０）と画素Ｐ（２，０）とを比較し、エッジ点を検出する。このように、注目画素を移しながら対象画像を構成する全画素についてエッジ点の検出を実行する（Ｓ１３０５、Ｓ１３１０、またはＳ１３１３）。従って、図２０の場合は、黒丸で示す境界点がエッジ点として検出される。

次に、近接するエッジ点群が閉領域を構成するか否かを判断する（Ｓ１３１４）。図２０の場合では距離１以内にあるエッジ点群により構成される領域を閉領域として検出する（Ｓ１３１５）。従って、画素ｐ（０，０）、ｐ（０，１）、ｐ（０，２）、ｐ（１，２）によって構成される閉領域と、画素ｐ（１，０）、ｐ（２，０）、ｐ（１，１）、ｐ（２，１）、ｐ（２，２）とによって構成される閉領域が検出される。

そして、合成画像を生成する場合（Ｓ１３１６；Ｙｅｓ）は、さらに合成画像を生成するための選択した画像オブジェクトと背景画像のそれぞれの画像情報を取得し（Ｓ１３１７）、選択した画像オブジェクトと背景画像との境界部近傍の混合・平滑化処理を行い（Ｓ１３１８）、合成画像を生成する（Ｓ１３１９）。
また、対象画像の中の対象画像オブジェクト領域を他の画像である背景画像に合成して合成画像を生成する場合、対象画像を撮影したときの撮影条件と、背景画像を撮影したときの撮影条件の差異をなくすように、撮影条件に基づいて、対象画像オブジェクト領域の画像情報と背景画像の画像情報のどちらか一方の一部の領域または全部の領域の画像情報を調整していた。
特開２０００−２０９４２５号公報特開平５−２３３８１０号公報特開平８−３２９２５２号公報

しかしながら、写真等では、撮影時のピントずれ、撮像素子の特性等により、対象画像内の画像オブジェクトが明確なエッジによって区切られず、若干の幅の境界領域を生じることが多い。図２２は、縦３×横６画素のビットマップデータによる単純化した境界領域を示す模式図である。図中の「×」部で示す画素から構成される画素群が境界領域１１０３にあたり、境界領域１１０３に存在する画素は、境界領域１１０３を挟む２つの画像オブジェクト領域１１０１、１１０２の中間色となる。そのため、上述の領域分離方法ではエッジ判定閾値を超える画素間の特性差異が検出できなかった。即ち、対象画像内のエッジ検出ができず、領域の分離に失敗していた。

従って、上述した領域分離処理を図２３（ａ）のような画像に適用した場合、エッジ検出処理におけるエッジ判定閾値が高すぎると図２３（ｂ）のように曖昧部分が領域分離されずに全体が一つの画像オブジェクト領域として判断されていた。また、エッジ検出処理におけるエッジ判定閾値が低すぎると図２３（ｃ）のように、それぞれの画像オブジェクト領域は曖昧部分を含まない不自然な形となり、曖昧部分は内部での画素間の変化が大きいため、画像オブジェクト領域でないと判断されていた。ここで、斜線部は曖昧部分を示す。

また、対象画像の中の対象画像オブジェクト領域を他の画像である背景画像に合成して合成画像を生成したとき、対象画像において、対象画像オブジェクト領域に隣接する隣接画像オブジェクト領域と対象画像オブジェクト領域との境界部が曖昧な部分が存在すると、対象画像オブジェクト領域の周縁部に隣接画像オブジェクト領域の特性を残した領域を含んだまま、背景画像と合成するため、合成画像において対象画像オブジェクト領域の周囲に違和感のある画像となってしまうことがあった。また、対象画像オブジェクト領域が分離でできない場合は、合成画像を生成することができなかった。

本発明は、以上のような問題点を解決するためになされたもので、対象画像を画像オブジェクト領域に分割する場合に、明確なエッジにより分割できない曖昧部分を境界領域として検出し、対象画像を画像オブジェクト領域と境界領域とからなる画像領域に分割することが可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。また、検出した２つの画像オブジェクト領域に挟まれた境界領域を所定の方法により分割し、分割したそれぞれの領域を、それぞれの画像オブジェクト領域に付属させることにより、対象画像を画像オブジェクト領域に分割することも可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

また、本発明は、対象画像を画像オブジェクト領域に分割する場合に、明確なエッジにより分割できない曖昧部分を境界領域として検出し、対象画像オブジェクトの境界領域の画像情報より対象画像オブジェクト領域に隣接する隣接画像オブジェクト領域からの影響を取り除いた透明度情報を生成することにより、隣接画像オブジェクト領域には無関係の対象画像オブジェクト領域の領域情報を検出することが可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

また、対象画像オブジェクトの境界領域の画像情報を背景画像に適合させた情報に変換することによって、対象画像オブジェクト領域の周囲に違和感のない背景画像との合成画像を生成することも可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した従来の問題点を解決すべく下記の発明を提供する。
［発明１］発明１の画像処理方法は、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理方法であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出するようにしたことを特徴とする画像処理方法である。

これによって、明確なエッジにより分割できない画像オブジェクト領域間の曖昧部分を境界領域として独自の領域として検出することが可能となるため、対象画像を画像オブジェクト領域と境界領域とからなる一つの画像領域として分割することができる。
ここで、本発明にいう「画素情報」とは、後述するＲＧＢ値やＣＭＹＫ値等の画素値に加え、対象画像中の画素位置等を含む情報のことをいう（以下の、画像処理装置及び画像処理プログラムにおいて同じである）。
［発明２］発明２の画像処理方法は、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域に分割する画像処理方法であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出し、その後、当該境界領域を構成する画素値に基づいて当該境界領域内に分割線を決定し、当該分割線を境に前記境界領域内を、前記第１画像オブジェクト領域側と前記第２画像オブジェクト領域側とに分割するようにしたことを特徴とする画像処理方法である。

これによって、明確なエッジにより分割できなかった画像オブジェクト領域間の曖昧部分である境界領域内で、第１画像オブジェクト領域と前記第２画像オブジェクト領域とを確実に分割することができる。

［発明３］発明３の画像処理方法は、
発明２に記載の画像処理方法において、前記境界領域内における分割線は、前記第１画像オブジェクト領域との境界に沿って位置する画素の画素値と、前記第２画像オブジェクト領域との境界に沿って位置する画素の画素値との中間の値又は中間の値に最も近い画素値を有する画素を選択し、選択した画素同士を前記境界に沿って連続した線を用いるようにしたことを特徴とする画像処理方法。

これによって、不自然な位置で分割線が形成されることがなくなり、前記境界領域内で違和感のない分割が行われる。

［発明４］発明４の画像処理方法は、
複数個の画素の集合によって構成される対象画像中に存在する任意の画像オブジェクト領域を他の背景画像に合成する画像処理方法であって、前記任意の画像オブジェクト領域を、前記画素の画素情報及び所定の領域判定条件に基づいて、当該画像オブジェクトと境界領域を介して隣接する他の画像オブジェクト領域から前記境界領域と共に分割し、当該画像オブジェクト領域を前記境界領域と共に他の背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整するようにしたことを特徴とする画像処理方法である。

これによって、画像オブジェクト領域から背景画像間に亘って徐々に画素値を変化させることができるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない背景画像との合成画像を生成することができる。
ここで、前記境界領域や前記背景画像を構成する画素群の「画素値」とは、例えば、画その色を表す値であって、表現方法としては、ＲＧＢ値、ＣＭＹＫ値、ＣＩＥＬａｂやＸＹＺなどの表色系における色座標、輝度／色差、色相／彩度／明度などがある。また、これらに加えて透明度値を画素値として持つことがある（以下の画像処理装置及びプログラムおいて同じである）。

［発明５］発明５の画像処理方法は、
発明４に記載の画像処理方法において、前記境界領域を構成する画素群の画素値を、前記背景画像側になるに従って当該背景画像を構成する画素群の画素値との差異が徐々に小さくなるように調整するようにしたことを特徴とする画像処理方法である。

これによって、画像オブジェクト領域から背景画像間に亘って徐々に画素値が変化するようになるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができる。

［発明６］発明６の画像処理方法は、
発明４に記載の画像処理方法において、前記境界領域を構成する画素群の画素値の透明度を、前記背景画像側になるに従って徐々に大きくなるように調整するようにしたことを特徴とする画像処理方法である。

これによって、画像オブジェクト領域から背景画像間に亘って徐々に背景画像の画素値の影響がでてくるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができる。

［発明７］発明７の画像処理方法は、
発明１〜６のいずれかに記載の画像処理方法において、前記所定の領域判定条件が下記の条件１〜３であることを特徴とする画像処理方法である。

（条件１）前記第１画素群は、隣接する前記画素間における前記画素値の差異が所定の閾値Ａよりも小さい、前記注目画素より前記所定の方向へ連続した画素群であり、
（条件２）前記境界画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａ以上、かつ、前記画素値の変化の差異が所定の閾値Ｂよりも小さい、前記所定の方向に前記第１画素群より連続した画素群であり、
（条件３）前記第２画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａよりも小さい、かつ、前記第１画素群との前記画素値の差異が所定の閾値Ｃ以上である、前記所定の方向に前記境界画素群より連続した画素群である。

これにより、第１画像群、第２画像群および境界画像群に属する画素を検索することができる。更に第１画像群、第２画像群および境界画像群を検出することにより、画像オブジェクト領域と境界領域に分割することができる。

［発明８］発明８の画像処理装置は、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理装置であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段を備えたことを特徴とする画像処理装置である。

これによって、発明１と同様に、明確なエッジにより分割できない画像オブジェクト領域間の曖昧部分を境界領域として独自の領域として検出することが可能となるため、対象画像を画像オブジェクト領域と境界領域とからなる一つの画像領域として分割することができる。
［発明９］発明９の画像処理装置は、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域に分割する画像処理装置であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、その後、当該境界領域を構成する画素値に基づいて当該境界領域内に分割線を決定し、当該分割線を境に前記境界領域内を、前記第１画像オブジェクト領域側と前記第２画像オブジェクト領域側とに分割する境界領域分割手段とを備えたことを特徴とする画像処理方法である。

これによって、発明２と同様に、明確なエッジにより分割できなかった画像オブジェクト領域間の曖昧部分である境界領域内で、第１画像オブジェクト領域と前記第２画像オブジェクト領域とを確実に分割することができる。

［発明１０］発明１０の画像処理装置は、
発明９に記載の画像処理装置において、境界領域分割手段によって決定される前記境界領域内における分割線は、前記第１画像オブジェクト領域との境界に沿って位置する画素の画素値と、前記第２画像オブジェクト領域との境界に沿って位置する画素の画素値との中間の値又は中間の値に最も近い画素値を有する画素を選択し、選択した画素同士を前記境界に沿って連続した線を用いるようになっていることを特徴とする画像処理方法である。

これによって、発明３と同様に、不自然な位置で分割線が形成されることがなくなり、前記境界領域内で違和感のない分割が行われる。

［発明１１］発明１１の画像処理装置は、
複数個の画素の集合によって構成される対象画像中に存在する任意の画像オブジェクト領域を他の背景画像に合成する画像処理装置であって、前記画素の画素情報及び所定の領域判定条件に基づいて、前記任意の画像オブジェクト領域を、当該画像オブジェクトと境界領域を介して隣接する他の画像オブジェクト領域から前記境界領域と共に分割する画像オブジェクト分割手段と、当該画像オブジェクト領域を前記境界領域と共に他の背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する画素値調整手段とを備えたことを特徴とする画像処理装置である。

これによって、発明４と同様に、画像オブジェクト領域から背景画像間に亘って徐々に画素値を変化させることができるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない背景画像との合成画像を生成することができる。

［発明１２］発明１２の画像処理装置は、
発明１１に記載の画像処理装置において、前記画素値調整手段は、前記境界領域を構成する画素群の画素値を、前記背景画像側になるに従って当該背景画像を構成する画素群の画素値との差異が徐々に小さくなるように調整するようになっていることを特徴とする画像処理装置である。

これによって、発明５と同様に、画像オブジェクト領域から背景画像間に亘って徐々に画素値が変化するようになるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができる。

［発明１３］発明１３の画像処理装置は、
発明１１に記載の画像処理装置において、前記画素値調整手段は、前記境界領域を構成する画素群の画素値の透明度を、前記背景画像側になるに従って徐々に大きくなるように調整するようになっていることを特徴とする画像処理装置である。

これによって、発明６と同様に、画像オブジェクト領域から背景画像間に亘って徐々に背景画像の画素値の影響がでてくるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができる。

［発明１４］発明１４の画像処理装置は、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出すると共に、当該画像オブジェクト領域を分割して他の背景画像に合成する画像処理装置であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、前記第１画像オブジェクト領域又は第２画像オブジェクト領域のうちいずれか一方を前記境界領域と共に分割して前記背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する領域情報生成手段と、を備えたことを特徴とする画像処理装置である。

［発明１５］発明１５の画像処理プログラムは、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理プログラムであって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段を、コンピュータに機能させることを特徴とする画像処理プログラムである。

これによって、発明２と同様に、明確なエッジにより分割できなかった画像オブジェクト領域間の曖昧部分である境界領域内で、第１画像オブジェクト領域と前記第２画像オブジェクト領域とを確実に分割することができる。また、パソコン（ＰＣ）等の汎用のコンピュータをそのまま利用することができるため、専用のハードウェアを構築して実現する場合に比べて容易かつ経済的に実現することができる。また、プログラムの一部を改変するだけで容易にその機能の改良を実現することも可能となる。

［発明１６］発明１６の画像処理プログラムは、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域に分割する画像処理プログラムであって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、その後、当該境界領域を構成する画素値に基づいて当該境界領域内に分割線を決定し、当該分割線を境に前記境界領域内を、前記第１画像オブジェクト領域側と前記第２画像オブジェクト領域側とに分割する境界領域分割手段とを備えたことを特徴とする画像処理プログラムである。

これによって、発明２と同様に、明確なエッジにより分割できなかった画像オブジェクト領域間の曖昧部分である境界領域内で、第１画像オブジェクト領域と前記第２画像オブジェクト領域とを確実に分割することができると共に、発明１５と同様に、容易かつ経済的に実現することができる。

［発明１７］発明１７の画像処理プログラムは、
発明１６に記載の画像処理プログラムにおいて、境界領域分割手段によって決定される前記境界領域内における分割線は、前記第１画像オブジェクト領域との境界に沿って位置する画素の画素値と、前記第２画像オブジェクト領域との境界に沿って位置する画素の画素値との中間の値又は中間の値に最も近い画素値を有する画素を選択し、選択した画素同士を前記境界に沿って連続した線を用いるようになっていることを特徴とする画像処理プログラムである。

これによって、発明３と同様に、不自然な位置で分割線が形成されることがなくなり、前記境界領域内で違和感のない分割が行われると共に、発明１５と同様に、容易かつ経済的に実現することができる。

［発明１８］発明１８の画像処理プログラムは、
複数個の画素の集合によって構成される対象画像中に存在する任意の画像オブジェクト領域を他の背景画像に合成する画像処理プログラムであって、前記任意の画像オブジェクト領域を、当該画像オブジェクトと境界領域を介して隣接する他の画像オブジェクト領域から前記境界領域と共に分割する画像オブジェクト分割手段と、当該画像オブジェクト領域を前記境界領域と共に他の背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する画素値調整手段とを備えたことを特徴とする画像処理プログラムである。

これによって、発明４と同様に、画像オブジェクト領域から背景画像間に亘って徐々に画素値を変化させることができるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない背景画像との合成画像を生成することができると共に、発明１５と同様に、容易かつ経済的に実現することができる。

［発明１９］発明１９の画像処理プログラムは、
発明１８に記載の画像処理プログラムにおいて、前記画素値調整手段は、前記境界領域を構成する画素群の画素値を、前記背景画像側になるに従って当該背景画像を構成する画素群の画素値との差異が徐々に小さくなるように調整するようになっていることを特徴とする画像処理プログラムである。

これによって、発明５と同様に、画像オブジェクト領域から背景画像間に亘って徐々に画素値が変化するようになるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができると共に、発明１５と同様に、容易かつ経済的に実現することができる。

［発明２０］発明２０の画像処理プログラムは、
発明１８に記載の画像処理プログラムにおいて、前記画素値調整手段は、前記境界領域を構成する画素群の画素値の透明度を、前記背景画像側になるに従って徐々に大きくなるように調整するようになっていることを特徴とする画像処理プログラムである。

これによって、発明６と同様に、画像オブジェクト領域から背景画像間に亘って徐々に背景画像の画素値の影響がでてくるため、画像オブジェクト領域の周囲と背景画像との間に違和感のない合成画像を生成することができると共に、発明１５と同様に、容易かつ経済的に実現することができる。

［発明２１］発明２１の画像処理プログラムは、
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出すると共に、当該画像オブジェクト領域を分割して他の背景画像に合成する画像処理プログラムであって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、前記第１画像オブジェクト領域又は第２画像オブジェクト領域のうちいずれか一方を前記境界領域と共に分割して前記背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する領域情報生成手段と、をコンピュータに機能させることを特徴とする画像処理プログラムである。

［発明２２］発明２２の画像処理装置は、
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理装置であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出することを特徴とする画像処理装置である。

これにより、対象画像内の画像オブジェクトが明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。

［発明２３］発明２３の画像処理装置は、
発明２２において、前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出手段と、前記画像変化検出手段によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶手段と、前記画像変化情報記憶手段によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出手段と、前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力手段と、を備えていることを特徴とする画像処理装置である。

これにより、対象画像内の画像オブジェクトが明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して、検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。

［発明２４］発明２４の画像処理装置は、
発明２３において、前記所定の領域判定条件が、（条件１）前記第１画素群は、隣接する前記画素間における前記画素値の差異が所定の閾値Ａよりも小さい、前記注目画素より前記所定の方向へ連続した画素群であり、（条件２）前記境界画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａ以上、かつ、前記画素値の変化の差異が所定の閾値Ｂよりも小さい、前記所定の方向に前記第１画素群より連続した画素群であり、（条件３）前記第２画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａよりも小さい、かつ、前記第１画素群との前記画素値の差異が所定の閾値Ｃ以上である、前記所定の方向に前記境界画素群より連続した画素群であることを特徴とする画像処理装置である。

［発明２５］発明２５の画像処理装置は、
発明２３または２４において、前記所定の方向が、前記注目画素の中心と前記注目画素に接する前記画素の中心とを結ぶ線分方向の中の少なくとも異なる２方向であることを特徴とする画像処理装置である。

これにより、対象領域を２次元な広がりを有する画像領域として分割することができる。

［発明２６］発明２６の画像処理装置は、
発明２２から２５において、検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定する境界領域処理手段を備えていることを特徴とする画像処理装置である。

これにより、明確なエッジにより分割できなかった画像オブジェクト領域の境界部を、所定の境界領域分割条件によって境界領域を分割した境界線とすることにより、隣接する画像オブジェクト領域間の境界部を決定することができる。従って、エッジ判定できないような対象領域であっても、画像オブジェクト領域に分割することができる。

［発明２７］発明２７の画像処理装置は、
発明２２から２６において、前記対象画像の画像情報を入力し、前記対象画像を前記画像領域に分割するために必要な前記対象画像を構成する前記画素の前記画素情報を生成し、所定の記憶部に記憶する画像入力手段を備えていることを特徴とする画像処理装置である。
これにより、入力した画像処理の対象となる対象画像の画像情報が、どのような形式の情報であっても、画像処理を実行することができる。

［発明２８］発明２８の画像処理装置は、
発明２２から２７において、前記所定の領域判定条件を設定し、所定の記憶部に格納する条件設定手段を備えていることを特徴とする画像処理装置である。
これにより、対象画像を画像オブジェクト領域または境界領域に分割するための最適な領域分割条件を設定することができる。

［発明２９］発明２９の画像処理方法は、
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像領域に分割する画像処理方法であって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出することを特徴とする画像処理方法である。

［発明３０］発明３０の画像処理方法は、
発明２９において、（ａ）前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出工程と、（ｂ）前記画像変化検出工程によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶工程と、（ｃ）前記画像変化情報記憶工程によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出工程と、（ｄ）前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力工程と、を備えていることを特徴とする画像処理方法である。

［発明３１］発明３１の画像処理方法は、
発明３０において、（ｅ）前記画像変化検出工程によって検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定し、決定する境界領域処理工程を、前記閉領域検出工程（ｃ）と前記領域情報出力工程（ｄ）との間に備えていることを特徴とする画像処理方法である。

［発明３２］発明３２の画像処理プログラムは、
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像領域に分割する処理をコンピュータに実行させるプログラムであって、隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する処理をコンピュータに実行させるプログラムである。

［発明３３］発明３３の画像処理プログラムは、
発明３２において、画像処理方法の（ａ）前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出工程と、（ｂ）前記画像変化検出工程によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶工程と、（ｃ）前記画像変化情報記憶工程によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出工程と、（ｄ）前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力工程と、（ｅ）前記画像変化検出工程によって検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定する境界領域処理工程と、を実行させるプログラムである。

これにより、対象画像内の画像オブジェクトが明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して、検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。更に、明確なエッジにより分割できなかった画像オブジェクト領域の境界部を、所定の境界領域分割条件によって境界領域を分割した境界線とすることにより、隣接する画像オブジェクト領域間の境界部を決定することができる。従って、エッジ判定できないような対象領域であっても、画像オブジェクト領域に分割することができる。

［発明３４］発明３４の画像処理装置は、
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理装置であって、前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成することを特徴とする画像処理装置である。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
また、対象画像オブジェクト領域と境界領域とを、背景画像と合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。

［発明３５］発明３５の画像処理装置は、
発明３４において、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出手段と、前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成手段と、を備えていることを特徴とする画像処理装置である。

［発明３６］発明３６の画像処理装置は、
発明３５において、前記領域情報生成手段が、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出手段を備えていることを特徴とする画像処理装置である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明３７］発明３７の画像処理装置は、
発明３５において、前記領域情報生成手段が、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出手段によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成手段を備えていることを特徴とする画像処理装置である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明３８］発明３８の画像処理装置は、
発明３５において、前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出手段によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力手段を備えていることを特徴とする画像処理装置である。

これにより、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明３９］発明３９の画像処理装置は、
発明３７において、前記合成画像情報生成手段によって生成された前記合成画像の画像情報を出力する合成画像情報出力手段を備えていることを特徴とする画像処理装置である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４０］発明４０の画像処理装置は、
発明３５において、前記境界領域検出手段は、前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記対象画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記隣接画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出手段と、前記画像変化検出手段によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶手段と、前記画像変化情報記憶手段によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、前記閉領域として検出する閉領域検出手段と、を備えていることを特徴とする画像処理装置である。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
［発明４１］発明４１の画像処理装置は、
発明３５から４０のいずれか１つにおいて、前記所定の領域判定条件を設定し、所定の記憶部に格納する条件設定手段を備えていることを特徴とする画像処理装置。

これにより、対象画像を画像オブジェクト領域または境界領域に分割するための最適な領域分割条件を設定することができる。
［発明４２］発明４２の画像処理装置は、
発明３４から４１のいずれか１つにおいて、前記対象画像の前記画像情報または前記背景画像の前記画像情報を入力し、内部処理形式の前記対象画像の前記画像情報を生成し、所定の記憶部に記憶する画像入力手段を備えていることを特徴とする画像処理装置である。

これにより、入力した画像処理の対象となる対象画像の画像情報が、どのような形式の情報であっても、画像処理を実行することができる。
［発明４２］発明４２の画像処理方法は、
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理方法であって、前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成することを特徴とする画像処理方法である。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
また、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４３］発明４３の画像処理方法は、
発明４２において、（ａ）前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出工程と、（ｂ）前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成工程と、を備えていることを特徴とする画像処理方法である。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
また、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４４］発明４４の画像処理方法は、
発明４３において、前記領域情報生成工程（ｂ）が、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出工程を備えていることを特徴とする画像処理方法である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４５］発明４５の画像処理方法は、
発明４４において、前記領域情報生成工程（ｂ）が、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出工程によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成工程を備えていることを特徴とする画像処理方法である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４６］発明４６の画像処理方法は、
発明４４において、前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出方法によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力方法を備えていることを特徴とする画像処理方法である。

これにより、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４７］発明４７の画像処理方法は、
発明４５において、前記合成画像情報生成方法によって生成された前記合成画像の画像情報を出力する合成画像情報出力方法を備えていることを特徴とする画像処理方法である。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４８］発明４８の画像処理プログラムは、
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する処理をコンピュータに実行させるプログラムであって、前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成する処理をコンピュータに実行させるプログラムである。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
また、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明４９］発明４９の画像処理プログラムは、
発明４８において、画像処理方法の（ａ）前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出工程と、（ｂ）前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記対象画像オブジェクト領域および前記境界領域と前記背景画像とを合成したときの合成画像における前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成工程と、をコンピュータに実行させるプログラムである。

これにより、対象画像内の画像オブジェクト領域が明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。
また、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明５０］発明５０の画像処理プログラムは、
発明４９において、前記領域情報生成工程（ｂ）が、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出工程を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させるプログラムである。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。また、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明５１］発明５１の画像処理プログラムは、
発明５０において、前記領域情報生成工程（ｂ）が、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出工程によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成工程を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させるプログラムである。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明５２］発明５２の画像処理プログラムは、
発明５０において、前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出方法によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力方法を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させるプログラムである。

これにより、境界領域の画像情報から隣接する隣接画像オブジェクト領域の特性による影響を取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。
［発明５３］発明５３の画像処理プログラムは、
発明５１において、前記合成画像情報生成方法によって生成された前記合成画像の画像情報を出力する合成画像情報出力方法を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させるプログラムである。

これにより、対象画像オブジェクト領域と境界領域と背景画像とを合成して合成画像を生成するとき、境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクト領域の周囲に違和感のない合成画像を生成することができる。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。なお、以下に説明する第１の実施の形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施態様を採用することが可能であるが、これらの実施態様も本発明の範囲に含まれる。

図１は、画像処理装置の構成図である。
画像処理装置１００は、制御プログラムに基づいて演算および装置全体を制御するＣＰＵ１０１と、所定領域にあらかじめＣＰＵ１０１の制御プログラム等を格納しているＲＯＭ１０２と、ＲＯＭ１０２等から読み出された情報やＣＰＵ１０１の演算過程において必要な演算結果を格納するためのＲＡＭ１０３と、外部装置に対して情報の入出力を媒介するインタフェース１０４を備えており、これらは、情報を転送するための信号線であるバス１０５により相互にかつ情報授受可能に接続されている。

インタフェース１０４には、外部装置として、データの入力が可能なキーボード、マウス等の入力装置１０６と、画像処理の対象となる画像の画像情報を格納している記憶装置１０７と、画像処理した結果を画面等に出力する出力装置１０８とが接続されている。
図２は、画像処理装置の機能ブロック図の一例である。
画像処理装置１００は、画像変化検出手段２０１、画像変化情報記憶手段２０２、閉領域検出手段２０３、領域情報出力手段２０４、画像入力手段２０５および条件設定手段２０６を備えている。

画像入力手段２０５は、対象画像の画像情報を入力し、対象画像を構成している画素毎の画素情報として取得し、画像情報記憶部２１１に格納する。また、画像入力手段２０５は、対象領域を画像領域に分割する等の画像処理に必要な画素情報を生成する。例えば、入力された画像情報がＣＭＹＫ値であり、対象画像を画像領域に分割するためＲＧＢ値が必要である場合に、画像入力手段２０５において、ＣＭＹＫ値からＲＧＢ値を生成し、生成したＲＧＢ値を画素情報として画像情報記憶部２１１に格納する。

画像変化検出手段２０１は、注目画素から所定の方向に連続した複数個の画素の特性と所定の領域判定条件とに基づいて、隣接する２つの画像オブジェクト領域である第１画像オブジェクト領域と第２画像オブジェクト領域にそれぞれ属する第１画素群と第２画素群、および第１画素群と第２画素群とに挟まれた境界画素群とを検出する。ここで、画素の特性は、色相値、彩度値、明度値等である。また、画素の特性は画像情報記憶部２１１から読み出し、領域判定条件は条件情報記憶部２１２から読み出す。更に、検出した各画素群に属する画素の領域属性を設定する。第１画素群に属する画素は第１画像オブジェクト領域を識別する領域属性を、第２画素群に属する画素は第２画像オブジェクト領域を識別する領域属性を、境界画素群に属する画素は第１画像オブジェクト領域と第２画像オブジェクト領域との境界領域を識別する領域属性を設定する。

図１９は、第１画素群、第２画素群および境界画素群を説明するための模式図である。注目画素ｐ０から所定の方向（例えば、Ｘ方向）へ連続した画素ｐｉを順次取り出し、取り出した画素ｐｉの特性、必要によっては画素ｐｊから画素ｐｉまでの特性および所定の領域判定条件に基づいて、順次取り出した画素ｐｉが第１画素群、第２画素群または境界画素群に属するかを検索する。領域判定条件が下記の３条件である場合について、以下説明する。

（条件１）第１画素群は、隣接する画素間における特性の差異が所定の閾値Ａよりも小さい、注目画素より所定の方向へ連続した画素群である。
（条件２）境界画素群は、隣接する画素間における特性の差異が所定の閾値Ａ以上、かつ、特性の変化の差異が所定の閾値Ｂよりも小さい、所定の方向に第１画素群より連続した画素群である。

（条件３）第２画素群は、隣接する画素間における特性の差異が所定の閾値Ａよりも小さい、かつ、第１画素群との特性の差異が所定の閾値Ｃ以上である、所定の方向に境界画素群より連続した画素群である。
ここで、特性の変化の差異ｃｉとは、画素ｐｉ−２と画素ｐｉ−１との特性差異と、画素ｐｉ−１と画素ｐｉとの特性差異と、の差分の絶対値である。取り出した画素ｐｉの特性を特性ａｉとすると、隣接する画素間の特性差異ｂｉは、ｂｉ＝ａｉ−ａｉ−１であり、変化の差異ｃｉは、ｃｉ＝｜ｂｉ−ｂｉ−１｜である。また、第１画素群と画素ｐｉとの特性差異とは、第１画素群を代表する特性と画素ｐｉの特性との差分の絶対値であり、第１画素群を代表する特性をａ０とすると、画素ｐｉとの特性差異ｄｉは、ｄｉ＝｜ａ０−ａｉ｜である。

図１９においては、画素を順次検索していくと、条件１である（ｂｉ＜Ａ）を満足する画素は、ｉ＝０から２であり、条件２である｛（ｂｉ＞＝Ａ）かつ（ｂｉ＋１＞＝Ａ）｝かつ（ｃｉ＜Ｂ）かつ（条件１を満足する画素より所定の方向に存在）を満足する画素は、ｉ＝３から６であり、条件３である［｛（ｂｉ＞＝Ａ）かつ（ｂｉ＋１＜Ａ）｝または（ｂｉ＜Ａ）］かつ（ｄｉ＞＝Ｃ）かつ（条件２を満足する画素より所定の方向に存在）を満足する画素は、ｉ＝７から８である。従って、第１画素群として｛ｐ０、ｐ１、ｐ２｝が、境界画素群として｛ｐ３、ｐ４、ｐ５、ｐ６｝が、第２画素群として｛ｐ７、ｐ８｝が検出される。

画像変化情報記憶手段２０２は、画像変化検出手段２０１において検出した各画素の領域属性をその画素の画素情報の一部として画像情報記憶部２１１に記憶する。
閉領域検出手段２０３は、画像情報記憶部２１１に記憶された各画素の領域属性を読み出し、同一の領域属性を有する連続した画素群を閉領域として検出する。例えば、図２０において、第１画素群に属する画素の領域属性と同一の領域属性を有する画素を検索し、検索した画素の中から連続する画素によって構成される領域を検出すると、検出された領域は閉領域となり、第１画素オブジェクト領域と同一となる。

領域情報出力手段２０４は、閉領域検出手段２０３によって検出した閉領域が、どの画像オブジェクト領域であるか、または、どことどこの画像オブジェクト領域の境界領域であるかを識別する領域情報を出力する。
条件設定手段２０６は、上述した画像変化検出手段２０１において、画素の領域属性を検出するために使用される条件の設定情報を、条件情報記憶部２１２より読み出して編集したり、また新たに追加したりする。例えば、上述した領域条件情報の閾値Ａ，Ｂ，Ｃ等の値を変更し、条件情報記憶部２１２に記憶することも、条件４として他の条件を追加することも可能である。

また、画像処理装置１００は、更に、境界領域処理手段２０７を備えていてもよい。境界領域処理手段２０７は、２個の画像オブジェクト領域間に挟まれた境界領域を２つの分割境界領域に分割し、それぞれの分割境界領域が付属する画像オブジェクト領域を判定し、決定する。また、決定した分割境界領域を付属した新たな画像オブジェクト領域である閉領域を検出する。即ち、分割境界領域に属する画素の領域属性を、その分割境界領域が付属する画像オブジェクト領域と識別できるように変更し、画像情報記憶部２１１に記憶する。

図３（ａ）は、対象画像を画像オブジェクト領域および境界領域からなる画像領域に分割する画像処理のフローチャート図の一例である。
まず、画像処理の対象となる対象画像の画像情報を入力し、画素ごとの画素情報として画像情報記憶部２１１に記憶する（Ｓ３０１）。ここで、以降の画像処理に必要な画素情報を、必要に応じて生成することも可能である。次に、対象画像を画像オブジェクト領域または境界領域に分割するための境界条件情報を条件情報記憶部２１２から読み出す（Ｓ３０２）。

次に、注目画素から所定の方向へ連続した画素の特性と、ステップＳ３０２によって読み出した境界条件情報とに基づいて、隣接する２つの画像オブジェクト領域である第１画像オブジェクト領域と第２画像オブジェクト領域にそれぞれ属する第１画素群と第２画素群、および第１画素群と第２画素群とに挟まれた境界画素群とを検出し、検出した各画素群に属する画素の領域属性を設定し、設定各画素の領域属性をその画素の画素情報の一部として画像情報記憶部２１１に記憶する（Ｓ３０３）。

次に、対象領域を構成するすべての画素に対して領域属性を設定したか否かを判定し（Ｓ３０４）、すべての画素に対して領域属性を設定していない場合（Ｓ３０４；Ｎｏ）は、すべての画素に対して領域属性を設定するまで、ステップＳ３０３を繰り返す。すべての画素に対して領域属性を設定した場合（Ｓ３０４；Ｙｅｓ）は、画像情報記憶部２１１に記憶された画素の領域属性を読み出し、同一の領域属性を有する、連続した画素を検索し、検索した画素によって構成される閉領域を検出し、検出した閉領域である画像領域を識別する領域情報を設定し、画像情報記憶部２１１に記憶する（Ｓ３０５）。最後に、分割された画像領域の領域情報を画像情報記憶部２１１より読み出し、任意の出力形式により出力する（Ｓ３０６）。

例えば、図２４（ａ）に示した対象画像を、上述したステップＳ３０１からステップＳ３０６の各工程により画像処理すると、対象画像を構成するすべての画素の領域属性が検出され、検出された画素の領域属性により閉領域を検出される。検出された閉領域を領域情報によって識別すると、図９（ａ）に示すような、対象画像は、画像オブジェクト領域Ａ、画像オブジェクト領域Ｂおよび境界領域Ａ−Ｂに分割される。

また、上述の図３（ａ）の画像処理においては、境界領域を対象画像の１つのが画像領域として識別しているが、対象領域を画像オブジェクト領域のみに分割することもできる。図３（ｂ）は、対象画像を画像オブジェクト領域に分割した場合の画像処理のフローチャート図の一例である。ここで、ステップＳ３１１からステップＳ３１５は、図３（ａ）のステップＳ３０１からＳ３０５の各ステップに対応することから説明は省略する。

ステップＳ３１５にて検索した、２個の画像オブジェクト領域間に挟まれた境界領域を２つの分割境界領域に分割し、それぞれの分割境界領域が付属する画像オブジェクト領域を判定し、決定する（Ｓ３１６）。次に、分割境界領域に属する画素の領域属性を、その分割境界領域が付属する画像オブジェクト領域と識別できるように変更し、画像情報記憶部２１１に記憶するとともに、決定した分割境界領域を付属した新たな画像オブジェクト領域である閉領域を検出し、検出した閉領域である画像領域を識別する領域情報を設定し、画像情報記憶部２１１に記憶する（Ｓ３１７）。最後に、分割された画像領域の領域情報を画像情報記憶部２１１より読み出し、任意の出力形式により出力する（Ｓ３１８）。

例えば、図２３（ａ）に示した対象画像を、上述したステップＳ３１１からステップＳ３１８の各工程により画像処理すると、対象画像を構成するすべての画素の領域属性が検出され、検出された画素の領域属性により閉領域を検出される。検出された閉領域を領域情報によって識別すると、図９（ｂ）に示すような、対象画像は、画像オブジェクト領域Ａおよび画像オブジェクト領域Ｂに分割される。

図４および図５は、図３のステップＳ３０３およびステップＳ３１３に対応する画像変化検出処理のフローチャート図である。
まず、注目画素ｐ０の初期画素を設定し、注目画素ｐ０を第１画素群として設定する（Ｓ４０１）。次に、比較画素ｐｉを順次検索する走査方向ｓｉを設定する（Ｓ４０２）。ここで、注目画素ｐ０の座標を（ｘ０、ｙ０）とし、比較画素ｐｉを（ｘｉ，ｙｉ）とし、走査方向ｓｉを（ｓｘ、ｓｙ）としたとき、ｘｉ＝ｘ０＋ｉ・ｓｘ、ｙｉ＝ｙ０＋ｉ・ｓｙである。また、ｓｘ、ｓｙは、それぞれ１、０または−１のいずれか１つであり、ｉは正整数である。例えば、走査方向を正のＸ方向とする場合、（ｓｘ、ｓｙ）＝（１，０）である。次に、比較画素ｐｉの初期画素ｐ１を設定する（Ｓ４０３）。

次に、比較画素ｐｉの属する画素群を判定する（Ｓ４０４）。比較画素ｐｉが第１画素群に属する場合（Ｓ４０４；「第１画素群」）は、比較画素ｐｉを第１画素群に属する画素として設定し（Ｓ４０５）、次のステップＳ４０８へ移行する。同様に、比較画素ｐｉが境界画素群に属する場合（Ｓ４０４；「境界画素群」）は、比較画素ｐｉを境界画素群に属する画素として設定し（Ｓ４０６）、次のステップＳ４０８へ移行し、比較画素ｐｉが第２画素群に属する場合（Ｓ４０４；「第２画素群」）は、比較画素ｐｉを第２画素群に属する画素として設定し（Ｓ４０７）、次のステップＳ４０８へ移行する。比較画素ｐｉが上述の画素群に属さない場合（Ｓ４０４；「その他」）は、次のステップＳ４１０へ移行する。

次に、次の新しい比較画素ｐｉを設定する（Ｓ４０８）。即ち、ｉ＝ｉ＋１として、新しい比較画素ｐｉを設定する。次に、設定した比較画素ｐｉが存在するか否かを判定し（Ｓ４０９）、比較画素ｐｉが存在する場合（Ｓ４０９；Ｙｅｓ）は、ステップＳ４０４へ移行する。一方、比較画素ｐｉが存在しない場合（Ｓ４０９；Ｎｏ）は、ステップＳ４１０へ移行する。

次に、第１画素群、境界画素群または第２画素群に属する画素が存在するか否かを判定し（Ｓ４１０）、第１画素群、境界画素群または第２画素群に属する画素が存在する場合（Ｓ４１０；Ｙｅｓ）は、第１画素群、境界画素群または第２画素群に属するすべての画素の領域属性を設定し（Ｓ４１１）、画像情報記憶部２１１に記憶し（Ｓ４１２）、次のステップＳ４１３へ移行する。即ち、第１画素群に属する画素の領域属性を第１画像オブジェクト領域として、第２画素群に属する画素の領域属性を第２画像オブジェクト領域として、境界画素群に属する画素の領域属性を第１画像オブジェクト領域と第２画像オブジェクト領域との境界領域として設定する。一方、第１画素群、境界画素群または第２画素群に属する画素が存在しない場合（Ｓ４１０；Ｎｏ）は、次のステップＳ４１３へ移行する。

次に、全ての走査方向への検索が終了したか否かを判定する（Ｓ４１３）。例えば、Ｘ方向とＹ方向の２方向を走査方向とする場合は、注目画素Ｐ０よりＸ方向とＹ方向とへの２方向に対して比較画素ｐｉを検索したか否かを判定する。全ての走査方向への検索を終了していない場合（Ｓ４１３；Ｎｏ）は、次の走査方向ｓｉを設定し（Ｓ４１４）、ステップＳ４０３へ移行する。

一方、全ての走査方向への検索を終了した場合（Ｓ４１３；Ｙｅｓ）は、対象画像の全ての画素の領域属性を設定したか否かを判定し（Ｓ４１５）、対象画像の全ての画素の領域属性を設定していない場合（Ｓ４１５；Ｎｏ）は、次の注目画素ｐ０を設定し（Ｓ４１６）、ステップＳ４０２へ移行する。一方、対象画像の全ての画素の領域属性を設定した場合（Ｓ４１５；Ｙｅｓ）は、処理を終了する。

図６乃至図８は、図１９に説明した境界判定条件により、図４のステップＳ４０４における比較画素ｐｉの属する画素群を判定する処理のフローチャート図である。
まず、比較画素ｐｉに対して、隣接する画素間の特性差異ｂｉを算出する（Ｓ６０１）。次に、第１画素群に属する画素を検索中か否かを判定し（Ｓ６０２）、第１画素群に属する画素を検索中である場合（Ｓ６０２；Ｙｅｓ）は、特性差異ｂｉが閾値Ａより小さいか否かを判定する（Ｓ６０３）。特性差異ｂｉが閾値Ａより小さい場合（Ｓ６０３；Ｙｅｓ）は、比較画素ｐｉを第１画素群に属する画素として設定し（Ｓ６０４）、ステップＳ６２５へ移行する。一方、特性差異ｂｉが閾値Ａ以上の場合（Ｓ６０３；Ｎｏ）は、第１画素群に属する画素を検索済みとし、境界画素群に属する画素を検索中として設定し（Ｓ６０５）、ステップＳ６２５へ移行する。

第１画素群に属する画素を検索中ではない場合（Ｓ６０２；Ｎｏ）は、境界画素群に属する画素を検索中か否かを判定する（Ｓ６０６）。境界画素群に属する画素を検索中である場合（Ｓ６０６；Ｙｅｓ）は、隣接する画素間の特性差異ｂｉ＋１を算出し（Ｓ６０７）、特性差異ｂｉと特性差異ｂｉ＋１とがともに閾値Ａ以上であるか否かを判定する（Ｓ６０８）。特性差異ｂｉと特性差異ｂｉ＋１とがともに閾値Ａ以上である場合（Ｓ６０８；Ｙｅｓ）は、特性の変化の差異ｃｉを算出し（Ｓ６０９）、特性の変化の差異ｃｉが閾値Ｂより小さいか否かを判定する（Ｓ６１０）。変化の差異ｃｉが閾値Ｂより小さい場合（Ｓ６１０；Ｙｅｓ）は、比較画素ｐｉを境界画素群に属する画素として設定し（Ｓ６１１）、ステップＳ６２５へ移行する。一方、特性差異ｂｉと特性差異ｂｉ＋１とがともに閾値Ａ以上ではない場合（Ｓ６０８；Ｎｏ）、特性の変化の差異ｃｉが閾値Ｂ以上の場合（Ｓ６１０；Ｎｏ）、は、境界画素群に属する画素が存在するか否かを判定する（Ｓ６１２）。境界画素群に属する画素が存在する場合（Ｓ６１２；Ｙｅｓ）は、境界画素群に属する画素を検索済みとし、第２画素群に属する画素を検索中として設定し（Ｓ６１３）、ステップＳ６２５へ移行する。一方、境界画素群に属する画素が存在しない場合（Ｓ６１２；Ｎｏ）は、比較画素ｐｉをその他の画素として設定し（Ｓ６１４）、ステップＳ６２５へ移行する。

境界画素群に属する画素を検索中ではない場合（Ｓ６０６；Ｎｏ）は、第２画素群に属する画素を検索中か否かを判定する（Ｓ６１５）。第２画素群に属する画素を検索中である場合（Ｓ６１５；Ｙｅｓ）は、特性差異ｂｉが閾値Ａより小さいか否かを判定する（Ｓ６１６）。特性差異ｂｉが閾値Ａより小さい場合（Ｓ６１６；Ｙｅｓ）は、第１画素群との特性差異ｄｉを算出し（Ｓ６１７）、第１画素群との特性差異ｄｉが閾値Ｃ以上であるか否か判定する（Ｓ６１８）。第１画素群との特性差異ｄｉが閾値Ｃ以上である場合（Ｓ６１８；Ｙｅｓ）は、比較画素ｐｉを第２画素群に属する画素として設定し（Ｓ６１９）、ステップＳ６２５へ移行する。一方、第１画素群との特性差異ｄｉが閾値Ｃより小さい場合（Ｓ６１８；Ｎｏ）は、次のステップＳ６２２へ移行する。また、特性差異ｂｉが閾値Ａ以上の場合（Ｓ６１６；Ｎｏ）は、隣接する画素間の特性差異ｂｉ＋１を算出し（Ｓ６２０）、特性差異ｂｉ＋１が閾値Ａより小さいか否かを判定する（Ｓ６２１）。特性差異ｂｉ＋１が閾値Ａより小さい場合（Ｓ６２１；Ｙｅｓ）は、ステップＳ６１７へ移行する。一方、特性差異ｂｉ＋１が閾値Ａ以上の場合（Ｓ６２１；Ｎｏ）は、第２画素群に属する画素が存在するか否かを判定する（Ｓ６２２）。第２画素群に属する画素が存在する場合（Ｓ６２２；Ｙｅｓ）は、第２画素群に属する画素を検索済みと設定する（Ｓ６２３）。次に、比較画素ｐｉをその他の画素として設定し（Ｓ６２４）、ステップＳ６２５へ移行する。一方、第２画素群に属する画素が存在しない場合（Ｓ６２２；Ｎｏ）は、ステップＳ６２４へ移行する。第２画素群に属する画素を検索中ではない場合（Ｓ６１７；Ｎｏ）は、比較画素ｐｉをその他の画素として設定し（Ｓ６２４）、ステップＳ６２５へ移行する。

次に、比較画素ｐｉがその他の画素であるか否かを判定し（Ｓ６２５）、比較画素ｐｉがその他の画素である場合（Ｓ６２５；Ｙｅｓ）は、第１画素群の検索中に設定し（Ｓ６２６）、処理を終了する。比較画素ｐｉがその他の画素ではない場合（Ｓ６２５；Ｎｏ）は、処理を終了する。
図９（ａ）に示すように対象画像の領域として境界領域が存在する場合における境界領域処理の一例を、図１０を参照して説明する。以下、図９（ａ）の境界領域Ａ−Ｂを２つの分割境界領域に分割する境界領域処理を例に挙げて、説明する。図１０（ａ）は、境界領域を構成する画素の座標位置により分割した場合の例を説明する図であり、図１０（ｂ）は、負荷軽減により分割した場合の例を説明する図であり、図１０（ｃ）は、境界領域を構成する画素の画像情報により分割した例を説明する図である。

図１０（ａ）に示すように、まず、境界領域Ａ−Ｂに属する画素の中から、画像オブジェクト領域Ａに接する画素ｐａを検索する。次に、この画素ｐａから近傍の画像オブジェクト領域Ａと境界領域Ａ−Ｂとの境界線に直交する方向（図では、Ｙ方向）に存在し、画像オブジェクト領域Ｂに接し、画素Ｐａから最も遠い位置に存在する画素ｐｂを、境界領域Ａ−Ｂに属する画素の中から検索する。この画素ｐａの中心点と画素ｐｂの中心点とを結ぶ線分７１０の中間点を分割点ｐｃとする。ここで、図１０（ａ）に示すように、境界領域Ａ−Ｂの左右端に位置する画像オブジェクト領域Ａに接する画素ｐｘを上述の画素ｐａとした場合、近傍の画像オブジェクト領域Ａと境界領域Ａ−Ｂとの境界線に直交する方向はＸ方向となる。このとき、Ｘ方向にも画像オブジェクト領域Ｂに接する画素ｐｂを検索すると、画像オブジェクト領域Ａに接する画素が検索されるため、画像オブジェクト領域Ｂに接する画素ｐｂの検索は中止される。

画像オブジェクト領域Ａに接する境界領域Ａ−Ｂに存在するすべての画素を対象に上述した分割点を検出し、検出したすべての分割点を結ぶ線を分割線７１１とする。ここで、画像オブジェクト領域Ａに接する境界領域Ａ−Ｂに存在するすべての画素の中心点と、このそれぞれの画素から検索された画像オブジェクト領域Ｂに接する境界領域Ａ−Ｂに存在する画素の中心点とを黒丸で示し、これらの中心点によって検出された分割点を白丸で示す。この分割線７１１によって境界領域Ａ−Ｂを２つの分割境界領域７０４、７０５に分割する。分割線７１１よりも画像オブジェクト領域Ａ側に存在する分割境界領域７０４を画像オブジェクト領域Ａに付属させ、分割線７１１よりも画像オブジェクト領域Ｂ側に存在する分割境界領域７０５を画像オブジェクト領域Ｂに付属させる。

上述の例においては、画像オブジェクト領域Ａに接するすべての画素を対象に分割点を検出したが、所定の間隔を置いた画素について分割点を検出することにより処理の負荷を軽減することも可能である。即ち、例えば、図１０（ｂ）のように、画像オブジェクト領域Ａに接する１つおきの画素を対象に分割点を検出することによって、処理の負荷を軽減することが可能である。

また、上述の例においては、画像オブジェクト領域Ａと画像オブジェクト領域Ｂとに接するそれぞれの画素ｐａ、ｐｂのそれぞれの中心点を結んだ線分７１０の中間点を分割点ｐｃとしているが、線分７１０上における画素情報の中間値に相当する位置を分割点ｐｃとすることも可能である。
例えば、画素情報がＲＧＢ値によって表現されているならば、上述した画素ｐａの中心点と画素ｐｂの中心点とを結ぶ線分７１０上において、図１０（ｃ）に示すように、ＲＧＢのいずれの値について、境界領域Ａ−Ｂに接する画像オブジェクト領域Ａの画素ｐｄの値と境界領域Ａ−Ｂに接する画像オブジェクト領域Ｂの画素ｐｅの値との中間値に相当する中間点を分割点ｐｆとすることも可能である。

この場合、ＲＧＢのうち画像オブジェクト領域間において最も変化の大きい値おける中間点を求めることにより、主要な変化の分割点ｐｆを得ることができる。また、ＲＧＢそれぞれの値について上述のような暫定的な分割点ｐｆ’を３点求め、求めた３点の平均の位置を最終的な分割点ｐｆとすることもできる。また、平均を求める際に、ＲＧＢそれぞれの変化の大きさに応じた加重平均を求め最終的な分割点ｐｆとしたりすることも可能である。この画素の画素情報によって分割点ｐｆを設定する方法は、ＲＧＢ値に限らず、画素情報として表現されている情報であるＣＭＹＫ値、ＣＩＥＬ＊ａ＊ｂ＊値等に適用することも可能である。

また、上述した図３乃至図８のフローチャートに示す処理を実行する場合には、ＲＯＭ１０２に予め格納されている制御プログラムを実行する場合について説明したが、これらの各工程を実行させるプログラムを記録した情報記録媒体から、そのプログラムをＲＡＭ１０３に読み込んで実行するようにしても良い。
ここで、情報記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記憶型／光学的読取方式記録媒体であって、電子的、磁気的、光学等の読み取り方法のいかんにかかわらず、コンピュータによって読み取り可能な情報記録媒体であれば、あらゆる情報記録媒体を含むものである。

次に、本発明の第２の実施の形態を図面を参照しながら説明する。なお、前記実施の形態と同様に、以下に説明する第２の実施の形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施態様を採用することが可能であるが、これらの実施態様も本発明の範囲に含まれる。

図１１は、本実施の形態にかかる画像処理装置１００の機能ブロック図の一例である。なお、この画像処理装置のハードウェア構成は、前記実施の形態と同じである。
画像処理装置１００は、境界領域検出手段２０８、領域情報生成手段２０９、領域情報出力手段２０４、画像入力手段２０５、条件設定手段２０６及び合成画像情報出力手段２１０を備えている。

画像入力手段２０４は、対象画像の画像情報を取得し、画像情報記憶部２１２に格納する。また、画像入力手段２０５は、対象画像を画像領域に分割する等の画像処理に必要な画像情報を生成する。例えば、入力された画像情報がＣＭＹＫ形式であり、対象画像を画像領域に分割するためにＲＧＢ形式の画像情報が必要である場合に、画像入力手段２０５において、ＣＭＹＫ形式の画像情報からＲＧＢ形式の画像情報を生成し、生成したＲＧＢ形式の画像情報を画像情報記憶部２１２に格納する。更に、選択した対象画像オブジェクトを新しい背景画像に貼り付けて、新しく合成画像を生成する場合は、背景画像の画像情報を取得し、背景画像情報記憶部２１３に格納する。

境界領域検出手段２０８は、対象画像の中から画像オブジェクト領域および境界領域を検出する。即ち、隣接する２つの画像オブジェクトの境界部近傍において、それぞれの画像オブジェクトの中間の特性を有する画素から構成された領域を境界領域として検出する。また、境界領域検出手段２０８は、画像変化検出手段２０１、画像変化情報記憶手段２０２および閉領域検出手段２０３を備えている。

画像変化検出手段２０１は、注目画素から所定の方向に連続した複数個の画素の特性と所定の領域判定条件とに基づいて、隣接する２つの画像オブジェクト領域をそれぞれ第１画像オブジェクト領域と第２画像オブジェクト領域とし、第１画像オブジェクト領域と第２画像オブジェクト領域のそれぞれに属する第１画素群と第２画素群、および第１画素群と第２画素群とに挟まれた境界画素群とを検出する。ここで、画素の特性は、色相値、彩度値、明度値等である。また、画素の特性は画像情報記憶部２１１から読み出し、領域判定条件は条件情報記憶部２１２から読み出す。更に、検出した各画素群に属する画素の領域属性を設定する。

画像変化情報記憶手段２０２は、画像変化検出手段２０１において検出した各画素の領域属性をその画素の画素情報の一部として画像情報記憶部２１１に記憶する。
閉領域検出手段２０３は、画像情報記憶部２１１に記憶された各画素の領域属性を読み出し、同一の領域属性を有する連続した画素群を閉領域として検出する。
領域情報生成手段２０９は、対象画像オブジェクト領域に接する境界領域の画素から隣接画像オブジェクト領域に接する境界領域の画素への特性の変化に基づいて、対象画像オブジェクトと背景画像とを合成した合成画像を生成するための境界領域に属する画素の画素情報を生成し、対象画像オブジェクト領域に属する画素の画素情報と生成した境界領域に属する画素の画素情報とから構成される対象画像オブジェクトの領域情報を生成する。即ち、対象画像オブジェクトを背景画像に貼り付けて合成画像を作成する場合に、対象画像オブジェクト領域の周縁部に違和感がないように境界領域の画像情報を調整する。ここで、対象画像において対象画像オブジェクトと隣接する画像オブジェクトを隣接画像オブジェクトと呼ぶ。また、対象画像オブジェクトの特性を有する画素から構成される領域を対象画像オブジェクト領域と呼び、隣接画像オブジェクトの特性を有する画素から構成される領域を隣接画像オブジェクト領域と呼ぶ。

また、領域情報生成手段２０９は、透明度算出手段２２４および合成画像情報生成手段２２５を備えている。
透明度算出手段２２４は、境界領域に属する画素について、対象画像オブジェクトと隣接画像オブジェクトとの中間の特性を数値化し、数値化した値をそれぞれの画素の画素情報として、画像情報記憶部２１１に格納する。即ち、対象画像オブジェクト領域と境界領域との境界線に直交する方向へ、対象画像オブジェクト領域に隣接した境界領域の画素より隣接画像オブジェクト領域に隣接した境界領域の画素までの連続した画素群に対して、対象画像オブジェクト領域に属する画素の特性の値から隣接画像オブジェクト領域に属する画素の特性の値への変化の割合に基づいて透明度を、順次算出する。ここで、図１７を参照して、境界領域の画素の透明度についての説明をする。

図１７（ａ）は、透明度を算出する画素の境界領域における検索順序を説明するための模式図であり、図１７（ｂ）は、境界領域における画素の画素情報の変化を示す図であり、図８（ｃ）は、境界領域における画素の透明度の変化を示す図である。以下、対象画像の対象画像オブジェクト領域を領域Ａで表し、対象画像の隣接画像オブジェクト領域を領域Ｂで表し、領域Ａと領域Ｂとに挟まれた領域を境界領域で表す。

図１７（ａ）に示すように、まず、境界領域に属する画素の中から、領域Ａに接する画素ｐ０を検索する。次に、この画素ｐ０から近傍の領域Ａと境界領域との境界線に直交する方向（図では、Ｙ方向）に存在する境界領域の画素ｐｉを、領域Ｂに接するまで検索する。即ち、図１７（ａ）において、斜線部の画素群｛ｐ０、ｐ１、ｐ２、ｐ３｝を検索する。次に、境界線に直交する方向で、ｐ１とは逆の方向に画素ｐ０と接する領域Ａの画素ｐａを検索する。更に、画素ｐ０から境界線に直交する方向の最遠の位置に存在する、境界領域の画素ｐｉに接する、領域Ｂの画素ｐｂを検索する。ここで、図１７（ａ）に示すように、境界領域の左右端に位置する領域Ａに接する画素ｐｘを上述の画素ｐ０とした場合、近傍の領域Ａと境界領域との境界線に直交する方向はＸ方向となる。このとき、Ｘ方向にも領域Ｂに接する画素ｐｂを検索すると、領域Ａに接する画素が検索されるため、領域Ｂに接する画素ｐｂの検索は中止される。

図１７（ｂ）は、検索した画素群｛ｐａ、ｐ０、ｐ１、ｐ２、ｐ３、ｐｂ｝のＲＧＢのそれぞれ値の変化を、画素の並び順に表したものである。そこで、領域Ａの値から領域Ｂの値に変化するまでの過程において、境界領域の各画素が、どのくらいの割合で変化しているかを透明度Ｄで表す。従って、透明度Ｄは下記の式によって表される。ここで、ＤＲｉ、ＤＧｉ、ＤＢｉは、画素ｐｉのＲＧＢそれぞれに対する透明度を表す。また、Ｒ（ｐｉ）、Ｇ（ｐｉ）、Ｂ（ｐｉ）は、画素ｐｉのＲＧＢそれぞれの値である。

ＤＲｉ＝（Ｒ（ｐａ）−Ｒ（ｐｉ））／（Ｒ（ｐａ）−Ｒ（ｐｂ））
ＤＧｉ＝（Ｇ（ｐａ）−Ｇ（ｐｉ））／（Ｇ（ｐａ）−Ｇ（ｐｂ））
ＤＢｉ＝（Ｂ（ｐａ）−Ｂ（ｐｉ））／（Ｂ（ｐａ）−Ｂ（ｐｂ））
図１７（ｃ）は、画素群｛ｐａ、ｐ０、ｐ１、ｐ２、ｐ３、ｐｂ｝のＲＧＢそれぞれの透明度を算出した結果を画素の並び順に表したものである。

合成画像情報生成手段２２５は、対象画像オブジェクトと背景画像とを合成した合成画像を生成し、合成画像情報記憶部２１４に格納する。合成画像を生成する際に、境界領域に属する画素の画素情報について、透明度算出手段２２４にて算出した画素の透明度情報、および、背景画像情報記憶部２１３より取得した境界領域に隣接する背景画像の画素の画素情報に基づいて、背景画像との違和感のない境界領域となる画素情報を新たに算出し、更新する。ここで、図１８を参照して、対象画像オブジェクトと背景画像とを合成するときの境界領域に属する画素の画素情報の調整について説明する。

図１８（ａ）は、背景画像による画素情報の調整をする画素の検索順序を説明するための模式図であり、図１８（ｂ）は、背景画像による境界領域に属する画素の画素情報の変化を示す図である。以下、対象画像オブジェクトと背景画素とを合成するときに、境界領域に隣接する背景画素の領域を領域Ｃとする。
図１８（ａ）に示すように、まず、境界領域に属する画素の中から、領域Ａに接する画素ｐ０を検索する。次に、この画素ｐ０から近傍の領域Ａと境界領域との境界線に直交する方向（図では、Ｙ方向）に存在する境界領域の画素ｐｉを、領域Ｃに接するまで検索する。即ち、図１８（ａ）において、斜線部の画素群｛ｐ０、ｐ１、ｐ２、ｐ３｝を検索する。次に、境界線に直交する方向で、ｐ１とは逆の方向に画素ｐ０と接する領域Ａの画素ｐａを検索する。更に、画素ｐ０から境界線に直交する方向の最遠の位置に存在する、境界領域の画素ｐｉに接する、境界線に直交する方向の領域Ｃの画素ｐｃを検索する。

検索した画素ｐｉの、領域Ｃの特性からの影響を考慮したＲＧＢの値はそれぞれ下記の式によって表される。ここで、ＤＲｉ、ＤＧｉ、ＤＢｉは、画素ｐｉのＲＧＢそれぞれに対する透明度を表す。また、Ｒ（ｐｉ）、Ｇ（ｐｉ）、Ｂ（ｐｉ）は、画素ｐｉのＲＧＢそれぞれの値である。
Ｒ（ｐｉ）＝Ｒ（ｐａ）＋（Ｒ（ｐｃ）−Ｒ（ｐａ））×ＤＲｉ
Ｇ（ｐｉ）＝Ｇ（ｐａ）＋（Ｇ（ｐｃ）−Ｇ（ｐａ））×ＤＧｉ
Ｂ（ｐｉ）＝Ｂ（ｐａ）＋（Ｂ（ｐｃ）−Ｂ（ｐａ））×ＤＢｉ
図１８（ｂ）は、検索した画素群｛ｐａ、ｐ０、ｐ１、ｐ２、ｐ３、ｐｃ｝のＲＧＢそれぞれの値の変化を、画素の並び順に表したものである。図１８（ｂ）からもわかるように、境界領域に属する画素において、元画像である対象画像の領域Ｂの画像情報を背景画像の領域Ｃの画像情報に置き換えることにより、領域Ａと領域Ｃとを違和感なく合成することができる。

合成画像情報出力手段２１０は、合成画像情報記憶部２１４に格納された合成画像の画像情報を出力する。
領域情報出力手段２０４は、境界領域検出手段２０８によって検出した対象画像オブジェクト領域と境界領域の領域情報に、領域情報生成手段２０９によって生成された境界領域の画素の透明度を透明度情報として、画素情報に付加し、対象画像オブジェクトの領域情報として出力する。

条件設定手段２０６は、上述した画像変化検出手段２０１において、領域情報を検出するために使用される条件の設定情報を、条件情報記憶部２１２より読み出して編集したり、また新たに追加したりする。例えば、上述した領域判定条件情報の閾値Ａ，Ｂ，Ｃ等の値を変更し、条件情報記憶部２１２に記憶することも、条件４として他の条件を追加することも可能である。

図１２は、ＲＯＭ１０２に予め格納されている制御プログラムによって、対象画像を画像オブジェクト領域および境界領域からなる画像領域に分割し、合成画像のための領域情報を生成する画像処理のフローチャート図の一例である。
まず、画像処理の対象となる対象画像の画像情報を入力し、画素ごとの画素情報として画像情報記憶部２１１に記憶する（Ｓ５０１）。ここで、以降の画像処理に必要な画素情報を、必要に応じて生成することも可能である。次に、合成画像を生成するか否かを判定し（Ｓ３０２）、合成画像を生成する場合（Ｓ５０２；Ｙｅｓ）は、背景画像の画像情報を入力し、画素ごとの画素情報として背景画像情報記憶部２１３に記憶する（Ｓ５０３）。次に、対象画像を画像オブジェクト領域または境界領域に分割するための領域判定条件情報を条件情報記憶部２１２から読み出す（Ｓ５０４）。

次に、注目画素から所定の方向へ連続した画素の特性と、ステップＳ５０４によって読み出した領域判定条件情報とに基づいて、隣接する２つの画像オブジェクト領域である第１画像オブジェクト領域と第２画像オブジェクト領域にそれぞれ属する第１画素群と第２画素群、および第１画素群と第２画素群とに挟まれた境界画素群とを検出し、検出した各画素群に属する画素の領域属性を設定し、設定した各画素の領域属性をその画素の画素情報の一部として画像情報記憶部２１１に記憶する（Ｓ５０５）。

次に、対象画像を構成するすべての画素に対して領域情報を設定したか否かを判定し（Ｓ５０６）、すべての画素に対して領域情報を設定していない場合（Ｓ５０６；Ｎｏ）は、すべての画素に対して領域情報を設定するまで、ステップＳ３０５を繰り返す。すべての画素に対して領域情報を設定した場合（Ｓ５０６；Ｙｅｓ）は、画像情報記憶部２１１に記憶された画素の領域属性を読み出し、同一の領域属性を有する、連続した画素を検索し、検索した画素によって構成される閉領域を検出し、検出した閉領域である画像領域を識別する領域情報を設定し、画像情報記憶部２１１に記憶する（Ｓ５０７）。

次に、対象画像オブジェクトのすべての境界領域に属する画素の透明度を算出し、算出した透明度を画素情報の１つとして画像情報記憶部２１１に記憶する（Ｓ５０８）。次に、合成画像を生成するか否かを判定し（Ｓ５０９）、合成画像を生成する場合（Ｓ５０９；Ｙｅｓ）は、合成画像における対象画像オブジェクトのすべての境界領域に属する画素の画素情報を、背景画像の画像情報に基づいて新たに算出し、合成画像情報記憶部２１４に記憶する（Ｓ５１０）。最後に、背景画像の画像情報と透明度情報とに基づいて算出された合成画像の領域情報を合成画像情報記憶部２１４より取り出して出力し（Ｓ５１１）、処理を終了する。一方、合成画像を生成しない場合（Ｓ５０９；Ｎｏ）は、対象画像オブジェクトの領域情報として、境界領域の画素に透明度情報を付加した画像情報を画像情報記憶部２１１より取り出して出力し（Ｓ５１２）、処理を終了する。

例えば、図２３（ａ）に示した対象画像を、上述したステップＳ５０５からステップＳ５０７の各工程により画像処理すると、対象画像を構成するすべての画素の領域属性が検出され、検出された画素の領域属性により閉領域が検出される。検出された閉領域を領域情報によって識別すると、対象画像は、図９（ａ）に示すような、画像オブジェクト領域Ａ、画像オブジェクト領域Ｂおよび境界領域Ａ−Ｂに分割される。ここでは、上述したように対象画像の中の隣接する画像オブジェクト間のすべての境界領域を検出しているが、合成画像を生成する場合に、選択された対象画像オブジェクトの周縁部に存在する境界領域を検出するようにしてもよい。また、上述したステップＳ５０８からステップＳ５１０の各工程により画像処理すると、図９（ｂ）に示すように、境界領域の画素情報が、対象画像オブジェクトと背景画像との間に違和感のないような情報に更新される。

図１３および図１４は、図１２のステップＳ５０５に対応する画像変化検出処理のフローチャート図である。
まず、図１９に示すような注目画素ｐ０の初期画素を設定し、注目画素ｐ０を第１画素群として設定する（Ｓ８０１）。次に、比較画素ｐｉを順次検索する走査方向ｓｉを設定する（Ｓ８０２）。ここで、注目画素ｐ０の座標を（ｘ０、ｙ０）とし、比較画素ｐｉを（ｘｉ，ｙｉ）とし、走査方向ｓｉを（ｓｘ、ｓｙ）としたとき、ｘｉ＝ｘ０＋ｉ×ｓｘ、ｙｉ＝ｙ０＋ｉ×ｓｙである。また、ｓｘ、ｓｙは、それぞれ１、０または−１のいずれか１つであり、ｉは正整数である。例えば、走査方向を正のＸ方向とする場合、（ｓｘ、ｓｙ）＝（１，０）である。次に、比較画素ｐｉの初期画素ｐ１を設定する（Ｓ８０３）。

次に、図１９にて説明した方法により、比較画素ｐｉの属する画素群を判定する（Ｓ８０４）。比較画素ｐｉが第１画素群に属する場合（Ｓ８０４；「第１画素群」）は、比較画素ｐｉを第１画素群に属する画素として設定し（Ｓ８０５）、次のステップＳ８０８へ移行する。同様に、比較画素ｐｉが境界画素群に属する場合（Ｓ８０４；「境界画素群」）は、比較画素ｐｉを境界画素群に属する画素として設定し（Ｓ８０６）、次のステップＳ８０８へ移行し、比較画素ｐｉが第２画素群に属する場合（Ｓ８０４；「第２画素群」）は、比較画素ｐｉを第２画素群に属する画素として設定し（Ｓ８０７）、次のステップＳ８０８へ移行する。比較画素ｐｉが上述の画素群に属さない場合（Ｓ８０４；「その他」）は、次のステップＳ８１０へ移行する。

次に、次の新しい比較画素ｐｉを設定する（Ｓ８０８）。即ち、ｉ＝ｉ＋１として、新しい比較画素ｐｉを設定する。次に、設定した比較画素ｐｉが存在するか否かを判定し（Ｓ８０９）、比較画素ｐｉが存在する場合（Ｓ８０９；Ｙｅｓ）は、ステップＳ８０４へ移行する。一方、比較画素ｐｉが存在しない場合（Ｓ８０９；Ｎｏ）は、ステップＳ８１０へ移行する。

次に、第１画素群、境界画素群または第２画素群に属する画素が存在するか否かを判定し（Ｓ８１０）、第１画素群、境界画素群または第２画素群に属する画素が存在する場合（Ｓ８１０；Ｙｅｓ）は、第１画素群、境界画素群または第２画素群に属するすべての画素の領域属性を設定し（Ｓ８１１）、画像情報記憶部２１１に記憶し（Ｓ８１２）、次のステップＳ８１３へ移行する。即ち、第１画素群に属する画素の領域属性を第１画像オブジェクト領域として、第２画素群に属する画素の領域属性を第２画像オブジェクト領域として、境界画素群に属する画素の領域属性を第１画像オブジェクト領域と第２画像オブジェクト領域との境界領域として設定する。一方、第１画素群、境界画素群または第２画素群に属する画素が存在しない場合（Ｓ８１０；Ｎｏ）は、次のステップＳ８１３へ移行する。

次に、全ての走査方向への検索が終了したか否かを判定する（Ｓ８１３）。例えば、Ｘ方向とＹ方向の２方向を走査方向とする場合は、注目画素Ｐ０よりＸ方向とＹ方向とへの２方向に対して比較画素ｐｉを検索したか否かを判定する。全ての走査方向への検索を終了していない場合（Ｓ８１３；Ｎｏ）は、次の走査方向ｓｉを設定し（Ｓ８１４）、ステップＳ８０３へ移行する。

一方、全ての走査方向への検索を終了した場合（Ｓ８１３；Ｙｅｓ）は、対象画像の全ての画素の領域属性を設定したか否かを判定し（Ｓ８１５）、対象画像の全ての画素の領域属性を設定していない場合（Ｓ８１５；Ｎｏ）は、次の注目画素ｐ０を設定し（Ｓ８１６）、ステップＳ８０２へ移行する。一方、対象画像の全ての画素の領域属性を設定した場合（Ｓ８１５；Ｙｅｓ）は、処理を終了する。

図１５は、図１２のステップＳ５０８に対応する透明度算出処理のフローチャート図である。ここで、図１７（ａ）に示したように、対象画像オブジェクト領域を領域Ａ、隣接画像オブジェクト領域を領域Ｂ、対象画像オブジェクト領域と隣接画像オブジェクト領域とに挟まれた領域を境界領域とする。
まず、領域Ａに隣接する初期の境界領域ｍを設定する（Ｓ９０１）。ｍは境界領域の識別子である。次に、設定した境界領域に属する画素の中から、領域Ａに隣接する画素をすべて検索する（Ｓ９０２）。ここで、検索した画素をｐｍｋ０とし、検索した画素群を｛ｐｍｋ０｝とする。また、ｋは検索した画素の識別子である。次に、画素ｐｍｋ０から近傍の領域Ａと境界領域との境界線に直交する方向（図中、「画素検索方向」と呼ぶ）を検索する（Ｓ９０３）。ここで、画素検索方向をｒｍｋとする。

次に、検索した画素群｛ｐｍｋ０｝の中から１つの画素ｐｍｊ０を設定する（Ｓ９０４）。設定した画素ｐｍｊ０は、図１７（ａ）においては画素ｐ０に相当する。次に、画素検索方向ｒｍｊへ境界領域の中の連続する、すべての画素ｐｍｊｉからなる画素群｛ｐｍｊｉ｝を検索する（Ｓ９０５）。図１７（ａ）においては、画素群｛ｐ０、ｐ１、ｐ２、ｐ３｝に相当する。ここで、画素ｐｍｊ０の座標を（ｘｍｊ０、ｙｍｊ０）とし、画素ｐｍｊｉを（ｘｍｊｉ，ｙｍｊｉ）とし、画素検索方向ｒｍｊを（ｒｍｊｘ、ｒｍｉｙ）としたとき、ｘｍｊｉ＝ｘｍｊ０＋ｉ×ｒｍｊｘ、ｙｍｊｉ＝ｙｍｊ０＋ｉ×ｒｍｊｙである。また、ｒｍｊｘ、ｒｍｉｙは、それぞれ１、０または−１のいずれか１つであり、ｉは正整数である。例えば、画素検索方向を正のＸ方向とする場合、（ｒｍｊｘ、ｒｍｉｙ）＝（１，０）である。

次に、画素検索方向ｒｍｊとは逆の方向に画素ｐｍｊ０と接する領域Ａの画素ｐｍｊａを検索し（Ｓ９０６）、更に、画素ｐｍｊ０から最遠の位置に存在する画素ｐｍｊｉに接する、画素検索方向ｒｊの領域Ｂの画素ｐｍｊｂを検索する（Ｓ６０７）。このとき、図１７（ａ）に示すように、境界領域の左右端に位置する領域Ａに接する画素ｐｘを上述の画素ｐｍｊ０とした場合、近傍の領域Ａと境界領域との境界線に直交する方向はＸ方向となる。このとき、Ｘ方向にも領域Ｂに接する画素ｐｍｊｂを検索すると、領域Ａに接する画素が検索されるため、領域Ｂに接する画素ｐｍｊｂの検索は中止され、画素群｛ｐｍｋ０｝から画素ｐｍｊ０は削除される。

次に、画素群｛ｐｍｊｉ｝の画素ｐｍｊｉに対して、下記の式を利用して透明度Ｄｍｊを算出し（Ｓ９０８）、算出した透明度を画素ｐｍｊｉの画素情報として画像情報記憶部２１１に格納する（Ｓ９０９）。ここで、ＤｍｊＲｉ、ＤｍｊＧｉ、ＤｍｊＢｉは、画素ｐｍｊｉのＲＧＢそれぞれの値に対する透明度を表す。また、Ｒ（ｐｍｊｉ）、Ｇ（ｐｍｊｉ）、Ｂ（ｐｍｊｉ）は、画素ｐｍｊｉのＲＧＢそれぞれの値である。

ＤｍｊＲｉ＝（Ｒ（ｐｍａ）−Ｒ（ｐｍｊｉ））／（Ｒ（ｐｍａ）−Ｒ（ｐｍｂ））
ＤｍｊＧｉ＝（Ｇ（ｐｍａ）−Ｇ（ｐｍｊｉ））／（Ｇ（ｐｍａ）−Ｇ（ｐｍｂ））
ＤｍｊＢｉ＝（Ｂ（ｐｍａ）−Ｂ（ｐｍｊｉ））／（Ｂ（ｐｍａ）−Ｂ（ｐｍｂ））
次に、画素群｛ｐｍｊｉ｝のすべての画素に対する透明度を算出するまでステップＳ９０８およびステップＳ９０９を繰り返す（Ｓ６１０）。即ち、識別子ｉのすべての値に対する画素ｐｍｊｉの透明度を算出する。

次に、境界領域ｍに属する画素の透明度をすべて算出するまでステップＳ９０４からステップＳ９１０までを繰り返す（Ｓ９１１）。即ち、識別子ｊすべての値に対する画素ｐｍｊｉの透明度を算出する。
最後に、領域Ａに隣接するすべての境界領域に属する画素の透明度をすべて算出するまでステップＳ９０１からステップＳ９１１までを繰り返し（Ｓ９１２）、終了する。即ち、識別子ｍのすべての値に対する画素ｐｍｊｉの透明度を算出する。

図１６は、図１２のステップＳ５１０に対応する合成画像情報生成処理のフローチャート図である。ここで、図１８（ａ）に示したように、対象画像オブジェクト領域を領域Ａ、対象画像オブジェクトと背景画素とを合成するときに、境界領域に隣接する背景画素の領域を領域Ｃとする。
まず、領域Ａに隣接する初期の境界領域ｍを設定する（Ｓ７０１）。ｍは境界領域の識別子である。次に、設定した境界領域に属する画素の中から、領域Ａに隣接する画素をすべて検索する（Ｓ７０２）。ここで、検索した画素をｐｍｋ０とし、検索した画素群を｛ｐｍｋ０｝とする。また、ｋは検索した画素の識別子である。次に、画素ｐｍｋ０から近傍の領域Ａと境界領域との境界線に直交する方向（図中、「画素検索方向」と呼ぶ）を検索する（Ｓ７０３）。ここで、画素検索方向をｒｍｋとする。

次に、検索した画素群｛ｐｍｋ０｝の中から１つの画素ｐｍｊ０を設定する（Ｓ７０４）。設定した画素ｐｍｊ０は、図１８（ａ）においては画素ｐ０に相当する。次に、画素検索方向ｒｍｊへ境界領域の中の連続する、すべての画素ｐｍｊｉからなる画素群｛ｐｍｊｉ｝を検索する（Ｓ７０５）。図１８（ａ）においては、画素群｛ｐ０、ｐ１、ｐ２、ｐ３｝に相当する。ここで、画素ｐｍｊ０の座標を（ｘｍｊ０、ｙｍｊ０）とし、画素ｐｍｊｉを（ｘｍｊｉ，ｙｍｊｉ）とし、画素検索方向ｒｍｊを（ｒｍｊｘ、ｒｍｉｙ）としたとき、ｘｍｊｉ＝ｘｍｊ０＋ｉ×ｒｍｊｘ、ｙｍｊｉ＝ｙｍｊ０＋ｉ×ｒｍｊｙである。また、ｒｍｊｘ、ｒｍｉｙは、それぞれ１、０または−１のいずれか１つであり、ｉは正整数である。例えば、画素検索方向を正のＸ方向とする場合、（ｒｍｊｘ、ｒｍｉｙ）＝（１，０）である。

次に、画素検索方向ｒｍｊとは逆の方向に画素ｐｍｊ０と接する領域Ａの画素ｐｍｊａを検索し（Ｓ７０６）、更に、画素ｐｍｊ０から最遠の位置に存在する画素ｐｍｊｉに接する、画素検索方向ｒｊの領域Ｃの画素ｐｍｊｃを検索する（Ｓ７０７）。
次に、画素群｛ｐｍｊｉ｝の画素ｐｍｊｉに対して、領域Ｃの特性からの影響を考慮したＲＧＢのそれぞれの値を、下記の式を利用して算出し（Ｓ７０８）、算出したＲＧＢのそれぞれの値を画素ｐｍｊｉの画素情報として合成画像情報記憶部２１４に格納する（Ｓ７０９）。ここで、ＤｍｊＲｉ、ＤｍｊＧｉ、ＤｍｊＢｉは、画素ｐｍｊｉのＲＧＢそれぞれの値に対する透明度を表す。また、Ｒ（ｐｍｊｉ）、Ｇ（ｐｍｊｉ）、Ｂ（ｐｍｊｉ）は、画素ｐｍｊｉのＲＧＢそれぞれの値である。
Ｒ（ｐｍｊｉ）＝Ｒ（ｐｍａ）＋（Ｒ（ｐｍｃ）−Ｒ（ｐｍａ））×ＤｍｊＲｉ
Ｇ（ｐｍｊｉ）＝Ｇ（ｐｍａ）＋（Ｇ（ｐｍｃ）−Ｇ（ｐｍａ））×ＤｍｊＧｉ
Ｂ（ｐｍｊｉ）＝Ｂ（ｐｍａ）＋（Ｂ（ｐｍｃ）−Ｂ（ｐｍａ））×ＤｍｊＢｉ
次に、画素群｛ｐｍｊｉ｝のすべての画素のＲＧＢそれぞれの値を算出するまでステップＳ７０８およびステップＳ７０９を繰り返す（Ｓ７１０）。即ち、識別子ｉのすべての値に対する画素ｐｍｊｉのＲＧＢそれぞれの値を算出する。

次に、境界領域ｍに属する画素のＲＧＢそれぞれの値をすべて算出するまでステップＳ７０４からステップＳ７１０までを繰り返す（Ｓ７１１）。即ち、識別子ｊすべての値に対する画素ｐｍｊｉのＲＧＢそれぞれの値を算出する。
最後に、領域Ａに隣接するすべての境界領域に属する画素のＲＧＢそれぞれの値をすべて算出するまでステップＳ７０１からステップＳ７１１までを繰り返し（Ｓ７１２）、終了する。即ち、識別子ｍのすべての値に対する画素ｐｍｊｉのＲＧＢそれぞれの値を算出する。

尚、上述の図１６の処理は図１４の透明度算出処理を実行した後に、合成画像のための境界領域の画素の画素情報を算出しているが、合成画像を作成する場合においては、ステップＳ７０８およびステップＳ７０９の工程を、図１５のステップＳ９０９とステップＳ９１０との間において実行させるようにしてもよい。
図１５および図１６においては、透明度Ｄｍｊとして、ＲＧＢそれぞれの値であるＤｍｊＲｉ、ＤｍｊＧｉ、ＤｍｊＢｉを画素ｐｍｊｉの画素情報として画像情報記憶部２１１に格納しているが、ＤｍｊＲｉ、ＤｍｊＧｉ、ＤｍｊＢｉの平均値を透明度Ｄｍｊとすることによって、画素ｐｍｊｉの画素情報の情報量を軽減することもできる。また、ＲＧＢの１つまたは２つの値が、領域Ａと領域Ｂとの間で変化がないか、少ない場合には、適切な透明度が得られないことがある。このような場合は、領域Ａと領域Ｂとの間において変化のあるＲＧＢの値の透明度をＲＧＢすべての値の透明度とすることも可能である。ここで、ＲＧＢのうち２つの値について適切な透明度が得られた場合は、２つ値の平均値を残りの１つの値とすることも可能である。更に、境界領域における画像情報の変化が画素検索方向に対して線形であると考えて、画素ごとに格納している透明度情報を関数によって表し、格納することも可能である。

このように本実施の形態は、画像処理装置１００に、境界領域検出手段２０８、領域情報生成手段２０９、領域情報出力手段２０４、画像入力手段２０５、条件設定手段２０６及び合成画像情報出力手段２１０を備え、境界領域検出手段２０８に、画像変化検出手段２０１、画像変化情報記憶手段２０２及び閉領域検出手段２０３を備え、更に、領域情報生成手段２０９に、透明度算出手段２２４及び合成画像情報生成手段２２５を備えることによって、対象画像内の画像オブジェクトが明確なエッジによって区切られず、若干の幅の境界領域を生じる場合においても、その境界領域を画像領域として分割して検出することができる。また、検出した境界領域を画像オブジェクト領域とは異なる画像領域である境界領域として識別することもできる。従って、対象画像を画像オブジェクト領域および境界領域からなる画像領域に分割し、検出することができる。

更に、対象画像オブジェクトと背景画像とを合成して合成画像を生成するとき、領域として分割された対象画像オブジェクトの境界領域の画像情報を背景画像の画像情報と適合させることにより、対象画像オブジェクトの周囲に違和感のない合成画像を生成することができる。また、対象画像オブジェクトの境界領域の画像情報から対象画像オブジェクトとに隣接する隣接画像オブジェクトの特性による影響を対象画像オブジェクトの境界領域の画像情報から取り除いた情報を、境界領域の画素の画素情報に付加することにより、合成画像生成処理を他の装置において実行する場合においても、対象画像オブジェクトの周囲に違和感のない合成画像を生成することができる。

第１の実施の形態に係る画像処理装置の構成図。画像処理装置の機能ブロック図の一例。（ａ）は、対象画像を画像オブジェクト領域および境界領域からなる画像領域に分割する画像処理のフローチャート図の一例、（ｂ）は、対象画像を画像オブジェクト領域に分割した場合の画像処理のフローチャート図の一例。画像変化検出処理のフローチャート図。図４の続きの画像変化検出処理のフローチャート図。境界判定条件による判定処理のフローチャート図。図６の続きの境界判定条件による判定処理のフローチャート図。図６、図７の続きの境界判定条件による判定処理のフローチャート図。（ａ）は、画像オブジェクト領域Ａ、画像オブジェクト領域Ｂおよび境界領域Ａ−Ｂに分割した対象画像の模式図、（ｂ）は、画像オブジェクト領域Ａおよび画像オブジェクト領域Ｂに分割した対象画像の模式図。（ａ）は、境界領域を構成する画素の座標位置により分割した場合の例を説明する図、（ｂ）は、負荷軽減により分割した場合の例を説明する図、（ｃ）は、境界領域を構成する画素の画像情報により分割した例を説明する図。第２の実施の形態に係る画像処理装置の機能ブロック図の一例。対象画像を画像オブジェクト領域および境界領域からなる画像領域に分割し、合成画像のための領域情報を生成する画像処理のフローチャート図の一例。画像変化検出処理のフローチャート図。図１３の続きの画像変化検出処理のフローチャート図。透明度算出処理のフローチャート図。合成画像情報生成処理のフローチャート図。（ａ）は、透明度を算出する画素の境界領域における検索順序を説明するための模式図、（ｂ）は、境界領域における画素の画素情報の変化を示す図、（ｃ）は、境界領域における画素の透明度の変化を示す図。（ａ）は、背景画像による画素情報の調整をする画素の検索順序を説明するための模式図、（ｂ）は、背景画像による境界領域に属する画素の画素情報の変化を示す図。（ａ）は、画像オブジェクト領域Ａ、画像オブジェクト領域Ｂおよび境界領域Ａ−Ｂに分割した対象画像の模式図、（ｂ）は、画像オブジェクト領域Ａおよび画像オブジェクト領域Ｂに分割した対象画像の模式図。縦３×横３画素のビットマップデータを示す模式図。従来のエッジ判定処理による合成画像生成処理のフローチャート図。縦３×横６画素のビットマップデータによる単純化した境界領域を示す模式図。（ａ）は、従来のエッジ判定処理した対象画像の模式図、（ｂ）は、エッジ判定閾値が高すぎる場合のエッジ判定処理した対象画像の模式図、（ｃ）は、エッジ判定閾値が低すぎる場合のエッジ判定処理した対象画像の模式図。

符号の説明

１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…インタフェース、１０５…バス、１０６…入力装置、１０７…記憶装置、１０８…出力装置、２０１…画像変化検出手段、２０２…画像変化情報記憶手段、２０３…閉領域検出手段、２０４…領域情報出力手段、２０５…画像入力手段、２０６…条件設定手段、２０７…境界領域処理手段、２０８…境界領域検出手段、２０９…領域情報生成手段、２１０…合成画像情報出力手段、２１１…画像情報記憶部、２１２…条件情報記憶部、２１３…背景画像情報記憶部、２１４…合成画像情報記憶部、２２４…透明度算出部、２２５…合成画像情報生成手段。

Claims

複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理方法であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出するようにしたことを特徴とする画像処理方法。
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域に分割する画像処理方法であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出し、その後、当該境界領域を構成する画素値に基づいて当該境界領域内に分割線を決定し、当該分割線を境に前記境界領域内を、前記第１画像オブジェクト領域側と前記第２画像オブジェクト領域側とに分割するようにしたことを特徴とする画像処理方法。
請求項２に記載の画像処理方法において、
前記境界領域内における分割線は、前記第１画像オブジェクト領域との境界に沿って位置する画素の画素値と、前記第２画像オブジェクト領域との境界に沿って位置する画素の画素値との中間の値又は中間の値に最も近い画素値を有する画素を選択し、選択した画素同士を前記境界に沿って連続した線を用いるようにしたことを特徴とする画像処理方法。
複数個の画素の集合によって構成される対象画像中に存在する任意の画像オブジェクト領域を他の背景画像に合成する画像処理方法であって、
前記任意の画像オブジェクト領域を、前記画素の画素情報及び所定の領域判定条件に基づいて、当該画像オブジェクトと境界領域を介して隣接する他の画像オブジェクト領域から前記境界領域と共に分割し、当該画像オブジェクト領域を前記境界領域と共に他の背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整するようにしたことを特徴とする画像処理方法。
請求項４に記載の画像処理方法において、
前記境界領域を構成する画素群の画素値を、前記背景画像側になるに従って当該背景画像を構成する画素群の画素値との差異が徐々に小さくなるように調整するようにしたことを特徴とする画像処理方法。
請求項４に記載の画像処理方法において、
前記境界領域を構成する画素群の画素値の透明度を、前記背景画像側になるに従って徐々に大きくなるように調整するようにしたことを特徴とする画像処理方法。
請求項１〜６のいずれかに記載の画像処理方法において、前記所定の領域判定条件が下記の条件１〜３であることを特徴とする画像処理方法。
（条件１）前記第１画素群は、隣接する前記画素間における前記画素値の差異が所定の閾値Ａよりも小さい、前記注目画素より前記所定の方向へ連続した画素群であり、
（条件２）前記境界画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａ以上、かつ、前記画素値の変化の差異が所定の閾値Ｂよりも小さい、前記所定の方向に前記第１画素群より連続した画素群であり、
（条件３）前記第２画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａよりも小さい、かつ、前記第１画素群との前記画素値の差異が所定の閾値Ｃ以上である、前記所定の方向に前記境界画素群より連続した画素群である。
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理装置であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段を備えたことを特徴とする画像処理装置。
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出すると共に、当該画像オブジェクト領域を分割して他の背景画像に合成する画像処理装置であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、
前記第１画像オブジェクト領域又は第２画像オブジェクト領域のうちいずれか一方を前記境界領域と共に分割して前記背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する領域情報生成手段と、
を備えたことを特徴とする画像処理装置。
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出する画像処理プログラムであって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段を、コンピュータに機能させることを特徴とする画像処理プログラム。
複数個の画素の集合によって構成される対象画像を、複数個の画像オブジェクト領域毎に検出すると共に、当該画像オブジェクト領域を分割して他の背景画像に合成する画像処理プログラムであって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域を構成する第１画素群と、前記第２画像オブジェクト領域を構成する第２画素群とに挟まれた境界画素群を、前記画素の画素情報及び所定の領域判定条件に基づいて、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する境界領域検出手段と、
前記第１画像オブジェクト領域又は第２画像オブジェクト領域のうちいずれか一方を前記境界領域と共に分割して前記背景画像に合成すると共に、前記境界領域を構成する画素群の画素値を、前記背景画像を構成する画素群の画素値に応じて調整する領域情報生成手段と、
をコンピュータに機能させることを特徴とする画像処理プログラム。
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理装置であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する画像処理装置。
前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出手段と、
前記画像変化検出手段によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶手段と、
前記画像変化情報記憶手段によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出手段と、
前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力手段と、
を備えていることを特徴とする請求項１２に記載の画像処理装置。
前記所定の領域判定条件が、下記の条件であることを特徴とする請求項１３に記載の画像処理装置。
（条件１）前記第１画素群は、隣接する前記画素間における前記画素値の差異が所定の閾値Ａよりも小さい、前記注目画素より前記所定の方向へ連続した画素群であり、
（条件２）前記境界画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａ以上、かつ、前記画素値の変化の差異が所定の閾値Ｂよりも小さい、前記所定の方向に前記第１画素群より連続した画素群であり、
（条件３）前記第２画素群は、隣接する前記画素間における前記画素値の差異が前記所定の閾値Ａよりも小さい、かつ、前記第１画素群との前記画素値の差異が所定の閾値Ｃ以上である、前記所定の方向に前記境界画素群より連続した画素群である。
前記所定の方向は、前記注目画素の中心と前記注目画素に接する前記画素の中心とを結ぶ線分方向の中の少なくとも異なる２方向であることを特徴とする請求項１３または１４に記載の画像処理装置。
検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定する境界領域処理手段を備えていることを特徴とする請求項１２から１５のいずれか１項に記載の画像処理装置。
前記対象画像の画像情報を入力し、前記対象画像を前記画像領域に分割するために必要な前記対象画像を構成する前記画素の前記画素情報を生成し、所定の記憶部に記憶する画像入力手段を備えていることを特徴とする請求項１２から１６のいずれか１項に記載の画像処理装置。
前記所定の領域判定条件を設定し、所定の記憶部に格納する条件設定手段を備えていることを特徴とする請求項１２から１７のいずれか１項に記載の画像処理装置。
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像領域に分割する画像処理方法であって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する画像処理方法。
下記の工程を備えていることを特徴とする請求項１９に記載の画像処理方法。
（ａ）前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出工程と、
（ｂ）前記画像変化検出工程によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶工程と、
（ｃ）前記画像変化情報記憶工程によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出工程と、
（ｄ）前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力工程。
（ｅ）前記画像変化検出工程によって検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定する境界領域処理工程を、前記閉領域検出工程（ｃ）と前記領域情報出力工程（ｄ）との間に備えていることを特徴とする請求項２０に記載の画像処理方法。
複数個の画素によって構成される対象画像を、前記画素の画素情報に基づいて、複数個の画像領域に分割する処理をコンピュータに実行させるプログラムであって、
隣接する画像オブジェクト領域の一方の前記画像オブジェクト領域を第１画像オブジェクト領域とし、他方の前記画像オブジェクト領域を第２画像オブジェクト領域としたとき、前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界およびその近傍に存在する所定の方向に連続した画素群であって、前記第１画像オブジェクト領域の特性と前記第２オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて前記第１画像オブジェクト領域と前記第２画像オブジェクト領域との境界領域として検出する処理をコンピュータに実行させるプログラム。
下記の画像処理方法の各工程をコンピュータに実行させる請求項２２に記載のプログラム。
（ａ）前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記第１画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記第２画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出工程と、
（ｂ）前記画像変化検出工程によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶工程と、
（ｃ）前記画像変化情報記憶工程によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、閉領域として検出する閉領域検出工程と、
（ｄ）前記閉領域検出手段によって検出された前記閉領域が属する前記画像オブジェクト領域または前記境界領域を識別する領域情報を出力する領域情報出力工程と、
（ｅ）前記画像変化検出工程によって検出された前記第１画像オブジェクト領域と前記第２オブジェクト領域との前記境界領域を、所定の境界領域分割条件に基づいて２個の分割境界領域に分割し、前記分割境界領域のそれぞれが前記第１画像オブジェクト領域と前記第２オブジェクト領域のどちらに付属する領域であるかを判定する境界領域処理工程。
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理装置であって、
前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成する画像処理装置。
前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出手段と、
前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成手段と、
を備えていることを特徴とする請求項２４に記載の画像処理装置。
前記領域情報生成手段は、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出手段を備えていることを特徴とする請求項２５に記載の画像処理装置。
前記領域情報生成手段は、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において、前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出手段によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成手段を備えていることを特徴とする請求項２６に記載の画像処理装置。
前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出手段によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力手段を備えていることを特徴とする請求項２６に記載の画像処理装置。
前記合成画像情報生成手段によって生成された前記合成画像の画像情報を出力する合成画像情報出力手段を備えていることを特徴とする請求項２７に記載の画像処理装置。
前記境界領域検出手段は、
前記対象画像の任意の前記画素である注目画素から前記所定の方向に連続する複数個の前記画素の特性と、前記所定の領域判定条件とに基づいて、前記対象画像オブジェクト領域の特性を有する前記画素からなる第１画素群、前記隣接画像オブジェクト領域の特性を有する前記画素からなる第２画素群、または、前記第１画素群と前記第２画素群とに挟まれた境界画素群に属する前記画素を検出し、これらを領域属性により識別する画像変化検出手段と、
前記画像変化検出手段によって検出された前記画素の前記領域属性を、前記画素の一つの前記画素情報として所定の記憶部に記憶する画像変化情報記憶手段と、
前記画像変化情報記憶手段によって記憶された前記画素の前記領域属性に基づいて、同一の前記領域属性を有する、連続した前記画素から構成される画素群を、前記閉領域として検出する閉領域検出手段と、
を備えていることを特徴とする請求項２５に記載の画像処理装置。
前記所定の領域判定条件を設定し、所定の記憶部に格納する条件設定手段を備えていることを特徴とする請求項２５から３０のいずれか１項に記載の画像処理装置。
前記対象画像の前記画像情報または前記背景画像の前記画像情報を入力し、内部処理形式の前記対象画像の前記画像情報を生成し、所定の記憶部に記憶する画像入力手段を備えていることを特徴とする請求項２４から３１のいずれか１項に記載の画像処理装置。
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する画像処理方法であって、
前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成する画像処理方法。
下記の工程を備えていることを特徴とする請求項３３に記載の画像処理方法。
（ａ）前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出工程と、
（ｂ）前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成工程。
前記領域情報生成工程（ｂ）は、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出工程を備えていることを特徴とする請求項３４に記載の画像処理方法。
前記領域情報生成工程（ｂ）は、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出工程によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成工程を備えていることを特徴とする請求項３５に記載の画像処理方法。
前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出方法によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力方法を備えていることを特徴とする請求項３５に記載の画像処理方法。
前記合成画像情報生成方法によって生成された前記合成画像の画像情報を出力する合成画像情報出力方法を備えていることを特徴とする請求項３６に記載の画像処理方法。
複数個の画素によって構成される対象画像の画像情報を、前記画素の画素情報に基づいて、複数個の画像オブジェクト領域に分割する処理をコンピュータに実行させるプログラムであって、
前記対象画像の任意の前記画像オブジェクト領域を対象画像オブジェクト領域とし、前記対象画像オブジェクト領域に隣接する前記対象画像の中の前記画像オブジェクト領域を隣接画像オブジェクト領域としたとき、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界およびその近傍に存在する画素群であって、前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との中間の特性を有する前記画素によって構成される前記画素群の、所定の方向への前記画素の前記特性の変化に基づいて、前記画素群に対応する領域に属する前記画素の前記画素情報を生成する処理をコンピュータに実行させるプログラム。
下記の画像処理方法の各工程をコンピュータに実行させる請求項３９に記載のプログラム。
（ａ）前記対象画像オブジェクト領域と前記隣接画像オブジェクト領域との境界部近傍に存在する所定の方向に連続した前記画素群であって、前記対象画像オブジェクト領域の特性と前記隣接オブジェクト領域の特性との中間の特性を有する前記画素からなる前記画素群を、所定の領域判定条件に基づいて境界領域として検出する境界領域検出工程と、
（ｂ）前記境界領域に属する画素のうち、前記対象画像オブジェクト領域に接する前記画素から、前記隣接画像オブジェクト領域に接する前記画素までの、前記画素の前記特性の変化に基づいて、前記境界領域に属する前記画素の前記画素情報を生成する領域情報生成工程。
前記領域情報生成工程（ｂ）は、前記対象画像オブジェクト領域と前記境界領域との境界線に直交する方向へ連続する前記画素であって、前記対象画像オブジェクト領域に隣接した前記境界領域の前記画素から前記隣接画像オブジェクト領域に隣接した前記境界領域の前記画素までのすべての前記画素に対して、前記対象画像オブジェクト領域に接する前記画素から前記隣接画像オブジェクト領域に接する前記画素までの特性の変化の割合に基づいて透明度を算出する透明度算出工程を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させる請求項４０に記載のプログラム。
前記領域情報生成工程（ｂ）は、更に、前記対象画像オブジェクト領域および前記境界領域の画素群と背景画像とを合成したときの合成画像において前記境界領域に隣接する前記背景画像の前記画像情報と前記透明度算出工程によって算出された前記透明度とに基づいて、前記境界領域に属する前記画素の前記画素情報を前記背景画像に適合した情報に更新し、前記合成画像の前記画像情報を生成する合成画像情報生成工程を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させる請求項４１に記載のプログラム。
前記画像オブジェクト領域の前記領域情報と、前記境界領域に属する前記画素の前記画素情報に、前記透明度算出方法によって算出した前記透明度を透明度情報として付加して、前記画像オブジェクト領域の領域情報として出力する領域情報出力方法を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させる請求項４１に記載のプログラム。
前記合成画像情報生成方法によって生成された前記合成画像の画像情報を出力する合成画像情報出力方法を備えていることを特徴とする画像処理方法の各工程をコンピュータに実行させる請求項４２に記載のプログラム。