JP2002197453A

JP2002197453A - 画像処理装置

Info

Publication number: JP2002197453A
Application number: JP2000395066A
Authority: JP
Inventors: Masaki Ishikawa; 真己石川
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2000-12-26
Filing date: 2000-12-26
Publication date: 2002-07-12

Abstract

(57)【要約】【課題】背景をなす第１の画像に物体をなす第２の画
像を貼り付ける画像合成を行う場合に、複雑なフィルタ
処理を必要とせず、より自然な合成画像を得る。【解決手段】背景をなす第１の画像と物体をなす第２
の画像とを比較して両者の色差や輝度差が所定基準値よ
り大であった場合に貼り付けられる第２の画像の境界画
素を消去する。そして、この境界が消去された第２の画
像を第１の画像に貼り付ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、特に背景をなす第１の画像に物体をなす第２の画像
を貼り付ける画像合成を行う画像処理装置に関する。

【０００２】

【従来の技術】一般に、ある画像から物体を抽出すると
きに、特に自然画の場合、データを欠落させないために
少し大きめに物体を抽出し、この抽出した物体を他の画
像に貼り付けて合成していた。そのため、物体を抽出す
ると、その境界に元の画像の背景の色が入り込んでしま
うことがある。

【０００３】

【発明が解決しようとする課題】合成する画像境界と合
成される画像との色や輝度の差が少ない場合は、上述し
たように大きめに抽出しても問題がない。しかし、それ
らの差が大きい場合、不自然な合成画像になる。そこ
で、この問題点を解決するために、フィルタ処理を行っ
て修正することも考えられる。しかしながら、その場
合、複雑なフィルタ処理が必要であり、その処理に時間
もかかるという欠点がある。

【０００４】本発明は上述した従来技術の欠点を解決す
るためになされたものであり、その目的は複雑なフィル
タ処理を必要とせず、より自然な合成画像を得ることの
できる画像処理装置を提供することである。

【０００５】

【課題を解決するための手段】本発明の請求項１による
画像処理装置は、背景をなす第１の画像に物体をなす第
２の画像を貼り付ける画像合成を行う画像処理装置であ
って、前記第１の画像と前記第２の画像とを比較して両
者の色差及び輝度差の少なくとも一方の値である特性値
が所定基準値より大であった場合に貼り付けられる第２
の画像の境界画素を消去する境界画素消去手段と、前記
境界画素消去手段によって境界が消去された第２の画像
を前記第１の画像に貼り付ける合成手段とを含むことを
特徴とする。

【０００６】本発明の請求項２による画像処理装置は、
請求項１において、前記境界画素消去手段は、前記第１
の画像の境界画素についての前記特性値と該画素に隣接
する前記第２の画像の境界画素についての前記特性値と
の差を、前記所定基準値との比較対象にすることを特徴
とする。本発明の請求項３による画像処理装置は、請求
項１において、前記境界画素消去手段は、前記第１の画
像の境界画素及び該画素に隣接する隣接画素それぞれに
ついての前記特性値の平均値と前記境界画素に隣接する
前記第２の画像の境界画素との差を、前記所定基準値と
の比較対象にすることを特徴とする。

【０００７】本発明の請求項４による画像処理装置は、
請求項１において、前記境界画素消去手段は、前記第２
の画像の境界画素についての前記特性値と該画素に隣接
する複数の隣接画素それぞれについての前記特性値の平
均値との差を、前記所定基準値との比較対象とし、か
つ、前記第２の画像の境界画素についての前記特性値と
前記第１の画像の境界画素及び該境界画素に隣接する複
数の境界画素との平均値との差を、前記所定基準値との
比較対象にすることを特徴とする。

【０００８】本発明の請求項５による画像処理装置は、
請求項３又は４において、前記隣接画素は、表示画面上
において前記境界画素の上下左右に隣接する画素である
ことを特徴とする。本発明の請求項６による画像処理装
置は、請求項１〜５のいずれかにおいて、前記合成手段
は、前記境界画素消去手段によって境界が消去された第
２の画像を前記第１の画像に貼り付けた後、さらにそれ
ら第１の画像と第２の画像との境界画素について平滑化
処理を施すことを特徴とする。

【０００９】要するに、本装置では、２つの画像を比較
して両者の色差や輝度差が所定基準値より大であった場
合に貼り付けられる画像の境界画素を消去し、この境界
が消去された画像を他方の画像に貼り付けることによ
り、複雑なフィルタ処理を必要とせず、より自然な合成
画像が得られるのである。

【００１０】

【発明の実施の形態】次に、図面を参照して本発明の実
施の形態について説明する。なお、以下の説明において
参照する各図では、他の図と同等部分は同一符号によっ
て示されている。図２は本発明による画像処理装置の実
施の一形態を示すブロック図である。同図に示されてい
るように、本実施形態による画像処理装置は、境界画素
消去部１と、画像合成部２とを含んで構成されており、
背景をなす第１の画像に物体をなす第２の画像を貼り付
ける画像合成を行う機能を有している。

【００１１】境界画素消去部１は、合成処理対象である
第１及び第２の入力画像について、両者の色差及び輝度
差の少なくとも一方の値である特性値が所定基準値より
大であった場合に貼り付けられる第２の画像の境界画素
を消去する処理を行う。また、画像合成部２は、境界画
素消去部１によって境界が消去された第２の画像を第１
の画像に貼り付ける処理を行う。

【００１２】以上のように構成された本実施形態の画像
処理装置において、図１に示されているように、背景画
像Ｂに物体画像Ａを貼り付ける画像処理を行う場合につ
いて考える。そして、ここでは、両画像の境界画素ａ、
ｂに着目して説明する。本装置による処理は図３に示さ
れているフローチャートに従って行われる。同図に示さ
れているように、まず、貼り付ける物体画像Ａの境界画
素ａのデータと、合成される（貼り付けられる）背景画
像Ｂの物体との境界をなす境界画素ｂのデータとについ
て、両者の特性値の差（色差又は輝度差）が所定の閾値
Ｄより大きいかどうか判断する（ステップＳ１０１）。
この判断の結果、両者の特性値の差が所定の閾値Ｄより
大きい場合に、貼り付ける物体画像Ａの画素ａを削除す
る（ステップＳ１０１→Ｓ１０２）。すなわち、境界画
素ａの輝度Ｖａ、境界画素ｂの輝度Ｖｂについて、式
（１）の関係が成立するとき、その画素を削除する。

【００１３】｜Ｖａ−Ｖｂ｜＞Ｄ …（１）この境界画素を削除する処理は、画素単位に行う。ま
た、この境界画素を削除する処理は、物体画像Ａの境界
画素ａから物体の内側方向に所定の画素範囲（ｄ）まで
行う。さらに、この境界画素を削除する処理は、水平方
向及び垂直方向ともに、それぞれラスタスキャンしなが
ら、すべての画素について行う（ステップＳ１０３→Ｓ
１０１…）。ステップＳ１０１において、両者の特性値
の差が所定の閾値Ｄより小さい場合には、その画素の削
除を行わずに、次の画素の処理に移行する（ステップＳ
１０１→Ｓ１０３→Ｓ１０１…）。なお、処理する画素
を内側に１画素移動させたとき、その画素が境界を構成
する画素であった場合、その画素については削除しな
い。すなわち、図４において、画素ａ₀₁は削除するが、
画素ａ₀₂及び画素ａ₀₃は削除しない。

【００１４】すべての画素について以上の処理が完了し
た場合には、２つの画像を合成する（ステップＳ１０３
→Ｓ１０４）。すなわち、背景画像Ｂに、境界画素を削
除した後の物体画像Ａを貼り付ける。以上で本装置によ
る処理は終了となる。ところで、上述した閾値Ｄは、任
意の値を設定できるものとする。例えば、図５におい
て、８ビット画像の場合に、背景画像Ｂの特性値と物体
画像Ｂの特性値との境界Ｅにおいて、両者差の絶対値が
「６４」（閾値Ｄ）までならば、その画素を削除しな
い、というように閾値Ｄを任意に設定できるものとす
る。なお、合成される画像をオペレータが見て確認した
うえで閾値Ｄを設定するようにしても良い。

【００１５】削除される画素の範囲は、任意の値を設定
できるものとする。例えば、図６において、処理範囲ｄ
を３画素にしても良い。なお、合成される画像をオペレ
ータが見て確認したうえ、キー入力等によって設定する
ようにしても良い。カラー画像でＹＵＶ系の場合は、輝
度Ｙだけでなく、色差信号Ｕ又はＶを参照して同様な処
理を行っても良い。ＹＵＶ系の他、ＲＧＢ（ＲｅｄＧ
ｒｅｅｎＢｌｕｅ）系やＨＳＶ（ＨｕｅＳａｔｕｒａ
ｔｉｏｎＶａｌｕｅ）系の画像を入力対象としても良
い。

【００１６】以上の説明においては、合成される画像
（背景）側を１画素単位で判断していたが、背景画像Ｂ
において、物体画像Ａとの境界をなす複数画素の平均値
に基づいて判断しても良い。例えば、図７中の３つの画
素ｂ₀、ｂ₁、ｂ₂を処理対象とする場合、式（１）にお
いて、Ｖｂ＝Ｖｂ₀＋Ｖｂ₁＋Ｖｂ₂とすれば良い。同様
に、物体画像Ａにおいて、背景画像Ｂとの境界をなす複
数画素の平均値に基づいて判断しても良い。例えば、図
７中の３つの画素ａ₀、ａ₁、ａ₂を処理対象とする場
合、式（１）において、Ｖａ＝Ｖａ₀＋Ｖａ₁＋Ｖａ₂と
すれば良い。

【００１７】また、水平方向及び垂直方向の各々ライン
単位を処理の対象としているが、水平方向の処理の場合
は上下の画素、垂直方向の処理の場合は左右の画素をも
使用しても良い。例えば、上下あわせて４画素の平均値
に基づいて判断しても良い。すなわち、図８に示されて
いるように、画素ｂ₁₁を中心とする上の画素ｂ₁₀、下の
画素ｂ₁₂、左の画素ｂ₀₁を処理対象とする場合、式
（１）において、Ｖｂ＝Ｖｂ₁₀＋Ｖｂ₀₁＋Ｖｂ₁₁＋Ｖｂ
₁₂とすれば良い。

【００１８】さらに、物体画像Ａの内部、物体画像Ａの
境界部分、背景画像Ｂの三者を比較して判断しても良
い。例えば、図９に示されているように、物体画像Ａの
境界をなす複数画素、例えば５つの画素ａ₀、ａ₁、
ａ₂、ａ₃、ａ₄についての輝度の平均値Ｖ_Aと、物体境界
画素ａ₀の輝度の値Ｖ_Cとを比較すると共に、背景画像Ｂ
の境界をなす複数画素、例えば５つの画素ｂ₀、ｂ₁、ｂ
₂、ｂ₃、ｂ₄についての輝度の平均値Ｖ_Bと、物体境界画
素ａ₀の輝度の値Ｖ_Cとを比較しても良い。すなわち、式
（２）及び式（３）が共に成立する場合に、その境界画
素ａを削除する。

【００１９】｜Ｖ_C−Ｖ_A｜＞Ｄ …（２）｜Ｖ_C−Ｖ_B｜＞Ｄ …（３）上記の処理においては、内部の平均値を使用するとき、
境界画素を含んでいたが、それらを含まないで計算して
も良い。また、水平・垂直ライン単位でなく、上下及び
左右の画素を使用しても良い。

【００２０】境界画素等を削除するのみで合成を終了し
ても良いが、画素の削除処理後、境界を目立たなくさせ
るため、境界のみに平滑化処理を施しても良い。例え
ば、図１０に示されているように、抽出前の背景の輝度
がＶＢ１、物体Ａの輝度がＶＡ、合成後の背景Ｂの輝度
がＶＢである場合を考える。このような場合、従来技術
による画像合成後にフィルタによる平滑処理を行うと、
境界Ｅ１について平滑化処理を施すことになるので、同
図中の曲線Ｂ２のように輝度が大きく変化する。

【００２１】これに対し、本装置によって処理すれば、
境界Ｅ２について平滑化処理を施すことになるので、曲
線Ｂ３のように輝度の変化をゆるやかにすることができ
る。これにより、境界がよりなめらかになり、より自然
に見える合成画像を得ることができる。ところで、本装
置は上述した図３に示されているフローチャートに従っ
て画像処理を行うので、以下のような画像処理方法が本
発明によって実現されていることになる。すなわち、背
景をなす第１の画像に物体をなす第２の画像を貼り付け
る画像合成を行う画像処理方法であり、上記第１の画像
と上記第２の画像とを比較して両者の色差及び輝度差の
少なくとも一方の値である特性値が所定基準値より大で
あった場合に貼り付けられる第２の画像の境界画素を消
去する境界画素消去ステップと、上記境界画素消去ステ
ップにおいて境界が消去された第２の画像を上記第１の
画像に貼り付ける合成ステップとを含む画像処理方法が
実現されている。

【００２２】そして、上記境界画素消去ステップにおい
ては、上記第１の画像の境界画素についての上記特性値
と該画素に隣接する上記第２の画像の境界画素について
上記特性値との差を、上記所定基準値との比較対象にす
るか、上記第１の画像の境界画素及び該画素に隣接する
隣接画素それぞれについての上記特性値の平均値と該境
界画素に隣接する上記第２の画像の境界画素との差を、
上記所定基準値との比較対象にするか、上記第２の画像
の境界画素についての上記特性値と該画素に隣接する複
数の隣接画素それぞれについての上記特性値の平均値と
の差を、上記所定基準値との比較対象とし、かつ、上記
第２の画像の境界画素についての上記特性値と上記第１
の画像の境界画素及び該境界画素に隣接する複数の境界
画素との平均値との差を、上記所定基準値との比較対象
にしている。なお、上記隣接画素は、表示画面上におい
て上記境界画素の上下左右に隣接する画素である。

【００２３】また、上記合成ステップにおいては、上記
境界画素消去ステップにおいて境界が消去された第２の
画像を上記第１の画像に貼り付けた後、さらにそれら第
１の画像と第２の画像との境界画素について平滑化処理
を施しても良い。ところで、図３等に示されている動作
を実現するためのプログラムを記録した記録媒体を用意
し、この記録媒体に記録されているプログラムによって
コンピュータを制御すれば、上述と同様に画像処理を行
うことができることは明白である。この記録媒体には、
図示されていない半導体メモリ、磁気ディスク、光ディ
スク等の他、種々の記録媒体を用いることができる。

【００２４】請求項の記載に関し、本発明は更に以下の
態様を採り得る。（１）背景をなす第１の画像に物体をなす第２の画像を
貼り付ける画像合成を行う画像処理方法であって、前記
第１の画像と前記第２の画像とを比較して両者の色差及
び輝度差の少なくとも一方の値である特性値が所定基準
値より大であった場合に貼り付けられる第２の画像の境
界画素を消去する境界画素消去ステップと、前記境界画
素消去ステップにおいて境界が消去された第２の画像を
前記第１の画像に貼り付ける合成ステップとを含むこと
を特徴とする画像処理方法。

【００２５】（２）前記境界画素消去ステップにおいて
は、前記第１の画像の境界画素についての前記特性値と
該画素に隣接する前記第２の画像の境界画素についての
前記特性値との差を、前記所定基準値との比較対象にす
ることを特徴とする（１）の画像処理方法。（３）前記境界画素消去ステップにおいては、前記第１
の画像の境界画素及び該画素に隣接する隣接画素それぞ
れについての前記特性値の平均値と前記境界画素に隣接
する前記第２の画像の境界画素との差を、前記所定基準
値との比較対象にすることを特徴とする（１）の画像処
理方法。

【００２６】（４）前記境界画素消去ステップにおいて
は、前記第２の画像の境界画素についての前記特性値と
該画素に隣接する複数の隣接画素それぞれについての前
記特性値の平均値との差を、前記所定基準値との比較対
象とし、かつ、前記第２の画像の境界画素についての前
記特性値と前記第１の画像の境界画素及び該境界画素に
隣接する複数の境界画素との平均値との差を、前記所定
基準値との比較対象にすることを特徴とする（１）の画
像処理方法。

【００２７】（５）前記隣接画素は、表示画面上におい
て前記境界画素の上下左右に隣接する画素であることを
特徴とする（３）又は（４）の画像処理方法。（６）前記合成ステップにおいては、前記境界画素消去
ステップにおいて境界が消去された第２の画像を前記第
１の画像に貼り付けた後、さらにそれら第１の画像と第
２の画像との境界画素について平滑化処理を施すことを
特徴とする（１）〜（５）のいずれかの画像処理方法。

【００２８】（７）背景をなす第１の画像に物体をなす
第２の画像を貼り付ける画像合成を行う画像処理プログ
ラムを記録した記録媒体であって、該プログラムは、前
記第１の画像と前記第２の画像とを比較して両者の色差
及び輝度差の少なくとも一方の値である特性値が所定基
準値より大であった場合に貼り付けられる第２の画像の
境界画素を消去する境界画素消去ステップと、前記境界
画素消去ステップにおいて境界が消去された第２の画像
を前記第１の画像に貼り付ける合成ステップとを含むこ
とを特徴とする記録媒体。

【００２９】（８）前記境界画素消去ステップにおいて
は、前記第１の画像の境界画素についての前記特性値と
該画素に隣接する前記第２の画像の境界画素についての
前記特性値との差を、前記所定基準値との比較対象にす
ることを特徴とする（７）の記録媒体。（９）前記境界画素消去ステップにおいては、前記第１
の画像の境界画素及び該画素に隣接する隣接画素それぞ
れについての前記特性値の平均値と前記境界画素に隣接
する前記第２の画像の境界画素との差を、前記所定基準
値との比較対象にすることを特徴とする（７）の記録媒
体。

【００３０】（１０）前記境界画素消去ステップにおい
ては、前記第２の画像の境界画素についての前記特性値
と該画素に隣接する複数の隣接画素それぞれについての
前記特性値の平均値との差を、前記所定基準値との比較
対象とし、かつ、前記第２の画像の境界画素についての
前記特性値と前記第１の画像の境界画素及び該境界画素
に隣接する複数の境界画素との平均値との差を、前記所
定基準値との比較対象にすることを特徴とする（７）の
記録媒体。

【００３１】（１１）前記隣接画素は、表示画面上にお
いて前記境界画素の上下左右に隣接する画素であること
を特徴とする（９）又は（１０）の記録媒体。（１２）前記合成ステップにおいては、前記境界画素消
去ステップにおいて境界が消去された第２の画像を前記
第１の画像に貼り付けた後、さらにそれら第１の画像と
第２の画像との境界画素について平滑化処理を施すこと
を特徴とする（７）〜（１１）のいずれかの記録媒体。

【００３２】

【発明の効果】以上説明したように本発明は、２つの画
像を比較して両者の色差や輝度差が所定基準値より大で
あった場合に貼り付けられる画像の境界画素を消去し、
この境界が消去された画像を他方の画像に貼り付けるこ
とにより、複雑なフィルタ処理を必要とせず、より自然
な合成画像が得られるという効果がある。また、上記の
合成処理後に境界について平滑化処理を施すことによ
り、境界をよりなめらかにすることができる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の実施の一形態を示
すブロック図である。

【図２】本発明による画像処理装置による処理例を示す
図である。

【図３】本発明による画像処理装置の処理を示すフロー
チャートである。

【図４】本発明による画像処理装置の処理において、削
除対象の画素を示す図である。

【図５】本発明による画像処理装置の処理対象となる２
つの画像の特性値と閾値との関係を示す図である。

【図６】本発明による画像処理装置の処理対象となる画
像の範囲を示す図である。

【図７】本発明による画像処理装置の処理において、境
界をなす複数の画素の平均値に基づいて判断する場合を
示す図である。

【図８】本発明による画像処理装置の処理において、境
界をなす上下あわせて４画素の平均値に基づいて判断す
る場合を示す図である。

【図９】本発明による画像処理装置の処理において、物
体画像の内部、物体画像の境界部分、背景画像の三者を
比較して判断する場合を示す図である。

【図１０】本発明による画像処理装置の処理において、
境界画素等の削除処理後、境界のみに平滑化処理を施す
場合を示す図である。

【符号の説明】

１境界画素消去部２画像合成部

Claims

【特許請求の範囲】

【請求項１】背景をなす第１の画像に物体をなす第２
の画像を貼り付ける画像合成を行う画像処理装置であっ
て、前記第１の画像と前記第２の画像とを比較して両者
の色差及び輝度差の少なくとも一方の値である特性値が
所定基準値より大であった場合に貼り付けられる第２の
画像の境界画素を消去する境界画素消去手段と、前記境
界画素消去手段によって境界が消去された第２の画像を
前記第１の画像に貼り付ける合成手段とを含むことを特
徴とする画像処理装置。
【請求項２】前記境界画素消去手段は、前記第１の画
像の境界画素についての前記特性値と該画素に隣接する
前記第２の画像の境界画素についての前記特性値との差
を、前記所定基準値との比較対象にすることを特徴とす
る請求項１記載の画像処理装置。
【請求項３】前記境界画素消去手段は、前記第１の画
像の境界画素及び該画素に隣接する隣接画素それぞれに
ついての前記特性値の平均値と前記境界画素に隣接する
前記第２の画像の境界画素との差を、前記所定基準値と
の比較対象にすることを特徴とする請求項１記載の画像
処理装置。
【請求項４】前記境界画素消去手段は、前記第２の画
像の境界画素についての前記特性値と該画素に隣接する
複数の隣接画素それぞれについての前記特性値の平均値
との差を、前記所定基準値との比較対象とし、かつ、前
記第２の画像の境界画素についての前記特性値と前記第
１の画像の境界画素及び該境界画素に隣接する複数の境
界画素との平均値との差を、前記所定基準値との比較対
象にすることを特徴とする請求項１記載の画像処理装
置。
【請求項５】前記隣接画素は、表示画面上において前
記境界画素の上下左右に隣接する画素であることを特徴
とする請求項３又は４記載の画像処理装置。
【請求項６】前記合成手段は、前記境界画素消去手段
によって境界が消去された第２の画像を前記第１の画像
に貼り付けた後、さらにそれら第１の画像と第２の画像
との境界画素について平滑化処理を施すことを特徴とす
る請求項１〜５のいずれかに記載の画像処理装置。