JP2002199202A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 集合写真等において、全員がそろって目を開
いている状態の写真プリントを得る。 【解決手段】 ある画像中から顔領域の画像を顔領域抽
出部１によって抽出し、この抽出された顔領域の画像中
からその顔を構成する構成要素である目の画像を目領域
抽出部２によって抽出する。この抽出された構成要素の
画像を、画像合成部３において、他の画像における対応
部分に合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、特に人物を撮影した第１及び第２の画像を利用して
画像処理を行う画像処理装置に関する。

【０００２】

【従来の技術】一般に、記念撮影を行った結果を写真プ
リントしてみると、背景は良く撮れているが、人物は目
を閉じた状態になっていることがある。また、集合写真
等、複数人の記念撮影においては、念のため複数枚撮っ
ても、ある写真はある人物が目を閉じた状態になってお
り、他の写真は別の人物が目を閉じた状態になっている
ことがある。

【０００３】

【発明が解決しようとする課題】上述したように、全員
がそろって目を開いているという状態を撮影するのは困
難である。したがって、全員がそろって目を開いている
状態の写真プリントを得る技術の実現が望まれていた。
本発明の目的は複数の画像を合成して、所望の人物画像
を得ることのできる画像処理装置を提供することであ
る。

【０００４】

【課題を解決するための手段】本発明の請求項１による
画像処理装置は、撮影された第１及び第２の画像を利用
して画像処理を行う画像処理装置であって、前記第１の
画像から人物の顔を構成する構成要素についての構成要
素画像を抽出する抽出手段と、前記抽出手段により抽出
した構成要素の画像を前記第２の画像における対応部分
に合成する合成手段とを含むことを特徴とする。

【０００５】本発明の請求項２による画像処理装置は、
請求項１の画像処理装置において、前記抽出手段は、前
記第１の画像中から顔領域の画像を抽出し、この抽出さ
れた顔領域の画像中から該顔を構成する構成要素の画像
を抽出することを特徴とする。本発明の請求項３による
画像処理装置は、請求項２の画像処理装置において、前
記構成要素の画像は前記顔領域内の目の画像であり、前
記第１及び第２の画像は、前記人物のまばたきの開始か
ら終了までの時間より長い時間間隔をおいて連続撮影さ
れた画像であることを特徴とする。

【０００６】本発明の請求項４による画像処理装置は、
請求項３の画像処理装置において、前記顔領域内の目の
画像を抽出する場合、顔領域内に存在する複数の黒色部
分のうち相対的に下に位置する黒色部分を目の画像とし
て抽出することを特徴とする。本発明の請求項５による
画像処理装置は、請求項３又は４の画像処理装置におい
て、前記抽出手段によって抽出された目の画像が、目が
開いている画像であると判断できた場合に、該目の画像
を前記合成手段による合成に用いることを特徴とする。

【０００７】要するに、本装置においては、まず撮影さ
れた写真画像から画像認識処理によって目を抽出し、そ
の目が閉じているか開いているか判断する。ある写真画
像の人物の目が閉じており、他の写真画像の人物の目が
開いていると判断できたとき、開いている目の画像を抽
出し、その目の部分の画像を、閉じている目の画像部分
に合成する。こうすることにより、集合写真等におい
て、全員がそろって目を開いている状態の写真プリント
が得られる。

【０００８】

【発明の実施の形態】次に、図面を参照して本発明の実
施の形態について説明する。なお、以下の説明において
参照する各図では、他の図と同等部分は同一符号によっ
て示されている。図１は本発明による画像処理装置の実
施の一形態を示すブロック図である。同図に示されてい
るように、本実施形態による画像処理装置は、入力され
た画像中から顔領域の画像を抽出する顔領域抽出部１
と、顔領域抽出部１によって抽出された顔領域の画像中
から目領域の画像を抽出する目領域抽出部２と、目領域
抽出部２によって抽出された目領域の画像について、開
いている目領域の画像を閉じている目領域の画像に貼り
付ける画像合成を行う画像合成部３とを含んで構成され
ている。画像合成部３は、一方の画像から抽出した目領
域の画像を他方の画像中の目領域に貼り付けるため、少
なくとも２つの画像を一時記憶するためのメモリを有し
ているものとする。

【０００９】かかる構成において、まず、処理対象とな
る画像を本装置に入力する。この入力する画像は、カメ
ラ等によって撮影されたものであり、人物の画像が含ま
れているものである。そして、連続的に２枚以上撮影さ
れた画像を本装置に入力する。撮影する間隔はまばたき
が終わる程度の時間（まばたき開始から終了までの時
間）とする。したがって、連続的に２枚以上撮影するよ
うにカメラを設定しておく。ただし、あまり短い時間間
隔で２枚撮影すると、２枚とも目が閉じている画像にな
ることがあるので、まばたきが終わる時間よりわずかに
長い時間を設定すれば良い。このカメラの設定は、マニ
ュアルで行っても良いし、自動で行っても良い。

【００１０】なお、基になる画像と、その一部を置き換
えたい他の画像とがあれば、撮影時間が必ずしも接近し
ていなくても良い。ただし、画像の構成が近ければ近い
ほど合成処理が容易になる。同様に、２つの画像におい
て、対象とする人物の大きさが異なっていても良いが、
大きさが近ければ近いほど本装置による合成処理は容易
になる。

【００１１】また、基になる画像中に複数の人物が存在
する場合は、一人ずつの人物領域に分離した後、各人物
の顔を抽出すれば良い。この場合、特開平８−１５３１
８７号公報に記載されているように、背景画像との差分
２値画像からシルエット関数を求め、このシルエット関
数を利用して一人ずつの人物領域を抽出すれば良い。入
力される画像について本装置が行う処理の内容につい
て、図２を参照して説明する。同図は、本装置が行う画
像処理を示すフローチャートである。同図において、本
装置では、まず、肌色の部分を抽出し、その部分を顔と
判断する（ステップＳ１０１）。この場合、例えば、特
開平１０−３３４２１３号公報に開示されている手法で
顔画像の領域を抽出すれば良い。すなわち、顔画像とし
て認識される複数種類の顔認識色データをメモリに記憶
しておき、この記憶しておいた顔認識色データと比較す
る。そして、いずれかの顔認識色データと一致する色部
分を顔画像の領域として認識する。このとき、認識され
た最大の面積を持つ領域を顔画像の領域として抽出す
る。この他、抽出した縦横比率、画像に占める面積を参
照することによって、その抽出した部分が顔領域かどう
か判断することもできる。特開平９−６９６４号公報に
記載されているように、顔の座標をユーザが指定するよ
うにしても良い。

【００１２】次に、その抽出した顔領域の画像中の黒色
部分を目と判断し、これを抽出する（ステップＳ１０
２）。この場合、目をまゆと区別して認識しなければな
らない。いずれも黒色部分だからである。目とまゆとの
違いは、顔領域の画像中の相対的位置から判断できる。
すなわち、顔領域の画像中、黒色部分が上側及び下側に
存在する場合は、それらのうちの上側をまゆと判断し、
下側を目と判断する。

【００１３】また、目と判断した場合、さらにその目が
閉じているか開いているか判断する（ステップＳ１０
３）。この判断は、抽出した目の画像の縦の長さと横の
長さとの比率によって行う。すなわち、縦の長さに対し
て横の長さが大きい場合は目が閉じていると判断でき
る。これに対し、縦の長さに対して横の長さが小さい場
合は目が開いていると判断できる。なお、顔領域の面積
に対する目の面積によっても、その目が閉じているか開
いているか判断できる。

【００１４】ステップＳ１０３において、目が開いてい
ると判断された場合は、その開いている目の領域を、他
の画像中の閉じている目の領域に貼り付ける（ステップ
Ｓ１０３→Ｓ１０４）。貼り付ける位置は、顔の輪郭を
基に調整する。一方、目が閉じていると判断された場合
は、他の画像中のその画像があった付近の顔から目の画
像のみを抽出し、その画像の目が開いていると判断でき
れば、その開いている目の画像を、閉じている目の部分
に貼り付ける（ステップＳ１０３→Ｓ１０５）。つま
り、開いている目の画像を他の画像の対応する部分すな
わち目の部分と置き換えるように合成する。

【００１５】なお、顔の構成要素の画像抽出には、阿川
弘らによる文献「顔画像による顔構成要素の領域抽出に
関する一検討」（１９９１年テレビジョン学会年次大
会）や佐々木努らによる文献「正面画像の自動識別法の
検討」（ＯＳ９１−１７，ＩＥ９１−５０）に記載され
ている技術を用いても良い。以上説明した画像処理例に
ついて図３を参照して説明する。同図において、同図
（ａ）及び（ｂ）は、本装置による画像処理前の画像で
あり、いずれも望まない画像である。同図（ａ）は、目
を開いているが、ヘアスタイルが乱れ、また口を開いて
いる。一方、同図（ｂ）は、目を閉じているが、ヘアス
タイルは乱れず、また口は閉じている。本装置では、こ
れら同図（ａ）及び（ｂ）の画像を用いて画像処理を行
う。本例では、同図（ａ）の画像中の開いている目の領
域３ａを抽出し、同図（ｂ）の画像中の閉じている目の
領域３ｂに貼り付ける。このように処理することによ
り、同図（ｃ）の領域３ｃに示されているように、目を
開き、ヘアスタイルは乱れず、また口を閉じている、望
ましい画像が得られる。もう一方の目についても同様に
処理すれば良い。

【００１６】以上は、目が閉じている画像に、開いてい
る目の画像を貼り付ける場合について説明したが、これ
に限らず人物の顔等を構成する構成要素について、一方
の画像から抽出して他方の画像に貼り付ける場合につい
て広く本発明が適用できることは明らかである。例え
ば、ヘアスタイルが乱れている場合に、整っているヘア
スタイルの画像を貼り付けることもできるし、口を開い
ている場合に、閉じている口の画像を貼り付けることが
できる。ところで、本装置においては、図２に示されて
いる処理を行っているため、以下のような画像処理方法
が実現されていることになる。すなわち、撮影された第
１及び第２の画像を利用して画像処理を行う画像処理方
法であり、上記第１の画像中から顔領域の画像を抽出す
る顔領域抽出ステップと、上記顔領域抽出ステップにお
いて抽出された顔領域の画像中から該顔を構成する構成
要素の画像を抽出する構成要素抽出ステップと、上記構
成要素抽出ステップにおいて抽出された構成要素の画像
を上記第２の画像における対応部分に合成する画像合成
ステップとを含む画像処理方法が、本装置によって実現
されている。なお、図２等に示されている動作を実現す
るためのプログラムを記録した記録媒体を用意し、これ
を用いてコンピュータを制御すれば、上述と同様に画像
処理を行うことができることは明白である。この記録媒
体には、図示されていない半導体メモリ、磁気ディス
ク、光ディスク等の他、種々の記録媒体を用いることが
できる。

【００１７】請求項の記載に関し、本発明は更に以下の
態様を採り得る。 （１）撮影された第１及び第２の画像を利用して画像処
理を行う画像処理方法であって、前記第１の画像中から
顔領域の画像を抽出する顔領域抽出ステップと、前記顔
領域抽出ステップにおいて抽出された顔領域の画像中か
ら該顔を構成する構成要素の画像を抽出する構成要素抽
出ステップと、前記構成要素抽出ステップにおいて抽出
された構成要素の画像を前記第２の画像における対応部
分に合成する画像合成ステップとを含むことを特徴とす
る画像処理方法。

【００１８】（２）前記顔領域抽出ステップにおいて
は、前記第１の画像中から顔領域の画像を抽出し、この
抽出された顔領域の画像中から該顔を構成する構成要素
の画像を抽出することを特徴とする（１）の画像処理方
法。 （３）前記構成要素の画像は前記顔領域内の目の画像で
あり、前記第１及び第２の画像は、前記人物のまばたき
の開始から終了までの時間より長い時間間隔をおいて連
続撮影された画像であることを特徴とする（２）の画像
処理方法。

【００１９】（４）前記顔領域内の目の画像を抽出する
場合、顔領域内に存在する複数の黒色部分のうち相対的
に下に位置する黒色部分を目の画像として抽出すること
を特徴とする（３）の画像処理方法。 （５）抽出された目の画像が、目が開いている画像であ
ると判断できた場合に、該目の画像を前記画像合成ステ
ップにおける合成に用いることを特徴とする（３）又は
（４）の画像処理方法。

【００２０】（６）撮影された第１及び第２の画像を利
用して画像処理を行う画像処理プログラムを記録した記
録媒体であって、該プログラムは、前記第１の画像中か
ら顔領域の画像を抽出する顔領域抽出ステップと、前記
顔領域抽出ステップにおいて抽出された顔領域の画像中
から該顔を構成する構成要素の画像を抽出する構成要素
抽出ステップと、前記構成要素抽出ステップにおいて抽
出された構成要素の画像を前記第２の画像における対応
部分に合成する画像合成ステップとを含むことを特徴と
する記録媒体。

【００２１】（７）前記顔領域抽出ステップにおいて
は、前記第１の画像中から顔領域の画像を抽出し、この
抽出された顔領域の画像中から該顔を構成する構成要素
の画像を抽出することを特徴とする（６）の記録媒体。 （８）前記構成要素の画像は前記顔領域内の目の画像で
あり、前記第１及び第２の画像は、前記人物のまばたき
の開始から終了までの時間より長い時間間隔をおいて連
続撮影された画像であることを特徴とする（７）の記録
媒体。

【００２２】（９）前記顔領域内の目の画像を抽出する
場合、顔領域内に存在する複数の黒色部分のうち相対的
に下に位置する黒色部分を目の画像として抽出すること
を特徴とする（８）の記録媒体。 （１０）抽出された目の画像が、目が開いている画像で
あると判断できた場合に、該目の画像を前記画像合成ス
テップにおける合成に用いることを特徴とする（８）又
は（９）の記録媒体。

【００２３】

【発明の効果】以上説明したように本発明は、ある画像
から人物の顔を構成する構成要素についての構成要素画
像を抽出し、この抽出した構成要素の画像を他の画像に
おける対応部分に合成することにより、例えば開いてい
る目の画像を抽出し、その目の部分の画像を閉じている
目の画像部分に合成でき、集合写真等において、全員が
そろって目を開いている状態の写真プリントが得られる
という効果がある。

【図面の簡単な説明】

【図１】本発明による画像処理装置の実施の一形態を示
すブロック図である。

【図２】図１の画像処理装置の動作を示すフローチャー
トである。

【図３】本装置による画像処理例を示す図である。

【符号の説明】

１ 顔領域抽出部 ２ 目領域抽出部 ３ 画像合成部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮影された第１及び第２の画像を利用し
   て画像処理を行う画像処理装置であって、前記第１の画
   像から人物の顔を構成する構成要素についての構成要素
   画像を抽出する抽出手段と、前記抽出手段により抽出し
   た構成要素の画像を前記第２の画像における対応部分に
   合成する合成手段とを含むことを特徴とする画像処理装
   置。
2. 【請求項２】 前記抽出手段は、前記第１の画像中から
   顔領域の画像を抽出し、この抽出された顔領域の画像中
   から該顔を構成する構成要素の画像を抽出することを特
   徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記構成要素の画像は前記顔領域内の目
   の画像であり、 前記第１及び第２の画像は、前記人物のまばたきの開始
   から終了までの時間より長い時間間隔をおいて連続撮影
   された画像であることを特徴とする請求項２記載の画像
   処理装置。
4. 【請求項４】 前記顔領域内の目の画像を抽出する場
   合、顔領域内に存在する複数の黒色部分のうち相対的に
   下に位置する黒色部分を目の画像として抽出することを
   特徴とする請求項３記載の画像処理装置。
5. 【請求項５】 前記抽出手段によって抽出された目の画
   像が、目が開いている画像であると判断できた場合に、
   該目の画像を前記合成手段による合成に用いることを特
   徴とする請求項３又は４記載の画像処理装置。