JP2009141811A - 画像処理装置、方法、プログラム、記録媒体、撮像装置及び携帯端末装置 - Google Patents

Abstract

【課題】複数の撮影画像を合成し、所望する画像を取得することが出来る画像処理装置、方法、プログラム、記録媒体、撮像装置及び携帯端末装置を提供する。
【解決手段】画像から顔と前記顔の中から所定の部位を検出する検出手段と、前記所定の部位が予め定めた基準を満たしているか否かを判断する判断手段と、前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす部位を切り出し、合成する画像合成手段と、を備えることを特徴とする画像処理装置である。
【選択図】図１

Description

本発明は、画像処理装置、方法、プログラム、記録媒体、撮像装置及び携帯端末装置に関し、特に複数の画像を合成して最適な画像を得る画像処理装置、方法、プログラム、記録媒体、撮像装置及び携帯端末装置に関する。

昨今、デジタルカメラ、カメラ機能付き携帯電話機等が普及し、日常生活でカメラ撮影が不可欠のものとなっている。撮影においては、撮影失敗を防ぐ必要がある場合が多々ある。撮影影失敗とは、例えば人物の目が閉じていたり、横を向いていたりする写真になってしまった場合である。集合写真のような場合は特に注意が必要である。このような撮影失敗の防止のため、撮影を数回行ったり、デジタルカメラの場合は撮影後に画面に撮影画像を表示させて確認したりしていた。しかしながら、カメラが備えている表示画面は小さいため、各人物の目を確認しきれない場合や、集合写真の場合等人数が多いときは撮影ミスを見落とす場合もあり、全員を確認するのは非常に手間がかかり、困難であった。また、人数が多いと毎回誰かしらは目を閉じていたり、下を向いていたりして、撮影失敗をすることが多かった。そこで下記のような回避方法が提案されている。

例えば、特許文献１には、プリフラッシュ終了後の所定時間内に露出を行い、目を閉じる発生率を減少させる方法が記載されている。特許文献２には、目のまばたきによるパルスをその反射光によって検出し、まぶたが開いている時のみシャッターを作動させる方法が記載されている。特許文献３には、目の画像を多数保存するデータベースを用いて、閉じた目を合成により修正する方法が記載されている。

特許文献４には、最も鑑賞に適した顔画像を人物ごとに選択して「かきわり」状のテンプレート画像に合成できる画像処理装置が記載されている。特許文献５には、画像から顔と目を検出し、この検出結果に基づいて閉じている目、半開きの目等の失敗目であるか否かをテンプレートパターンマッチングにより判定し、失敗目であると判定された場合に、失敗目であると判定された領域に対する補正候補画像を予め作成された画像データベースから検索し、検索された候補画像を合成する画像処理装置が記載されている。
特表昭５７−５０１１４８号公報 特開昭５６−０７０７５２号公報 特開２００１−１９７２９６号公報 特開２００６−０９２０２６号公報 特開２００６−３４４１６６号公報

しかしながら、上記のような技術では、人物の目が閉じた状態の撮影画像になることを防止するため、撮影枚数を増やし撮影結果を取捨選択する必要があった。また、撮影枚数を増やしても現像後に誰かしらが目を閉じている撮影結果となる場合もあった。また、上述のようにデジタルカメラなどでは撮影画像を表示させ１枚ずつ確認を行えるが、確認に手間がかかるだけではなく、人物が多い場合は液晶画面での確認が困難な場合もあった。そこで提案された上記特許文献１記載の発明であっても、発生率を減少させることはできるが、確認の手間を減らせない問題があった。また、上記特許文献２記載の発明は、医療用器具向けで対個人への技術であり、眼球のみの撮影に有効であることから一般的な撮影時には不適当である問題があった。上記特許文献３は、人物の目の形が異なるため違和感のある画像となる問題が生じる。また、同一人物の目を合成する方法も記載されているが、これはオペレータが他の撮影シーンから合致する目を判断し処理する方法である。このため、他のシーンを利用すると違和感が生じ、また合致する目の判断に手間がかかる問題もあった。

本発明はこのような状況に鑑みてなされたものであり、複数の撮影画像を合成し、所望する画像を取得することを目的としている。

本発明の第１の画像処理装置は、画像から顔と前記顔の中から所定の部位を検出する検出手段と、前記所定の部位が予め定めた基準を満たしているか否かを判断する判断手段と、前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす部位を切り出し、合成する画像合成手段と、を備えることを特徴とする。

本発明の第２の画像処理装置は、画像から顔と目を検出する検出手段と、前記目が予め定めた基準を満たしているか否かを判断する判断手段と、前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成する画像合成手段と、を備えることを特徴とする。

本発明の第１の画像処理方法は、画像から顔と目を検出するステップと、前記目が予め定めた基準を満たしているか否かを判断するステップと、前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成するステップと、を備えることを特徴とする。

本発明の第１の画像処理プログラムは、画像から顔と前記顔の中から目を検出する処理と、前記目が予め定めた基準を満たしているか否かを判断する処理と、前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成する処理と、をコンピュータに実行させることを特徴とする。

本発明の第１の記録媒体は、上記第１の画像処理プログラムの処理を記録するコンピュータ読み取り可能な記録媒体である。

本発明の第１の撮像装置は、連写撮影を行う連写手段と、上記第１又は第２の画像処理装置と、を備え、前記画像及び前記他の画像は、いずれも前記連写手段により取得した画像であることを特徴とする。

本発明の第１の携帯端末装置は、上記第１の撮像装置を備える携帯端末装置である。

本発明によれば、複数の撮影画像を合成し、所望する画像を取得することが出来る。

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

図１は本発明の実施形態に係る撮像装置の概略構成図である。撮像部１、顔検出処理部２、合成処理部３、表示部４、外部入力部５から構成される。

撮像部１は画像を取得し、顔検出処理部２へデータを出力する。顔検出処理部２は画像から人物の目を検出後、合成処理部３へデータを出力する。合成処理部３では顔検出処理部２からの情報をもとに合成処理を行う。表示部４は合成処理された画像及び未合成の画像を表示する。外部入力部５は顔検出処理部２、合成処理部３に機能動作の入力を行う。

次に、本実施形態に係る画像補正の動作処理について図１に示すフローチャートを用いて説明する。カメラ起動中に目つぶり補正を行うか否か決定する（ステップＳ１、Ｓ２）。目つぶり補正をしない場合は通常の撮影モードに移行する（ステップＳ２／Ｎｏ、Ｓ１１）。通常撮影モードでは撮影した画像をそのまま表示部に出力する（ステップＳ１２）。

目つぶり補正を行う場合は目つぶり補正撮影モードに移行する（ステップＳ２／Ｙｅｓ、Ｓ３）。目つぶり補正撮影モードの撮影は２枚以上の自動連写撮影となる（ステップＳ４）。

なお、シャッター速度はまばたきの時間（０．２〜０．３秒）より短く可能な限りフレーム数を確保することが好ましい。連写間隔及び連写回数は予め任意に設定することが可能である。撮影終了後、撮影画像全てにおいて人物の目を比較し、目を閉じている人物がいるかどうかの判断が顔認証処理部で実行される（ステップＳ５）。撮影画像内で目を閉じた人物がいない画像がある場合は（ステップＳ５／Ｎｏ）その画像を選択し表示部に出力する（ステップＳ１０）。

どの画像にも目を閉じた人物がいる場合（ステップＳ５／Ｙｅｓ）、目を閉じている人物と同一人物で、他の撮影画像から前記同一人物の目が開いている画像を検出し、目の部分を切り出し、合成処理部で合成処理を行う（ステップＳ６）（図３及び図４参照）。ステップＳ５では、閉じた目以外に半目なども考えられるため顔検出処理部での目の比較時に目の大きさの差分で、ある閾値以上は半目と判断し最も目が大きいものを使用することも考え得る。このように、閉じている目か半目か等の判断は、予め定めた閾値（基準）を満たしているか否かで判断することが出来る。

合成処理後に、再度目を閉じた人物がいるかどうかを判断し（ステップＳ７）、いない場合は表示部に撮影データを出力する。

合成処理後に目を閉じた人物がいる場合は（ステップＳ７／Ｎｏ）、表示部に「目つぶり人物有」の警告表示を行う（ステップＳ８）。警告表示後は再撮影の選択を促し（ステップＳ９）、再撮影を行わない場合は（ステップＳ９／Ｎｏ）合成処理後の撮影データを表示部に出力し、終了する。再撮影を行う場合は（ステップＳ９／Ｙｅｓ）目つぶり補正モードに戻り撮影を行う（ステップＳ４）。

上記実施形態により、集合写真や人物撮影時に被写体の目が閉じているかどうかを液晶などで確認する必要や数枚の撮影を実施後の取捨選択する必要がなく、目を開いている人物画像を手軽に取得することが出来る。また、同じ環境下で同じシーン（ポーズ）を自動で連射し、顔検出技術を利用することで自動的に目の開閉検出・補正を行うため、ユーザは撮影結果を気にする必要なく目を開けた人物の撮影画像を取得することができる。また、補正失敗時は表示部４に警告が表示されるため、ユーザは撮影毎に画像を確認する必要がない。警告は表示部への表示の他、音声等で行うことも可能である。このように、集合写真や人物撮影時に被写体の目が閉じているかどうかを撮影毎に液晶表示部等で確認する必要がなく、撮影枚数を増やすことで撮影結果を取捨選択せずに目を開いている人物の撮影画像を手軽に取得することができる。

なお、上記実施形態では自動連写を行い、複数の撮影画像のうちから目つぶり補正を行うが、撮影ごとに上記ステップＳ５と同様の「目を閉じた人物がいるか」の処理を行い、いる場合は続けて撮影し、撮影と合成処理を同時に行うことで、必要以上の連写をする必要のない動作処理も考え得る。一回目の撮像画像（１）に目を閉じた人物がいる場合、二回目の撮影を行い（２）、合成画像（１）を取得する。合成画像（１）にも目を閉じた人物がいる場合、三回目の撮影を行い、合成画像（１）に撮像画像（３）の合成を行う。これを繰り返し、目を閉じた人物のいない画像を得る（図５参照）。またこの場合、目を閉じた人物がいない合成画像が得られるまで連写をすることになるため、予め連写の上限を定めておくことも可能である。

本発明の他の実施形態について説明する。上記実施形態では画像処理の一例として目の補正（画像合成処理）について説明したが、必ずしもこれに限るものではない。開いた口や横を向いている場合は顔全体などの各種補正を行う画像処理も考え得る。また、逆に遊びの要素として片目が閉じたウインク画像などを得ることも可能である。

いずれにもおいても、同一環境下での複数の画像を用いて補正を行うため、データベースを用いて同一環境下ではないところでの画像から合成する場合と比較し、合成後の違和感が生じないという効果も有する。また、連写撮影画像を用いて合成するため、合成画像用のデータベースを必要としない。データベースが必要な場合は、保存しておくべき内容の精査やメモリを必要とするが、上記実施形態においてこれらは不要となる。

上記実施形態は、デジタルカメラ、フィルムカメラ等の撮像装置に備わる画像処理部や画像処理ソフトとして用いることが出来る。また、携帯電話機、PHS（Personal Handy phone System）、PDA（Personal Data Assistance, Personal Digital Assistants：個人向け携帯型情報通信機器）等の携帯端末装置であって、カメラ機能を備える装置の画像処理部で用いることが出来る。

なお、図２のフローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。

以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明の実施形態に係る撮像装置の概略構成図である。 本発明の実施形態に係る画像補正の動作処理を示すフローチャートである。 本発明の実施形態に係る画像補正の一例を説明するための図である。 本発明の実施形態に係る画像補正の一例を説明するための図である。 本発明の実施形態に係る画像補正の一例を説明するための図である。

符号の説明

１ 撮像部
２ 顔検出処理部
３ 合成処理部
４ 表示部
５ 外部入力部

Claims (10)

1. 画像から顔と前記顔の中から所定の部位を検出する検出手段と、
   前記所定の部位が予め定めた基準を満たしているか否かを判断する判断手段と、
   前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす部位を切り出し、合成する画像合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像及び前記他の画像は、いずれも連写撮影により取得した画像であることを特徴とする請求項１記載の画像処理装置。
3. 画像から顔と目を検出する検出手段と、
   前記目が予め定めた基準を満たしているか否かを判断する判断手段と、
   前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成する画像合成手段と、
   を備えることを特徴とする画像処理装置。
4. 前記画像及び前記他の画像は、いずれも連写撮影により取得した画像であることを特徴とする請求項３記載の画像処理装置。
5. 画像から顔と目を検出するステップと、
   前記目が予め定めた基準を満たしているか否かを判断するステップと、
   前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成するステップと、
   を備えることを特徴とする画像処理方法。
6. 画像から顔と前記顔の中から目を検出する処理と、
   前記目が予め定めた基準を満たしているか否かを判断する処理と、
   前記判断手段により基準を満たしていないと判断した場合、他の画像から前記基準を満たす目を切り出し、合成する処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
7. 請求項６記載の画像処理プログラムの処理を記録するコンピュータ読み取り可能な記録媒体。
8. 連写撮影を行う連写手段と、
   請求項１又は３記載の画像処理装置と、を備え、
   前記画像及び前記他の画像は、いずれも前記連写手段により取得した画像であることを特徴とする撮像装置。
9. 前記連写手段による連写間隔時間、及び連写回数を予め設定する設定手段と、
   前記合成手段によっても前記目が予め定めた基準を満たしている画像が得られない場合に警告を行う警告手段と、
   を備えることを特徴とする請求項７記載の撮像装置。
10. 請求項８又は９記載の撮像装置を備える携帯端末装置。

Images