JP2008271181A - 撮像装置および撮像方法、再生装置および再生方法、撮像画像処理システム - Google Patents

Abstract

【課題】「人物をかんたんにきれいにとりたい、きれいに見たい。」という希望に対して、ＡＥ/ＡＷＢなどをＰＣの現像処理にて行う場合や、記録した画像の再生装置での人物の顔に着目した明るさと色の調整を行う際に、顔検出情報を有効活用して実現提供する。
【解決手段】任意の撮影画像に対して人物の顔の検出を行なってＡＦ／ＡＥ／ＡＷＢ等の調整を行うとともに、記録媒体に画像データを記録する際に、顔検出機能により得られた顔位置情報を画像データに付加して一つのファイルとして生成、記録する撮像装置を提供する。さらに、記録した画像データをＰＣ等で再生表示する際、画像データに付加された顔位置情報を用いた画像処理を、アプリケーションソフトウェアを用いて実行する再生装置および撮像画像処理システムを提供する。上記画像処理においては、再生装置のユーザの意図どおりに画像の顔部分の画質調整を実行することができる。
【選択図】図１

Description

本発明は、例えば、ディジタルカメラで人物画像を撮影する時に使用する顔検出機能を利用して、記録する画像データに顔位置情報を付加して記録再生する処理に関わり、ディジタルカメラ本体に代表される撮像装置、ＰＣなどの再生装置、その両方から成る撮像画像処理システム、およびそれらの方法に関するものである。

近年、フィルムも現像も不要なディジタルカメラは活況を呈し、一眼レフタイプカメラから携帯電話搭載カメラまで高速化と高画質化の技術向上と普及には目覚ましいものがある。人物撮影においては、例えば、特許文献１にあるような、画面内にある人物の顔の位置を検出し、人物の顔に焦点を合わせ、最適な露出で撮影する撮影装置がある。具体的には図４に示すように、Ａ／Ｄ変換回路４０１から出力されたディジタル画像データをそのまま、あるいは所定の処理を施して第１の画像データとして記憶し、一方でディジタル画像データに所定の処理を施して第２の画像データとして記憶する。そして、第２の画像データから顔領域を検出すると共に第１の画像データに基づいて画像の表示を行い、第２の画像データからの顔領域の検出が完了すると、第１の画像データにおける顔領域に対応する部分のデータを用いてオートフォーカス、自動露出、又はオートホワイトバランス(以下、ＡＦ／ＡＥ／ＡＷＢ）調整のための情報を抽出し、ＡＦ／ＡＥ／ＡＷＢの調整を行う。
特開２００５−３１８５５４号公報

しかしながら、上記特許文献１記載の技術では、撮像装置内において、検出された顔位置のデータからＡＦ／ＡＥ／ＡＷＢの評価値を検出し、それら評価値に基づいて自動的に人物の顔に画質調整が施された画像ファイルを記録するにとどまっていた。すなわち、ＰＣ等での画像再生において、顔位置情報を利用したＡＥ／ＡＷＢ調整やレタッチなどの画像処理に関しては言及されておらず、検出された顔位置情報を十分に活用できていないという問題があった。

上記の点に鑑み、本発明は任意の撮影画像に対して人物の顔の検出を行なってＡＦ／ＡＥ／ＡＷＢ等の調整を行うとともに、画像データを記録する際に、顔検出機能により得られた顔位置情報を画像データに付加して一つのファイルとして生成、記録する撮像装置を提供する。さらに、記録した画像データを再生表示する際、画像データに付加された顔位置情報を用いた明るさ、色調整、レタッチなどの画像処理を実行する再生装置およびシステムを提供する。

第１の発明は、撮像素子で撮像した被写体光をディジタルの画像データに変換し、記録媒体に記録する撮像装置において、任意の撮影画像に対して人物の顔の検出を行う手段と、前記顔の検出を行う手段により得られた前記撮影画像における顔位置情報と、前記画像データとを一つのファイルとして生成する手段と、前記ファイルを前記記録媒体に記録する手段とを備えることを特徴とする。

第２の発明は、第１の発明の撮像装置において、画像データがそれぞれＲＡＷデータ、ＴＩＦＦデータ、ＪＰＥＧデータである場合に、画像データに顔位置情報を付加して一つの静止画像データファイルとして記録することを特徴とする。

第３の発明は、第１の発明の撮像装置において、画像データが動画圧縮データである場合に、動画圧縮データに単位時間フレーム毎の顔位置情報を付加して１つの動画像データファイルとして記録することを特徴とする。

第４の発明は、第１の発明の撮像装置において、顔位置情報と画像データとを１つのファイルとして生成した後、画像データを再生表示する際に、顔位置情報を用いて画像データの顔領域を抽出し、顔領域に対する画像処理を行って表示手段に再生表示することを特徴とする。ここでの画像処理は、少なくとも明るさ調整、色調整のいずれかが実行される。

第５の発明は、第１〜４の発明の撮像装置において生成された、画像データと顔位置情報から成るファイルを取得する手段を備えた再生装置である。

第６の発明は、第５の発明の再生装置において、顔位置情報を用いて画像データの顔領域を抽出し、顔領域に対する明るさ調整、色調整などの画像処理を行う手段を備えることを特徴とする。

第７の発明は、第１〜４の発明の撮像装置と、第５〜６の発明の再生装置を少なくとも有し、撮像装置で生成された画像データに顔位置情報が付加されたファイルを再生装置が読み込み、顔位置情報を利用して画像データに対する画像処理を行い、人物の顔に対する最適化が施された画像を再生表示する。

本発明によると、任意の撮影画像に対して人物の顔の検出を行なってＡＦ／ＡＥ／ＡＷＢ等の調整を行うとともに、記録媒体に画像データを記録する際に、顔検出機能により得られた顔位置情報を画像データに付加して一つのファイルとして生成、記録する撮像装置を提供できる。さらに、記録した画像データをＰＣ等で再生表示する際、画像データに付加された顔位置情報を用いた画像処理を、アプリケーションソフトウェアを用いて実行する再生装置およびシステムを提供できる。上記画像処理においては、画像データの顔位置部分の最適な画質調整を自動的に実行することができる。

本発明の実施形態を図面に基づいて詳細に説明する。

本発明の撮像画像処理システムは図１にあるような、人物などを撮影してディジタル画像データとして記録するためのディジタルカメラ１０１、ディジタルカメラ１０１により撮影され顔位置情報が付加された画像データ１０２、画像データ１０２を取得し所定の処理を行って再生表示するＰＣ１０３またはＰＣ以外の画像再生表示装置１０４から構成される。

（１）第１の実施形態
本発明におけるディジタルカメラ１０１の基本構成および動作について以下に記す。

ディジタルカメラ１０１は、撮影した画像データを記録する際に、顔検出機能を用いて任意の撮影画像の顔位置情報を検出し、画像データに付加して一つのファイルとして記録媒体に記録する。図２に示すように、１０１のディジタルカメラは、レンズユニット２０８、イメージセンサ２０１、イメージセンサ２０１の駆動パルスを発生するタイミングジェネレータ（以下、ＴＧ）２０２、イメージセンサ２０１の出力のノイズを除去しゲインをコントロールするＣＤＳ／ＡＧＣ回路２０３、アナログディジタル変換器（以下、ＡＤＣ）２０４、ディジタル信号処理回路（以下、ＤＳＰ）２０５、画像データおよび各種データを保存しておくメモリ回路２０６、およびディジタルカメラ１０１全体を制御するＣＰＵ２０７を備えて構成されている。本実施形態では顔検出機能はＤＳＰ２０５により実装されるが、ＤＳＰ外部の顔検出専用回路（図示しない)によって実装してもよい。

静止画撮影の場合、ＤＳＰ２０５はＡＤＣ２０４によりＡ／Ｄ変換された画像信号データに対して、黒レベル補正およびゲイン補正等の前処理を行い、ＲＡＷデータとしてメモリ２０６に記録する。その後、メモリ２０６に記録したＲＡＷデータを記録媒体２０９に記録する。または、ＲＡＷデータに対して輝度信号処理と色信号処理を行いＴＩＦＦデータとして記録媒体２０９に記録する。または、ＲＡＷデータに対して輝度信号データと色信号データの圧縮を行いＪＰＥＧデータとして記録媒体２０９に記録する。動画撮影の場合も同様に、画像信号データに対する前記前処理を行い、圧縮動画データとして記録媒体２０９に記録する。本実施形態では上述の画像記録処理を実行する際に、前記ＤＳＰ２０５の顔検出機能を並列動作もしくはシーケンス動作として加え、画像データの顔位置情報を検出する。検出された顔位置情報はＣＰＵ２０７のプログラム処理によって画像データに付加され、記録媒体２０９に一つのファイルとして記録される。

動画記録の場合は、フレーム単位での顔位置情報を付加した一つの動画像データファイルとして記録され。フレーム単位での顔位置情報の付加とは、顔位置情報をフレーム毎に付加してもよいし、複数フレーム毎に付加してもよいことを示す。

なお、本実施形態では顔位置情報を付加した画像データファイルを記録媒体２０９に記録するが、ディジタルカメラ１０１内部のメモリ２０６に記録してもよい。

ディジタルカメラ１０１で画像データを再生する場合は、記録媒体２０９から画像データファイルを読み出し、表示サイズにリサイズしたのち表示部２１０に出力する。この際、ＤＳＰ２０５により画像データに付加された顔位置情報を用いた画像処理を実行した後、表示部に出力してもよい。なお、画像データが圧縮データの場合にはリサイズ前に伸張処理が実行される。

（２）第２の実施形態
本発明における再生装置であるＰＣ１０３および画像再生表示装置１０４の基本構成および動作、それら再生装置とディジタルカメラ１０１との関係を以下に記す。

顔位置情報が付加された画像データ１０２は、ＳＤカード等の記録媒体２０９に記録される他、外部インターフェース部２１１を介してＬＡＮ等の無線もしくは優先ネットワークに接続されることでディジタルカメラ１０１外部の機器に出力される。本実施形態における外部機器は、ＰＣ１０３もしくは画像再生表示装置１０４である。前述の外部機器は、記録媒体２０９またはネットワークを介して顔位置情報が付加された画像データ１０２を外部機器内に取り込み、画像処理と再生表示を行う。

顔位置情報が付加された画像データ１０２がＲＡＷデータの場合には、ＰＣ１０３のアプリーケーションソフトを用いて現像のための画像処理と再生表示を行う。通常、ＰＣにおける現像のための画像処理はユーザの複数回の試行錯誤を経て最適な画像に調整されるが、本発明ではＲＡＷデータに付加された顔位置情報を用いることにより、画像データの該当する顔部分のＲＧＢデータを抽出して撮影条件を演算推定し、人物の顔について予め登録された目標再現レベルを用いて、明るさおよび色の調整を自動的に実施できる。ＰＣ１０３は、前述の現像のための画像処理を施したのち画像データをモニタに表示する。

顔位置情報が付加された画像データ１０２がＴＩＦＦデータもしくはＪＰＥＧデータの場合には、ＰＣ１０３のアプリーケーションソフトを用いて表示処理を行う。通常、表示処理では記録された画像データを忠実に表示するが、本発明では画像データに付加された顔位置情報を用いた画像処理を施したのち、表示処理を実施する。具体的には、画像データの該当する顔部分のＲＧＢデータを抽出して撮影条件を演算推定し、人物の顔について予め登録された目標再現レベルを用いて明るさおよび色の調整を自動的に実施できる。ＰＣ１０３は、前述の画像処理を施した画像データをモニタに表示する。また、前述の画像処理を施した画像データ、すなわち顔部分の画質調整が最適化された画像データを再度ＰＣ１０３や記録媒体２０９に保存してもよい。

顔位置情報が付加された画像データ１０２が圧縮動画データの場合には、ＰＣ１０３のアプリーケーションソフトを用いて再生処理を行う。通常、再生処理では記録された動画データを忠実に表示するが、本発明では動画データにフレーム単位で付加された顔位置情報を用いた画像処理を施したのち、表示処理を実施する。具体的には、フレーム単位毎の画像データに対し、該当する顔部分のＲＧＢデータを抽出して撮影条件を演算推定し、人物の顔についてあらかじめ登録された目標再現レベルを用いて明るさ、色の調整を自動的に実施するため、動画撮影時の環境変化によるホワイトバランスのずれを再生時に補正することが可能となる。ＰＣ１０３は、前述の画像処理を施した画像データをモニタに表示する。また、前述の画像処理を施した動画像データ、すなわち顔部分の画質調整が最適化された動画像データを、再度ＰＣ１０３や記録媒体２０９に保存してもよい。このとき、動画像データを再生しながら保存してもよい。

本実施形態では、再生表示装置をＰＣ１０３としたが、ＰＣ以外の画像再生表示装置１０４、例えばディジタルテレビや携帯電話を用いて再生表示する場合も同様の処理を行う。

（３）第３の実施形態
第１、第２の実施形態で画像データに付加されるのは顔位置情報であるが、顔検出機能によりさらに顔の中心位置や大きさ情報を検出し、それらの情報を画像データに付加してもよい。画像データに顔の中心位置や大きさの情報を付加することにより、ＰＣ１０３等の外部機器において画像データの該当する顔部分、および人物に対するズームリサイズ処理を行うことができる。

図３には、画像データに付加された顔位置情報と、顔の中心位置情報、顔の大きさ情報から得られた、顔の枠データ３０１と人物を横方向に分割する位置３０２とが示されている。画像データファイルから顔位置情報、顔の中心位置情報、顔の大きさ情報が取得される。顔の枠データ３０１は顔位置情報から生成される。人物を横方向に分割する位置３０２は、顔の中心位置情報および顔の大きさ情報により、顔の任意部位（鼻や目）に対応する位置と、顔の大きさから顔と体の構成の一般的な比率により推定できる胸位置、腰位置などを推定演算することにより決定される。決定された画像データ上の分割位置３０２をもとに、元の画像データファイルを複数の短冊画像ファイルに分割し、分割単位ごとに分割方向には違う比率で、分割しない方向には同一の比率でズーム処理を実施し、リサイズしたのちＰＣ１０３のアプリケーションで再合成して一つの画像を生成する。ＰＣ１０３は、前述のズームリサイズ処理を施した画像データをモニタに表示する。また、前述のズームリサイズ処理を施した画像データ、すなわち人物の顔部分または体部分においてリサイズ調整がなされた画像データを、再度ＰＣ１０３や記録媒体２０９に保存してもよい。

本実施形態では、再生装置をＰＣ１０３としたが、ＰＣ以外の画像再生表示装置１０４、例えばディジタルテレビや携帯電話を用いて再生表示する場合も同様の処理を行う。

本発明にかかる撮像装置、再生装置、および撮像画像処理システムは、任意の撮影画像に対する顔検出を行う機能を備えた撮像装置、顔検出において得られた顔位置情報を用いた画像の最適化処理を行う再生装置、およびそのような撮像装置、再生装置を記録媒体または有線・無線のネットワークを介して接続した撮像画像処理システムに関する。

本発明における撮像装置、再生装置および撮像画像処理システムの構成図 本発明の実施形態におけるディジタルカメラの内部構成図 第３の実施形態における顔検出情報を用いたリサイズ処理の概念図 従来の一般的なディジタルカメラの構成図

符号の説明

１０１ ディジタルカメラ
１０２ 顔位置情報が付加された画像データ
１０３ ＰＣ
１０４ ＰＣ以外の画像再生表示装置
２０１ イメージセンサ
２０２ タイミングジェネレータ
２０３ ＣＤＳ／ＡＧＣ回路
２０４ アナログディジタル変換器
２０５ ディジタル信号処理回路
２０６ メモリ回路
２０７ ＣＰＵ
２０８ レンズユニット
２０９ 記録媒体
２１０ 表示部
２１１ 外部インターフェース部
３０１ 顔の枠データ
３０２ 画像データの分割位置

Claims (15)

1. 撮像素子で撮像した被写体光をディジタルの画像データに変換し、記録媒体に記録する撮像装置において、
   任意の撮影画像に対して人物の顔の検出を行う手段と、
   前記顔の検出を行う手段により得られた前記撮影画像における顔位置情報と、前記画像データとを一つのファイルとして生成する手段と、
   前記ファイルを前記記録媒体に記録する手段と
   を備える撮像装置。
2. 前記画像データがＲＡＷデータの場合に、前記ＲＡＷデータに前記顔位置情報を付加して一つの静止画像データファイルとして記録する請求項１記載の撮像装置。
3. 前記画像データがＴＩＦＦデータの場合に、前記ＴＩＦＦデータに前記顔位置情報を付加して一つの静止画像データファイルとして記録する請求項１記載の撮像装置。
4. 前記画像データがＪＰＥＧデータの場合に、前記ＪＰＥＧデータに前記顔位置情報を付加して一つの静止画像データファイルとして記録する請求項１記載の撮像装置。
5. 前記画像データが動画圧縮データの場合に、前記動画圧縮データにフレーム単位で前記顔位置情報を付加して一つの動画像データファイルとして記録する請求項１記載の撮像装置。
6. 前記顔位置情報と前記画像データとを一つのファイルとして生成した後、前記画像データを再生する際に、前記顔位置情報を用いて前記画像データの顔領域を抽出し、前記顔領域に対する画像処理を行って表示部に再生表示することを特徴とする請求項１乃至５記載の撮像装置。
7. 前記画像処理では、明るさ調整、色調整の少なくとも一つを行うことを特徴とする請求項６乃至７記載の撮像装置。
8. 請求項１乃至５記載の撮像装置において生成された、前記撮影画像における顔位置情報と前記画像データとから成る前記ファイルを取得する手段を備えた再生装置。
9. 前記顔位置情報を用いて前記画像データの顔領域を抽出し、前記顔領域に対する画像処理を行う手段を備えた請求項８記載の再生装置。
10. 前記画像処理を行う手段では、明るさ調整、色調整の少なくとも片方を行うことを特徴とする請求項８乃至９記載の再生装置。
11. 請求項１乃至５記載の撮像装置と、請求項８乃至１０記載の再生装置を少なくとも有する撮像画像処理システム。
12. 撮像素子で撮像した被写体光をディジタルの画像データに変換し、記録媒体に記録する撮像方法において、
    任意の撮影画像に対して人物の顔の検出を行うステップと、
    前記顔の検出を行うステップにより得られた前記撮影画像における顔位置情報と、前記画像データとを一つのファイルとして生成するステップと、
    前記ファイルを前記記録媒体に記録するステップと
    を備える撮像方法。
13. 前記顔位置情報と前記画像データとを一つのファイルとして生成するステップの後、前記画像データを再生する際に、
    前記顔位置情報を用いて前記画像データの顔領域を抽出するステップと、
    前記顔領域に対する画像処理を行って表示部に再生表示するステップと
    を備えることを特徴とする請求項１２記載の撮像方法。
14. 請求項１２記載の撮像方法において生成された、前記撮影画像における顔位置情報と前記画像データとから成る前記ファイルを取得するステップを備えた再生方法。
15. 前記顔位置情報を用いて前記画像データの顔領域を抽出するステップと、
    前記顔領域に対する画像処理を行うステップと
    を備えた請求項１４記載の再生方法。

Images