JP2008244693A

JP2008244693A - 画像処理装置

Info

Publication number: JP2008244693A
Application number: JP2007080565A
Authority: JP
Inventors: Masayoshi Okamoto; 正義岡本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2008-10-09
Anticipated expiration: 2027-03-27
Also published as: US20080240517A1; JP4889538B2; CN101276409A

Abstract

【構成】撮像装置１４によって捉えられた被写界を表す画像データは、ＳＤＲＡＭ２４に確保される。ＣＰＵ３４は、確保された画像データから人物の顔画像を認識する。ＣＰＵ３４はまた、人物の背景画像のうち人物の頭部の背景となる部分背景画像を、顔画像の認識結果に基づいて同じ画像データから特定する。ぼかし処理は、特定された部分背景画像に対して実行される。
【効果】背景をぼかした画像を簡便に作成することができる。
【選択図】図１

Description

この発明は、画像処理装置に関し、特にたとえば電子カメラに適用され、背景画像にぼかし処理を施す、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像装置によって捉えられた被写界を表す画像データのうち人物以外の背景領域の画像データが、高域の空間周波数成分を抑制する処理を施される。このような抑制処理を施された背景領域の画像データは人物の画像データと合成され、これによってポートレート画像が得られる。なお、この種の装置は、特許文献２にも開示されている。
特開平１１−４１５１２号公報［H04N 5/232, G06T 1/00, H04N 5/272, 5/91］特開平５−９５５４１号公報［H04N 7/137, 7/14］

しかし、一般的に、人物の胴体画像の検出精度は、人物の頭部画像の検出精度よりも低い傾向にある。換言すれば、人物の胴体画像を検出するためには、人物の頭部画像を検出する能力よりも高い能力が要求される。このため、特許文献１に開示された背景技術では、ポートレート画像の作成に時間がかかる可能性がある。

それゆえに、この発明の主たる目的は、背景をぼかした画像を簡便に作成することができる、画像処理装置を提供することである。

請求項１の発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、人物の顔画像を被写界像から認識する認識手段(S3)、人物の背景画像のうち人物の頭部の背景となる部分背景画像を認識手段の認識結果に基づいて被写界像から特定する特定手段(S17, S19)、および特定手段によって特定された部分背景画像にぼかし処理を施すぼかし処理手段(S25, S27)を備える。

人物の顔画像は認識手段によって被写界像から認識される。特定手段は、人物の背景画像のうち人物の頭部の背景となる部分背景画像を、認識手段の認識結果に基づいて被写界像から特定する。ぼかし処理手段は、特定手段によって特定された部分背景画像にぼかし処理を施す。

人物の頭部の輪郭の検出精度は、一般的に人物の胴体の輪郭の検出精度よりも高い傾向にある。また、人物の頭部周辺の背景は、一般的に人物の胴体周辺の背景よりも遠い傾向にある。そこで、この発明では、人物の頭部の背景となる部分背景画像を被写界像から特定し、特定された部分背景画像にぼかし処理を施すようにしている。これによって、背景をぼかした画像を簡便に作成することができる。

請求項２の発明に従う画像処理装置は、請求項１に従属し、認識手段によって認識された顔画像の周辺の部分画像から人物の頭部の輪郭を検出する検出手段(S11, S13, S15)をさらに備え、特定手段は検出手段によって検出された輪郭を参照して部分背景画像を特定する。

請求項３の発明に従う画像処理装置は、請求項２に従属し、特定手段は部分背景画像の下端を水平方向に延びる直線によって定義する定義手段(S19)を含む。

請求項４の発明に従う画像処理装置は、請求項２に従属し、特定手段は部分背景画像の下端を外方に向かって斜め下方向に延びる線によって定義する定義手段(S19)を含む。

請求項５の発明に従う画像処理装置は、請求項１ないし４のいずれかに従属し、ぼかし処理手段は部分背景画像のぼかし度を上方に向かって増大させる。

請求項６の発明に従う画像処理装置は、請求項１ないし５のいずれかに従属し、被写界像を作成する撮像手段(14)、および撮像手段によって作成された被写界像をメモリ(24)に書き込む書き込み手段(18, 22)をさらに備え、認識手段は書き込み手段によってメモリに格納された被写界像について認識処理を実行する。

請求項７の発明に従う画像処理装置は、請求項６に従属し、書き込み手段によってメモリに格納された被写界像をモニタ(28)の表示処理のために読み出す読み出し手段(22, 26)をさらに備え、撮像手段は被写界像を繰り返し作成する。

請求項８の発明に従う画像処理装置は、請求項７に従属し、条件調整操作に応答して撮像条件を調整する調整手段(S37)、および調整手段の調整処理に関連してぼかし処理手段を起動する起動手段(S39)をさらに備える。

請求項９の発明に従う画像処理装置は、請求項６ないし８のいずれかに従属し、書き込み手段によってメモリに格納された被写界像を記録操作に応答して記録媒体に記録する第１記録手段(S47)、およびぼかし処理手段によってぼかし処理を施された部分背景画像を有する被写界像を第１記録手段の記録処理に関連して記録媒体に記録する第２記録手段(S49)をさらに備える。

請求項１０の発明に従う画像処理プログラムは、画像処理装置(10)のプロセサ(34)に、
人物の顔画像を被写界像から認識する認識ステップ(S3)、人物の背景画像のうち人物の頭部の背景となる部分背景画像を認識ステップの認識結果に基づいて被写界像から特定する特定ステップ(S17, S19)、および特定ステップによって特定された部分背景画像にぼかし処理を施すぼかし処理ステップ(S23, S25)を実行させるための、画像処理プログラムである。

請求項１１の発明に従う画像処理方法は、画像処理装置によって実行される画像処理方法であって、人物の顔画像を被写界像から認識する認識ステップ(S3)、人物の背景画像のうち人物の頭部の背景となる部分背景画像を認識ステップの認識結果に基づいて被写界像から特定する特定ステップ(S17, S19)、および特定ステップによって特定された部分背景画像にぼかし処理を施すぼかし処理ステップ(S23, S25)を備える。

この発明によれば、人物の頭部の背景となる部分背景画像を被写界像から特定し、特定された部分背景画像にぼかし処理を施すようにしている。これによって、背景をぼかした画像を簡便に作成することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界を表す光学像は、この光学レンズ１２を経て撮像装置１４の撮像面に照射される。撮像面は、Ｒ(Red)，Ｇ(Green)およびＢ(Blue)の色要素がモザイク状に配列された色フィルタ（図示せず）によって覆われる。撮像面に形成された複数の受光素子の各々で生成される電荷の量は、このような色フィルタを経た光の量を反映する。つまり、各々の受光素子で生成される電荷は、Ｒ，ＧまたはＢの色情報を有する。

キー入力装置３６によってカメラモードが選択されると、ＣＰＵ３４は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しをＴＧ１６に命令し、表示処理の実行をＬＣＤドライバ２８に命令する。ＴＧ１６は、１／３０秒毎に撮像面にプリ露光を施し、これによって生成された電荷の一部をラスタ走査態様で撮像面から読み出す。この結果、被写界を表す低解像度の生画像信号が３０ｆｐｓのフレームレートで撮像装置１４から出力される。

カメラ処理回路１８は、撮像装置１４から出力された各フレームの生画像信号にＣＤＳ，ＡＧＣ，Ａ／Ｄ変換，色分離，白バランス調整，ＹＵＶ変換の一連の処理を施し、ＹＵＶ形式の画像データを作成する。作成された画像データは、メモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。ＬＣＤドライバ２６は、ＳＤＲＡＭ２４に格納された画像データをメモリ制御回路２４を通して１／３０秒毎に読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、被写界のスルー画像がモニタ画面に表示される。

ＣＰＵ３４は、カメラ処理回路１８によって作成された画像データのＹ成分を取り込み、取り込まれたＹ成分に基づいてスルー画像用ＡＥ処理を実行する。これによって適正時間のプリ露光が実行され、ＬＣＤモニタ２８に表示されるスルー画像の明るさが適度に調整される。

キー入力装置３６上のシャッタボタン３６ｓが半押しされると、プリ露光時間を厳格に調整するべく、記録画像用ＡＥ処理がＣＰＵ２４によって実行される。プリ露光時間は最適時間に設定される。

キー入力装置３６上のシャッタボタン３６ｓが全押しされると、ＣＰＵ３４は、本露光および全画素読み出しを１回ずつ実行すべきことをＴＧ１６に命令し、記録処理を実行すべきことをＩ／Ｆ回路３０に命令する。ＴＧ１６は、撮像面に最適時間の本露光を施し、これによって生成された電荷の全てをラスタ走査態様で撮像面から読み出す。この結果、記録操作が行われた時点の被写界を表す高解像度の生画像信号が、撮像装置１４から出力される。出力された生画像信号はカメラ処理回路１８によって上述と同様の処理を施され、これによって生成されたＹＵＶ形式の画像データはメモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。Ｉ／Ｆ回路３０は、こうしてＳＤＲＡＭ２４に確保された高解像度の画像データをメモリ制御回路２２を通して読み出し、読み出された画像データをファイル形式で記録媒体３２に記録する。

キー入力装置３６によって再生モードが選択されると、ＣＰＵ３４は、所望のファイルの再生をＩ／Ｆ回路３０に命令し、表示処理の実行をＬＣＤドライバ２６に命令する。Ｉ／Ｆ回路３０は、記録媒体３２にアクセスし、所望のファイルに格納された画像データを再生する。再生された画像データは、メモリ制御回路２２によってＳＤＲＡＭ２４に書き込まれる。ＬＣＤドライバ２６は、ＳＤＲＡＭ２４に格納された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、再生画像がモニタ画面に表示される。

カメラモードまたは再生モードにおいて、キー入力装置３６によって背景ぼかしモードが選択されると、ＳＤＲＡＭ２４に確保された高解像度の画像データを処理対象画像として、以下の要領でぼかし処理が実行される。

処理対象画像が図２に示す被写界像である場合、まず人物Ｈ１の顔画像が顔認識処理によって認識される。認識された顔画像には、正方形の顔画像枠Ｆｆａｃｅが割り当てられる。正方形を定義する平行な２つの辺は水平方向に伸び、別の２つの辺は垂直方向に延びる。顔画像枠Ｆｆａｃｅの周辺には、図３に示す位置／サイズ関係を満足する長方形の頭部周辺画像枠Ｆｈｅａｄが割り当てられる。

図３を参照して、顔画像枠Ｆｆａｃｅを定義する１つの辺の長さを“Ｌ”とすると、頭部周辺画像枠Ｆｈｅａｄを定義する長辺の長さは“３．４Ｌ”とされ、頭部周辺画像枠Ｆｈｅａｄを定義する短辺の長さは“２．６Ｌ”とされる。ここで、垂直方向に延びる辺が長辺に相当し、水平方向に延びる辺が短辺に相当する。顔画像枠Ｆｆａｃｅの水平方向中央は、頭部周辺画像枠Ｆｈｅａｄの水平方向中央と一致する。また、顔画像枠Ｆｆａｃｅを定義する平行な２つの辺のうち上方の１つの辺から頭部周辺画像枠Ｆｈｅａｄを定義する２つの短辺の各々までの距離は、“１．７Ｌ”に相当する。

頭部周辺画像枠Ｆｈｅａｄに属する部分画像つまり頭部周辺画像は、ＳＤＲＡＭ２４上のワーク領域２４ｗに図４（Ａ）に示す要領で複製される。その後、エッジ検出処理によって頭部輪郭が図４（Ｂ）に示す要領で検出される。さらに、２つの基準点Ｐ１およびＰ２が、検出された頭部輪郭上に割り当てられる。基準点Ｐ１およびＰ２の割り当て位置は、顔画像枠Ｆｆａｃｅを定義する下側の１つの辺から“０．１Ｌ”だけ下方向に離れた位置である。

基準点Ｐ１およびＰ２の割り当てが完了すると、基準点Ｐ１およびＰ２の各々から外方に向けて水平に延びる直線Ｌ１およびＬ２と頭部輪郭線Ｅ１とが処理対象画像上に描かれる。ぼかし領域は、描かれた直線Ｌ１，Ｌ２および頭部輪郭線Ｅ１から上方の画像領域とされる。換言すれば、直線Ｌ１，Ｌ２および頭部輪郭線Ｅ１から下方の画像領域は、非ぼかし領域とされる。

ぼかし領域はその後、頭部輪郭の頂点Ｔ１を参照して上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒに分割され、上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒについて互いに異なる態様のぼかし処理が実行される。つまり、図６を参照して、上部領域Ｒｕｐｒはぼかし度“１”に従うぼかし処理を施される一方、下部領域Ｒｌｗｒはぼかし度“０”〜“１”に従うぼかし処理を施される。下部領域Ｒｌｗｒのぼかし度は、下から上に向かうにつれて“０”から“１”に線形に増大する。

ＣＰＵ３４は、背景ぼかしモードが選択されたとき、図７〜図８に示す背景ぼかしタスクを実行する。このタスクに対応する制御プログラムは、フラッシュメモリ３８に記憶される。

まずステップＳ１で、処理対象画像が特定されたか否かを判別する。カメラモードでは、シャッタボタン３６ｓの全押しに応答してＳＤＲＡＭ２４に確保された高解像度の画像データが処理対象画像に相当する。また、再生モードでは、所望のファイルから再生された高解像度の画像データが処理対象画像に相当する。ステップＳ１でＹＥＳであれば、ステップＳ３で顔認識処理を実行する。具体的には、人物の目，鼻，口に相当する辞書データを処理対象画像と照合して、人物の顔画像を認識する。顔画像の認識に失敗したときはそのままステップＳ９に進む一方、顔画像の認識に成功したときはステップＳ７で背景ぼかし処理を実行してからステップＳ９に進む。ステップＳ９では処理対象画像が更新されたか否を判別し、判別結果がＮＯからＹＥＳに更新されたときにステップＳ３に戻る。

ステップＳ７の背景ぼかし処理は、図８に示すサブルーチンに従って実行される。まずステップＳ１１で、顔認識処理によって特定された顔画像枠Ｆｆａｃｅを参照して頭部周辺画像枠Ｆｈｅａｄを特定する。ステップＳ１３では、頭部周辺画像枠Ｆｈｅａｄに属する部分画像つまり頭部周辺領域画像をＳＤＲＡＭ２４上のワーク領域２４ｗに複製する。ステップＳ１５では、複製された頭部周辺画像から頭部輪郭を検出する。ステップＳ１７では顔画像枠Ｆｆａｃｅを参照して頭部輪郭上の基準点Ｐ１およびＰ２を特定し、ステップＳ１９では特定された基準点Ｐ１およびＰ２を参照してぼかし領域を特定する。

ステップＳ２１では、頭部輪郭上の頂点Ｔ１を参照して、ぼかし領域を上部領域Ｒｕｐｒおよび下部領域Ｒｌｗｒに分割する。ステップＳ２３では下部領域Ｒｌｗｒに対して段階的ぼかし処理（ぼかし度：０〜１）を実行し、ステップＳ２５では上部領域Ｒｕｐｒに対して均一ぼかし処理（ぼかし度：１）を実行する。ステップＳ２５の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、人物の顔画像はＣＰＵ３４によって被写界像から認識される(S3)。ＣＰＵ３４は、人物の背景画像のうち人物の頭部の背景となる部分背景画像を、顔画像の認識結果に基づいて被写界像から特定する(S17, S19)。ぼかし処理は、特定された部分背景画像に対して実行される(S23, S25)。

なお、この実施例では、基準点Ｐ１およびＰ２から外方に水平に延びる直線Ｌ１およびＬ２によってぼかし領域の下端を定義するようにしているが、これに代えて、基準点Ｐ１およびＰ２から斜め下外方に延びる直線Ｌ１´およびＬ２´によってぼかし領域の下端を定義するようにしてもよい（図９参照）。この場合、直線Ｌ１およびＬ２よりも上の領域を上部領域Ｒｕｐｒとする一方、直線Ｌ１およびＬ１´によって挟まれる領域および直線Ｌ２およびＬ２´によって挟まれる領域を下部領域Ｒｌｗｒとする背景ぼかし処理が好ましい。

また、この実施例では、顔画像枠Ｆｆａｃｅを定義する下側の１つの辺から“０．１Ｌ”だけ下方向に離れた位置に基準点Ｐ１およびＰ２の割り当てるようにしている。しかし、頭部輪郭線Ｅ１に外接する楕円Ｃ１（長径：Ｘ）を定義し、楕円Ｃ１の下端から０．１Ｘだけ上方に離れた位置に基準点Ｐ１およびＰ２を割り当てるようにしてもよい。

さらに、この実施例では、記録媒体３２に記録される画像データまたは記録媒体３２から再生された画像データに背景ぼかし処理を施すようにしているが、スルー画像を形成する低解像度の画像データに背景ぼかし処理を施すようにしてもよい。特に、シャッタボタン３６ｓの半押しに応答して背景ぼかし処理を実行するようにすれば、現時点で捉えられている被写界についてどのような記録画像が得られるかを容易に判断することができ、操作性が向上する。また、この実施例では、背景ぼかし処理を施された画像データのみを記録媒体３２に記録するようにしているが、これに加えて背景ぼかし処理の施されていない通常の画像データを記録媒体３２に記録するようにしてもよい。

シャッタボタン３６ｓの半押しに応答して背景ぼかし処理を施し、さらにシャッタボタン３６ｓの全押しに応答して通常の画像データおよび背景ぼかし処理を施された画像データを記録する処理は、図１１に示すフロー図に従って実行される。

図１１を参照して、ステップＳ３１では、スルー画像処理を実行する。この結果、スルー画像がＬＣＤモニタ２８に表示される。ステップＳ３では、シャッタボタン３６ｓが半押しされたか否かを判別し、ＮＯであればステップＳ３５のスルー画像用ＡＥ処理を繰り返す。シャッタボタン３６ｓが全押しされると、ステップＳ３３でＹＥＳと判断し、ステップＳ３７で記録画像用ＡＥ処理を実行するとともに、ステップＳ３９でぼかしモードタスクを起動する。ぼかしモードタスクが起動した結果、背景ぼかし処理を施されたスルー画像がＬＣＤモニタ２８から出力される。

ステップＳ４１ではシャッタボタン３６ｓが全押しされたか否かを判別し、ステップＳ４３ではシャッタボタン３６ｓの操作が解除されたか否かを判別する。ステップＳ４１でＹＥＳであれば、本露光および全画素読み出しを１回ずつ実行すべきことをステップＳ４５でＴＧ１６に命令する。ステップＳ４７では通常の画像データの記録処理をＩ／Ｆ回路３０に命令し、ステップＳ４９では背景ぼかし処理を施された画像データの記録処理をＩ／Ｆ回路３０に命令する。ステップＳ４９の処理が完了すると、ステップＳ５１でぼかしモードタスクを終了してからステップＳ３３に戻る。ステップＳ４３でＹＥＳであれば、ステップＳ５１の処理を経てステップＳ３３に戻る。

この発明の一実施例の構成を示すブロック図である。図１実施例によって捉えられる被写界像の一例を示す図解図である。顔画像枠と頭部周辺画像枠との関係を示す図解図である。（Ａ）は図２に示す被写界像から抽出された頭部周辺画像の一例を示す図解図であり、（Ｂ）は（Ａ）に示す頭部周辺画像に対する処理の一例を示す図解図である。図２に示す被写界像に割り当てられるぼかし領域および非ぼかし領域の一例を示す図解図である。被写界像の垂直位置に対するぼかし度の変化の一例を示すグラフである。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２に示す被写界像割り当てられるぼかし領域および非ぼかし領域の他の一例を示す図解図である。図４（Ａ）に示す頭部周辺画像に対する処理の他の一例を示す図解図である。図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１４ …撮像装置
１８ …カメラ処理回路
２４ …ＳＤＲＡＭ
２８ …ＬＣＤモニタ
３４ …ＣＰＵ

Claims

人物の顔画像を被写界像から認識する認識手段、
前記人物の背景画像のうち前記人物の頭部の背景となる部分背景画像を前記認識手段の認識結果に基づいて前記被写界像から特定する特定手段、および
前記特定手段によって特定された部分背景画像にぼかし処理を施すぼかし処理手段を備える、画像処理装置。
前記認識手段によって認識された顔画像の周辺の部分画像から前記人物の頭部の輪郭を検出する検出手段をさらに備え、
前記特定手段は前記検出手段によって検出された輪郭を参照して前記部分背景画像を特定する、請求項１記載の画像処理装置。
前記特定手段は前記部分背景画像の下端を水平方向に延びる直線によって定義する定義手段を含む、請求項２記載の画像処理装置。
前記特定手段は前記部分背景画像の下端を外方に向かって斜め下方向に延びる線によって定義する定義手段を含む、請求項２記載の画像処理装置。
前記ぼかし処理手段は前記部分背景画像のぼかし度を上方に向かって増大させる、請求項１ないし４のいずれかに記載の画像処理装置。
被写界像を作成する撮像手段、および
前記撮像手段によって作成された被写界像をメモリに書き込む書き込み手段をさらに備え、
前記認識手段は前記書き込み手段によって前記メモリに格納された被写界像について認識処理を実行する、請求項１ないし５のいずれかに記載の画像処理装置。
前記書き込み手段によって前記メモリに格納された被写界像をモニタの表示処理のために読み出す読み出し手段をさらに備え、
前記撮像手段は前記被写界像を繰り返し作成する、請求項６記載の画像処理装置。
条件調整操作に応答して撮像条件を調整する調整手段、および
前記調整手段の調整処理に関連して前記ぼかし処理手段を起動する起動手段をさらに備える、請求項７記載の画像処理装置。
前記書き込み手段によって前記メモリに格納された被写界像を記録操作に応答して記録媒体に記録する第１記録手段、および
前記ぼかし処理手段によってぼかし処理を施された部分背景画像を有する被写界像を前記第１記録手段の記録処理に関連して前記記録媒体に記録する第２記録手段をさらに備える、請求項６ないし８のいずれかに記載の画像処理装置。
画像処理装置のプロセサに、
人物の顔画像を被写界像から認識する認識ステップ、
前記人物の背景画像のうち前記人物の頭部の背景となる部分背景画像を前記認識ステップの認識結果に基づいて前記被写界像から特定する特定ステップ、および
前記特定ステップによって特定された部分背景画像にぼかし処理を施すぼかし処理ステップを実行させるための、画像処理プログラム。
画像処理装置によって実行される画像処理方法であって、
人物の顔画像を被写界像から認識する認識ステップ、
前記人物の背景画像のうち前記人物の頭部の背景となる部分背景画像を前記認識ステップの認識結果に基づいて前記被写界像から特定する特定ステップ、および
前記特定ステップによって特定された部分背景画像にぼかし処理を施すぼかし処理ステップを備える、画像処理方法。