JP2010226416A

JP2010226416A - デジタルカメラ

Info

Publication number: JP2010226416A
Application number: JP2009071337A
Authority: JP
Inventors: Toshiyuki Nakamura; 敏行中村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-03-24
Filing date: 2009-03-24
Publication date: 2010-10-07

Abstract

【課題】操作性が良く、レリーズタイムラグが発生するおそれを減らすとともに、画像処理を適用した好ましい画像を取得することを目的とする。
【解決手段】画像を取得する撮像部と、前記撮像部により取得された前記画像から被写体の顔を検出する顔検出部と、前記顔検出部により検出された前記顔の表情が良好であるか否かを判定する判定部と、前記判定部により前記顔の表情が良好であると判定された場合に、前記画像における顔の領域を自動的に補正する補正部とを備えるデジタルカメラ。
【選択図】図１

Description

本発明は、画像を取得するデジタルカメラに関する。

従来から、好ましい画像を得る方法として、人物を撮影した撮影画像の中から人物部分を抽出し、その人物の撮影状態が悪い場合に、連続撮影を行うデジタルカメラが知られている（特許文献１など）。

また、この他に、撮影により得た画像に対して画像処理を施すことにより、好ましい画像を生成するデジタルカメラが知られている。例えば、下記の非特許文献１のデジタルカメラは、画像中に含まれる人物の顔を自動的に認識し、認識した顔が美しい印象の顔となるように、撮影時の露出条件を調整したり、撮影により得た画像に対して画像処理を施すメイクアップ機能を有している。

特開２００５−０４５６０１号公報

カシオ計算機株式会社ＥＸＩＬＩＭＺＯＯＭＥＸ−Ｚ３００取扱説明書

ところが、特許文献１のデジタルカメラでは、ユーザがシャッターボタンを操作するタイミングと、連続撮影で実際に画像が得られるタイミングとが異なるため、必ずしも所望のタイミングで画像を撮影できない。

また、非特許文献１のデジタルカメラにおいては、撮影により得た画像にメイクアップ機能を適用するか否かを予めユーザが設定し、設定に応じてメイクアップ機能を適用する。そのため、操作が煩雑になるという問題点があった。この問題を回避するために、上記の設定なしに、撮影により得た画像に常にメイクアップ機能を適用することが考えられる。しかし、メイクアップのための画像処理に数秒（約３秒程度）かかるため、画像を続けて撮影したいときに速写性、応答性が劣るという問題点があった。

そこで、本発明のデジタルカメラ１は、操作性が良く、レリーズタイムラグが発生するおそれを減らすとともに、画像処理を適用した好ましい画像を取得することを目的とする。

本発明のデジタルカメラは、画像を取得する撮像部と、前記撮像部により取得された前記画像から被写体の顔を検出する顔検出部と、前記顔検出部により検出された前記顔の表情が良好であるか否かを判定する判定部と、前記判定部により前記顔の表情が良好であると判定された場合に、前記画像における顔の領域を自動的に補正する補正部とを備える。

なお、前記判定部は、前記顔の領域を解析し、前記被写体が目をつぶっていない場合に、前記顔の表情が良好であると判定しても良い。

また、前記判定部は、前記顔の表情を識別し、前記被写体が笑顔である場合に、前記顔の表情が良好であると判定しても良い。

また、前記補正部は、色調補正と、コントラスト補正と、明るさ補正と、前記顔における特徴部分の調整との少なくとも一つを含む美肌処理を行っても良い。

また、前記補正部は、前記顔における特徴部分の調整として、前記被写体の歯の色を白く補正しても良い。

また、前記補正部は、前記顔における特徴部分の調整として、前記被写体の唇の色を補正しても良い。

本発明のデジタルカメラによれば、操作性が良く、レリーズタイムラグが発生するおそれを減らすとともに、画像処理を適用した好ましい画像を取得することができる。

本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１における撮像時の動作を示すフローチャートである。被写体に目つぶりがある画像の例、目つぶりがない画像の例を示す図である。再生時の表示部８の例を示す図である。

以下、図面を用いて本発明の実施形態について説明する。図１は、本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、記録Ｉ／Ｆ部１０、記録媒体１１、バス１２を備える。

撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、撮像待機時、所定間隔ごとに間引き読み出しを行い、スルー画像を取得する。その後、撮像素子３は、後述するレリーズ釦１５が全押しされると本画像を取得する。

撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。

画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、記録媒体１１に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。

また、画像処理部６は、美肌処理を行う。この美肌処理は、本画像に対して施される画像処理であり、以下に示す処理が挙げられる。

画像処理部６は、例えば、画像の露出をオーバー側に補正する露出補正を行う。これにより、被写体の肌が白く表現された好ましい画像を得ることができる。

また、画像処理部６は、ソフトフォーカス処理を行う。これにより、被写体が女性である場合、女性らしさが強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、被写体のしわや肌荒れ等が目立ちにくい好ましい画像を得ることができる。

また、画像処理部６は、彩度や明度のパラメータを補正することにより、肌を白く表現したり、肌色のくすみ等を軽減しても良い。

また、画像処理部６は、画像に含まれる人物を痩身に見せる補正を行う。例えば、画像処理部６は、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整する。或いは画像処理部６は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正して頬を細く見せるようにしても良い。

また、画像処理部６は、顔における特徴部分（眉、目、口等）の調整を行う。例えば、画像処理部６は、目の部分を大きくする補正や鼻の幅を狭くする補正などを行う。また、画像処理部６は、特徴部分の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、頬の色に赤味を増す色補正を行う。これにより、アイシャドーや頬紅のようなポイントメイクアップの効果が得られるため、被写体となる女性の見栄えを良くすることができる。また、画像処理部６は、唇の色に赤味を増す色補正を行う。これにより、被写体の顔色を良く見せることができる。

制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１３、判定部１４等の機能を有している。顔検出部１３は、撮像により取得した画像や記録媒体１１に記録した画像から特徴点を抽出して顔、顔の大きさ等を検出する。例えば、顔検出部１３は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって顔を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１３は、顔の位置情報を特定する。

判定部１４は、顔検出部１３により検出された顔に目つぶりがないか否かを判定する。なお、目つぶりとは、画像中の被写体が目をつぶっている状態を示す。被写体に目つぶりある画像の例を図３（Ａ）、目つぶりがない画像の例を図３（Ｂ）に示す。例えば、判定部１４は、目の上瞼線及び下瞼線を検出し、上瞼線及び下瞼線の間隔を測定する。そして、判定部１４は、この間隔の値が所定値以上の場合に、目つぶりがないと判定する。また、判定部１４は、顔検出部１３により検出された顔が笑顔であるか否かを判定する。例えば、判定部１４は、特開平８−２４９４５３号公報、特開平１０−２５５０４３号公報に示されるように、表情カテゴリとして、怒り、嫌悪、恐れ、悲しみ、笑顔、驚きの合計６種類の基本表情を考え、無表情から各基本表情への時系列画像の処理を行い、笑顔か否かを判定する。

表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、スルー画像、本画像、記録媒体１１に記録された画像、メニュー画像等を含む。操作部９は、レリーズ釦１５、十字キー１６等を有する。レリーズ釦１５は、撮像時にユーザにより操作される。十字キー１６は、上記のメニュー画像等で操作される。なお、レリーズ釦１５及び十字キー１６の状態は制御部７により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１０は、記録媒体１１を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１０と記録媒体１１とが接続されることにより、記録媒体１１に対してデータの書き込み／読み出しを実行する。バス１２は、バッファメモリ５、画像処理部６、制御部７、表示部８、記録Ｉ／Ｆ部１０を相互に接続することにより、データや信号の出入力を実行する。

このデジタルカメラ１は、本画像に対して目つぶり検出及び笑顔検出を行い、目つぶりがなく、且つ笑顔である場合のみ、本画像に美肌処理を施し、美肌処理を施した本画像を記録媒体１１に記録する。一方、本画像に含まれる顔に目つぶりがある場合や、笑顔でない場合は、美肌処理を施すことなく、そのまま記録媒体１１に記録する。目をつぶっている本画像や、笑顔でない本画像をそのまま記録するのは、これらの画像は、ユーザにとって好ましくなく、削除される可能性が高いからである。なお、目つぶり検出及び笑顔検出に約２００ｍｓの処理時間を要するが、目をつぶっている本画像や、笑顔でない本画像に美肌処理を施さないことにより、約３秒の処理時間を短縮することができる。したがって、次の撮像が可能になるまでの時間が短くなるため、レリーズタイムラグが発生するおそれを減らすことができる。

図２は、デジタルカメラ１における撮像時の動作を示すフローチャートである。なお、便宜上、１人の人物を撮像するシーンを例に挙げて説明する。

ステップＳ１０１は、撮像モードを開始する処理である。例えば、制御部７は、各部を制御して、スルー画像を取得する。

ステップＳ１０２は、レリーズ釦１５が半押しされたか否かを判定する処理である。レリーズ釦１５が半押しされた場合（ステップＳ１０２の判定がＹＥＳとなる場合）には、ステップＳ１０３に進む。一方、レリーズ釦１５が半押しされない場合（ステップＳ１０２の判定がＮＯとなる場合）には、レリーズ釦１５が半押しされるまで待機する。

ステップＳ１０３は、ＡＦとＡＥとをロックする処理である。制御部７は、各部を制御して、ＡＦとＡＥとをロックする。

ステップＳ１０４は、レリーズ釦１５が引き続き半押しされているか否かを判定する処理である。レリーズ釦１５が引き続き半押しされている場合（ステップＳ１０４の判定がＹＥＳとなる場合）には、ステップＳ１０５に進む。一方、レリーズ釦１５が引き続き半押しされていない場合（ステップＳ１０４の判定がＮＯとなる場合）には、ステップＳ１０２に戻り、レリーズ釦１５が半押しされたか否かを判定する。

ステップＳ１０５は、レリーズ釦１５が全押しされたか否かを判定する。レリーズ釦１５が全押しされた場合（ステップＳ１０５の判定がＹＥＳとなる場合）には、ステップＳ１０６に進む。一方、レリーズ釦１５が全押しされない場合（ステップＳ１０５の判定がＮＯとなる場合）には、ステップＳ１０４に戻り、レリーズ釦１５が引き続き半押しされているか否かを判定する。

ステップＳ１０６は、本画像を取得する処理である。制御部７は、各部を制御して、本画像を取得する。画像処理部６は、本画像にホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等を施す。

ステップＳ１０７は、顔を検出したか否かを判定する処理である。顔検出部１３は、ステップＳ１０６で取得した本画像から顔を検出する。顔を検出した場合（ステップＳ１０７の判定がＹＥＳとなる場合）には、ステップＳ１０８に進む。一方、顔を検出しない場合（ステップＳ１０７の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ステップＳ１０８は、目つぶりがないか否かを判定する処理である。判定部１４は、ステップＳ１０７で顔検出部１３により検出した顔に目つぶりがないか否かを判定する。目つぶりがない場合（ステップＳ１０８の判定がＹＥＳとなる場合）には、ステップＳ１０９に進む。一方、目つぶりがある場合（ステップＳ１０８の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ステップＳ１０９は、笑顔であるか否かを判定する処理である。判定部１４は、ステップＳ１０７で顔検出部１３により検出した顔が笑顔であるか否かを判定する。笑顔である場合（ステップＳ１０９の判定がＹＥＳとなる場合）には、ステップＳ１１０に進む。一方、笑顔でない場合（ステップＳ１０９の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ステップＳ１１０は、本画像に対して美肌処理を施す処理である。画像処理部６は、ステップＳ１０６で取得した本画像に対して美肌処理を施す。

ステップＳ１１１は、本画像を記録する処理である。制御部７は、ステップＳ１０６で取得した本画像、又はステップＳ１１０で美肌処理を施した本画像を記録媒体１１に記録する。なお、制御部７は、美肌処理を施した本画像を記録する場合、画像のＥｘｉｆ情報（付帯情報）に、美肌処理の内容を示す情報を記録する。これにより、例えば、美肌処理の内容を示す情報を画像とともに表示すれば、ユーザは、どのような美肌処理が施されたのかを、本画像の再生時に確認することができる。なお、美肌処理の設定を、付帯情報として記録する代わりに、本画像と対応付けた別のファイルとして記録しても良い。

なお、本実施形態のデジタルカメラ１は、美肌処理を施さなかった本画像、すなわち目つぶりがあった本画像や笑顔でない本画像に対して、再生時に美肌処理を施すことができる。例えば、制御部７は、付帯情報を用いて、美肌処理を施されていない本画像を記録媒体１１から読み出す。そして、制御部７は、読み出した本画像に対応するサムネイル画像の一覧を表示部８に表示し、表示したサムネイル画像の一覧から、十字キー１６を介したユーザの指定により美肌処理の対象となる本画像の選択を受け付ける。その後、制御部７は、選択された本画像とともに、「美肌処理しますか？」等のメッセージを表示部８に表示し、美肌処理を施すか否かの選択を受け付ける（図３参照）。制御部７は、美肌処理を施す選択を受け付けた場合、画像処理部６を制御して、本画像に美肌処理を施す。そして、制御部７は、美肌処理を施した本画像を記録する指示を受け付けた場合、該本画像を記録媒体１１に記録する。

撮像時には美肌処理を施さず、画像を再生したときに美肌処理を施す従来のデジタルカメラでは、まず美肌処理を施す対象となる画像の選択をユーザから受け付け、その後、選択された画像に美肌処理を施す。また、再生時に美肌処理を施さず、撮像時に美肌処理を施すように構成したデジタルカメラでは、美肌処理を施すか否かの設定を予めユーザから受け付け、美肌処理を施す設定がされた場合に、撮像により得た画像に美肌処理を施す。しかし、再生時の画像選択や撮像時の設定は、操作が煩雑になるという問題点があった。このような問題を回避するために、撮像により得た画像に常に美肌処理を施すデジタルカメラが考えられる。ところが、上述した美肌処理は、複合的な処理であり、約３秒程度の時間がかかる。そのため、画像を続けて撮像したいときに、速写性、応答性が劣る。

そこで、本実施形態のデジタルカメラ１は、撮像時には常に美肌処理を有効とし、本画像に含まれる顔に目つぶりがなく、且つ笑顔である場合に、本画像に対して美肌処理を施す。したがって、本実施形態のデジタルカメラ１によれば、レリーズタイムラグが発生するおそれを減らすとともに、画像処理を適用した好ましい画像を取得することができる。また、本実施形態のデジタルカメラ１は、本画像に美肌処理を施すか否かを、十字キー１６を介してユーザが指定しなくても良いため、操作性が良い。

（実施形態の補足）
上記の実施形態では、本画像に美肌処理を施す例を示したが、これに限らない。例えば、画像処理部６は、赤目補正を行っても良い。周知のように、赤目現象は、暗い中で大きく開いた瞳孔から光が入り、眼球内部の毛細血管が無数に走る脈略膜層に光が反射して黒目が赤く撮影されてしまう現象である。制御部７は、顔検出部１３により検出した顔の目が相当する位置において、赤色の丸い領域があるか否かを判定する。そして、画像処理部６は、赤色の丸い領域がある場合には、その領域の色情報を、例えば黒色の色情報に変更する。

また、画像処理部６は、歯の色を白く補正しても良い。また、画像処理部６は、瞳の中にライトのように光る白い輝きを入れても良い。なお、輝きの形状は、丸形でも良いし、星形等でも良い。さらに、画像処理部６は、瞳の色を変更しても良い。

また、画像処理部６は、Ｄ−ライティング（登録商標）のように、本画像の暗部またはハイライト部を画像解析で特定し、その暗部またはハイライト部を中心として画像の階調を調整しても良い。

また、画像処理部６は、満面の笑顔に近づくように、笑顔補正を行っても良い。例えば、画像処理部６は、目、口の各領域を構成する画素の位置情報に基づいて、口角を上げ、目尻を下げるように、座標変換及び補間演算を行う。

上記の実施形態では、目つぶり検出及び笑顔検出により、被写体の顔の状態が良好であるか否かを判定したが、これに限らない。例えば、判定部１４は、公知の視線検出を行い、被写体の視線がデジタルカメラ１を向いているか否かを判定する。そして、制御部７は、被写体の視線がデジタルカメラ１を向いていると判定した場合に、画像処理部６を制御して、本画像に美肌処理を施しても良い。さらに、顔の状態が良好であるか否かの判定に、露出、合焦状態、手ブレ等を加味しても良い。例えば、判定部１４は、適正露出であり、合焦状態が良く、手ブレがないほど顔の状態が良好であると判定する。

上記の実施形態では、ステップＳ１０６で取得した本画像を全て記録する例を示したが、これに限らない。例えば、ステップＳ１０８で目つぶりがあると判定された画像や、ステップＳ１０９で笑顔でないと判定された画像を記録しなくても良い。

ステップＳ１０１で、顔検出部１３は、スルー画像から顔を検出し、検出した顔の位置情報をバッファメモリ５に記録する。そして、ステップＳ１０７で顔検出部１３は、本画像から顔を検出する際にこの位置情報を参照しても良い。これにより、ステップＳ１０７の処理時間を短縮するため、レリーズタイムラグのおそれをより減らすことができる。

１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、１３…顔検出部、１４…判定部

Claims

画像を取得する撮像部と、
前記撮像部により取得された前記画像から被写体の顔を検出する顔検出部と、
前記顔検出部により検出された前記顔の表情が良好であるか否かを判定する判定部と、
前記判定部により前記顔の表情が良好であると判定された場合に、前記画像における顔の領域を自動的に補正する補正部と
を備えることを特徴とするデジタルカメラ。
請求項１に記載のデジタルカメラにおいて、
前記判定部は、前記顔の領域を解析し、前記被写体が目をつぶっていない場合に、前記顔の表情が良好であると判定する
ことを特徴とするデジタルカメラ。
請求項１又は請求項２に記載のデジタルカメラにおいて、
前記判定部は、前記顔の表情を識別し、前記被写体が笑顔である場合に、前記顔の表情が良好であると判定する
ことを特徴とするデジタルカメラ。
請求項１から請求項３までのいずれか１項に記載のデジタルカメラにおいて、
前記補正部は、色調補正と、コントラスト補正と、明るさ補正と、前記顔における特徴部分の調整との少なくとも一つを含む美肌処理を行う
ことを特徴とするデジタルカメラ。
請求項４に記載のデジタルカメラにおいて、
前記補正部は、前記顔における特徴部分の調整として、前記被写体の歯の色を白く補正する
ことを特徴とするデジタルカメラ。
請求項４又は請求項５に記載のデジタルカメラにおいて、
前記補正部は、前記顔における特徴部分の調整として、前記被写体の唇の色を補正する
ことを特徴とするデジタルカメラ。