JP2006025238A

JP2006025238A - 撮像装置

Info

Publication number: JP2006025238A
Application number: JP2004202095A
Authority: JP
Inventors: Daisuke Ito; 大介伊藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-07-08
Filing date: 2004-07-08
Publication date: 2006-01-26
Also published as: US20060028576A1

Abstract

【課題】顔検出に掛かる処理時間を短縮させ、且つ顔検出の精度を向上させる。
【解決手段】デジタルカメラ２のＣＰＵ３３は、ＡＦ検出回路５３から送信される検出結果から、撮像レンズ１０と合焦した被写体との距離を示す合焦位置情報を取得し、ズーム操作ボタン１９の操作履歴から、撮影範囲を示す画角情報を取得する。顔サイズ特定回路５５は、ＣＰＵ３３から送信された合焦位置情報および画角情報を元に撮影画像内の人物の顔のサイズを特定する。顔検出回路５６は、顔サイズ特定回路５５で特定した人物の顔のサイズで規定される枠内で人物の顔の検出を行う。ＬＣＤ１７は、顔検出回路５６による検出結果７０を、検出対象となった画像７１とともにプレビュー表示する。プレビュー画面で「ＯＫ」を選択した場合、データベース記憶部５１は、顔検出回路５６の検出結果を反映させてデータベースを更新する。
【選択図】図３

Description

本発明は、撮像素子で撮像した被写体光をデジタルの画像データに変換し、記憶媒体に記憶する撮像装置に関する。

撮像装置として、ＣＣＤイメージセンサなどの固体撮像素子で撮像した被写体光をデジタルの画像データに変換し、内蔵メモリやメモリカードなどの記憶媒体に記憶するデジタルカメラが普及している。このようなデジタルカメラには、撮影した画像から人物の顔を検出し、検出した顔に対して肌色補正などの各種画像処理を施すものがある（特許文献１参照）。

特許文献１に記載のデジタルカメラでは、顔形状モデルと、画像の１つ以上の顔候補領域中の画素に割り当てられた顔確率との比較に基づいて、第１のアルゴリズムにより画像データを予めスクリーニングし、各顔候補領域を表し、この領域中の顔の存在を確かめるために、パターンマッチング技術を用いて、第２のアルゴリズムにより顔候補領域に対して演算を行って、画像データから顔の存在を判定している。

特開２００１−３０９２２５号公報

しかしながら、特許文献１に記載のデジタルカメラでは、顔の存在を判定するまでに、複雑な演算を何度も行わなければならず、処理時間が掛かるという問題があった。また、多くの処理を経て判定するため、前段の処理の検出誤差が後段の処理の検出精度に響くおそれがあった。

本発明は、上記課題を鑑みてなされたものであり、顔検出に掛かる処理時間を短縮させることができ、且つ顔検出の精度を向上させることができる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、撮像素子で撮像した被写体光をデジタルの画像データに変換し、記憶媒体に記憶する撮像装置において、合焦時の被写体との距離および撮影範囲を示す合焦位置情報および画角情報を取得する情報取得手段と、これらの情報を元に画像内の人物の顔のサイズを特定する顔サイズ特定手段と、特定したサイズで規定される枠内で人物の顔の検出を行う顔検出手段とを備えたことを特徴とする。

なお、人物の顔を検出する際に参照するデータベースを記憶する記憶手段と、前記顔検出手段による検出結果を、検出対象となった画像とともに表示する画像表示手段と、検出対象となった画像を前記記憶媒体に記憶するか否かを選択させる選択手段とを備え、前記記憶手段は、前記選択手段により記憶可を選択された場合に、前記検出結果を反映させて前記データベースを更新することが好ましい。

本発明の撮像装置によれば、合焦時の被写体との距離および撮影範囲を示す合焦位置情報および画角情報を取得する情報取得手段と、これらの情報を元に画像内の人物の顔のサイズを特定する顔サイズ特定手段と、特定したサイズで規定される枠内で人物の顔の検出を行う顔検出手段とを備えたので、顔検出に掛かる処理時間を短縮させることができ、且つ顔検出の精度を向上させることができる。

また、人物の顔を検出する際に参照するデータベースを記憶する記憶手段と、顔検出手段による検出結果を、検出対象となった画像とともに表示する画像表示手段と、検出対象となった画像を記憶媒体に記憶するか否かを選択させる選択手段とを備え、記憶手段は、選択手段により記憶可を選択された場合に、検出結果を反映させてデータベースを更新するので、顔検出の精度のさらなる向上を望むことができる。

図１および図２において、本発明を適用したデジタルカメラ２の前面には、撮像レンズ１０を保持するレンズ鏡胴１１が組み込まれている。デジタルカメラ２の上面には、レリーズボタン１２、電源スイッチ１３、およびモードダイヤル１４が設けられており、側面には、メモリカード４９（図３参照）が着脱自在に装填されるメモリカードスロットを覆う蓋１５が設けられている。

デジタルカメラ２の背面には、電子ビューファインダを構成するファインダ接眼窓１６、液晶表示器（ＬＣＤ）１７、および操作部１８が設けられている。ＬＣＤ１７には、撮影した画像やいわゆるスルー画像、各種メニュー画面が表示される。操作部１８は、撮像レンズ１０のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン１９や、ＬＣＤ１７にメニュー画面を表示させる際や、選択内容を決定する際に操作されるメニューボタン２０、およびメニュー画面内でカーソルを移動させる十字キー２１などから構成される。

デジタルカメラ２では、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像をＬＣＤ１７に表示する再生モード、および各種設定を行う設定モードが選択可能となっている。これらのモードの切り替えは、モードダイヤル１４を回動操作させることで行われる。動画撮影モードでは、動画の撮影とともに、図示しないマイクロホンを介して周囲の音声が収録される。

また、デジタルカメラ２には、被写体の撮影後、撮影した画像から人物の顔を検出し、検出した顔に対して肌色補正などの各種画像処理を施す顔補正モードが組み込まれている。
この顔補正モードは、操作部１８を操作することにより実施可否および補正内容が設定され、設定がされていない場合は通常の撮影モードとなる。

レリーズボタン１２は、２段階押しのスイッチとなっている。ＬＣＤ１７による被写体のフレーミングの後に、レリーズボタン１２を軽く押圧（半押し）すると、自動露出調整（ＡＥ）、自動焦点調整（ＡＦ）などの各種撮影準備処理が施される。この状態でレリーズボタン１２をもう１度強く押圧（全押し）すると、撮影準備処理が施された１画面分の撮像信号が画像データに変換された後、後述する画像処理および圧縮処理が施され、メモリカード４９に記録される。

デジタルカメラ２の電気的構成を示す図３において、撮像レンズ１０には、レンズモータ３０が接続されている。また、絞り３１には、アイリスモータ３２が接続されている。これらのモータ３０、３２はステッピングモータからなり、ＣＰＵ３３に接続されたモータドライバ３４、３５から送信される駆動パルスにより動作制御され、レリーズボタン１２の半押しに伴う撮影準備処理を行う。

レンズモータ３０は、ズーム操作ボタン１９の操作に連動して、撮像レンズ１０のズームレンズをワイド側、あるいはテレ側に移動させる。また、被写体距離やズームレンズの変倍に応じて撮像レンズ１０のフォーカスレンズを移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３２は、絞り３１を動作させ、露出調整を行う。

撮像レンズ１０の背後には、撮像レンズ１０を透過した被写体光が撮像されるＣＣＤ３６が配置されている。ＣＣＤ３６には、ＣＰＵ３３によって制御されるタイミングジェネレータ（ＴＧ）３７が接続され、このＴＧ３７から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。

ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）３８に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ３８から出力された画像データは、増幅器（ＡＭＰ）３９で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４０でデジタルの画像データに変換される。

画像入力コントローラ４１は、バス４２を介してＣＰＵ３３に接続され、ＣＰＵ３３の制御命令に応じてＣＣＤ３６、ＣＤＳ３８、ＡＭＰ３９、およびＡ／Ｄ４０を制御する。Ａ／Ｄ４０から出力された画像データは、ＳＤＲＡＭ４３に一旦格納され、ＬＣＤドライバ４４を介してＬＣＤ１７に表示される。

画像信号処理回路４５は、ＳＤＲＡＭ４３から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４３に格納する。ＹＣ変換処理回路４６は、画像信号処理回路４５で各種処理を施された画像データをＳＤＲＡＭ４３から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。圧縮伸長処理回路４７は、この変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４８を経由してメモリカード４９に記録される。

ＣＰＵ３３には、前述のレリーズボタン１２、操作部１８の他に、ＥＥＰＲＯＭ５０およびデータベース記憶部５１が接続されている。ＥＥＰＲＯＭ５０には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３３は、これらの情報をＥＥＰＲＯＭ５０から作業用メモリであるＳＤＲＡＭ４３に読み出して、各種処理を実行する。

データベース記憶部５１には、後述する顔検出回路５６で人物の顔を検出する際に参照するデータベースが記憶されている。このデータベースには、デジタルカメラ２のユーザー固有のカスタマイズ情報（構図の癖、顔の肌の色など）や、過去に顔検出回路５６で用いた検出パラメータが収められている。

バス４２には、露出量、すなわち電子シャッタのシャッタ速度、および絞り３１の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するＡＥ／ＡＷＢ検出回路５２と、撮像レンズ１０の焦点調整が撮影に適切か否かを検出するＡＦ検出回路５３と、外部機器とのデータの送受信を行う通信Ｉ／Ｆ５４と、顔サイズ特定回路５５と、顔検出回路５６とが接続されている。なお、図示はしていないが、ストロボ装置の動作を制御するストロボ制御回路も接続されている。

ＡＥ／ＡＷＢ、ＡＦ検出回路５２、５３は、レリーズボタン１２の半押し時に、バス４２を介してＣＰＵ３３に検出結果を逐次送信する。ＣＰＵ３３は、これらの検出回路５２、５３から送信される検出結果に基づいて、撮像レンズ１０、絞り３１、およびＣＣＤ３６の動作を制御する。

ＣＰＵ３３は、ＡＦ検出回路５３から送信される検出結果から、撮像レンズ１０と合焦した被写体との距離を示す合焦位置情報を取得する。また、ＣＰＵ３３は、ズーム操作ボタン１９の操作履歴から、撮影範囲を示す画角情報を取得する。ＣＰＵ３３は、取得した合焦位置情報および画角情報を、顔サイズ特定回路５５に送信する。

顔サイズ特定回路５５は、ＣＰＵ３３から送信された合焦位置情報および画角情報を元に撮影画像内の人物の顔のサイズを特定する。このとき、顔サイズ特定回路５５は、合焦位置情報および画角情報と顔のサイズとの関係を表し、ＥＥＰＲＯＭ５０に予め記憶された図４に示すデータテーブル６０を参照して人物の顔のサイズの特定を行う。

データテーブル６０では、撮像レンズ１０の焦点距離を３５ｍｍとして換算している。また、画角を縦方向、画像サイズを６４０×４８０ｐｉｘｅｌ、実際の人物の顔の縦方向のサイズを３０ｃｍとしている。

顔検出回路５６は、顔サイズ特定回路５５で特定した人物の顔のサイズで規定される枠内で人物の顔の検出を行う。例えば、特定したサイズが１０５ｐｉｘｅｌであった場合は、１０５×１０５ｐｉｘｅｌのサイズの枠を用いて画像をスキャンしていき、この枠内で顔の検出を行う。

顔検出回路５６は、データベース記憶部５１に記憶されているデータベースを参照して、
画像をスキャンする領域の優先順位や、抽出する肌の色を決定する。例えば、データベースのカスタマイズ情報に、画像の右下に人物をおいて撮影する構図の癖が登録されていた場合は、まず画像の右下を優先的にスキャンしてから、画像の左上から右下まで順にスキャンしていく。なお、顔の検出方法としては、枠内の画像を表す画素の肌色部分を抽出し、この肌色部分の枠に占める割合を求め、求めた割合がある所定値を上回った場合に、その枠内に人物の顔が存在すると判定する。

図５に示すように、ＬＣＤ１７は、顔検出回路５６による検出結果７０（図中２点鎖線で囲む部分）を、検出対象となった画像７１とともにプレビュー表示する。このプレビュー画面には、画像７１の下部に、画像７１をメモリカード４９に記録するか否かを問うダイアログ７２が表示される。

図５に示すプレビュー画面で「ＯＫ」を選択した場合は、画像７１をメモリカード４９に記録する。また、データベース記憶部５１は、顔検出回路５６の検出結果を反映させてデータベースを更新する。つまり、顔を検出した領域や肌の色などの検出パラメータを加味して、過去の検出パラメータの修正を行う。一方、「Ｃａｎｃｅｌ」を選択した場合は、画像７１をメモリカード４９に記憶せずにクリアし、データベースの更新も行わない。

次に、上記構成を有するデジタルカメラ２の動作について、図６のフローチャートを参照して説明する。まず、デジタルカメラ２で被写体の撮影を行う際には、電源スイッチ１３を操作してデジタルカメラ２の電源を投入し、モードダイヤル１４を操作して静止画撮影モード、あるいは動画撮影モードを選択する。

撮影モード下において、撮像レンズ１０、絞り３１を介して入射した被写体光は、ＣＣＤ３６により光電変換され、ＣＤＳ３８でサンプリングされる。ＣＤＳ３８から出力された画像データは、ＡＭＰ３９で増幅され、Ａ／Ｄ４０でデジタルの画像データに変換される。

デジタル変換された画像データは、画像信号処理回路４５で各種画像処理が施された後、画像入力コントローラ４１を介してＳＤＲＡＭ４３に順次格納され、ＬＣＤ１７にスルー画像として表示される。この状態でレリーズボタン１２が半押しされると、ＡＥ／ＡＷＢ検出回路５２、ＡＦ検出回路５３により露出量、ホワイトバランス、焦点が検出され、この検出結果に基づいて撮影準備処理が施される。

撮影準備処理後、レリーズボタン１２の全押しにより撮影が実行されると、静止画撮影モード下では、そのときＳＤＲＡＭ４３に格納されている画像データがＹＣ変換処理回路４６に読み出され、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換された後、圧縮伸長処理回路４７で圧縮処理が施され、メディアコントローラ４８を経由してメモリカード４９に記録される。

一方、動画撮影モード下では、レリーズボタン１２が再度全押しされるまで、一定のフレームレート（例えば３０フレーム／秒）で画像データが記録される。また、これと同時にマイクロホンを介して周囲の音声が収録される。マイクロホンで収録された音声は、画像データと関連付けられてメモリカード４９に記録される。

図６において、操作部１８の操作により顔補正モードが設定された場合、レリーズボタン１２の半押しに伴う撮影準備処理後に、ＡＦ検出回路５３から送信される検出結果から、合焦位置情報が取得される。また、ズーム操作ボタン１９の操作履歴から、画角情報が取得される。これらの情報はＣＰＵ３３を介して顔サイズ特定回路５５に送信される。

レリーズボタン１２が全押しされて撮影が実行されると、顔サイズ特定回路５５では、ＥＥＰＲＯＭ５０に記憶されたデータテーブル６０が参照され、ＣＰＵ３３から送信された合焦位置情報および画角情報を元に撮影画像内の人物の顔のサイズが特定される。顔サイズの特定後、特定された人物の顔のサイズで規定される枠内で、顔検出回路５６により人物の顔の検出が行われる。

顔検出回路５６では、データベース記憶部５１に記憶されているデータベースが参照され、画像をスキャンする領域の優先順位や、肌の色が決定される。そして、枠内の画像を表す画素の肌色部分が抽出され、この肌色部分の枠に占める割合が求められる。次いで、求められた割合と所定値とが比較され、割合が所定値を上回った場合に、その枠内に人物の顔が存在すると判定される。この顔検出は、画像の全領域をスキャンするまで続けられる。

顔検出後、ＣＰＵ３３により、操作部１８で設定された補正内容で各種補正処理が行われる。各種補正処理が終了すると、顔検出回路５６による検出結果７０と検出対象となった画像７１とからなるプレビュー画面がＬＣＤ１７に表示される。

プレビュー画面で「ＯＫ」が選択された場合は、画像７１がメモリカード４９に記録される。また、顔検出回路５６の検出結果が反映され、データベース記憶部５１のデータベースが更新される。一方、「Ｃａｎｃｅｌ」が選択された場合は、画像７１はメモリカード４９に記憶されずにクリアされ、データベースの更新も行われない。

上記のように、合焦位置情報および画角情報を取得して、これらの情報を元に画像内の人物の顔のサイズを特定し、特定したサイズで規定される枠内で人物の顔の検出を行うので、従来のように、複数のサイズを用意して、そのサイズ毎に画像をスキャンして顔検出を行う場合と比較して、顔検出に掛かる処理時間を大幅に短縮化させることができる。また、人物の顔を検出する際に参照するデータベースを、ユーザーの判断により更新するので、データベースの資料価値が高まり、顔検出の精度をさらに向上させることができる。これにより、快適な動作環境でデジタルカメラ２を扱うことができる。

なお、メモリカード４９に画像を記録する際に、取得した合焦位置情報および画角情報をＥｘｉｆタグに書き込んでおき、パーソナルコンピュータなどの外部機器と接続して、パーソナルコンピュータ上で顔補正処理を施す際に、Ｅｘｉｆタグに書き込まれた情報を元に、上記実施形態と同様の手順で顔の検出を行うようにしてもよい。

本発明を適用したデジタルカメラの正面外観斜視図である。デジタルカメラの背面外観図である。デジタルカメラの電気的構成を示すブロック図である。データテーブルの内容を示す説明図である。プレビュー画面の構成を示す説明図である。顔補正モード下でのデジタルカメラの処理手順を示すフローチャートである。

符号の説明

２デジタルカメラ
１０撮像レンズ
１７液晶表示器（ＬＣＤ）
３３ＣＰＵ
３６ＣＣＤ
４９メモリカード
５１データベース記憶部
５２ＡＥ／ＡＷＢ検出回路
５３ＡＦ検出回路
５５顔サイズ特定回路
５６顔検出回路
６０データテーブル
７０検出結果
７１画像

Claims

撮像素子で撮像した被写体光をデジタルの画像データに変換し、記憶媒体に記憶する撮像装置において、
合焦時の被写体との距離および撮影範囲を示す合焦位置情報および画角情報を取得する情報取得手段と、
これらの情報を元に画像内の人物の顔のサイズを特定する顔サイズ特定手段と、
特定したサイズで規定される枠内で人物の顔の検出を行う顔検出手段とを備えたことを特徴とする撮像装置。
人物の顔を検出する際に参照するデータベースを記憶する記憶手段と、
前記顔検出手段による検出結果を、検出対象となった画像とともに表示する画像表示手段と、
検出対象となった画像を前記記憶媒体に記憶するか否かを選択させる選択手段とを備え、
前記記憶手段は、前記選択手段により記憶可を選択された場合に、前記検出結果を反映させて前記データベースを更新することを特徴とする請求項１に記載の撮像装置。