JP2005196252A - 目標物領域検出装置、撮影装置、目標物領域検出方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】従来よりも簡単にかつ正確に撮影範囲における撮影の目標物の領域を検出する。
【解決手段】デジタルカメラ１に、撮影範囲に写る画像を複数の分割領域からなる全体画像として取得する全体画像取得部１０１と、全体画像の各分割領域の画像の色情報を取得するセル色情報取得部１０２と、全体画像の各分割領域についてそこに目標物が写っている確からしさをその分割領域の色情報に基づいて求める被写体度合算出部１０３と、撮影範囲における目標物の位置する領域を各分割領域の、目標物が写っている確からしさに基づいて検出する、主被写体領域算出部１０５と、を設ける。
【選択図】図３

Description

本発明は、撮影範囲の中から撮影の目標物を検出する装置などに関する。

従来より、撮影の目標物つまり被写体が撮影範囲内のいずれの領域に位置するのかを検知し、その検知結果に基づいてカメラの焦点および露光レベルの自動調節を行う方法が提案されている。

例えば、特許文献１に記載される方法によると、撮影画像からエッジを検出し、そのエッジの形状を判別することによって被写体である人物を抽出する。そして、複数人物が検出された場合はいずれかの人物を主要被写体とする。

特許文献２に記載される方法によると、撮影画像より肌色領域を被写体領域として検出し、その領域について測光または測距を行う。さらに、その領域に対して輝度補正、色補正を行う。

特許文献３に記載される方法によると、ユーザが指定した部分の領域を被写体領域とする。例えば、赤いシャツを着ている人を被写体とする場合には、赤いシャツを被写体領域とする。

しかし、特許文献１に記載される方法では、画素単位で被写体の領域の抽出処理を実行するので、非常に多くの時間が掛かってしまう。よって、処理回路が大規模になってしまう。特許文献２に記載される方法では、肌色領域を被写体の領域とするだけなので、正確に被写体の領域を検出できないことがある。特許文献３に記載される方法では、ユーザによる指定の操作が必要となる。よって、係る方法は、デジタルカメラのような手軽に撮影するための撮影装置には、あまり向いていない。
特開２００２−５１２５５号公報 特開平１１−１４６４０５号公報 特開平７−１５４６６６号公報

本発明は、このような問題点に鑑み、大規模な処理回路を要することなく従来よりも簡単にかつ正確に撮影範囲における撮影の目標物の領域を検出することを目的とする。

本発明に係る目標物領域検出装置は、撮影の目標物が撮影範囲の中のいずれの領域に位置するのかを検出する目標物領域検出装置であって、前記撮影範囲に写る画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、前記全体画像の前記各分割領域について、当該分割領域に前記目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める、確からしさ算出手段と、前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する目標物領域検出手段と、を有することを特徴とする。

好ましくは、前記撮影範囲における前記目標物の重心の位置を前記各分割領域の前記確からしさに基づいて求める重心算出手段と、前記撮影範囲における前記目標物の領域のサイズを前記各分割領域の前記確からしさに基づいて求める領域サイズ算出手段と、前記各分割領域の前記確からしさに基づいて前記目標物がどのような状況にあるのかを判別する状況判別手段と、を有し、前記目標物領域検出手段は、前記撮影範囲における前記目標物の位置する領域を、当該目標物の前記重心の位置および前記サイズに基づいて検出する。

または、前記領域サイズ算出手段は、前記目標物の前記重心の位置と所定の値以上の前記確からしさを有する前記分割領域の位置との差の標準偏差を算出することによって前記サイズを求める。

または、前記状況判別手段は、前記分割領域のうちの所定の値以上の前記確からしさを有する前記分割領域の前記確からしさおよびその個数に基づいて前記目標物がどのような状況にあるのかを判別する。前記分割領域のうちの所定の値以上の前記確からしさを有する前記分割領域の前記確からしさの平均値および分布密度に基づいて前記目標物がどのような状況にあるのかを判別してもよい。前記目標物の前記重心の位置および前記サイズに基づいて前記目標物がどのような状況にあるのかを判別してもよい。

または、前記確からしさ算出手段は、前記分割領域の前記確からしさを、当該分割領域の前記色情報に示される色が肌色に近いほど高い値になるように算出する。

本発明に係る撮影装置は、予備撮影によって得られる画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、前記全体画像の前記各分割領域について、当該分割領域に撮影の目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める、確からしさ算出手段と、前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する目標物領域検出手段と、前記確からしさおよび前記目標物の位置する領域に基づいて焦点および／または露出レベルの調節を行って本撮影を行う撮影制御手段と、を有することを特徴とする。

本発明によると、大規模な処理回路を要することなく従来よりも簡単にかつ正確に撮影範囲における撮影の目標物の領域を検出することができる。

請求項２ないし請求項９および請求項１１の発明によると、目標物の領域を一層正確に検出することができる。請求項４ないし請求項９および請求項１１の発明によると、被写体の状況を従来よりも正確に判別することができる。よって、デジタルカメラなどに適用することによって、撮影のための測光方法、露出、または焦点の調整などを従来よりも的確に行うことができる。

図１はデジタルカメラ１の外観の例を示す図、図２はデジタルカメラ１の内部構成の例を示す図、図３はデジタルカメラ１の機能的構成の例を示す図、図４は全体画像ＧＡの例を示す図である。

本発明に係るデジタルカメラ１は、図１および図２に示すように、金属または合成樹脂などの材料で構成された筐体２１の内部または表面に、プロセッサ３１、メモリ３２、ＣＣＤなどの撮像素子３３、シャッタユニット３４、絞りユニット３５、十字キー２２、撮影光学系２３、フラッシュ２４、ファインダ２５、電源スイッチ２６、液晶パネル２７、およびレリーズボタン２８などが設けられて構成される。

プロセッサ３１は、図３に示す全体画像取得部１０１、セル色情報取得部１０２、被写体度合算出部１０３、主被写体重心算出部１０４、主被写体領域算出部１０５、被写体状況判別部１０６、および撮影制御部１０７などによって構成されており、ユーザの所望する物（目標物）を好条件で撮影するために、図１および図２に示す各構成要素に対する制御を行う。図３の各部の処理は基本的にハードウェア処理によって行われるが、一部についてはメモリ３２に記憶（保存）されているプログラムを実行するなどしてソフトウェア処理によって行われる。また、メモリ３２には、撮影によって得られた画像の画像データが保存される。

撮影光学系２３は、複数のレンズおよび鏡胴などによって構成され、ズーム機能を有している。撮影光学系２３は、レンズが受光した光を撮像素子３３に結像させる。撮像素子３３は、結像された光を電荷に変換する。これにより、例えば図４に示すような画像の画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、すなわち、撮影の目標物とそれ以外の物（背景）とが写っている。以下、このような撮影範囲全体の画像を「全体画像ＧＡ」と記載する。この全体画像ＧＡの各画素のＲＧＢ値は、例えば、２５６階調で表される。

ファインダ２５は、ユーザが接眼して撮影対象および撮影領域を確認するためのものである。液晶パネル２７には、撮像素子３３に現在写っている画像、過去に撮影した画像、メニュー画面、および設定画面などを表示することができる。

十字キー２２は、上下左右の４方向のボタンからなり、ユーザが種々のモードを選択しまたは設定するためのものである。レリーズボタン２８は、筐体２１の上面に設けられており、ユーザによる半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチである。

シャッタユニット３４は、レリーズボタン２８によって検出された状態（半押し状態または全押し状態）に基づいて撮像素子３３をリセットするタイミングおよび電荷変換を行うタイミングなどを制御する。絞りユニット３５は、撮像素子３３が受光する光量の調節などを行う。

次に、ユーザがデジタルカメラ１を操作して目標物の撮影を行う際の、図３に示す各部の処理内容などについて説明する。なお、以下、撮影の目標物を「主被写体」と記載することがある。

図５は複数のセルＣＬに分割した全体画像ＧＡの例を示す図、図６は色空間変換処理の流れの例を示すフローチャートである。

図３の全体画像取得部１０１は、レリーズボタン２８が半押しされたタイミングで、撮像素子３３に写った最新の全体画像ＧＡの画像データを取得する。そして、その全体画像ＧＡを、垂直方向にＭ個および水平方向にＮ個に等分する。つまり、Ｎ×Ｍ個の矩形の領域に分割する。以下、図５に示すように、図４の全体画像ＧＡが１０×７個の領域に分割された場合を例に説明する。以下、分割によって得られた領域を「セルＣＬ」と記載する。また、セルＣＬ同士を区別するために、「セルＣＬ１」、「セルＣＬ２」、…のように番号ｋを付すことがある。本実施形態では、ｊ行目ｉ列目に位置するセルＣＬの番号ｋを、「ｋ＝ｊ×Ｎ＋ｉ」、とする。ただし、０≦ｊ≦Ｍ−１、１≦ｉ≦Ｎ、Ｍ＝７、Ｎ＝１０である。

セル色情報取得部１０２は、図６に示すような手順で各セルＣＬのセル色情報ＤＴＣを取得する。図６において、まず、各セルＣＬのＲＧＢ値、輝度値（Ｙ）、およびホワイトバランスを示す情報を取得する（＃１０１）。これらの値は、そのセルＣＬに含まれる各画素のＲＧＢ値および輝度値などの平均的な値であり、公知のハードウェア処理によって簡単に取得できる。なお、輝度値として、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。

求められたＲＧＢ値および輝度値を次の（１）式および（２）式に代入することによって、赤色差値（ＣｒＳ）および青色差値（ＣｂＳ）を求める（＃１０２）。
ＣｒＳ［ｋ］＝（Ｒ［ｋ］−Ｙ［ｋ］）／１６ …… （１）
ＣｂＳ［ｋ］＝（Ｂ［ｋ］−Ｙ［ｋ］）／１６ …… （２）

ただし、ＣｒＳ［ｋ］およびＣｂＳ［ｋ］は、それぞれ、セルＣＬｋの赤色差値および青色差値である。Ｙ［ｋ］は、セルＣＬｋの輝度値である。Ｒ［ｋ］、Ｇ［ｋ］、Ｂ［ｋ］は、それぞれ、セルＣＬｋのＲＧＢ値の赤色成分値、緑色成分値、青色成分値である。

このようにして求められたＹ［ｋ］、ＣｒＳ［ｋ］、およびＣｂＳ［ｋ］の値が、セルＣＬｋのセル色情報ＤＴＣとなる。

図７は被写体度合算出処理の流れの例を説明するフローチャート、図８はセル色等の検出処理の流れの例を説明するフローチャート、図９は赤色差および青色差による色空間における色の分布の例を示す図、図１０は肌色検出処理の流れの例を説明するフローチャート、図１１は赤色検出処理の流れの例を説明するフローチャート、図１２は緑色検出処理の流れの例を説明するフローチャート、図１３は空色検出処理の流れの例を説明するフローチャート、図１４は異常高輝度検出処理の流れの例を説明するフローチャート、図１５は異常低輝度検出処理の流れの例を説明するフローチャート、図１６は色または異常輝度と被写体度合との関係の例を示す図、図１７はセルＣＬの被写体度合の分布の例を示す図である。

図３の被写体度合算出部１０３は、セル色情報取得部１０２によって得られた各セルＣＬのセル色情報ＤＴＣに基づいて、各セルＣＬに写っている物が何である蓋然性が高いかを求める。具体的には、その物が主被写体である蓋然性（確からしさ）がどれくらいの高さであるかまたは主被写体以外の物すなわち背景である蓋然性（確からしさ）がどれくらいの高さであるかを示す度合（値）を求める。以下、係る度合を「被写体度合」と記載する。本実施形態では、被写体度合が正である場合はその物が背景よりも主被写体である蓋然性が高いことを示し、負である場合は主被写体よりも背景である蓋然性が高いことを示す。また、被写体度合の絶対値が大きいほど、それぞれの蓋然性がより高いことを示す。各セルＣＬの被写体度合は、図７に示すような手順で求められる。

図７において、次の（３）式のように、各セルＣＬの被写体度合（ｄｅｇ＿Ｓ）を初期化し、「＋１」に設定しておく（＃１１１）。
ｄｅｇ＿Ｓ［ｋ］＝＋１ …… （３）

ただし、ｄｅｇ＿Ｓ［ｋ］は、セルＣＬｋの被写体度合を示す。

各セルＣＬが肌色（本実施形態では、ベージュ色を肌色とする。）であるか、赤色であるか、緑色（本実施形態では、植物の葉の色を緑色とする。）であるか、空色であるか、輝度が異常に高いか、または輝度が異常に低いかを、図８〜図１５に示すような手順で検知する（＃１１２）。

まず、セルＣＬごとに肌色フラグ、赤色フラグ、緑色フラグ、空色フラグ、異常高輝度フラグ、および異常低輝度フラグをそれぞれ１つずつ用意し、これらのフラグをオフにしておく。また、肌色セルカウンタ、赤色セルカウンタ、緑色セルカウンタ、空色セルカウンタを「０」にしておく（図８の＃１２１）。

図９に示すように、赤色差および青色差がそれぞれ縦軸および横軸をなす２次元空間を仮想する。この２次元空間において、「ｋ＝１」であるセルＣＬ（つまりセルＣＬ１）の赤色差値および青色差値が示す座標（以下、「色差座標」と記載する。）が図９の肌色領域ＲＡ１に含まれる場合は、被写体度合算出部１０３は、セルＣＬ１が肌色であると検知する（＃１２２）。具体的には、次の（４ａ）式または（４ｂ）式のいずれかを満たし、かつ、（４ｃ）式を満たす場合に（図１０の＃１３１〜＃１３３でＹｅｓ）、セルＣＬ１が肌色であると検知する。
０＜ＣｒＳ［ｋ］≦２０ かつ −１８≦ＣｂＳ［ｋ］＜０ …… （４ａ）
２０＜ＣｒＳ［ｋ］≦４５ かつ −３５≦ＣｂＳ［ｋ］＜−８ …… （４ｂ）
ＣｒＳ［ｋ］≦−２×ＣｂＳ［ｋ］ …… （４ｃ）

条件を満たす場合は、セルＣＬ１の肌色フラグをオンにセットし（＃１３４）、肌色セルカウンタに「１」を加算する（＃１３５）。

セルＣＬ１の色差座標が赤色領域ＲＡ２に含まれる場合は、セルＣＬ１が赤色であると検知する（図８の＃１２３）。具体的には、次の（５ａ）式または（５ｂ）式のいずれかを満たし、かつ、（５ｃ）式を満たす場合に（図１１の＃１４１〜＃１４３でＹｅｓ）、セルＣＬ１が赤色であると検知する。
３＜ＣｒＳ［ｋ］≦４０ かつ −２０≦ＣｂＳ［ｋ］＜０ …… （５ａ）
４０＜ＣｒＳ［ｋ］≦７０ かつ −３５≦ＣｂＳ［ｋ］＜−１０ …… （５ｂ）
ＣｒＳ［ｋ］＞−２×ＣｂＳ［ｋ］ …… （５ｃ）

この場合は、セルＣＬ１の赤色フラグをオンにセットし（＃１４４）、赤色セルカウンタに「１」を加算する（＃１４５）。

セルＣＬ１の色差座標が緑色領域ＲＡ３に含まれかつ輝度値が所定の値未満である場合は、セルＣＬ１が緑色であると検知する（図８の＃１２４）。具体的には、次の（６）式を満たす場合に（図１２の＃１５１でＹｅｓ）、セルＣＬ１が緑色であると検知する。
−２０＜ＣｒＳ［ｋ］≦０ かつ −３０≦ＣｂＳ［ｋ］＜０
かつ Ｙ［ｋ］＜４８０ …… （６）

この場合は、セルＣＬ１の緑色フラグをオンにセットし（＃１５２）、緑色セルカウンタに「１」を加算する（＃１５３）。

セルＣＬ１の色差座標が空色領域ＲＡ４に含まれかつ輝度値が所定の値を超える場合は、セルＣＬ１が緑色であると検知する（図８の＃１２５）。具体的には、次の（７ａ）式または（７ｂ）式のいずれかを満たす場合に（図１３の＃１６１または＃１６２のいずれかでＹｅｓ）、セルＣＬ１が空色であると検知する。
−２０＜ＣｒＳ［ｋ］≦０ かつ ０≦ＣｂＳ［ｋ］＜４０
かつ Ｙ［ｋ］＞８００ …… （７ａ）
−４０＜ＣｒＳ［ｋ］≦−１５ かつ ４０≦ＣｂＳ［ｋ］＜８０
かつ Ｙ［ｋ］＞６００ …… （７ｂ）

この場合は、セルＣＬ１の空色フラグをオンにセットし（＃１６３）、空色セルカウンタに「１」を加算する（＃１６４）。

輝度が異常に高いか否かを検知する（図８の＃１２６）。具体的には、セルＣＬ１の輝度値Ｙ［１］が２０００を超える場合に（図１４の＃１７１でＹｅｓ）、輝度が異常に高いことを検知する。この場合は、セルＣＬ１の異常高輝度フラグをオンにセットする（＃１７２）。輝度が異常に低いか否かを検知する（図８の＃１２７）。具体的には、セルＣＬ１の輝度値Ｙ［１］が１００未満である場合に（図１５の＃１８１でＹｅｓ）、輝度が異常に低いことを検知する。この場合は、セルＣＬ１の異常低輝度フラグをオンにセットする（＃１８２）。

そして、残りのセルＣＬ２〜ＣＬ７０についても、同様の検知処理を実行する（＃１２８でＮｏ）。このようにして、各セルＣＬの色および異常輝度を検知する。

図７に戻って、ステップ＃１１２の処理の後、被写体度合算出部１０３は、肌色フラグ、赤色フラグ、緑色フラグ、空色フラグ、異常高輝度フラグ、および異常低輝度フラグの状態に基づいて、各セルＣＬの被写体度合（ｄｅｇ＿Ｓ）の値を次のように更新する（＃１１３）。
セルＣＬｋの肌色フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝＋１６
セルＣＬｋの赤色フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝＋４
セルＣＬｋの緑色フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝−４
セルＣＬｋの空色フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝−８
セルＣＬｋの異常高輝度フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝−１６
セルＣＬｋの異常低輝度フラグがオン：ｄｅｇ＿Ｓ［ｋ］＝−１６

これは、図１６に示す、色または輝度と被写体度合との関係に基づいている。図１６に示すように、本実施形態では、係る関係は、主被写体の画像によく見られる色ほどｄｅｇ＿Ｓの値が大きくなるように設定され、背景の画像によく見られる色とｄｅｇ＿Ｓの値が小さくなるように設定されている。係る関係は、実験的に求められたものである。

更新の結果、図４の全体画像ＧＡの各セルＣＬのｄｅｇ＿Ｓの値の分布は、図１７に示すようになる。なお、いずれのフラグもオフであるセルＣＬのｄｅｇ＿Ｓの値は、初期値の「＋１」のままである。

図１８は主被写体重心算出処理の流れの例を説明するフローチャート、図１９は主被写体領域算出処理の流れの例を説明するフローチャート、図２０は主被写体領域ＲＹＨの例を示す図、図２１は被写体状況パラメータ算出処理の流れの例を説明するフローチャート、図２２は全体画像ＧＡのシーンの例を示す図である。

図３の主被写体重心算出部１０４は、図１７のｄｅｇ＿Ｓの値の分布に基づいて、図１８に示すような手順で、全体画像ＧＡに写っている主被写体の中心的な位置（以下、「重心」と記載する。）の位置を求める。まず、ｄｅｇ＿Ｓが２以上であるセルＣＬに注目する（＃１９１）。そして、注目したセルＣＬのｄｅｇ＿Ｓの値、Ｘ座標の値、およびＹ座標の値を、次の（８）式に代入する（＃１９２）。

ただし、Ｐｘ［ｋ］、Ｐｙ［ｋ］は、それぞれ、注目したセルＣＬｋのＸ座標の値、Ｙ座標の値である。座標（Ｐｘ［ｋ］，Ｐｙ［ｋ］）は、セルＣＬｋの所定の位置（例えば、中心）の画素の座標である。

このようにして求められた座標（ｘ＿ｃｇＳ，ｙ＿ｃｇＳ）が、主被写体の重心の座標となる。

図３の主被写体領域算出部１０５は、図１９に示すような手順で、全体画像ＧＡの中から主被写体の写っている矩形の領域（以下、「主被写体領域ＲＹＨ」と記載する。）を求める。まず、ｄｅｇ＿Ｓが２以上であるセルＣＬに注目し（＃２０１）、そのセルの個数（ｎｕｍ＿Ｓ）をカウントする（＃２０２）。そして、注目したセルＣＬのｄｅｇ＿Ｓの値、Ｘ座標の値、Ｙ座標の値、およびｎｕｍ＿Ｓの値を次の式（９）に代入する（＃２０３）。

つまり、主被写体の重心座標のＸ座標の値およびＹ座標の値に対する標準偏差の値をそれぞれ求め、さらにその値をそれぞれ２倍する。このようにして求められたｘ＿ｄｅｖＳおよびｙ＿ｄｅｖＳの値が、それぞれ、主被写体領域ＲＹＨの幅および高さを示している。

求められた主被写体の幅（ｘ＿ｄｅｖＳ）および高さ（ｙ＿ｄｅｖＳ）の中心をそれぞれ重心座標のＸ座標（ｘ＿ｃｇＳ）およびＹ座標（ｙ＿ｃｇＳ）と一致させる（＃２０４）。以上のようにして、図２０に示すような主被写体領域ＲＹＨが求められる。

図３の被写体状況判別部１０６は、図２１に示すような手順で、図４の全体画像ＧＡに写っている主被写体および背景の状況（シーン）について判別する。ｄｅｇ＿Ｓが２以上であるセルＣＬに注目し（＃２１１）、次の式（１０）に基づいて、これらのセルＣＬの被写体度合（ｄｅｇ＿Ｓ）の平均値を算出する（＃２１２）。

さらに、次の式（１１）に基づいて被写体度合の分布密度を算出する（＃２１３）。

このようにして算出されたｄｅｇ＿Ｓ＿ａｖｅおよびｄｅｇ＿Ｓ＿ｄｉｓｂの値など基づいて、主被写体および背景の状況（シーン）を次のようにして判別する（＃２１４）。

通常、図２２（ａ）に示すように、人物の顔面がアップで写っているシーンの場合は、被写体度合の平均値（ｄｅｇ＿Ｓ＿ａｖｅ）および分布密度（ｄｅｇ＿Ｓ＿ｄｉｓｂ）のいずれも大きい値となる。そこで、被写体状況判別部１０６は、平均値および分布密度がそれぞれ閾値ＦＮ１、ＦＮ２よりも大きい場合に、全体画像ＧＡのシーンを人物の顔面がアップになっている（撮影倍率が大きいまたは撮影距離が短い）シーンであると判別する。以下、このようなシーンを「シーンＡ」と記載する。

図２２（ｂ）に示すように、複数の人物が写っているシーンの場合は、平均値は大きい値となるが分布密度は小さい値となり、かつ、主被写体領域ＲＹＨの幅（ｘ＿ｄｅｖＳ）が広くなる。そこで、平均値が閾値ＦＮ３よりも大きく、分布密度が閾値ＦＮ４よりも小さく、かつ、ｘ＿ｄｅｖＳが閾値ＦＮ５よりも大きい場合に、被写体状況判別部１０６は、全体画像ＧＡのシーンを複数の人物がいるシーンであると判別する。以下、このようなシーンを「シーンＢ」と記載する。

図２２（ｃ）に示すように、１人の人物の体のほぼ全体が写っているシーンの場合は、平均値は大きい値となるが分布密度は小さい値となり、かつ、主被写体領域ＲＹＨの幅（ｘ＿ｄｅｖＳ）が狭くなる。そこで、平均値が閾値ＦＮ６よりも大きく、分布密度が閾値ＦＮ７よりも小さく、かつ、ｘ＿ｄｅｖＳが閾値ＦＮ８よりも小さい場合に、被写体状況判別部１０６は、全体画像ＧＡのシーンを１人の人物の体のほぼ全体が写っている（撮影倍率が小さいまたは撮影距離が長い）シーンであると判別する。以下、このようなシーンを「シーンＣ」と記載する。

図２２（ｄ）に示すように、人物でないもの（例えば、赤い花）が主被写体として写っている場合は、平均値は小さい値となるが分布密度は大きい値となる。そこで、被写体状況判別部１０６は、平均値が閾値ＦＮ９よりも小さく、かつ、分布密度が閾値ＦＮ１０よりも大きい場合に、被写体状況判別部１０６は、全体画像ＧＡのシーンを人物でないものが注目されているシーンであると判別する。以下、このようなシーンを「シーンＤ」と記載する。

図２３は焦点調節処理の流れの例を説明するフローチャート、図２４は露出レベル調節処理の流れの例を説明するフローチャート、図２５は測光方法の例を示す図である。

図３の撮影制御部１０７は、本撮影のために必要な、焦点の調節および露出レベルの調節を、それぞれ、図２３および図２４に示すような手順で行う。

すなわち、撮影制御部１０７は、主被写体重心算出部１０４によって求められた主被写体の重心座標（ｘ＿ｃｇＳ，ｙ＿ｃｇＳ）の近傍の、コントラストの高い領域を探索する（図２３の＃２２１）。見つかったその領域が合焦領域となるように、図１の撮影光学系２３などの制御（ＡＦ）を行う（＃２２２）。

また、図２３の処理と並行して、主被写体の重心座標を中心とする所定の領域を測光セル（測光領域）として選定する（図２４（ａ）の＃２３１）。選定した測光領域を中心に測光を行い（＃２３２）、その結果に応じて露出レベルを決定し、図２の絞りユニット３５を制御する（＃２３３）。

または、図２４（ｂ）のように、被写体状況判別部１０６によって判別されたシーンに応じて露出レベルの調節を行ってもよい。例えば、シーンＡであると判別された場合は、重心座標を中心とするスポット測光を行う（＃２４１）。シーンＢまたはシーンＣであると判別された場合は、重心座標を中心とする平均測光を行う（＃２４２）。例えば、図２５（ａ）に示すように、重心座標の近傍ほど重みを持たせるようにして、撮像範囲全体の測光を行う。シーンＤであると判別された場合は、重心座標を中心とする多分割測光を行う（＃２４３）。具体的には、撮像範囲を図２５（ｂ）に示すように幾つかの領域に分割し、各領域について測光を行う。

そして、ステップ＃２４１〜＃２４３のいずれかの測光結果に応じて露出レベルを決定し、絞りユニット３５を制御する（＃２４４）。

図２６は撮影時におけるデジタルカメラ１の全体の処理の流れの例を説明するフローチャート、図２７は被写体領域検出処理の流れの例を説明するフローチャートである。次に、デジタルカメラ１の動作または処理内容について、フローチャートを参照して説明する。

図２６において、図１の電源スイッチ２６がオンになると、メモリのリセットなどの前処理を行う（＃１）。ユーザは、撮影の目標物がデジタルカメラ１の被写界に入るようにデジタルカメラ１をその目標物の方に向け、撮影のための操作を開始する。レリーズボタン２８が半押し状態になると（＃２でＹｅｓ）、予備撮影を行って全体画像ＧＡの画像データを取得し、さらに、レンズに関するデータおよびモードやスイッチの設定などに関するデータを取得する（＃３〜＃５）。取得したデータに基づいて、現在の主被写体および背景の状況を判別するための被写体領域検出処理を行う（＃６）。係る処理は、図２７に示す手順で行われる。

全体画像ＧＡを複数のセルＣＬに分割し、各セルＣＬのＹＣｒＣｂ値を算出する（＃６１）。算出したＹＣｒＣｂ値に基づいてそれぞれのセルＣＬが肌色であるか、赤色であるか、緑色であるか、空色であるか、輝度が異常に高いか、または輝度が異常に低いかを検知するなどして、各セルＣＬの被写体度合（ｄｅｇ＿Ｓ）を算出する（＃６２）。そして、これらの被写体度合に基づいて主被写体の重心座標を算出し（＃６３）、主被写体の写っている領域（主被写体領域ＲＹＨ）を算出し（＃６４）、全体画像ＧＡに写っている主被写体および背景の状況（シーン）を判別してそのシーンを示すパラメータを算出する（＃６５）。ステップ＃６１、＃６２、＃６３、＃６４、および＃６５の処理の内容は、それぞれ、前に図６、図７、図１８、図１９、図２１で説明した通りである。

図２６に戻って、ステップ＃６で判別された主被写体の重心座標またはシーンなどに応じて焦点の調整および露出レベルの調整を行う（＃７、＃８）。これらの処理の内容は、それぞれ、前に図２３および図２４で説明した通りである。

ステップ＃４〜＃８の処理と並行して、ステップ＃３で取得した全体画像ＧＡを図１の液晶パネル２７に表示する（＃９）。

他の条件が揃ってスタンバイが完了し（＃１０でＹｅｓ）かつレリーズボタン２８が全押し状態になったときに（＃１１でＹｅｓ）、本撮影の動作を行う（＃１２）。つまり、レリーズボタン２８が全押し状態になったときの全体画像ＧＡの画像データを取得し、保存用の記録媒体（ＳＤメモリカードまたはマルチメディアカード（ＭＭＣ）など）に記録する。また、このとき取得した全体画像ＧＡを液晶パネル２７に表示する。撮影の終了後、ステップ＃１に戻って、ユーザからの指示を待つ。レリーズボタン２８が半押し状態になったら、上に述べた処理を再び実行する。

本実施形態によると、撮影範囲における主被写体の位置を示す矩形領域を簡単な構成で速くかつ正確に検出することができる。また、主被写体の状況に応じて測光方法、露出、および焦点を調整することによって、主被写体を的確に撮影することができる。特に、屋外で撮影する場合に適している。

本実施形態では、平均値（ｄｅｇ＿Ｓ＿ａｖｅ）、分布密度（ｄｅｇ＿Ｓ＿ｄｉｓｂ）、および主被写体領域ＲＹＨの幅（ｘ＿ｄｅｖＳ）に基づいて、全体画像ＧＡに写っている被写体の状況（シーン）を判別したが、さらに、主被写体領域ＲＹＨの高さ（ｙ＿ｄｅｖＳ）または重心座標（ｘ＿ｃｇＳ，ｙ＿ｃｇＳ）に基づいて判別するようにしてもよいし、これらを組み合わせて判別するようにしてもよい。

例えば、平均値および分布密度がそれぞれの閾値よりも大きくかつ重心座標が全体画像ＧＡの右方である場合は、撮影範囲の右方にいる人物の顔面がアップになっているシーンであると判別する。

図３の全体画像取得部１０１、セル色情報取得部１０２、被写体度合算出部１０３、主被写体重心算出部１０４、主被写体領域算出部１０５、および被写体状況判別部１０６の機能をパーソナルコンピュータなどにおいて実現してもよい。この場合は、図２６のステップ＃３〜＃６で説明した処理を実行するためのコンピュータプログラムをパーソナルコンピュータにインストールしておく。全体画像ＧＡは、デジタルカメラ、デジタルビデオカメラ、またはスキャナなどの画像入力装置から取得する。または、ネットワークを介して他のコンピュータから取得するようにしてもよい。係るパーソナルコンピュータは、例えば、監視カメラで撮影を行って得た画像（全体画像ＧＡ）に写っている物（主被写体）が人物であるか否かを判別するためなどに用いられる。

その他、デジタルカメラ１の全体または各部の構成、セルＣＬの形状、セルＣＬの色および異常輝度を検知するために用いる値の色空間、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。

本発明は、撮影範囲における撮影の目標物の位置するおよその領域を従来よりも簡単にかつ正確に検出することができる。よって、特に、デジタルカメラなどの測光、露出調整、および焦点調整などの制御のために好適に用いられる。

デジタルカメラの外観の例を示す図である。 デジタルカメラの内部構成の例を示す図である。 デジタルカメラの機能的構成の例を示す図である。 全体画像の例を示す図である。 複数のセルに分割した全体画像の例を示す図である。 色空間変換処理の流れの例を示すフローチャートである。 被写体度合算出処理の流れの例を説明するフローチャートである。 セル色等の検出処理の流れの例を説明するフローチャートである。 赤色差および青色差による色空間における色の分布の例を示す図である。 肌色検出処理の流れの例を説明するフローチャートである。 赤色検出処理の流れの例を説明するフローチャートである。 緑色検出処理の流れの例を説明するフローチャートである。 空色検出処理の流れの例を説明するフローチャートである。 異常高輝度検出処理の流れの例を説明するフローチャートである。 異常低輝度検出処理の流れの例を説明するフローチャートである。 色または異常輝度と被写体度合との関係の例を示す図である。 セルの被写体度合の分布の例を示す図である。 主被写体重心算出処理の流れの例を説明するフローチャートである。 主被写体領域算出処理の流れの例を説明するフローチャートである。 主被写体領域の例を示す図である。 被写体状況パラメータ算出処理の流れの例を説明するフローチャートである。 全体画像のシーンの例を示す図である。 焦点調節処理の流れの例を説明するフローチャートである。 露出レベル調節処理の流れの例を説明するフローチャートである。 測光方法の例を示す図である。 撮影時におけるデジタルカメラの全体の処理の流れの例を説明するフローチャートである。 被写体領域検出処理の流れの例を説明するフローチャートである。

符号の説明

１ デジタルカメラ（目標物領域検出装置）
１０１ 全体画像取得部（全体画像取得手段）
１０２ セル色情報取得部（色情報取得手段）
１０３ 被写体度合算出部（確からしさ算出手段）
１０４ 主被写体重心算出部（重心算出手段）
１０５ 主被写体領域算出部（領域サイズ算出手段、目標物領域検出手段）
１０６ 被写体状況判別部（状況判別手段）
１０７ 撮影制御部（撮影制御手段）
ＣＬ セル（分割領域）
ＧＡ 全体画像

Claims (13)

1. 撮影の目標物が撮影範囲の中のいずれの領域に位置するのかを検出する目標物領域検出装置であって、
   前記撮影範囲に写る画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、
   前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、
   前記全体画像の前記各分割領域について、当該分割領域に前記目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める、確からしさ算出手段と、
   前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する目標物領域検出手段と、
   を有することを特徴とする目標物領域検出装置。
2. 撮影の目標物が撮影範囲の中のいずれの領域に位置するのかを検出する目標物領域検出装置であって、
   前記撮影範囲に写る画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、
   前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、
   前記全体画像の前記各分割領域について、当該分割領域に前記目標物が写っている確からしさを当該分割領域の前記色情報に基づいて算出する、確からしさ算出手段と、
   前記撮影範囲における前記目標物の重心の位置を前記各分割領域の前記確からしさに基づいて求める重心算出手段と、
   前記撮影範囲における前記目標物の領域のサイズを前記各分割領域の前記確からしさに基づいて求める領域サイズ算出手段と、
   前記撮影範囲における前記目標物の位置する領域を、当該目標物の前記重心の位置および前記サイズに基づいて検出する目標物領域検出手段と、
   を有することを特徴とする目標物領域検出装置。
3. 前記領域サイズ算出手段は、前記目標物の前記重心の位置と所定の値以上の前記確からしさを有する前記分割領域の位置との差の標準偏差を算出することによって前記サイズを求める、
   請求項２記載の目標物領域検出装置。
4. 前記各分割領域の前記確からしさに基づいて前記目標物がどのような状況にあるのかを判別する状況判別手段を有する、
   請求項２または請求項３記載の目標物領域検出装置。
5. 前記状況判別手段は、前記分割領域のうちの所定の値以上の前記確からしさを有する前記分割領域の前記確からしさおよびその個数に基づいて前記目標物がどのような状況にあるのかを判別する、
   請求項４記載の目標物領域検出装置。
6. 前記状況判別手段は、前記分割領域のうちの所定の値以上の前記確からしさを有する前記分割領域の前記確からしさの平均値および分布密度に基づいて前記目標物がどのような状況にあるのかを判別する、
   請求項４記載の目標物領域検出装置。
7. 前記状況判別手段は、前記平均値が所定の値よりも高くかつ前記分布密度が所定の値よりも高い場合は前記目標物が人でありかつ撮影倍率が大きい状況であると判別し、前記平均値が所定の値よりも高くかつ前記分布密度が所定の値よりも低い場合は前記目標物が人でありかつ撮影倍率が小さい状況であると判別し、前記平均値が所定の値よりも低い場合は前記目標物が人以外の物であると判別する、
   請求項６記載の目標物領域検出装置。
8. 前記状況判別手段は、前記目標物の前記重心の位置および前記サイズに基づいて前記目標物がどのような状況にあるのかを判別する、
   請求項４ないし請求項７のいずれかに記載の目標物領域検出装置。
9. 前記確からしさ算出手段は、前記分割領域の前記確からしさを、当該分割領域の前記色情報に示される色が肌色に近いほど高い値になるように算出する、
   請求項２ないし請求項８のいずれかに記載の目標物領域検出装置。
10. 予備撮影によって得られる画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、
    前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、
    前記全体画像の前記各分割領域について、当該分割領域に撮影の目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める、確からしさ算出手段と、
    前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する目標物領域検出手段と、
    前記確からしさおよび前記目標物の位置する領域に基づいて焦点および／または露出レベルの調節を行って本撮影を行う撮影制御手段と、
    を有することを特徴とする撮影装置。
11. 予備撮影によって得られる画像を、複数の分割領域からなる全体画像として取得する全体画像取得手段と、
    前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する色情報取得手段と、
    前記全体画像の前記各分割領域について、当該分割領域に撮影の目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める、確からしさ算出手段と、
    前記各分割領域の前記確からしさに基づいて前記目標物がどのような状況にあるのかを判別する状況判別手段と、
    前記状況判別手段による判別結果に基づいて焦点および／または露出レベルの調節を行って本撮影を行う撮影制御手段と、
    を有することを特徴とする撮影装置。
12. 撮影の目標物が撮影範囲の中のいずれの領域に位置するのかを検出する目標物領域検出方法であって、
    前記撮影範囲に写る画像を、複数の分割領域からなる全体画像として取得し、
    前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得し、
    前記全体画像の前記各分割領域について、当該分割領域に前記目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求め、
    前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する、
    ことを特徴とする目標物領域検出方法。
13. 撮影の目標物が撮影範囲の中のいずれの領域に位置するのかを検出するためのコンピュータに用いられるコンピュータプログラムであって、
    前記撮影範囲に写る画像を、複数の分割領域からなる全体画像として取得する処理と、
    前記全体画像の前記各分割領域について、当該分割領域に属する部分の画像の色情報を取得する処理と、
    前記全体画像の前記各分割領域について、当該分割領域に前記目標物が写っている確からしさを当該分割領域の前記色情報に基づいて求める処理と、
    前記撮影範囲における前記目標物の位置する領域を前記各分割領域の前記確からしさに基づいて検出する処理と、
    をコンピュータに実行させるためのコンピュータプログラム。
    

Images