JP2001148800A - デジタルカメラおよび画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像から注目部位を検出するデジタルカメラ
を提供する。 【解決手段】 本発明のデジタルカメラは、画像データ
を得る撮像ユニット２０と、ズーム等を制御する撮像制
御ユニット４０と、画像データから注目部位を検出する
処理ユニット６０と、画像を表示する表示ユニット１０
０と、ユーザが操作する操作ユニット１１０とを備え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラに
関する。本発明は、特に画像から主要被写体を検出する
デジタルカメラに関する。

【０００２】

【従来の技術】従来、良好な写真を得る技術として、被
写体の中から主要被写体を見つけだし、この主要被写体
の状態によって撮影タイミングや撮影条件を調整する様
々な技術が知られている。被写体の中から主要被写体を
見つけだす方法としては、画像において主要被写体とし
ての特徴を探し出すことにより検出する方法が一般的で
ある。そして、画像から人物を検出する場合に、いわゆ
る赤目現象における赤目を検出してその人物を特定する
方法が知られている。

【０００３】

【発明が解決しようとする課題】しかし、被写体画像の
中には、人物の目以外にも赤目の色や形に似た物体が含
まれる場合があるので、無関係な物体を誤認識してしま
う可能性が高い。このような誤認識を避けるためにフラ
ッシュの発光量を高めて反射光強度を上げる方法もあ
る。しかし、必ずしも誤認識を効果的に回避できるとは
限らず、しかも装置のコストを増大させてしまう。一
方、主要被写体となる人物が複数人の場合、無造作に赤
目を抽出すると、複数の人物にわたる目を組にして数え
てしまうおそれがある。例えば、前後に異なる距離上に
いる複数の人物でも画像上では並んで見えるので、同一
人の目を組にできるとは限らない。さらに、複数の人物
が顔を寄せて写っている場合には誤認識の可能性がより
高まる。

【０００４】そこで本発明は、上記の課題を解決するこ
とのできるデジタルカメラ、画像処理方法を提供するこ
とを目的とする。この目的は特許請求の範囲における独
立項に記載の特徴の組み合わせにより達成される。また
従属項は本発明のさらなる有利な具体例を規定する。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明の第１の形態は、被写体の画像を入力する画
像入力部と、主要被写体に含まれるべき注目部位の色、
形状のうちの少なくともいずれかを定めた注目部位検出
条件を満たす複数の被写体部分を前記画像から検出する
部位検出部と、検出された複数の前記被写体部分のそれ
ぞれを部分画像として前記画像から抽出する部分画像抽
出部と、複数の前記部分画像として抽出された複数の前
記被写体部分までの距離を示す奥行き分布情報を取得す
る奥行き分布情報取得部と、前記奥行き分布情報に基づ
いて、ほぼ等距離に位置する前記被写体部分の組を抽出
する組抽出部と、前記被写体部分の組を前記注目部位の
組とみなして、前記主要被写体に関する所定の主要被写
体情報を取得する主要被写体情報取得部とを備える。

【０００６】前記画像入力部は、前記被写体部分を複数
の異なる視点から撮像する視差画像を入力する手段を有
し、前記奥行き分布情報取得部は、前記視差画像におけ
る複数の前記部分画像に相当する各部位から前記奥行き
分布情報を取得してもよい。前記主要被写体情報取得部
は、前記被写体部分の組から対の注目部位を抽出して前
記主要被写体情報を取得してもよい。

【０００７】また、本発明の第２の形態は、被写体の画
像を入力する画像入力部と、前記画像において主要被写
体に含まれるべき注目部位を探索する部分的な奥行き幅
を定めた部分探索範囲を設定する範囲設定部と、前記画
像に含まれる前記被写体の各部までの距離を示す奥行き
分布情報に基づいて、前記部分探索範囲に含まれる被写
体部分を部分画像として前記画像から抽出する部分画像
抽出部と、前記注目部位の色、配置、形状、個数のうち
の少なくともいずれかを定めた注目部位検出条件に基づ
いて、前記部分画像から前記注目部位を検出する注目部
位検出部と、検出された前記注目部位に基づいて所定の
主要被写体情報を取得する情報取得部とを備える。

【０００８】前記画像入力部は、前記被写体を複数の異
なる視点から撮像する視差画像を入力する手段を有し、
前記視差画像に基づいて前記奥行き分布情報を取得する
奥行き分布情報取得部をさらに備えてもよい。前記範囲
設定部は、第１の部分探索範囲を設定する手段と、前記
第１の部分探索範囲と異なる第２の部分探索範囲を設定
する手段とを有し、前記部分画像抽出部は、前記第１の
部分探索範囲に含まれる前記被写体部分を第１の部分画
像として抽出する手段と、前記第２の部分探索範囲に含
まれる前記被写体部分を第２の部分画像として抽出する
手段とを有し、前記注目部位検出部は、前記第１の部分
画像から前記注目部位を検出する手段と、前記第１の部
分画像から前記注目部位が検出されなかった場合に前記
第２の部分画像から前記注目部位を検出する手段とを有
してもよい。前記範囲設定部は、前記奥行き分布情報に
基づいて、前記画像における前記被写体が含まれる奥行
き範囲を分割して複数の前記部分探索範囲を設定し、前
記部分画像抽出部は、複数の前記部分探索範囲のそれぞ
れに含まれる前記被写体部分を複数の前記部分画像とし
て前記画像から抽出し、前記注目部位検出部は、複数の
前記部分画像のそれぞれから前記注目部位を検出しても
よい。

【０００９】前記被写体に向けて発光する発光部をさら
に備え、前記注目部位検出条件に定められた前記注目部
位の色は、前記発光部から発せられる光が前記注目部位
を反射して一時的に生じてもよい。前記発光部から前記
注目部位に発せられる光の軸は、前記注目部位から前記
画像入力部へ反射する光の軸にほぼ平行であってもよ
い。前記注目部位検出条件は、人物または動物をフラッ
シュ撮影したときの赤目現象により生じる赤目の色、配
置、形状、個数のうちの少なくとも一つを定めた条件で
あってもよい。

【００１０】前記主要被写体情報取得部は、前記主要被
写体情報として前記主要被写体の位置情報を取得しても
よい。前記主要被写体情報取得部は、前記主要被写体情
報として前記主要被写体に含まれる前記注目部位の位置
情報を取得してもよい。前記画像入力部は、所定の撮影
タイミング信号を受け取ったときに撮影する手段を有
し、前記画像において前記位置情報に基づき特定される
前記主要被写体が所定の撮影タイミング条件を満たした
ときに前記撮影タイミング信号を前記画像入力部へ出力
するタイミング信号出力部をさらに備えてもよい。前記
主要被写体情報は、前記主要被写体に含まれる前記注目
部位の位置情報を含み、前記タイミング信号出力部は、
前記画像において前記位置情報に基づき特定される前記
注目部位が、所定の撮影タイミング条件を満たしたとき
に前記撮影タイミング信号を前記画像入力部へ出力して
もよい。前記撮影タイミング条件は、前記主要被写体で
ある人物または動物の開いた目の色、配置、形状、個数
のうちの少なくともいずれかを定めた条件であってもよ
い。

【００１１】また、第３の形態においては、外界が暗い
ときに被写体に向けて発光する段階と、反射により一時
的に所定の色または形状をなす被写体部分を検出する段
階と、奥行き分布情報に基づいて前記被写体部分から注
目部位を検出する段階と、前記注目部位に基づいて撮影
タイミングを決定する段階とを備える。

【００１２】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションもまた発明となりうる。

【００１３】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。

【００１４】以下、本発明の第１実施形態を説明する。
本実施形態におけるデジタルカメラは、赤目を検出し、
その情報を利用して最適なタイミングまたは撮影条件で
被写体を撮影する。ここでいう主要被写体とは、撮影す
る被写体のうち、撮影者が意識的に撮影する独立した対
象物である。例えば、部屋の中の人物を撮影するときの
当該人物、水槽の中を泳ぐ魚を撮影するときの当該魚、
木の枝に止まった鳥を撮影するときの当該鳥等が主要被
写体である。

【００１５】このデジタルカメラ１０の特徴は、外界が
暗いときに被写体に向けて発光し、反射により一時的に
所定の色または形状をなす被写体部分を検出し、奥行き
分布情報に基づいて被写体部分から注目部位を検出し、
注目部位に基づいて撮影タイミングを決定する点にあ
る。

【００１６】図１は実施の形態に係るデジタルカメラ１
０の構成を示す。このデジタルカメラ１０は、主に撮像
ユニット２０、撮像制御ユニット４０、処理ユニット６
０、表示ユニット１００、および操作ユニット１１０を
含む。

【００１７】撮像ユニット２０は、撮影および結像に関
する機構部材および電気部材を含む。撮像ユニット２０
はまず、映像を取り込んで処理を施す撮影レンズ２２、
絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィル
タ）２８、ＣＣＤ３０、および撮像信号処理部３２を含
む。撮影レンズ２２は、フォーカスレンズやズームレン
ズ等からなる。この構成により、被写体像がＣＣＤ３０
の受光面上に結像する。結像した被写体像の光量に応
じ、ＣＣＤ３０の各センサエレメント（図示せず）に電
荷が蓄積される（以下その電荷を「蓄積電荷」とい
う）。蓄積電荷は、リードゲートパルスによってシフト
レジスタ（図示せず）に読み出され、レジスタ転送パル
スによって電圧信号として順次読み出される。

【００１８】デジタルカメラ１０は一般に電子シャッタ
機能を有するので、シャッタ２６のような機械式シャッ
タは必須ではない。電子シャッタ機能を実現するため
に、ＣＣＤ３０にシャッタゲートを介してシャッタドレ
インが設けられる。シャッタゲートを駆動すると蓄積電
荷がシャッタドレインに掃き出される。シャッタゲート
の制御により、各センサエレメントに電荷を蓄積するた
めの時間、すなわちシャッタスピードが制御できる。

【００１９】ＣＣＤ３０から出力される電圧信号、すな
わちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成
分に色分解され、まずホワイトバランスが調整される。
つづいて撮像信号処理部３２はガンマ補正を行い、必要
なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、そ
の結果得られたデジタルの画像データ（以下単に「デジ
タル画像データ」とよぶ）を処理ユニット６０へ出力す
る。

【００２０】撮像ユニット２０はさらに、ファインダ３
４と発光部３６を有する。ファインダ３４には図示しな
いＬＣＤを内装してもよく、その場合、後述のメインＣ
ＰＵ６２等からの各種情報をファインダ３４内に表示で
きる。発光部３６は、コンデンサ（図示せず）に蓄えら
れたエネルギが放電管３６ａに供給されたときそれが被
写体に向けて発光することで機能する。

【００２１】撮像制御ユニット４０は、ズーム駆動部４
２、フォーカス駆動部４４、絞り駆動部４６、シャッタ
駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距
センサ５２、および測光センサ５４をもつ。ズーム駆動
部４２などの駆動部は、それぞれステッピングモータ等
の駆動手段を有する。後述のレリーズスイッチ１１４の
押下に応じ、測距センサ５２は被写体までの距離を測定
し、測光センサ５４は被写体輝度を測定する。測定され
た距離のデータ（以下単に「測距データ」という）およ
び被写体輝度のデータ（以下単に「測光データ」とい
う）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０
は、ユーザから指示されたズーム倍率等の撮影情報に基
づき、ズーム駆動部４２とフォーカス駆動部４４を制御
して撮影レンズ２２のズーム倍率とピントの調整を行
う。

【００２２】撮像系ＣＰＵ５０は、１画像フレームのＲ
ＧＢのデジタル信号積算値、すなわちＡＥ情報に基づい
て絞り値とシャッタスピードを決定する。決定された値
にしたがい、絞り駆動部４６とシャッタ駆動部４８がそ
れぞれ絞り量の調整とシャッタ２６の開閉を行う。

【００２３】撮像系ＣＰＵ５０はまた、測光データに基
づいて発光部３６の発光を制御し、同時に絞り２６の絞
り量を調整する。ユーザが映像の取込を指示したとき、
ＣＣＤ３０が電荷蓄積を開始し、測光データから計算さ
れたシャッタ時間の経過後、蓄積電荷が撮像信号処理部
３２へ出力される。

【００２４】処理ユニット６０は、デジタルカメラ１０
全体、とくに処理ユニット６０自身を制御するメインＣ
ＰＵ６２と、これによって制御されるメモリ制御部６
４、ＹＣ処理部７０、オプション装置制御部７４、圧縮
伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣ
ＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５
０との間で必要な情報をやりとりする。メインＣＰＵ６
２の動作クロックは、クロック発生器８８から与えられ
る。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユ
ニット１００に対してもそれぞれ異なる周波数のクロッ
クを提供する。

【００２５】メインＣＰＵ６２には、キャラクタ生成部
８４とタイマ８６が併設されている。タイマ８６は電池
でバックアップされ、つねに日時をカウントしている。
このカウント値から撮影日時に関する情報、その他の時
刻情報がメインＣＰＵ６２に与えられる。キャラクタ生
成部８４は、撮影日時、タイトル等の文字情報を発生
し、この文字情報が適宜撮影画像に合成される。

【００２６】メモリ制御部６４は、不揮発性メモリ６６
とメインメモリ６８を制御する。不揮発性メモリ６６
は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能な
ＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザー
による設定情報や出荷時の調整値など、デジタルカメラ
１０の電源がオフの間も保持すべきデータが格納されて
いる。不揮発性メモリ６６には、場合によりメインＣＰ
Ｕ６２のブートプログラムやシステムプログラムなどが
格納されてもよい。一方、メインメモリ６８は一般にＤ
ＲＡＭのように比較的安価で容量の大きなメモリで構成
される。メインメモリ６８は、撮像ユニット２０から出
力されたデータを格納するフレームメモリとしての機
能、各種プログラムをロードするシステムメモリとして
の機能、その他ワークエリアとしての機能をもつ。不揮
発性メモリ６６とメインメモリ６８は、処理ユニット６
０内外の各部とメインバス８２を介してデータのやりと
りを行う。

【００２７】ＹＣ処理部７０は、デジタル画像データに
ＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−
Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制
御部６４によってメインメモリ６８に一旦格納される。
圧縮伸張処理部７８はメインメモリ６８から順次輝度信
号と色差信号を読み出して圧縮する。こうして圧縮され
たデータ（以下単に「圧縮データ」という）は、オプシ
ョン装置制御部７４を介してオプション装置７６の一種
であるメモリカードへ書き込まれる。

【００２８】処理ユニット６０はさらにエンコーダ７２
をもつ。エンコーダ７２は輝度信号と色差信号を入力
し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変
換してビデオ出力端子９０から出力する。オプション装
置７６に記録されたデータからビデオ信号を生成する場
合、そのデータはまずオプション装置制御部７４を介し
て圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸
張処理部７８で必要な伸張処理が施されたデータはエン
コーダ７２によってビデオ信号へ変換される。

【００２９】オプション装置制御部７４は、オプション
装置７６に認められる信号仕様およびメインバス８２の
バス仕様にしたがい、メインバス８２とオプション装置
７６の間で必要な信号の生成、論理変換、または電圧変
換などを行う。デジタルカメラ１０は、オプション装置
７６として前述のメモリカードのほかに、例えばＰＣＭ
ＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよ
い。その場合、オプション装置制御部７４は、ＰＣＭＣ
ＩＡ用バス制御ＬＳＩなどで構成してもよい。

【００３０】通信Ｉ／Ｆ部８０は、デジタルカメラ１０
がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３
２Ｃ、イーサネットなどの仕様に応じたプロトコル変換
等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてド
ライバＩＣを含み、ネットワークを含む外部機器とコネ
クタ９２を介して通信する。そうした標準的な仕様のほ
かに、例えばプリンタ、カラオケ機、ゲーム機等の外部
機器との間で独自のＩ／Ｆによるデータ授受を行う構成
としてもよい。

【００３１】表示ユニット１００は、ＬＣＤモニタ１０
２とＬＣＤパネル１０４を有する。それらはＬＣＤドラ
イバであるモニタドライバ１０６、パネルドライバ１０
８によってそれぞれ制御される。ＬＣＤモニタ１０２
は、例えば２インチ程度の大きさでカメラ背面に設けら
れ、現在の撮影や再生のモード、撮影や再生のズーム倍
率、電池残量、日時、モード設定のための画面、被写体
画像などを表示する。ＬＣＤパネル１０４は例えば小さ
な白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ
／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発
光禁止、標準撮影可能枚数、画素数、電池容量などの情
報を簡易的に表示する。

【００３２】操作ユニット１１０は、ユーザーがデジタ
ルカメラ１０の動作やそのモードなどを設定または指示
するために必要な機構および電気部材を含む。パワース
イッチ１１２は、デジタルカメラ１０の電源のオンオフ
を決める。レリーズスイッチ１１４は、半押しと全押し
の二段階押し込み構造になっている。一例として、半押
しでＡＦおよびＡＥがロックし、全押しで撮影画像の取
込が行われ、必要な信号処理、データ圧縮等の後、メイ
ンメモリ６８、オプション装置７６等に記録される。操
作ユニット１１０はこれらのスイッチの他、回転式のモ
ードダイヤルや十字キーなどによる設定を受け付けても
よく、それらは図１において機能設定部１１６と総称さ
れている。操作ユニット１１０で指定できる動作または
機能の例として、「ファイルフォーマット」、「特殊効
果」、「印画」、「決定／保存」、「表示切換」等があ
る。ズームスイッチ１１８は、ズーム倍率を決める。

【００３３】図２は、本実施形態のデジタルカメラの機
能ブロック図である。デジタルカメラ１０は、画像入力
部２００と奥行き分布情報取得部２０２と部位検出部２
０４と部分画像抽出部２０８と組抽出部２１０と主要被
写体情報取得部２１２と撮影条件決定部２２０と撮像制
御部２２２とタイミング信号出力部２２４とを備える。
画像入力部２００は、被写体の画像を入力する。画像入
力部２００は、図１における撮像ユニットに相当する。
画像入力部２００は、被写体を複数の異なる視点から撮
像する視差画像を入力する。画像入力部２００は、主要
被写体の検出に利用する画像や視差画像を撮影するため
に予備撮影をする。その後、撮影タイミング信号に基づ
いて被写体を本撮像する。

【００３４】注目部位検出部２０４は、主要被写体に含
まれるべき注目部位の色、形状のうちの少なくともいず
れかを定めた注目部位検出条件を満たす複数の被写体部
分を画像から検出する。ここでいう注目部位とは、主要
被写体に含まれる部位のうち、特に色や形状等に特徴を
もった必須の部位である。例えば、人物を主要被写体と
するときの当該人物の目や口が注目部位である。注目部
位は、主要被写体以外の被写体がもたない色や形状をも
つことが検出の上では望ましい。例えば、顔の肌色は人
物以外が有する可能性は低い。本実施形態においては、
人物または動物の目が注目部位であり、いわゆる赤目現
象における赤目になった目の色、配置、形状、個数のう
ちの少なくともいずれかを注目部位検出条件とする。

【００３５】ここで、赤目現象とは、暗いところで人物
をフラッシュ撮影したときに、フラッシュ光が眼底に反
射して目が赤く写ってしまう現象をいう。これは、暗い
場所では人物や動物の虹彩（瞳孔）が開いているので、
突然のフラッシュ光により網膜の毛細血管が赤く見えて
しまう現象である。したがって、注目部位検出条件に定
められた赤目の色や形状は、デジタルカメラ１０の発光
部３６から発せられる光が注目部位である目を反射して
一時的に生ずるものである。

【００３６】赤目現象は、フラッシュの光源とレンズと
が近いほど生じやすいことが知られている。すなわち、
レンズの光軸とフラッシュの光線軸が平行なほど赤目に
なりやすい。本実施形態においては、積極的に赤目を発
生させるために、発光部３６から注目部位である目に発
せられる光の軸は、目から画像入力部２００へ反射する
光の軸にほぼ平行にする。

【００３７】部分画像抽出部２０８は、部位検出部２０
４により検出された複数の被写体部分のそれぞれを部分
画像として抽出する。本実施形態における部分画像抽出
部２０８は、人物の画像から目と思われる部分の部分画
像を抽出する。

【００３８】奥行き分布情報取得部２０２は、複数の部
分画像として抽出された複数の被写体部分までの距離を
示す奥行き分布情報を取得する。本実施形態における奥
行き分布情報取得部２０２は、視差画像における複数の
部分画像に相当する各部位から奥行き分布情報を取得す
る。すなわち、奥行き分布情報取得部２０２は、視差画
像における人物の目の部分の対応点決定処理を行うこと
により視差量を求め、その視差量に基づいて奥行き分布
情報を抽出する。また、視差量に基づいて奥行き分布情
報を抽出する処理は、従来から知られている三角測量の
原理に基づいて行うことができる。

【００３９】組抽出部２１０は、奥行き分布情報に基づ
いて、ほぼ等距離に位置する被写体部分の組を抽出す
る。本実施形態においては、人物の目が注目部位なので
一対の目が一組の注目部位となる。そして、組抽出部２
１０がカメラからほぼ等距離に位置する複数の被写体部
分を組にすれば、その中に一対の目が含まれることとな
る。

【００４０】主要被写体情報取得部２１２は、被写体部
分の組を注目部位の組とみなして、主要被写体に関する
所定の主要被写体情報を取得する。ここでいう主要被写
体情報とは、主要被写体または注目部位の位置、距離、
状態等を示す情報である。例えば、画像における人物の
位置情報、画像において人物が何人含まれているかを示
す情報、人物の目の位置情報等が主要被写体情報に含ま
れる。本実施形態における主要被写体情報取得部２１２
は、被写体部分の組から対の注目部位を抽出して主要被
写体情報を取得する。例えば、二人の人物がほぼ等距離
に位置する場合、一対の目と思われる被写体部分が二組
抽出される。この場合、主要被写体情報取得部２１２
は、近接する被写体部分同士を一対の目とみなしてもよ
い。

【００４１】このように、画像の中に注目部位と思われ
る被写体部分が複数含まれても、ほぼ等距離にある部位
を組にするので、異なる距離上の物体を誤認識する可能
性を減らすことができる。また、奥行き分布情報を用い
て高い精度で人物を検出できるので、複数人が画像に含
まれてもすべての人物を検出することができる。

【００４２】撮影条件決定部２２０は、主要被写体情報
に基づいて撮影条件を決定する。例えば、撮影条件決定
部２２０は、主要被写体までの距離情報に基づいて、焦
点距離を決定する。例えば、撮影条件決定部２２０は、
主要被写体の輝度情報に基づいて、絞り値や露光時間
（シャッタースピード）を決定する。主要被写体が複数
の場合、すべての主要被写体が収まる画角、配光角を決
定してもよい。

【００４３】撮像制御部２２２は、撮影条件決定部２２
０により決定された撮影条件に基づいて撮像ユニット２
０による撮像を制御する。例えば、撮影条件決定部２２
０により決定された焦点距離でズームやフォーカスが制
御される。例えば、撮影条件決定部２２０により決定さ
れた絞り値や露光時間で絞りやシャッターが制御され
る。

【００４４】タイミング信号出力部２２４は、画像にお
ける位置情報に基づいて特定される主要被写体が所定の
撮影タイミング条件を満たしたときに撮影タイミング信
号を画像入力部２００へ出力する。撮影タイミング条件
としては、例えば、人物を主要被写体とする場合に、当
該人物が「瞬きしていない」、「視線がカメラを向いて
いる」、「微笑んでいる」等の条件を撮影タイミング条
件にしてもよい。

【００４５】タイミング信号出力部２２４は、画像にお
ける位置情報に基づいて特定される注目部位が撮影タイ
ミング条件を満たしたときに撮影タイミング信号を画像
入力部２００に出力してもよい。注目部位が撮影タイミ
ング条件を満たすかどうかの判断手法は、撮影条件によ
り異なる。例えば、「瞬きしていない」、「視線がカメ
ラ方向を向いている」という撮影条件の場合、目の色、
形、大きさ等を判断材料とする。「微笑んでいる」とい
う撮影条件の場合、目の大きさ、口の形、口の大きさ等
を判断材料とする。これらの判断材料が撮影条件を満た
すかどうかは、撮影条件ごとの経験則に基づいた所定の
アルゴリズムにより判断する。例えば、「瞬きしていな
いこと」を撮影タイミング条件とする場合、該撮影タイ
ミング条件は主要被写体である人物の開いた目の色、配
置、形状、個数のうちの少なくともいずれかを定めた条
件となる。

【００４６】画像入力部２００は、撮像制御部２２２の
制御により最適な撮影条件で被写体を結像または撮像す
ることができる。画像入力部２００は、タイミング信号
出力部２２４から受け取る撮影タイミング信号に基づい
て適切なタイミングで被写体を撮影することができる。
例えば、人物を撮影するときに、その人物が瞬きしてい
ない瞬間に撮影することができる。

【００４７】なお、主要被写体である人物が複数の場
合、赤目を発生させるためのプリ発光の際に必ずしも全
員が目を開いているとは限らない。そこで、発光部３６
によるプリ発光の発光時間を長くしてもよい。また、発
光部３６による発光を複数回行ってもよい。

【００４８】なお、本実施形態においては特に人物を被
写体として撮影する場合を例にとって説明したが、動物
を被写体として撮影してもよい。ほとんどの動物にも人
物と同様に赤目現象が生じる。

【００４９】図３は、本実施形態における画像処理方法
を示すフローチャートである。まず、発光部３６は外界
が暗いときに被写体に向けて発光する（Ｓ１００）。発
光部３６による発光と同時に、または発光の直後に、画
像入力部２００は、被写体の画像を入力する（Ｓ１０
１）。また、画像入力部２００は、視差画像を入力する
（Ｓ１０２）。次いで、部位検出部２０４は、主要被写
体に含まれるべき注目部位の色、形状のうちの少なくと
もいずれかを定めた注目部位検出条件を満たす被写体部
分を画像から検出する（Ｓ１０４）。次いで、部分画像
抽出部２０８は、検出された複数の被写体部分のそれぞ
れを部分画像として画像から抽出する（Ｓ１０６）。次
いで、奥行き分布情報取得部２０２は、複数の部分画像
として抽出された複数の被写体部分までの距離を示す奥
行き分布情報を取得する（Ｓ１０８）。次いで、組抽出
部２１０は、奥行き分布情報に基づいて、ほぼ等距離に
位置する被写体部分の組を抽出する（Ｓ１１０）。次い
で、主要被写体情報取得部２１２は、被写体部分の組を
注目部位の組とみなして、主要被写体に関する所定の主
要被写体情報を取得する（Ｓ１１２）。

【００５０】次いで、撮影条件決定部２２０は、主要被
写体情報に基づいて撮影条件を決定する（Ｓ１１４）。
次いで、撮像制御部２２２は、撮影条件に基づいて撮像
制御する（Ｓ１１６）。次いで、タイミング信号出力部
２２４は、画像において位置情報に基づき特定される主
要被写体または注目部位が撮影タイミング条件を満たし
たときに撮影タイミング信号を出力する（Ｓ１１８）。
画像入力部２００は、撮影タイミング信号に基づいて本
撮影する（Ｓ１２０）。

【００５１】次に、第２実施形態を説明する。本実施形
態におけるデジタルカメラは、画像において、所定の奥
行き範囲から赤目を検出し、その情報を利用して最適な
タイミングまたは撮影条件で被写体を撮影する。図４
は、本実施形態におけるデジタルカメラ１０の機能ブロ
ック図である。このデジタルカメラは、画像入力部２０
０と奥行き分布情報取得部２０２と部分画像抽出部２０
８と範囲設定部２１４と注目部位検出部２１６と主要被
写体情報取得部２１２と撮影条件決定部２２０と撮像制
御部２２２とタイミング信号出力部２２４とを備える。
画像入力部２００は第１実施形態とほぼ同様の機能を有
する。

【００５２】奥行き分布情報取得部２０２は、画像入力
部２００が入力した視差画像に基づいて、画像に含まれ
る被写体の各部までの距離を示す奥行き分布情報を取得
する。範囲設定部２１４は、画像において注目部位を探
索する部分的な奥行き幅を定めた部分探索範囲を設定す
る。部分探索範囲は、注目部位が存在する可能性の高い
奥行き幅に設定されるのが望ましい。例えば、注目部位
を含む主要被写体は被写体の中で最もカメラに近い位置
に存在する場合が多いので、範囲設定部２１４は、奥行
き分布情報に基づいて、最も近距離にある独立した被写
体が含まれる奥行き幅を部分探索範囲に設定してもよ
い。人物を主要被写体とする場合、注目部位としては、
例えばその人物の目や口が注目部位となる。本実施形態
においては、赤目になった人物の目を注目部位とする。

【００５３】設定された部分探索範囲から注目部位が検
出されなかった場合、範囲設定部２１４は、さらに部分
探索範囲を設定する。２回目以降に設定される部分探索
範囲は、すでに設定された奥行き幅と異なる奥行き幅に
設定される。例えば、はじめの設定を最も近距離の奥行
き幅にし、次の設定をその近接する奥行き幅にする。そ
して、注目部位が検出されるまで徐々に遠距離の奥行き
幅に部分探索範囲の設定をスライドしてもよい。

【００５４】部分画像抽出部２０８は、奥行き分布情報
に基づいて、部分探索範囲に含まれる被写体部分を部分
画像として画像から抽出する。例えば、近距離にある被
写体を抽出した部分画像には、遠距離にある被写体は写
っていない。注目部位検出部２１６は、注目部位の色、
配置、形状、個数のうちの少なくともいずれかを定めた
注目部位検出条件に基づいて、部分画像から注目部位を
検出する。本実施形態における注目部位検出条件は、第
１実施形態と同様に赤目になった人物の目の色等を定め
た条件である。

【００５５】主要被写体情報取得部２１２は、注目部位
検出部２１６により部分画像から注目部位が検出された
場合に、その注目部位の位置に基づいて主要被写体に関
する所定の主要被写体情報を取得する。ここでいう主要
被写体情報とは、主要被写体または注目部位の位置、距
離、状態等を示す情報である。例えば、画像における人
物の位置情報、画像において人物が何人含まれているか
を示す情報、人物の目の位置情報等が主要被写体情報に
含まれる。主要被写体情報として、例えば主要被写体ま
での距離情報や主要被写体の輝度情報であってもよい。
撮影条件決定部２２０、撮像制御部２２２、タイミング
信号出力部２２４は、第１実施形態とほぼ同様の構成お
よび機能を有する。

【００５６】このように、奥行き位置の異なる被写体が
探索対象から除外されるので、注目部位の検出におい
て、異なる奥行き位置の被写体を注目部位として誤認識
する可能性を少なくすることができる。また、例えば人
物の目のように対になった注目部位を検出する場合、異
なる距離上にある被写体同士を対にすることがないの
で、検出精度を高めることができる。さらに、注目部位
が存在する可能性の高い奥行き位置だけを探索対象とす
るので、検出の時間を短縮することができる。

【００５７】図５は、本実施形態における画像処理方法
を示すフローチャートである。まず、発光部３６は外界
が暗いときに被写体に向けて発光する（Ｓ１５０）。発
光部３６による発光と同時に、または発光の直後に、画
像入力部２００が被写体の画像を入力する（Ｓ１５
１）。次いで、画像入力部２００が視差画像を入力する
（Ｓ１５２）。次いで、奥行き分布情報取得部２０２が
視差画像に基づいて奥行き分布情報を取得する（Ｓ１５
４）。次いで、範囲設定部２１４が部分探索範囲を設定
する（Ｓ１５６）。次いで、部分画像抽出部２０８が、
奥行き分布情報に基づいて、部分探索範囲に含まれる被
写体部分を部分画像として画像から抽出する（Ｓ１５
８）。次いで、注目部位検出部２１６は、注目部位検出
条件に基づいて、部分画像から注目部位を検出する（Ｓ
１６０）。そして、部分画像から注目部位が検出されな
かった場合、Ｓ１５６へ戻り、範囲設定部２１４が異な
る部分探索範囲を設定する。注目部位が検出された場
合、主要被写体情報取得部２１２は、検出された注目部
位に基づいて主要被写体情報を取得する（Ｓ１６２）。

【００５８】次いで、撮影条件決定部２２０は、主要被
写体情報に基づいて撮影条件を決定する（Ｓ１６４）。
次いで、撮像制御部２２２は、撮影条件に基づいて撮像
制御する（Ｓ１６６）。次いで、タイミング信号出力部
２２４は、画像において位置情報に基づき特定される主
要被写体または注目部位が撮影タイミング条件を満たし
たときに撮影タイミング信号を出力する（Ｓ１６８）。
画像入力部２００は、撮影タイミング信号に基づいて本
撮影する（Ｓ１７０）。

【００５９】次に、第３実施形態を説明する。本実施形
態におけるデジタルカメラは、画像を複数の奥行き範囲
に分割し、各範囲から赤目を検出し、その情報を利用し
て最適なタイミングまたは撮影条件で被写体を撮影す
る。主要被写体が複数の場合に、第２実施形態よりも効
率よくすべての主要被写体を検出できる。本実施形態の
デジタルカメラは、第１実施形態におけるデジタルカメ
ラとほぼ同様の構成および機能を有する。本実施形態に
おけるデジタルカメラの構成は、第１実施形態における
図１および図２に示す構成と同様なので説明を省略す
る。

【００６０】図６は、本実施形態における画像処理方法
を示すフローチャートである。まず、発光部３６は外界
が暗いときに被写体に向けて発光する（Ｓ２００）。発
光部３６による発光と同時に、または発光の直後に、画
像入力部２００が被写体の画像を入力する（Ｓ２０
１）。次いで、画像入力部２００が視差画像を入力する
（Ｓ２０２）。次いで、奥行き分布情報取得部２０２が
視差画像に基づいて奥行き分布情報を取得する（Ｓ２０
４）。

【００６１】次に、範囲設定部２１４は、奥行き分布情
報に基づいて、画像における被写体が含まれる奥行き範
囲を分割して複数の部分探索範囲を設定する（Ｓ２０
６）。次いで、部分画像抽出部２０８は、複数の部分探
索範囲のそれぞれに含まれる被写体部分のそれぞれを部
分画像として画像から抽出する（Ｓ２０８）。次いで、
注目部位検出部２０４は、複数の部分画像のそれぞれか
ら注目部位を検出する（Ｓ２１０）。次いで、主要被写
体情報取得部２１２は、注目部位が検出された複数の部
分画像のそれぞれから主要被写体情報を取得する（Ｓ２
１２）。

【００６２】次いで、撮影条件決定部２２０は、主要被
写体情報に基づいて撮影条件を決定する（Ｓ２１４）。
次いで、撮像制御部２２２は、撮影条件に基づいて撮像
制御する（Ｓ２１６）。次いで、タイミング信号出力部
２２４は、画像において位置情報に基づき特定される主
要被写体または注目部位が撮影タイミング条件を満たし
たときに撮影タイミング信号を出力する（Ｓ２１８）。
画像入力部２００は、撮影タイミング信号に基づいて本
撮影する（Ｓ２２０）。

【００６３】このように、本実施形態においては、すべ
ての被写体が含まれる奥行き範囲を分割して複数の部分
探索範囲を設定し、これらすべての部分探索範囲から注
目部位を検出する。したがって、画像に複数の主要被写
体が含まれる場合に、誤認識を避けながら高い精度です
べての注目部位を検出することができる。

【００６４】なお、第１〜３実施形態以外の他の形態に
おいて、本発明のデジタルカメラを内蔵したノート型パ
ソコンや携帯端末に応用してもよい。また、本発明のデ
ジタルカメラを人物等を検出する監視カメラに応用して
もよい。

【００６５】以上のように、第１〜３実施形態によれ
ば、奥行き分布情報を用いて高い精度で画像から赤目に
なった人物の目を検出することができる。また、目の位
置情報をもとにして、最適なタイミングや最適な撮影条
件で被写体を撮影することができる。例えば、人物を撮
影するときに、その人物が瞬きしていない瞬間に撮影す
ることができる。

【００６６】また、第１実施形態においては、画像の中
に注目部位と思われる被写体部分が複数含まれても、ほ
ぼ等距離にある部位を組にするので、異なる距離上の物
体を誤認識する可能性を減らすことができる。また、奥
行き分布情報を用いて高い精度で人物を検出できるの
で、複数人が画像に含まれてもすべての人物を検出する
ことができる。

【００６７】また、第２実施形態においては、奥行き位
置の異なる被写体が探索対象から除外されるので、注目
部位の検出において、異なる奥行き位置の被写体を注目
部位として誤認識する可能性を少なくすることができ
る。また、例えば人物の目のように対になった注目部位
を検出する場合、異なる距離上にある被写体同士を対に
することがないので、検出精度を高めることができる。
さらに、注目部位が存在する可能性の高い奥行き位置だ
けを探索対象とするので、検出の時間を短縮することが
できる。

【００６８】また、第３実施形態においては、すべての
被写体が含まれる奥行き範囲を分割して複数の部分探索
範囲を設定し、これらすべての部分探索範囲から注目部
位を検出する。したがって、画像に複数の主要被写体が
含まれる場合に、誤認識を避けながら高い精度ですべて
の注目部位を検出することができる。

【００６９】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更ま
たは改良を加えることができることが当業者に明らかで
ある。その様な変更または改良を加えた形態も本発明の
技術的範囲に含まれ得ることが、特許請求の範囲の記載
から明らかである。

【発明の効果】上記の説明から明らかなように、本発明
によれば、画像から注目部位を検出することができる。

【図面の簡単な説明】

【図１】デジタルカメラ１０の構成を示す図である。

【図２】第１実施形態におけるデジタルカメラ１０の機
能ブロック図である。

【図３】第１実施形態における画像処理方法を示すフロ
ーチャートである。

【図４】第２実施形態におけるデジタルカメラ１０の機
能ブロック図である

【図５】第２実施形態における画像処理方法を示すフロ
ーチャートである。

【図６】第３実施形態における画像処理方法を示すフロ
ーチャートである。

【符号の説明】

１０ デジタルカメラ ２０ 撮像ユニット ３６ 発光部 ４０ 撮像制御ユニット ６０ 処理ユニット １００ 表示ユニット １１０ 操作ユニット ２００ 画像入力部 ２０２ 奥行き分布情報取得部 ２０４ 部位検出部 ２０６ 距離情報取得部 ２０８ 部分画像抽出部 ２１０ 組抽出部 ２１２ 主要被写体情報取得部 ２１４ 範囲設定部 ２１６ 注目部位検出部 ２２０ 撮影条件決定部 ２２２ 撮像制御部 ２２４ タイミング信号出力部

Claims (16)

【特許請求の範囲】
1. 【請求項１】 被写体の画像を入力する画像入力部と、 主要被写体に含まれるべき注目部位の色、形状のうちの
   少なくともいずれかを定めた注目部位検出条件を満たす
   複数の被写体部分を前記画像から検出する部位検出部
   と、 検出された複数の前記被写体部分のそれぞれを部分画像
   として前記画像から抽出する部分画像抽出部と、 複数の前記部分画像として抽出された複数の前記被写体
   部分までの距離を示す奥行き分布情報を取得する奥行き
   分布情報取得部と、 前記奥行き分布情報に基づいて、ほぼ等距離に位置する
   前記被写体部分の組を抽出する組抽出部と、 前記被写体部分の組を前記注目部位の組とみなして、前
   記主要被写体に関する所定の主要被写体情報を取得する
   主要被写体情報取得部とを備えることを特徴とするデジ
   タルカメラ。
2. 【請求項２】 前記画像入力部は、前記被写体部分を複
   数の異なる視点から撮像する視差画像を入力する手段を
   有し、 前記奥行き分布情報取得部は、前記視差画像における複
   数の前記部分画像に相当する各部位から前記奥行き分布
   情報を取得することを特徴とする請求項１に記載のデジ
   タルカメラ。
3. 【請求項３】 前記主要被写体情報取得部は、前記被写
   体部分の組から対の注目部位を抽出して前記主要被写体
   情報を取得することを特徴とする請求項１または２に記
   載のデジタルカメラ。
4. 【請求項４】 被写体の画像を入力する画像入力部と、 前記画像において主要被写体に含まれるべき注目部位を
   探索する部分的な奥行き幅を定めた部分探索範囲を設定
   する範囲設定部と、 前記画像に含まれる前記被写体の各部までの距離を示す
   奥行き分布情報に基づいて、前記部分探索範囲に含まれ
   る被写体部分を部分画像として前記画像から抽出する部
   分画像抽出部と、 前記注目部位の色、配置、形状、個数のうちの少なくと
   もいずれかを定めた注目部位検出条件に基づいて、前記
   部分画像から前記注目部位を検出する注目部位検出部
   と、 検出された前記注目部位に基づいて所定の主要被写体情
   報を取得する情報取得部とを備えることを特徴とするデ
   ジタルカメラ。
5. 【請求項５】 前記画像入力部は、前記被写体を複数の
   異なる視点から撮像する視差画像を入力する手段を有
   し、 前記視差画像に基づいて前記奥行き分布情報を取得する
   奥行き分布情報取得部をさらに備えることを特徴とする
   請求項４に記載のデジタルカメラ。
6. 【請求項６】 前記範囲設定部は、第１の部分探索範囲
   を設定する手段と、前記第１の部分探索範囲と異なる第
   ２の部分探索範囲を設定する手段とを有し、 前記部分画像抽出部は、前記第１の部分探索範囲に含ま
   れる前記被写体部分を第１の部分画像として抽出する手
   段と、前記第２の部分探索範囲に含まれる前記被写体部
   分を第２の部分画像として抽出する手段とを有し、 前記注目部位検出部は、前記第１の部分画像から前記注
   目部位を検出する手段と、前記第１の部分画像から前記
   注目部位が検出されなかった場合に前記第２の部分画像
   から前記注目部位を検出する手段とを有することを特徴
   とする請求項４または５に記載のデジタルカメラ。
7. 【請求項７】 前記範囲設定部は、前記奥行き分布情報
   に基づいて、前記画像における前記被写体が含まれる奥
   行き範囲を分割して複数の前記部分探索範囲を設定し、 前記部分画像抽出部は、複数の前記部分探索範囲のそれ
   ぞれに含まれる前記被写体部分を複数の前記部分画像と
   して前記画像から抽出し、 前記注目部位検出部は、複数の前記部分画像のそれぞれ
   から前記注目部位を検出することを特徴とする請求項４
   または５に記載のデジタルカメラ。
8. 【請求項８】 前記被写体に向けて発光する発光部をさ
   らに備え、 前記注目部位検出条件に定められた前記注目部位の色
   は、前記発光部から発せられる光が前記注目部位を反射
   して一時的に生ずることを特徴とする請求項１乃至７の
   いずれかに記載のデジタルカメラ。
9. 【請求項９】 前記発光部から前記注目部位に発せられ
   る光の軸は、前記注目部位から前記画像入力部へ反射す
   る光の軸にほぼ平行であることを特徴とする請求項１乃
   至８のいずれかに記載のデジタルカメラ。
10. 【請求項１０】 前記注目部位検出条件は、人物または
    動物をフラッシュ撮影したときの赤目現象により生じる
    赤目の色、配置、形状、個数のうちの少なくとも一つを
    定めた条件であることを特徴とする請求項１乃至９のい
    ずれかに記載のデジタルカメラ。
11. 【請求項１１】 前記主要被写体情報取得部は、前記主
    要被写体情報として前記主要被写体の位置情報を取得す
    ることを特徴とする請求項１乃至１０のいずれかに記載
    のデジタルカメラ。
12. 【請求項１２】 前記主要被写体情報取得部は、前記主
    要被写体情報として前記主要被写体に含まれる前記注目
    部位の位置情報を取得することを特徴とする請求項１乃
    至１０のいずれかに記載のデジタルカメラ。
13. 【請求項１３】 前記画像入力部は、所定の撮影タイミ
    ング信号を受け取ったときに撮影する手段を有し、 前記画像において前記位置情報に基づき特定される前記
    主要被写体が所定の撮影タイミング条件を満たしたとき
    に前記撮影タイミング信号を前記画像入力部へ出力する
    タイミング信号出力部をさらに備えることを特徴とする
    請求項１乃至１２のいずれかに記載のデジタルカメラ。
14. 【請求項１４】 前記主要被写体情報は、前記主要被写
    体に含まれる前記注目部位の位置情報を含み、 前記タイミング信号出力部は、前記画像において前記位
    置情報に基づき特定される前記注目部位が、所定の撮影
    タイミング条件を満たしたときに前記撮影タイミング信
    号を前記画像入力部へ出力することを特徴とする請求項
    １３に記載のデジタルカメラ。
15. 【請求項１５】 前記撮影タイミング条件は、前記主要
    被写体である人物または動物の開いた目の色、配置、形
    状、個数のうちの少なくともいずれかを定めた条件であ
    ることを特徴とする請求項１３または１４に記載のデジ
    タルカメラ。
16. 【請求項１６】 外界が暗いときに被写体に向けて発光
    する段階と、 反射により一時的に所定の色または形状をなす被写体部
    分を検出する段階と、 奥行き分布情報に基づいて前記被写体部分から注目部位
    を検出する段階と、 前記注目部位に基づいて撮影タイミングを決定する段階
    とを備えることを特徴とする画像処理方法。