JP2011013514A - 撮影制御装置および方法並びにプログラム - Google Patents

撮影制御装置および方法並びにプログラム Download PDF

Info

Publication number
JP2011013514A
JP2011013514A JP2009158380A JP2009158380A JP2011013514A JP 2011013514 A JP2011013514 A JP 2011013514A JP 2009158380 A JP2009158380 A JP 2009158380A JP 2009158380 A JP2009158380 A JP 2009158380A JP 2011013514 A JP2011013514 A JP 2011013514A
Authority
JP
Japan
Prior art keywords
subject
image
subjects
priority
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009158380A
Other languages
English (en)
Other versions
JP5249146B2 (ja
Inventor
Takashi Misawa
岳志 三沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009158380A priority Critical patent/JP5249146B2/ja
Priority to US12/827,997 priority patent/US8107805B2/en
Publication of JP2011013514A publication Critical patent/JP2011013514A/ja
Application granted granted Critical
Publication of JP5249146B2 publication Critical patent/JP5249146B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/006Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both diaphragm and distance
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】人物とペットというような複数種類の被写体を撮影する場合において、所望とする種類の被写体を適切に撮影できるようにする。
【解決手段】被写体検出部7が、撮影部2が取得した画像から複数種類の被写体を検出する。優先被写体決定部8が、複数種類の被写体から1つの優先被写体を決定する。調整部9が、優先被写体に合焦し、優先被写体以外の他の被写体が被写界深度に収まるように、AF処理部3、AE処理部4および撮影制御部5に指示を行う。
【選択図】図1

Description

本発明は、複数種類の被写体を撮影する場合における撮影制御装置および方法並びに撮影制御方法をコンピュータに実行させるためのプログラムに関するものである。
撮影により取得した画像から人物の顔を検出し、顔の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影条件を変更したりする撮影装置が提案されている。このような撮影装置においては、画像から顔候補領域を検出し、顔候補領域とデータベースに蓄積された顔のパターンとのマッチングを行って顔検出を行っている。また、顔のみならず、犬、猫および鳥等の各種ペットについてのパターンをデータベースに蓄積し、ペットの種類を指定することにより指定したペットを検出する手法が提案されている(特許文献1参照)。
ところで、撮影を行う場合には、一人の人物のみならず複数の人物を撮影する場合があるが、複数の人物が撮影装置に対して光軸方向に前後する位置にいる場合、いずれか一人の人物に合焦させると他の人物がぼけてしまう。このため、画像を複数の被写体領域に分割し、被写体領域から主要被写体領域を検出し、検出したすべての主要被写体領域が合焦状態となるように、撮影装置の光学系の焦点位置および絞りを調整する手法が提案されている(特許文献2参照)。さらに、撮影時に人物の撮影であるか否かを判断し、人物の撮影である場合には被写界深度を浅くして、人物に合焦し、背景がぼけたようなポートレート風の画像を撮影できるようにする手法も提案されている(特許文献3参照)。
特開2009−21862号公報 特開平11−38313号公報 特開2001−215404号公報
しかしながら、いずれの特許文献においても人物とペットのように複数種類の被写体を撮影する場合が考慮されておらず、さらに所望の種類の被写体を適切に撮影することが困難である。
本発明は、上記事情に鑑みなされたものであり、人物とペットというような複数種類の被写体を撮影する場合において、所望とする種類の被写体を適切に撮影できるようにすることを目的とする。
本発明による撮影制御装置は、撮影により画像を取得する、絞りおよび焦点調節機構を備えた光学系を持つ撮影手段と、
前記画像から複数種類の被写体を検出する被写体検出手段と、
前記画像から前記複数種類の被写体が検出された場合、該複数種類の被写体から1つの優先被写体を決定する優先被写体決定手段と、
前記優先被写体に合焦するとともに、前記優先被写体以外の他の被写体が前記撮影手段の被写界深度に含まれるよう、前記絞りおよび前記光学系を調整する調整手段とを備えたことを特徴とするものである。
「撮影手段」は、撮影により画像を取得するものであり、上述した絞りおよび焦点調節機構を備えた光学系のみならず、シャッタ並びに撮像素子を備えてなるものである。
なお、被写界深度を調整するに際には、絞りを開く(F値を小さくする) ことにより被写界深度を浅くし、絞りを絞る(F値を大きくする)ことにより、被写界深度を深くすることができる。
なお、本発明による撮影制御装置においては、前記優先被写体が所定の明るさとなるとともに、前記優先被写体以外の他の被写体が前記画像のダイナミックレンジ内に収まるよう、前記画像のダイナミックレンジを調整するダイナミックレンジ調整手段をさらに備えてもよい。
また、本発明による撮影制御装置においては、前記被写体検出手段を、人間の顔および少なくとも1種類の動物の顔をそれぞれ異なる種類の被写体として検出する手段としてもよい。
また、本発明による撮影装置は、本発明の撮影制御装置を備えたことを特徴とするものである。
本発明による撮影制御方法は、絞りおよび焦点調節機構を備えた光学系を持つ撮影手段により画像を取得し、
前記画像から複数種類の被写体を検出し、
前記画像から前記複数種類の被写体が検出された場合、該複数種類の被写体から1つの優先被写体を決定し、
前記優先被写体に合焦するとともに、前記優先被写体以外の他の被写体が前記撮影手段の被写界深度に含まれるよう、前記絞りおよび前記光学系を調整することを特徴とするものである。
なお、本発明による撮影制御方法においては、前記優先被写体が所定の明るさとなるとともに、前記優先被写体以外の他の被写体が前記画像のダイナミックレンジ内に収まるよう、さらに前記画像のダイナミックレンジを調整するようにしてもよい。
また、本発明による撮影制御方法においては、人間の顔および少なくとも1種類の動物の顔をそれぞれ異なる種類の被写体として検出するようにしてもよい。
なお、本発明による撮影制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、画像から複数種類の被写体が検出された場合に、複数種類の所定被写体から1つの優先被写体が決定され、優先被写体に合焦するとともに、優先被写体以外の他の被写体が被写界深度に含まれるよう、撮影手段の絞りおよび光学系が調整される。このため、複数種類の被写体を撮影する場合において、優先被写体に最も合焦し、他の被写体については概ね合焦した画像を取得することができる。
また、優先被写体が所定の明るさとなるとともに、優先被写体以外の他の被写体が撮影手段のダイナミックレンジ内に収まるよう、画像のダイナミックレンジを調整することにより、優先被写体の明るさが所定の明るさとなり、他の被写体については白とびや黒つぶれがない画像を取得することができる。
本発明の第1の実施形態による撮影制御装置を適用したデジタルカメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 被写体検出部の構成を示すブロック図 被写体の検出結果を示す図(その1) 被写体の検出結果を示す図(その2) 優先するための条件を設定する設定画面を示す図 図4に示す画像をラベリングした状態を示す図 第1の実施形態における調整部の構成を示す概略ブロック図 被写体領域毎の焦点位置と焦点評価値との関係を示す図 第1の実施形態において行われる処理を示すフローチャート 被写体検出処理のフローチャート 第2の実施形態における調整部の構成を示す概略ブロック図 階調カーブの決定の処理を説明するための図 第2の実施形態において行われる処理を示すフローチャート
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による撮影制御装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図1に示すように第1の実施形態によるデジタルカメラ1は、撮影部2、AF処理部3、AE処理部4、撮影制御部5、画像処理部6、被写体検出部7、優先被写体決定部8、調整部9、ファイル生成部10、メディア制御部11、レリーズボタンおよび各種入力を行う操作ボタン等からなる入力部13、各種表示を行う液晶モニタ等の表示部14、並びに制御部15を備え、各部がバス16により接続されている。
図2は撮影部2の構成を示す図である。図2に示すように、撮影部2は、フォーカスレンズ20、ズームレンズ21、絞り22、シャッタ23、撮像素子24、アナログフロントエンド(AFE)25およびA/D変換部26をそれぞれ備える。また、撮影部2は、フォーカスレンズ20を駆動するフォーカスレンズ駆動部27、ズームレンズ21を駆動するズームレンズ駆動部28、および絞り22を駆動する絞り駆動部29を備える。
フォーカスレンズ20は被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部27によって光軸方向に移動可能である。フォーカスレンズ駆動部27は、後述するAF処理部3が行うAF処理により決定された焦点位置に基づいてフォーカスレンズ20の移動を制御する。
ズームレンズ21は、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部28によって光軸方向に移動可能である。ズームレンズ駆動部28は不図示のズームレバーが操作されることによる制御部15からの指示に基づいて、ズームレンズ21の移動を制御する。
絞り22は、AE処理部4が行うAE処理により得られる絞り値に基づいて、絞り駆動部29により絞り径の調整が行われる。
シャッタ23はメカニカルシャッタであり、不図示のシャッタ駆動部により、AE処理により得られるシャッタ速度データに応じて駆動される。
撮像素子24は、多数の受光素子を2次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子24の前面にはR,G,B各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
AFE25は、撮像素子24から出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理(以下アナログ処理とする)を施す。
A/D変換部26は、AFE25によりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。
AF処理部3は入力部13に含まれるレリーズボタンの半押し操作により撮影部2がプレ撮影を行うことにより取得したプレ画像に基づいて、プレ画像上の合焦領域を決定するとともにフォーカスレンズ20の焦点位置を決定し、撮影部2に出力する。
AE処理部4は、プレ画像に基づいて絞り値およびシャッタ速度を露出値として決定し、撮影部2に出力する。
撮影制御部5は、レリーズボタンの全押し操作により、撮影部2に対して本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部5は、撮影部2に対して撮影範囲を確認させるための、本画像よりも画素数が少ないスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を行う。
画像処理部6は、本画像に対して、ホワイトバランスを調整する処理、階調処理、シャープネス補正処理、および色補正処理等の画質を補正する処理を施す。
被写体検出部7は、撮影部2が取得した画像(本画像、プレ画像およびスルー画像を含む)から複数種類の被写体を検出する。なお、本実施形態においては、被写体として人物およびペット(例えば犬)を用いるものとする。なお、被写体検出部7は、特許文献1に記載されたパターンとのマッチングによる手法、あるいは人の顔およびペットの顔の多数のサンプル画像を用いた学習により得られた顔判別器を用いる手法等により、画像から人およびペットの顔を検出する。また、本実施形態においては、ペットとして犬および猫等の動物の種類毎、さらにはブルドッグおよび柴犬等の固体種毎に検出を行うことができるよう、各種動物および固体種毎の判別部を備える。図3は被写体検出部の構成を示すブロック図である。図3に示すように被写体検出部7は、被写体を人物およびペットを大きく2つの分類する大分類部7Aを備える。さらに被写体検出部7は、人物顔判別部7Bおよびペット顔判別部7Cを備える。また、ペット顔判別部7Cは、犬判別部7Dおよび猫判別部7Eを備える。また、犬判別部7Dは、ブルドッグ判別部7Fおよび柴犬判別部7G等を備える。このように被写体検出部7を構成することにより、人物の顔および各種ペットの顔を被写体として検出することができる。
なお、画像に複数の人およびペットが含まれる場合、被写体検出部7は、まず、被写体を人物およびペットに大分類した後に、すべての人およびペットの顔を被写体として検出する。図4および図5は画像における被写体の検出結果を示す図である。図4に示すように、二人の人物および一匹の犬を含む画像においては、2つの人物の顔の被写体F1,F2および1つの犬の顔の被写体D1がそれぞれ検出される。なお、図4に示すように、検出された被写体には被写体の大きさに応じた枠31〜33が付与される。また、図5に示すように3人の人物および一匹の犬を含む画像においては、3つの人物の顔の被写体F11,F12,F13および1つの犬の顔の被写体D11がそれぞれ検出される。なお、図5に示すように検出された顔には、顔の大きさに応じた枠34〜37が付与される。
また、後述するROM15Cに、あらかじめユーザ自身およびユーザの子供の顔、さらにはユーザのペットの顔等の特定の顔を登録しておき、被写体の検出後に顔認識を行うことにより、特定の顔を認識するようにしてもよい。なお、登録する人物またはペットの顔は人物またはペットの名前と対応づけておくことが好ましい。
優先被写体決定部8は、被写体検出部7が検出した被写体のうち、最も優先する優先被写体を決定する。本実施形態においては、あらかじめユーザが優先するための条件を設定し、その設定結果を後述するROM15Cに記憶しておき、その条件を参照して優先被写体決定部8が優先被写体を決定する。
図6は優先するための条件を設定する設定画面を示す図である。図6に示すように設定画面40には、「人優先」および「ペット優先」を選択するためのチェックボックス41,42が表示されている。また、人優先を選択した場合において、中央にある顔を優先する「中央優先」、最もサイズが大きい顔を優先する「サイズ大優先」、子供の顔を優先する「子供優先」、およびあらかじめ登録した顔を優先する「登録顔優先」を選択するためのチェックボックス41A〜41Dが表示されている。また、ペット優先を選択した場合において、中央にある顔を優先する「中央優先」、犬を優先する「犬優先」、およびあらかじめ登録した顔を優先する「登録顔優先」を選択するためのチェックボックス42A〜42Cが表示されている。ユーザは、設定画面40において優先被写体を決定する。図5においては、ペット優先が選択され、さらに中央優先が選択された状態を示している。そして、被写体検出部7が検出した被写体のうち、優先被写体と優先被写体以外の他の被写体を区別可能なようにラベリングする。図7は図4に示す画像について、優先被写体D1(犬の顔)についての枠33内の領域を「1」、他の被写体F1,F2(人物の顔)についての枠31,32内の領域を「2」にラベリングした状態を示す図である。
なお、優先被写体については、検出結果を表す画像において、枠の色を他の被写体と異なるものとすることが好ましい。例えば、図4に示す画像の場合において、動物優先が選択され、さらに中央優先が選択されていた場合、優先被写体は中央の犬になるため、人物の顔の枠31,32と、犬の枠33の色とを異なるものとすればよい。また、図5に示すように、動物優先が選択されている場合、犬の顔の枠37のみを破線としてもよい。
また、画像に1つのみしか被写体が含まれない場合、および複数の被写体が含まれるものの、優先した種類の被写体が含まれない場合がある。このような場合は、優先被写体決定部8は、あらかじめ定めた条件の被写体を優先被写体に決定する。例えば、1つの被写体のみが検出された場合には、その被写体を優先被写体に決定する。また、複数の被写体が検出されたものの、検出した複数の被写体に優先した種類の被写体が含まれない場合は、例えば最も中央にある被写体を優先被写体に決定する。
調整部9は、優先被写体を優先させて、被写体検出部7が検出した被写体の画質を向上させる処理を行うための指示を各部に対して行う。本実施形態においては、優先被写体に合焦するとともに、優先被写体以外の他の被写体が撮影部2の被写界深度に含まれるように本撮影を行うよう、AF処理部3、AE処理部4および撮影制御部5に対して指示を行う。図8は第1の実施形態における調整部9の構成を示す概略ブロック図である。図8に示すように調整部9は、焦点評価値算出部9A、被写界深度決定部9Bおよび調整指示部9Cを備える。以下、調整部9による調整の指示について説明する。
AF処理部3および撮影制御部5は、調整部9の調整指示部9Cから指示が行われると、フォーカスレンズ20の焦点位置をずらしながら複数回の撮影を行って複数の画像を取得する。なお、この撮影により取得される画像は本画像よりも画素数が少ない、調整のために使用される画像であるため、以降の説明においては調整用画像と称する。そして、調整部9の焦点評価値算出部9Aが、取得した複数の調整用画像のそれぞれから、検出した被写体の領域(すなわちラベリングされた領域)についての焦点評価値を算出する。焦点評価値としては被写体領域の高周波成分またはコントラストを用いることができる。そして、焦点評価値算出部9Aが、複数の評価用画像について被写体領域毎に焦点評価値を比較し、焦点評価値が最大となる評価用画像の焦点位置を、その被写体について焦点位置に決定する。そして、被写界深度決定部9Bが、被写体領域のそれぞれについての焦点評価値が最大となる焦点位置のうち、優先被写体についての焦点位置を基準として、被写界深度を求める。
図9は被写体領域毎の焦点位置と焦点評価値との関係を示す図である。なお、図9においては、図4に示す3つの被写体D1,F1,F2について、10箇所の焦点位置において撮影を行った場合の10個の評価用画像における焦点位置と焦点評価値との関係を示している。図9から被写体D1,F1,F2の順に焦点評価値が最大となる焦点位置が後方にずれていることが分かる。このため、AF処理部3は優先被写体D1に合焦するように焦点位置を決定し、被写界深度決定部9Bは、優先被写体D1の焦点位置を基準として、他の被写体F1,F2の焦点評価値が最大となる焦点位置を参照して被写界深度を決定し、調整指示部9Cが、被写界深度の情報をAE処理部4に入力する。AE処理部4は、入力された被写界深度が得られるように、本撮影時の絞り値を決定する。
なお、焦点位置を変更することに代えて、絞りを変更しつつ複数回の撮影を行って、複数の調整用画像を取得するようにしてもよい。この場合、まず、優先被写体に合焦するように焦点位置を決定し、その後絞り値を変更しつつ撮影を行って複数の調整用画像を取得する。そして複数の調整用画像のそれぞれについての被写体領域の焦点評価値の合計値を算出し、合計値が最大となる絞り値を本撮影の絞り値に決定するようにすればよい。
また、画像に1つのみしか被写体が含まれない場合、および複数の被写体が含まれるものの、優先した種類の被写体が含まれない場合には、調整部9は優先被写体にのみ合焦するようにAF処理部3、AE処理部4および撮影制御部5に対して指示を行う。
ファイル生成部10は、本画像の画像データに対して、例えばJPEG等の圧縮形式により圧縮処理を行い、画像ファイルG0を生成する。この画像ファイルG0には、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたヘッダが付加される。
メディア制御部11は、メモリカード等のメディア12にアクセスして画像ファイルG0の書き込みと読み込みの制御を行う。
制御部15は、CPU15A、装置1が各種処理を行う際の作業領域となるRAM15B、並びに装置1の動作プログラムおよび各種定数等を記憶したROM15Cを備えてなり、装置1の各部の動作を制御する。
次いで、第1の実施形態において行われる処理について説明する。図10は第1の本実施形態において行われる処理を示すフローチャートである。なお、ここではレリーズボタンを半押しすることによる撮影の指示が行われてから被写体検出を行うものとして説明するが、撮影の指示が行われる前のスルー画像の撮影中に被写体検出を行ってもよいことはもちろんである。撮影指示が行われることにより制御部15が処理を開始し、撮影部2がプレ撮影を行ってプレ画像を取得する(ステップST1)。そして、被写体検出部7がプレ画像からすべての被写体を検出する(ステップST2)。
図11は被写体検出の処理のフローチャートである。まず、被写体検出部7の大分類部7Aが、被写体を人物とペットの大きく2つの種類に大分類し(ステップST21)、次いで人物顔判定部7Bが人物の顔を判別する(ステップST22)。さらにペット顔判別部7Cの犬判別部7F等が、ペットの顔について詳細な判別を行い(ステップST23)、被写体検出処理を終了する。
次いで、優先被写体決定部8が、複数の被写体が検出されたか否かを判定する(ステップST3)。ステップST3が肯定されると、さらに検出された被写体に優先した種類の被写体が含まれるか否かを判定する(ステップST4)。
ステップST4が肯定されると、優先被写体決定部8が優先被写体を決定し(ステップST5)、調整部9からの指示により、AF処理部3および撮影制御部5が優先被写体に合焦するように焦点位置を決定し(ステップST6)、AE処理部4が優先被写体以外の他の被写体が被写界深度に含まれるように絞り値を決定する(ステップST7)。
そして、制御部15はレリーズボタンが全押しされることにより本撮影の指示がなされたか否かの監視を開始し(ステップST8)、ステップST8が肯定されると本撮影を行い(ステップST9)、画像処理部6が本撮影により取得された本画像に対して画像処理を行い、さらにファイル生成部10が画像処理が行われた画像の画像ファイルG0を生成し、メディア制御部11が画像ファイルG0をメディア12に記録し(ステップST10)、処理を終了する。
なお、ステップST3,ST4が否定されると、優先被写体決定部8は、あらかじめ定めた被写体を優先被写体に決定する(ステップST11)、そして、調整部9からの指示により、AF処理部3および撮影制御部5が優先被写体にのみ合焦するように焦点位置を決定し(ステップST12)、ステップST8に進む。
このように、第1の実施形態においては、画像から複数種類の被写体が検出された場合に、複数種類の被写体のから1つの優先被写体を決定し、優先被写体に合焦するとともに、優先被写体以外の他の被写体が被写界深度に含まれるようにしたため、優先被写体に最も合焦し、他の被写体については概ね合焦した画像を取得することができる。
次いで、本発明の第2の実施形態について説明する。なお、第2の実施形態による撮影制御装置を適用したデジタルカメラは、第1の実施形態による撮影制御装置を適用したデジタルカメラと同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第2の実施形態による撮影制御装置を適用したデジタルカメラにおいては、優先被写体の明るさを所望とする明るさにするとともに、他の被写体に白とびや黒つぶれが生じないように、ダイナミックレンジを調整する処理をさらに行うようにしたものである。
図12は第2の実施形態における調整部9′の構成を示す概略ブロック図である。図12に示すように調整部9′は、第1の実施形態による調整部9の焦点評価値算出部9A、被写界深度決定部9Bおよび調整指示部9Cに加えて、露出評価値算出部9Dを備えた点が第1の実施形態と異なる。なお、露出評価値算出部9Dは、上述した複数の調整用画像のうち、優先被写体の焦点評価値が最大となる調整用画像について、優先被写体の明るさを露出評価値として算出する。具体的には、調整用画像における優先被写体の領域内の各画素の画素値の平均値を優先被写体の明るさ、すなわち露出評価値として算出する。そして、調整指示部9Cが、露出評価値の情報をAE処理部4および画像処理部6に入力する。
AE処理部4は、調整部9′からの露出評価値の情報に基づいて、優先被写体の明るさが所望とする明るさとなるように、シャッタ速度を決定する。
一方、第2の実施形態においては、画像処理部6が、決定されたシャッタ速度により得られる本画像の明るさを推定し、優先被写体以外の他の被写体に白とびまたは黒つぶれが生じるか否かを判定する。そして、白とびまたは黒つぶれが生じる場合には、本画像のダイナミックレンジを圧縮するように、本画像に対して階調処理を施す際の階調カーブを決定する。
図13は階調カーブの決定の処理を説明するための図である。第2の実施形態においては、基本となる階調カーブγ0がROM15Cにあらかじめ記憶されており、他の被写体に白とびが生じる場合には、画像処理部6は階調カーブγ0の高輝度域を軟調化して階調カーブγ1を生成する。一方、他の被写体に黒つぶれが生じる場合には、画像処理部6は階調カーブγ0の低輝度域を軟調化して階調カーブγ2を生成する。このように生成された階調カーブγ1,γ2は、画像のダイナミックレンジを圧縮することになるため、白とびおよび黒つぶれが発生しないように本画像に対して階調処理を施すことができることとなる。
なお、第2の実施形態においては、画像に1つのみしか被写体が含まれない場合、および複数の被写体が含まれるものの、優先した種類の被写体が含まれない場合には、調整部9は優先被写体にのみ合焦し、かつ優先被写体の明るさが所望とする明るさとなるようにAF処理部3、AE処理部4、撮影制御部5および画像処理部6に対して指示を行う。
次いで、第2の実施形態において行われる処理について説明する。図14は第2の実施形態において行われる処理を示すフローチャートである。なお、ここではレリーズボタンを半押しすることによる撮影の指示が行われてから被写体検出を行うものとして説明するが、撮影の指示が行われる前のスルー画像の撮影中に被写体検出を行ってもよいことはもちろんである。また、図14に示すフローチャートにおけるステップST31からステップST37の処理は、第1の実施形態におけるステップST1からステップST7の処理と同一であるため、ここではステップST38以降の処理についてのみ説明する。
ステップST37に続いて、調整部9からの指示により、AE処理部4が優先被写体の明るさが所望とする明るさとなるようにシャッタ速度を決定し(ステップST38)、画像処理部6が他の被写体の白とびまたは黒つぶれが生じないように階調カーブを決定する(ステップST39)。
そして、制御部15はレリーズボタンが全押しされることにより本撮影の指示がなされたか否かの監視を開始し(ステップST40)、ステップST40が肯定されると本撮影を行い(ステップST41)、画像処理部6が本撮影により取得された本画像に対して画像処理を行い、さらにファイル生成部10が画像処理が行われた画像の画像ファイルG0を生成し、メディア制御部11が画像ファイルG0をメディア12に記録し(ステップST42)、処理を終了する。
なお、ステップST33,ST34が否定されると、優先被写体決定部8は、あらかじめ定めた被写体を優先被写体に決定する(ステップST43)、そして、調整部9からの指示により、AF処理部3および撮影制御部5が優先被写体にのみ合焦するように焦点位置を決定し(ステップST44)、調整部9からの指示により、AE処理部4が優先被写体の明るさが所望とする明るさとなるようにシャッタ速度を決定し(ステップST45)、ステップST40に進む。
このように、第2の実施形態においては、優先被写体が所定の明るさとなるとともに、優先被写体以外の他の被写体が画像のダイナミックレンジ内に収まるよう、画像のダイナミックレンジを調整するようにしたため、優先被写体の明るさが所定の明るさとなり、他の被写体については白とびまたは黒つぶれのない画像を取得することができる。
なお、上記第1および第2の実施形態においては、優先被写体に合焦するとともに、優先被写体以外の他の被写体が被写界深度に含まれるようにする処理、および優先被写体が所定の明るさとなるとともに、優先被写体以外の他の被写体が画像のダイナミックレンジ内に収まるよう、画像のダイナミックレンジを調整する処理の2つの処理を行っているが、いずれか一方のみの処理を行うようにしてもよい。また、これら2つの処理の他、優先被写体の色を他の被写体よりも好ましい色とする処理を行ってもよく、優先被写体のシャープネスを他の被写体よりも強調する処理を行ってもよい。
また、上記第1および第2の実施形態においては、ペットとして犬および猫等の複数種類の動物の顔を検出しているが、あらかじめ定めた犬および猫等の1種類の動物の顔のみを検出するようにしてもよい。
以上、本発明の実施形態に係るデジタルカメラ11について説明したが、コンピュータを、上記のAF処理部3、AE処理部4、撮影制御部5、画像処理部6、被写体検出部7、優先被写体決定部8および調整部9に対応する手段として機能させ、図10,11,14に示すような処理を行わせるプログラムも本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
1 デジタルカメラ
2 撮影部
3 AF処理部
4 AE処理部
5 撮影制御部
6 画像処理部
7 被写体検出部
8 優先被写体決定部
9 調整部
10 ファイル生成部
11 メディア制御部
12 メディア
13 入力部
14 表示部
15 制御部

Claims (8)

  1. 撮影により画像を取得する、絞りおよび焦点調節機構を備えた光学系を持つ撮影手段と、
    前記画像から複数種類の被写体を検出する被写体検出手段と、
    前記画像から前記複数種類の被写体が検出された場合、該複数種類の被写体から1つの優先被写体を決定する優先被写体決定手段と、
    前記優先被写体に合焦するとともに、前記優先被写体以外の他の被写体が前記撮影手段の被写界深度に含まれるよう、前記絞りおよび前記光学系を調整する調整手段とを備えたことを特徴とする撮影制御装置。
  2. 前記優先被写体が所定の明るさとなるとともに、前記優先被写体以外の他の被写体が前記画像のダイナミックレンジ内に収まるよう、前記画像のダイナミックレンジを調整するダイナミックレンジ調整手段をさらに備えたことを特徴とする請求項1または2記載の撮影制御装置。
  3. 前記被写体検出手段は、人間の顔および少なくとも1種類の動物の顔をそれぞれ異なる種類の被写体として検出する手段であることを特徴とする請求項1または2記載の撮影制御装置。
  4. 請求項1から3のいずれか1項記載の撮影制御装置を備えたことを特徴とする撮影装置。
  5. 絞りおよび焦点調節機構を備えた光学系を持つ撮影手段により画像を取得し、
    前記画像から複数種類の被写体を検出し、
    前記画像から前記複数種類の被写体が検出された場合、該複数種類の被写体から1つの優先被写体を決定し、
    前記優先被写体に合焦するとともに、前記優先被写体以外の他の被写体が前記撮影手段の被写界深度に含まれるよう、前記絞りおよび前記光学系を調整することを特徴とする撮影制御方法。
  6. 前記優先被写体が所定の明るさとなるとともに、前記優先被写体以外の他の被写体が前記画像のダイナミックレンジ内に収まるよう、さらに前記画像のダイナミックレンジを調整することを特徴とする請求項5記載の撮影制御方法。
  7. 人間の顔および少なくとも1種類の動物の顔をそれぞれ異なる種類の被写体として検出することを特徴とする請求項5または6記載の撮影制御方法。
  8. 絞りおよび焦点調節機構を備えた光学系を持つ撮影手段により画像を取得する手順と、
    前記画像から複数種類の被写体を検出する手順と、
    前記画像から前記複数種類の被写体が検出された場合、該複数種類の被写体から1つの優先被写体を決定する手順と、
    前記優先被写体に合焦するとともに、前記優先被写体以外の他の被写体が前記撮影手段の被写界深度に含まれるよう、前記絞りおよび前記光学系を調整する手順とを有することを特徴とする撮影制御方法をコンピュータに実行させるためのプログラム。
JP2009158380A 2009-07-03 2009-07-03 撮影制御装置および方法並びにプログラム Expired - Fee Related JP5249146B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009158380A JP5249146B2 (ja) 2009-07-03 2009-07-03 撮影制御装置および方法並びにプログラム
US12/827,997 US8107805B2 (en) 2009-07-03 2010-06-30 Photographing control device and method, as well as program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009158380A JP5249146B2 (ja) 2009-07-03 2009-07-03 撮影制御装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2011013514A true JP2011013514A (ja) 2011-01-20
JP5249146B2 JP5249146B2 (ja) 2013-07-31

Family

ID=43412722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009158380A Expired - Fee Related JP5249146B2 (ja) 2009-07-03 2009-07-03 撮影制御装置および方法並びにプログラム

Country Status (2)

Country Link
US (1) US8107805B2 (ja)
JP (1) JP5249146B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138665A (ja) * 2010-12-24 2012-07-19 Canon Inc 画像処理装置、主被写体の選択方法及びプログラム
JP2012181324A (ja) * 2011-03-01 2012-09-20 Nikon Corp 撮像装置
WO2013061947A1 (ja) * 2011-10-28 2013-05-02 富士フイルム株式会社 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777353B1 (ko) * 2011-06-16 2017-09-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP5849558B2 (ja) * 2011-09-15 2016-01-27 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP2013186512A (ja) * 2012-03-06 2013-09-19 Sony Corp 画像処理装置および方法、並びにプログラム
US9712750B2 (en) * 2012-04-09 2017-07-18 Sony Corporation Display control device and associated methodology of identifying a subject in an image
US10432853B2 (en) 2017-02-27 2019-10-01 Sony Corporation Image processing for automatic detection of focus area
CN108462833B (zh) * 2018-03-26 2021-01-22 北京小米移动软件有限公司 拍摄方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310086A (ja) * 2003-04-02 2004-11-04 Hewlett-Packard Development Co Lp 複数のユーザインタフェイスマーカを使用して被写界深度を制御する方法及び装置
JP2005128156A (ja) * 2003-10-22 2005-05-19 Canon Inc 焦点調節装置及び焦点調節方法
JP2008206018A (ja) * 2007-02-22 2008-09-04 Nikon Corp 撮像装置およびプログラム
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009021862A (ja) * 2007-07-12 2009-01-29 Fujifilm Corp 撮像装置及び撮像制御方法
JP2009080489A (ja) * 2008-10-27 2009-04-16 Fujifilm Corp カメラ及び画像入力方法
JP2009118009A (ja) * 2007-11-02 2009-05-28 Sony Corp 撮像装置、その制御方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138313A (ja) 1997-07-18 1999-02-12 Canon Inc 光学装置及びカメラ
JP4504492B2 (ja) 2000-02-04 2010-07-14 オリンパス株式会社 主要被写体検出機能を有するカメラ
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
JP4644883B2 (ja) * 2006-02-27 2011-03-09 富士フイルム株式会社 撮像装置
US9131140B2 (en) * 2007-08-10 2015-09-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310086A (ja) * 2003-04-02 2004-11-04 Hewlett-Packard Development Co Lp 複数のユーザインタフェイスマーカを使用して被写界深度を制御する方法及び装置
JP2005128156A (ja) * 2003-10-22 2005-05-19 Canon Inc 焦点調節装置及び焦点調節方法
JP2008206018A (ja) * 2007-02-22 2008-09-04 Nikon Corp 撮像装置およびプログラム
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009021862A (ja) * 2007-07-12 2009-01-29 Fujifilm Corp 撮像装置及び撮像制御方法
JP2009118009A (ja) * 2007-11-02 2009-05-28 Sony Corp 撮像装置、その制御方法およびプログラム
JP2009080489A (ja) * 2008-10-27 2009-04-16 Fujifilm Corp カメラ及び画像入力方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138665A (ja) * 2010-12-24 2012-07-19 Canon Inc 画像処理装置、主被写体の選択方法及びプログラム
JP2012181324A (ja) * 2011-03-01 2012-09-20 Nikon Corp 撮像装置
WO2013061947A1 (ja) * 2011-10-28 2013-05-02 富士フイルム株式会社 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置
US9270878B2 (en) 2011-10-28 2016-02-23 Fujifilm Corporation Imaging method using multifocal lens

Also Published As

Publication number Publication date
US20110002678A1 (en) 2011-01-06
US8107805B2 (en) 2012-01-31
JP5249146B2 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
JP5249146B2 (ja) 撮影制御装置および方法並びにプログラム
JP4782725B2 (ja) 合焦装置および方法並びにプログラム
US7430369B2 (en) Image capture apparatus and control method therefor
US8300112B2 (en) Image processing apparatus and control method therefor
US8284264B2 (en) Imaging apparatus, method, and program
JP2008141740A (ja) 撮影装置および方法並びにプログラム
JP4510768B2 (ja) 撮影装置および方法並びにプログラム
JP4551839B2 (ja) 撮像装置及び撮像装置の制御方法
US20120121129A1 (en) Image processing apparatus
JP5180349B2 (ja) 撮影装置および方法並びにプログラム
JP4818999B2 (ja) 撮影装置および方法並びにプログラム
JP2007188126A (ja) 画像明るさ算出装置および方法並びにプログラム
JP4492273B2 (ja) 撮像装置およびプログラム
US7940435B2 (en) Apparatus, method and program for image display
JP2008054297A (ja) 撮影装置および方法並びにプログラム
JP2009081636A (ja) 画像記録装置及び撮影方法
JP2009290260A (ja) 撮影装置およびその制御方法並びにプログラム
JP2007208355A (ja) 撮影装置および方法並びにプログラム
US20110292249A1 (en) Electronic camera
JP4799397B2 (ja) 辞書データ作成装置、所定領域検出装置および撮影装置
JP5027055B2 (ja) 画像処理装置および方法並びにプログラム
JP5239687B2 (ja) 撮像装置
JP2005062469A (ja) デジタルカメラ
JP4862260B2 (ja) カメラ装置、撮影制御プログラム及び撮影制御方法
JP6014631B2 (ja) 撮像装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130411

R150 Certificate of patent or registration of utility model

Ref document number: 5249146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees