JP2006128793A - 撮像装置、及びその制御方法 - Google Patents

Abstract

【課題】 主被写体を含む画像を撮像する場合に、この画像中で画質良く（きれいに）撮像したい領域を簡便に設定する為の技術を提供すること。
【解決手段】 画像中の被写体領域を求め（Ｓ１００２）、この領域を示す領域画像を、この画像上の被写体の位置に重畳させて表示し（Ｓ１００４）、この画像中で高画質領域を、領域画像が示す領域を用いて指示し（Ｓ１００４）、高画質領域内の画像が所望の画質の画像となるように制御パラメータを制御する（Ｓ１００５）。
【選択図】 図１０

Description

本発明は、撮像技術に関するものである。

従来、デジタルカメラやビデオカメラ等の撮像装置における、自動合焦（ＡＦ）、自動露出（ＡＥ）、自動ホワイトバランス（ＡＷＢ）等の機能は、画面内であらかじめ設定された位置における輝度値や色の情報を用いて行っていた。

それに対し、画面を複数に分割し、各分割領域内の画像を構成する各画素の画素値の平均値と閾値を使用して、輝度の低い領域に合わせて露出制御を行なうことで、被写体の位置に依らずに逆光補正が出来るという技術が従来から開示されている（例えば特許文献１を参照）。

しかし上記技術では必ず被写体がきれいに撮影されるとは限らない。なぜなら、被写体以外の輝度値の低い領域に合わせて補正が行なわれる可能性もあるからである。よって、被写体をきれいに撮影するためには、被写体の位置や大きさを検出する必要がある。

しかし上記技術では必ず被写体がきれいに撮影されるとは限らない。つまり、被写体以外の輝度値の低い領域に合わせて補正が行なわれる可能性もある。被写体をきれいに撮影するためには、被写体の位置や大きさを検出する必要がある。

そこで、画像中から被写体を検出して処理を行なう技術としては、ニューラルネットワークを用いて画像から被写体を検出し、検出した被写体の領域内のみの輝度値を用いて露出を制御する技術（例えば特許文献２を参照）や、ニューラルネットワークで被写体を検出し、検出した被写体の領域内のみの輝度値を用いて山登りサーボ方式で焦点を決定する技術（例えば特許文献３を参照）や、撮影者が被写体を指定し、さらにその被写体の色情報を用いて領域を決定し、その領域の画像信号を用いてＡＥ等を行なう技術（例えば特許文献４を参照）がある。

しかし、被写体を検出し、その被写体の輝度値だけを用いて露出や焦点の制御をしても、撮影者の望む画像が得られるとは限らない。例えば、逆光時に被写体に合わせて露出制御を行なったために、画像内の他の領域で白とび等が発生することも考えられる。また通常、撮影者が旅行先で写真を撮影するときは、被写体本人だけではなく、背景の景色も綺麗に写ることを望む。例えば友人と２人で写真を撮ったときに、２人だけが綺麗に写ってもその間や周囲の背景がうまく写っていなければ良い写真とは言えない。

上記の問題に対しては、露出補正制限値を設けたり、撮影者が設定した画面中の被写体の露出状態と周辺被写体の露出状態との画面全体におけるバランスを最適に保つ技術が開示されている（例えば特許文献５を参照）。また、撮影者が被写体までのおおまかな距離を設定することで、その距離の前後所定の範囲にある、対象物体を含む複数の物体に合焦する技術が開示されている（例えば特許文献６を参照）。しかし、それぞれ被写体位置の設定や、距離の入力などを行なう必要があり、撮影者にとって不便であった。
特開２００１−２４９３７４号公報 特許２７９８１７号 特許２７６１３９１号 特開平７−１０７５０５号公報 特開平８−２７９９５８号公報 特開平６−２３３１６５号公報

本発明は以上の問題に鑑みて成されたものであり、主被写体を含む画像を撮像する場合に、この画像中で画質良く（きれいに）撮像したい領域を簡便に設定する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。

即ち、撮像装置であって、
撮像手段と、
前記撮像手段により撮像された画像中の所定の被写体を示す領域を検出する領域検出手段と、
前記画像中の前記領域を示す領域画像を、前記画像上の前記所定の被写体の位置に重畳させて表示する表示手段と、
前記表示手段が表示している画像中で所望の領域を、当該画像中の前記領域画像が示す領域を用いて指示する領域指示手段と、
前記所定の領域内の画像が所望の画質の画像となるように、前記領域指示手段によって指示された領域内の画素値に基づいて前記撮像系を制御するためのパラメータを制御するパラメータ制御手段と、
前記パラメータ制御手段によって制御されたパラメータに従って前記撮像手段を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の撮像装置の制御方法は以下の構成を備える。

即ち、撮像手段、表示手段を備える撮像装置の制御方法であって、
前記撮像手段により撮像された画像中の所定の被写体を示す領域を検出する領域検出工程と、
前記画像中の前記領域を示す領域画像を、前記画像上の前記所定の被写体の位置に重畳させて前記表示手段に表示させる表示工程と、
前記表示手段が表示している画像中で所望の領域を、当該画像中の前記領域画像が示す領域を用いて指示する領域指示工程と、
前記所定の領域内の画像が所望の画質の画像となるように、前記領域指示工程で指示された領域内の画素値に基づいて前記撮像系を制御するためのパラメータを制御するパラメータ制御工程と、
前記パラメータ制御工程で制御されたパラメータに従って前記撮像手段を制御する制御工程と
を備えることを特徴とする。

本発明の構成により、主被写体を含む画像を撮像する場合に、この画像中で画質良く（きれいに）撮像したい領域を簡便に設定することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る撮像装置の基本構成を示す図である。本実施形態に係る撮像装置は、撮像した画像をディジタルデータとして内部に保持する、所謂ディジタルカメラである。

本実施形態に係る撮像装置は主に同図に示す如く、撮像レンズ群１０１、レンズ制御部１０２、絞り機構部１０３、絞り機構部１０３を制御する制御部１０４、ＣＣＤ等の撮像素子１０５、撮像素子１０５を制御して光電変換された映像信号を読み出すと共に、蓄積時間を制御するいわゆる電子シャッタ機能を制御する撮像素子制御部１０６、撮像素子１０５からの映像信号（アナログ信号）を電気的に増幅するオートゲインコントロール（ＡＧＣ）回路１０７、ＡＧＣ回路１０７からのアナログ信号をディジタル信号に変換するＡ／Ｄ変換部１０８、Ａ／Ｄ変換部１０８からのディジタル信号に対して色信号処理やガンマ補正等の画像処理を行う信号処理部１０９、画像処理後のディジタル信号（画像信号）のデータ等を記録保持するメモリ１１０、メモリ１１０を制御するメモリ制御部１１１、信号処理部１０９からの画像信号が示す画像から主被写体を検出する被写体検出部１１２、後述の領域指示部１１４，決定部１１５を含み、信号処理部１０９からの映像信号が示す画像において後述する領域を決定するための一連の操作を行うための操作制御を行う領域設定部１１３、後述の領域を設定するための領域指示部１１４、設定した領域を決定する決定部１２０、信号処理部１０９からの映像信号が示す画像上に、領域設定部１１３によって設定された領域を明示的に示すための画像を重畳させて表示する表示部１１５、信号処理部１０９からの映像信号のデータを記録する記録部１１６、領域設定部１１３で設定された領域に係るデータを記録保持する領域データ保持部１１７、そして上述のレンズ制御部１０２、絞り制御部１０４、撮像素子制御部１０６、ＡＧＣ回路１０７、信号処理部１０９、メモリ制御部１１１等の動作を制御すると共に、本撮像装置全体の制御を行うシステム制御部１１８を備える。このシステム制御部１１８は、例えばＣＰＵなどのコンピュータである。

以下、同図に示す構成を備える、本実施形態に係る撮像装置が行う処理について説明する。

図１０は、本実施形態に係る撮像装置を用いて被写体を撮像し、撮像した画像中でよりきれいに（より高画質に）撮像されるべき領域をこの被写体の領域を用いて設定する場合に、この撮像装置を構成する各部が行う処理のフローチャートである。

先ず被写体を撮影（撮像）し、撮像画像を得る（ステップＳ１００１）。即ち、撮像レンズ群１０１、絞り機構１０３、撮像素子１０５を介して入力されたアナログ信号はＡＧＣ回路１０７でもって増幅されＡ／Ｄ変換部１０８に入力される。Ａ／Ｄ変換部１０８はこの増幅後のアナログ信号をディジタル信号に変換し、そしてこのディジタル信号は信号処理部１０９で色信号処理やガンマ補正等の画像処理を施され、画像処理後のディジタル信号（画像信号）はメモリ１１０，被写体検出部１１２、領域設定部１１３に「撮像画像」として入力される。

次に被写体検出部１１２は、撮像画像中の所定の被写体を検出を行する処理を行い、検出した被写体の領域の、この撮像画像における位置やサイズを求める（ステップＳ１００２）。被写体検出部１１２による画像からの被写体検出を行う方法については特に限定しないが、例えば被写体の画像をテンプレートとして保持しておき、入力画像とそのテンプレートとのマッチングを行い、相関値により被写体の有無や位置、サイズを検出することが出来る。また被写体が顔である場合には、上記テンプレートマッチング法以外にもニューラルネットワークを用いた方式が提案されている。例えば、Ｒｏｗｌｅｙ，ｅｔ ａｌ．，”Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｂａｓｅｄ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，Ｊａｎ，１９９８やＭａｔｓｕｇｕ，ｅｔ ａｌ．，”Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｐｉｋｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ ｆｏｒ Ｒｏｂｕｓｔ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，ＩＣＯＮＩＰ，２００２等に開示されている技術を用いることもできる。

いずれにせよステップＳ１００２では、被写体検出部１１２によって、撮像画像内における被写体を包含する矩形のサイズ、及びこの矩形の画像における位置を求める処理を行う。本実施形態では、矩形の位置として、矩形の左上隅の座標値、右下隅の座標値を求めるものとするが、これに限定するものではない。

次に、表示部１１５は、撮像画像における被写体上に、ステップＳ１００２で検出した領域の枠を示す画像（以下、領域画像と呼称する場合がある）を重畳させて表示する（ステップＳ１００３）。

図２は、被写体を人の顔とした場合に、ステップＳ１００３で表示部１１５の表示画面上に表示される画像の表示例を示す図である。同図に示す如く、撮像画像上の被写体（顔）２０２を包含する矩形を示す画像（領域画像）２０１を撮像画像上に配置して表示部１１５の表示画面上に表示する。この領域画像は撮像画像上に、ステップＳ１００２で求められたサイズ、位置でもって重畳されるものであるので、その結果、この領域画像が示す枠内には同図に示すように被写体２０２が存在することになる。なお、同図では領域画像は被写体を包含する矩形を示しているが、この矩形を点滅させて表示するようにしても良いし、この領域画像が被写体を包含する目的で使用されるのであれば、その表示形態は特に限定するものではない。

よって、このように領域画像を撮像画像における被写体上に配置して表示することで、撮影者は撮像装置が被写体を認識していると理解することが出来る。

図１０に戻って、次に、撮影者はステップＳ１００３で表示部１１５の表示画面上に表示された画像を見て、綺麗に撮影したい領域（以下、「高画質領域」と呼称する場合がある）を設定する為の操作を領域設定部１１３を用いて行うので、この操作指示を受け付け、受けた指示に従って、「綺麗に撮影したい領域」（高画質領域）を設定する処理を行う（ステップＳ１００４）。

具体的には、撮影者は、表示部１１５に表示された画像（撮像画像と領域画像）を見て、領域画像が示す枠内の領域だけを主被写体として撮影するのであれば、その領域を高画質領域として設定する。また、領域画像が示す枠内の領域とは別の領域を高画質領域として設定しても良いし、領域画像が示す枠内の領域を用いて新たな領域を作成し、作成後の領域を高画質領域として設定しても良い。このように、撮影者が高画質領域を設定するには、領域設定部１１３を操作して行うことになる。

図５は、ステップＳ１００４における高画質領域設定処理の詳細を示すフローチャートである。

図３は、本撮像装置の背面の外観を示す図、図４は、図５のフローチャートに従って高画質領域を設定した場合に、表示部１１５の表示画面上に表示される画像の変化を示す図である。以下、この図３，４を用いて図５のフローチャートに従った処理について説明する。

図３において３０１は撮像装置本体、３０２は十字キー、３０３は補助ボタン、３０４は表示部１１５の一例としてのＬＣＤ（液晶画面）、３０５は決定部１２０の一例としての決定ボタンを示す。また、図１の領域指示部１１４は、図３では、十字キー３０２，補助ボタン３０３に相当する。

図４に示した画像は、３人の人と車が撮像されたものであるが、ここで被写体を「人の顔」とした場合、被写体検出部１１２がステップＳ１００２で検出するのは図４（ａ）の４０１〜４０３に示した矩形内の顔であり、ステップＳ１００３では、図４（ａ）に示すように、撮像画像上に、人の頭を包含する３つの矩形（領域画像）４０１〜４０３が表示される。

また後述の処理のために、この３つの矩形の何れかを撮影者が選択できるので、現在選択されている矩形はハイライト表示となる。図４（ａ）では矩形４０１がハイライト表示となっている。なお、現在選択されている矩形の表示形態はこれに限定されるものではなく、例えば点滅表示させるようにしても良い。

従って以下では、ステップＳ１００３では、図４（ａ）に示した画像が表示部１１５の表示画面上に表示されているものとして説明するが、以下の説明の本質がこの撮像画像に限定されるものではないことは、以下の説明より明らかと成るであろう。

よって、図４（ａ）に示した画像が表示部１１５の表示画面上に表示されている場合に、撮影者は先ず、十字キー３０２、補助ボタン３０３、決定ボタン３０５を操作して、高画質領域を決定する（ステップＳ５０２）。以下、この高画質領域を決定するための操作、処理について説明する。

ここで操作者が、表示部１１５の表示画面上に表示されている画像（図４（ａ）に示した画像）を見て、右側の２人と車を綺麗に撮像したい、即ち、右側の２人と車とを包含する領域を高画質領域として設定したいとする。この場合、撮影者は先ず十字キー３０２の右側を押下する。するとシステム制御部１１８はこの押下を検知して現在選択されている矩形を１つ右側の矩形とする。従って図４（ｂ）に示すように、ハイライト表示されている矩形が矩形４０１から矩形４０２に変化する。そして撮影者が決定ボタン３０５を押下すると、システム制御部１１８はこの押下検知して、現在選択されている矩形（ここでは真ん中の矩形）を高画質領域とする。次に、もう一度撮影者は十字キー３０２の右側を押下する。するとシステム制御部１１８はこの押下を検知して現在選択されている矩形を１つ右側の矩形とする。従って、ハイライト表示されている矩形が矩形４０２から矩形４０３に変化する。そして撮影者が決定ボタン３０５を押下すると、システム制御部１１８はこの押下を検知して、現在選択されている矩形（ここでは右端の矩形）も高画質領域として決定する。

即ち、ここまでの操作で、真ん中の矩形と右端の矩形とを高画質領域として設定することができる。そして次に撮影者は補助ボタン３０３を押下する。システム制御部１１８はこの押下を検知し、高画質領域として設定したこの２つの矩形が示す領域（矩形４０２内の領域と矩形４０３内の領域）を図４（ｃ）に示すように連結し、１つの矩形４０４を生成する。即ちシステム制御部１１８は、補助ボタン３０３の押下を検知すると、先に被写体検出部１１２がステップＳ１００２で求めたこの２つの領域それぞれの位置を参照し、矩形４０２の左上隅の座標値、矩形４０３の右下隅の座標値をそれぞれ、新たな高画質領域の左上隅の座標値、右下隅の座標値として決定する。

そしてシステム制御部１１８は、新たに決定した高画質領域を示す枠を（上記新たな高画質領域の左上隅の座標値、右下隅の座標値を参照して）表示部１１５の表示画面上に表示する。

このように、複数の矩形を選択して連結する場合の連結方法については特に限定しないが、少なくともステップＳ５０２では、選択した矩形群を含む１つの矩形を生成し、この生成した矩形を高画質領域として決定する処理を行う。

そして次に、撮影者は、補助ボタン３０３を押下しながら十字キー３０２を拡大したい方向に押下すると、システム制御部１１８はこの押下を検知し、先に設定した高画質領域を十字キー３０２を押下された方向に拡大する処理を行う（ステップＳ５０３）。図４（ｄ）において４０５は、十字キー３０２の下側を押下した場合に、図４（ｃ）に示した高画質領域を下方向に拡大した矩形を示す。

そしてシステム制御部１１８は、拡大される毎に高画質領域を示す枠を（拡大に伴って変更される高画質領域の左上隅の座標値、右下隅の座標値を参照して）表示部１１５の表示画面上に表示する。

そして高画質領域を所望のサイズに変更すると、撮影者は決定ボタン３０５を押下する。システム制御部１１８はこの押下を検知すると（ステップＳ５０４）、決定した高画質領域を撮像画像上で特定するためのデータを領域データ保持部１１７に記録する。この「高画質領域を撮像画像上で特定するためのデータ」については後述する。そしてシステム制御部１１８はこのデータの記録処理を完了すると、図５のフローチャートに従った領域設定処理を終了し、処理をステップＳ１００５に戻す。

なお、上記の高画質領域設定において、右側２人の顔だけを高画質領域に設定する場合、撮影者は十字キー３０２を用いて２人の顔のうち一方を選択し、決定ボタン３０５を押下する。システム制御部１１８はこの押下を検知すると、選択した一方の矩形を高画質領域として設定する（ステップＳ５０２）。そして次に撮影者は十字キー３０２を用いて他方の顔を選択するので、処理をステップＳ５０４からステップＳ５０２に戻し、撮影者は十字キー３０２を用いて２人の顔のうち他方を選択し、決定ボタン３０５を押下する。システム制御部１１８はこの押下を検知すると、選択した他方の矩形を高画質領域として設定する（ステップＳ５０２）。

そして撮影者がもう一度決定ボタン３０５を押せば（ステップＳ５０４）、図４（ｅ）の４０６，４０７に示す如く、右側２人の顔だけを高画質領域に設定することができる。そしてシステム制御部１１８はこの押下を検知すると、それぞれの矩形（高画質領域）について、「高画質領域を撮像画像上で特定するためのデータ」を領域データ保持部１１７に記録する処理を行い、図５のフローチャートに従った領域設定処理を終了し、処理をステップＳ１００５に戻す。

また、上記の高画質領域設定において、右側２人の全体像を高画質領域に設定する場合、撮影者は十字キー３０２を用いて２人の顔のうち一方を選択し、決定ボタン３０５を押下する。システム制御部１１８はこの押下を検知すると、選択した一方の矩形を高画質領域として設定する（ステップＳ５０２）。そして撮影者は、補助ボタン３０３を押下しながら十字キー３０２を拡大したい方向に押下することで、システム制御部１１８はこの押下を検知し、ステップＳ５０２で設定した高画質領域を十字キー３０２を押下された方向に拡大する処理を行う（ステップＳ５０３）。

そしてシステム制御部１１８は、拡大される毎に高画質領域を示す枠を（拡大に伴って変更される高画質領域の左上隅の座標値、右下隅の座標値を参照して）表示部１１５の表示画面上に表示する。

そして次に撮影者は十字キー３０２を用いて他方の顔を選択するので、処理をステップＳ５０４からステップＳ５０２に戻し、撮影者は十字キー３０２を用いて２人の顔のうち他方を選択し、決定ボタン３０５を押下する。システム制御部１１８はこの押下を検知すると、選択した他方の矩形を高画質領域として設定する（ステップＳ５０２）。そして撮影者は、補助ボタン３０３を押下しながら十字キー３０２を拡大したい方向に押下することで、システム制御部１１８はこの押下を検知し、ステップＳ５０２で設定した高画質領域を十字キー３０２を押下された方向に拡大する処理を行う（ステップＳ５０３）。

そしてシステム制御部１１８は、拡大される毎に高画質領域を示す枠を（拡大に伴って変更される高画質領域の左上隅の座標値、右下隅の座標値を参照して）表示部１１５の表示画面上に表示する。

そして撮影者がもう一度決定ボタン３０５を押せば（ステップＳ５０４）、図４（ｆ）の４０８，４０９に示す如く、右側２人の全体像を高画質領域に設定することができる。そしてシステム制御部１１８はこの押下を検知すると、それぞれの矩形（高画質領域）について、「高画質領域を撮像画像上で特定するためのデータ」を領域データ保持部１１７に記録する処理を行い、図５のフローチャートに従った領域設定処理を終了し、処理をステップＳ１００５に戻す。

このように、撮影者は高画質領域を設定する際には、予め検出された被写体領域を用いて行うので、画像上で撮影者が高画質領域の位置やサイズをはじめから指定する場合に比べてより簡便に高画質領域の設定を行うことができる。

ここで、画像中の被写体は一般には撮影者が興味を持っているので、この被写体近傍領域を高画質領域としたいと考えるのは当然である。従って上述のように被写体領域を用いて高画質領域の設定を行うということは設定を簡便にするだけでなく、高画質領域を設定する過程で、本来高画質領域とすべき被写体領域をこの高画質領域に含めることができる。

ここで、上述の「高画質領域を撮像画像上で特定するためのデータ」について説明する。この「高画質領域を撮像画像上で特定するためのデータ」は本実施形態では、被写体検出部１１２で検出された被写体位置を基準にした位置のデータとする。

即ち、図６に示すように、高画質領域として領域６５０を設定し、且つ被写体検出部１１２により被写体位置（検出された位置、ステップＳ１００２で求めた矩形の各４頂点の平均座標値等）６０１，６０２が検出された場合、「高画質領域６５０を撮像画像６００上で特定するためのデータ」としては、高画質領域６５０の４隅（Ａ点、Ｂ点、Ｃ点、Ｄ点）の撮像画像６００上の座標位置を示すデータとするのであるが、より具体的には、被写体位置６０１，６０２のうち近い方の位置からのバイアスのデータとする。例えばＡ点のデータの場合、被写体位置６０１，６０２のうちＡ点に近いのは被写体位置６０１であるから、この被写体位置６０１の座標位置からＡ点の座標位置までのバイアスを、このＡ点のデータとする。Ｂ点、Ｃ点、Ｄ点についても同様である。図６は、「高画質領域を撮像画像上で特定するためのデータ」について説明する図である。

このように各被写体位置を基準にして「高画質領域を撮像画像上で特定する為のデータ」を設定することにより、画角内に主被写体が撮影されている範囲で撮影者や撮像装置が移動する等、前回撮影した画像と今回撮影した画像が異なる場合でも対応することが出来る。つまり、撮影中の撮影者や撮像装置、主被写体の多少の移動に対しても、ＬＣＤ３０４に表示される画像中の主被写体位置と高画質領域位置との位置関係が保たれる。逆に、高画質領域を画像中の固定された座標（例えば、画像の左上を原点とする）で管理していると、撮影者や撮像装置の向きが多少変わっただけで、画像中の主被写体位置と高画質領域の位置がずれてしまい、設定した領域と所望の領域が異なってしまうことになる。このように、被写体検出部１１２で検出された被写体位置を使用することで、撮影中の撮影者、撮像装置、被写体の変動にも対応して領域を設定できる。

なお、図１０に示したように、ステップＳ１００３からステップＳ１００１に戻る経路がある。これは、一定周期で、画像撮影、被写体検出、被写体検出結果と、撮影された画像の表示が行われる経路である。このように一定周期で画像が撮影されるため表示部１１５の表示画面上に表示される画像はその周期で変化する。しかし、表示される画像が変化しても、上記説明したように、高画質領域を被写体検出結果を基準に設定することで、新たに撮影した画像に対しても高画質領域を示す枠の表示が所望の領域を示すことになる。

図１０に戻って、上記処理により、高画質領域が求まると、システム制御部１１８は次に、この高画質領域内の画素値を用いて、撮像パラメータを計算（制御）する（ステップＳ１００５）。以下ステップＳ１００５における処理について詳細に説明する。システム制御部１１８は、高画質領域（領域データ保持部１１７に保持されたデータで規定される領域）に対して、レンズ駆動部１０２、絞り制御部１０４に指示して合焦制御を行い、また絞り制御部１０４、撮像素子制御部１０６、ＡＧＣ回路１０７を制御して露出制御を行なうとともに、信号処理部１０９を制御して信号処理を行なう。

上記合焦制御は、高画質領域内の映像信号から高周波成分を抽出し、その高周波成分の量により山登り方式を用い、フォーカスレンズを駆動させて制御を行なう。また同時に被写界深度の設定も行なう。

上記露出制御は高画質領域において、黒つぶれや白とびがおきないように、絞りやシャッタスピード、ＡＧＣの設定を行なう。また、信号処理部１０９では高画質領域でコントラストがとれるようにガンマカーブの設定を行なう。

そして以上の処理が完了すると、本撮像装置は撮影指示待ちとなる。そして撮影者が撮像装置に備わっている不図示のシャッタボタンを押下すると、システム制御部１１８はこの押下を検知し（ステップＳ１００６）、検知したタイミングで信号処理部１０９から得られる映像信号に基づいた画像のデータを記録部１１６に記録する処理を行う（ステップＳ１００７）。

上記説明では、被写体とは別の撮影者が綺麗に撮影したい領域を設定する際について述べたが、例えばセルフ撮影など被写体自身が綺麗に撮影したい領域を設定したい場合、或いは過去に撮影した画像と同じ構図の下で特定の被写体を綺麗に撮影したい場合がある。その方法について以下述べる。

シャッタボタンを押したり、タイマやリモコンを使用して撮影を行なうと、撮像レンズ群１０１、絞り機構１０３、撮像素子１０５、ＡＧＣ回路１０７、Ａ／Ｄ変換部１０８、信号処理ぶ１０９を経て得られた画像は、一度メモリ１１０に保持され、その後圧縮処理等が行なわれ最終的には記録部１１６に保持される。そして、記録された画像を表示部１１５に表示させる際には、一度メモリ１１０に画像が展開され、メモリ制御部１１１によって画像が読み出され表示部１１５に表示される。セルフ撮影などにおいて、高画質領域設定を行なう際はこの一度記録された画像を使用する。つまり、高画質領域を設定した後の撮影時とほぼ同じような構図でまず１度撮影を行い、その撮影された画像に基づいて領域の設定を行なう。

記録部１１６に記録された画像を表示部１１５に表示した結果も基本的には撮影している画像を表示部１１５に表示しているのと同様である。ただ、撮影している画像では一定周期で画像が更新されるのに対し、記録された画像は更新されないところが異なるだけである。前述のように、記録された画像を再生する際には、一度メモリ１１０に画像が展開され、その画像が表示部１１５に表示される。それと同時にそのメモリ１１０に展開された画像は、被写体検出部１１２に入力される。被写体検出部１１２では前述のように被写体の検出が行なわれ、被写体領域の位置やサイズが求められる。

そして、表示部１１５でメモリ１１０に展開された画像とともに被写体の枠が表示される。つまり、撮影された画像であっても、記録された画像であっても、表示部１１５に表示される画像と被写体を囲む枠という意味では同じである。

そして、領域指示部１１４を用いて前述した手順で、綺麗に撮影したい領域を設定し、領域データ保持部１１７に領域データを保持させる。この領域データは前述と同様被写体位置を基準にした位置のデータである。次に、撮像装置を撮影モードにして、構図を前回と同様に設定し撮影を行なう。この時、一般的に、一度撮影した後に、撮像装置の位置を変更した場合、最初とまったく同じように撮影されるように撮像装置の位置や向きを設定するのは非常に困難である。しかし、領域データ保持部１１７に保持されている領域データは被写体位置を基準にして設定されている。そのため、被写体位置を基準に領域を決められるので撮像装置の位置等の変動に対してロバスト性がある。

そして、システム制御部１１８は、記録部１１６に記録された画像で設定され、領域データ保持部１１７に保持されている領域データを用いて、前述のように、合焦制御や露出制御等の制御を行い、所望の画像が撮影できるように動作する。

上記の説明中の、被写体検出部１１２は例えば回路で実現しても良いし、ＭＰＵやＤＳＰとソフトウェアで実現することも出来る。また、被写体検出の処理機能を回路とＭＰＵやＤＳＰとソフトウェアで分けて実現しても良い。なお、例えば信号処理部１０９等の他の部に関しても、このように実現方法がいくつかあるということは同様である。

［第２の実施形態］
図７は、本実施形態に係る撮像装置の基本構成を示すブロック図である。同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係る撮像装置の基本構成は図７に示すように、第１の実施形態に係る撮像装置の基本構成に、画像処理部２１９を加えた構成となる。

そこで、以下では、画像処理部２１９の動作に関連するところについて説明する。よって画像処理部２１９以外の部分の動作については第１の実施形態と同じである。

第１の実施形態では、システム制御部１１８によって露出制御を行なう際は、絞り、シャッタスピード、ＡＧＣゲインの設定やガンマカーブの変更を行なっていた。それに対し本実施形態では、撮像レンズ群１０１、絞り機構１０３、撮像素子１０５、ＡＧＣ回路１０７、Ａ／Ｄ変換部１０８、信号処理部１０９を経て、メモリ１１０に保持された画像に対して、さらにディジタル処理を行なうことで露出、ピント、色味、コントラスト等に関する所望の画像を得られるようにする。

画像処理部２１９は、システム制御部１１８からの制御信号で動作し、メモリ１１０に保持されている画像から上記高画質領域内の画像データが入力され、その画像の輝度値を上げる等の処理を行なう。そしてその結果を再びメモリ１１０に戻すことにより、メモリ１１０は画像処理部２１９で処理された結果の画像を保持することになる。

この処理について以下、より詳細に説明する。第１の実施形態と同様にして領域データ保持部１１７にデータが記録され、そのデータに基づいて、システム制御部１１８で各種制御や処理が行なわれ、その結果、改めて撮像される画像がメモリ１１０に入力される。本実施形態では、次に、システム制御部１１８が画像処理部２１９へ制御信号を出力し画像処理部２１９を動作させる。同時にシステム制御部１１８は、画像中の被写体の位置情報と領域データ保持部１１７に保持されているデータに基づいて、メモリ１１０に保持されている画像から高画質領域の画像データを画像処理部２１９に出力するようにメモリ制御部１１１を制御する。画像処理部２１９では、入力された画像データに対して画像処理を行なう。

この画像処理には、高画質領域の輝度値補正、エッジ強調、色補正が含まれる。つまり、第１の実施形態で説明した合焦制御や露出制御だけではなく、さらに部分的な露出補正として輝度値補正や色補正を行ない、また同様なピント補正としてエッジ強調処理を行なう。つまり、この処理は画像中の部分画像に対して第１の実施形態で説明したような撮像パラメータを制御していることに対応する。

なお、このような補正処理は、高画質領域だけに行なうと画像として違和感が生じるので、高画質領域の周囲にも、その領域からの距離に応じて徐々に補正のレベルを下げつつ、補正を行なう必要がある。また、このような局所領域に対して行なう補正処理は、ＰＣ上で動作するレタッチソフトの一機能として、例えば“覆い焼き”機能という名称で実現されている。しかし、このようなソフトでは、デジタルカメラ等で撮影された画像をＰＣに取り込み、その画像上で補正を行ないたい領域をユーザがマウス等で指定し、各種補正を行なうものである。

それに対し本実施形態では、被写体検出部１１２で被写体を検出し、その検出した領域を基に、第１の実施形態で説明した方法で綺麗に写したい領域を設定し、その領域に対して処理を行なうものであり、撮影された画像を見て補正する領域を選択するものではない。つまり、このように被写体検出結果を利用するところが大きく異なる。

上記説明したような補正処理が行なわれた画像データは、画像処理部２１９から出力され、メモリ制御部１１１の制御により、再びメモリ１１０に保持される。そして、メモリ１１０に保持された補正された画像は圧縮処理が行なわれ、記録部１１６に圧縮画像として記録される。

［第３の実施形態］
図８は、本実施形態に係る撮像装置の基本構成を示すブロック図である。同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係る撮像装置の基本構成は図８に示すように、第１の実施形態に係る撮像装置の基本構成おいて、被写体検出部１１２を被写体識別部８１２に置き換えた構成となっている。

図９は被写体識別部８１２の基本構成を示すブロック図である。図９において９１１は被写体検出部、９１２は識別データ保持部、９１３は比較部である。以下の説明では、上記被写体識別部８１２、及び図９の各部に関して説明する。それ以外の動作は第１の実施形態で説明した動作と同じである。

第１の実施形態では、被写体検出部１１２で検出された例えば顔といった被写体を全て表示部１１５に表示し、その検出された各被写体に対して、高画質領域に含むか否かを設定していた。それに対し本実施形態では、あらかじめ設定しておいた被写体（ある特定の被写体）のみに対して枠を表示する。例えば顔が被写体であれば、各個人を識別するためのデータを一人または複数人分保持しておき、検出された被写体とそのデータとを比較して、一致した被写体に対してのみ、領域画像（枠）を表示する。

このようにすることにより、撮影時に背景に全然関係のない人が撮影された場合にその人は被写体として認識されないので、選択候補の枠の数が減り、高画質領域設定時の基準領域の設定が楽になる。なお、識別の方法は、例えば、各個人に対応するテンプレートを識別データ保持部９１２に保持しておき、被写体検出部９１１で被写体検出部１１２と同様にして入力画像から検出された各被写体とそのテンプレートとを、比較部９１３で比較し、その相関値を見て識別を行なうことが出来る。

また、別の方式として、Wiskott,Fellous,et al.,”Face Recoginition by Elastic Bunch Graph Matching”,IEEE Trans.PAMI,July,1997 で示されているように、顔の各特徴に対して、各個人に対応するガボール関数との相関値を識別データ保持部９１２に保持しておき、入力画像中の相関値とその識別データ保持部９１２に保持してある相関値との比較により個人を識別することも可能である。なおその際には、被写体検出部９１１からは被写体の検出結果とともに、各特徴とガボール関数との相関値を比較部９１３に出力する。

続いて、被写体識別部８１２の動作を図８及び図９を用いて説明する。図８中の撮像レンズ群１０１、絞り機構１０３、撮像素子１０５、ＡＧＣ回路１０７、Ａ／Ｄ変換部１０８、信号処理部１０９を経て得られる撮像画像は表示部１１５の表示画面上に表示されるとともに、被写体識別部８１２に入力される。

被写体識別部８１２は前述のように、被写体検出部９１１、識別データ保持部９１２、比較部９１３から構成され、撮影画像は被写体検出部９１１に入力され、被写体検出が行われる。そして、その検出された結果と識別データ保持部９１２に保持されている結果を比較部９１３で比較し、検出された結果が、識別データ保持部９１２で保持されている「設定された被写体」に対応するかを判定する。比較は前述の方法で行なわれ、識別データ保持部９１２に設定された被写体のテンプレート画像が保持されていれば、比較部９１３では被写体検出部９１１で検出された被写体位置とサイズの部分画像を正規化して、識別データ保持部９１２に保持されているテンプレート画像とマッチングを行い、その相関値により入力画像中の被写体が設定された被写体かを判定する。また、識別データ保持部９１２に、被写体の各特徴とあるカーネルとのコンボリューション結果等の値が保持されていれば、被写体検出部９１１で検出された被写体の部分画像を正規化した画像とそのカーネルとのコンボリューション結果と、識別データ保持部９１２に保持されたコンボリューション結果とを比較して、入力画像中の被写体が設定された被写体かを判定する。

そして、「設定された被写体」と判定された入力画像中の被写体のみに対して枠が表示される。そしてこれ以降の処理は第１，２の実施形態と同じである。

なお、上記実施形態において、撮像装置に備わっている十字キーやボタン群を用いた操作方法はこれに限定するものはないし、ユーザインターフェースもこれに限定するものではなく、様々なものが考えられる。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る撮像装置の基本構成を示す図である。 被写体を人の顔とした場合に、ステップＳ１００３で表示部１１５の表示画面上に表示される画像の表示例を示す図である。 本撮像装置の背面の外観を示す図である。 図５のフローチャートに従って高画質領域を設定した場合に、表示部１１５の表示画面上に表示される画像の変化を示す図である。 ステップＳ１００４における高画質領域設定処理の詳細を示すフローチャートである。 「高画質領域を撮像画像上で特定するためのデータ」について説明する図である。 本発明の第２の実施形態に係る撮像装置の基本構成を示すブロック図である。 本発明の第３の実施形態に係る撮像装置の基本構成を示すブロック図である。 被写体識別部８１２の基本構成を示すブロック図である。 本発明の第１の実施形態に係る撮像装置を用いて被写体を撮像し、撮像した画像中でよりきれいに（より高画質に）撮像されるべき領域をこの被写体の領域を用いて設定する場合に、この撮像装置を構成する各部が行う処理のフローチャートである。

Claims (13)

1. 撮像装置であって、
   撮像手段と、
   前記撮像手段により撮像された画像中の所定の被写体を示す領域を検出する領域検出手段と、
   前記画像中の前記領域を示す領域画像を、前記画像上の前記所定の被写体の位置に重畳させて表示する表示手段と、
   前記表示手段が表示している画像中で所望の領域を、当該画像中の前記領域画像が示す領域を用いて指示する領域指示手段と、
   前記所定の領域内の画像が所望の画質の画像となるように、前記領域指示手段によって指示された領域内の画素値に基づいて前記撮像系を制御するためのパラメータを制御するパラメータ制御手段と、
   前記パラメータ制御手段によって制御されたパラメータに従って前記撮像手段を制御する制御手段と
   を備えることを特徴とする撮像装置。
2. 更に、前記表示手段が表示している画像中で前記所定の領域の位置を、前記領域画像が示す領域を基準にして求め、求めた位置を示すデータを保持する保持手段を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段は、前記撮像手段により撮像された画像中の前記領域を包含する枠の画像を、当該画像上に重畳させて表示することを特徴とする請求項１に記載の撮像装置。
4. 前記領域指示手段は、画像中の前記領域画像のうち１つもしくは複数を選択することで、当該選択された領域画像が示す領域を前記所望の領域として指示することを特徴とする請求項１に記載の撮像装置。
5. 前記領域指示手段は、画像中の前記領域画像のうち１つもしくは複数を選択し、且つ当該選択した領域画像のそれぞれが示す領域の連結を指示することで、当該連結後の領域を前記所望の領域として指示することを特徴とする請求項１に記載の撮像装置。
6. 前記領域指示手段は、指示した前記所望の領域のサイズの変更を指示することを特徴とする請求項４又は５に記載の撮像装置。
7. 前記パラメータ制御手段は、前記領域指示手段によって指示された領域内の画素値を用いて、絞り、シャッタスピード、ＡＧＣゲイン、ガンマカーブ、フォーカスレンズ位置のうち１つ以上を制御することを特徴とする請求項１に記載の撮像装置。
8. 更に、前記制御手段による制御後の前記撮像手段によって撮像された画像のうち、当該画像上で前記保持手段が保持するデータに基づいて規定される領域内の画素値を制御する制御する画素値制御手段を備えることを特徴とする請求項２に記載の撮像装置。
9. 前記画素値制御手段は、前記所望の領域内の画像に対して輝度値補正、エッジ強調、色補正のうち１つ以上を行うことを特徴とする請求項８に記載の撮像装置。
10. 更に、前記所定の被写体を識別する識別手段を備え、
    前記表示手段は、前記識別手段が特定の被写体であると識別した被写体を示す領域を示す領域画像を、前記画像上の当該被写体の位置に重畳させて表示することを特徴とする請求項１に記載の撮像装置。
11. 撮像手段、表示手段を備える撮像装置の制御方法であって、
    前記撮像手段により撮像された画像中の所定の被写体を示す領域を検出する領域検出工程と、
    前記画像中の前記領域を示す領域画像を、前記画像上の前記所定の被写体の位置に重畳させて前記表示手段に表示させる表示工程と、
    前記表示手段が表示している画像中で所望の領域を、当該画像中の前記領域画像が示す領域を用いて指示する領域指示工程と、
    前記所定の領域内の画像が所望の画質の画像となるように、前記領域指示工程で指示された領域内の画素値に基づいて前記撮像系を制御するためのパラメータを制御するパラメータ制御工程と、
    前記パラメータ制御工程で制御されたパラメータに従って前記撮像手段を制御する制御工程と
    を備えることを特徴とする撮像装置の制御方法。
12. 撮像装置内のコンピュータに、請求項１１に記載の制御方法を実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images