JP2022184137A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】領域ごとに露出条件を設定することが可能なイメージセンサにおいて、オートフォーカスによる合焦精度を向上させる。
【解決手段】イメージセンサの受光面の部分領域ごとに露出の条件を設定することが可能な撮像装置のオートフォーカスを行う。受光面に、第１の露出の条件で撮像を行う第１の部分領域と、第１の部分領域と隣接する、第１の露出の条件とは異なる第２の露出の条件で撮像を行う第２の部分領域と、を設定する。第１の部分領域と第２の部分領域との境界部である露出段差を含まない第３の部分領域を、オートフォーカスに用いる領域として設定する。第３の部分領域の画像信号に基づく画像のコントラストに応じて、撮像装置のオートフォーカスを制御する。
【選択図】図７

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

撮像装置のイメージセンサ内で、領域ごとに露出条件を変更する技術がある。特許文献１では、イメージセンサの領域ごとに露出条件（露出時間、及びアナログゲインの設定）の変更を可能とする撮像装置が開示されている。

また、撮像装置のオートフォーカス（以下、ＡＦ）においては、コントラストＡＦが置く採用されている。コントラストＡＦでは、撮像光学系のうち焦点調節に作用するフォーカスレンズを、焦点調節範囲にわたって移動させながら撮像を行い、部分領域内の出力画像信号から高周波成分を抽出して、合焦のためのコントラスト評価値を逐次算出することができる。そして、このコントラスト評価値が最大になるフォーカスレンズの位置が合焦位置であるとして設定される。

特開２０１０－１３６２０５号公報

しかしながら、特許文献１に記載の技術では、露出領域ごとに露出条件が設定されるため、画像内において高ゲインに設定した領域（高ゲイン領域）と低ゲインに設定した領域（低ゲイン領域）とが混在するケースが生じる。この場合、高ゲイン領域と低ゲイン領域との境にはゲインの急峻な変化が生じている箇所である露出段差が発生する。ＡＦで参照する領域にこの露出段差が含まれてしまうと、露出段差部分のエッジにより、コントラスト評価値が意図せず高くなってしまい、正確にピント面を合わせることが困難となる。

本発明は、領域ごとに露出条件を設定することが可能なイメージセンサにおいて、オートフォーカスによる合焦精度を向上させることを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、イメージセンサの受光面の部分領域ごとに露出の条件を設定することが可能な撮像装置のオートフォーカスを行う情報処理装置であって、前記受光面に、第１の露出の条件で撮像を行う第１の部分領域と、前記第１の部分領域と隣接する、前記第１の露出の条件とは異なる第２の露出の条件で撮像を行う第２の部分領域と、を設定する第１の設定手段と、前記第１の部分領域と前記第２の部分領域との境界部である露出段差を含まない第３の部分領域を、前記オートフォーカスに用いる領域として設定する第２の設定手段と、前記第３の部分領域の画像信号に基づく画像のコントラストに応じて、前記撮像装置のオートフォーカスを制御する制御手段と、を備えることを特徴とする。

領域ごとに露出条件を設定することが可能なイメージセンサにおいて、オートフォーカスによる合焦精度を向上させる。

実施形態１に係る撮像装置を含む撮像システムの機能構成の一例を示す図。 実施形態１に係る撮像装置の領域ごとに露出の異なる画像の一例を示す図。 実施形態１に係る撮像装置が行う情報処理の一例を示すフローチャート。 実施形態１に係る撮像装置のＡＦ領域の再設定表示の一例を示す図。 実施形態１に係る撮像装置のＡＦ領域が問題なく設定される一例を示す図。 実施形態２に係る撮像装置が行う情報処理の一例を示すフローチャート。 実施形態２に係る撮像装置によるＡＦ領域の補正を説明するための図。 実施形態２に係る撮像装置による補正前後のＡＦ領域の一例を示す図。 実施形態２に係る撮像装置による補正前後のＡＦ領域の別の例を示す図。 実施形態２に係る撮像装置による補正前後のＡＦ領域の別の例を示す図。 実施形態３に係る撮像装置による情報処理の一例を示すフローチャート。 実施形態３に係る撮像装置による複数のＡＦ領域設定の一例を示す図。 実施形態１に係る撮像装置による被写体位置からＡＦ領域を設定する図。 実施形態３に係る撮像装置による被写体位置からＡＦ領域を設定する図。 実施形態４に係るコンピュータの機能構成を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
図１は、本実施形態に係る情報処理装置である撮像装置を含む撮像システムの一例を示すブロック図である。撮像装置１００は、画像を撮像する撮像装置であり、例えばデジタルカメラ、又はカメラを備えたスマートフォン若しくはタブレット型端末などである。本実施形態においては、撮像装置１００の行う各処理を、撮像装置１００に内蔵されるプロセッサが行うものとする。クライアント装置１１０は、撮像装置１００による撮像画像の確認、及び撮像装置の操作をユーザが行うための装置であり、例えばパーソナルコンピュータ、スマートフォン、又はタブレット型端末などである。本実施形態においては、撮像装置１００とクライアント装置１１０が別体の装置であるものとして説明を行うが、これらの装置が同一の装置として実装されてもよい。

本実施形態に係るクライアント装置１１０は、入力部１１１、表示部１１２、操作部１１３、及び出力部１１４を備える。表示部１１２は、例えば液晶ディスプレイであり、撮像装置１００による撮像画像と、各機能部による処理を行うためのＵＩと、を表示する。操作部１１３は、例えばキーボード及びマウス、又はタッチパネルなどで構成され、ユーザからの入力を受け付ける。ユーザは、操作部１１３を介して、後述するＡＦ領域の設定など、撮像装置１００への各種入力を行うことができる。入力部１１１は、撮像画像などの撮像装置１００からの各種情報を取得し、出力部１１４は、撮像装置１００へとＡＦ領域の設定などの各種情報を送信する。

本実施形態に係る撮像装置１００は、撮像素子部１０１、レンズ１０２、映像処理部１０３、出力部１０４、演算部１０５、レンズ制御部１０６、条件設定部１０７、及び入力部１０８を備える。撮像装置１００は、レンズ１０２へと入射した画像光を、イメージセンサである撮像素子部１０１の受光面において結像し、画像データを出力する。映像処理部１０３は、撮像素子部１０１が出力した画像データを、クライアント装置１１０で読み込み可能なフォーマットへと変換することができる。出力部１０４は、撮像装置１００が生成した各データをクライアント装置１１０へと送信する。本実施形態においては、出力部１０４は、映像処理部１０３が変換した画像データをクライアント装置１１０へと出力することができる。

条件設定部１０７は、撮像素子部１０１の露出の条件を、受光面の部分領域ごとに設定する。ここで、露出の条件（以下、露出条件とも書く）とは、画素ごとのイメージセンサの露出時間（シャッタースピード）、又はゲイン（アナログゲイン又はデジタルゲイン）の値など、画像データの明るさに関わる設定値である。本実施形態に係る撮像素子部１０１は、条件設定部１０７が設定する露出条件に基づいて画像光の結像を行う。条件設定部１０７は、受光面の画素一単位ごとに露出条件の設定が可能であるが、例えば後述する図２の画面２０１に対応するように、撮像素子部１０１の受光面を等分割（ここでは、４×４の１６分割）した単位領域２０３ごとに露出条件を設定してもよい。以下、条件設定部１０７は、受光面の部分領域ごとに露出条件を設定するものとして説明を行う。

また、条件設定部１０７は、露出条件の異なる領域間に露出段差を設定する。本実施形態に係る露出段差とは、受光面において露出条件の異なる、隣接する領域間の境界部のことである。露出段差においては、露出条件の差に基づく明るさの違いによりエッジが生じやすい。そのため条件設定部１０７は、受光面から、露出段差を含まない部分領域を、コントラストＡＦにおいて画素値を参照する領域（ＡＦ領域）として設定する。なお、露出段差は、露出条件の異なる画素領域間の境界部のことを指す（すなわち、画素領域ではない）ものとするが、エッジ領域をより確実にＡＦ領域から外すために、例えばその境界部を中心として数画素分の幅の領域などの画素領域を露出段差としてもよい。

撮像装置１００は、ＡＦ領域の画素値に基づいた画像のコントラストに応じてコントラストＡＦを行う。具体的には、撮像装置１００は、レンズ１０２の位置を焦点調節範囲にわたって調整しながら撮像を行い、ＡＦ領域内の画像信号から高周波成分を抽出して、合焦のためのコントラストの評価値（以下、コントラスト評価値）を逐次算出する。次いで撮像装置１００は、逐次算出されるコントラスト評価値が最大になるレンズ１０２の位置を合焦位置として設定する。

レンズ制御部１０６は、コントラストＡＦのためにレンズ１０２の位置を制御する。映像処理部１０３は、レンズ１０２の位置ごとに撮像素子部１０１による画像データを取得し、ＡＦ領域内の出力画像信号を演算部１０５へと送信する。演算部１０５は、レンズ１０２の位置ごとに、ＡＦ領域の出力画像信号から合唱のためのコントラスト評価値を算出する。次いで演算部１０５は、算出したコントラスト評価値が最大になるレンズ１０２の位置を合焦位置として設定し、その合焦位置へのレンズ制御部１０６によるレンズ位置の制御が行われる。

本実施形態においては、ＡＦ領域の出力画像信号のコントラスト評価値に基づいてオートフォーカスが行われる。コントラスト評価値は、ＡＦ領域内のコントラストの高低を評価するための画像内パラメータである。コントラスト評価値としては、一般的なコントラスト評価手法において用いられる任意のパラメータが用いられてよいものとするが、以下、本実施形態に係るコントラスト評価値は、ＡＦ領域の出力画像信号の高周波成分の和であるものとして説明を行う。

図２は、本実施形態に係る出力部１０４によってクライアント装置１１０に送信されてユーザに表示される、条件設定部１０７が設定した露出条件に基づく画像データの、クライアント装置１１０のＵＩ上での表示例である。本実施形態においては、露出条件としてアナログゲインの値（以下、これを単にゲインと呼ぶ）が設定されるが、上述の通り露出時間などの異なる条件が用いられてもよい。図２の例では、上述のように画面２０１を１６分割した単位領域２０３ごとに条件設定部１０７が露出条件を設定しており、画面２０１は、ゲインの値が低いほど色が濃くなるよう、露出条件に応じた色分けによって表示されている。領域２０４～２０７は、そのそれぞれが領域内に同一のゲインが設定されている領域（以下、これをゲイン領域と呼ぶ）である。

条件設定部１０７は、ゲイン領域２０４～２０７それぞれの境界部に、露出段差２１０を設定している。図２の例で条件設定部１０７は、画面２０１上にＡＦ領域として領域２０２を設定しているが、この領域２０２は領域内に露出段差２１０を含んでいる。露出段差を含む領域を参照してコントラストＡＦを行う場合、露出段差のエッジにより、算出されるコントラスト評価値が意図せず高くなってしまうことが多い。したがって、露出段差を含まないようにＡＦ領域を設定してコントラストＡＦを行うことにより、ＡＦの合焦精度を向上させることが可能となる。なお、後述する図４～５、図７～１０、及び図１２～１４において示される画面においても、画面上の各領域に図２と同様の露出条件が設定されているものとする。

ここで、条件設定部１０７は、露出段差の異なる領域間の境界部全てを露出段差として設定してもよく、それらのうち条件を満たす境界部のみを露出段差とする条件を設けてもよい。例えば条件設定部１０７は、ゲインの差が軽微であり生じるエッジが無視できる程度である場合を考慮して、設定されたゲインの値に所定の閾値以上の差がある場合にのみ、それらの領域間の境界部を露出段差として設定するようにしてもよい。このような設定によれば、不要な露出段差の設定を省略し、処理の負荷を軽減することができる。以下、２つの領域が「同一露出条件」であるとは、領域間の露出条件の設定が同一である場合に加え、それらの設定の差が露出段差として設定を行うための条件を満たさない場合を含むものとして説明を行う。

この例では、ユーザがクライアント装置１１０の表示部１１２に表示されるＵＩ２０８を介して、画面２０１上にＡＦ領域を設定することができる。条件設定部１０７は、例えばユーザのタッチ操作に応じて、又はマウスを介したクリック操作に応じて、ＡＦ領域の設定を行ってもよい。ここで、条件設定部１０７は、ユーザの入力によって、領域内に出段差を含むＡＦ領域が設定される場合に、ユーザにその旨を伝える通知を行うことでＡＦ領域の再設定を促してもよく、ユーザ入力に従いつつ露出段差を含まないようにＡＦ領域を設定してもよい。また、画面２０１にはＡＦ設定枠１０９が表示されており、ユーザがＡＦ設定枠１０９を介した操作を行うことにより、ＡＦ領域の設定をマニュアルで行うか自動（オート）で行うかの選択を行うことができる。ＡＦ領域は、ユーザの入力に応じて、ユーザの入力から所定の期間だけ画面２０１上に枠線（例えば点線、若しくは実線、又は明滅表示される線）と共に表示されてもよい。または、ＡＦ領域はＡＦ領域の設定終了まで枠線と共に表示されてもよく、ＡＦ領域の表示を行わずにＡＦのみが行われてもよい。

ＡＦ領域の設定を自動で行う場合、条件設定部１０７は、露出段差を含まないように自動で取得した受光面上の部分領域を、ＡＦ領域として設定する。この場合、条件設定部１０７は、注目領域からＡＦ領域を設定してもよく、受光面全体から無作為に取得した部分領域をＡＦ領域として設定してもよい。本実施形態においては、注目領域は、ユーザによって指定された領域であってもよく、撮像装置１００が撮像画像内の被写体の追尾機能を有する場合に追尾する被写体が位置している領域であってもよく、合焦を行うことを期待される領域であれば特に限定されない。

撮像装置１００が被写体の追尾機能を有しており、追尾中の被写体が露出段差上に位置している場合には、条件設定部１０７は、被写体の追尾位置に基づいてＡＦ領域を設定することができる。例えば、条件設定部１０７は、被写体の追尾位置をＡＦ領域としてもよく、被写体が露出段差上に移動する直前に位置していたゲイン領域の全体又は一部をＡＦ領域として設定してもよい。また、条件設定部１０７は、露出段差上に存在する被写体が次に移動するゲイン領域を推定し、その推定したゲイン領域の全体又は一部をＡＦ領域として設定してもよい。ここで、条件設定部１０７は、被写体が次に移動するゲイン領域を、公知の追尾技術によって、露出段差を跨いで被写体が位置する複数のゲイン領域のうちから推定することができる。ＡＦ領域の設定をマニュアルで行う場合の処理は後述する。

図１３は、被写体を追尾する撮像装置１００による、被写体の追尾位置に応じて決定されるＡＦ領域を説明するための図である。この図では、ＵＩ２０８上に追尾を行うか否かのモード選択を行うプルダウンのリストが表示され、ユーザによって、追尾を行うモードが選択されている。図１３においては、ゲイン領域２０６からゲイン領域２０４への方向に移動している被写体１３０１が、ゲイン領域２０６を構成する単位領域内に位置している。したがって条件設定部１０７は、ゲイン領域２０６の被写体１３０１が位置する単位領域内にＡＦ領域１３０２を設定している。

以下、図３～図５を参照して、本実施形態に係る撮像装置１００が行う、露出条件の異なる部分領域を少なくとも２つ以上含む映像を撮像する場合のＡＦ領域の設定処理についての説明を行う。なお、この例においては、上述のように露出条件の異なる部分領域が少なくとも２つ以上設定されるが、受光面全体の露出条件が同一に設定される場合には、通常のコントラストＡＦが行われる（すなわち、露出段差の設定が行われない）。

図３は、本実施形態に係る撮像装置１００による処理の一例を示すフローチャートである。Ｓ３０１で条件設定部１０７は、撮像素子部１０１の露出条件を、受光面の部分領域ごとに設定する。

Ｓ３０２で条件設定部１０７は、イメージセンサの受光面の全領域に対して露出条件を設定したか否かを判断する。設定している場合には処理がＳ３０３へと進み、そうでない場合には処理はＳ３０１へと戻る。

Ｓ３０３で条件設定部１０７は、受光面上に同一露出条件となる領域をそれぞれ設定する。図２の例では、条件設定部１０７は、領域２０４～２０７を、それぞれ同一露出条件であるとして設定している。

Ｓ３０４で条件設定部１０７は、同一露出条件である各領域に基づいて、露出段差の設定を行う。図２の例では、条件設定部１０７は、領域２０４～領域２０７のそれぞれの境界を、露出段差２１０として設定している。上述したように、条件設定部１０７は、領域間の露出条件が所定の閾値よりも小さい場合には、その境界部に露出段差の設定を行わなくてもよい。

Ｓ３０５で条件設定部１０７は、ＡＦ領域の設定を自動で行うかマニュアルで行うかの判別を行う。この例では、条件設定部１０７は、図２のＡＦ設定枠２０９へのユーザ入力を参照することによって判別を行うが、例えばＡＦ領域の設定は初期設定としてマニュアル（又は自動）で行うものと設定されていてもよい。ＡＦ領域の設定を自動で行う場合には処理がＳ３０６へと進み、マニュアルで行う場合処理はＳ３０７へと進む。

Ｓ３０６で条件設定部１０７は、露出段差を含まないように自動でＡＦ領域の設定を行い、処理をＳ３１１へと進める。ステップＳ３０７で条件設定部１０７は、露出段差をユーザに提示し、処理をＳ３０８へと進める。条件設定部１０７は、例えば図２に示すように、露出段差２１０を点線表示によって提示してもよいが、例えば所定色（赤色など）の線による表示など、ユーザに認識される表示形式であればその提示の方法は特に限定はされない。なお、Ｓ３０７を省略し、露出段差の表示を行わずにＡＦ領域の設定処理に進んでもよい。

Ｓ３０８で条件設定部１０７は、クライアント装置１１０からユーザの入力を取得し、取得した入力に基づいてＡＦ領域の設定を行う。Ｓ３０９で条件設定部１０７は、Ｓ３０８で設定したＡＦ領域が、領域内に露出段差を含んでいるか否かを判定する。露出段差を含んでいる場合には処理がＳ３１０へと進み、含んでいない場合には処理はＳ３１１へと進む。

Ｓ３１０で条件設定部１０７は、設定されるＡＦ領域内に露出段差が含まれている旨をユーザに通知し、ＡＦ領域の再設定を促す。図４は、Ｓ３１０において表示されるメッセージの一例を示す図である。図４の例では、ＵＩ２０８上に「ＡＦ領域を再設定してください」とＡＦ領域の再設定を促すメッセージが表示されている。なお、条件設定部１０７によるＡＦ領域の再設定を促す方法はこれには限定されず、例えば音声による通知を行ってもよく、設定に失敗したことを示す表示（例えば、×表示など）を行って再び設定画面へと戻してもよい。次いで、処理はＳ３０８へと戻り、図５のようにＡＦ領域が同一露出条件の領域内で設定されるまで、Ｓ３０８～Ｓ３１０の処理が繰り返される。図５は、図２の画面上において同一露出条件の領域２０６内にＡＦ領域５０１が設定された場合を示す図である。

Ｓ３１１で演算部１０５は、ＡＦ領域の出力画像信号からコントラスト評価値を算出し、レンズ制御部１０６は、算出されるコントラスト評価値が最も高くなる位置にレンズ１０２を駆動させる。

このような処理によれば、露出段差の位置を避けてＡＦ領域を設定することができる。したがって、ＡＦのコントラスト評価値の算出においてノイズとなる露出段差位置のエッジによる高周波成分を避けることができるため、合焦精度を向上させることが可能となる。

［実施形態２］
実施形態１に係る撮像装置は、露出段差を含まないようにＡＦ領域を設定し、ＡＦ領域の出力画像信号からコントラスト評価値を算出してＡＦを行った。本実施形態に係る撮像装置は、ユーザによるＡＦ領域の指定を取得し、指定された領域を補正することによりＡＦ領域を設定する。ここでは、条件設定部１０７が、指定された領域が露出段差を領域内に含んでいる場合に、その露出段差を含まないように補正した領域をＡＦ領域として設定する。本実施形態においては、撮像装置１００及びクライアント装置１１０は図１に示されるものと同様の構成を有する。また、露出段差の設定処理と、ＡＦ領域の設定から後続する処理とについては実施形態１と同様に行われるため、重複する説明は省略する。

本実施形態においては、クライアント装置１１０の操作部１１３を介して、ユーザがＡＦ領域の指定を入力する。次いで条件設定部１０７は、ユーザ入力によって指定されたＡＦ領域（指定領域）に基づいて、露出段差が領域内に含まれないＡＦ領域を設定する。ここでは、条件設定部１０７は、指定領域が領域内に露出段差を含んでいない場合には、指定領域をそのままＡＦ領域として設定してもよい。一方で、指定領域が領域内に露出段差を含んでいる場合には、条件設定部１０７は、領域内に露出段差が含まれないように指定領域を補正することにより、ＡＦ領域の設定を行う。

以下、基本的には指定領域が露出段差を含んでいるものとして説明を行う。条件設定部１０７は、イメージセンサの受光面において、指定領域とゲイン領域とが重複する領域を抽出し、抽出した領域をＡＦ領域として設定することができる。また、条件設定部１０７は、指定領域が、２つ以上のゲイン領域と重複する領域を有している場合には、そのうちの１つのゲイン領域と重複する領域をＡＦ領域としてもよく、そのうちの複数のゲイン領域それぞれと重複する領域をＡＦ領域として設定してもよい。ＡＦ領域を複数設定する場合については、実施形態３において詳細な説明を行う。また、ここで条件設定部１０７は、指定領域とゲイン領域との重複する領域全体をＡＦ領域として設定してもよく、露出段差による影響を受ける可能性を低減するために、露出段差を構成する境界部から所定数の画素幅を除いた領域をＡＦ領域として設定してもよい。

図７は、本実施形態に係る条件設定部１０７が指定領域に基づいてＡＦ領域を設定する例を説明するための図である。図７においては、ＡＦ領域としてＡＦ領域７０１が設定されている。ここで、指定領域としては図２における領域２０２が指定されており、領域２０２は露出段差２１０を含んでいる。したがって、条件設定部１０７は、領域２０２とゲイン領域２０４との重複する領域７０２をＡＦ領域として設定している。

また、条件設定部１０７は、指定領域とゲイン領域とが重複する領域が所定の条件を満たす場合に、その領域をＡＦ領域として設定してもよい。以下、条件を満たす領域をＡＦ領域として設定する例について説明する。例えば、条件設定部１０７は、指定領域とゲイン領域とが重複する領域が閾値以上の面積を有する場合に、その領域をＡＦ領域として設定してもよい（なお、ここでの面積は受光面上での面積であるものとする）。ここで設定される面積の閾値の設定は特に限定されない。例えば、面積の閾値は、ユーザが所望の値として設定してもよく、そのゲイン領域の半分以上の面積であってもよく、各ゲイン領域と指定領域とが重複する領域の面積の平均（指定領域の面積／指定領域と重複する領域を有するゲイン領域の数）であってもよい。この場合、条件設定部１０７は、指定領域とゲイン領域とが重複する領域のいずれも面積が閾値未満となる場合には、ＡＦ領域の再設定を促す旨の通知をユーザに行う。ＡＦ領域の面積を十分に確保することにより、ＡＦ領域から算出されるコントラスト評価値の信頼性を向上させることが可能となる。

また例えば、条件設定部１０７は、指定領域とゲイン領域とが重複する領域が複数存在する場合に、その中で最も面積が大きい領域をＡＦ領域として設定してもよい。図８は、そのように最も面積の大きい領域がＡＦ領域として設定される一例を説明するための図である。図８（ａ）は指定領域８０１を点線で示す図であり、図８（ｂ）は指定領域８０１に基づいて設定されるＡＦ領域８０２を示す図である。指定領域８０１は、ゲイン領域２０４～２０６の３つと重複している。ここで、条件設定部１０７は、それらの３つのゲイン領域から、指定領域との重複する領域が最も大きい領域としてゲイン領域２０４を選択し、指定領域８０１とゲイン領域２０４とが重複する領域をＡＦ領域８０２として設定している。

また例えば、条件設定部１０７は、指定領域と重複するゲイン領域の露出の条件（ここでは、ゲインの量）が閾値よりも小さい場合に、そのゲイン領域と指定領域とが重複する領域をＡＦ領域として設定してもよい。ここで設定されるゲインの閾値は、ユーザが所望の値として設定してもよく、各ゲイン領域のゲインの量の平均値であってもよく、指定領域内のゲインの平均値であってもよく、特に限定はされない。この場合、条件設定部１０７は、指定領域と重複する領域を有するゲイン領域のいずれにも閾値以上のゲインの量が設定されている場合には、ＡＦ領域の再設定を促す旨の通知をユーザに行う。ＡＦ領域のゲインの値を十分に小さくすることにより、ゲインが大きすぎることを原因としてコントラストが正常に評価できなくなる可能性を低減することが可能となる。

また例えば、条件設定部１０７は、指定領域とゲイン領域とが重複する領域が複数存在する場合に、複数のゲイン領域の中で最もゲインの量が小さい領域と指定領域とが重複する領域をＡＦ領域として設定してもよい。さらに例えば、条件設定部１０７は、各ゲイン領域のうちの注目領域であるゲイン領域と指定領域とが重複する領域を、ＡＦ領域として設定してもよい。また、条件設定部１０７は、複数のゲイン領域のうちユーザが選択した領域と指定領域とが重複する領域をＡＦ領域として設定してもよい。

なお、条件設定部１０７は、上述したこれらの条件を１つ満たす領域をＡＦ領域として設定してもよく、これらの条件を複数満たす領域をＡＦ領域として設定してもよい。図９は、指定領域とゲイン領域とが重複する領域のうち、面積が閾値以上であり、かつゲインの値が最も小さい領域をＡＦ領域として設定する例を示す図である。図９（ａ）は指定領域９０１を点線で示す図であり、図９（ｂ）は指定領域９０１に基づいて設定されるＡＦ領域９０２を示す図である。指定領域９０１は、ゲイン領域２０４～２０６の３つと重複している。ここで、それらの３つゲイン領域のうち、指定領域との重複する領域が面積が閾値以上となるのは領域２０４と領域２０６との二つであり、そのうちで最もゲインの値の小さい領域２０６と指定領域とが重複する領域がＡＦ領域９０２として設定されている。

ここでは、指定領域からゲイン領域と重複している領域をＡＦ領域として抽出する例、すなわち指定領域を縮小することによってＡＦ領域として補正する例について説明を行った。しかしながら条件設定部１０７は、補正として、指定領域を拡大することによってＡＦ領域を設定してもよい。これは、指定領域をそのまま拡大する処理であってもよく、指定領域から抽出された、指定領域とゲイン領域とが重複する領域を拡大する処理であってもよい。以下、このように補正した指定領域を拡大する処理も含めて「指定領域を拡大する」処理と呼ぶものとする。

条件設定部１０７は、例えば、ユーザによるＡＦ領域の拡大指示を取得した場合に指定領域を拡大してもよく、指定領域が拡大される条件を満たす場合に拡大してもよい。ここで、指定領域が拡大される条件は特に限定されないが、例えば、指定領域の面積が所定の値以下である場合など、指定された領域でのＡＦの精度の向上が見込める場合であってもよい。また、ユーザによるＡＦ領域の拡大指示は、例えばＵＩ２０８上に設けられた拡大の実行ボタン（不図示）の押下として取得されてもよい。また例えば、ＡＦ領域の拡大指示は、画面２０１に対するユーザの入力（例えば、カーソルを用いたドラッグ操作又はタッチパネルを介したスワイプ操作による領域の指定）によって取得されてもよい。

条件設定部１０７は、指定領域を、領域内に露出段差を含まないように拡大し、ＡＦ領域として設定する。ここで、条件設定部１０７は、ユーザの入力に従って指定領域を拡大してもよく、（例えば指定領域が重複しているゲイン領域全体がＡＦ領域となるように）自動で指定領域を拡大してもよい。図１０は、そのように拡大される指定領域の一例を説明するための図である。図１０（ａ）では、ＡＦ領域１００１に対して、ユーザから領域１００２へと拡大する指示が入力されてる。図１０（ａ）の例では、全領域において露出の条件が均一に設定されているため、領域１００２においても全域にわたって露出条件は均一となる。したがって、条件設定部１０７は、ＡＦ領域を領域１００２へと設定する。一方で、図１０（ｂ）では、領域１００２は複数のゲイン領域を跨いでいるため、ＡＦ領域は領域１００２へと拡大はされない。そのため、条件設定部１０７は、ＡＦ領域１００１の拡大指示に対して、その拡大範囲をゲイン領域２０４内に制限し、領域１００３をＡＦ領域として設定している。これは、領域１００１から最大限に拡大されたＡＦ領域を示す例であり、例えば、露出段差２１０を構成する境界部から所定数の画素幅をＡＦ領域１００３から除いた領域をＡＦ領域として設定するなど、所望の条件を満たすように補正が行われてもよい。

図６は、本実施形態に係る撮像装置１００による処理の一例を示すフローチャートである。図６の処理は、Ｓ３０７に後続する処理としてＳ６０１が追加され、Ｓ３０８及びＳ３１０に代わってそれぞれＳ６０２及びＳ６０３の処理が行われることを除き、実施形態１の図３に示される処理と同様に行われるため、重複する説明は省略する。

Ｓ６０１で撮像装置１００は、クライアント装置１１０を介してユーザによる指定領域の入力を取得する。続くＳ６０２で条件設定部１０７は、取得した指定領域を参照してＡＦ領域の設定を行い、処理をＳ３０９へと進める。ここでは、例えば上述したように、指定領域を補正することによってＡＦ領域の設定が行われる。

Ｓ３０９でＡＦ領域に露出段差が含まれていると判断された場合であるＳ６０３で、条件設定部１０７は、露出段差を含まないようにＡＦ領域を縮小（補正）する。例えば条件設定部１０７は、上述したように、ゲイン領域と重複する領域を抽出することにより、ＡＦ領域を補正することができる。Ｓ６０３の後、処理はＳ３１１へと進む。

このような処理によれば、ユーザによって指定された領域を補正し、露出段差を含まないＡＦ領域を設定することができる。したがって、ＡＦのコントラスト評価値の算出においてノイズとなる露出段差位置のエッジによる高周波成分を避けることができるため、合焦精度を向上させることが可能となる。また、指定領域を補正することにより、面積、又は露出の条件が所定の条件を満たすようにＡＦ領域の設定を行うことで、より適した条件でＡＦを行うことができる。

なお、条件設定部１０７は、指定領域が露出段差を領域内に含んでいる場合に、ＡＦのコントラスト評価値算出時にのみその指定領域の全域にわたって露出の条件を均一に変更することにより、指定領域をそのままＡＦ領域として設定してもよい。すなわち、条件設定部１０７は、コントラスト評価値の算出時に一時的に露出段差を消すことにより、領域内に露出段差を含まないＡＦ領域の設定を行ってもよい。このように処理を行うことで、ユーザが指定した領域を用いて、露出段差を含まないＡＦ領域を設定してＡＦの処理を行うことが可能となる。

［実施形態３］
実施形態１及び２においては、ＡＦ領域を１つ設定した後に、そのＡＦ領域のコントラスト評価値が最も高くなるレンズ位置へとレンズを制御することによってＡＦを行った。本実施形態に係る撮像装置１００は、ＡＦ領域を複数設定し、設定した複数のＡＦ領域それぞれのコントラスト評価値に基づいてＡＦを行う。

本実施形態に係る条件設定部１０７は、実施形態２と同様に指定領域を取得する。次いで、その指定領域が露出段差を領域内に含んでいる場合に、指定領域に基づいて、領域内に露出段差を含まないＡＦ領域を複数設定する。ここでは、条件設定部１０７は、例えば指定領域が２つ以上のゲイン領域と重複する領域を有する場合に、そのゲイン領域それぞれについて、実施形態２と同様にして指定領域と重複している領域を抽出する。次いで条件設定部１０７は、抽出した各領域のうちの複数をＡＦ領域として選択して、そのそれぞれから算出されるコントラスト評価値に基づいてＡＦの制御を行う。ここで条件設定部１０７は、指定領域と重複する領域を有するゲイン領域全てからＡＦ領域を設定してもよく、ゲインの値、又は指定領域と重複する領域の面積などに閾値を設け、閾値に対する条件を満たす領域のみをＡＦ領域として設定してもよい。ここのゲインの値の閾値と面積の閾値とは実施形態２のものと同様に設定されるものとするが、実施形態２のものとは別の値として設定されてもよい。

本実施形態に係る演算部１０５は、複数のＡＦ領域の出力画像信号からコントラスト評価値を算出し、レンズ制御部１０６は、算出されるコントラスト評価値が最も高くなる位置にレンズ１０２を駆動させる。演算部１０５は、例えば複数のＡＦ領域それぞれから実施形態１と同様にしてコントラスト評価値を算出して、算出したそれぞれの値に基づいて本実施形態に係るコントラスト評価値を算出してもよい。例えば、演算部１０５は、ＡＦ領域それぞれから算出されるコントラスト評価値の平均値、中央値、又は受光面におけるＡＦ領域の面積に応じた重みづけによる加重平均値などを、ＡＦに用いるコントラスト評価値として用いることができる。

図１２は、ＡＦ領域を複数設定する例を説明するための図である。ここでは、指定領域としては図２における領域２０２が指定されており、領域２０２は露出段差を含んでいる。したがって、条件設定部１０７は、領域２０２とゲイン領域２０４とが重複する領域をＡＦ領域１２０１として、領域２０２とゲイン領域２０６とが重複する領域をＡＦ領域１２０２として設定している。この図の例では、領域２０２を分割して露出段差を含まない２つのＡＦ領域が設定されているが、指定領域をそのままＡＦ領域とし、ＡＦのコントラスト評価値算出時にのみＡＦ領域内の露出の条件が均一に変更されてもよい。

また、撮像装置１００が被写体の追尾機能を有しており、追尾中の被写体が露出段差上に位置している場合には、条件設定部１０７は、被写体の追尾位置に基づいて、露出段差を跨いで被写体が位置する複数のゲイン領域から複数のＡＦ領域を設定してもよい。例えば条件設定部１０７は、被写体が露出段差上に移動する直前に位置していたゲイン領域と、露出段差上に存在する被写体が次に移動すると推定されるゲイン領域と、のそれぞれからＡＦ領域を設定することができる。被写体が直前に位置していたゲイン領域を参照してＡＦを行う場合には、被写体が露出段差上を移動している間もピント位置を維持することが可能となる。また、被写体が移動すると推定されるゲイン領域を参照してＡＦを行う場合には、ピント位置を、露出段差上から移動した後の被写体にピントが焦点が合う位置に合わせることができる。これらの領域を両方用いてＡＦ領域を行う場合には、被写体の露出段差上への移動前と移動後との両方を考慮した上で合唱を行うことが可能となる。

図１４は、被写体を追尾する撮像装置１００による、被写体の追尾位置に応じて決定されるＡＦ領域を説明するための図である。図１４においては、図１３と同様の被写体１３０１が、ゲイン領域２０６とゲイン領域２０４との境界部（露出段差２１０）に位置している。この場合、条件設定部１０７は、被写体１３０１が露出段差２１０上に位置する直前に位置していたゲイン領域２０６にＡＦ領域１４０１を設定してもよい。また条件設定部１０７は、追尾結果に基づいて次に被写体１３０１が移動することが推定されるゲイン領域２０４にＡＦ領域１４０２を設定してもよく、ＡＦ領域１４０１とＡＦ領域１４０２との両方を用いてＡＦを行ってもよい。

以下、図１１を参照して本実施形態に係る撮像装置１００が行う処理について説明を行う。図１１は、本実施形態に係る撮像装置１００による処理の一例を示すフローチャートである。図１１の処理は、Ｓ６０３に代わって、Ｓ３０９に後続する処理としてＳ１１０１～Ｓ１１０３が行われることを除き、実施形態２の図６に示される処理と同様に行われるため、重複する説明は省略する。

Ｓ３０９で条件設定部１０７は、Ｓ６０２で設定したＡＦ領域が、領域内に露出段差を含んでいるか否かを判定する。露出段差を含んでいる場合には処理がＳ１１０１へと進み、含んでいない場合には処理はＳ３１１へと進む。

Ｓ１１０１で条件設定部１０７は、Ｓ６０２で設定したＡＦ領域に基づいて、ＡＦ領域を複数に設定する。条件設定部１０７は、例えば図１２に示されるようにＡＦ領域（指定領域）を分割して複数のＡＦ領域を設定する。

Ｓ１１０２で条件設定部１０７は、設定した複数のＡＦ領域それぞれからコントラスト評価値を算出する。この処理では、ＡＦ領域それぞれに対してＳ３１１と同様の計算が行われる。

Ｓ１１０３で条件設定部１０７は、Ｓ１１０２で算出したコントラスト評価値それぞれに基づいて、ＡＦに用いるコントラスト評価値を算出する。上述したように、条件設定部１０７は、例えば各評価値の平均値などを、最終的なコントラスト評価値として算出することができる。レンズ制御部１０６は、Ｓ１１０３で算出されるコントラスト評価値が最も高くなる位置にレンズ１０２を駆動させる。

このような処理によれば、露出段差の位置を避けるように、複数のＡＦ領域を設定することができる。したがって、ＡＦのコントラスト評価値の算出においてノイズとなる露出段差位置のエッジによる高周波成分を避けることができるため、合焦精度を向上させることが可能となる。

［実施形態４］
上述の実施形態においては、例えば図１等に示される各処理部は、上述したように例えば情報処理装置としてのカメラなど、専用のハードウェアによって実現される。しかしながら、撮像装置１００（及び、クライアント装置１１０）の有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

図１５はコンピュータの基本構成を示す図である。図１５においてプロセッサ１５０１は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１５０２は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１５０３は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１５０３が格納している、各部の機能を実現するプログラムが、メモリ１５０２へと読み出される。そして、プロセッサ１５０１が、メモリ１５０２上のプログラムに従って動作することにより、各部の機能が実現される。

図１５において、入力インタフェース１５０４は外部の装置から情報を取得するためのインタフェースである。入力インタフェース１５０４は、クライアント装置１１０が撮像装置１００の外部の装置である場合に、クライアント装置１１０からユーザによって入力された情報を取得してもよい。また、出力インタフェース１５０５は外部の装置へと情報を出力するためのインタフェースである。バス１５０６は、上述の各部を接続し、データのやりとりを可能とする。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：撮像素子部、１０２：レンズ、１０３：映像処理部、１０４：出力部、１０５：演算部、１０６：レンズ制御部、１０７：条件設定部、１０８：入力部、１１０：クライアント装置、１１１：入力部、１１２：表示部、１１３：操作部、１１４：入力部

Claims (19)

1. イメージセンサの受光面の部分領域ごとに露出の条件を設定することが可能な撮像装置のオートフォーカスを行う情報処理装置であって、
   前記受光面に、第１の露出の条件で撮像を行う第１の部分領域と、前記第１の部分領域と隣接する、前記第１の露出の条件とは異なる第２の露出の条件で撮像を行う第２の部分領域と、を設定する第１の設定手段と、
   前記第１の部分領域と前記第２の部分領域との境界部である露出段差を含まない第３の部分領域を、前記オートフォーカスに用いる領域として設定する第２の設定手段と、
   前記第３の部分領域の画像信号に基づく画像のコントラストに応じて、前記撮像装置のオートフォーカスを制御する制御手段と、
   を備えることを特徴とする、情報処理装置。
2. 前記第１の露出の条件及び第２の露出の条件が、露出時間又はゲインの値であり、
   前記第１の露出の条件と前記第２の露出の条件との差が所定の閾値以上であることを特徴とする、請求項１に記載の情報処理装置。
3. 前記オートフォーカスに用いる領域を指定するユーザ入力を取得する第１の取得手段をさらに備え、
   前記第２の設定手段は、前記露出段差を含まない前記第３の部分領域を、前記ユーザ入力に基づいて設定することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記第２の設定手段は、前記ユーザ入力により、前記受光面において前記露出段差を含む第４の部分領域が指定されている場合に、前記露出段差が領域内に含まれないように前記第４の部分領域を補正した領域を、前記第３の部分領域として設定することを特徴とする、請求項３に記載の情報処理装置。
5. 前記第２の設定手段は、前記第４の部分領域と前記第１の部分領域との重複する領域と、前記第４の部分領域と前記第２の部分領域との重複する領域とのうち、所定の面積を超える領域が存在する場合に、前記所定の面積を超える領域を前記第３の部分領域として設定することを特徴とする、請求項４に記載の情報処理装置。
6. 前記第２の設定手段は、前記第４の部分領域と前記第１の部分領域との重複する領域と、前記第４の部分領域と前記第２の部分領域との重複する領域とのうち、より面積の大きい領域を前記第３の部分領域として設定することを特徴とする、請求項４又は５に記載の情報処理装置。
7. 前記第２の設定手段は、前記第４の部分領域と前記第１の部分領域との重複する領域と、前記第４の部分領域と前記第２の部分領域との重複する領域とのうち、ゲインの量が所定の閾値よりも小さい領域が存在する場合に、前記ゲインの量が前記所定の閾値よりも小さい領域を前記第３の部分領域として設定することを特徴とする、請求項４に記載の情報処理装置。
8. 前記第２の設定手段は、前記第４の部分領域と前記第１の部分領域との重複する領域と、前記第４の部分領域と前記第２の部分領域との重複する領域とのうち、ゲインの量がより小さい領域を前記第３の部分領域として設定することを特徴とする、請求項４又は７に記載の情報処理装置。
9. 前記オートフォーカスに用いる領域を、前記第３の部分領域から拡大するユーザの指示を取得する第２の取得手段をさらに備え、
   前記制御手段は、前記第２の取得手段が取得したユーザの指示に基づいて前記第３の部分領域から拡大された前記受光面の第５の部分領域の、画像信号に基づく画像のコントラストに応じて、前記撮像装置のオートフォーカスを制御することを特徴とする、請求項１乃至８の何れか一項に記載の情報処理装置。
10. 前記オートフォーカスに用いる領域を指定するユーザ入力を取得する第３の取得手段をさらに備え、
    前記制御手段は、前記第３の取得手段が取得したユーザ入力により、前記受光面において前記露出段差を含む第６の部分領域が指定されている場合に、前記第６の部分領域の全域にわたって露出の条件を均一に設定した場合の前記第６の部分領域の画像信号に基づく画像のコントラストに基づいて、前記撮像装置のオートフォーカスを制御することを特徴とする、請求項１又は２に記載の情報処理装置。
11. 前記第２の設定手段は、前記オートフォーカスに用いる領域として、前記第３の部分領域とは異なる、前記露出段差を含まない前記受光面の第７の部分領域をさらに設定し、
    前記制御手段は、前記第３の部分領域の画像信号に基づく画像のコントラストと、前記第７の部分領域の画像信号に基づく画像のコントラストと、に応じて、前記撮像装置のオートフォーカスを制御することを特徴とする、請求項１乃至１０の何れか一項に記載の情報処理装置。
12. 前記制御手段は、前記第３の部分領域の画像信号に基づく画像のコントラストの評価値と、前記第７の部分領域の画像信号に基づく画像のコントラストの評価値と、の平均値が最大となるように、前記撮像装置のレンズの位置を調整することにより、前記撮像装置のオートフォーカスを制御することを特徴とする、請求項１１に記載の情報処理装置。
13. 前記撮像装置による撮像画像内の被写体を追尾する追尾手段をさらに備え、
    前記第２の設定手段は、前記第３の部分領域を、前記受光面の前記被写体の領域から設定することを特徴とする、請求項１又は２に記載の情報処理装置。
14. 前記第２の設定手段は、前記被写体が前記露出段差上に位置する場合に、前記第３の部分領域を、前記第１の部分領域と前記第２の部分領域とのうち、前記被写体が前記露出段差上に移動する直前に位置していた部分領域から設定することを特徴とする、請求項１３に記載の情報処理装置。
15. 前記被写体が前記露出段差上に位置する場合に、前記第１の部分領域と前記第２の部分領域とのうちから、前記被写体が次に移動する部分領域を推定する推定手段をさらに備え、
    前記第２の設定手段は、前記推定手段によって推定された、前記被写体が次に移動する部分領域から前記第３の部分領域を設定することを特徴とする、請求項１３に記載の情報処理装置。
16. 前記第２の設定手段は、前記第１の部分領域と前記第２の部分領域とのうちの、前記被写体が前記露出段差上に移動する直前に位置していた部分領域から、前記第３の部分領域とは異なる、前記露出段差を含まない前記受光面の第８の部分領域をさらに設定し、
    前記制御手段は、前記第３の部分領域の画像信号に基づく画像のコントラストと、前記第８の部分領域の画像信号に基づく画像のコントラストと、に応じて、前記撮像装置のオートフォーカスを制御することを特徴とする、請求項１５に記載の情報処理装置。
17. 前記情報処理装置は、前記撮像装置に内蔵されていることを特徴とする、請求項１乃至１６の何れか一項に記載の情報処理装置。
18. イメージセンサの受光面の部分領域ごとに露出の条件を設定することが可能な撮像装置のオートフォーカスを行う情報処理方法であって、
    前記受光面に、第１の露出の条件で撮像を行う第１の部分領域と、前記第１の部分領域と隣接する、前記第１の露出の条件とは異なる第２の露出の条件で撮像を行う第２の部分領域と、を設定する工程と、
    前記第１の部分領域と前記第２の部分領域との境界部である露出段差を含まない第３の部分領域を、前記オートフォーカスに用いる領域として設定する工程と、
    前記第３の部分領域の画像信号に基づく画像のコントラストに応じて、前記撮像装置のオートフォーカスを制御する工程と、
    を備えることを特徴とする、情報処理方法。
19. コンピュータを、請求項１乃至１７の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images