JP2023080960A - 撮像装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 像が歪む光学特性を有する撮像光学系によって歪んだ被写体の像を撮像する場合において、被写体の視認性を向上させる。
【解決手段】 撮像光学系２００による被写体の像を撮像する撮像部２０１であって、撮像面上の複数の画素からなる画素グループ毎に露光パラメータを設定可能な撮像部２０１と、撮像光学系２００による像の歪みに関する情報である歪情報を取得する取得部３０１と、取得部３０１が取得した歪情報に基づいて、画素グループの数、大きさおよび形状のうち少なくとも１つを決定する決定部３０２と、を有する撮像装置。
【選択図】 図１

Description

撮像装置、制御方法、プログラム及び記憶媒体に関する。

特許文献１には、画素又は画素グループ毎に露光条件を設定可能なイメージセンサにおいて、画像内の（水平ラインを１つの画素グループとして）水平ライン毎に露光条件を決定する技術が開示されている。

特開２０１５－１２４９０

本発明が解決しようとする課題は、魚眼レンズのように像が歪む光学特性を有する撮像光学系によって歪んだ被写体の像を上記イメージセンサが撮像する場合において、被写体の視認性を向上させることである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、撮像光学系による被写体の像を撮像する撮像部であって、撮像面上の複数の画素からなる画素グループ毎に露光パラメータを設定可能な撮像部と、前記撮像光学系による像の歪みに関する情報である歪情報を取得する取得部と、前記取得部が取得した前記歪情報に基づいて、前記画素グループ毎の大きさまたは形状を決定する決定部と、を有する。

本発明によれば、歪曲率を有する撮像光学系によって結像した像を上記イメージセンサ撮像する場合に、適切な画素グループの形状又はサイズを設定することができる。

第１の実施形態に係る撮像システムの一例を示す図。 第１の実施形態に係る撮像装置の装置構成の一例を示す図。 第１の実施形態に係る撮像装置の機能構成の一例を示す図。 第１の実施形態に係る撮像装置の撮像面の様子の一例を模式的に示す図。 第１の実施形態に係る撮像装置が撮像した画像と画素グループとの一例を模式的に示す図。 第１の実施形態に係る撮像装置の動作の一例を示すフローチャート。 第２の実施形態に係る撮像装置の機能構成の一例を示す図。 第２の実施形態に係る撮像装置が撮像した画像と閾値領域との一例を模式的に示す図。 第２の実施形態に係る撮像装置が撮像した被写体の輝度が変化した領域と閾値領域との一例を模式的に示す図。 第２の実施形態に係る撮像装置の動作の一例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
（システム構成）
図１は本実施形態に係る撮像システムの構成の一例を示す図である。撮像システム１００は撮像装置１０１、ネットワーク１０２、情報処理装置１０３、表示装置１０４及び入力装置１０５を有する。

撮像装置１０１は情報処理装置１０３とネットワーク１０２を介して通信可能である。撮像装置１０１は被写体を撮像して画像データを生成し、ネットワーク１０２を介して情報処理装置１０３へと画像データを送信する。

情報処理装置１０３には表示装置１０４及び入力装置１０５が接続されており、撮像装置１０１から受信した画像データは情報処理装置１０３を介して表示装置１０４へと出力され、撮像装置１０１が撮像した画像が表示装置１０４の表示部に表示される。また、入力装置１０５はキーボードやマウス等であり、情報処理装置１０３あるいは撮像装置１０１の操作情報を入力するためのインターフェースである。操作情報とは、例えば撮像装置１０１の撮像条件の指示やＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）の操作の指示などを含む。

本実施形態では、情報処理装置１０３、表示装置１０４及び入力装置１０５が別体としているが、タッチパネルディスプレイを有するノートＰＣのように情報処理装置１０３、表示装置１０４及び入力装置１０５が一体となった構成でもよい。また、ネットワーク１０２を介して接続されている必要はなく、監視カメラ１０１と情報処理装置１０３が直接接続される構成でもよい。さらに言えば、タッチパネルディスプレイを有するコンシューマカメラのように撮像装置１０１、情報処理装置１０３、表示装置１０４及び入力装置１０５の全てが一体となった構成でもよい。

（装置構成）
図２は本実施形態に係る撮像装置の構成の一例を示す図である。撮像装置１０１は、撮像部２０１、エンコーダ２０２、ネットワークＩ／Ｆ２０３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０６を有する。

撮像光学系２００は被写体からの光を撮像素子２０１の撮像面に集光するレンズであり、例えばズームレンズ、フォーカルレンズ及びぶれ補正レンズ等で構成される。本実施形態において、撮像光学系２００は撮像装置１０１と別体であり、着脱可能に設けられている。一方で、撮像光学系２００と撮像装置１０１とが一体となった構成でもよい。また、本実施形態では、撮像光学系２００は魚眼レンズのように中心射影方式でない射影方式を採用したレンズを前提とし、射影方式によって意図的に歪ませた像を撮像部２０１の撮像面へと導くものとする。しかしながら、本発明は、本実施形態に限定されるものではなく、そのほかの要因で像が歪んでいるようなケースにおいて適用可能である。

撮像部２０１は撮像光学系２００による被写体の像を撮像し、画像を生成する。撮像部２０１は、撮像素子２０１ａ、増幅器２０１ｂ及び画像処理部２０１ｃを有している。

撮像素子２０１ａは撮像光学系２００によって撮像面に集光された被写体からの光を画素毎に電気信号に変換して出力する。撮像素子２０１ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの光電変換素子からなる画素がマトリクス状に配列されたＩＣチップである。また、撮像面上の複数の画素（例えば、１２８×１２８の画素群）からなる画素グループを１単位として、画素グループ毎に露光パラメータを設定可能である。ここで露光パラメータとは、露光時間やアナログゲインなどの露光に関するパラメータであり、本実施形態においては、撮像素子２０１ａの画素グループ毎に異なる露光時間（電荷蓄積時間）を設定可能である。

増幅器２０１ｂは、撮像素子２０１ａから出力された電気信号を増幅して出力する。増幅器２０１ｂは画素毎に設けられる増幅回路（アンプ）であり、光電変換した信号電荷を増幅してから電気信号として出力する。また、増幅器２０１ｂの増幅率（アナログゲイン）は露光パラメータに含まれ、画素グループ毎に異なるアナログゲインで信号電荷を増幅させることができる。本実施形態において、撮像素子２０１ａと２０１ｂとを別体として記載しているが、撮像素子２０１ａと増幅器２０１ｂとは一体であってもよい。

画像処理部２０１ｃは、増幅器２０１ｂから出力されたアナログ信号である電気信号をデジタル信号へとＡ／Ｄ変換を行い、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む画像処理を行って、電子画像を生成する。画像処理部２０１ｃは、Ａ／Ｄ変換されたデジタル信号を画素または画素グループ毎に増幅・減退させることで、画像の明るさ補正を行う。なお、その増幅率（デジタルゲイン）も露光パラメータに含まれる。また、画像処理部２０１ｃは、撮像光学系２００によって歪んだ画像を補正する役割を果たす。

エンコーダ２０２は、撮像部２０１から出力された画像のデータを、Ｍｏｔｉоｎ ＪｐｅｇやＨ２６４、Ｈ２６５などの所定のファイルフォーマットに符号化処理を行う。

ネットワークＩ／Ｆ２０３は、エンコーダ２０２から符号化処理されたデータを、ネットワーク１０２を介して情報処理装置１０３へと送信する。なお、符号化処理されたデータは撮像装置１０１内の記憶装置（例えばＲＡＭ２０５やＲＯＭ２０６）や、ＳＤカードのような着脱可能な記憶媒体に記憶されてもよい。また、画像処理部２０１ｃで出力された後に送信／記憶されてもよく、その場合、画像データは符号化前のＲＡＷ（Ｒｅａｄ Ａｆｔｅｒ Ｗｒｉｔｅ）データが保存される。

ＣＰＵ２０４は監視カメラ１０１を統括制御する中央処理装置である。

ＲＡＭ２０５はＣＰＵ２０４実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２０５はＣＰＵ２０４が処理を実行する際に用いるワークエリアを提供する。またＲＡＭ２０５は、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２０６は、ＣＰＵ２０４が監視カメラ１０１を制御するためのプログラムなどを記憶する。

（機能構成）
図３は、本実施形態に係る撮像装置の機能の構成の一例を示す図である。図３に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能提供するためのプログラムがＲＯＭ２０６等のメモリに記憶される。そして、そのプログラムをＲＡＭ２０５に読み出してＣＰＵ２０４が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

撮像装置１０１は、撮像部２０１、取得部３０１、決定部３０２および制御部３０３を有する。

撮像部２０１は、撮像光学系２００による被写体の像を撮像する。また、撮像面上の複数の画素からなる画素グループ毎に露光パラメータを設定可能な撮像部である。露光パラメータは露光時間、アナログゲイン、デジタルゲイン及び露出値の少なくとも１つを含む露光に関するパラメータである。また、撮像部２０１に設定可能な画素グループの数には上限と下限を設定することができる。

取得部３０１は、撮像光学系２００による像の歪みに関する情報である歪情報を取得する。本実施形態において、歪情報は、撮像光学系２００による像の歪みをモデル化した際の歪係数や画像処理部２０１ｃによって、像の歪みを補正する際に用いられる補正係数のうち少なくとも１つを含む。例えば、撮像光学系２００のレンズ半径方向の歪みモデルにおいて、画像平面上の点（ｘ、ｙ）における半径方向の歪みによる移動量ｄｘ、ｄｙは以下の式で表される。
ｄｘ ＝ （ｋ_１ｒ^２ ＋ ｋ_２ｒ^２ ＋ ｋ_３ｒ^２）ｘ （１）
ｄｙ ＝ （ｋ_１ｒ^２ ＋ ｋ_２ｒ^２ ＋ ｋ_３ｒ^２）ｙ （２）
ここで、ｒは撮像光学系２００の光軸から：（ｘ、ｙ）までの距離、ｋ_１、ｋ_２、ｋ_３は半径方向の歪係数である。本実施形態では、このような歪係数を歪情報として用いる。歪情報は、撮像光学系２００から取得してもよいし、不図示の記憶部に記憶された歪情報を参照して取得してもよい。さらに、取得部３０１は、撮像部に設定されている画素グループの数の上限と下限との少なくとも１つを取得する。

決定部３０２は、取得部３０１が取得した歪情報と、画素グループの数の上限と下限との少なくとも１つと、に基づいて、撮像部２０１の画素グループ毎の大きさまたは形状を決定する。具体的に、どのような形状または大きさとするかは後述する。

制御部３０３は、決定部３０２が決定した各画素グループにそれぞれ適用される露光パラメータを制御する。より具体的には、各画素グループから出力される輝度に基づいて、露光パラメータを算出して制御する。

（動作説明）
図４、図５および図６を用いて、本実施形態に係る撮像装置の動作を説明する。図４は、本実施形態に係る撮像装置の撮像部における撮像面の一例を模式的に表した図である。図４（ａ）と図４（ｂ）とは、決定部３０２によって画素グループの大きさと形状とが決定する前と決定した後との撮像面をそれぞれ示している。撮像面４０１上の格子線は撮像部の各画素グループの境界線を示しており、画素グループ４０２は複数の画素から構成され、画素グループの１つで、斜線で示されている。本実施形態では、歪情報は撮像光学系２００による像の歪みをモデル化した際の歪係数である。従って、画素グループを画像平面上の点（ｘ，ｙ）とすると、式（１）および式（２）により像の歪みによる画素の移動量が得られるため、図４（ｂ）のような歪情報に基づいて、画素グループの大きさと形状とを決定することができる。

図５は本実施形態に係る撮像装置が撮像した画像の一例を示す図である。図５（ａ）と図５（ｂ）とは、決定部３０２によって画素グループの大きさと形状とが決定する前と決定した後との撮像される画像を示している。画像５０１および画像５０５上の格子線は撮像部の各画素グループに対応する画像領域を示している。この格子線は画像に表示されてもよいし、表示されなくてもよい。画像領域５０２と画像領域５０６とは撮像面上の画素グループに対応する画像領域の１つを示している。また、被写体５０３と被写体５０４とは実空間上では同じ大きさである。本実施形態では、魚眼レンズのように意図的に像を歪ませる射影方式によって、被写体の像の大きさが異なるように見えている。したがって、中心射影方式によって撮像された場合には、同じ大きさの被写体の像が撮像される。

図６は、本実施形態に係る撮像装置の動作の一例を示すフローチャートである。本フローチャートに示す動作は、ＲＡＭ２０５やＲＯＭ２０６のような記憶媒体に記憶されたプログラムをＣＰＵ２０４が読み出すことによって開始される。

ステップＳ６０１では、取得部３０１が、撮像光学系２００の歪情報と画素グループの数の上限と下限とを取得する。画素グループの数の上限はユーザまたは設計者によって自由に設定・変更が可能である。本実施形態では、歪情報として撮像光学系２００による被写体の像の歪み（光学特性）をモデル化し、その歪係数を取得する。画像処理部２０１ｃが被写体の像の歪みを補正する歪曲補正を行う場合は、歪曲補正における座標変換の変換行列から補正係数を歪情報として取得してもよい。また、取得部３０１は、歪曲補正前後の画像を比較し、画像内の被写体の像高の変化から、画像内の各位置における像高の変化率を歪情報と算出して取得し得る。なお、本実施形態では歪の形状を樽型歪曲としているが、糸巻型歪曲など、撮像光学系２００の光学特性により生じる像の歪みであればどのような形状でもよい。歪情報が撮像面全体に対して得られない場合、歪情報を得られた位置間で、線形あるいは非線形で補完処理を行ってもよい。例えば、歪曲補正前後の画像を比較し、画像内の物体の像高変化を得る場合、歪情報を得られた位置間で補完処理を行うことで、画素グループの大きさの分布を算出することができる。これにより、１つの画素グループの大きさを指定することで、算出した画素グループの大きさの分布を用いて、撮像面全体の画素グループを作成することが可能である。

ステップＳ６０２では、決定部３０２が、取得部３０１が取得した歪情報と画素グループの数の上限と下限とに基づいて、画素グループの形状と大きさとを決定する。図５（ａ）と図５（ｂ）において、被写体５０３と被写体５０４とに対応する画素グループの数を比較する。図５（ａ）では、被写体５０３に対応する画素グループの数が被写体５０４に対応する画素グループの数よりも多い。すなわち被写体に割り当てられている画素グループの数が、画像内の画素位置によって異なることがわかる。これに対し、図５（ｂ）では、被写体５０３と被写体５０４に割り当てられている画素グループの数が同じになっている。このように、撮像光学系２００の歪情報に基づいて、画素グループの数、形状および大きさを変更する。なお、歪情報として画像平面内の各位置における像高の変化率が取得された場合には、画素グループの大きさのみについて変形させてもよい。加えて、歪情報を乗算後の画素グループに、撮像領域に応じて切り出しを行う場合、歪情報を反映後の画素グループを拡大・縮小して切り出してもよい。また、撮像素子は縦、横のアレイ上に構成されているため、画素グループの形状をアレイ形状に合わせた長方形とすることで、処理がしやすくなる。このように、歪情報に基づいて、画素グループの数、形状および大きさの少なくとも１つを決定部３０２が決定する。

撮像領域の端にある画素を含む画素グループにおいては、画素が足りずに歪情報を反映できない場合がある。このとき、撮像領域を境界として画素グループを切り出す。このときの被写体に対する画素グループの比率を算出する場合は、撮像領域の外に十分な仮想的な画素を用意して、仮想的な画素を含めて画素グループの面積を決定部３０２が算出して決定する。

図５（ａ）と図５（ｂ）の画素グループの数が異なっているが、取得部３０１が取得した画素グループの上限および下限の範囲内であれば一致させなくてもよい。また、上限、下限を超えない範囲で、歪情報が反映された画素グループを結合および分裂して画素グループの大きさおよび形状を変更することや、隣接する画素グループ同士で画素の再分配を行って画素グループの大きさおよび形状を変更することが可能である。

ステップＳ６０３では、決定部３０２が決定した画素グループ毎に制御部３０３が露光パラメータを制御する。例えば、各画素グループの輝度の平均値、あるいは輝度の分布に基づいて、各画素グループに適用する露光パラメータを算出して制御する。

ステップＳ６０４では、制御部３０３が制御した画素グループ毎の露光パラメータを撮像部２０１に適用して撮像部２０１が撮像する。

本実施形態に係る撮像装置によれば、被写体の像が歪む光学特性を有する撮像光学系による被写体の像を撮像する場合であっても、適切な画素グループの数、形状およびサイズを設定することができるため、被写体の像の視認性を向上させることができる。

＜実施形態２＞
実施形態１では、同一の露光パラメータを設定する画素グループの形状を決定する場合について述べた。本実施形態では、画像領域毎に動体検知における動体と判定する閾値を変更する場合について述べる。本実施形態に係る撮像装置の装置構成は実施形態１と同様であるため、説明は省略する。

（機能構成）
本実施形態に係る撮像装置の機能構成は実施形態１の構成に加え、判定部７０１を更に有する構成である。

決定部３０２は、歪情報に基づいて、撮像部２０１が撮像した画像の閾値領域の数、大きさおよび形状と動体と判定する所定の閾値を決定する。動体と判定する閾値は、移動体により輝度変化が生じた領域の画素数とする。魚眼レンズでは、被写体は、画像の端部から中央に向かい引き延ばされて撮像される。すなわち、歪曲収差がないレンズで、異なる二つの被写体が、画像内における大きさおよびフレーム間の遷移量が同一となる条件で撮影した場合に対し、歪曲収差があるレンズでは被写体の画素位置によって画像内の大きさおよび遷移量が異なる。画像中央では大きく撮影され、画像端部では小さく撮影される。被写体が大きく撮影される領域では、輝度変化する画素が多くなり、感度が高くなる。小さく撮影される領域では輝度変化する画素が少なくなり、感度が低くなる。同様に中央では大きく遷移し、端部では小さく遷移する。大きく遷移する領域では、輝度変化する画素が多くなり、感度が高くなる。小さく遷移する領域では、輝度変化する画素が少なくなり、感度が低くなる。したがって、魚眼レンズで撮像された画像を用いて動体検知をする場合、動体と判定する閾値を撮像領域一律の値に設定すると、画像の中央では、背景の微小な変化を動体と誤認識する可能性あり、画像の端部では、動体が検知されない可能性がある。したがって本実施形態では、歪曲収差が生じるレンズで画素位置に依らない認識精度を得るために、動体と判定する閾値を、歪情報に基づいて決定する。

判定部７０１は、決定部３０２で決定した動体と判定する所定の閾値に基づいて、撮像部２０１が撮像した画像に動体が存在するかを判定する。判定部７０１の判定方法について説明する。連続する同一画角の画像の差分を取り、差分画像を得る。差分画像では、２フレーム間での各画素における輝度変化が得られる。画素または画素グループごとに、輝度閾値以上で輝度変化あり、それ以外で輝度変化なしとする閾値処理を施し、二値化する。輝度閾値が設定されることにより、画素の微小変化が、動体と誤検知されることを防ぐことができる。二値化した差分画像において、所定の領域毎に輝度変化ありとされた画素数が、決定部３０２が決定した所定の閾値以上であれば、その領域にある被写体を動体と判定する。また、輝度変化ありとされた領域における画素数が、所定の閾値以下であれば、その領域にある被写体を動体と判定しない。所定の閾値を動体閾値と呼称する。また、同一の動体閾値を設定する所定の領域を閾値領域と呼称する。

（動作説明）
図８および図９を参照して、本実施形態に係る撮像装置の動体検知における閾値領域および動体閾値の設定方法を説明する。

図８は動体が存在する場合の、連続する同一画角の画像を重ねて表示した模式図である。図８（ａ）は、中心射影方式の光学特性のレンズによる被写体の像を撮像した画像に、一律の大きさに設定された閾値領域を重ねて表示した模式図である。図８（ｂ）は、撮像光学系２００による被写体の像を撮像した画像に、歪情報が反映された閾値領域を重ねて表示した模式図である。撮像領域８０１、撮像領域８０６は、撮像面全体を指している。格子線は、閾値領域の境界を示している。被写体８０２、８０４、８０７および８０９は移動前の被写体である。被写体８０３、８０５、８０８および８１０は移動後の被写体である。被写体８０８と被写体８１０は、中心射影方式の光学特性のレンズで撮像された場合、画像上で同一の大きさとなる。しかし、被写体８０８と被写体８１０は、撮像光学系２００の光学特性による像の歪みによって画像上で異なる大きさとなっている。

図９は、図８の連続する同一画角の画像から求めた二値化画像である。図８と同様に、閾値領域を重ねて表示している。撮像領域８０１および撮像領域８０６内の、黒い部分は輝度変化があった部分、白い部分は輝度変化がなかった部分である。輝度変化の有無は輝度閾値を基に判定される。領域９０１～９０４は、被写体８０３と８０５および被写体８０８と被写体８１０の移動により生じた輝度変化を表した領域を示している。領域９１０～９０４が含む画素数が、決定部３０２が決定した所定の閾値以上であれば動体と判定する。被写体８０８と被写体８１０が、撮像光学系２００による像の歪により画像上で異なる大きさとなっているため、領域９０３と領域９０４は異なる大きさとなっている。

図１０は、本実施形態に係る撮像装置の動作の一例を示すフローチャートである。本フローチャートに示す動作は、ＲＡＭ２０５やＲＯＭ２０６のような記憶媒体に記憶されたプログラムをＣＰＵ２０４が読み出すことによって開始される。

ステップＳ１００１では、撮像光学系２００の歪情報と閾値領域の画素数の上限を取得部３０１が取得する。

ステップＳ１００２では、取得部３０１が取得した歪情報と閾値領域の画素数の上限に基づいて、閾値領域の画素数、大きさ、形状のうち少なくとも１つを決定部３０２が決定する。

ステップＳ１００３では、決定部３０２が、各閾値領域の動体閾値を決定する。動体閾値は、各閾値領域の画素数に基づいて決定される。例えば、領域９０３に対応する閾値領域に含まれる画素数が１００個、領域９０４に対応する閾値領域に含まれる画素数が５００個であった場合を考える。この場合、領域９０３に対応する閾値領域の動体閾値は、領域９０４に対応する閾値領域の５倍になる。動体閾値を閾値領域に含まれる画素数の比率にすることで、画像中央では画素数が多く、画像端部では画素数が少なくなる。

ステップＳ１００４では、決定部３０２によって決定された閾値領域毎に判定部７０１が動体判定を行う。

本実施形態に係る撮像装置によれば、撮影領域のどこに移動体がいたとしても、画素位置ごとに動体閾値が適正化される。すなわち、歪曲収差が生じるレンズを用いた場合でも、画像内の画素位置に依らず動体の判定することが可能となる。

動体判定の方法として、連続する同一画角の画像の輝度変化から動体を判定する方法を述べた。この手法は動体と判定する閾値を、移動体により輝度変化が生じた領域の画素数としているため、人や車など、ある程度の大きさ以上の被写体を判定する場合に有効である。また、他の手法として、オプティカルフローを算出する方法もある。オプティカルフローでは、被写体の動きベクトルが算出され、オプティカルフローを用いた動体判定では、動きベクトルの大きさが一定値以上で動体と判定する。動体と判定する閾値が動きベクトルの大きさであるため、被写体の大きさによらず、被写体の移動量により移動体を判定する。歪曲収差が大きいレンズでオプティカルフローを用いた動体判定をする場合には、動体閾値に歪曲収差の情報を反映することで、被写体の移動量の観点で撮像面全体において等しい判定基準により動体判定を行うことができる。

また、複数の動体を判定するために、領域同士の画素位置が座標閾値よりも小さい（近い）場合には、同一の領域であるとして、動体閾値と画素数と比較する。逆に、領域同士の画素位置が座標閾値よりも大きい（遠い）場合には、異なる被写体としてそれぞれ動体閾値の画素数と比較する。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
２００ 撮像光学系
２０１ 撮像部
３０１ 取得部
３０２ 決定部
３０３ 制御部

Claims (19)

1. 撮像光学系による被写体の像を撮像する撮像部であって、撮像面上の複数の画素からなる画素グループ毎に露光パラメータを設定可能な撮像部と、
   前記撮像光学系による像の歪みに関する情報である歪情報を取得する取得部と、
   前記取得部が取得した前記歪情報に基づいて、前記画素グループの数、大きさおよび形状のうち少なくとも１つを決定する決定部と、
   を有する撮像装置。
2. 前記撮像光学系による像の歪みを補正する処理を行う画像処理部を更に有し、
   前記歪情報は、前記撮像光学系の歪係数、前記画像処理部の補正係数および前記撮像光学系による像高の変化率のうち少なくとも１つを含む、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記決定部が決定した前記画素グループ毎に露光パラメータを制御する制御部を更に有する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記取得部は、前記画素グループの数の上限と下限とを更に取得し、
   前記決定部は、前記取得部が取得した前記歪情報と、前記上限と下限とのうち少なくとも１つと、に基づいて、前記画素グループの数、大きさおよび形状のうち少なくとも１つを決定する、
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記取得部は、前記歪情報を記憶した記憶部から前記歪情報を取得する、
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記記憶部を有することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記露光パラメータは、露光時間、アナログゲイン、デジタルゲインおよび露出値のうち少なくとも１つを含むことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮像部が撮像した画像における所定の領域に動体が存在するかを所定の閾値に基づいて判定する判定部を更に有し、
   前記決定部は、前記所定の領域の数、大きさおよび形状のうち少なくとも１つを決定する、
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記決定部は、前記所定の領域に含まれる画素数に基づいて、前記所定の閾値を決定する、
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 撮像部の撮像面上の複数の画素からなる画素グループ毎に露光パラメータを設定可能な撮像装置の制御方法であって、
    撮像光学系による被写体の像を撮像する撮像工程と、
    前記撮像光学系による像の歪みに関する情報である歪情報を取得する取得工程と、
    前記取得工程で取得した前記歪情報に基づいて、前記画素グループの数、大きさおよび形状のうち少なくとも１つを決定する決定工程と、
    を有する撮像装置の制御方法。
11. 前記撮像光学系による像の歪みを補正する処理を行う画像処理工程を更に有し、
    前記歪情報は、前記撮像光学系の歪係数、前記画像処理工程における補正係数および前記撮像光学系による像高の変化率のうち少なくとも１つを含む、
    ことを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記決定工程で決定した前記画素グループ毎に露光パラメータを制御する制御工程を更に有する、
    ことを特徴とする請求項１０または１１に記載の撮像装置の制御方法。
13. 前記取得工程では、前記画素グループの数の上限と下限とを更に取得し、
    前記決定工程では、前記取得工程で取得した前記歪情報と、前記上限と下限とのうち少なくとも１つと、に基づいて、前記画素グループの数、大きさおよび形状のうち少なくとも１つを決定する、
    ことを特徴とする請求項１０から１２のいずれか１項に記載の撮像装置の制御方法。
14. 前記取得工程では、前記歪情報を記憶した記憶部から前記歪情報を取得する、
    ことを特徴とする請求項１０から１３のいずれか１項に記載の撮像装置の制御方法。
15. 前記露光パラメータは、露光時間、アナログゲイン、デジタルゲインおよび露出値のうち少なくとも１つを含むことを特徴とする請求項１０から１４のいずれか１項に記載の撮像装置の制御方法。
16. 前記撮像工程が撮像した画像における所定の領域に動体が存在するかを所定の閾値に基づいて判定する判定工程を更に有し、
    前記決定工程は、前記所定の領域の数、大きさおよび形状のうち少なくとも１つを決定する、
    ことを特徴とする請求項１０から１５のいずれか１項に記載の撮像装置の制御方法。
17. 前記決定工程は、前記所定の領域に含まれる画素数に基づいて、前記所定の閾値を決定する、
    ことを特徴とする請求項１０から１６のいずれか１項に記載の撮像装置の制御方法。
18. 請求項１０から１７のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１８に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images