JP2016103708A

JP2016103708A - 撮像装置および撮像方法

Info

Publication number: JP2016103708A
Application number: JP2014240406A
Authority: JP
Inventors: 創一萩原; Soichi Hagiwara; 坂本　直樹; Naoki Sakamoto; 直樹坂本
Original assignee: Socionext Inc
Current assignee: Socionext Inc
Priority date: 2014-11-27
Filing date: 2014-11-27
Publication date: 2016-06-02
Also published as: US20160156826A1

Abstract

【課題】移動する物体を適切な撮像条件で撮像することができる撮像装置および撮像方法の提供を図る。【解決手段】第１フレームレートで撮像を行う中央部１１、および、前記中央部１１の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部１２を含むイメージセンサー１と、前記周辺部１２により撮像された画像データに基づいて前記中央部１１における撮像条件を算出する画像処理装置２００と、を有する。【選択図】図８

Description

本明細書で言及する実施例は、撮像装置および撮像方法に関する。

近年、様々な装置に撮像機能(カメラ)が搭載されるようになって来ている。ところで、カメラを用いた物体検知および解析技術においては、物体を瞬時に検知および解析することが重要になると考えられる。

このような用途の先行技術として、例えば、イメージセンサーを画素密度の高い中央部と画素密度の低い周辺部に分け、処理データの少ない周辺部を高フレームレートで動作させ視野内への物体の侵入を早期に検知する技術が提案されている。

また、センサーの中央部には、小さくて高解像度の画素を配置し、周辺部には、大きくて低解像度の画素を配置し、センサーのフレームレートを向上させる技術も提案されている。

特開２０１０−１８３２８１号公報米国特許第４５５４５８５号明細書米国特許第６４５５８３１号明細書米国特許第８１６９４９５号明細書米国特許第４２６７５７３号明細書特開２００２−０２６３０４号公報米国特許第５８８７０７８号明細書

小渡悟 (Satoru ODA)，「対数極座標空間の高次局所自己相関特徴を用いたポインティングデバイスの提案 ("Pointing Device Using Higher-Order Local Autocorrelation Feature in Log Polar Coordinates System")」，沖縄大学マルチメディア教育研究センター紀要第４号 ("The Bulletin of Multimedia Education and Research Center, University of Okinawa no.4)，pp.57-70，March 2004

上述したような中央部には小さくて高解像度の画素を配置し、周辺部には大きくて低解像度の画素を配置したイメージセンサーにおいて、例えば、処理データの少ない周辺部を高フレームレートで動作させることが考えられる。

このとき、周辺部では、画素サイズが大きいため１回の撮像に要する露光時間が短くて済むが、物体の詳細を捉えることは難しい。また、中央部では、画素サイズが小さいため、露光時間が長くなり、撮像条件(例えば、撮像開始タイミング／露光時間／ＩＳＯ感度等)が正確に合わないと、物体の詳細を捉えることは困難となる。

すなわち、中央部では、例えば、被写体(物体)の速度に対して、露光時間が長過ぎると、ボケてしまい、また、撮像開始タイミングが早すぎる、或いは、遅すぎると、被写体が視野外の時に撮像することになり、被写体を適切に撮像するのが困難となる。

一実施形態によれば、第１フレームレートで撮像を行う中央部、および、前記中央部の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部を含むイメージセンサーと、画像処理装置と、を有する撮像装置が提供される。画像処理装置は、前記周辺部により撮像された画像データに基づいて前記中央部における撮像条件を算出する。

開示の撮像装置および撮像方法は、移動する物体を適切な撮像条件で撮像することができるという効果を奏する。

図１は、本実施例に係る撮像装置に適用されるイメージセンサーの一例を説明するための図である。図２は、本実施例に係る撮像方法を概略的に説明するための図である。図３は、本実施例に係る撮像装置における撮像処理の一例を説明するための図である。図４は、本実施例に適用されるイメージセンサーが極座標系センサーの場合と直交座標系センサーの場合の処理を比較して説明するための図である。図５は、本実施例に係る撮像装置における撮像条件の算出動作の例を説明するための図(その１)である。図６は、本実施例に係る撮像装置における撮像条件の算出動作の例を説明するための図(その２)である。図７は、本実施例に係る撮像装置における撮像条件の算出動作の例を説明するための図(その３)である。図８は、第１実施例の撮像装置を示すブロック図である。図９は、第２実施例の撮像装置を示すブロック図である。図１０は、本実施例に係る撮像装置における撮像処理の一例を説明するためのフローチャートである。図１１は、本実施例に係る撮像装置における撮像条件の算出処理の一例を説明するためのフローチャートである。図１２は、本実施例に係る撮像装置に適用されるイメージセンサーの他の例を説明するための図である。図１３は、第３実施例の撮像装置を示すブロック図である。図１４は、第４実施例の撮像装置を示すブロック図である。

以下、撮像装置および撮像方法の実施例を、添付図面を参照して詳述する。図１は、本実施例に係る撮像装置に適用されるイメージセンサーの一例を説明するための図であり、極座標系センサー１を示すものである。

図１に示されるように、本実施例に適用される極座標系センサー１は、例えば、画素サイズが小さくて画素密度の高い中央部１１、並びに、画素サイズが大きくて画素密度の低い周辺部１２を含む。

ここで、後に詳述するが、中央部１１では、低フレームレート(例えば、６０フレーム／秒(ｆｐｓ))で撮像(撮影)され、周辺部１２では、高フレームレート(例えば、１０００ｆｐｓ)で撮像される。

なお、本実施例に適用されるイメージセンサーは、極座標系センサー１に限定されるものではなく、後で詳述するように、一般的な直交座標系センサーでも、同様に適用することができる。さらに、極座標系および直交座標系センサー以外の画素形状であっても、例えば、画素補完技術(バイリニア等)を利用することにより中間画素を生成し、同等の画素配列とすることで、他の様々なイメージセンサーに対しても適用することができる。

また、本実施例の撮像装置は、例えば、動画を撮像するものであってもよいが、静止画を撮像するものであってもよい。さらに、撮像された動画および静止画は、そのままユーザに提供されてもよいが、例えば、物体の検知および解析を行う画像処理システムといった様々の画像データとして与えられてもよい。

図１に示す極座標系センサー(イメージセンサー)１では、同心円状に、中心に向かって画素サイズが小さく、周辺に向かって画素サイズが大きくなるが、例えば、センサー１の全ての画素を同じサイズとすることもできる。

この場合、例えば、中央部１１では、それぞれの画素をそのまま処理し、周辺部１２では、複数(例えば、４，８，１６個等)の画素をまとめて１つの画素として処理することになる。

また、本明細書では、説明を簡略化するために、１つの極座標系センサー１を中央部１１と周辺部１２の２つの領域に分けた場合を説明するが、例えば、中央部１１と周辺部１２の間に中間部を設けるというように、３つ以上の領域に分割することもできる。

このとき、中間部の画素サイズは、例えば、中央部１１の画素サイズと周辺部１２の画素サイズの中間の大きさに設定し、中間部のフレームレートは、中央部１１のフレームレートと周辺部１２のフレームレートの中間の速度に設定する。

図２は、本実施例に係る撮像方法を概略的に説明するための図であり、犬(物体)５がイメージセンサー１の視野上を右から左方向へ移動するときの例を説明するためのものである。すなわち、図２(a)は、物体５がイメージセンサー１の周辺部１２の視野に侵入してきた様子を示し、図２(b)は、図２(a)の状態から時間が経過して、物体５がイメージセンサー１の中央部１１の視野に侵入してきた様子を示す。

上述したように、イメージセンサー１において、中央部１１は、例えば、画素サイズが小さくて画素密度が高く、また、周辺部１２は、画素サイズが大きくて画素密度が低い。さらに、中央部１１では、物体５を低フレームレート(例えば、６０ｆｐｓ)で撮像し、周辺部１２では、物体５を高フレームレート(例えば、１０００ｆｐｓ)で撮像するようになっている。

まず、図２(a)に示されるように、物体５がイメージセンサー１の周辺部１２の視野に侵入すると、その周辺部１２で撮像したデータから、物体５がイメージセンサー１の中央部１１の視野に侵入する場合の最適な撮像条件を求める。

そして、図２(b)に示されるように、物体５がイメージセンサー１の中央部１１の視野に侵入したときには、周辺部１２の撮像データから求めた最適な撮像条件に基づいて物体５を撮像する。

ここで、周辺部１２で高フレームレートにより撮像可能なのは、周辺部１２の画素はサイズが大きいために、１回の撮像に要する露光時間が短くて済み、さらに、画素密度が低いために、処理する画素数が少なくて済むからである。

また、周辺部１２からのデータは、画素密度が低いために、得られる画像の解像度は低くなるが、上述した中央部１１の撮像条件(撮像開始タイミング/露光時間/ＩＳＯ感度等)を算出するためのものとしては十分である。

このように、高フレームレートの周辺部１２は、例えば、移動する動物や飛来する弾丸などの高速な物体を捉え、中央部１１で撮像するための最適な撮像条件を算出し、中央部１１は、その最適な撮像条件に基づいて、物体を適切に撮像することが可能になる。なお、低フレームレートで撮像を行う中央部１１は、静止画を撮像してもよいのはもちろんである。

図３は、本実施例に係る撮像装置における撮像処理の一例を説明するための図である。図３では、上から下に向かって時間が経過し、イメージセンサー１および物体(イメージセンサー上の物体)５の関係は、時間の経過に伴って、図３(a)→図３(b)→図３(c)のように変化する。

ここで、図３(a)は、移動する物体(犬)５がイメージセンサー１の周辺部１２の視野に侵入した様子を示し、図３(b)は、物体５が周辺部１２の視野から中央部１１の視野へ移動する様子を示し、そして、図３(c)は、物体５が中央部１１を移動する様子を示す。

図３(a)および図３(b)において、イメージセンサー１の周辺部１２は、例えば、１０００ｆｐｓで撮像しながら変化を監視しており、周辺部１２では、物体５を予め定められた撮像条件(露光)に基づいて第１フレーム，第２フレーム，…と撮像する。そして、例えば、第１フレームと第２フレームの差分から、物体５がセンサー１の中央部１１に侵入するタイミング等を算出する。

すなわち、周辺部１２は、画素サイズが大きいため、何が侵入してきたかまでの解析は困難であっても、露光時間が短くてフレームレートが高いため、瞬時に物体５の侵入を検知し、物体５の位置，速度および方向等の移動情報を求めることができる。

そして、周辺部１２からの高フレームレートの撮像データから求めた物体５の移動情報に基づいて、その物体５が中央部１１において、最適に撮像できる撮像条件(撮像タイミング/露光時間/ＩＳＯ感度等)が算出される。

なお、周辺部１２の撮像データから移動情報を算出し、また、移動情報からの中央部１１における撮像条件の算出といった処理は、例えば、画像処理/画像解析デバイス(画像処理装置)２００により行われる。

そして、図３(c)に示されるように、物体５が中央部１１の視野を移動しているとき、予め定められた撮像条件(初期条件: 例えば、ＩＳＯ感度２００)は、周辺部１２で撮像したデータから求めた最適な撮像条件(例えば、ＩＳＯ感度８００)に修正される。

これにより、イメージセンサー１の中央部１１では、物体５を、最適な撮像条件(撮像タイミング/露光時間/ＩＳＯ感度等)により撮像することができる。ここで、中央部１１は、例えば、例えば、６０ｆｐｓといった低フレームレートであっても、画素サイズが小さくて画素密度が高いため、最適な撮像条件で撮像することにより、物体５を適切に撮像することが可能となる。

侵入する物体５の位置/速度/加速度/移動方向(移動情報：位置，速度および移動方向等)の検知は、知られている技術をそのまま適用することができる。図４は、本実施例に適用されるイメージセンサーが極座標系センサーの場合と直交座標系センサーの場合の処理を比較して説明するための図であり、代表的な２種類のイメージセンサーを示すものである。

なお、本実施例は、極座標系および直交座標系センサー以外の画素形状であっても、例えば、画素補完技術(バイリニア等)を利用することにより中間画素を生成し、同等の画素配列とすることで、他の様々なイメージセンサーに対しても適用することができるのは前述した通りである。

図４(a)〜図４(c)は、極座標系センサー(極座標センサー)１を示し、図４(d)〜図４(f)は、直交座標系センサー(直交センサー)２を示す。なお、図４(a)および図４(d)は、過去の画(物体５の一部が周辺部１２，２２の視野に侵入したとき)を示し、図４(b)および図４(e)は、現在の画(物体５の全体が周辺部１２，２２の視野に含まれるとき)を示す。また、図４(c)および図４(f)は、推測される現在の物体の位置/速度/加速度/移動方向(移動情報)を示す。

まず、極座標系センサー１の場合、例えば、図４(a)および図４(b)に示されるような移動する物体５を捉えた複数枚のフレーム画像により、図４(c)に示されるような、現在の物体５の位置/速度/加速度/移動方向(移動情報)を算出することができる。例えば、時間差分，空間差分および色情報を用いた動体５の運動推定により、物体５の位置と運動の推定が可能となる。

なお、実装によっては、周辺部１２はカラーフィルタを用いない輝度センサーとすることもできる。この場合、色情報は用いずに、時間および空間差分により動体５を算出することになる。

次に、図４(d)〜図４(f)に示されるように、直交座標系センサー２の場合、例えば、オプティカルフローなどの既存技術を適用することにより、現在の物体５の移動情報を推測することが可能である。

このように、極座標系センサー１の周辺部１２、並びに、直交座標系センサー２の周辺部２２における侵入物(物体)５の位置/速度/加速度/移動方向(移動情報：位置，速度および移動方向等)の検知は、知られている技術をそのまま適用することができる。

以下、直交座標系センサー２を例として、露光開始可能タイミング範囲の取得、並びに、検知した動体の移動情報に基づいて中央部２１の撮像条件(撮像開始タイミング/露光時間/ＩＳＯ等)の決定を説明する。

図５〜図７は、本実施例に係る撮像装置における撮像条件の算出動作の例を説明するための図であり、イメージセンサーが直交座標系センサー２の場合における露光開始タイミングの算出動作を説明するためのものである。

まず、図５および図６を参照して、露光開始可能タイミング範囲の取得について説明する。図５に示されるように、例えば、イメージセンサー２の周辺部２２において、物体５の専有する範囲等を規定する。

すなわち、物体５の存在する画素の中心を通り物体の移動方向に垂直な線分の内、最も移動方向の前方に位置する線分を、物体の最前面Ｏfとし、最も移動方向の後方に位置する線分を、物体の再背面Ｏrとする。

さらに、物体５の存在する画素中心を通り物体の移動方向に平行である線分の内、最も外側同士の線分で囲まれた領域を、物体の移動範囲Ｏaと呼び、その領域の広さを、物体の幅Ｏwと呼び、物体の移動方向に平行でＯaの中間位置を通る直線を物体軌道Ｏcとする。また、物体の最前面Ｏf，物体の再背面Ｏrおよび物体の移動範囲Ｏaで囲まれた領域を、物体領域Ｏa(図５中のハッチング領域：物体５の領域も含む)とする。

なお、上述した物体の最前面Ｏf，再背面Ｏr，移動範囲Ｏm，幅Ｏw，物体軌道Ｏcおよび物体領域Ｏaは、例えば、図４(d)〜図４(f)のように、例えば、オプティカルフローなどの既存技術を適用して物体５の移動情報を算出するときに、同時に求めることができる。

次に、露光開始が可能なタイミングの範囲を取得する。ここでは、図６(a)に示されるように、最も簡単な直線運動(速度と加速度のベクトルが平行)の場合を説明する。なお、直線運動以外の場合でも、例えば、加速度を一定等と仮定することにより、物体５の位置/速度/加速度に基づいて、露光開始可能タイミング範囲を容易に算出することが可能である。

すなわち、現時点での物体５の位置からの距離をｘ、物体５の現在の速度の大きさをｖ、物体５の現在の加速度の大きさをａ、そして、現在からの時間をｔとすると、ｘは、次の式(１)により求めることができる。
ｘ＝ｖｔ＋(1/2)×ａｔ² (１)

ここで、物体領域Ｏaが初めて中央領域(イメージセンサー２の中央部２１の領域)の視野に全て含まれる位置が、最も早く撮像画可能となるタイミング(以下、『最早タイミング』とも呼ぶ)となり、また、物体領域Ｏaが最後に中央領域の視野に全て含まれる位置が最も遅く撮像画可能となるタイミング(以下、『最遅タイミング』とも呼ぶ）となる。

従って、上記の式(１)に対して、各位置までの距離を代入することにより、それぞれの位置での露光タイミングを得ることができる。すなわち、撮像可能な最早タイミングと最遅タイミングの間に中央部２１(中央領域)における撮像開始タイミングを設定することになる。ここで、撮像開始タイミングを確定させるのはこの時点でなくてもよく、例えば、次に説明する撮像条件の決定処理と調整しながら決めることもできる。

なお、物体５の一部が視野外で全長が分からない場合、或いは、物体５の全長が長すぎて中央領域の視野に収まらない場合には、複数枚に分けて撮像を行う。ここで、図６(b)〜図６(d)は、物体５の全長が長すぎて、中央部２１の視野に収まらない場合を示す。

すなわち、図６(b)に示されるように、周辺部２２による物体５の移動情報により、中央部２１の１枚の撮像では、物体５の全体を捉えることができないと判断した場合、まず、図６(c)に示されるように、物体の最前面Ｏfが中央部２１の視野から出る直前に撮像する。

さらに、図６(d)に示されるように、物体の最背面Ｏrが中央部２１の視野に入った直後に撮像する。このように、最前面Ｏfが中央部２１の視野から出るタイミング、並びに、最背面Ｏrが中央部２１の視野に入るタイミングに注目して、中央部２１で撮像することにより、１回に撮像する物体５の面積を大きくすることが可能となる。

なお、物体５の長さ(イメージセンサー２上の視野の長さ)と、イメージセンサー２の中央部２１の大きさの関係により、物体５の全体を捉えるのに３枚以上の撮像を行うこともあるのはいうまでもない。

最後に、図７を参照して、検知した動体の移動情報に基づいて中央部２１の撮像条件の決定を説明する。ここで、図７(a)は、中央部２１による１枚目の撮像、図７(b)は、中央部２１による２枚目の撮像、そして、図７(c)は、中央部２１による３枚目の撮像の様子を示す。

ところで、動体５が中央領域(中央部２１)の視野内に収まる場合、許容される露光時間の範囲(設定可能露光時間)Ｔcaは、ＩＳＯ感度および被写体の明るさによって物体５を適正な明るさで撮像できる範囲に制約される。

さらに、設定可能露光時間Ｔcaは、動体(物体５)の速度ｖによって撮像した物体５に動きボケが起きない範囲に制約される。ここで、動きボケは、露光期間中に物体５が何ピクセル分移動するかによって決まるため、画素の大きさにも依存する。

以上のことから、設定可能露光時間Ｔcaは、次の式(２)で表すことができる。
ρ＝(Wmin×Amin)/(v×Lm×ISOa)≧Tca≧(Wmin×Amax)/(v×Lm×ISOa) (２)

上記式(２)において、ρは定数、Ａminは許容可能最低露光量、Ａmaxは許容可能最大露光量、ＩＳＯaはＩＳＯ感度(中央部２１のＩＳＯ感度)、Ｗminは中央部最小画素短辺長、Ｌmは動体平均輝度、そして、ｖは物体５(動体)の速度を示す。なお、動体平均輝度Ｌmは、輝度センサーが受光した輝度を示し、動体速度ｖは、撮像タイミングにより変化する。

ここで、図５および図６を参照して説明したようにして求めた露光開始可能タイミング範囲内のいずれかのタイミングから設定した、ＩＳＯaおよびＴcaの範囲内のいずれかの露光時間で露光および撮像することで、被写体を適切に撮像することができる。

次に、動体(物体５)が中央領域の視野よりも大きい、或いは、動体の全体が視野外の場合を説明する。例えば、物体５が大きくて、物体５の一部がまだ周辺部２２の視野外にあるような場合、一度の撮像によって、物体５の全体を捉えることは困難となる。そのような場合には、複数枚の撮像(撮影)によって物体５の全体像を捉えるように制御する。

すなわち、まず、図７(a)に示されるように、露光可能最早タイミング(物体５の最前面Ｏfが中央部２１の視野から出るタイミング)から露光時間を差し引いたタイミングで、中央部２１に含まれる物体５の領域５１を、最初の１枚目として撮像する。

次に、図７(b)に示されるように、１枚目で撮像できなかった領域の最前面Ｏf'を、１枚目の撮像における物体５の最前面(Ｏf)に設定し直す。さらに、その最前面Ｏf'の露光可能最早タイミングから露光時間を差し引いたタイミングで、中央部２１の視野に含まれる物体５の領域５２を、２枚目として撮像する。

そして、図７(c)に示されるように、２枚目で撮像できなかった領域の最前面Ｏf"を、１枚目の撮像における物体５の最前面(Ｏf)に設定し直す。さらに、その最前面Ｏf'の露光可能最早タイミングから露光時間を差し引いたタイミングで、中央部２１の視野に含まれる物体５の領域５３を、３枚目として撮像する。

なお、図７(a)〜図７(c)の例では、３枚目として撮像した画像に物体５の最背面Ｏrが含まれているので、３枚目の撮像で終了するが、３枚目として撮像した画像に物体５の最背面Ｏrが含まれていなければ、同様の処理を繰り返す。

これにより、物体５の長さが中央部２１の視野よりも長い場合でも、複数枚撮像することにより、物体５の全体を捉えることができる。なお、上述したのは、単なる例であり、他の様々な手法を適用してもよいのはいうまでもない。また、中央部２１における撮像条件は、前述したように、あくまで予測なので、一度、撮像条件が決まっても、周辺部２２の次以降の撮像データに基づいて、常に更新し続けるのが好ましい。

図８は、第１実施例の撮像装置を示すブロック図であり、例えば、監視カメラや車載ケメラ等の画像処理システムに適用される撮像装置の例を示すものである。

図８に示されるように、第１実施例の撮像装置は、撮像デバイス１００，画像処理/画像解析デバイス(画像処理装置)２００およびレンズ等の光学系３００を含む。なお、図８では、イメージセンサーとして、極座標系センサー１が適用されているが、それに限定されるものではない。

撮像デバイス１００は、極座標系センサー(イメージセンサー)１およびカメラ制御部１０１を含む。センサー１は、前述したように、中央部１１および周辺部１２を含み、光学系３００からの入射光を受け取って電気信号に変換し、撮像データを画像処理装置２００に出力する。

カメラ制御部１０１は、画像処理装置２００(物体検知部２０４)からのセンサー制御情報に基づいてセンサー１の制御を行うと共に、レンズ制御情報に基づいて光学系３００の制御を行う。また、カメラ制御部１０１は、センサー１および光学系３００に関する様々な情報を物体検知部２０４に出力している。

ここで、カメラ制御部１０１は、センター１の中央部１１に対しては、低フレームレート(例えば、６０ｆｐｓ)で撮像を行うように制御し、センサー１の周辺部１２に対しては、高フレームレート(例えば、１０００ｆｐｓ)で撮像を行うように制御する。

画像処理装置２００は、ＳＤＲＡＭ(メモリ)２０５、画像処理部２０３および物体検知部２０４を含む。ＳＤＲＡＭ２０５は、センサー１からの撮像データを受け取り、周辺部１２で撮像された画像は、周辺部撮像画像２５１として、また、中央部１１で撮像された画像は、中央部撮像画像２５３として格納する。

画像処理部２０３は、ＳＤＲＡＭ２０５に格納された周辺部撮像画像２５１および中央部撮像画像２５３を受け取って処理し、処理した画像を、ＳＤＲＡＭ２０５に対して画像処理後周辺部画像２５２および画像処理後中央部画像２５４として格納する。

物体検知部２０４は、ＳＤＲＡＭ２０５に格納された画像処理後周辺部画像２５２および画像処理後中央部画像２５４を受け取って処理し、カメラ制御部１０１に対してセンサー制御情報およびレンズ制御情報を出力する。なお、物体検知部２０４は、例えば、図示しない画像解析部等に対して物体５の検知情報を出力する。

また、画像解析部は、例えば、ＳＤＲＡＭ２０５に格納された周辺部撮像画像２５１および中央部撮像画像２５３等も受け取って解析処理を行い、例えば、自動車における各種自動処理およびアラームの発生等を行うことになる。なお、本実施例の撮像装置は、様々な分野に適用することが可能なのはいうまでもない。

図９は、第２実施例の撮像装置を示すブロック図であり、図８の第１実施例と同様に、例えば、監視カメラや車載ケメラ等の画像処理システムに適用される撮像装置の例を示すものである。

図９と上述した図８の比較から明らかなように、第１実施例における画像処理装置２００のＳＤＲＡＭ２０５は、周辺部用の第１ＳＤＲＡＭ(第１メモリ)２０１と、中央部用の第２ＳＤＲＡＭ(第２メモリ)２０２に分割されている。

すなわち、センサー１の周辺部１２からの周辺部撮像データは、第１ＳＤＲＡＭ２０１に対して、周辺部撮像画像２１１として格納され、また、中央部１１からの中央部撮像データは、第２ＳＤＲＡＭ２０２に対して、中央部撮像画像２２１として格納される。

画像処理部２０３は、第１ＳＤＲＡＭ２０１に格納された周辺部撮像画像２１１および第２ＳＤＲＡＭ２０２に格納された中央部撮像画像２２１を受け取って処理する。そして、画像処理部２０３は、処理した画像を、第１ＳＤＲＡＭ２０１に対して画像処理後周辺部画像２１２として格納し、第２ＳＤＲＡＭ２０２に対して画像処理後中央部画像２２２として格納する。なお、他の構成は、第１実施例と同様であり、その説明は省略する。

図１０は、本実施例に係る撮像装置における撮像処理の一例を説明するためのフローチャートであり、以下に、図８に示す第１実施例の撮像装置を参照して説明する。図１０において、パラメタＴnowは、現在時間を示し、Ｔoは、周辺領域(周辺部)露光時間を示し、Ｔsaは、中央領域(中央部)露光開始タイミングを示し、Ｔaは、中央領域露光時間を示し、そして、ＩＳＯaは、中央領域ＩＳＯ感度を示す。

図１０に示されるように、本実施例の撮像処理が開始すると、ステップＳＴ１において、撮像装置の電源をオンして撮影を開始する。次に、ステップＳＴ２に進んで、カメラ制御部１０１は、撮像環境に基づいてＴsa(中央領域露光開始タイミング)，Ｔa(中央領域露光時間)およびＩＳＯa(中央領域ＩＳＯ感度)を初期化して露光を開始する。

ここで、イメージセンサー１の周辺部１２では、これ以降、周囲の撮像環境に基づいて、例えば、フレームレート，Ｔo(周辺領域露光時間)およびＩＳＯ感度を更新しながら撮像処理を繰り返す。さらに、ステップＳＴ３に進んで、Ｔnow(現在時間)とＴo(周辺領域露光時間)を加算してＴsaよりも小さいかどうか、すなわち、「Ｔnow＋Ｔo＜Ｔsa」が成立するか否かを判定する。

ステップＳＴ３において、Ｔnow＋Ｔo＜Ｔsaが成立する(Ｙｅｓ)と判定すると、ステップＳＴ４に進んで、センサー１から周辺部１２における全画素のデータ(撮像データ)を読み込んでＳＤＲＡＭ２０５(周辺部撮像画像２５１)に格納する。なお、周辺部１２における各領域の画素読み出し順序は、任意である。

次に、ステップＳＴ５に進んで、画像処理部２０３により撮像画を画像処理して、再びＳＤＲＡＭ２０５(画像処理後周辺部画像２５２)に格納して、ステップＳＴ６に進む。ステップＳＴ６では、物体検知部２０４により物体５の領域ｊa(k)の撮像画および過去の画像を使用して、侵入物体の有無，位置および方向等を検出および更新し、その検出結果を、例えば、画像解析部等へ出力する。

そして、ステップＳＴ７に進んで、中央部１１で使用する撮像条件の算出、すなわち、周辺部１２による検出情報に基づいて、中央部(中央領域)で最適な撮像を行うための撮像条件(更新撮像条件)を算出する。

なお、センサー１における物体５の領域ｊa(k)の位置によっては、中央部１１で撮像するための撮像条件の算出を行わない場合もあり得る。また、ステップＳＴ７による撮像条件の算出処理は、画像処理/画像解析デバイス２００における物体検知部２０４で行ってもよいが、撮像デバイス１００におけるカメラ制御部１０１で行うこともできる。

次に、ステップＳＴ８に進んで、算出した撮像条件をカメラ制御部１０１に出力し、さらに、ステップＳＴ９に進む。ステップＳＴ９において、カメラ制御部１０１は、受け取った撮像条件に基づいて、対象領域の撮像条件および領域ｊdを更新する。

そして、ステップＳＴ１０に進んで、撮像を停止するかどうかを判定し、撮像を停止すると判定すると処理を終了し、撮像を停止しないと判定するとステップＳＴ３に戻って、撮像停止と判定するまで同様の処理を繰り返す。

一方、ステップＳＴ３において、Ｔnow＋Ｔo＜Ｔsaが成立しない(Ｎｏ)と判定すると、ステップＳＴ１１に進んで、Ｔsaのタイミングから、中央部をＴaだけ露光し、ＩＳＯaのＩＳＯ感度で撮像し、中央部の全画素データをＳＤＲＡＭに格納する。

さらに、ステップＳＴ１２に進んで、上述したステップＳＴ５と同様に、画像処理部により撮像画を画像処理し、再びＳＤＲＡＭに格納して、ステップＳＴ１３に進む。ステップＳＴ１３においては、Ｔsaを更新して、ステップＳＴ１０に進む。なお、ステップＳＴ１０の処理は、上述した通りである。

図１１は、本実施例に係る撮像装置における撮像条件の算出処理の一例を説明するためのフローチャートであり、上述した図１０におけるステップＳＴ７の撮像条件算出処理の一例を説明するためのものである。

図１１において、パラメタｐfは物体最前面(図５におけるＯfに相当)を示し、ｐrは物体最背面(図５におけるＯrに相当)を示し、ｗは物体幅(図５におけるＯｗに相当)を示し、そして、ｐｃは物体軌道(図５におけるＯcに相当)を示す。さらに、Ｔsminは露光可能最早タイミングを示し、Ｔsmaxは露光可能最遅タイミングを示し、そして、Ｔcaは設定可能露光時間を示す。

ここで、ｐf(物体最前面)は、未だ撮像されていない物体５の領域における最も先端の面に対応する。また、ｐr(物体最背面)は、物体５の後ろが画像端まである場合(物体５が全て見えていない場合)、物体５の領域における最も後端の面が含まれる画像における後端の面に対応する。なお、ｐfおよびｐrは、物体５の進行方向を軸とした一次元空間上における座標(原点は任意)で表すことができる。

図１１に示されるように、本実施例の撮像条件算出処理(ステップＳＴ７の処理)が開始すると、ステップＳＴ７１において、画面内に侵入物体が含まれるか否か、すなわち、物体５がイメージセンサー１に侵入(の視野に侵入)したかどうかを判定する。

ステップＳＴ７１において、画面内に侵入物体が含まれる(Ｙｅｓ)と判定すると、ステップＳＴ７２に進んで、ｐf，ｐr，ｗおよびｐcの算出を行う。なお、ｐf，ｐr，ｗおよびｐcの算出は、例えば、図１０におけるステップＳＴ６において、物体５の位置/速度/方向等と共に算出しておいてもよい。

さらに、ステップＳＴ７３に進んで、撮像画において、物体５の移動範囲が通る中央部１１の領域の長さが物体５の領域の長さ以上あるかどうか、すなわち、「物体移動範囲が通る中央部の領域の長さ≧物体領域の長さ」が成立するか否かを判定する。

ステップＳＴ７３において、「物体移動範囲が通る中央部の領域の長さ≧物体領域の長さ」が成立する(Ｙｅｓ)と判定すると、ステップＳＴ７４に進み、物体領域が初めて中央領域に完全に含まれる位置をＴsmin(露光可能最早タイミング)に設定する。さらに、物体領域が最後に中央部の領域に完全に含まれる位置をＴsmax(露光可能最遅タイミング)に設定する。

次に、ステップＳＴ７５に進んで、Ｔca(設定可能露光時間)の算出、並びに、ＩＳＯa(中央領域ＩＳＯ感度)およびＴa(中央領域露光時間)を決定し、ステップＳＴ７６に進んで、Ｔsa(中央領域露光開始タイミング)を決定し、処理を終了する。

一方、ステップＳＴ７３において、「物体移動範囲が通る中央領域の長さ≧物体領域の長さ」が成立しない(Ｎｏ)と判定すると、ステップＳＴ７７に進み、物体５の最全面が中央部１１から出るタイミングをＴsminに設定する。さらに、物体５の最背面が初めて中央部１１に含まれるタイミングをＴsmaxに設定する。そして、上述したステップＳＴ７５およびＳＴ７６を経由して処理を終了する。

なお、ステップＳＴ７１において、画面内に侵入物体が含まれない(Ｎｏ)と判定すると、イメージセンサー１の中央部１１における撮像条件の算出処理は不要なため、そのまま処理を終了する。

以上において、図１０および図１１を参照して説明下処理は、単なる例であり、物体５の全体を撮像可能な制御方法であれば、様々な手法を適用することが可能なのはいうまでもない。また、イメージセンサー１は、中央部１１と周辺部１２の２つの領域に分けるものに限定されず、例えば、中央部と周辺部の間に中間部を設けるというように、３つ以上の領域に分割してもよい。

また、本実施例の適用は、動画を撮像するものであってもよいが、静止画を撮像するものであってもよく、撮像された動画および静止画は、そのままユーザに提供されてもよいが、物体の検知および解析を行う画像処理システムに画像データとして与えてもよい。

さらに、センサー１から読み出す領域の順序は、例えば、キュー等により管理することができる。また、センサー１の中央部１１における撮像条件は、周辺部１２における物体５の移動情報に基づいて調整することができる。

また、上述した説明では、領域ごとの撮像条件が一定の場合を考えたが、例えば、同一領域でサイズが異なる画素が混在する場合には、その異なる画素のサイズごとに撮像条件を変化させて送ることもできる。さらに、全ての画素サイズの撮像条件を送るのではなく、画素サイズに応じてセンサー１の制御部側で撮像条件が算出できるための情報を送ることも可能である。

図１２は、本実施例に係る撮像装置に適用されるイメージセンサーの他の例を説明するための図である。図１２に示すイメージセンサー３は、図４(d)〜図４(f)を参照して説明した直交座標系センサー２と実質的に同様のものである。

すなわち、センサー３の中央部３１では、画素サイズが小さくて画素密度が高く、低フレームレートで撮像が行われ、センサー３の周辺部３２では、画素サイズが大きくて画素密度が低く、高フレームレートで撮像が行われる。

ただし、ここで想定しているのは、例えば、現在、デジタルカメラ，スマートホンおよびカムコーダ、或いは、車載されたカメラ等に使用されているイメージセンサー(中央部)３１の周囲に対して、新たなセンサー領域(周辺部)３２を設けたセンサーである。

さらに、周辺部３２による被写体(例えば、移動する物体５)の移動情報を利用して、中央部３１により、その物体５を撮像するのに最適な撮像条件(撮像タイミング/露光時間/ＩＳＯ感度等)を算出する。そして、中央部３１(現在、使用されているイメージセンサ)は、算出された最適な撮像条件に基づいて、移動する物体５を撮像する。

なお、周辺部３２としては、例えば、現在、使用されているイメージセンサーの周辺領域を、複数(例えば、４，８，１６個等)の画素をまとめて１つの画素とし、その周辺部のフレームレートを高くするといった改良を行って適用することもできる。

図１３は、第３実施例の撮像装置を示すブロック図であり、例えば、デジタルカメラ，スマートホンおよびカムコーダ等に適用した場合の撮像装置の例を示すものである。図１３に示されるように、第３実施例の撮像装置４００は、撮像デバイス３０，ＳＤＲＡＭ４０１，ＣＰＵ(Central Processing Unit)４０２，バス４０３，画像処理/解析デバイス４０４，表示デバイス４０５および光学系(レンズ)３００を含む。なお、ＣＰＵ４０２は、ＡＰ(Application Processor)であってもよい。

ここで、撮像デバイス３０，画像処理/解析デバイス(画像処理装置)４０４および光学系３００は、例えば、前述した図８における撮像デバイス１００，画像処理装置２００および光学系３００に対応する。なお、図１３では、図８におけるカメラ制御部１０１は、センサー３に含まれている。

まず、例えば、スポーツ観戦等において、図１３に示す第３実施例の撮像装置４００により、そのスポーツの様子を撮像する場合を考える。このとき、例えば、動体(物体５)の色や大きさ等の情報に基づいて、センサー３の周辺部３２により、動体解析時点における物体５の種類(例えば、ボールなのかプレイヤーなのか等)を判断することができる。そして、周辺部３２による情報から、中央部３１で撮像する前に最適な構図となる中央部３１の撮像条件を算出することが可能となる。

また、例えば、どのような物体５が入り込むか分からないスポーツ以外の一般的な環境においても、周辺部３２により物体５の動きと大きさは検知できるため、同様に簡易なアルゴリズムにはなるものの最適な構図のタイミングでの撮像が可能となる。

なお、この場合の処理としては、例えば、センサー３の周辺部３２により周辺部の画像を撮像して、ＳＤＲＡＭ４０１に周辺部撮像画像として格納する。画像処理装置４０４では、例えば、図８を参照して説明した、画像処理装置４０４に設けられた画像処理部(２０３)および物体検知部(２０４)により処理が行われ、画像解析部に送られる。

そして、画像解析部では、例えば、物体５の解析を行って、中央部３１により最適な構図での撮像条件が算出され、その撮像条件がセンサー３に対して制御データとして与えられる。なお、上述した最適な構図等の解析処理は、例えば、画像処理装置４０４の画像解析部、或いは、ＣＰＵ(ＡＰ)４０２等により実行される。

次に、図１３に示す第３実施例の撮像装置４００により、撮像環境の変化が急峻な状況下で撮像する場合を考える。このとき、本実施例によれば、例えば、光源の種類や明るさが変化した際に、周辺部３２において、その辺かを即座に検知することができるため、自動露出(ＡＥ：Automatic Exposure)および自動ホワイトバランス(ＡＷＢ：Automatic White Balance)の性能を向上することができる。

なお、この場合の処理としては、ＡＥおよびＡＷＢの処理は、一般的に、画像処理として行うため、例えば、画像解析部を使用することなく、センサー３の周辺部３２により周辺部の画像を撮像して、ＳＤＲＡＭ４０１に周辺部撮像画像として格納する。画像処理装置４０４では、例えば、周辺部撮像画像の処理を行って、中央部３１におけるＡＥおよびＡＷＢの処理を行い、そのＡＥおよびＡＷＢの結果に基づいて中央部３１による撮像を行う。

図１４は、第４実施例の撮像装置を示すブロック図であり、車載カメラにより自動車の制御を行う場合の撮像装置の例を示すものである。図１４に示されるように、第４実施例の撮像装置５００は、撮像デバイス３０，ＳＤＲＡＭ５０１，ＣＰＵ５０２，バス５０３，画像処理/解析デバイス５０４，各種駆動制御部５０５，各種駆動部５０６および光学系(レンズ)３００を含む。

ここで、撮像デバイス３０，画像処理/解析デバイス(画像処理装置)５０４および光学系３００は、例えば、前述した図８における撮像デバイス１００，画像処理装置２００および光学系３００に対応する。なお、図１４でも、図８におけるカメラ制御部１０１は、センサー３に含まれている。

本第４実施例の撮像装置の適用としては、例えば、接近する物体５を即座に検知し、事故被害を回避または低減するために、車両を制御するものが考えられる。この場合の処理としては、例えば、センサー３の周辺部３２により周辺部の画像を撮像して、ＳＤＲＡＭ５０１に周辺部撮像画像として格納する。

画像処理装置５０４では、画像処理部(２０３)および物体検知部(２０４)により処理が行われ、画像解析部に送られる。画像解析部では、例えば、物体５の解析を行って、中央部３１により最適な構図での撮像条件が算出され、その撮像条件がセンサー３に対して制御データとして与えられる。

これにより、センサー３の中央部３１により撮像された画像は、例えば、接近する物体５を撮像するのに最適な撮像条件で撮像することができ、その中央部３１により撮像された画像は、ＳＤＲＡＭ５０１に中央部撮像画像として格納される。

さらに、画像処理装置５０４では、画像処理部(２０３)および物体検知部(２０４)により処理が行われ、画像解析部に送られて物体５の詳細な解析が行われ、その解析結果に基づいて、各種駆動制御部５０５に制御情報が送られる。

そして、各種駆動制御部５０５は、各種駆動部５０６を制御して、第４実施例の撮像装置が搭載された車両の制御が行われることになる。なお、各種駆動部５０６としては、例えば、エンジンのスロットルを駆動するアクチュエータやブレーキ、或いは、エアバック等がある。このように、本実施例の撮像装置および撮像方法は、画像を扱う様々な分野で幅広く適用することが可能である。

以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。

以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
第１フレームレートで撮像を行う中央部、および、前記中央部の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部を含むイメージセンサーと、
前記周辺部により撮像された画像データに基づいて前記中央部における撮像条件を算出する画像処理装置と、を有する、
ことを特徴とする撮像装置。

（付記２）
前記画像処理装置は、
前記画像データに物体が含まれる場合に前記物体の移動情報を算出し、
前記算出された移動情報から、前記物体を前記中央部により撮像する場合の撮像条件を算出する、
ことを特徴とする付記１に記載の撮像装置。

（付記３）
前記移動情報は、前記画像データにおける前記物体の位置，速度および移動方向の情報を含む、
ことを特徴とする付記２に記載の撮像装置。

（付記４）
前記移動情報は、さらに、前記画像データにおける前記物体の加速度の情報を含む、
ことを特徴とする付記３に記載の撮像装置。

（付記５）
前記撮像条件は、前記中央部における前記物体の撮像タイミング，露光時間およびＩＳＯ感度を含む、
ことを特徴とする付記１乃至付記４のいずれか１項に記載の撮像装置。

（付記６）
前記周辺部の画素のサイズは、前記中央部の画素のサイズよりも大きく、前記周辺部の画素密度は、前記中央部の画素密度よりも低い、
ことを特徴とする付記１乃至付記５のいずれか１項に記載の撮像装置。

（付記７）
前記中央部および前記周辺部の画素のサイズは同一とされ、
前記周辺部では、複数の画素をまとめて１つの画素として処理する、
ことを特徴とする付記１乃至付記５のいずれか１項に記載の撮像装置。

（付記８）
前記イメージセンサーは、極座標系センサーまたは直交座標系センサーである、
ことを特徴とする付記１乃至付記７のいずれか１項に記載の撮像装置。

（付記９）
第１フレームレートで撮像を行う中央部、および、前記中央部の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部を含むイメージセンサーにより、前記イメージセンサーの視野に侵入する物体を撮像する撮像方法であって、
前記周辺部により撮像された画像データに基づいて前記中央部における撮像条件を算出し、
算出された前記撮像条件に基づいて、前記物体を、前記中央部で撮像する、
ことを特徴とする撮像方法。

（付記１０）
前記撮像条件算出は、
前記画像データに物体が含まれる場合に前記物体の移動情報を算出し、
前記算出された移動情報から、前記物体が前記中央部により撮像する場合の撮像条件を算出する、
ことを特徴とする付記９に記載の撮像方法。

（付記１１）
前記移動情報は、前記画像データにおける前記物体の位置，速度および移動方向の情報を含む、
ことを特徴とする付記１０に記載の撮像方法。

（付記１２）
前記移動情報は、さらに、前記画像データにおける前記物体の加速度の情報を含む、
ことを特徴とする付記１１に記載の撮像方法。

（付記１３）
前記撮像条件は、前記中央部における前記物体の撮像タイミング，露光時間およびＩＳＯ感度を含む、
ことを特徴とする付記９乃至付記１２のいずれか１項に記載の撮像方法。

（付記１４）
前記周辺部の画素のサイズは、前記中央部の画素のサイズよりも大きく、前記周辺部の画素密度は、前記中央部の画素密度よりも低い、
ことを特徴とする付記９乃至付記１３のいずれか１項に記載の撮像方法。

（付記１５）
前記中央部および前記周辺部の画素のサイズは同一とされ、
前記周辺部では、複数の画素をまとめて１つの画素として処理する、
ことを特徴とする付記９乃至付記１３のいずれか１項に記載の撮像方法。

１極座標系センサー(極座標センサー，イメージセンサー)
２，３直交座標系センサー(直交センサー，イメージセンサー)
５物体(犬，動体)
１１極座標系センサーの中央部
１２極座標系センサーの周辺部
２１，３１直交座標系センサーの中央部
２２，３２直交座標系センサーの周辺部
１００撮像デバイス
１０１カメラ制御部
２００画像処理/画像解析デバイス(画像処理装置)
２０１第１ＳＤＲＡＭ(第１メモリ)
２０２第２ＳＤＲＡＭ(第２メモリ)
２０３画像処理部
２０４物体検知部
２０５ＳＤＲＡＭ(メモリ)
３００レンズ(光学系)

Claims

第１フレームレートで撮像を行う中央部、および、前記中央部の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部を含むイメージセンサーと、
前記周辺部により撮像された画像データに基づいて前記中央部における撮像条件を算出する画像処理装置と、を有する、
ことを特徴とする撮像装置。
前記画像処理装置は、
前記画像データに物体が含まれる場合に前記物体の移動情報を算出し、
前記算出された移動情報から、前記物体を前記中央部により撮像する場合の撮像条件を算出する、
ことを特徴とする請求項１に記載の撮像装置。
前記移動情報は、前記画像データにおける前記物体の位置，速度および移動方向の情報を含む、
ことを特徴とする請求項２に記載の撮像装置。
前記撮像条件は、前記中央部における前記物体の撮像タイミング，露光時間およびＩＳＯ感度を含む、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
前記周辺部の画素のサイズは、前記中央部の画素のサイズよりも大きく、前記周辺部の画素密度は、前記中央部の画素密度よりも低い、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
前記中央部および前記周辺部の画素のサイズは同一とされ、
前記周辺部では、複数の画素をまとめて１つの画素として処理する、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
前記イメージセンサーは、極座標系センサーまたは直交座標系センサーである、
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
第１フレームレートで撮像を行う中央部、および、前記中央部の周囲に設けられ、前記第１フレームレートよりも高い第２フレームレートで撮像を行う周辺部を含むイメージセンサーにより、前記イメージセンサーの視野に侵入する物体を撮像する撮像方法であって、
前記周辺部により撮像された画像データに基づいて前記中央部における撮像条件を算出し、
算出された前記撮像条件に基づいて、前記物体を、前記中央部で撮像する、
ことを特徴とする撮像方法。
前記撮像条件算出は、
前記画像データに物体が含まれる場合に前記物体の移動情報を算出し、
前記算出された移動情報から、前記物体が前記中央部により撮像する場合の撮像条件を算出する、
ことを特徴とする請求項８に記載の撮像方法。