JP2022111437A

JP2022111437A - 動きベクトル算出装置、撮像装置および動きベクトル算出方法

Info

Publication number: JP2022111437A
Application number: JP2021006856A
Authority: JP
Inventors: 卓伊藤; Taku Ito
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2022-08-01
Also published as: GB202117885D0; GB2603844B; US20220230329A1; CN114827394A; US11704818B2; GB2603844A; DE102022101026A1

Abstract

【課題】動きベクトルの算出周期の向上を可能とする動きベクトル算出装置を提供する。【解決手段】光学装置が、被写体像の輝度変化を検出するイベントセンサ１８０の出力に基づいて、イベントデータを取得し、マッピング時間に取得されるイベントデータをマッピングして、フレームを生成する。光学装置は、イベントデータに対するマッピングを複数のフレームについて一部重複させる制御を行い、マッピング開始時刻にマッピング時間の差がある複数のフレームに基づいて、動きベクトルを算出する。【選択図】図１

Description

本発明は、動きベクトル算出装置、撮像装置および動きベクトル算出方法に関する。

入射される被写体光の輝度変化を検出して、イベント信号を出力する画素を有するイベントベースのビジョンセンサ（以下、「イベントセンサ」と記述）が提案されている。撮像装置等の光学装置は、イベント信号に係るデータであるイベントデータを取得することができる。イベントセンサは、既存のＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサと比較すると、高速動作、高ダイナミックレンジ、低消費電力という特徴を有する。特許文献１は、所定時間の間に発生したイベントデータをマッピングすることでフレームを生成し、生成したフレーム同士を比較することで動きベクトルを算出する方法を開示している。

特表２０２０－５２２０６７号公報

しかし、特許文献１に開示された技術では、イベントデータをマッピングする所定時間（以下、「マッピング時間」と記述）によって、動きベクトルを算出する周期が律速してしまう。マッピング時間は、任意に設定可能な値であるが、被写体形状や動きベクトルの大小によって、精度良く動きベクトルを算出できる値が変わるので、所望の算出周期に合わせて変更することは好ましくない。本発明は、動きベクトルの算出周期の向上を可能とする動きベクトル算出装置の提供を目的とする。

本発明の一実施形態の動きベクトル算出装置は、被写体光の輝度変化を検出する検出手段の出力に基づいて、輝度変化に関する情報を含むデータを取得する取得手段と、第１の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、前記データに対する前記所定の処理の開始時刻に前記第１の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、を有する。

本発明によれば、動きベクトルの算出周期を向上させることが可能となる。

光学装置の構成例を示す図である。光学装置が有する防振機構の構成例を示す図である。苦手シーンに応じた焦点距離の制御の一例を説明する図である。従来の動きベクトルの算出方法を説明する図である。実施例１の光学装置による動きベクトルの算出方法を説明する図である。実施例２の光学装置の動作処理を説明するフローチャートである。

（実施例１）
図１は、本実施形態の光学装置の構成例を示す図である。
図１では、光学装置の一例として、レンズ交換式のカメラ（撮像装置）を例にとって説明する。もちろん、本発明は、レンズ一体型のカメラにも適用可能である。また、本発明は、外部から取得した情報に基づいて動きベクトルを算出する動きベクトル算出装置にも適用可能である。

図１に示す撮像装置は、撮像装置の本体部１００と、入射光を本体部１００内の撮像素子１０５に導くレンズユニット１９０とを備える。レンズユニット１９０は、本体部１００に着脱可能である。

まず、本体部１００の構成について説明する。シャッター１０３は、光量を調節する。シャッター制御部１０４は、画像処理部１０６からの露出情報に基づいて、レンズユニット１９０内のレンズ制御部１９４と連携しながら、シャッター１０３を制御する。撮像素子１０５は、被写体光を光電変換する撮像手段である。具体的には、レンズ１９５、絞り１９３、レンズ側マウント部１９２及び本体部側マウント部１０２、シャッター１０３を介して、不図示の被写体の光学像が撮像素子１０５に結像し、当該光学像が電気信号に変換される。

画像処理部１０６は、撮像素子１０５から出力される映像信号に対して、所定の演算処理を行い、当該演算結果に基づいて、画素補間処理、色変換処理やホワイトバランス処理等の画像処理を施す。表示部１１０は、画像処理部１０６による画像処理結果を表示する。また、画像処理部１０６は、ＪＰＥＧ等の画像圧縮機能を有する。

記録回路１０７は、画像データの記録または読み出しを行うための、半導体メモリ等の着脱可能な記録媒体に対して読み書きを行う回路である。通信部１１１は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部１１１は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部１１１は、撮像によって得られるスルー画像、あるいは記録回路１０７に記録された画像を送信可能である。また、通信部１１１は、外部機器から画像データやその他の各種情報を受信可能である。

操作部１１４は、ユーザの操作を受け付け、システム制御部１５０に対して、ユーザの操作に応じた各種の動作指示を入力する。操作部１１４は、スイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等のいずれか一つ又はそれらの組み合わせを有する。

システムタイマー１１２は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１１３には、システム制御部１５０の動作用の定数、変数、メモリ１４０から読み出したプログラム等が展開される。システムメモリ１１３には、例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が用いられる。また、システムメモリ１１３は、３軸加速度センサ１３０の各軸出力値を蓄積する。電源スイッチ１１５は、撮像装置の電源ＯＮ、ＯＦＦを切り替え設定することができる。

シャッターボタン１１６は、撮影指示を行うための操作手段である。第一のシャッタースイッチ１１７は、シャッターボタン１１６の半押しによる撮影準備指示によってＯＮとなり、第一のシャッタースイッチ信号（ＳＷ１）を発生する。ＳＷ１により、オートフォーカス処理、自動露出処理、オートホワイトバランス処理、フラッシュプリ発光処理等の動作が開始される。第二のシャッタースイッチ１１８は、シャッターボタン１１６の全押しによる撮影指示によってＯＮとなり、第二のシャッタースイッチ信号（ＳＷ２）を発生する。システム制御部１５０は，ＳＷ２により、撮像素子１０５からの信号読み出しから記録回路１０７に画像データを書き込むまでの一連の撮影処理の動作を開始する。

また、３軸ジャイロセンサ１２０は、撮像装置の角速度を３軸において検知する。軸加速度センサ１３０は、撮像装置の加速度を３軸において検知する。メモリ１４０には、システム制御部１５０の動作用の定数、プログラム等が記憶される。メモリ１４０には、電気的に消去・記憶可能な不揮発性メモリも含まれ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）が用いられる。

システム制御部１５０は、少なくとも一つのプロセッサーを有し、撮像装置全体の動作を制御する。また、システム制御部１５０は、コネクタ１０１及び１９１を介して、レンズユニット１９０が有するレンズ制御部１９４を制御する。電源制御部１６０は、電池検出回路、保護回路、ＤＣ／ＤＣコンバータ、ＬＤＯ（ＬｏｗＤｒｏｐ
Ｏｕｔ）レギュレータ等を有する。電源制御部１６０は、システム制御部１５０の指示に基づき、電源部１６１を制御し、所望の電源電圧を所望の期間、撮像装置の各部に供給する。電源制御部１６０は、電池装着の有無、電池種類、残量の検出を行い、過電流を検出した場合には、電源を遮断して、電源回路に接続された負荷回路を保護する。また、電源部１６１は、アルカリ電池、リチウム電池等の一次電池、またはＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を有する。

本体部側マウント部１０２は、本体部１００をレンズユニット１９０に接続するためのインターフェースである。コネクタ１０１は、本体部１００をレンズユニット１９０と電気的に接続するコネクタである。防振ユニット１７０は、撮像画像に生じるブレ（像ブレ）を補正（防振）する補正手段である。防振ユニット１７０は、システム制御部１５０による制御にしたがって、撮像素子１０５の位置を変える。これにより、像ブレが補正される。この例では、システム制御部１５０が、補正制御手段として機能し、イベントデータに基づいて動きベクトルを高速で算出し、算出された動きベクトルを撮像装置の動き量として防振ユニット１７０を駆動する。なお、例えばレンズユニット１９０側に像ブレを補正するためのレンズを設け、撮像装置がこのレンズを駆動することによって、像ブレ補正を行うようにしてもよい。

イベントセンサ１８０は、イベントセンサ１８０の光学系１８１を通して結像された被写体像の輝度変化を検出して、信号（イベント信号）を生成して出力する画素を有する、イベントベースのビジョンセンサである。イベントセンサ１８０は、シリアル通信を介してイベント信号をシステム制御部１５０に出力する。これにより、システム制御部１５０は、イベント信号に係るデータ（イベントデータ）を取得する。イベントデータは、輝度変化が生じた画素情報を含むデータである。イベントデータは、例えば、輝度変化のタイムスタンプ、輝度変化が検出された画素の座標情報、輝度変化の種類の情報を有する。

イベントセンサ１８０は、輝度変化が生じた画素情報を出力するので、従来のＣＭＯＳセンサと比較すると、出力する情報の冗長性が削減されている。したがって、イベントセンサ１８０は、高速動作、高ダイナミックレンジ、低電力という特徴を持つ。また、従来のＣＭＯＳセンサは、周期的に情報を出力するので、動きベクトルを算出するために必要となるフレームの生成周期がフレームレートに依存する。一方、イベントセンサは、輝度変化が生じたタイミングを含む情報を画素単位で高速に出力する。したがって、システム制御部１５０が、所定時間の間に発生したイベントデータをマッピングすることで、高速にフレームを生成することができる。マッピングは、イベントデータに対する所定の処理の一例であり、イベントデータに含まれる情報を所定時間（マッピング時間）でひとまとまりにする処理である。また、イベントセンサ１８０の光学系１８１は、焦点距離を変動させるアクチュエータを有する。焦点距離は、システム制御部１５０によって制御される。

次に、レンズユニット１９０の構成について説明する。レンズユニット１９０は、交換レンズタイプのレンズユニットであり、被写体光を、レンズ１９５から、絞り１９３、レンズ側マウント部１９２及び本体部側マウント部１０２、シャッター１０３を介して導き、撮像素子１０５上に結像させる。コネクタ１９１は、レンズユニット１９０を本体部１００と電気的に接続するコネクタである。レンズ側マウント部１９２は、レンズユニット１９０を本体部１００に接続するためのインターフェースである。絞り１９３は、レンズ１９５から入る光量を調整する。

レンズ制御部１９４は、レンズユニット１９０全体を制御する。レンズ制御部１９４は、動作用の定数、変数、プログラム等を記憶するメモリ、レンズユニット１９０固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発メモリの機能も有する。レンズ制御部１９４は、画像処理部１０６によって測定された画像の合焦状態に応じて、レンズ１９５のフォーカシングを制御し、撮像素子１０５に入射する被写体像の結像位置を変更して、ＡＦ動作を行うことが可能である。また、レンズ制御部１９４は、絞り１９３の制御や、レンズ１９５の焦点距離を制御する機能も有する。

図２は、本実施形態の光学装置が有する防振機構の構成例を示す図である。
システム制御部１５０は、イベントセンサ１８０の出力に基づいて動きベクトルを算出し、算出された動きベクトルに基づいて、防振ユニット１７０を駆動することで、像ブレを補正する。図２に示すように、システム制御部１５０は、防振制御部３００、光学系制御部３０１、苦手シーン検出部３０２、動きベクトル算出部３０３を有する。

動きベクトル算出部３０３は、イベントセンサ１８０から取得したイベントデータに基づいて、動きベクトルを算出する。防振制御部３００は、算出部３０３で算出された動きベクトルの値から撮像装置１００の動き量を決定し、決定した動き量に基づいて、撮像画像がブレないように防振ユニット１７０を駆動させる。

光学系制御部３０１は、光学系１８１を制御する。光学系制御部３０１は、苦手シーン検出部３０２の出力や動きベクトル算出部３０３の出力に応じて、光学系１８１の焦点距離の設定範囲を決定し、当該設定範囲内で光学系１８１の焦点距離を制御する。苦手シーン検出部３０２は、イベントセンサ１８０の出力に基づいて、苦手シーンの検出処理を行う。イベントセンサ１８０の出力に含まれる被写体の画素情報が、動きベクトルを正確に算出できない所定の被写体条件を満たす場合に、苦手シーン検出部３０２は、苦手シーンが検出されたことを示す情報を検出結果として光学系制御部３０１に対して通知する。被写体の画素情報は、イベントセンサ１８０が出力する輝度変化が生じた画素情報のうち、被写体に対応する領域の画素情報である。

図３は、苦手シーンに応じた焦点距離の制御の一例を説明する図である。
図３（Ａ）および図３（Ｃ）は、苦手シーンの一例を示す。図３（Ａ）では、被写体が直線状である。画角４００内には直線状の被写体４０１が映っている。また、図３（Ｃ）では、被写体のコントラストが低く、閾値以下である。画角４０２の所定の領域（この例では、中央領域４０３）が低コントラストになっている。図３（Ａ）、図３（Ｃ）が示す苦手シーンでは、動きベクトルを算出するための２組のフレームを比較した場合に、移動方向が一意に定まらないので、算出精度が低下する。

図３（Ａ）に示す苦手シーンが検出されると、光学系制御部３０１は、焦点距離を下げて画角を広げる。これにより、図３（Ｂ）に示すように、広がった画角４０４には、図３（Ａ）に示す被写体４００の周囲の被写体が含まれるようになり、動きベクトルの算出精度が向上する。また、図３（Ｃ）に示す苦手シーンが検出された場合も、光学系制御部３０１は、焦点距離を下げて画角を広げる。これにより、図３（Ｄ）に示すように、広がった画角４０５には、図３（Ｃ）に示すコントラストが低い中央領域４０３の周囲の被写体が含まれるようになり、動きベクトルの算出精度が向上する。

図４は、従来の動きベクトルの算出方法を説明する図である。
イベントデータ２００乃至２０７は、それぞれ、輝度変化が発生した画素の座標情報を含む。黒い矩形で示す画素が、輝度変化が発生した画素である。時刻２０８乃至２１５は、輝度変化が発生した時刻を表す。

符号２２２は、マッピングが開始される時刻（マッピング開始時刻）を示す。この例では、マッピング開始時刻（ｔｍ１）２１６、マッピング開始時刻（ｔｍ２）２１７が図示されている。マッピング開始時刻ｔｍ２は、直前のマッピング開始時刻ｔｍ１と、符号２２０で示すマッピング時間ｍとの和で表される。

符号２２１は、イベントデータから生成されるフレーム群を表す。フレーム群２２１には、フレーム２１８とフレーム２１９とが含まれる。フレーム２１８は、マッピング開始時刻ｔｍ１からマッピング時間ｍの間に発生したイベントデータ２００～２０３に含まれる画素の座標をマッピングすることによって生成される。フレーム２１９は、マッピング開始時刻ｔｍ２からマッピング時間ｍの間に発生したイベントデータ２０４～２０７に含まれる画素の座標をマッピングすることによって生成される。そして、動きベクトルは、隣り合うフレーム２１８とフレーム２１９を用いたテンプレートマッチングにより算出される。

図４を参照して説明した従来の動きベクトルの算出方法では、フレーム群２２１を生成する周期が、マッピング時間ｍに依存している。したがって、動きベクトルの算出周期がマッピング時間ｍによって決まってしまい、動きベクトルの算出周期を向上させることが困難である。以下に説明する実施例１の光学装置によれば、動きベクトルの算出周期を向上させることが可能となる。

図５は、実施例１の光学装置による動きベクトルの算出方法を説明する図である。
図５に示す符号が示す各要素のうち、図４に示す符号と同一の符号が付された要素は、図４に示す符号が示す要素と同様である。符号２２３、２２４、２２５は、マッピング開始時刻を表す。また、符号２２９は、マッピング開始時間差ｄを示す。マッピング開始時間差ｄは、各フレームに対応するマッピング開始時刻の、直前のフレームに対応するマッピング開始時刻との差分（時間差）を表す。マッピング開始時間差ｄ（第２の時間）は、マッピング時間ｍ（第１の時間）より短い時間に設定される。

実施例１では、システム制御部１５０が、フレームを生成するためのイベントデータのマッピングを、複数のフレームについて一部重複させる。具体的には、システム制御部１５０は、マッピング開始時間差ｄに相当する時間が経過するごとに、イベントデータのマッピングを開始して、複数のフレーム２２６、２２７、２２８を連続的に生成する。すなわち、システム制御部１５０は、各フレームに対応するイベントデータのマッピングを、直前のフレームに対応するイベントデータのマッピング開始時刻からマッピング開始時間差ｄだけ遅らせて開始する。これにより、図５中のフレーム群２３０が生成される。

システム制御部１５０は、マッピング開始時刻ｔｍ１からマッピング時間ｍの間に発生したイベントデータ２００～２０３をマッピングすることにより、フレーム２２６を生成する。また、システム制御部１５０は、マッピング開始時刻ｔｍ２からマッピング時間ｍの間に発生したイベントデータ２０２～２０５をマッピングすることにより、フレーム２２７を生成する。マッピング開始時刻ｔｍ２は、マッピング開始時刻ｔｍ１からマッピング開始時間差ｄだけ経過した時刻である。また、システム制御部１５０は、マッピング開始時刻ｔｍ３からマッピング時間ｍの間に発生したイベントデータ２０４～２０７をマッピングすることにより、フレーム２２８を生成する。マッピング開始時刻ｔｍ３は、マッピング開始時刻ｔｍ２からマッピング開始時間差ｄだけ経過した時刻である。

マッピング開始時間差ｄは、イベントデータのマッピングの重複度ｎに応じて決まる。例えば、マッピング開始時間差ｄは、以下の式のように、マッピング時間ｍをイベントデータのマッピングの重複度ｎで除算して得られる時間に設定される。
マッピング開始時間差ｄ＝マッピング時間ｍ／ｎ

図５に示す例では、イベントデータ２０２および２０３のマッピングが、２つのフレーム（フレーム２２６とフレーム２２７）で重複している。また、イベントデータ２０４および２０５のマッピングが、２つのフレーム（フレーム２２７とフレーム２２８）で重複している。したがって、図５に示す例では、イベントデータのマッピングの重複度は２である。

システム制御部１５０は、マッピング開始時刻にマッピング時間ｍの差がある複数のフレームに基づいて、テンプレートマッチングにより動きベクトルを算出する。図５に示す例では、フレーム２２６とフレーム２２８に基づいて、動きベクトルが算出される。また、フレーム２２７と、マッピング開始時刻ｔｍ２からマッピング時間ｍだけ経過した時刻にマッピングが開始されたフレーム（不図示）とに基づいて、動きベクトルが算出される。これにより、動きベクトルがマッピング開始時間差ｄごとに算出される。したがって、本実施形態によれば、図４を参照して説明した従来の動きベクトルの算出方法よりも、動きベクトルの算出周期を向上させることができる。

本実施形態の動きベクトルの算出方法による、動きベクトルの算出精度は、主にマッピング時間ｍによって決まる。算出精度はフレーム群２３０に含まれるイベントデータの数によって変化し、イベントデータの数はマッピング時間ｍに依存しているからである。また、時間当たりの発生するイベントデータの数は、被写体条件や焦点距離によって変化するので、動きベクトルの算出精度を維持するためのマッピング時間ｍの値も被写体条件や焦点距離によって変化する。例えば、イベントセンサの光学系１８１の焦点距離が大きいほど、画素分解能が上がるので、動きベクトルの算出精度を維持するためのマッピング時間ｍの値が小さくなる。

一方、動きベクトルの算出周期は、マッピング時間ｍと重複度ｎによって決まる。重複度ｎを大きくすることで、動きベクトルの算出周期は向上するが、光学装置の処理負荷が大きくなってしまう。したがって、本実施形態では、システム制御部１５０は、マッピング時間ｍの値を小さくし、重複度ｎを小さくしても高い算出周期を保てるように、光学系制御部３０１で設定される光学系１８１の焦点距離が可能な限り大きくなるように制御する。その上で、システム制御部１５０は、設定された焦点距離に基づき、動きベクトルの算出精度を維持するようにマッピング時間ｍを決定する。そして、システム制御部１５０は、決定されたマッピング時間ｍに基づいて、動きベクトルの算出周期を維持するように重複度ｎを設定し、重複度ｎに応じたマッピング開始時間差ｄを設定することで算出周期を決定する。

（実施例２）
図６は、実施例２の光学装置の動作処理を説明するフローチャートである。
実施例２の光学機器は、苦手シーンが検出されたか否かに応じて、焦点距離を変更する制御を実行する。図６に示すフローチャート中のＳは、当該フローチャートにしたがう各処理のステップ番号を示す。

図６に示すフローチャートにしたがう処理は、システム制御部１５０が、システムメモリ１１３に展開されたプログラムを実行することにより実現される。当該処理は、撮影者が被写体に対して撮像装置１００を構えた時に開始される。
Ｓ５０１において、システム制御部１５０が、苦手シーン検出部３０２による苦手シーンの検出結果に基づいて、苦手シーンが検出されたかを判断する。苦手シーンが検出された場合は、処理がＳ５０６に進む。苦手シーンが検出されない場合は、処理がＳ５０２に進む。

後述するＳ５０２乃至Ｓ５０４の処理において、システム制御部１５０は、処理負荷を減らすために、苦手シーンが検出されない範囲すなわち被写体の画素情報が所定の被写体条件を満たさない範囲で、焦点距離を徐々に上げていく。これにより、システム制御部１５０は、焦点距離を、苦手シーンが検出されない範囲での最大値に設定する。また、後述するＳＳ５０６乃至Ｓ５０８において、システム制御部１５０は、苦手シーンが検出されない画角になるように、焦点距離を徐々に下げていく。

Ｓ５０２において、システム制御部１５０が、焦点距離が光学系１８１で設定できる最大値になっているかを判断する。光学系１８１で設定できる焦点距離の最大値は、例えば、動きベクトル算出部３０３の出力に基づいて、公知の技術により決定される。焦点距離が光学系１８１で設定できる最大値になっている場合は、処理がＳ５０９に進む。焦点距離が光学系１８１で設定できる最大値になっていない場合は、処理がＳ５０３に進む。

Ｓ５０３において、システム制御部１５０が、光学系１８１の焦点距離を一定値上げる。続いて、Ｓ５０４において、システム制御部１５０が、苦手シーンが検出されたかを判断する。苦手シーンが検出されない場合は、処理がＳ５０２に戻る。苦手シーンが検出された場合は、処理がＳ５０５に進む。Ｓ５０５において、システム制御部１５０が、光学系１８１の焦点距離を一定値下げる。そして、処理がＳ５０９に進む。これにより、光学系１８１の焦点距離を、苦手シーンが検出されない範囲での最大値となるように制御できる。

また、Ｓ５０６において、システム制御部１５０が、焦点距離が光学系１８１で設定できる最小値になっているかを判断する。光学系１８１で設定できる焦点距離の最小値は、例えば、動きベクトル算出部３０３の出力に基づいて、公知の技術により決定される。焦点距離が光学系１８１で設定できる最小値になっている場合は、処理がＳ５０９に進む。焦点距離が光学系１８１で設定できる最小値になっていない場合は、処理がＳ５０７に進む。

Ｓ５０７において、システム制御部１５０が、光学系１８１の焦点距離を一定値下げる。続いて、Ｓ５０８において、システム制御部１５０が、苦手シーンが検出されたかを判断する。苦手シーンが検出された場合は、処理がＳ５０６に戻る。苦手シーンが検出されない場合は、処理がＳ５０９に進む。これにより、光学系１８１の焦点距離を、苦手シーンが検出されない範囲での最大値となるように制御できる。

次に、Ｓ５０９において、システム制御部１５０が、光学系１８１で設定された焦点距離に基づいて、マッピング時間ｍを設定する。具体的には、システム制御部１５０は、処理の開始時点から現在までの焦点距離の変化に基づき、動きベクトルの算出精度が維持されるマッピング時間ｍを設定する。

次に、Ｓ５１０において、システム制御部１５０が、Ｓ５０９において設定したマッピング時間ｍに基づいて、重複度ｎを設定する。具体的には、システム制御部１５０は、処理の開始時点から現在までのマッピング時間ｍの変化に基づき、動きベクトルの算出周期が維持される重複度ｎを設定する。以上説明した本実施形態の光学装置によれば、イベントセンサの出力に基づく動きベクトルの算出精度を維持しつつ、光学装置の負荷を抑えながら、算出周期を向上させることができる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、動きベクトル算出装置として機能すれば、光学系を有していない装置でも外部から必要な情報を取得することで本発明を適用できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００本体部
１５０システム制御部
１８０イベントセンサ
１９０レンズユニット

Claims

被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得手段と、
第１の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、
前記データに対する前記所定の処理の開始時刻に前記第１の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、を有する
ことを特徴とする動きベクトル算出装置。
前記生成手段は、前記データに対する前記所定の処理の重複度に応じて決まる第２の時間ごとに前記データに対する前記所定の処理を開始して、前記複数のフレームを連続的に生成する
ことを特徴とする請求項１に記載の動きベクトル算出装置。
前記算出手段は、前記第２の時間ごとに前記動きベクトルを算出する
ことを特徴とする請求項２に記載の動きベクトル算出装置。
前記制御手段は、前記第２の時間を、前記第１の時間を前記データに対する前記所定の処理の重複度で除算して得られる時間に設定する
ことを特徴とする請求項２または請求項３に記載の動きベクトル算出装置。
前記データに対する前記所定の処理は、前記データに含まれる輝度変化した画素の座標情報のマッピングである
ことを特徴とする請求項１乃至４のいずれか１項に記載の動きベクトル算出装置。
前記検出手段は、イベントベースのビジョンセンサであり、
前記制御手段は、前記ビジョンセンサの光学系の焦点距離に応じて前記第１の時間を設定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の動きベクトル算出装置。
前記制御手段は、前記ビジョンセンサの光学系の焦点距離に基づいて、前記第１の時間を設定する
ことを特徴とする請求項６に記載の動きベクトル算出装置。
前記制御手段は、前記設定された前記第１の時間に基づいて、前記データに対する前記所定の処理の重複度を設定する
ことを特徴とする請求項７に記載の動きベクトル算出装置。
前記ビジョンセンサの光学系を制御する光学系制御手段を有し、
前記光学系制御手段は、前記検出手段の出力に基づいて、被写体の画素情報が所定の条件を満たすと判断した場合に、前記ビジョンセンサの光学系の焦点距離を変更する制御を行う
ことを特徴とする請求項６乃至８のいずれか１項に記載の動きベクトル算出装置。
前記光学系制御手段は、被写体が直線状の被写体である場合、または画角の所定の領域のコントラストが閾値より低い場合に、前記ビジョンセンサの光学系の焦点距離を下げる制御を行う
ことを特徴とする請求項９に記載の動きベクトル算出装置。
前記光学系制御手段は、前記ビジョンセンサの光学系の焦点距離を、前記被写体の画素情報が前記所定の条件を満たさない範囲での最大値に設定する
ことを特徴とする請求項９または請求項１０に記載の動きベクトル算出装置。
被写体を撮像する撮像手段と、
被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得手段と、
第１の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、
前記データに対する前記所定の処理の開始時刻に前記第１の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、
前記算出された動きベクトルに基づいて、補正手段を駆動して、撮像画像のブレを補正する補正制御手段を有する
ことを特徴とする撮像装置。
被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得工程と、
第１の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成工程と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御工程と、
前記データに対する前記所定の処理の開始時刻に前記第１の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出工程と、を有する
ことを特徴とする動きベクトル算出方法。