JP2015222913A - 間歇的トラッキング撮影装置 - Google Patents

Abstract

【課題】高速で移動する対象を撮影する場合であっても、また、高速で移動する本装置から対象を撮影する場合であっても、モーションブラーを低減して高精度かつ高感度で撮影することができる間歇的トラッキング撮影装置を提供することを目的とする。
【解決手段】本発明に係る間歇的トラッキング撮影装置は、所定のフレームレートで撮影対象を撮影するイメージセンサと、前記撮影対象と前記イメージセンサとの相対的位置関係を変更する変更手段と、フレーム内のシャッタ開放時には、前記撮影対象をトラッキングすることにより、前記撮影対象の移動又は本装置の移動に伴って生じる前記相対位置関係の変化を抑制し、前記フレーム内のシャッタ閉鎖時には、前記相対位置関係を所定のホームポジションに戻すように、前記変更手段をフレーム毎に制御する制御部と、を備えたことを特徴とする。
【選択図】 図２

Description

本発明は間歇的トラッキング撮影装置に係り、特に、高速移動体を撮影する、又は、高速移動体から撮影する間歇的トラッキング撮影装置に関する。

動いている対象をカメラで撮影したときに生じるブレ（或いはボケ）は、モーションブラー（Motion blur）と呼ばれる。また、撮影対象が動いていなくとも、カメラ自体が動いた場合にも、同様にモーションブラーが発生する。所謂手ぶれによるボケもモーションブラーの１つと考えることができる。

モーションブラーを低減する技術は従来から種々検討されている。例えば、デジタルカメラの分野において、内蔵する振動ジャイロセンサの情報に基づいて、レンズ系を駆動して手ぶれを防止する技術が知られている（例えば、特許文献１）。

特開２００２−２１４６５９号公報

高速で移動する物体を撮影する方法の１つに、カメラの視線方向を移動物体の方向に常に追跡させる方法がある。この方法によれば、移動物体のモーションブラーを低減させることができる。しかしながら、この方法の場合、カメラの視線方向を常に移動物体の方向に向ける必要があるため、カメラの視線方向を任意の方向に設定することができない。つまり、カメラの視線方向は、移動物体の方向に拘束される。

また、高速移動物体のモーションブラーを低減する方法として、カメラのシャッタを開放する時間を短くする方法がある。しかしながら、シャッタの開放時間を短くすると受光量が減少するため、視認するのに十分な明るさの画像または広ダイナミックレンジの画像を得ることが困難となる。

一方、デジタルカメラ等の手ぶれ補正技術は、内蔵する振動ジャイロセンサによってカメラ自体の動きを補正するものであるため、撮影対象物が高速で移動することによって生じるモーションブラーを除去することはできない。

本発明は、このような事情を考慮してなされたものであり、高速で移動する対象を撮影する場合であっても、また、高速で移動する本装置から対象を撮影する場合であっても、モーションブラーを低減して高精度かつ高感度で撮影することができる間歇的トラッキング撮影装置を提供することを目的とする。

上記課題を解決するため、本発明に係る間歇的トラッキング撮影装置は、所定のフレームレートで撮影対象を撮影するイメージセンサと、前記撮影対象と前記イメージセンサとの相対的位置関係を変更する変更手段と、フレーム内のシャッタ開放時には、前記撮影対象をトラッキングすることにより、前記撮影対象の移動又は本装置の移動に伴って生じる前記相対位置関係の変化を抑制し、前記フレーム内のシャッタ閉鎖時には、前記相対位置関係を所定のホームポジションに戻すように、前記変更手段をフレーム毎に制御する制御部と、を備えたことを特徴とする。

本発明に係る間歇的トラッキング撮影装置によれば、高速で移動する対象を撮影する場合であっても、また、高速で移動する本装置から対象を撮影する場合であっても、モーションブラーを低減して高精度かつ高感度で撮影対象を撮影することができる。

本発明の応用例を示す図。 第１の実施形態の間歇的トラッキング撮影装置の構成例を示すブロック図。 実施形態に係る間歇的トラッキング撮影装置との比較のため、従来の撮影装置におけるモーションブラーの発生状況を模式的に示す図。 実施形態に係る間歇的トラッキング撮影装置によって、高速移動目標に対してモーションブラーが抑制できることを模式的に示す図。 第１の変形例の間歇的トラッキング撮影装置の構成例を示すブロック図。 第２の変形例の間歇的トラッキング撮影装置の構成例を示すブロック図。 変更手段の他の例を示す図。 第２の実施形態の間歇的トラッキング撮影装置の動作概念を示す図。 第３の実施形態の間歇的トラッキング撮影装置の構成例を示すブロック図。 第３の実施形態の間歇的トラッキング撮影装置の動作概念を示す図。 検証実験に用いたプロトタイプの構成を示す図。 検証実験の検証結果を示す第１の図。 検証実験の検証結果を示す第２の図。

以下、本発明の実施形態を添付図面に基づいて説明する。図１は、本発明の実施形態に係る間歇的トラッキング撮影装置１の応用例を説明する図である。

図１（ａ）は、例えば、時速３００ｋｍで移動する高速移動体（新幹線等）から、トンネル内壁のクラック等の接近した撮影対象を撮影する場面に間歇的トラッキング撮影装置１を応用する例を示す。時速３００ｋｍは、８３ｍ／ｓ、或いは８３ｍｍ／ｍｓの速度に該当する。シャッタの開放時間を０．１ｍｓと仮定したとしても、この間の移動量は画素ピッチに比べてはるかに大きく、その結果大きなモーションブラーが発生する。したがって、トンネル内壁のクラック等を、従来の撮影装置で撮影した画像を用いて検査するのは事実上困難である。このため、例えば、夜間等に交通を一時的に遮断し、車両をゆっくり走らせながら、或いは移動と停止を繰り返しながら、道路、或いは鉄道のトンネル等を検査せざるを得ず、膨大な時間とコストを要することになる。

このような場面において、実施形態の間歇的トラッキング撮影装置１を応用すれば、高速で移動する車両に搭載した状態でもモーションブラーの無い画像が得られる。このため、交通を閉鎖することなく、道路や鉄道のトンネル、或いは周辺設備のインフラ検査が可能となる。

図１（ｂ）は、例えば流路径が５０〜８０μｍのマイクロ流路内を流れる細胞を、顕微鏡型の撮影装置で撮影する場面に間歇的トラッキング撮影装置１を応用する例を示す。近年、再生医療等の分野において、細胞を検査し分類する技術の重要性が高まっている。このような検査において、マイクロ流路内を流れる細胞を撮影した画像から個々の細胞の形状を認識したいというニーズがある。マイクロ流路を流れる細胞の流速が、例えば１ｍ／ｓであったとしても、細胞の形状が認識できる程度に顕微鏡で拡大すると画素ピッチに対する移動速度は大きく、従来の撮影装置ではモーションブラーが発生し、細胞形状を明瞭に認識することは困難である。このような場面に実施形態の間歇的トラッキング撮影装置１を応用すれば、細胞がマイクロ流路内を流れている状態で細胞の形状等をモーションブラーなく撮影することができる。この結果、例えば、大量の細胞の中から細胞の良否を短時間で判定することができ、細胞の検査を高スループットで実施することが可能となる。

上記は単なる一例であり、高速で移動する対象を撮影する場合や、高速移動体に本装置を搭載する場合であれば、本発明の実施形態に係る間歇的トラッキング撮影装置１を適用して、モーションブラーなく明瞭な画像を得ることができる。また、民生用のビデオカメラ等に本装置を適用して、手ぶれを防止する共に、ゴルフのスウィングや、高速で移動する車両を所望の輝度で、かつ、モーションブラーなく撮影することができる。

（１）第１の実施形態
図２は、第１の実施形態に係る間歇的トラッキング撮影装置１の構成例を示すブロック図である。図２では、図の左上に黒丸で示した高速移動目標（撮影対象）を、間歇的トラッキング撮影装置１で撮影する様子を示している。これとは逆に、固定の目標（撮影対象）を、高速移動体に搭載された間歇的トラッキング撮影装置１で撮影する場合にも、間歇的トラッキング撮影装置１の構成は図２のブロック図に示すものと同じである。また、撮影対象と間歇的トラッキング撮影装置１の双方が移動する場合にも、図２のブロック図と同じ構成となる。

間歇的トラッキング撮影装置１は、イメージセンサ１０、アクチュエータ２０（変更手段２０）、画像生成部３０、速度算出部４０、及び制御部５０を有する。また、制御部５０は、位置制御部（１）５１、位置制御部（２）５２、切り換えスイッチ５３、及びシャッタ制御部５４を有する。

イメージセンサ１０は、例えばＣＭＯＳイメージセンサ或いはＣＣＤイメージセンサであり、複数の画素が面アレイ状に配列されている。イメージセンサ１０のフレームレートは特に限定するものではないが、高速移動体を高い時間分解能で撮影する観点からは、より高速のイメージセンサ１０が好ましい。なお、図２では、イメージセンサ１０の前側（目標側）に設置されるレンズ等の光学系の図示を省略している。

シャッタ制御部５４からイメージセンサ１０に対してシャッタ制御信号が入力される。シャッタ制御信号は、フレームレートを制御するタイミング信号や、フレーム内のシャッタ開放時間とシャッタ閉鎖時間とを定めるタイミング信号である。例えば、フレーム制御信号がオンときイメージセンサ１０のシャッタ（電子シャッタ）を開放し、フレーム制御信号がオフのときイメージセンサ１０のシャッタ（電子シャッタ）を閉鎖する。

変更手段２０は、撮影対象とイメージセンサ１０との相対的位置関係を変更する。図２に示す第１の実施形態では、変更手段２０はイメージセンサ１０の位置を変化させるアクチュエータ１０であり、例えばピエゾアクチュエータとして構成される。アクチュエータ１０に対する制御信号（制御電圧）は、制御部５０から供給される。また、アクチュエータ２０からは、イメージセンサ１０の現在の位置を示す信号（イメージセンサ位置）が制御部５０に対して出力される。

画像生成部３０は、イメージセンサ１０から出力される画素信号に基づいて、撮影対象を撮影した画像をフレーム毎に生成する。

速度算出部４０は、フレーム毎の画像を用いて、イメージセンサ１０で撮影した撮影対象の位置の変化から、撮影対象とイメージセンサ１０との相対的な運動速度を算出する。速度算出部４０の具体的な動作については後述する。

制御部５０は、フレーム内のシャッタ開放時には、撮影対象にトラッキングさせることにより、撮影対象の移動又は本装置の移動に伴って生じる相対位置関係の変化を抑制し、フレーム内のシャッタ閉鎖時には、相対位置関係を所定のホームポジションに戻すように、アクチュエータ２０（変更手段２０）をフレーム毎に制御する。

例えば、制御部５０は、シャッタ開放時にアクチュエータ２０の位置を制御する第１のフィードバック制御ループと、シャッタの閉鎖時にアクチュエータ２０の位置を制御する第２のフィードバック制御ループを有している。第１のフィードバック制御ループには位置制御部（１）５１が含まれており、第２のフィードバック制御ループには位置制御部（２）５２が含まれている。

第１のフィードバック制御ループでは、速度算出部４０で算出された撮影対象とイメージセンサ１０との相対的な運動速度が、速度ゼロ（目標値）となるように、アクチュエータ２０の位置を制御する。具体的には、シャッタ開放時に切り換えスイッチ５３を位置制御部（１）５１側に切り換え、位置制御部（１）５１から出力されるアクチュエータ駆動信号をアクチュエータ２０に供給する。第１のフィードバック制御により、イメージセンサ１０が撮影対象をトラッキングする。

一方、第２のフィードバック制御ループでは、シャッタ閉鎖時にイメージセンサ１０の位置が所定のホームポジション（初期位置）に戻るように、アクチュエータ２０を制御する。このために、シャッタ閉鎖時に、切り換えスイッチ５３を位置制御部（２）５２側に切り換え、位置制御部（２）５２から出力されるアクチュエータ駆動信号をアクチュエータ２０に供給する。

このように、実施形態の間歇的トラッキング撮影装置１では、シャッタ開放時には撮影目標をトラッキングし、シャッタ遮蔽時はトラッキングを行うことなくイメージセンサをホームポジションに戻している。つまり、トラッキングを間歇的に行っている。この点において、イメージセンサの向き（或いは撮影カメラの向き）を移動目標に常時指向させて連続的にトラッキングする従来の手法とは大きく異なっている。

撮影対象とイメージセンサ１０との相対的な運動が２次元的な動き（視線方向に直交する面内（例えばＸＹ面内）おける２次元的な動き）として想定される場合は、アクチュエータ２０は、イメージセンサ１０をＸＹ面内に２次元的に移動できるように構成される。一方、撮影対象とイメージセンサ１０との相対的な運動が１次元な動きとして想定さる場合には（例えば、図１（ｂ）のようにマイクロ流路内を１方向に流れる細胞を撮影するような場面には）、アクチュエータ２０を、該当する１方向に対してのみイメージセンサ１０を移動できるように構成してもよい。

また、イメージセンサ１０を、視線方向に直交する面内で並行移動させることに換えて、撮影対象に対するイメージセンサ１０の視線方向を撮影対象にトラッキングさせるようにイメージセンサ１０を回転移動させてもよい。

図３は、本発明の実施形態に係る間歇的トラッキング撮影装置１との比較のため、従来の撮影装置におけるモーションブラーの発生状況を模式的に示す図である。

図３の上段には、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームに対して、シャッタ開放期間の開始時刻と終了時刻のそれぞれに対応するイメージセンサの位置を示している。各イメージセンサは、２次元のイメージセンサの上側面を上方から見た図として表しており、各イメージセンサの図の下側が目標に向かって左側（Ｌ）に対応し、図の上側が目標に向かって右側（Ｒ）に対応する。なお、図３の上段左側の縦に並んだ複数の黒丸は、１つの高速移動目標が、左から右に向かって移動する様子を示している。

図３の中段に示す図は、横軸が時間、縦軸がイメージセンサの位置を表わすグラフを、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームに対して示すものである。従来の撮影装置は、イメージセンサの位置は固定であるため、イメージセンサの位置はどの時刻においてもホームポジションにある。なお、フレームタイムはどのフレームにおいても一定である。また、フレーム内のシャッタ開放時間とシャッタ閉鎖時間との比率もどのフレームにおいても一定としている。

図３の下段には、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の夫々のフレームで得られる画像を模式的に示す図である。

図３の上段の図からわかるように、高速移動目標は、フレーム内のシャッタ開放時間の間にも当然移動する。例えば、フレーム＃Ｎのシャッタ開放期間の開始時刻から終了時刻の間に、位置Ｐ１からＰ２に移動する。そして、この移動距離が、イメージセンサの画素に換算したときに複数の画素に亘るとき、モーションブラーが発生する。

図３の下段に示すように、モーションブラーは、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）のどのフレームでも発生する。その結果、各フレームで得られる画像は、元々円形（黒丸）であった目標の形状が、移動方向に伸びた（今の例では左から右に伸びた）、ぼけた画像となる。

これに対して、図４は、本発明の実施形態に係る間歇的トラッキング撮影装置１によって、同様の高速移動目標に対してもモーションブラーが抑制できることを模式的に示す図である。

図４の上段は、図３の上段と同様に、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームに対して、シャッタ開放期間の開始時刻と終了時刻のそれぞれに対応するイメージセンサ１０の位置を示している。

図４の中段に示す図は、図３の中段と同様に、横軸が時間、縦軸がイメージセンサの位置を表わすグラフを、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームに対して示すものである。前述したように、本発明の実施形態に係る間歇的トラッキング撮影装置１は、シャッタ開放時において、第１のフィードバック制御ループによって撮影対象とイメージセンサ１０との相対的な運動速度が、速度ゼロ（目標値）となるように、アクチュエータ２０の位置を制御している。したがって、目標が一定速度で移動している場合には、イメージセンサ１０を一定速度で移動させるようにアクチュエータ２０を制御する。この結果、シャッタ開放時には、イメージセンサ１０の位置は、直線状に変化し、移動目標をトラッキングする。

一方、シャッタ閉鎖時には、イメージセンサ１０の位置がホームポジションに戻るように第２のフィードバック制御ループが働く。この結果、シャッタが閉鎖されると、イメージセンサ１０の位置はホームポジションに向かって移動し、ホームポジションに達するとその位置を保持する。そして、次のシャッタ開放時には、第１のフィードバック制御ループにより、目標の動きに応じてイメージセンサ１０の位置が変化し、移動目標をトラッキングする。この結果、目標が一定の速度で移動する場合、イメージセンサ１０の位置は、図４の中段に示すように鋸歯状の動きを示す。

上記の動作により、高速移動目標が、例えば、フレーム＃Ｎのシャッタ開放期間の開始時刻から終了時刻の間に、位置Ｐ１からＰ２に移動したとしても、この動きに追随してイメージセンサ１０の位置も移動する。この結果、イメージセンサ１０上では、シャッタ開放期間の開始から終了までの間、常に同じ画素が目標を捉え続けることになり、モーションブラーが発生しない。そして、上記のトラッキング動作は、それぞれのフレームのシャッタ開放期間に行われるため、どのフレームにおいても、モーションブラーの無い鮮明な画像が得られる。例えば、図３と同じ高速移動目標（黒丸で示す円形目標）を撮影する場合にも、図４下段に示すように、各フレームにおいて、モーションブラーの無い画像が得られる。その結果、各フレーム画像において目標の形状を正確に認識することができる。また、各フレーム画像を連続再生することにより、目標の形状が正確に維持された動画を提供することができる。

なお、図４の下段に示す画像の例では、説明の便宜上、隣接するフレーム間での目標（黒丸）の位置の差を大きくしているが、これは時間分解能の問題であり、フレームレートを上げることにより、時間分解能を高めることができる。つまり、実施形態の間歇的トラッキング撮影装置１を高いフレームレートで動作させることにより、滑らかな動きで、かつ１つ１つのフレームにモーションブラーの無い動画を得ることができる。

ここで、速度算出部４０が行う速度算出方法の一例を説明する。

今、画像生成部３０から速度算出部４０に入力される入力画像を、I(X, Y, t)と表記する。ここで、X, Yは画素位置であり、ｔは時間である。この入力画像を、閾値値θで二値化する。二値化画像をB(X, Y, t)とすると、二値化画像は、
で表される。

次に、この二値化画像B(X, Y, t)の、０次、１次モーメント特徴を計算する。０次、１次モーメント特徴Ｍ_ｍｎ(t)は、次の（式２）で表される。

次に、（式２）のモーメント特徴に基づいて、重心位置c(t)を次の（式３）で計算する。

次に、時刻ｔでの重心位置c(t)と、１フレーム前の時刻（ｔ−τ）での重心位置c(t−τ)に基づいて、撮影対象とイメージセンサ１０との相対的な運動速度ｖ（ｔ）を、次の（式４）によって算出する。

上記のように速度算出部４０で算出された運動速度ｖ（ｔ）は、フレーム毎に制御部５０の第１のフィードバック制御ループに提供される。上記の運動速度の算出方法はあくまで一例であり、これ以外の公知の算出方法を用いても良い。

（２）第１の実施形態の変形例
図５は、第１の実施形態の第１の変形例に係る間歇的トラッキング撮影装置１ｂの構成例を示すブロック図である。第１の実施形態（図２）との相違点は、速度算出部４０に換えて、エッジ強度算出部６０を有している点である。エッジ強度算出部６０は、画像生成部３０で生成された撮影対象の画像から、撮影対象のエッジ強度を算出する。モーションブラーが大きいと撮影対象の形状はぼけるため、そのエッジ強度は小さくなる。逆に、モーションブラーが小さいと撮影対象の形状は鮮明になり、そのエッジ強度は大きくなる。そこで、第１の実施形態の第１の変形例では、エッジ強度が最大となるように、つまり、モーションブラーが小さくなるように、イメージセンサ１０の位置をアクチュエータ２０で制御する。そのために、算出されたエッジ強度は制御部１５０の第１のフィードバック制御ループに提供され、所定のエッジ強度最大値と比較される。そして、算出されたエッジ強度がエッジ強度最大値となるように、シャッタ開放時のイメージセンサ１０の位置を制御すべくアクチュエータ２０を駆動する。なお、第２のフィードバック制御ループの制御に関しては、第１の実施形態と同じである。

運動速度を用いる第１の実施形態と、エッジ強度を用いる第１の変形例とを組み合わせても良い。この場合、速度算出部４０で算出された運動速度と、エッジ強度算出部６０で算出されたエッジ強度の両方のパラメータを用いて第１のフィードバック制御ループを制御する。

図６は、第１の実施形態の第２の変形例に係る間歇的トラッキング撮影装置１ｃの構成例を示すブロック図である。第１の実施形態（図２）との相違点は、速度算出部４０に換えて、入力部７０を有している点である。第２の変形例では、第１のフィードバック制御ループで用いる運動速度を、撮影対象の画像からではなく、入力部７０を介して外部から入力する。間歇的トラッキング撮影装置１ｃが車両等の高速移動体に搭載され、この間歇的トラッキング撮影装置１ｃによって車両周辺の固定の撮影対象を撮影するような場合、撮影対象とイメージセンサ１０との相対的な運動速度は、搭載車両の移動速度から求めることができる。第２の変形例では、画像から運動速度を求める処理が不要となるため、全体としての処理が簡素化される。

ここまでは、撮影対象とイメージセンサ１０との相対的位置関係を変更する変更手段として、イメージセンサ１０自体を、並行移動、或いは回転移動させるアクチュエータ２０を例として説明した（図７（ａ））。しかしながら、相対的位置関係を変更する変更手段は、イメージセンサ１０自体を移動させるアクチュエータ２０に限定されない。例えば、イメージセンサ１０へ入射する光の光路位置又は光路角度を変更する光路変更手段であってもよい。例えば、図７（ｂ）に示すように、撮影対象とイメージセンサ１０との間に変更手段としてのガルバノミラー２０ｂを設置し、ガルバノミラー２０ｂの回転角度を制御することにより、イメージセンサ１０へ入射する光の光路位置又は光路角度を変更して、撮影対象とイメージセンサ１０との相対的位置関係を変更してもよい。

また、例えば、間歇的トラッキング撮影装置１を顕微鏡型撮影装置として構成するような場合には、図７（ｃ）に示すように、対物レンズの位置をアクチュエータ２０ｃで移動させることにより、イメージセンサ１０へ入射する光の光路位置又は光路角度を変更してもよい。

（３）第２の実施形態
前述した第１の実施形態に係る間歇的トラッキング撮影装置１では、図４の中段に示すように、総てのフレームのシャッタ開放時において、撮影対象をトラッキングする処理を行っている。撮影対象が、背景の中を移動する孤立した高速移動目標の場合、第１の実施形態に係る間歇的トラッキング撮影装置１によって、この高速移動目標のモーションブラーを抑制することができる。しかしながら、この場合、背景の画像には逆にモーションブラーが発生し、ぼけた背景画像の中にモーションブラーの無い高速移動目標が撮影される画像となる。撮影の目的によっては、このような画像の方が好ましい場合があるが、その一方で、背景と高速移動目標の両方ともモーションブラーのない画像が要望される場合もある。第２の実施形態に係る間歇的トラッキング撮影装置１ｄは、このような要望に応えるものである。

図８は、第２の実施形態に係る間歇的トラッキング撮影装置１ｄの動作概念を示すものである。具体的には、間歇的トラッキング撮影装置１ｄでは、シャッタ開放時に撮影対象をトラッキングする第１のフレーム処理と、シャッタ開放時においても相対位置関係をホームポジションに維持してトラッキングを行わない第２のフレーム処理とを、時分割で行う。例えば、図８に示すように、偶数フレーム（フレーム＃Ｎ、フレーム＃（Ｎ＋２）、フレーム＃（Ｎ＋４）等）には撮影対象をトラッキングし、奇数フレーム（フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋３）、フレーム＃（Ｎ＋５）等）には撮影対象をトラッキングしないものとする。そして、偶数フレームの画像のみを抽出すれば、移動目標に対してモーションブラーの無いフレーム画像群が得られる。また、奇数フレームの画像のみを抽出すれば、背景に対してモーションブラーの無いフレーム画像群が得られる。

さらに、偶数フレームの画像群から移動目標の領域のみを抽出し、抽出した移動目標を奇数フレームの画像群にそれぞれ合成することにより、移動目標と背景の両方に対してモーションブラーのない画像を生成することも可能である。

なお、第２の実施形態に係る間歇的トラッキング撮影装置１ｄは、制御部５０の処理タイミングが第１の実施形態と異なるが、その構成自体は第１の実施形態（図２）と同じであるため、ブロック図の図示は省略する。

（４）第３の実施形態
図９は、第３の実施形態に係る間歇的トラッキング撮影装置１ｅの構成例を示すブロック図である。第３の実施形態の間歇的トラッキング撮影装置１ｅは、第１の実施形態の構成に加えて、輝度算出部８０と露光制御部９０をさらに備える。輝度算出部８０は、イメージセンサ１０で撮影した撮影対象の画像の輝度を算出する。また、露光制御部９０は、フレーム時間内におけるシャッタ開放時間とシャッタ閉鎖時間との比率を、算出した輝度に応じてフレーム毎に変化させることによって露光制御する。

輝度算出の方法自体は特に限定するものでない。例えば、撮影対象のフレーム画像からフレーム毎の輝度ヒストグラムを輝度算出部８０で算出する。露光制御部９０では、規準輝度ヒストグラムと、算出されたフレーム毎の輝度ヒストグラムを比較し、両者の差異の大きさを表わす指標を算出する。そして、算出されたフレーム毎の輝度ヒストグラムが規準輝度ヒストグラムに近づくように、算出した指標に基づいて、フレーム時間内におけるシャッタ開放時間とシャッタ閉鎖時間との比率を決定する。そして、この比率とフレーム時間とから、シャッタ開放時間とシャッタ閉鎖時間とをフレーム毎に決定して、シャッタ制御部５４に出力する。

図１０は、第３の実施形態に係る間歇的トラッキング撮影装置１ｅの動作概念を示すものである。第３の実施形態で行う露光制御は、フレーム時間自体は一定としつつ、フレーム時間内におけるシャッタ開放時間とシャッタ閉鎖時間との比率を変更することによって露光制御する。例えば、撮影対象が急に明るくなった場合には、図１０のフレーム＃（Ｎ＋１）やフレーム＃（Ｎ＋２）のように、シャッタ開放時間を短くしシャッタ閉鎖時間を長くする。逆に、撮影対象が急に暗くなった場合には、図１０のフレーム＃（Ｎ＋３）乃至フレーム＃（Ｎ＋５）のように、シャッタ開放時間を長くしシャッタ閉鎖時間を短くする。

第３の実施形態の間歇的トラッキング撮影装置１ｅでは、上記の露光制御と、既に説明した撮影対象に対するトラッキングとを同時に実施する。この結果、例えば、明るく、かつ移動速度の遅い撮影対象に対しては、図１０のフレーム＃Ｎ乃至フレーム＃（Ｎ＋２）のように、露光時間（シャッタ開放時間）は短くなり、トラッキング速度（或いはイメージセンサの移動量）は小さくなる。逆に、例えば、暗く、かつ移動速度の速い撮影対象に対しては、図１０のフレーム＃（Ｎ＋３）乃至フレーム＃（Ｎ＋５）のように、露光時間（シャッタ開放時間）は長くなり、トラッキング速度（或いはイメージセンサの移動量）は大きくなる。

（５）検証実験
前述した実施形態の間歇的トラッキング撮影装置１の効果を確認するために、プロトタイプを制作して検証実験を行った。図１１（ａ）は、プロトタイプ１００の構成を示す図である。

プロトタイプ１００は、顕微鏡型の間歇的トラッキング撮影装置１を模擬したものである。プロトタイプ１００は、顕微鏡１０１、高速度カメラ１０２、制御用ＰＣ１０３、ＤＡボード１０４、ピエゾドライバ１０５、ピエゾステージ１０６、及びリニアスライダ１０７で構成した。

撮影対象として、図１１（ｂ）に示す直径５０マイクロメートルの微小な黒丸をその上に描いたスライドグラスＡと、図１１（ｃ）に示す縦１００マイクロメートル、横２００マイクロメートルの微小な猫のイラストをその上に描いたスライドグラスＢの２種類を用いた。

図７（ｃ）に示す顕微鏡型撮影装置の構成では、対物レンズの位置をアクチュエータで変更するようにしているが、検証実験では、顕微鏡１０１の対物レンズは固定とし、撮影対象であるスライドグラスＡ、Ｂの位置をピエゾステージ１０６でフィードバック制御する構成とした。そして、ピエゾステージ１０６をリニアスライダ１０７の上に固定し、リニアスライダ１０７を、図示しない駆動装置で、１方向に定速で移動させるケースと、リニアスライダ１０７を手動で移動させるケースの２ケースで検証実験を行った。

高速度カメラ１０２には、５１２×５１２画素、画素ピッチ１０×１０μｍのイメージセンサが搭載されている。検証実験で用いた顕微鏡１０１の対物レンズは倍率１０倍のものを使用した。この場合、撮影対象であるスライドグラスＡ、Ｂ上のパターンの１μｍが、イメージセンサの１画素の大きさに該当することになる。

高速度カメラ１０２のフレームレートは、最大２０００ｆｐｓまで設定可能であるが、検証実験では、フレームレートを１２５ｆｐｓ、即ち、フレーム時間を８ｍｓに設定した。また、フレーム時間８ｍｓのうち、シャッタ開放時間を４ｍｓに設定し、シャッタ閉鎖時間を４ｍｓに設定した。

高速度カメラ１０２から出力されるフレーム毎の画像に対して、制御用ＰＣによって、（式１）乃至（式４）に示す演算を行って、撮影対象の運動速度ｖ（ｔ）を算出した。さらに、運動速度ｖ（ｔ）から、図２の位置制御部（１）５１の出力に該当する、ピエゾステージ１０６に対する移動量（制御量）を算出した。算出した移動量は、ＤＡボード１０４でアナログ量に変換し、ピエゾドライバ１０５を介してピエゾステージ１０６に印加した。

図１２は、微小黒丸（スライドグラスＡ）を撮影対象とした検証実験の結果の一例を示す図である。図１２（ａ）は撮影対象を再掲したものであり図１１（ｂ）と同じものである。

図１２（ｂ）及び図１２（ｃ）は、スライドグラスＡ（撮影対象）の位置を制御するピエゾステージ１０６をリニアスライダ１０７に固定し、このリニアスライダ１０７を一定速度で移動させ、移動中にスライドグラスＡ（撮影対象）を撮影した画像である。移動方向は、図１２（ｂ）、（ｃ）において左から右である。また、移動速度は、０ｍｍ／ｓ、１ｍｍ／ｓ、・・・、１４ｍｍ／ｓと、１ｍｍ／ｓずつ異なる速度に設定して実験を行った。図１２（ｂ）、（ｃ）は、このうち、１２ｍｍ／ｓの速度に設定した実験で得られた画像を示している。

図１２（ｂ）が、本発明の間歇的トラッキングを行って撮影した画像である。図１２（ｃ）は、本発明との比較のために、間歇的トラッキングなしで撮影した画像である。図１２（ｂ）、（ｃ）からわかるように、間歇的トラッキングなしで撮影した画像（図１２（ｃ））には大きなモーションブラーが発生したのに対して、本発明の間歇的トラッキングを行って撮影した画像（図１２（ｂ））では、モーションブラーが大幅に低減した。

モーションブラーを定量的に示す指標として、モーションブラー係数（motion blur (pixel)を算出した。モーションブラー係数は、微小黒丸を含む二値化画像領域の０、１、２次モーメント特徴に基づいて、撮影画像の微小黒丸を楕円近似した場合の長軸と短軸の長さを算出し、長軸と短軸との差をピクセルの単位で表したものを、モーションブラー係数として定義した。モーションブラーが全くない場合には、モーションブラー係数はゼロとなる。

図１２（ｂ）、（ｃ）の隣に算出したモーションブラー係数を示す。間歇的トラッキングを行わないときのモーションブラー係数が２２ピクセルと大きな値を示したのに対して、間歇的トラッキングを行った場合は、モーションブラー係数は５ピクセルまで減少した。

図１２（ｄ）乃至及び図１２（ｆ）は、リニアスライダ１０７を不規則な速度で移動させるべく、リニアスライダ１０７を手動で移動させて行った検証実験の結果を示すグラフである。図１２（ｄ）は推定された速度、図１２（ｅ）はピエゾステージ１０６に対する位置制御信号、図１２（ｆ）は、評価用に算出したモーションブラー係数を表わす。横軸はいずれも時間である。

図１２（ｆ）に示されるように、間歇的トラッキングを行った場合は、間歇的トラッキングを行わなかった場合に比べてモーションブラー係数は大幅に低減された。この結果から、間歇的トラッキングを行った場合は、撮影対象の速度が変化した場合でもモーションブラー係数は小さな値となり、また撮影対象の移動速度が未知で不規則な運動をする場合でも、モーションブラー係数を抑制できることがわかった。

図１３は、猫のイラスト（スライドグラスＢ）を撮影対象とした検証実験の結果の一例を示す図である。図１３（ａ）は撮影対象を再掲したものでありと図１１（ｃ）同じものである。この検証実験では、図１２（ｄ）乃至図１２（ｆ）の結果を得たときと同様に、ピエゾステージ１０６が固定されたリニアスライダ１０７を手動で移動させた。また、間歇的トラッキングを行うフレームと、間歇的トラッキングを行わないフレームとを交互に行った。いずれも、フレーム時間自体は８ｍｓである。

図１３（ｂ）が、間歇的トラッキングを行ったフレーム画像を時系列に配列したものであり、図１３（ｃ）は、このうち、ｔ＝００３２ｓの画像を拡大したものである。一方、１３（ｄ）が、間歇的トラッキングを行わなかったフレーム画像を時系列に配列したものであり、図１３（ｅ）は、このうち、ｔ＝００４０ｓの画像を拡大したものである。

図１３（ｂ）乃至図１３（ｅ）から明らかなように、間歇的トラッキングを行わなかった場合には大きなモーションブラーが発生しているのに対して、間歇的トラッキングを行った場合にはモーションブラーが抑制された。

このように、上記の検証実験によっても、本発明による間歇的トラッキングによってモーションブラーが大幅に抑制されることが検証された。

以上説明してきたように、本発明に係る間歇的トラッキング撮影装置によれば、高速で移動する対象を撮影する場合であっても、また、高速で移動する本装置から対象を撮影する場合であっても、モーションブラーを低減して高精度かつ高感度で撮影することができる。

なお、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１ 間歇的トラッキング撮影装置
１０ イメージセンサ
２０ アクチュエータ（変更手段）
３０ 画像生成部
４０ 速度算出部
５０ 制御部
６０ エッジ強度算出部
７０ 入力部
８０ 輝度算出部
９０ 露光制御部

Claims (7)

1. 所定のフレームレートで撮影対象を撮影するイメージセンサと、
   前記撮影対象と前記イメージセンサとの相対的位置関係を変更する変更手段と、
   フレーム内のシャッタ開放時には、前記撮影対象をトラッキングすることにより、前記撮影対象の移動又は本装置の移動に伴って生じる前記相対位置関係の変化を抑制し、前記フレーム内のシャッタ閉鎖時には、前記相対位置関係を所定のホームポジションに戻すように、前記変更手段をフレーム毎に制御する制御部と、
   を備えたことを特徴とする間歇的トラッキング撮影装置。
2. 前記変更手段は、前記イメージセンサの位置又は角度を変更するアクチュエータ、或いは、前記イメージセンサへ入射する光の光路位置又は光路角度を変更する光路変更手段、である、
   ことを特徴とする請求項１に記載の間歇的トラッキング撮影装置。
3. 前記イメージセンサで撮影した前記撮影対象の位置の変化から、前記撮影対象と本装置との相対的な運動速度を算出する速度算出部、をさらに備え、
   前記制御部は、算出した前記運動速度に基づいて、前記撮影対象をトラッキングする、
   ことを特徴とする請求項１又は２に記載の間歇的トラッキング撮影装置。
4. 前記イメージセンサで撮影した前記撮影対象の画像から、前記撮影対象のエッジ強度を算出するエッジ強度算出部、をさらに備え、
   前記制御部は、算出した前記エッジ強度に基づいて前記撮影対象をトラッキングする、
   ことを特徴とする請求項１又は２に記載の間歇的トラッキング撮影装置。
5. 前記撮影対象、又は本装置の移動速度を入力する入力部、をさらに備え、
   前記制御部は、入力した前記移動速度に基づいて前記撮影対象をトラッキングする
   ことを特徴とする請求項１又は２に記載の間歇的トラッキング撮影装置。
6. 前記制御部は、前記シャッタ開放時に前記撮影対象をトラッキングする第１のフレーム処理と、前記シャッタ開放時においても前記相対位置関係を前記ホームポジションに維持する第２のフレーム処理とを、時分割で行う、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の間歇的トラッキング撮影装置。
7. 前記イメージセンサで撮影した前記撮影対象の輝度を算出する輝度算出部と、
   フレーム時間内における前記シャッタ開放時と前記シャッタ閉鎖時との比率を、前記輝度に応じてフレーム毎に変化させることによって露光制御する露光制御部と、
   をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の間歇的トラッキング撮影装置。