JP2017183804A - 間歇的トラッキング撮影装置 - Google Patents

Abstract

【課題】カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる間歇的トラッキング撮影装置を提供する。【解決手段】本発明の一実施形態に係る間歇的トラッキング撮影装置は、所定の周波数で共振運動するミラーに映った対象物を撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備える。【選択図】 図２

Description

本発明の実施形態は、自装置に対する相対速度が高い対象物を撮影する間歇的トラッキング撮影装置に関する。

撮影装置に対して相対的に動いている対象物を撮影装置で撮影すると、モーションブラーと呼ばれる被写体ぶれが生じる。特に、高速で移動する撮影装置から静止している対象物を撮影する場合や、高速で移動する対象物を静止している撮影装置で撮影する場合など、撮影装置に対する相対速度が高い対象物（以下、高速対象物という）を撮影する場合には、モーションブラーはより顕著となる。

従来、この種の高速対象物を撮影するための技術として、１フレーム期間内のシャッタ開放時には、撮影装置のイメージセンサと高速対象物との相対速度を打ち消すようにピエゾアクチュエータなどの高速アクチュエータを用いてイメージセンサを高速で移動させ、シャッタ閉鎖時には、高速アクチュエータを用いてイメージセンサを所定のホームポジションに戻す技術がある。この種の技術によれば、撮影装置本体を動かすことなく各フレームのシャッタ開放時ごとに高速対象物をトラッキングすることができる。

特開２０１５−２２２９１３号公報

上記の高速アクチュエータを用いてイメージセンサを移動させる技術では、まず、イメージセンサ側（すなわちカメラ側）のシャッタの開閉タイミングが決定された後に、この開閉タイミングに主導されて、開閉タイミングにあわせるように高速アクチュエータの動作の開始制御および停止制御をフレームごとに行なう必要がある。しかし、ピエゾアクチュエータなどの高速アクチュエータは、機械的な動作を伴うために、そもそも動作の開始制御および停止制御を高速かつ高精度に行なうことが非常に難しい。

本発明は、上述した事情を考慮してなされたもので、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる間歇的トラッキング撮影装置を提供することを目的とする。

本発明の一実施形態に係る間歇的トラッキング撮影装置は、上述した課題を解決するために、所定の周波数で共振運動するミラーに映った対象物を撮影する撮像素子と、前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、を備えたものである。

本発明に係る間歇的トラッキング撮影装置によれば、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物を撮影することができる。

（ａ）は本発明の一実施形態に係る間歇的トラッキング撮影装置の第１の応用例を示す説明図、（ｂ）は第２の応用例を示す説明図。 本発明の第１の実施形態に係る間歇的トラッキング撮影装置の一構成例を示すブロック図。 第１の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図。 第２の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図。 図４に示す第２の従来の撮影装置の問題点を説明するための図。 追従期間における本実施形態に係るミラーの運動と撮像素子の視点運動との関係の一例を示す説明図。 （ａ）は、ミラーの配置位置の一例を示す説明図、（ｂ）はミラーの配置位置の他の例を示す説明図。 第１実施形態に係るミラーの振れ角ｘ（ｔ）とシャッタ開閉タイミングとの関係の一例を示す説明図。 シャッタ開放期間τと相対誤差εとの関係の一例を示す説明図。 時間開口率ｒと相対誤差εの関係を示すグラフ。 本発明の第２の実施形態に係る間歇的トラッキング撮影装置の一構成例を示すブロック図。 第２実施形態に係るミラーの振れ角ｘ（ｔ）とシャッタ開閉タイミングとの関係の一例を示す説明図。 （ａ）はプロトタイプの外観の一例を示す斜視図、（ｂ）は検証実験の様子の一例を示す説明図。 プロトタイプを用いた検証実験で撮像された画像の一例を示す説明図。

本発明に係る間歇的トラッキング撮影装置の実施の形態について、添付図面を参照して説明する。

まず、本発明の一実施形態に係る間歇的トラッキング撮影装置１０の応用例について説明する。図１（ａ）は、本発明の一実施形態に係る間歇的トラッキング撮影装置１０の第１の応用例を示す説明図であり、（ｂ）は本発明の一実施形態に係る間歇的トラッキング撮影装置１０の第２の応用例を示す説明図である。

第１の応用例は、図１（ａ）に示すように、たとえば、時速３００ｋｍで移動する高速移動体（新幹線など）から、トンネル内壁のクラックなどの接近した撮影対象を撮影する場面に間歇的トラッキング撮影装置１０を応用する例である。時速３００ｋｍは、８３ｍ／ｓ、または８３ｍｍ／ｍｓの速度に該当する。シャッタの開放期間（露光時間）を０．１ｍｓと仮定したとしても、この間の移動量は画素ピッチに比べてはるかに大きく、その結果大きなモーションブラーが発生する。したがって、トンネル内壁のクラックなどを、従来の撮影装置で撮影した画像を用いて検査するのは事実上困難である。従来の撮影装置で撮影した画像を用いて検査する場合は、たとえば、夜間などに交通を一時的に遮断し、車両をゆっくり走らせながら、または移動と停止を繰り返しながら、道路や鉄道のトンネルなどを検査する方法をとらざるを得ず、膨大な時間とコストを要することになる。

このような場面において、本発明の一実施形態に係る間歇的トラッキング撮影装置１０を応用すれば、高速で移動する車両に搭載した状態でもモーションブラーのない画像が得られる。このため、交通を閉鎖することなく、道路や鉄道のトンネルや周辺設備などのインフラ検査が可能となる。

第２の応用例は、図１（ｂ）に示すように、たとえば流路径が５０〜８０μｍのマイクロ流路内を流れる細胞を、顕微鏡型の撮影装置で撮影する場面に間歇的トラッキング撮影装置１０を応用する例である。近年、再生医療などの分野において、細胞を検査し分類する技術の重要性が高まっている。このような検査において、マイクロ流路内を流れる細胞を撮影した画像から個々の細胞の形状を認識したいというニーズがある。マイクロ流路を流れる細胞の流速が、たとえば１ｍ／ｓであったとしても、細胞の形状が認識できる程度に顕微鏡で拡大すると画素ピッチに対する移動速度は大きく、従来の撮影装置ではモーションブラーが発生し、細胞形状を明瞭に認識することは困難である。

このような場面に本発明の一実施形態に係る間歇的トラッキング撮影装置１０を応用すれば、細胞がマイクロ流路内を流れている状態で細胞の形状などをモーションブラーなく撮影することができる。この結果、たとえば、大量の細胞の中から細胞の良否を短時間で判定することができ、細胞の検査を高スループットで実施することが可能となる。

また、これらは単なる一例であり、たとえば高速搬送ライン上を高速移動する対象物を止めずに検査をしたい場合など、高速対象物（撮影装置に対する相対速度が高い対象物）を撮影する場合であれば、本発明の一実施形態に係る間歇的トラッキング撮影装置１０を用いることにより、モーションブラーなく明瞭な画像を得ることができる。また、民生用のビデオカメラなどに本装置を適用して、手ぶれを防止するとともに、ゴルフのスウィングや、高速で移動する車両を所望の輝度で、かつ、モーションブラーなく撮影することができる。

（１）第１の実施形態
図２は、本発明の第１の実施形態に係る間歇的トラッキング撮影装置１０の一構成例を示すブロック図である。図２には、間歇的トラッキング撮影装置１０に対して図中左から右に相対的に高速移動する高速対象物１００を間歇的トラッキング撮影装置１０で撮影する場合の例について示した。また、本実施形態において、シャッタ開放期間の長さは撮影中一定である。

間歇的トラッキング撮影装置１０は、図２に示すように、共振型スキャナ２０、撮像素子３０、入力部４０および主制御部５０を有する。

共振型スキャナ２０は、たとえばレゾナントスキャナなどにより構成され、ミラー２１、軸２２およびアクチュエータ２３を有する。共振型スキャナ２０がレゾナントスキャナである場合、ミラー２１はいわゆるレゾナントミラーである。

ミラー２１は、所定の周波数ｆ０で軸２２を中心に共振運動するよう、軸２２を介してアクチュエータ２３により駆動される。ミラー２１の共振運動の振れ角ｘ（ｔ）の時間変化曲線は、周波数ｆ０の正弦波をなす。ミラー２１の運動にともない、撮像素子３０の光軸がミラー２１に反射される角度（以下、カメラ視点という）は２ｘ（ｔ）で時間変化し、正弦波軌道上を周期Ｔ＝１／ｆ０で往復運動する。すなわち、カメラ視点は、ミラー２１の２倍の角振幅かつ同一周期で運動する。

アクチュエータ２３は、共振現象を利用してミラー２１を正弦波駆動する。アクチュエータ２３は、固定周波数ｆ０の安定した正弦波軌道で極めて高速にミラー２１を動作させることができる。

共振現象を利用する都合上、ミラー２１が駆動される周波数ｆ０は、設計値に固定される。一方、ミラー２１の振れ角ｘ（ｔ）の振幅Ａ（ｔ）は、この固定周波数ｆ０に応じて決定される最大駆動角以内で、アクチュエータ２３の駆動電圧を制御することにより制御可能である。また、アクチュエータ２３は、主制御部５０に対してタイミング信号を出力する。タイミング信号は、主制御部５０がミラー２１の共振周波数ｆ０と同期するように撮像素子３０のシャッタ開閉制御することができる信号であればよく、たとえばミラー２１の現在の振れ角を示す信号であってもよいし、ミラー２１が所定の位置を通過するたびに出力されるパルス状のＴＴＬ信号などであってもよい。

高速対象物１００と撮像素子３０との相対的な運動が２次元的な動き（たとえばカメラ視点方向に直交する面をＸＹ面としたときのＸＹ面内における２次元的な動き）として想定される場合は、Ｘ方向のトラッキング用の共振型スキャナ２０およびＹ方向のトラッキング用の共振型スキャナ２０を設けてもよい。また、たとえば図１（ｂ）に示す例のように高速対象物１００と撮像素子３０との相対的な運動が主に１次元な動き（運動方向が１方向にほぼ固定される動き）として想定さる場合は、当該方向については共振型スキャナ２０を用いてトラッキングする一方、この方向に直交する他の方向のトラッキングについては、一般的なサーボモータなどを用いて専用のミラーまたはミラー２１を並進、回転等させることにより行ってもよい。

撮像素子３０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、ミラー２１に映った高速対象物１００を撮影して画像データを生成し、主制御部５０に与える。撮像素子３０は、２次元配列されたフォトダイオードなどの受光素子を有する。なお、図２では、撮像素子３０の前方に設けられるレンズなどの光学系の図示を省略した。これらの光学系には、広画角撮像を可能とするよう広角レンズや魚眼レンズが含まれてもよい。

入力部４０は、たとえばキーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を主制御部５０に出力する。たとえば、ユーザは、間歇的トラッキング撮影装置１０の速度および高速対象物１００の速度の少なくとも一方の情報などの、間歇的トラッキング撮影装置１０と高速対象物１００との相対速度に係る情報を、入力部４０を介して主制御部５０に与えることができる。

主制御部５０は、プロセッサおよびＲＡＭならびにＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って間歇的トラッキング撮影装置１０の処理動作を制御する。

主制御部５０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物１００を撮影するための処理を実行する。また、たとえばプロセッサがＦＰＧＡ（Field Programmable Gate Array）である場合は、ＦＰＧＡは画像処理プログラムを読み出して上記処理を実行する。

主制御部５０のＲＡＭは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。主制御部５０のＲＯＭをはじめとする記憶媒体は、間歇的トラッキング撮影装置１０の起動プログラム、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

ここで、従来の技術の問題点について図３−図５を用いて簡単に説明する。

図３は、第１の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図である。また、図４は、第２の従来の撮影装置においてモーションブラーが発生する様子の一例を示す説明図である。

図３に示す第１の従来の撮影装置は、撮像素子の位置が固定されたものである。図３の上段には、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームにおける撮像素子の位置を示している。第１の従来の撮影装置は、撮像素子の位置は固定される。各撮像素子は、２次元の撮像素子の上側面を上方から見た図として表しており、各撮像素子の図の下側が高速対象物に向かって左側（Ｌ）に対応し、図の上側が右側（Ｒ）に対応する。

図３の中段に示す図は、横軸が時間、縦軸が撮像素子の位置を表わすグラフを、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）の３つのフレームに対して示すものである。第１の従来の撮影装置は、撮像素子の位置は固定であるため、撮像素子の位置はどの時刻においてもホームポジションにある。図３の下段には、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）のそれぞれのフレームで得られる画像の一例を示した。

図３の上段の図からわかるように、高速対象物は、フレーム内のシャッタ開放時間の間にも当然移動する。たとえば、フレーム＃Ｎのシャッタ開放期間の開始時刻から終了時刻の間に、位置Ｐ１からＰ２に移動する。そして、この移動距離が、撮像素子の画素に換算したときに複数の画素に亘るとき、モーションブラーが発生する。

図３の下段に示すように、モーションブラーは、フレーム＃Ｎ、フレーム＃（Ｎ＋１）、フレーム＃（Ｎ＋２）のどのフレームでも発生する。その結果、各フレームで得られる画像は、元々円形（黒丸）であった高速対象物の形状が、移動方向に伸びた（今の例では左から右に伸びた）、ぼけた画像となってしまう。

図４に示す第２の従来の撮影装置は、１フレーム期間内のシャッタ開放時には撮像素子と高速対象物との相対速度を打ち消すように撮像素子を高速で移動させ、シャッタ閉鎖時には撮像素子を所定のホームポジションに戻すものである。図４の上段、中段、下段の各図は、図３の上段、中段、下段の各図にそれぞれ対応する。なお、以下の説明では、フレームごとにシャッタ開放期間にのみトラッキングすることを、適宜、瞬時間歇的トラッキングする、というものとする。

図４の中段に示すように、第２の従来の撮影装置は、シャッタ開放時において、撮像素子と高速対象物との相対速度が、速度ゼロ（目標値）となるように、アクチュエータにより撮像素子の位置を制御している。たとえば、高速対象物が一定速度で移動している場合には、撮像装置を一定速度で移動させるようにアクチュエータを制御する。この結果、シャッタ開放時には、撮像装置の位置は直線状に変化しながら高速対象物をトラッキングする。

一方、シャッタ閉鎖時には、撮像装置はホームポジションに戻される。このため、シャッタが閉鎖されると、撮像装置はホームポジションに向かって移動し、ホームポジションに達するとその位置を保持する。そして、次のシャッタ開放時には、高速対象物の動きに応じて撮像装置の位置が変化し、高速対象物をトラッキングする。この結果、高速対象物が一定の速度で移動する場合、撮像素子３０の位置は、図４の中段に示すように鋸歯状の動きを示す。このため、たとえば高速対象物がフレーム＃Ｎのシャッタ開放期間の開始時刻から終了時刻の間に位置Ｐ１からＰ２に移動したとしても、この動きに追随して撮像素子の位置も移動する。

したがって、撮像素子上では、シャッタ開放期間の開始から終了までの間、常に同じ画素が高速対象物を捉え続けることになり、モーションブラーが発生しない。そして、このトラッキング動作は、フレームごとに行われる。このため、第２の従来の撮影装置によれば、第１の従来の撮影装置にくらべ、どのフレームにおいても、モーションブラーの無い鮮明な画像が得られる（図４下段参照）。また、各フレーム画像を連続再生することにより、高速対象物の形状が正確に維持された動画を提供することができる。なお、図４の下段に示す画像の例では、説明の便宜上、隣接するフレーム間での高速対象物（黒丸）の位置の差を大きくしているが、これは時間分解能の問題であり、フレームレートを上げることにより、時間分解能を高めることができる。

第２の従来の撮影装置は、カメラ主導でアクチュエータを制御する撮影装置である。しかし、第２の従来の撮影装置は、シャッタの開閉タイミングが決定された後に、この開閉タイミングに主導されて、開閉タイミングにあわせるように高速アクチュエータの動作の開始制御および停止制御をフレームごとに間歇的に行なう必要がある。

このため、第２の従来の撮影装置には、シャッタの開閉タイミング主導で制御対象とされるアクチュエータの動作限界に起因する問題が生じてしまう。なお、この第２の従来の撮影装置で採用された方法を、以下の説明では、適宜、カメラ駆動型瞬時的間歇的トラッキング法というものとする。

図５は、図４に示す第２の従来の撮影装置の問題点を説明するための図である。図５には、高速パンチルトミラーを用いた第２の従来の撮影装置の動作の一例として、フレームレート１２５ｆｐｓ、シャッタ開放期間（露光時間）４ｍｓで瞬時間歇的トラッキングを行った場合に、３０×３０×５ｍｍ、２０ｇのアルミミラーを装着したチルトピエゾステージ（ＰＴ１Ｍ３６−５００Ｓ−Ｎ、ナノコントロール社製）を最大可動角度で動作させた場合におけるパン角時間変化の一例を示した。

図５に示すように、第２の従来の撮影装置のカメラ駆動型瞬時的間歇的トラッキング法では、シャッタの開閉タイミング主導で制御対象とされるアクチュエータの動作限界に起因して、大きく次の２点の問題が生じる。

第１の問題点は、アクチュエータの可動範囲の限界に起因する問題である。ピエゾアクチュエータで代表される高速アクチュエータは、一般に周波数特性と可動範囲にトレードオフの関係があり、周波数が高くなると繰り返し動作の振幅は小さくなる。たとえば、図５に示す例で用いたチルトピエゾステージは、ミラー装着時での共振周波数が１ｋＨｚ前後と高い周波数特性を持つ一方で、最大駆動角度は０．１７３度と小さい。このため、数十度といった画角を持つ広角レンズへの適用が難しく、顕微鏡撮影やズーム撮影といった、高倍率の光学系への使用に限定される。

また、画像内で見かけの速度ｖ[pix/sec]で運動する高速対象物を、瞬時間歇的トラッキング法で撮影してモーションブラーをキャンセルするためには、シャッタ開放期間τの間に高速対象物を追跡し続ける必要がある。このため、シャッタ開放期間における高速対象物の画像内での移動距離Ａ＝ｖτが、アクチュエータの可動範囲内である必要がある。

このため、瞬時間歇的トラッキング法において、アクチュエータの可動範囲の限界は、トラッキング可能な高速対象物の速度の範囲に制限を与えるとともに、シャッタ開放期間にも制限を与えてしまう。この可動範囲の限界に起因する問題のため、特に大きな露光時間によるモーションブラーフリー撮影が難しくなってしまう。

第２の問題点は、アクチュエータの慣性によりアクチュエータの制御対象物の動作軌跡がリップルを伴ってしまうことに起因する問題である。カメラ駆動型瞬時間歇的トラッキングでは、前フレームまでに推定された高速対象物の速度にもとづいて、カメラ視線を高速対象物と同一速度で動かすために、高速対象物と撮像素子との相対速度をゼロに近づけるように撮像素子そのものをアクチュエータにより高速で移動させる。

図５の斜めの点線で示すように、チルトピエゾステージのパン角時間変化の傾きは、高速対象物の速度に応じた直線的な傾きであることが好ましい。しかし、ピエゾアクチュエータをはじめとした高速アクチュエータは、アクチュエータの共振等が発生すると、その減衰に時間を要する。

特に、カメラ駆動型瞬時間歇的トラッキングでは、ミリ秒オーダーまたはそれ以下といった、アクチュエータの減衰時間に比べ小さなシャッタ開放期間での線形駆動性が要求される。このため、カメラ駆動型瞬時間歇的トラッキングでは、減衰時間に比べ小さなフレーム間隔に主導されて間歇的に駆動されることによる共振の影響により、図５に示すように、シャッタ開放期間中のアクチュエータ動作に共振に伴うリップルが残ってしまう非直線性の問題が生じる。

ｋＨｚオーダーの高周波数共振特性を持つアクチュエータに対しても、数十ｋＨｚの制御レートを実現した上で過大なトルク指令をアクチュエータに与えることにより、センサフィードバック制御による共振抑制も原理的には可能である。しかし、実際には、入力トルク制限等のアクチュエータの物理的制限により、より高フレームレート化した瞬時間歇的トラッキングでは、共振の影響により生じたリップルの完全な除去は難しい。

このように、第２の従来の撮影装置のカメラ駆動型瞬時間歇的トラッキング法では、可動範囲を広げるため、あるいはリップルが生じないようにするためには、駆動周波数を落とす必要があり、アクチュエータの動的特性を最大限に利用することが難しい。また、駆動周波数を落とすためには、フレームレートを低下させる必要があった。これは、従来のカメラ駆動型瞬時間歇的トラッキング法では、アクチュエータの制御能力が十分に高く、フレームタイミングに追従してアクチュエータの動作の開始制御および停止制御を行なうことができることを前提としていることが原因である。

実際には、この前提とは異なり、シャッタの開閉タイミング制御は信号処理により高速かつ高精度に制御可能であるのに対し、ピエゾアクチュエータなどの高速アクチュエータの制御は、機械的な動作を伴うために高速な制御が難しい。アクチュエータの動的特性を引き出し、フレームレートを高めてより高速対象物のモーションフリー撮影を可能にするためには、アクチュエータに比べて遥かに高い周波数で動作する電子シャッタや画像処理系の高速性、プログラマビリティを十分に生かすことが鍵となる。

そこで、本実施形態に係る間歇的トラッキング撮影装置１０の主制御部５０は、高周波数での大振幅動作によるカメラ視点の移動を実現するために、レゾナントミラーをはじめとする共振現象を用いた高速アクチュエータの振動に主導されて、アクチュエータの動きに同期する形で、フレームレートおよびシャッタ開閉タイミングを制御する方法（以下、適宜、アクチュエータ駆動型瞬時的間歇トラッキング法という）を用いる。

また、モーションブラーフリー撮影のためには、高速対象物の画像内での速度をゼロに近づけることができればよく、必ずしも高速対象物と撮像素子そのものとの相対速度をゼロに近づけなくてもよく、カメラ視点を高速に移動させれば足りる。本実施形態に係る間歇的トラッキング撮影装置１０は、撮像素子３０が高速対象物１００を見込むミラー２１を用い、このミラー２１を動かすことによってカメラ視点を動かし、結果として高速対象物１００の画像内での速度をゼロに近づける。

アクチュエータ駆動型瞬時的間歇トラッキング法を実現するため、図２に示すように、主制御部５０のプロセッサは、画像処理プログラムによって、少なくともシャッタ制御部５１、画像生成部５２、振幅算出部５３および振幅制御部５４として機能する。これらの各機能実現部は、それぞれプログラムの形態で記憶回路に記憶されている。

シャッタ制御部５１は、正弦波軌道を運動し続けるミラー２１の所定の固定周波数ｆ０に主導されて、この周波数ｆ０に同期するように、かつ、撮像素子３０の視点運動に対応するミラー２１の運動の方向が、ミラー２１に映った高速対象物１００の移動速度を低減する方向である追従期間内にのみ撮像素子３０のシャッタ（電子シャッタ）を開放するように、撮像素子３０のシャッタ（電子シャッタ）の開閉を制御する。具体的には、シャッタ制御部５１は、アクチュエータ２３が出力するタイミング信号に応じてシャッタ制御信号を出力することにより、シャッタの開閉を制御する。

図６は、追従期間における本実施形態に係るミラー２１の運動と撮像素子３０の視点運動との関係の一例を示す説明図である。図６に示すように、追従期間におけるミラー２１の運動方向は、撮像素子３０を構成する受光素子３０ａの視点が高速対象物１００の移動にあわせて移動する方向である。このため、撮像素子３０は、追従期間において、移動する同一対象を同一の受光素子でトラッキングすることができる。

なお、ミラー２１の振れ角と撮像素子３０の視線方向とは一対一の関係にある。このため、シャッタ制御部５１は、画像生成部５２より生成される画像にもとづいて現在の撮像素子の視線方向を求め、この視線方向を、アクチュエータ２３が出力するタイミング信号にかえて用いて、またはタイミング信号の補助として用いて、シャッタの開閉を制御してもよい。画像から撮像素子の視線方向を求める方法としては、画像内に映ったミラーの輪郭形状にもとづいて視線方向を求める方法や、ミラー２１上またはミラー近傍に設けたマーカの画像内における位置にもとづいて視線方向を求める方法などが考えられる。

図７（ａ）は、ミラー２１の配置位置の一例を示す説明図であり、（ｂ）はミラー２１の配置位置の他の例を示す説明図である。

図７（ａ）に示すように、撮像素子３０と、撮像素子３０の前方に設けられるレンズ３１との間の光路上にミラー２１を設けてもよい。この場合、図７（ａ）に示すように、撮像素子３０を内包する第１の筐体３６と、レンズ３１を内包する第２の筐体３７と、を、ミラー２１を内包する第３の筐体２６が、レンズ３１を透過した光がミラー２１で反射されて撮像素子３０に導かれるように連結することにより、レンズ３１、ミラー２１および撮像素子３０の位置関係を規定するとよい。

また、間歇的トラッキング撮影装置１０を顕微鏡に適用する場合は、レンズ３１（対物レンズ）と撮像素子３０の間に新たに光学系を追加する構成（図７（ａ）参照）とするよりも、図７（ｂ）に示すように、レンズ３１を内包する顕微鏡筐体３８の前方にミラー２１を配置する構成が好適である。

画像生成部５２は、撮像素子３０が出力した画像データにもとづいて、少なくともミラー２１に映った高速対象物１００の画像をフレームごとに生成し、振幅算出部５３に与える。また、画像生成部５２は、生成した画像を外部に出力してもよい。外部に出力された画像は、たとえば図示しない外部の表示部に与えられて表示され、あるいは外部の記憶回路に格納される。

振幅算出部５３は、ミラー２１に映った高速対象物１００を、追従期間内においてトラッキングするように、カメラ視点、すなわちミラー２１の振れ角ｘ（ｔ）の角振幅Ａ（ｔ）を求める。ミラー２１の周波数ｆ０が固定されているため、間歇的トラッキング撮影装置１０はミラー２１の振幅Ａ（ｔ）を変更することにより高速対象物１００の速度に対応する。

振幅制御部５４は、振幅算出部５３により求められた振幅Ａ（ｔ）でミラー２１を共振運動させるよう、アクチュエータ２３の駆動電圧を制御する。

次に、本実施形態に係る間歇的トラッキング撮影装置１０の動作の一例について説明する。なお、以下の説明では、高速対象物１００と撮像素子３０との相対的な運動が１次元的な動きであり、この１次元の方向をトラッキングするために１つの共振型スキャナ２０を用いる場合（図２、図６参照）の例について示す。

まず、シャッタ開放期間の設定方法の概要について簡単に説明する。

図８は、第１実施形態に係るミラー２１の振れ角ｘ（ｔ）とシャッタ開閉タイミングとの関係の一例を示す説明図である。

一次元のカメラ視点運動の場合、時刻ｔでのミラー２１の振れ角ｘ（ｔ）は、アクチュエータ共振周波数をｆ０、振幅をＡ（ｔ）として、次の式（１）に示すように正弦波軌道上を周期Ｔ＝１／ｆ０で往復する。

本発明の一実施形態に係る間歇的トラッキング撮影装置１０は、カメラ視点の正弦波軌道のうち、追従期間（撮像素子３０の視点運動に対応するミラー２１の運動の方向が、ミラー２１に映った高速対象物１００の移動速度を低減する方向である期間）内の直線性の高い範囲を、露光すべき時間（シャッタ開放期間）として考え、カメラ視点位置にもとづいてフレームｋ（ただしｋは２以上の整数）におけるシャッタ開放期間の開始時刻ｔ＝ｔ_Ｏｋおよびシャッタ開放期間の終了時刻、すなわちシャッタ閉鎖期間の開始時刻ｔ＝ｔ_ｃｋを制御する。

また、シャッタ制御部５１は、カメラ視点の正弦波軌道のうち直線性の高い範囲を効率よくシャッタ開放期間に設定するように、シャッタの開放期間を、追従期間における正弦曲線の傾きの絶対値が最大となる時刻を中心とする期間となるように設定する。

また、シャッタ制御部５１は、アクチュエータ２３のタイミング信号を用いて、フレーム周期Ｔが、振れ角ｘ（ｔ）の周期Ｔ＝１／ｆ０と同一の一定値となるようにシャッタ開放期間の開始時刻ｔ＝ｔ_Ｏｋおよび終了時刻ｔ＝ｔ_ｃｋを制御する。

なお、本実施形態において、フレーム周期Ｔとは、隣あうシャッタの開放期間の中心間の期間をいうものとする。本実施形態および後述する第２の実施形態において、この隣あうシャッタの開放期間の中心間の期間で定義されるフレーム周期Ｔは、シャッタ開閉タイミングによらず、ミラー２１の振動周波数ｆ０の逆数と等しい一定値をとる。

振幅制御部５４は、モーションブラーを抑えるため、追従期間内のシャッタ開放期間中の正弦波軌道に対する近似直線の傾き、つまりカメラ視点の平均速度と、フレームｋ−１までに推定された高速対象物１００の速度とを一致させるよう、フレームｋにおけるミラー２１の振幅Ａ（ｔ）を制御する。

本実施形態に係る間歇的トラッキング撮影装置１０のアクチュエータ駆動型瞬時間歇的トラッキング法では、自由振動するアクチュエータの振動周波数ｆ０に主導されて、アクチュエータの機械的な動きを直接制御することなく、サブマイクロ秒オーダーのプログラマブル制御が可能な電気信号レベルでシャッタ開閉タイミングを制御することにより、モーションブラー除去を実現することができる。このため、本実施形態に係る間歇的トラッキング撮影装置１０によれば、広角レンズ撮影や高速運動対象に対する高フレームレート撮影であっても、的確に高速対象物１００をトラッキングすることができる。

なお、共振型スキャナ２０を用いる場合、以下の特徴に留意するとよい。まず、共振現象における振幅制御の応答性レゾナントミラー等の共振型アクチュエータでは、駆動電圧を指令値として、共振現象の振幅値を制御できる一方で、高周波数駆動を継続するために減衰率が非常に小さいため、振幅制御の時間応答性は高くない。また振幅が小さいと、摩擦力の影響により、理想的な正弦波軌道とはかけ離れた大きなヒステリシスを持つ不安定な動作になる場合がある。このため、大きな速度変化を伴うシーンや低速対象をターゲットとしたモーションブラーフリー撮影時において、モーションブラー除去に必要とされるトラッキング追従性が必ずしも十分ではない場合がある。

また、アクチュエータ駆動型瞬時間歇的トラッキングでは、カメラ視点軌道が共振現象にもとづく正弦波軌道であり、この軌道上で直線近似できる領域をシャッタ開放期間に設定する。このため、シャッタ開放期間の上限が決まってしまい、高速対象物１００が暗い場合に十分な露光が得られない場合がある。

次に、シャッタ開放期間の設定方法について詳細に説明する。

図９は、シャッタ開放期間τと相対誤差εとの関係の一例を示す説明図である。本実施形態において、シャッタ開放期間τは撮影中一定である。このため、フレームｋ−１のシャッタ開放期間の開始時刻ｔ＝ｔ_Ｏｋ−１とフレームｋのシャッタ開放期間の開始時刻ｔ＝ｔ_Ｏｋとの間の期間は、撮影中一定であり、フレーム周期Ｔに等しい。図９に示すように、フレーム周期Ｔは、たとえばフレームｋ−１のシャッタ開放期間の中心ｔ＝ｔ_ｋ−１とフレームｋのシャッタ開放期間の中心ｔ＝ｔ_ｋとの間の期間など、隣あうシャッタの開放期間の中心間の期間である。このとき、フレームｋのシャッタ開放期間の開始時刻はｔ_Ｏｋ＝ｔ_ｋ−τ／２、終了時刻はｔ_ｃｋ＝ｔ_ｋ＋τ／２でそれぞれ表される。

共振現象の正弦波軌道を利用したモーションブラーフリー撮影では、シャッタ開放期間τが大きくなると、正弦波軌道と高速対象物１００の速度を傾きとする近似直線との相対誤差εが大きくなる。このため、シャッタ制御部５１は、相対誤差εが許容誤差閾値εｔｈ以下となるようにシャッタ開放期間τを設定するとよい。

たとえば、フレームｋの撮影を、シャッタ開放期間τで行なう場合を考える。この場合、露光は時刻ｔ_Ｏｋ＝ｔ_ｋ−τ／２で開始され、ｔ_ｃｋ＝ｔ_ｋ＋τ／２で終了される。シャッタ開放期間の中心ｔ＝ｔ_ｋは、フレームｋに対応して正弦波軌道が最大の傾きを持つ時刻であり、式（１）の正弦波軌道に対し次式を満たす。

正弦波軌道に対する近似直線ｌ_ｋ（ｔ）をｔ＝ｔ_ｋでの接線

とすると、正弦波軌道ｘ（ｔ）と近似直線ｌ_ｋ（ｔ）の差が最大となる時刻開始時刻ｔ＝ｔ_Ｏｋおよび終了時刻ｔ＝ｔ_ｃｋにおける相対誤差εは、フレーム周期Ｔ（シャッタの開放期間の中心間の期間）に対するシャッタの開放期間τの割合τ／Ｔを、時間開口率ｒと定義すると、次の式（４）のように書ける。

式（４）より、時間開口率ｒは、振幅Ａ（ｔ）やフレーム周期Ｔなどの正弦波パラメータに依存しない、相対誤差εの関数として、次の式（５）で表される。

図１０は、時間開口率ｒと相対誤差εの関係を示すグラフである。たとえば、許容誤差閾値εｔｈが１％、５％、１０％である場合、時間開口率ｒの上限は、それぞれｒ（０．０１）＝０．０８、ｒ（０．０５）＝０．１８、ｒ（０．１）＝０．２５、と定数表現が可能となる。

このことは、許容できる誤差範囲が与えられれば、図１０のｒ（ε）をルックアップテーブルとして、共振周波数ｆ０（＝１／Ｔ）のアクチュエータと同期するようにシャッタ開放期間の長さτ＝ｒ（ε）Ｔの値を自動的に決定することができることを意味する。シャッタ開放期間τが決定されれば、シャッタの開閉タイミングｔ_Ｏｋ＝ｔ_ｋ−τ／２、ｔ_ｃｋ＝ｔ_ｋ＋τ／２を自動設定できる。また、本実施形態に示す例のようにシャッタ開放期間τを一定とする場合、高速対象物１００の速度に合わせて制御される振幅Ａ（ｔ）に依存することなく、アクチュエータからの同期信号のみで、モーションブラーフリー撮影のためのシャッタ制御信号を生成することができる。

次に、振幅算出部５３が行う振幅Ａ（ｔ）の算出方法について説明する。

振幅算出部５３は、シャッタ開放期間において高速対象物１００をトラッキングすることができるように、高速対象物１００の移動速度に応じて振幅Ａ（ｔ）を求める。振幅Ａ（ｔ）の算出方法としては、たとえば次の３つの方法が考えられる。

第１の振幅Ａ（ｔ）の算出方法は、画像生成部５２により生成される画像内におけるミラー２１に映った高速対象物１００の移動速度ｖ[pix/sec]を求め、この速度ｖを用いて振幅Ａ（ｔ）を求める方法である。

いま、画像生成部５２から振幅算出部５３に入力される入力画像における画素（Ｘ、Ｙ）の画素値をＩ（Ｘ、Ｙ、ｔ）と表す。第１の振幅Ａ（ｔ）の算出方法では、振幅算出部５３は、まずこの入力画像を閾値θで二値化する。二値化画像の画素値をＢ（Ｘ、Ｙ、ｔ）とすると、Ｂ（Ｘ、Ｙ、ｔ）は次の式（６）で表せる。

次に、振幅算出部５３は、この二値化画像Ｂ（Ｘ、Ｙ、ｔ）のモーメント特徴を計算する。モーメント特徴とは、画素の位置に重み付けをして合計した数値である。モーメント特徴は、ｐｑ次モーメントＭ（ｐｑ）を用いて、一般に次の式（７）で表される。

ここで、ｉ、ｊはそれぞれＸ軸、Ｙ軸で黒画素のある位置である。Ｍ（０、０）は、黒画素があると１を加算することになるため図形の面積となる。また、Ｍ（１、０）は、Ｘ軸での１次モーメントで、Ｍ（１、０）／Ｍ（０、０）は重心のＸ軸上の位置を示す。同様に、Ｍ（０、１）／Ｍ（０、０）は重心のＹ軸上の位置を示す。したがって、二値化画像における連結成分の重心位置ｃ（ｔ）は次の式（８）のように書ける。

振幅算出部５３は、時刻ｔでの重心位置ｃ（ｔ）と、１フレーム前の時刻（ｔ−τ）での重心位置ｃ（ｔ−τ）にもとづいて、高速対象物１００の画像内の速度ｖ（ｔ）[pix/sec]を、次の式（９）を用いて求める。

振幅算出部５３は、この速度ｖ（ｔ）に応じて、ミラー２１に映った高速対象物１００を追従期間内においてトラッキングするように、ミラー２１の次フレームの振幅Ａ（ｔ）を求める。振幅制御部５４は、振幅算出部５３が求めた振幅Ａ（ｔ）に応じてアクチュエータ２３の駆動電圧を制御する。この電圧制御は、シャッタの閉鎖期間に行われて次のフレームのシャッタ開放期間に備えることが好ましい。

なお、画像内における物体の速度を求める方法としては、モーメント特徴を用いる方法の他にも動きベクトルを用いる方法など従来各種のものが知られており、これらのうち任意のものを用いることができる。

第２の振幅Ａ（ｔ）の算出方法は、画像生成部５２により生成される画像内におけるミラー２１に映った高速対象物１００のエッジ強度を用いて振幅Ａ（ｔ）を求める方法である。

第２の振幅Ａ（ｔ）の算出方法では、振幅算出部５３は、画像内における高速対象物１００のエッジ強度を求める。エッジ強度を求めるためにエッジを抽出する方法としては、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど、従来各種のものが知られており、これらのうち任意のものを用いることができる。たとえば微分フィルタを用いてエッジを抽出する場合、エッジ強度は画素値の勾配の大きさで定義される。

モーションブラーが大きい画像では、高速対象物１００の輪郭はぼやけており、エッジ強度は小さくなる。一方、モーションブラーが小さい画像では、高速対象物１００の輪郭は鮮明に描き出され、エッジ強度は大きくなる。そこで、第２の振幅Ａ（ｔ）の算出方法では、振幅算出部５３は、エッジ強度を求め、エッジ強度に応じて、ミラー２１に映った高速対象物１００を追従期間内においてトラッキングするように、すなわちエッジ強度が最大となるように、ミラー２１の次フレームの振幅Ａ（ｔ）を求める。具体的には、たとえば、振幅算出部５３は、求めたエッジ強度と所定のエッジ強度最大値とを比較し、エッジ強度最大値に近づくように振幅Ａ（ｔ）を求める。

なお、第１および第２の振幅Ａ（ｔ）の算出方法は、組み合わせてもよい。この場合、振幅算出部５３は、速度ｖとエッジ強度の両方を求め、これらの値にもとづいて振幅Ａ（ｔ）を求める。

第３の振幅Ａ（ｔ）の算出方法は、入力部４０を介して受け付けた高速対象物１００と撮像素子３０との相対速度に係る情報を用いて振幅Ａ（ｔ）を求める方法である。

第３の振幅Ａ（ｔ）の算出方法では、たとえばユーザにより入力部４０を介して、高速対象物１００と撮像素子３０との相対速度に係る情報が振幅算出部５３に与えられる。相対速度に係る情報としては、相対速度そのもの、高速対象物１００の実空間での移動速度、撮像素子３０の実空間での移動速度、撮像素子３０と高速対象物１００との距離、またはこれらの組み合わせなどが挙げられる。振幅算出部５３は、この相対速度に係る情報を用いて高速対象物１００の移動速度ｖ[pix/sec]を求め、この速度ｖを用いて振幅Ａ（ｔ）を求めることができる。第３の方法では、画像処理による速度算出やエッジ強度算出が不要となるため、全体としての処理が簡素化される。

なお、第３の振幅Ａ（ｔ）の算出方法は、第１および第２の振幅Ａ（ｔ）の算出方法と組み合わせてもよい。たとえば、第３の振幅Ａ（ｔ）の算出方法を第１の振幅Ａ（ｔ）の算出方法と組み合わせる場合、振幅算出部５３は、まず入力部４０を介した情報にもとづいて速度ｖの初期値を設定し、画像から求めた速度ｖがこの初期値から大きく外れている場合はエラー値として振幅制御には用いないようにしてもよい。また、第３の振幅Ａ（ｔ）の算出方法を用いない場合は、間歇的トラッキング撮影装置１０は入力部４０を備えずともよい。

本実施形態に係る間歇的トラッキング撮影装置１０は、アクチュエータ駆動型瞬時的間歇トラッキング法を用いる。このため、自由振動するアクチュエータの動きに主導されて、機械的な動きを直接制御することなく、サブマイクロ秒オーダーのプログラマブル制御が可能な電気信号レベルでシャッタの開閉を制御することにより、モーションブラーを低減した鮮明な高速対象物画像を得ることができる。

（２）第２の実施形態
次に、本発明に係る間歇的トラッキング撮影装置の第２実施形態について説明する。

図１１は、本発明の第２の実施形態に係る間歇的トラッキング撮影装置１０Ａの一構成例を示すブロック図である。この第２実施形態に示す間歇的トラッキング撮影装置１０Ａは、輝度算出部６１および露光制御部６２をさらに備え、シャッタ制御部５１Ａが露光制御部６２により制御可能に構成される点で第１実施形態に示す間歇的トラッキング撮影装置１０Ａと異なる。他の構成および作用については図２に示す間歇的トラッキング撮影装置１０Ａと実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。

図１１に示すように、第２実施形態に係る主制御部５０Ａのプロセッサは、画像処理プログラムによって、少なくともシャッタ制御部５１Ａ、画像生成部５２、振幅算出部５３、振幅制御部５４、輝度算出部６１および露光制御部６２として機能する。これらの各機能実現部は、それぞれプログラムの形態で記憶回路に記憶されている。

輝度算出部６１は、画像生成部５２により生成される画像内におけるミラー２１に映った高速対象物１００の輝度を算出する。

露光制御部６２は、時間開口率ｒを、輝度算出部６１が求めた輝度に応じてフレームごとに変化させるように、次フレームｋ＋１のシャッタ開放期間の長さτ_ｋ＋１をフレームｋごとに求めてシャッタ制御部５１Ａに与える。

図１２は、第２実施形態に係るミラー２１の振れ角ｘ（ｔ）とシャッタ開閉タイミングとの関係の一例を示す説明図である。

シャッタ制御部５１Ａは、第１の実施形態に係るシャッタ制御部５１の機能に加えてさらに、最大傾斜時刻ｔ＝ｔ_ｋ；１を中心とし露光制御部６２から受けた長さτ_ｋ＋１の期間を次フレームｋ＋１のシャッタ開放期間として設定する。具体的には、シャッタ制御部５１Ａは、フレームｋ＋１のシャッタ開放期間の開始時刻ｔ＝ｔ_Ｏｋ＋１および終了時刻ｔ＝ｔ_ｃｋ＋１を、それぞれｔ_Ｏｋ＋１＝ｔ_ｋ＋１−τ_ｋ＋１／２、ｔ_ｃｋ＋１＝ｔ_ｋ＋１＋τ_ｋ＋１／２に設定する。このとき、第１の実施形態と同様に、シャッタ制御部５１Ａは、追従期間内にのみ撮像素子３０のシャッタを開放するように、かつフレーム周期Ｔが、振れ角ｘ（ｔ）の周期Ｔ＝１／ｆ０と同一の一定値となるように制御する。

図１２に示すように、第２実施形態においても、隣あうシャッタの開放期間の中心間の期間で定義されるフレーム周期Ｔは、シャッタ開閉タイミング（換言すれば、シャッタの開放期間と閉鎖期間との比率）によらず、ミラー２１の振動周波数ｆ０の逆数と等しい一定値をとる。一方、第２実施形態においては、隣あうシャッタの開放期間の開始時刻間の期間は、必ずしも一定とはならない。

第２の実施形態で行う露光制御は、フレーム周期Ｔは一定としつつ、時間開口率ｒを変更することによって露光制御する。たとえば、高速対象物１００が急に明るくなった場合には、図１２のフレームｋ、ｋ＋１、ｋ＋２に示すように、高速対象物１００の輝度に応じてシャッタ開放期間τ_ｋ、τ_ｋ＋１、τ_ｋ＋２を短くする。逆に、高速対象物１００が急に暗くなった場合には、図１２のフレームｋ−３、ｋ−２、ｋ−１に示すように、シャッタ開放期間τ_ｋ−３、τ_ｋ−２、τ_ｋ−１を長くする。

第２の実施形態に係る間歇的トラッキング撮影装置１０Ａは、第１実施形態に係るアクチュエータ駆動型瞬時的間歇トラッキング法を実行するととともに露光制御を行なう。このため、たとえば、高速対象物１００が明るく、かつ移動速度が遅い場合は、シャッタ開放期間が短くなるとともに振幅Ａ（ｔ）が小さくなる。また、たとえば、高速対象物１００が暗く、移動速度が速い場合は、シャッタ開放期間が長くなるとともに振幅Ａ（ｔ）が大きくなる。

輝度算出の方法自体は特に限定するものでない。たとえば、高速対象物１００のフレーム画像からフレームごとの輝度ヒストグラムを輝度算出部６１で算出する。露光制御部６２は、基準輝度ヒストグラムと、算出されたフレームごとの輝度ヒストグラムとを比較し、両者の差異の大きさを表わす指標を算出する。そして、算出されたフレームごとの輝度ヒストグラムが基準輝度ヒストグラムに近づくように、露光制御部６２は、算出した指標にもとづいてシャッタ開口期間τ_ｋ＋１を求める。フレーム周期Ｔは一定であるため、シャッタ開口期間τ_ｋ＋１が定まれば、時間開口率ｒも定まる。

本実施形態に係る間歇的トラッキング撮影装置１０Ａは、第１実施形態に係る間歇的トラッキング撮影装置１０と同様の効果を奏するほか、画像輝度にもとづいてフレームごとにシャッタ開放期間を変更することができるため、より鮮明な画像を得ることができる。
（３）検証実験

上記実施形態のアクチュエータ駆動型瞬時的間歇トラッキング法を用いる間歇的トラッキング撮影装置１０の効果を確認するため、レゾナントミラーとオフライン高速度カメラを用いてプロトタイプを制作して検証実験を行った。

図１３（ａ）はプロトタイプの外観の一例を示す斜視図であり、（ｂ）は検証実験の様子の一例を示す説明図である。また、図１４は、プロトタイプを用いた検証実験で撮像された画像の一例を示す説明図である。

共振型スキャナとしては、ミラーサイズ２３×２３ｍｍ、動作周波数７５０ＨｚのＥｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｐｒｏｄｕｃｔｓ 社のレゾナントスキャナＳＣ３０を用いた。使用するレゾナントミラーは、ミラー角度を７５０Ｈｚの正弦波軌道にもとづいて往復させることができ、振幅を０．００２５度から０．５度まで変えることが可能である。振幅値はレゾナントミラードライバに対する０Ｖ〜５Ｖの電圧の指令により外部制御可能であり、ミラーの共振振動に対する同期用ＴＴＬ信号が外部出力されている。

オフライン高速度カメラには、フォトロン社のＦＡＳＴＣＡＭ ＳＡＸ２を用いた。このオフライン高速度カメラは、１２ビット濃淡１０２４×１０２４画像を最高１２５００ｆｐｓで記録可能なシステムであり、外部同期信号による同期撮影が可能である。検証実験では、ｆ＝１００ｍｍのＣマウントレンズを装着し、レンズ前方２０ｍｍの位置に設置されたレゾナントミラーにより、水平方向にカメラ視点が動くように設定した。

オフライン高速度カメラは、レゾナントミラーの同期ＴＴＬ信号に対し、ＦＰＧＡ（Field Programmable Gate Array）ボード（ＤＥ０−Ｎａｎｏ、Ｔｅｒａｓｉｃ社）でのタイミング調整を加えた上で、モーションブラーフリー撮影に対応する形でレゾナントミラーと同期する。検証実験では、レゾナントミラーによる共振周波数ｆ０＝７５０Ｈｚ（周期Ｔ＝１．３３ｍｓ）の正弦波軌道に同期する形で、露光時間をτ＝０．３３ｍｓに固定した形でアクチュエータ駆動型瞬時間歇的トラッキングを実現した。実験設定では、時間開口率ｒ＝０．２５、直線近似における相対誤差はε＝０．２０である。

このプロトタイプを用いて、ミラー前方８３０ｍｍで水平方向に移動する対象に対する撮影実験を行った。図１３（ｂ）に示すように、対象は大きさ３ｍｍの文字が多数印刷された平面パターンであり、手動により約２．９ｍ／ｓ、６．３ｍ／ｓ、９．７ｍ／ｓの速度でそれぞれ動かした。正弦波軌道の振幅を決めるレゾナントミラードライバへの電圧指令は、０．４Ｖ、０．９Ｖ、１．４Ｖの３つの設定を用いており、それぞれの電圧指令は撮影対象の速度が約２．９ｍ／ｓ、６．３ｍ／ｓ、９．７ ｍ／ｓにそれぞれ対応している。

これらの条件下で撮影された画像を図１４に示した。なお図１４には、モーションブラーの有無を拡大表示するために、１０２４×１０２４画素の画像から７６８×７６８画素の画像を切り出したものを示した。対象速度２．９ｍ／ｓ、６．３ｍ／ｓ、９．７ｍ／ｓに対し、それぞれ、電圧指令値０．４Ｖ、０．９Ｖ、１．４Ｖでの撮影画像でモーションブラーが最も低減され、それ以外の撮影画像では大きなモーションブラーが発生した。

この結果から、電圧指令値０．４Ｖ、０．９Ｖ、１．４Ｖが、ミラー前方８３０ｍｍにおける速度が２．９ｍ／ｓ、６．３ｍ／ｓ、９．７ｍ／ｓの運動対象に対するモーションブラーフリー撮影に適切な設定であること、および上記実施形態で説明したアクチュエータ駆動型間歇的瞬時トラッキング法をプロトタイプで実行することで、モーションブラーフリー撮影機能が正しく動作することが確認できた。

このように、検証実験によっても、上記実施形態に係る間歇的トラッキング撮影装置１０および１０Ａによってモーションブラーが大幅に抑制されることが検証された。

以上説明した少なくとも１つの実施形態によれば、カメラ側のシャッタの開閉タイミングに主導されたアクチュエータ制御を行わずとも、モーションブラーを低減しつつ高速対象物１００を撮影することができる。

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、上記実施形態では主制御部の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて主制御部を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。たとえば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

１０、１０Ａ…間歇的トラッキング撮影装置
２１…ミラー
２３…アクチュエータ
２６…第３の筐体
３０…撮像素子
３１…レンズ
３６…第１の筐体
３７…第２の筐体
４０…入力部
５１、５１Ａ…シャッタ制御部
５３…振幅算出部
５４…振幅制御部
６１…輝度算出部
６２…露光制御部
１００…高速対象物

Claims (10)

1. 所定の周波数で共振運動するミラーに映った対象物を撮影する撮像素子と、
   前記ミラーの前記所定の周波数に同期するように、かつ、前記撮像素子の視点運動に対応する前記ミラーの運動の方向が、前記ミラーに映った前記対象物の移動速度を低減する方向である追従期間内にのみ前記撮像素子のシャッタを開放するように、前記撮像素子のシャッタの開閉を制御するシャッタ制御部と、
   を備えた間歇的トラッキング撮影装置。
2. 前記ミラーの共振運動の振れ角の時間変化は前記所定の周波数の正弦曲線をなし、
   前記シャッタ制御部は、
   前記追従期間ごとに、前記追従期間における前記正弦曲線の傾きの絶対値が最大となる最大傾斜時刻を中心とする期間を前記シャッタの開放期間に設定するとともに、隣あう前記シャッタの開放期間の中心間の期間が前記所定の周波数の逆数と等しい一定値となるように前記シャッタの閉鎖期間を設定する、
   請求項１記載の間歇的トラッキング撮影装置。
3. 前記シャッタ制御部は、
   前記最大傾斜時刻における前記正弦曲線の接線と、前記正弦曲線と、の前記シャッタの開放期間の開始時刻および終了時刻における差の絶対値が閾値以下となるように、前記最大傾斜時刻を中心とする前記シャッタの開放期間を設定する、
   請求項２記載の間歇的トラッキング撮影装置。
4. 前記撮像素子により撮影された前記対象物の輝度を算出する輝度算出部と、
   隣あう前記シャッタの開放期間の中心間の期間に対する前記シャッタの開放期間の割合を、前記輝度に応じてフレームごとに変化させるように、前記シャッタの開放期間の長さをフレームごとに求めて前記シャッタ制御部に与える露光制御部と、
   をさらに備え、
   前記シャッタ制御部は、
   前記最大傾斜時刻を中心とする前記露光制御部から受けた長さの期間を次フレームの前記シャッタの開放期間として設定するとともに、隣あう前記シャッタの開放期間の中心間の期間が前記所定の周波数の逆数と等しい一定値となるように前記シャッタの閉鎖期間を設定する、
   請求項２または３に記載の間歇的トラッキング撮影装置。
5. 前記ミラーは、
   前記所定の周波数で共振運動するようアクチュエータにより駆動され、
   前記シャッタ制御部は、
   前記アクチュエータが出力するタイミング信号に応じて前記シャッタの開閉を制御する、
   請求項１ないし４のいずれか１項に記載の間歇的トラッキング撮影装置。
6. 前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように、前記ミラーの振れ角の振幅を求める振幅算出部と、
   前記振幅算出部により求められた振幅で前記ミラーを共振運動させるよう前記アクチュエータを制御する振幅制御部と、
   をさらに備えた請求項５記載の間歇的トラッキング撮影装置。
7. 前記振幅算出部は、
   前記撮像素子により撮影された前記対象物の画像から、前記ミラーに映った前記対象物の移動速度を求め、求めた移動速度に応じて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、
   請求項６記載の間歇的トラッキング撮影装置。
8. 前記振幅算出部は、
   前記撮像素子により撮影された前記対象物の画像から、前記対象物のエッジ強度を求め、求めたエッジ強度に応じて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、
   請求項６または７に記載の間歇的トラッキング撮影装置。
9. 前記振幅算出部は、
   ユーザから入力部を介して前記対象物と自装置との相対速度に係る情報を受けると、この情報を用いて前記ミラーに映った前記対象物を前記追従期間内においてトラッキングするように前記ミラーの振れ角の振幅を求める、
   請求項６ないし８のいずれか１項に記載の間歇的トラッキング撮影装置。
10. 前記ミラーをさらに備えた請求項１ないし９のいずれか１項に記載の間歇的トラッキング撮影装置。