JP2019110471A

JP2019110471A - 撮像装置

Info

Publication number: JP2019110471A
Application number: JP2017243011A
Authority: JP
Inventors: 滝田　太郎; Taro Takita; 太郎滝田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2019-07-04
Also published as: US20190191072A1

Abstract

【課題】タイミング信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供すること。【解決手段】対象物を第１のタイミングで繰り返し撮像する撮像装置であって、前記対象物の画像データを取得するための撮像素子と、前記撮像素子の駆動を制御するための制御手段と、前記対象物を繰り返し加工する第２のタイミングを取得する取得手段と、を備え、前記制御手段は前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子の駆動を制御することを特徴とする。【選択図】図１

Description

本発明は、外部の環境と連動する撮像装置およびその制御方法に関する。

撮像システムにおいて、対象を撮像する方法の例として、撮像素子から出力される画像データを、連続した動画像として取得しつつ、外部より入力されるタイミング信号に応じて静止画像を取得する制御がある。この制御方法は、ファクトリーオートメーション用途（以下、ＦＡと称することがある）及び学術用途に用いられる。当該制御において、タイミング信号の出力タイミングや撮像素子の駆動方法によって、本来画像を取り込みたいタイミングに対して遅延が生じてしまう場合があった。

また、様々な被写体条件に対応するために、露出の異なる複数の画像を合成する場合や長秒露光が必要になる場合もあり、このような場合には更に遅延が引き伸ばされる懸念もあった。

特開２０１５−０５６８０７号公報

タイミングの遅延の対策として、特許文献１にあるように、合成に用いるための画像を取得するタイミングを異ならせる方法もあるが、露出の異なる画像を取得する場合には、適切ではない場合がある。例えば、適当な同期タイミングでリセットと読み出し動作を繰り返して画像データを取得する場合を想定する。そして、露光期間の重心（取得タイミングに相当する）をリセットと読み出しのタイミングの中心と定義し、各画像データにおいて、読み出しタイミングが同期タイミングに対して固定されているとする。この場合、画像間における露光重心の間隔は、低露出の画像から高露出の画像までの間隔に対して、高露出の画像から低露出の画像までの間隔は長くなる。つまり、高露出の画像と低露出の画像の取得タイミングは時間的に離れている為、この順番で取得された両画像を合成するのは好ましくない。

本発明の目的は、タイミング信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供することにある。

前記目的と達成するために、対象物を第１のタイミングで繰り返し撮像する撮像装置であって、前記対象物の画像データを取得するための撮像素子と、前記撮像素子の駆動を制御するための制御手段と、前記対象物を繰り返し加工する第２のタイミングを取得する取得手段と、を備え、前記制御手段は前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子の駆動を制御することを特徴とする。

タイミング信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供することが可能となる。

第１の実施形態における全体構成図である。各実施形態におけるシステム構成図である。ＨＤＲ駆動モードを説明するためのタイミングチャートである。第１の実施形態における動作を説明するためのフローチャートである。各実施形態における検査台のカッター動作及びトリガポイントの説明図である。第１の実施形態における動作を説明するためのタイミングチャートである。第２の実施形態における全体構成図である。第２の実施形態における動作を説明するためのタイミングチャートである。

（第１の実施形態）
以下、各図面を参照しつつ、本発明の第１の実施形態について説明する。図２は本発明におけるシステム図の例である。なお、全ての図において同一の機能を有するものは同一の数字を付けその繰り返しの説明は省略する。また、各構成要素は実施形態の内容に限定されるものではなく、適宜修正することが可能である。

図１に示す詳細のブロック構成図を用いて、本実施形態の撮像装置１０２を含む撮像システムの全体構成に関して説明を行う。

１００は撮像する対象を備え付けるための検査台であり、撮像対象の位置を変更するためのステージや、対象を切断するためのカッター等の電子機器を備えている。また他にも、対象を温めるためのヒーターや、雰囲気を掃気するためのドラフト等を備えてもよい。検査台１００に備え付けられた各電子機器は外部から操作可能であり、操作するための通信ポートおよび各機器を制御するための制御部も備えている。

１０１は外部装置であり、一例としてはパーソナルコンピューター（以下、ＰＣと称することがある）である。ＰＣ１０１は撮像システム全体を制御し、検査台１００および後述する撮像装置１０２の各ブロックに対して制御信号や設定情報等を供給する。各制御対象に対してはＬＡＮケーブルまたはＵＳＢケーブル等の有線接続を想定するが、Ｗｉ−Ｆｉ等の無線接続であってもよいし、各機器に対してネットワーク経由で接続するようにしてもよい。また、ＰＣ１０１は入力部としてマウスとキーボードを持つ一般的構成だけでなく、ジョイスティック、専用スイッチボード、トラックボール等を持つ構成や、タブレットＰＣ等のタッチパネルを持つ構成であってもよい。

１０２は撮像装置であり、検査台１００に備え付けられた対象を撮像し、その結果を画像データとして出力する。その出力先は表示部１１０またはＰＣ１０１であるが、撮像装置１０２内部に設けられたメモリカード等の記憶部に出力して保存してもよいし、ネットワーク上のストレージやクラウドに出力してもよい。

１０３は被写体の光を集光し、被写体像を結像させる撮像光学系に相当する撮像レンズである。撮像レンズ１０３は、ズームレンズ、フォーカスレンズ等を含むレンズ群である。なお、撮像レンズ１０３は撮像装置１０２の本体より取り外し交換可能な構成としてもよい。また、撮像レンズ１０３は、不図示のシャッター機構、絞り機構、防振機構等を備える。絞り機構は複数の絞り羽根によって開口径を制御する形式、複数の異なる径の穴が開いた板を出し入れする形式、ＮＤフィルタ等の光学フィルタを挿抜する形式等が含まれ、露光量を調整する手段であればどのような方式であってもよい。

１０４は撮像レンズ１０３によって結像される被写体像（光学像）を電気信号に変換する為のＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。本実施形態の撮像素子は少なくとも水平に４千画素、垂直に２千画素以上の有効画素を備え、例えば３０ｆｐｓで４Ｋフォーマットの画像データを出力することが可能である。また、撮像素子１０４は制御用パラメータを設定するためのレジスタを備える。当該レジスタの設定を変更することで、露光時間、ゲイン等の露出や、読み出しタイミング、間引や加算の動作等の駆動モードを制御可能である。本実施形態の撮像素子１０４は、内部にＡＤ変換回路を備え、外部から供給される垂直同期信号（以下、ＶＤと称することがある）にタイミングを同期して１フレーム分のデジタル画像データを出力する。そして、連続してＶＤを供給することによって、通常駆動モードとして所定のフレームレートで動画像を出力することが可能である。本実施形態においてＶＤは対象物を繰り返し撮像するタイミングである第１のタイミングに相当し、ＶＤの間隔は第１のタイミング間隔に相当する。

また、撮像素子１０４の駆動モードとして、レジスタに設定された複数の露光時間に基づいて、露光時間の設定をＶＤごとに周期的に切り替える駆動モード（以下、ＨＤＲモードと称することがある）を含む。本駆動モードを使用することによって、適正露光時間よりも露光時間の短い低露出画像と、露光時間の長い高露出画像を交互に取得することができ、これら合成することでダイナミックレンジを拡大した画像（以下、ＨＤＲ画像）を得ることができる。なお、露光時間を変化させるに際して適宜ゲイン設定も変更することが可能である。また、露出の設定として適正露出画像と、高露出画像または低露出画像のいずれかを組み合わせてもよい。なお、本実施形態において撮像素子１０４を含む画像を取得するためのブロックは、撮像部に相当する。なお、撮像素子１０４はベイヤー配列のカラーフィルタを備える単板タイプに限られず、ベイヤー配列に含まれるＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれに対応する撮像素子を備える三板タイプであってもよい。また、カラーフィルタの代わりにクリア（白）のフィルタを備える構成であってもよく、また赤外あるいは紫外領域の光を受光可能な撮像素子を用いてもよい。

１０５は読み出された画像データに対して適宜ゲインまたはオフセット補正、ホワイトバランス補正、輪郭強調、ノイズ低減処理等を行う画像処理部である。また、画像処理部１０５は、撮像素子１０４から出力される画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理も行う。また、画像処理部１０５では、各種信号を用いて所定の演算処理が行われ、得られた演算結果に基づいて後述する制御部１０９等が露出制御、焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部１０５ではＡＦ（オートフォーカス）処理が行われる。また、ＨＤＲモードの際には、露光時間の短い低露出画像と、露光時間の長い高露出画像に対してそれぞれ異なる画像処理を行うように制御してもよい。なお、画像処理部１０５の一部の機能を撮像素子１０４に設けて処理負荷を分散するようにしてもよい。

１０６は１０５の画像処理部にて処理された低露出画像と高露出画像の２枚の画像データを合成する事でＨＤＲ画像を生成する合成部である。ＨＤＲ画像の合成は各画像データを複数のブロックに分割しそれぞれの対応するブロックごとに合成処理が行われる。なお、本実施形態としては説明の簡略化のため、２枚の画像データを取得および合成する例を示すがこれに限られるものではない。例えば、３枚以上の画像データを対象としてもよい。対象とする画像データの数を増やすことで画像データを取得時間が伸びるというデメリットがあるが、ＨＤＲ画像におけるダイナミックレンジを合成する画像数に応じて拡大するというメリットを得ることができる。なお、ＨＤＲモード以外の通常の動画モード時等で画像合成を伴わない場合には、画像処理部１０５で処理された画像データはそのまま現像処理部１０７に入力されるように制御してもよい。また、合成部１０６の一部の機能を撮像素子１０４に設けて処理負荷を分散するようにしてもよい。

１０７は合成部より処理された画像データを輝度信号、色差信号もしくはＭＰＥＧ等の所定の動画フォーマットに圧縮符号化する現像処理部である。また、静止画に対してはＪＰＥＧ等の異なるフォーマットに圧縮符号化する。処理された画像データは表示部１１０に出力され表示される。また、適宜不図示の記録部に画像データを保存する。表示部１１０はＰＣ１０１に含まれる構成としてもよいし、別に設けるようにしてもよい。

１０８は静止画の画像データを一時的に記録するためのメモリである。メモリ１０８には１フレーム分以上の画像データを記録することが可能な記憶容量を備え、合成部１０６で処理された画像データを記録する。複数枚の画像データから動画像を得るために動画モードで撮像素子１０４を駆動する場合、３０ｆｐｓ乃至６０ｆｐｓで画像データが取得される。それぞれの画像データは、スムーズに再生するため、または保存容量の確保のために現像処理部１０７にて不可逆的に圧縮符号化された後に所定の動画像の形式で保存されることとなる。そのため、圧縮符号化処理された動画像から１フレーム分を抜き出して静止画の画像データとする場合には十分な階調を得ることができなかったり、画像の高周波成分が除かれて精細さに欠けてしまったりと適さない場合がある。さらには、圧縮符号化処理に伴うノイズによる画質低下も懸念される。そこで、現像処理部１０７で処理する前の画像データをメモリ１０８にて保持することによって、動画像を得るだけでなく高画質な静止画の画像データを取得することができる。メモリ１０８はリングバッファとなっており、新たな画像データを古い画像データに対して上書きしながら保存することで、少ない記憶容量で複数の画像を繰り返し保持することができる。なお、本実施形態においては、メモリ１０８は合成部１０６で処理した画像データを保持する構成としたが、画像処理部１０５で処理したのちに保存するような構成としてもよい。なお、メモリ１０８は、撮像部によって取得された各種画像データや、表示部１１０に表示するためのデータをも格納する。メモリ１０８は、画像データ以外にも音声を格納するのに十分な記憶容量を備えている。また、メモリ１０８は画像表示用のメモリ（ビデオメモリ）を兼ねてもよい。

１０９は各種演算と撮像装置１０２全体を制御する制御部である。当該制御部１０９は、撮像装置１０２全体を制御するために各構成要素を統括的に制御するＣＰＵを含み、各種設定パラメータ等の設定を各構成要素に対して行う。前述したメモリ１０８に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、制御部１０９はシステムメモリを含み、例えばＲＡＭが用いられる。システムメモリには、制御部１０９の動作用の定数、変数、不揮発性メモリ等から読み出したプログラム等を展開する。なお、不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリには、制御部１０９の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。また、制御部１０９はシステムタイマーを含み、各種制御に用いる時間や、内蔵された時計の時間を計測する。なお、制御部１０９はプログラムを実行するＣＰＵ以外にも、リコンフィギュアラブル回路等から成るハードウェア回路を含む構成としてもよい。

また、制御部１０９は不図示の通信部を備え、有線通信ポートまたは無線通信手段に基づいて、外部装置であるＰＣと接続する。なお、撮像装置１０２には、モード等を切り替えるための操作部を設けるようにしてもよい。

本実施形態におけるＰＣ１０１は、検査台１００および撮像装置１０２の各ブロックを制御し、繰り返し動作のタイミング制御するための信号（以下、トリガ信号と称することがある）を供給する。特に、検査台１００においては、対象物である検査に用いる検査物を切断するためのカッターを備え、当該カッターの繰り返し動作の制御や速度検知を行う。また、撮像装置１０２に対しては制御部１０９に対して、撮像素子１０４の撮像タイミングおよび静止画の画像データの取り込みタイミングを制御する。

図２は本実施形態に係る撮像システムの構成図である。２００は検査ステージ、２０１はカッター、２０２は検査物である。これらは検査台１００に設けられたものであり、検査物２０２は例えば生物・植物等の被験サンプルである。より具体的には、検査ステージ２００上に設置された検査物２０２を、カッター２０１で切断することが可能な構成となっている。そして、カッター２０１は所定の軸に対して回転可能であり、かつ検査ステージ２００またはカッター２０１は、カッター２０１の回転に合わせて検査物２０２の切断するための位置を可変可能となっている。つまり、一定周期でカッター２０１を回転させることで、繰り返し検査物２０２を切断することが可能となり、検査物２０２の断面を連続的に観察・解析することが可能となる。なお、本実施形態のカッター２０１は対象である検査物２０２を加工するための一例であって、必ずしも切断する動作に限るものではなく、検査物２０２に対して繰り返し作用する動作に対して好適である。例えば、所定の装置を用いて圧迫、加熱、冷却、試薬等の添加等をする場合などにも適用することができる。

撮像装置１０２は検査ステージ２００上に設置された検査物２０２の断面に対して焦点を結ぶように固定されている。ＰＣ１０１は検査台１００と撮像装置１０２と有線ケーブルで接続され、検査台１００に対してはカッター２０１で検査物２０２を空振りする事なく切断する為の上下方向の位置を制御する。検査物を切断した後は、次の回転で検査物を確実に切断する為にカッターを下方向に垂直移動するように制御する。また、撮像装置１０２に対しては、検査物２０２が切断される様子を撮像するタイミングを制御する。本実施形態において撮像装置１０２はＨＤＲモードで駆動され、合成したＨＤＲ画像を動画の画像データとして出力する。そして、検査物２０２の切断のタイミングに合わせて発生するトリガ信号に合わせて静止画の画像データを出力する。各画像データの出力タイミングはＰＣ１０１からトリガ信号を供給することで制御可能であるが、決められた一定タイミングで自律的に出力するように制御することも可能である。

図３に本実施形態における撮像システムにおける撮像動作のタイミングチャートを示す。撮像素子１０４はＨＤＲモードで駆動するように設定され、露光時間の短い低露出画像８００と露光時間の長い高露出画像８０１とを、ＶＤに同期して繰り返し交互に出力する。出力された画像データは連続する２枚を一組として合成部１０６にて合成することでＨＤＲ画像８０２を生成する。ここで、ＨＤＲ画像の合成タイミングは低露出画像８００と高露出画像８０１の順で取得した直後に行われる。これは、図３に示すように各画像データにおいて、読み出しタイミングがＶＤに対して固定されている場合、高露出画像と低露出画像の取得タイミングは時間的に離れている為、この順番で取得された両画像を合成するのは好ましくないためである。そして、現像処理部１０７で現像処理された動画像の画像データが出力される。出力された画像データは撮像装置１０２内に保存してもよいし、有線ケーブル経由でＰＣ１０１に取り込んでもよい。ＰＣ１０１からトリガ信号８０４が出力され、制御部１０９が受信すると、静止画の画像データ８０５の取り込みが行われる。実際に取り込まれる画像データは、トリガ信号が出力された次のタイミングで取得される画像データとなる。なお、図３の時間Ｔはトリガ信号出力後から画像を取り込むまでの時間を示している。なお、図３のフローチャートにおいてトリガ信号８０４が出力された直後のＨＤＲ画像はメモリ１０８上に保存されているが、すでに現像処理部１０７の現像処理は開始され、かつ次の低露出画像の撮像動作も開始している。そのため、図３に示したタイミングでは直後のＨＤＲ画像を取り込むとメモリ１０８上の画像データは現像処理結果または次の低露出画像に上書きされていることになる。そのため、ＨＤＲ画像の取り込みは次のタイミングで行うこととなる。なお、図３においては連続する２枚を一組としてＨＤＲ画像を生成する動作を示したが、中間露出画像を取得するなど３枚以上を一組としてもよい。

次に本実施形態の動作である、検査物２０２に対する検査動作に関して図４のフローチャートを用いて説明する。本フローチャートの処理は主に撮像装置１０２における制御部１０９が行う。撮像装置１０２の動作開始に合わせてＰＣ１０１によって、検査台１００に対する制御が開始される。具体的には、ＰＣ１０１からの開始制御に伴い、カッター２０１の回転動作とカッター２０１と検査物２０２の相対位置の初期化を行う。なお、カッター２０１の回転動作の開始時には回転速度が安定しないため、検査物２０２はカッター２０１に当たらない位置に制御され、カッターの速度が等速回転になるよう速度制御がされるために十分な時間が経過してから本フローチャートの処理が開始される。

ステップＳ３０１において、制御部１０９はＰＣ１０１からの動作開始指示に基づいて撮像動作を開始する。具体的には撮像素子１０４に対して駆動モードのパラメータ設定や露出条件設定を行い更に、ＶＤや動作用クロックの供給を開始する。動作が開始すると撮像動作によって得られる画像データは所定のフレームレートで出力される。なお、本フローチャートにおける撮像素子１０４はＨＤＲモードで駆動され、図３で示したように低露出画像と高露出画像を合成したＨＤＲ画像を出力する。一方で、当該ステップが開始されたことを受けて、ＰＣ１０１は検査台１００と通信を行い、カッター２０１の検査物２０２に対する高さを検査物位置の切断位置に合わせる。そして、処理をステップＳ３０２に進める。

ステップＳ３０２において、制御部１０９はＰＣ１０１からのトリガ信号を受け付ける。トリガ信号は検査台１００のカッター２０１の回転タイミングと関連する。そして、処理をステップＳ３０３に進める。

ここで、図５を用いて検査物２０２に対するカッター２０１の回転と、トリガ信号の発生タイミングに関する動作の例を説明する。説明の為に、図５に検査ステージ２００に対しての上面視におけるカッター２０１の回転の様子を示す。一例として、図５（ａ）は検査物２０２の切断の様子を、カッター２０１の一回転の間に複数観測するために複数枚の静止画の画像データを取得する場合である。そのため、カッター２０１が回転すると検査物２０２は切断されるが、４０２、４０３等の黒三角で示す位置（トリガポイント）をカッター２０１が通過するタイミングに合わせて、ＰＣ１０１はトリガ信号を撮像装置１０２に供給する。本実施形態において各トリガポイントの間隔は等間隔であるが、必ずしも等間隔でなくてもよい。つまり、トリガ信号の発生間隔は複数種類存在してもよい。このようにトリガ信号の発生タイミングを検査物２０２が切断されるタイミングに限定することで、不要な静止画の画像データの取り込みを避けることができる。なお、本実施形態においてトリガ信号は検査台１００を制御するＰＣ１０１が生成するものとするが、これに限られるものではなく、例えばカッター２０１の物理的位置をフォトセンサ等で検出し、この検出結果を直接トリガ信号としてもよい。この場合、トリガ信号はＰＣ１０１を介さずに撮像装置１０２に入力されることとしてもよい。

更に他の例として図５（ｂ）は検査物２０２の切断の様子を、カッター２０１が一回転の間に一回観測するために１枚の静止画の画像データを取得する場合である。そのため、一回転目のトリガ信号の発生タイミングと、２回転目のトリガ信号の発生タイミングとの間隔は等間隔となる。

ここで、図４の説明に戻る。ステップＳ３０３において、制御部１０９は動作が開始してから受け付けたトリガ信号の回数をカウントし、直前のステップＳ３０２で受け付けたトリガ信号が何回目のトリガ信号かを判定する。その判定の結果１回目であった場合には、ステップＳ３０４に処理を進め、２回目以降であった場合にはステップＳ３０６に処理を進める。

ステップＳ３０４において、制御部１０９は計時部にて１回目のトリガ信号が入力されてからの経過時間の計測を開始する。計測した時間はメモリ１０８等に記憶され適宜更新される。そして、処理をステップＳ３０５に処理を進める。

ステップＳ３０５において、制御部１０９は撮像素子からの画像データを所定のフレームレートで取得しつつ処理をステップＳ３０２に戻して、次のトリガ信号の入力まで待機する。

ステップＳ３０６において、制御部１０９は計時部における計時結果に基づいてトリガ信号を受け付ける間の時間間隔Ｔ１を検出する。さらに、直前に受け付けたトリガ信号から直近のＶＤまでの時間Ｔｖｄを算出する。当該時間Ｔｖｄおよびそして、計時部における経過時間の計測を初期化した後に計時を再開する。そして、処理をステップＳ３０７に進める。なお本実施形態においてトリガ信号を受け付ける間の時間間隔Ｔ１は第２のタイミング間隔に相当する。

ステップＳ３０７において、制御部１０９は撮像素子からの画像データを所定のフレームレートで取得しつつ処理をステップＳ３０８に進める。

ステップＳ３０８において、制御部１０９は、そして過去のトリガ信号の発生間隔に相当する時間Ｔ１と、時間Ｔｖｄから次のトリガ信号の発生を推定する。そして、推定したトリガ信号の発生のタイミングで撮像素子１０４から出力されるのが低露出画像か高露出画像かを判定する。そして、当該判定結果を用いて所定のタイミングで取得する画像データに対して低露出画像として取得するか高露出画像で取得するかの切り替えを行う。切り替えが必要と判定されれば処理をステップＳ３０９に進め、切り替えが不要と判定されれば処理をステップＳ３１０に進め次のトリガ信号の入力まで待機する。

ここで、ステップＳ３０８における判定方法の一例としては図５（ｂ）で示したようにトリガ信号の間隔が一定である場合には、時間Ｔ１も一定となる。このことを利用し所定のトリガ信号の後に時間Ｔ１から時間Ｔｖｄを減算した値をＶＤ間隔で除算した商を算出する。この商の整数部が偶数なのか、奇数なのかを用いて判定を行う。具体的には、所定のトリガ信号の発生時が高露出画像の場合、商の整数部が偶数の場合は高露出画像が、奇数の場合は低露出画像が推定したトリガ信号の発生のタイミングで撮像素子１０４から出力される。また、所定のトリガ信号の発生時が低露出画像の場合、商の整数部が偶数の場合は低露出画像が、奇数の場合は高露出画像が推定したトリガ信号の発生のタイミングで撮像素子１０４から出力される。また、異なる例として図５（ａ）に示したように、トリガ信号の間隔が複数存在する場合には、トリガ信号の時間間隔を複数個記憶し、周期性を検出する。図５（ａ）ではトリガポイント４０２とトリガポイント４０３の間隔を時間Ｔ１とし、トリガポイント４０４とトリガポイント４０２の間隔を時間Ｔ２とする。そして、４回分のトリガ信号の出力タイミングの推定を、時間Ｔ１を用いて行い、続いて１回分の出力タイミングの推定を、時間Ｔ２を用いて行う。そして、このように制御することで、高精度に推定が可能となる。なお、時間Ｔ１の回数やタイミングはＰＣ１０１より設定することも可能であるが、図４に示すフローチャートの動作を、何度も繰り返しながらディープラーニング等を用いて機械学習して推定してもよい。また、図５（ａ）の例において、時間Ｔ１は非常に短いために、必ずしも予測が必要でない場合もある。このような場合においては、時間Ｔ２と比較的長い時間間隔であるトリガポイント４０４とトリガポイント４０２の間のみで予測を行うようにしてもよい。つまり、所定の時間よりトリガ信号の間隔が長い場合に予測を行うようにすることで、演算負荷を低減することができる。また、カッター２０１の回転動作は完全に一定とすることは困難で、トリガ信号の発生時に対してばらつきが生じる。そのため、予測に用いるＴ１精度を高めるために複数回算出したＴ１の結果から平均算出等の統計処理を行った結果Ｔ１ａｖｅを次のトリガ信号のタイミングの推定に用いてもよい。

ステップＳ３０９において制御部１０９は次回のＶＤのタイミングで低露出画像を取得するか高露出画像を取得するかを切り替える。より詳細にはステップＳ３０８で予測した次回のトリガ信号の発生時に低露出画像が撮像素子１０４から出力されると推定される場合には、低露出画像と高露出画像を取得する順番を入れ替える動作を行う。これは、合成後のＨＤＲ画像の画像データの取得が高露出画像の出力後に行われるためであり、画像データの取得順序を入れ替えることによって、トリガ信号の発生からＨＤＲ画像の画像データの取得までの時間を短縮することが可能となる。

ここで図６を用いて、ステップＳ３０９における動作に関して詳細に説明する。図６には、撮像素子１０４の読み出し周期に相当するＶＤ、撮像素子１０４からの画像データの出力タイミング、合成部１０６合成されるＨＤＲ画像の出力タイミング、現像処理部１０７により現像処理される画像データの出力タイミングを示している。さらに、ＰＣ１０１へ静止画の画像データとして取り込むための取り込みタイミングであるトリガ信号および実際に取り込まれる取り込み画像の出力タイミングを示している。

図６（ａ）はステップＳ３０９において低露出画像と高露出画像を取得する順番を入れ替える動作を示しており、図６（ｂ）はステップＳ３０９において低露出画像と高露出画像を取得する順番を入れ替えない動作を示している。どちらの場合においても、制御部１０９は撮像素子１０４に対して低露出画像を取得用のパラメータを設定し、ＶＤに同期して読み出しを開始し、低露出画像の画像データ５００を読み出す。その後に制御部１０９は撮像素子に対して高露出画像を取得用のパラメータを設定し、ＶＤに同期して読み出しを開始し、高露出画像の画像データ５０１を読み出す。合成部１０６では、低露出画像５００と高露出画像５０１を合成する事で１枚のＨＤＲ画像の画像データ５０２を生成する。現像処理部１０７では順次取得されるＨＤＲ画像に対して現像処理を行いＭＰＥＧ等の動画フォーマットに変換して現像処理後の画像データ５０３を生成する。生成された現像処理後の画像データ５０３は、表示部１１０に動画としての連続画を生成する。そして、トリガ信号５０７が入力されたタイミングの次の低露出画像の取得タイミングから生成されるＨＤＲ画像の画像データを取り込み画像として出力する。

図６（ａ）を例とし、Ｔ１＝１０５ｍｓ、ＶＤの間隔＝８．３ｍｓ、Ｔｖｄ＝３．０ｍｓとする。この場合には、（１０５ｍｓ−３．０ｍｓ）÷８．３ｍｓ≒１２で偶数となる。この場合、ステップＳ３０８における推定される画像データはトリガ信号５０７の出力時は高露出画像なので、次のトリガ信号５０９の生成時の出力は低露出画像になる。

本実施形態ではトリガ信号の発生タイミングの次の低露出画像と高露出画像で合成されるＨＤＲ画像を取り込み画像として取り込むため、トリガ信号の出力時に撮像素子１０４の出力が高露出画像の時にタイムラグを小さくする事が可能となる。

したがって、図６（ａ）に示す場合には場合は次のトリガ信号５０９の出力時が低露出画像と推定されるので、所定のタイミング５１０で低露出画像と高露出画像の取得タイミングを入れ替える。ここで、所定のタイミング５１０はトリガ信号の発生の間であればいつでもよいが、次のトリガ信号５０９の発生タイミングの直前は避ける方が好ましい。

また図６（ｂ）を例とし、Ｔ１＝１００ｍｓ、ＶＤ間隔＝８．３ｍｓ、Ｔｖｄ＝３．０ｍｓとすると、（１００ｍｓ−３．０ｍｓ）÷８．３ｍｓ≒１１で奇数となる。この場合、ステップＳ３０８における推定される画像データはトリガ信号５０７の出力時は高露出画像なので、次のトリガ信号５０９の生成時の出力は高露出画像になる。そのため、低露出画像と高露出画像を取得する順番を入れ替える動作は行わない。

以上のように、トリガ信号の発生間隔により次のトリガ信号の発生タイミングの撮像素子１０４の動作を推定し、次のトリガ信号の発生タイミングでの画像データが高露出画像か低露出画像かによって取得する順番を制御する。これにより、トリガ信号の発生から画像の取り込みまでのタイムラグは小さくなり、さらに安定することとなる。

撮像装置１０２は所定のフレームレートで画像を連続して取得するが、それと非同期で行われる外部装置の制御も所定の周期で繰り返される場合には、定期的なうねりとして発生することとなる。うねりはタイミングのずれであったり、画角のずれであったり、カッター２０１のずれであったりと様々で、検査物２０２の適切な検査を阻害するノイズとなる。このような場合に本発明を適用することで、撮像装置１０２に対して非同期で動作するもの（例えばカッター２０１）の動作のずれによるうねりを低減することが可能となる。

なお、最初のトリガ信号の発生間隔を検出する為に、検査物２０２を切断せずにカッター２０１を回転させる予備回転をさせるようにしても良い。また、切断する手前に予備トリガポイントを設けて一回目のトリガポイントも推定可能とする様に制御しても良い。

更にＰＣ１０１は回転速度をモニタし、実際に切断する所望のトリガ位置にする為に随時トリガ位置の補正を行う。またその速度を撮像装置１０２の制御部１０９に出力する事で、カッター２０１の速度の変化に応じてトリガ位置の予測位置を補正する様に制御しても良い。また、次のトリガ信号のタイミングと撮像タイミングを調整するために、低露出画像と高露出画像を取得する順番を入れ替えるだけではなく、取得する間隔（フレームレート）を調整することでタイミングを調整することも可能である。

また、図５（ａ）の様に一回転でトリガを複数位置ある場合は、予測トリガ時間Ｔ１を設定し、これを経過してもトリガ信号が入力されない場合は、時間計測を停止し再度次のトリガポイントから時間を計測する様に制御するようにしてもよい。さらに、複数のトリガ信号の間隔をＴ１とＴ２とした場合に、計測時間において短いＴ１が経過してもトリガ信号が入力されない場合には、次のトリガ信号の発生タイミングは長いＴ２とみなして再度推定をやり直すように制御してもよい。また、これに限らず推定精度を向上させるためには複数回の推定を行うようにしてもよい。

以上述べてきた様に、取り込み間隔の時間測定を行い次のトリガ信号の発生タイミングと、そのタイミングにおける読み出し画像が低露出画像なのか高露出画像なのかを推測する。これによって、トリガ信号の発生から実際の取り込みタイミングまでの時間を小さくする事が可能となる。また、次のトリガ信号の発生のタイミングを推定することによって、ユーザーによるタイミング設定の負荷が不要となり、システムの汎用性を広げることができる。例えば、カッター２０１の回転と撮像装置１０２の撮像タイミングとの調整が不要となり、自由なカッター２０１の回転速度および、撮像装置１０２の露出条件の設定が可能となる。

（第２の実施形態）
第１の実施形態においては、複数の画像を合成してダイナミックレンジを拡大するＨＤＲ駆動モード時の動作に関して説明した。ＨＤＲ駆動モード時は１枚のＨＤＲ画像を取得するために複数枚の画像を取得する必要があるため、合成枚数に依存してフレームレートが低下することとなる。つまり、画像データの取得開始の直前でトリガ信号が発生すれば画像データ取得のタイムラグは最少となるが、画像データの取得開始の直後でトリガ信号が発生すれば、フレームレート分の遅延が生じることとなる。このような現象はＨＤＲ駆動モード時に限られるものではなく、例えば、低輝度被写体を撮像する場合に、フレームレートを低下させて露光時間を増加させる、いわゆるスローシャッタ駆動モード時においても同様の課題を有することとなる。以下、図７および図８を参照しつつ、本発明の第２の実施形態であるスローシャッタ駆動モードの制御における適用に関して説明する。

図７に第２の実施形態における詳細のブロック構成図を示す。各構成は第１の実施形態における図１の各構成と対応する。差分は合成部１０６に相当するブロックを有さず、メモリ６０８は画像処理部６０５からの画像データを保持する構成となっている。

次に本実施形態の特徴を示すタイミングチャートを、図８を用いて詳細に説明する。ＰＣ６０１は検査台６００のカッター２０１の等速回転をスタートし、そしてカッター２０１の動作に合わせて撮像装置６０２を制御して撮像を開始する。図８の各図は第１の実施形態の図６と同様に、撮像素子６０４の読み出し周期に相当するＶＤ、撮像素子６０４からの画像データの出力タイミング、現像処理部６０７により現像処理される画像データの出力タイミングを示している。さらに、ＰＣ６０１へ静止画の画像データとして取り込むための取り込みタイミングであるトリガ信号および実際に取り込まれる取り込み画像の出力タイミングを示している。

図８（ａ）は撮像開始時のタイミングを示した図である。本実施形態では図８の７００に示す様に４つのＶＤ期間に対応する長秒露光を行い、４つのＶＤ期間毎に撮像素子からの読み出しを行うスローシャッタ駆動モードの制御とする。そのため、フレームレートとしては４分の１に低下することとなる。

制御部６０９は撮像素子６０４に対してスローシャッタ駆動モードのためのパラメータを設定し、４つのＶＤ期間の露光時間を設定する。図８（ａ）に示す様に４つのＶＤ期間の露光時間が経過すると、画像データ７０１を１つのＶＤ期間で撮像素子から画像データの読み出しを行う。撮像素子６０４から読み出された画像データは、画像処理部６０５に転送され輪郭強調、黒レベル補正等の各種画像処理を行う。そして、現像処理部６０７は画像処理部６０５が処理した画像データに対して現像処理を行い、現像処理後の画像データ７０２を出力する。この動作を繰り返し行うことで、動画像の画像データを取得される。

そして、スローシャッタ駆動モードにおいても、第１の実施形態と同様に、検査物２０２の切断のタイミングに合わせて、トリガ信号が制御部６０９に入力される。図８（ａ）において制御部６０９はトリガ信号７０３の入力を検知すると、次の露光後に撮像素子より出力される画像データ７０４をメモリ６０８に取り込み画像として取り込む制御を行う。このようなシステムにおいても第１の実施形態と同様に制御部６０９に入力されるトリガ信号のタイミングによっては、実際に取得したい画像データ取り込みタイミングに対して、大きく遅延が生じる懸念がある。特により低照度の環境で検査物２０２の観察を行いたい場合などでは露光時間として用いるＶＤの数も増えることとなり、より遅延が生じる懸念が高まることとなる。また、露光時間が長くなることで発生する暗電流の影響を除外するために黒画像を取得して画像データから減算する諸城行う場合もある。このような場合には、第１の実施形態の動作を用いることで、黒画像取得タイミングとトリガ信号の発生タイミングとが重ならないように制御することも可能である。

本実施形態においては、第１の実施形態における図４で示したフローチャートの動作と同様に次のトリガ信号が入力されるタイミングを事前に推定し、その推定結果を用いてスローシャッタの露光開始タイミングを制御する点に特徴がある。より詳細な動作として、第１の実施形態と同様にトリガ信号の入力に合わせて時間計測を開始し、次のトリガ信号までの時間を計測する。図８（ａ）に示すようにトリガ信号７０３からトリガ信号７０５までの時間Ｔ１を取得し、更に露光開始時のＶＤから７０５までの時間Ｔｖｄを取得する。そして、さらに取得した時間から、次のトリガ信号が入力されるタイミングが４つのＶＤのタイミング（図８（ａ）のａ、ｂ、ｃ、ｄ）のいずれかに入力されるかを推定する。

なお、ｄで示すＶＤのタイミングにトリガ信号が入力されれば静止画の画像データの取り込みにおけるタイムラグを小さくする事が可能となる。

推定方法の一例としては、最初に時間Ｔ１から時間Ｔｖｄを加算する事で、露光開始時のＶＤ７０６を起点とした次のトリガ位置までの予測時間（Ｔ１＋Ｔｖｄ）を算出する。そして、さらにＶＤの間隔で除算する。そして除算した商の整数部分が４ｎの場合はａの位置、４ｎ＋１の時はｂの位置、４ｎ＋２の時はｃの位置、４ｎ＋３の時はｄの位置にトリガが出力されると推測できる（ｎは整数）。

例えば図８（ａ）を例にとると、Ｔ１＝３５０ｍｓ、Ｔｖｄ＝１１ｍｓ、ＶＤの間隔を８．３ｍｓとすると、３５０ｍｓ＋１１ｍｓ＝３６１ｍｓとなる。

更に３６１ｍｓ÷１１ｍｓ≒４３＝４×１０＋３（４ｎ＋３）となるので、推測されるトリガ信号の入力タイミングはｄとなる。

まお、前述したように、次のトリガ位置がｄの位置と推測される場合は、レリーズタイムラグは最短となるので、そのまま継続して読み出しを行う。一方で、推測されるトリガ位置がｃの場合は図８（ｂ）のタイミングチャートの様に撮像素子の露光開始（読み出し開始）を１つのＶＤ分遅らせる事で、次のトリガ位置をｄの位置にする事が可能となる。同様に、推測されるトリガ位置がｂの場合は図８（ｃ）のタイミングチャートの様に撮像素子の露光開始（読み出し開始）を２つのＶＤ分遅らせる事で、次のトリガ位置をｄの位置にする事が可能となる。更に推測されるトリガ位置がａの場合は図８（ｄ）のタイミングチャートの様に撮像素子の露光開始（読み出し開始）を３つのＶＤ分遅らせる事で、次のトリガ位置をｄの位置にする事が可能となる。

以上のように、取得される時間から予測されるトリガ信号のタイミングに応じて、露光開始タイミング及び撮像素子からの読み出しタイミングを変える事でタイムラグを最小にすることができる。なお、本実施形態は撮像素子からの読み出しタイミングを変える動作に関して例示したが、露光開始タイミングを変えることで露出が変わる場合にはゲイン設定等や絞り値を変更するように合わせて制御してもよい。

以上述べてきたように、ＨＤＲ駆動モード時により適切な画像データ取り込みタイミングを推定する動作をスローシャッタ駆動モード時に適用した実施形態に関して説明した。なお、これらの駆動モード以外に制御した場合においても本発明を適用することができる。取り込みタイミング間の時間計測を行い、次のトリガ位置と読み出し画像の位置関係を取得し、露光開始タイミングを変える事で、次のトリガ位置での画像データ取り込みタイミングのタイムラグを小さくする事が可能となる。

なお、ＨＤＲ駆動モードやスローシャッタ駆動モード以外の駆動モードにおいてもフレームレートが低下するシーンにおいては本発明を適用することで同様の効果を得ることができる。

（その他の実施形態）
各実施形態で説明した撮像素子１０４および撮像装置１０２は様々なアプリケーションに適用可能である。例えば、撮像装置に対して固定された検査物を撮像するのではなく、ＦＡ用途等において、直線的なベルトコンベア等で搬送されることで、撮像装置に対して移動する検査物を撮像する場合においても好適である。例えば、搬送タイミングに合わせてトリガポイントを設定して次回の検査物の搬送タイミングを予測することで、検査物の搬送間隔が一定である否かによらず適切なタイミングで撮像することが可能となる。

なお、撮像素子１０４は可視光以外にも赤外光、紫外光、Ｘ線等の光のセンシングに用いることが可能である。また、撮像装置１０２はデジタルカメラに代表されるが他にも、スマートフォン等のカメラ付携帯電話、監視カメラ、ゲーム機器等にも適用可能である。さらに、内視鏡や血管撮像を行う医療機器や、肌や頭皮を観察する美容機器、スポーツやアクション動画を撮像するためのビデオカメラに適用できる。そして、交通監視やドライブレコーダー等の交通目的カメラ、天体観測や検体観察等の学術用途カメラ、カメラ付き家電製品、マシンビジョン等にも適用可能である。特にマシンビジョンとして、工場等におけるロボットには限られず、農業や漁業での活用も可能である。

また、上記実施形態に示した撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１に示した構成に限定されるものではない。また、撮像装置の各部の回路構成も、各図に示した構成に限定されるものではない。

本発明は、上述の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００検査台
１０１ＰＣ
１０２撮像装置
１０３レンズ
１０４撮像素子
１０５画像処理部
１０６合成部
１０７現像処理部
１０８メモリ
１０９制御部
１１０表示部

Claims

対象物を第１のタイミングで繰り返し撮像する撮像装置であって、
前記対象物の画像データを取得するための撮像素子と、
前記撮像素子の駆動を制御するための制御手段と、
前記対象物を繰り返し加工する第２のタイミングを取得する取得手段と、
を備え、
前記制御手段は前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子の駆動を制御することを特徴とする撮像装置。
前記制御手段は過去の前記第２のタイミング間隔に基づいて次回の第２のタイミングを推定する推定手段を含むことを特徴とする請求項１に記載の撮像装置。
前記制御手段は前記第１のタイミングで取得された画像データに基づいて動画像を生成し、前記第２のタイミングで取得された画像データに基づいて静止画像を生成することを特徴とする請求項２に記載の撮像装置。
複数の前記画像データを合成する合成手段をさらに備え、
前記制御手段は前記撮像素子に対して画像データに対応して異なる露出を周期的に設定し、
前記合成手段は前記異なる露出を設定された複数の画像データを合成することでダイナミックレンジが拡大した画像データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記異なる露出には適正露光に対して高い露出または低い露出が含まれていることを特徴とする請求項４に記載の撮像装置。
前記制御手段は、前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子に対して設定する露出を切り替えることを特徴とする請求項４または５に記載の撮像装置。
前記第１のタイミングは垂直同期信号であり、
前記制御手段は複数の垂直同期信号をまたいで画像データを取得するように撮像素子の駆動を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子に対して設定する露光を開始するタイミングを切り替えることを特徴とする請求項７に記載の撮像装置。
前記第２のタイミング間隔は複数種類の時間間隔を含むことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。