JP2017009354A

JP2017009354A - 高速度撮像システム及び高速度撮像方法

Info

Publication number: JP2017009354A
Application number: JP2015123230A
Authority: JP
Inventors: 朋彦春山; Tomohiko Haruyama
Original assignee: JTEKT Corp
Current assignee: JTEKT Corp
Priority date: 2015-06-18
Filing date: 2015-06-18
Publication date: 2017-01-12
Anticipated expiration: 2035-06-18
Also published as: JP6540261B2

Abstract

【課題】１回の露光時間内に複数回の照射光の照射を行って、１枚の画像内に、移動している撮像対象物を複数回撮像して、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像できるとともに、各照射時の像を適切に分離することが可能であり、撮像対象物の移動速度をより正確に計測することができる高速度撮像システム及び高速度撮像方法を提供する。
【解決手段】高速度撮像手段と光源と画像処理手段とを有する高速度撮像システムであって、高速度撮像手段は、第１所定時間の間隔にて画像を撮像して画像処理手段に出力し、光源は、高速度撮像手段の露光時間内において、異なる出力強度で複数の照射光を、第２所定時間の間隔で照射する。画像処理手段は、異なる輝度の複数の撮像対象物を画像の中から抽出し、各輝度の撮像対象物の位置から求めた移動距離と、第２所定時間と、に基づいて撮像対象物の移動速度を求める。
【選択図】図３

Description

本発明は、高速移動する撮像対象物を撮像する高速度撮像システム及び高速度撮像方法に関する。

高速移動する撮像対象物を撮像する場合には、フレームレート（１秒間に撮像できる画像の数［ｆｐｓ］）が高い撮像装置（いわゆるハイスピードカメラ）が利用される。撮像対象物の移動速度が速くなるほど、撮像装置のフレームレートを高くしなければならないが、フレームレートの上限は、当該撮像装置で決まってしまっている。フレームレートの上限を超える速度で移動する撮像対象物を撮像した場合、像がぶれてしまうので適切に撮像することができない。

例えば特許文献１には、フレームレート、単位撮影時間内（１回の露光時間内）の照射光の照射回数（露光回数）、露光時間、の少なくともいずれかを、単位撮影時間ごとに複数回変更できる変更手段を備えた撮像装置が開示されている。

特開２００４−０６４６６１号公報

特許文献１に記載の撮像装置では、単位撮影時間内（１回の露光時間内）で、複数回の照射光の照射を行うことで、１枚の画像内に、移動している撮像対象物を複数回撮像できる。従って、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物をぶれずに撮像することができるものと推測される。しかし、複数回照射する照射光の輝度が同一であるので、例えばｎ回目の照射時の像と、ｎ＋１回目の照射時の像が重なってしまった場合等では、ｎ回目の照射時の像とｎ＋１回目の照射時の像とを適切に分離することができない。従って、像が重なってしまった場合等では、撮像対象物の移動速度を適切に計測することが困難となる。

本発明は、このような点に鑑みて創案されたものであり、１回の露光時間内に複数回の照射光の照射を行って、１枚の画像内に、移動している撮像対象物を複数回撮像して、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像できるとともに、各照射時の像を適切に分離することが可能であり、撮像対象物の移動速度をより正確に計測することができる高速度撮像システム及び高速度撮像方法を提供することを課題とする。

上記課題を解決するため、本発明に係る高速度撮像システム及び高速度撮像方法は、次の手段をとる。まず、本発明の第１の発明は、運動している撮像対象物に向けられた高速度撮像手段と、前記撮像対象物に照射光を照射する光源と、前記高速度撮像手段が撮像した画像を処理する画像処理手段と、を有する高速度撮像システムである。前記高速度撮像手段は、第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を前記画像処理手段に出力し、前記光源は、パルス光源であり、前記高速度撮像手段が各画像を撮像している露光時間内において、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射する。そして、前記画像処理手段は、前記高速度撮像手段から前記画像を取り込み、前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出し、それぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度を求める。

次に、本発明の第２の発明は、運動している撮像対象物に向けられた高速度撮像手段と、前記撮像対象物に照射光を照射する光源と、前記高速度撮像手段が撮像した画像を処理する画像処理手段と、を有する高速度撮像システムである。前記高速度撮像手段は、第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を前記画像処理手段に出力し、前記光源は、パルス光源であり、前記高速度撮像手段が各画像を撮像している露光時間内において、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射する。そして、前記画像処理手段は、前記高速度撮像手段から前記画像を取り込み、複数の前記画像の中の１つの画像と、当該画像の１つ後の画像と、に相互相関関数を適用して、前記撮像対象物の移動距離を求め、求めた移動距離と、前記第１所定時間と、に基づいて前記撮像対象物の移動速度である第１移動速度を求め、前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出し、それぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度である第２移動速度を求め、所定条件を満足する場合は、前記第２移動速度を前記撮像対象物の移動速度と判定し、前記所定条件を満足しない場合は、前記第１移動速度を前記撮像対象物の移動速度と判定する。

次に、本発明の第３の発明は、上記第２の発明に係る高速度撮像システムであって、前記所定条件を満足する場合とは、求めた前記第２移動速度が第１所定速度未満である場合、求めた第２移動速度が前記第１所定速度よりも高い第２所定速度以上である場合、前記画像中に前記撮像対象物に加えて前記撮像対象物に近似する物体である撮像対象近似物体が撮像されていて前記相互相関関数にて前記撮像対象物と前記撮像対象近似物体とが区別できない場合、の少なくとも１つが成立している場合である。

次に、本発明の第４の発明は、運動する撮像対象物に向けられて第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を画像処理手段に出力する高速度撮像手段と、前記撮像対象物に向けられた光源と、前記高速度撮像手段が撮像した画像を取り込んで前記撮像対象物の移動速度を求める画像処理手段と、を用いた高速度撮像方法であって、前記高速度撮像手段にて画像の撮像を開始する撮像開始ステップと、前記高速度撮像手段にて前記画像を撮像するとともに、各画像を撮像している露光時間内において、前記光源から、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射する撮像ステップと、前記高速度撮像手段が撮像した画像を前記高速度撮像手段から前記画像処理手段へと出力して、前記画像処理手段にて前記画像を取り込む画像転送ステップと、前記画像処理手段にて、取り込んだ前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出する撮像対象物抽出ステップと、前記画像処理手段にて、抽出したそれぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度を求める移動速度算出ステップと、を有する。

第１の発明によれば、１回の露光時間内に、第２所定時間の間隔で、異なる出力強度で複数回の照射光の照射を行う。これにより、１枚の画像内に、移動している撮像対象物を複数回撮像し、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像できる。また、照射光の照射毎に異なる輝度の像を撮像する。従って、例えば照射光の出力強度に対応する輝度範囲を設定し、輝度範囲毎の像を抽出することで、像が重なっていても、各照射時の像を適切に分離することが可能であり、撮像対象物の移動速度をより正確に計測することができる。

第２の発明によれば、第１の発明と同じ構成で第２移動速度を求め、相互相関関数を用いた（既存の）構成で第１移動速度を求める。そして条件に応じて、第１移動速度を撮像対象物の移動速度とするか、第２移動速度を撮像対象物の移動速度とするか、を切り替える。第２移動速度は第１発明と同じ構成で求めているので、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像可能であり、像が重なっていても、各照射時の像を適切に分離することが可能であり、撮像対象物の移動速度をより正確に計測することができる。また第１移動速度のほうが第２移動速度よりも撮像対象物の移動速度として適切である場合（所定条件を満足しない場合）は、第１移動速度を撮像対象物の移動速度とすることができる。

第３の発明によれば、第１移動速度のほうが第２移動速度よりも撮像対象物の移動速度として適切である場合（所定条件を満足しない場合）を、適切に判断することができる。

第４の発明によれば、１枚の画像内に、移動している撮像対象物を複数回撮像し、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像可能であり、かつ、像が重なっていても、各照射時の像を適切に分離可能で、撮像対象物の移動速度をより正確に計測することができる高速度撮像方法を適切に実現することができる。

第１の実施の形態の高速度撮像システムの全体構成を説明する斜視図である。撮像装置のフレームレート及び露光タイミングと、光源からの照射光の照射タイミング及び照射出力強度との関係を示すタイミングチャートである。画像処理装置の処理手順の例を説明するフローチャートである。画像Ｇ［ｍ］と、１つ後の画像Ｇ［ｍ＋１］と、に相互相関関数を適用して第１移動速度を求める例を説明する図である。画像Ｇ［ｍ］中において、異なる出力強度の照射光にて撮像対象物が撮像されている例を説明する図である。図６中から第１輝度範囲の撮像対象物を抽出し、抽出した撮像対象物の輝度中心位置を求める様子を説明する図である。図６中から第２輝度範囲の撮像対象物を抽出し、抽出した撮像対象物の輝度中心位置を求める様子を説明する図である。第２の実施の形態の高速度撮像システムの全体構成を説明する斜視図である。第１撮像装置と第２撮像装置のフレームレート及び露光タイミングと、光源からの照射光の照射タイミング及び照射出力強度との関係を示すタイミングチャートである。第１撮像装置からの画像Ｇ１［ｍ］と、第１撮像装置からの１つ後の画像Ｇ１［ｍ＋１］と、の例を説明する図である。第２撮像装置からの画像Ｇ２［ｍ］と、第２撮像装置からの１つ後の画像Ｇ２［ｍ＋１］と、の例を説明する図である。第１撮像装置からの画像Ｇ１［ｍ］と、第２撮像装置からの画像Ｇ２［ｍ］と、の例を説明する図である。

以下、第１の実施の形態の高速度撮像システム及び高速度撮像方法と、第２の実施の形態の高速度撮像システム及び高速度撮像方法を、図面を用いて順に説明する。またＸ軸、Ｙ軸、Ｚ軸が記載されている図では、Ｘ軸とＹ軸とＺ軸は互いに直交しており、光軸ＪＺ方向はＺ軸方向とされている。また撮像対象物Ｗ１の移動方向は、Ｘ軸とＹ軸を含むＸＹ平面内である。また本実施の形態の説明では、撮像装置１０から撮像対象物Ｗ１を見た場合、撮像対象物Ｗ１が左から右に向かって移動している例で説明する。

●［第１の実施の形態の高速度撮像システム１の全体構成（図１）］
第１の実施の形態の高速度撮像システム１は、図１に示すように、撮像装置１０（高速度撮像手段に相当）、光源３０、画像処理装置４０（画像処理手段に相当）等にて構成されている。撮像装置１０の光軸ＪＺの方向は、高速移動する撮像対象物Ｗ１の方向に向けられている。

撮像装置１０は、いわゆるハイスピードカメラであり、撮像装置１０の光軸ＪＺは撮像対象物Ｗ１に向けられている。撮像装置１０は、画像処理装置４０からの制御信号に基づいて撮像エリアＡ１内を第１所定時間の間隔で撮像した画像を次々と作成し、作成した画像を画像処理装置４０に出力する。撮像装置１０のフレームレートは、例えば数１０００［ｆｐｓ］〜約１００００［ｆｐｓ］である。撮像装置１０の撮像素子は、ＣＣＤでもよいしＣＭＯＳでもよく、カラーでも白黒でもよい。本実施の形態では、撮像装置１０の撮像素子は、白黒のＣＭＯＳイメージセンサを用いている。

光源３０は、例えばレーザ光源またはメタルハライド光源であり、撮像エリアＡ１の方向（撮像対象物Ｗ１の方向）に照射光を照射する。光源３０は、画像処理装置４０からの制御信号に基づいて、撮像装置１０が撮像する各画像の露光時間よりも短い第２所定時間の間隔で、異なる出力強度の複数の照射光（パルス光）を出力する。

画像処理装置４０は、例えばパーソナルコンピュータであり、撮像装置１０に露光タイミング信号を出力し、光源３０に照射タイミング信号及び照射出力強度信号を出力して（図２参照）、撮像装置１０による各画像の撮像と、光源３０からの各照射光の照射とを同期させている。また画像処理装置４０は、撮像装置１０から出力された画像を取り込み、後述する処理手順に基づいた処理を実行する。

●［撮像装置１０のフレームレート及び露光タイミングと、光源３０の照射タイミング及び照射出力強度と、の関係（図２）］
図２に示す露光タイミングは、画像処理装置４０から撮像装置１０へ出力される露光タイミング信号の例である。露光タイミング信号は、第１所定時間Ｔ１の間隔で出力される。例えば撮像装置１０は、図２中の時刻ｔ１ａで（露光タイミング信号の立上りで）撮像を開始し、露光時間Ｓ１（第１所定時間Ｔ１＞露光時間Ｓ１）の間で露光を行う。そして撮像装置１０は、図２中の時刻ｔ１ｈで露光を終了した後、画像Ｇ１［１］を作成する。同様にして撮像装置１０は、画像Ｇ１［２］等を次々と作成する。

また図２に示す照射出力強度は、画像処理装置４０から光源３０へ出力される照射出力強度信号の例である。照射出力強度信号は、照射光の異なる出力強度を示しており、強ＢＨの場合に照射された照射光は高い（明るい）出力強度で照射され、弱ＢＬの場合に照射された照射光は低い（暗い）出力強度で照射される。また図２に示す照射タイミングは、画像処理装置４０から光源３０へ出力される照射タイミング信号の例である。照射タイミング信号は、露光タイミング信号と同期して出力され、光源３０は、時刻ｔ１ａから遅れ時間ＤＴ１が経過後の時刻ｔ１ｃから時刻ｔ１ｄの間で高出力強度（照射出力強度＝強ＢＨ）の照射光Ｈを照射する。また光源３０は、時刻ｔ１ｃから第２所定時間Ｔ２が経過後の時刻ｔ１ｅから時刻ｔ１ｆの間では低出力強度（照射出力強度＝弱ＢＬ）の照射光Ｌを照射する。もちろん、照射タイミング（時刻ｔ１ｃ〜時刻ｔ１ｆ）は、露光タイミング（時刻ｔ１ａ〜時刻ｔ１ｈ）内にある。また図２中の照射出力強度は、時刻ｔ１ｃ〜時刻ｔ１ｄの照射タイミング信号の出力中では「強ＢＨ」であればよく、時刻ｔ１ｅ〜時刻ｔ１ｆの照射タイミング信号の出力中では「弱ＢＬ」であればよい。画像処理装置４０は、時刻ｔ１ｄ〜時刻ｔ１ｅの間において照射出力強度を強ＢＨから弱ＢＬに切り替え、時刻ｔ１ｆ〜時刻ｔ２ｃの間において照射出力強度を弱ＢＬから強ＢＨに切り替える。

●［画像処理装置４０の処理手順（図３〜図７）］
次に図３に示すフローチャートを用いて、画像処理装置４０の処理手順の例を説明する。画像処理装置４０は、ユーザから起動されて撮像対象物Ｗ１の移動速度の計測の実行が指示されると、図３に示す処理を開始し、ステップＳ１０に進む。

ステップＳ１０にて画像処理装置４０は、ユーザからの撮像条件の入力を待つ。撮像条件の入力は、例えば、フレームレート（ｆｐｓ）の数値または第１所定時間［Ｔ１］、１回の露光中における照射光の照射回数［ｋ］、１回の露光中の各照射光の強度（例えばｋ＝２の場合、１回目：強、２回目：弱等）、作成する画像の枚数［ｎ］、等がある。

ステップＳ２０にて画像処理装置４０は、ユーザからの撮像条件の入力が完了したと判定した場合（Ｙｅｓ）はステップＳ３０に進み、ユーザからの撮像条件の入力がまだ完了していないと判定した場合（Ｎｏ）はステップＳ１０に戻る。

ステップＳ３０に進んだ場合、画像処理装置４０は、ユーザから撮像開始指示の入力があったか否かを判定し、撮像開始指示があった場合（Ｙｅｓ）はステップＳ４０に進み、撮像開始指示がない場合（Ｎｏ）はステップＳ３０に戻って撮像開始指示を待つ。ステップＳ３０は、撮像装置にて画像の撮像を開始する撮像開始ステップに相当している。

ステップＳ４０に進んだ場合、画像処理装置４０は、図２に示す露光タイミング信号を撮像装置１０に出力し、図２に示す照射出力強度信号及び照射タイミング信号を光源３０に出力する。また画像処理装置４０は、これら露光タイミング信号、照射出力強度信号、照射タイミング信号を、図２に示すように同期させて出力する。図２に示す露光タイミング信号における第１所定時間Ｔ１は、ユーザから入力されたフレームレート（ｆｐｓ）の数値または第１所定時間［Ｔ１］に基づいて設定される。また図２に示す照射タイミング信号における第２所定時間Ｔ２は、ユーザから入力されたフレームレート（ｆｐｓ）の数値または第１所定時間［Ｔ１］に基づいて設定される露光時間Ｓ１に応じて設定される。また露光タイミング信号のパルスの数は、ユーザから入力された、作成する画像の枚数［ｎ］に基づいて設定される。また照射タイミング信号のパルスの数は、ユーザから入力された、作成する画像の枚数［ｎ］と、１回の露光中における照射光の照射回数［ｋ］と、に基づいて設定される。

そして撮像装置１０は、入力された露光タイミング信号に基づいて第１所定時間Ｔ１の間隔にて次々と画像Ｇ［１］〜画像Ｇ［ｎ］を撮像する（画像の枚数＝ｎより）。また光源３０は、入力された照射出力強度信号及び照射タイミング信号に基づいて各画像の露光時間Ｓ１中において、高出力強度の照射光Ｈと低出力強度の照射光Ｌとを第２所定時間Ｔ２の間隔にて照射する。ステップＳ４０は、撮像装置にて画像を撮像するとともに、各画像を撮像している露光時間内において、光源３０から、異なる出力強度で複数の照射光を、露光時間Ｓ１よりも短い第２所定時間Ｔ２の間隔で照射する撮像ステップに相当している。

ステップＳ５０にて、撮像装置１０は、撮像した複数の画像を、画像処理装置４０に向けて出力し、画像処理装置４０は、撮像装置１０から、複数の画像（画像Ｇ［１］〜画像Ｇ［ｎ］）を取り込む。ステップＳ５０は、撮像装置１０が撮像した画像を撮像装置１０から画像処理装置４０へと出力して、画像処理装置４０にて画像を取り込む画像転送ステップに相当している。

ステップＳ６０にて画像処理装置４０は、ｎ枚の画像中のｍ番目の画像Ｇ［ｍ］と、ｍ＋１番目の画像Ｇ［ｍ＋１］と、に相互相関関数を適用して撮像対象物の移動速度である第１移動速度を算出してステップＳ７０に進む。例えば図４は、ｍ番目の画像Ｇ［ｍ］の例と、ｍ＋１番目の画像Ｇ［ｍ＋１］の例と、を示している。この図４を用いて、ステップＳ６０における画像処理装置４０の具体的な処理の例を以下に説明する。

図４における画像Ｇ［ｍ］には、例えばエリアＺ［ｍ］Ｈ内に、高出力強度の照射光Ｈによる高輝度範囲となる第１輝度範囲の輝度を有する撮像対象物Ｗ１（Ｈ）が撮像されている。また画像Ｇ［ｍ］には、例えばエリアＺ［ｍ］Ｌ内に、低出力強度の照射光Ｌによる低輝度範囲となる第２輝度範囲の輝度を有する撮像対象物Ｗ１（Ｌ）が撮像されている。同様に、画像Ｇ［ｍ＋１］には、例えばエリアＺ［ｍ＋１］Ｈ内に、第１輝度範囲の輝度を有する撮像対象物Ｗ１（Ｈ）が撮像されている。また画像Ｇ［ｍ＋１］には、例えばエリアＺ［ｍ＋１］Ｌ内に、第２輝度範囲の輝度を有する撮像対象物Ｗ１（Ｌ）が撮像されている。

画像処理装置４０は、画像Ｇ［ｍ］と画像Ｇ［ｍ＋１］とに、相互相関関数を適用して、撮像対象物を含む領域を検索する。相互相関関数は、既存の技術であって、ある領域（ある輝度パターンの領域）と同じ領域が、どこにあるかを探し出す関数である。例えば図４のＧ[ｍ]中におけるエリアＺ［ｍ］Ｈと同じ輝度パターンの領域が、図４のＧ［ｍ＋１］中のどこにあるか、を探し出す（この場合、Ｇ［ｍ＋１］中のエリアＺ［ｍ＋１］Ｈの位置にある、と探し出す）。そして画像処理装置４０は、第１所定時間Ｔ１にて、画像Ｇ［ｍ］中のエリアＺ［ｍ］Ｈが、画像Ｇ［ｍ＋１］中のエリアＺ［ｍ＋１］Ｈに移動したと判定し、移動距離を求める。そして画像処理装置４０は、求めた移動距離と、画像Ｇ［ｍ］と画像Ｇ［ｍ＋１］との時間間隔である第１所定時間Ｔ１と、に基づいて、相互相関関数を用いて求めた撮像対象物の移動速度である第１移動速度を算出する。

フローチャートの説明に戻り、ステップＳ７０にて画像処理装置４０は、ｎ枚の画像中のｍ番目の画像Ｇ［ｍ］の中から、高出力強度の照射光Ｈによる高輝度範囲となる第１輝度範囲の輝度を有する撮像対象物と、低出力強度の照射光Ｌによる低輝度範囲となる第２輝度範囲の輝度を有する撮像対象物と、を抽出する。そして画像処理装置４０は、抽出した第１輝度範囲の撮像対象物と、抽出した第２輝度範囲の撮像対象物と、第２所定時間Ｔ２と、に基づいて、撮像対象物の移動速度である第２移動速度を算出してステップＳ８０に進む。例えば図５は、ｍ番目の画像Ｇ［ｍ］の例を示している。この図５を用いて、ステップＳ７０における画像処理装置４０の具体的な処理の例を以下に説明する。なおステップＳ７０は、撮像対象物抽出ステップと、移動速度算出ステップと、に相当している。撮像対象物抽出ステップは、取り込んだ画像に撮像されている撮像対象物であって光源の異なる出力強度の照射光に応じた異なる輝度の複数の撮像対象物を画像の中から抽出するステップである。また移動速度算出ステップは、抽出したそれぞれの輝度の撮像対象物の位置から求めた移動距離と、第２所定時間Ｔ２と、に基づいて撮像対象物の移動速度を求めるステップである。

図５における画像Ｇ［ｍ］には、高出力強度の照射光Ｈによる高輝度範囲となる第１輝度範囲の輝度を有する撮像対象物Ｗ１（Ｈ）と、低出力強度の照射光Ｌによる低輝度範囲となる第２輝度範囲の輝度を有する撮像対象物Ｗ１（Ｌ）と、が撮像されている。画像処理装置４０は、図５に示す画像Ｇ［ｍ］を用いて、第１輝度範囲の輝度を有する撮像対象物Ｗ１（Ｈ）が撮像されている画像Ｇ［ｍ］Ｈ（図６参照）を作成する。また画像処理装置４０は、図５に示す画像Ｇ［ｍ］を用いて、第２輝度範囲の輝度を有する撮像対象物Ｗ１（Ｌ）が撮像されている画像Ｇ［ｍ］Ｌ（図７参照）を作成する。

画像処理装置４０は、作成した画像Ｇ［ｍ］Ｈの中から第１輝度範囲（照射光Ｈに応じた輝度範囲）の輝度を有する撮像対象物Ｗ１（Ｈ）を抽出し、抽出した撮像対象物Ｗ１（Ｈ）の輝度中心位置Ｐ［ＸＨ（ｍ）、ＹＨ（ｍ）］の座標を求める。また画像処理装置４０は、作成した画像Ｇ［ｍ］Ｌの中から第２輝度範囲（照射光Ｌに応じた輝度範囲）の輝度を有する撮像対象物Ｗ１（Ｌ）を抽出し、抽出した撮像対象物Ｗ１（Ｌ）の輝度中心位置Ｐ［ＸＬ（ｍ）、ＹＬ（ｍ）］の座標を求める。そして画像処理装置４０は、輝度中心位置Ｐ［ＸＨ（ｍ）、ＹＨ（ｍ）］と、輝度中心位置Ｐ［ＸＬ（ｍ）、ＹＬ（ｍ）］と、から移動距離を求め、求めた移動距離と、第２所定時間Ｔ２と、に基づいて撮像対象物の移動速度である第２移動速度を算出する。

フローチャートの説明に戻り、ステップＳ８０にて画像処理装置４０は、所定条件を満足するか否かを判定し、所定条件を満足する場合（Ｙｅｓ）はステップＳ９０Ａに進み、所定条件を満足しない場合（Ｎｏ）はステップＳ９０Ｂに進む。

ここで、所定条件を満足する場合とは、以下の（１）〜（３）の少なくとも１つが成立している場合である。
（１）ステップＳ７０にて求めた第２移動速度が、第１所定速度未満である場合。例えば、図４の画像Ｇ［ｍ］中の撮像対象物Ｗ１（Ｈ）と、図４の画像Ｇ［ｍ＋１］中の撮像対象物Ｗ１（Ｈ）とが重なる場合。第１所定速度は適宜設定される。
（２）ステップＳ７０にて求めた第２移動速度が、第１所定速度よりも高い第２所定速度以上である場合。例えば、図４の画像Ｇ［ｍ］中の撮像対象物Ｗ１（Ｈ）と、図４の画像Ｇ［ｍ＋１］中の撮像対象物Ｗ１（Ｈ）との間の距離が、相互相関関数の検索範囲を超える距離の場合、または移動速度が非常に速く、画像Ｇ［ｍ＋１］中に撮像対象物Ｗ１（Ｈ）が撮像されていない場合。第２所定速度は適宜設定される。
（３）図４の画像Ｇ［ｍ］中と、図４の画像Ｇ［ｍ＋１］中に、撮像対象物に近似する物体である撮像対象近似物体が撮像されていて、相互相関関数にて撮像対象物と撮像対象近似物体とが区別できない場合。例えば玉軸受の複数の鋼球の中の１つ、液体中の複数の泡の中の１つを撮像対象物とした場合、撮像対象物と撮像対象物近似物体とを区別できない場合がある。

ステップＳ９０Ａに進んだ場合、画像処理装置４０は、ステップＳ７０にて算出した第２移動速度が撮像対象物の移動速度である、と判断して処理を終了する。

ステップＳ９０Ｂに進んだ場合、画像処理装置４０は、ステップＳ６０にて算出した第１移動速度が撮像対象物の移動速度である、と判断して処理を終了する。

また図３に示すフローチャートから、ステップＳ６０、Ｓ８０、Ｓ９０Ｂを省略して、所定条件にかかわらず、ステップＳ７０にて求めた第２移動速度を撮像対象物の移動速度としてもよい。

以上、本実施の形態にて説明した高速度撮像システム１は、１回の露光時間内に、第２所定時間の間隔で、異なる出力強度で複数回の照射光の照射を行う。これにより、１枚の画像内に、移動している撮像対象物を複数回撮像し、撮像装置のフレームレートの上限を超える速度で移動する撮像対象物を撮像できる。また、図６中の輝度中心位置Ｐ［ＸＨ（ｍ）、ＹＨ（ｍ）］と、図７中の輝度中心位置Ｐ［ＸＬ（ｍ）、ＹＬ（ｍ）］は、共通の画像Ｇ［ｍ］から求められた位置であるので、ステップＳ６０等のように異なる画像から求めた位置と比較して、その間の距離を、より正確に表している。従って、第２移動速度をより正確に求めることができる。また、異なる出力強度の照射光を用いることで、図６及び図７に示すように、各照射光を照射した場合における撮像対象物を適切に分離することができる。例えば、図５において撮像対象物Ｗ１（Ｈ）と撮像対象物Ｗ１（Ｌ）とが重なっていても、撮像対象物Ｗ１（Ｈ）と撮像対象物Ｗ１（Ｌ）とを適切に分離することができる。つまり、撮像対象物Ｗ１（Ｈ）と撮像対象物Ｗ１（Ｌ）とが重なっていても、撮像対象物Ｗ１（Ｈ）と撮像対象物Ｗ１（Ｌ）との距離を適切に求めることができるので、より正確に第２移動速度を算出することができる。

●［第２の実施の形態の高速度撮像システム２の全体構成（図８）］
第２の実施の形態の高速度撮像システム２は、図８に示すように、第１撮像装置１１（高速度撮像手段に相当）、第２撮像装置２０（高速度撮像手段に相当）、光源３０、画像処理装置４１（画像処理手段に相当）、ハーフミラー５０等にて構成されている。第１撮像装置１１の光軸ＪＺは、ハーフミラー５０を透過した先に、高速移動する撮像対象物Ｗ１が位置する方向に向けられている。第２撮像装置２０の光軸ＪＸは、ハーフミラー５０の傾斜面５０Ｍにて反射した先に、高速移動する撮像対象物Ｗ１が位置する方向に向けられている。第１撮像装置１１の撮像エリアと、第２撮像装置２０の撮像エリアは、ともに図８中の撮像エリアＡ１である。以下、第１の実施の形態との相違点について主に説明する。

第１撮像装置１１と第２撮像装置２０は、ともに第１の実施の形態の撮像装置１０と同じハイスピードカメラであり、それぞれの光軸の方向は、上記の方向に向けられている。その他の点については第１の実施の形態の撮像装置１０と同じであるので説明を省略する。また光源３０は、第１の実施の形態にて説明した光源３０と同じであるので、説明を省略する。

画像処理装置４１は、第１の実施の形態の画像処理装置４０が出力する各制御信号（図２）に対して、図９に示す各制御信号を出力する点と、撮像した画像の処理が異なる。画像処理装置４１は、第１撮像装置１１と第２撮像装置２０のそれぞれに、それぞれ異なる露光タイミング信号を出力し、光源３０に照射タイミング信号及び照射出力強度信号を出力して、第１撮像装置１１及び第２撮像装置２０による各画像の撮像と、光源３０からの各照射光の照射とを同期させている。また画像処理装置４１は、第１撮像装置１１及び第２撮像装置２０から出力された画像を取り込み、後述する処理手順に基づいた処理を実行する。

●［第１撮像装置１１と第２撮像装置２０のフレームレート及び露光タイミングと、光源３０の照射タイミング及び照射出力強度と、の関係（図９）］
図９に示す露光タイミングにおける「露光１」は画像処理装置４１から第１撮像装置１１へ出力される露光タイミング信号を示しており、「露光２」は画像処理装置４１から第２撮像装置２０へ出力される露光タイミング信号を示している。「露光１」については、図２に示す第１の実施の形態と同じである。

「露光２」の周期は、「露光１」の周期と同じで、第１所定時間Ｔ１の間隔である。また「露光２」の露光時間Ｓ２も、「露光１」の露光時間Ｓ１と同じである。なお、「露光２」の露光時間Ｓ２は、「露光１」における非露光時間Ｓ１ｘを覆う位置とされている。同様に、「露光１」の露光時間Ｓ１は、「露光２」における非露光時間Ｓ２ｘを覆う位置とされている。図９に示すように、「露光１」と「露光２」は、重畳時間Ｌ１２及び重畳時間Ｌ２１にて露光時間が重なっている。従って、図８に示す撮像エリアＡ１は、いずれのタイミング（いずれの時刻）であっても、第１撮像装置１１と第２撮像装置２０の少なくとも一方に撮像されている。「露光１」と「露光２」は、図９に示すように、露光時間Ｓ１−重畳時間Ｌ２１だけ、ずれている。

図９に示す照射タイミングにおける「照射」は画像処理装置４１から光源３０へ出力される照射タイミング信号を示している。図９に示す「照射」は、「露光１」の露光時間Ｓ１内、かつ「露光２」の非露光時間Ｓ２ｘ内で、異なる出力強度で複数回（この例では２回）の照射が行われる。また、「露光１」の非露光時間Ｓ１ｘ内、かつ「露光２」の露光時間Ｓ２内でも、異なる出力強度で複数回（この例では２回）の照射が行なわれる。なお図９に示す「照射」の例では、高出力強度で照射する照射光Ｈと、低出力強度で照射する照射光Ｌと、が交互に出力されており、全て第２所定時間Ｔ２の間隔で出力されている。この「照射」のタイミングに合わせて、照射出力強度が変更されている（照射光Ｈを出力中は「強ＢＨ」、照射光Ｌを出力中は「弱ＢＬ」、となるように変更されている）。

●［画像処理装置４１の処理（図１０〜図１２）］
画像処理装置４１の処理手順は、図３に示す第１の実施の形態の処理手順に対して、以下のステップの処理が異なる。

ステップＳ４０にて画像処理装置４１は、図９に示す露光タイミング信号である「露光１」を第１撮像装置１１に出力し、「露光２」を第２撮像装置２０に出力し、図９に示す照射出力強度信号及び照射タイミング信号を光源３０に出力する。また画像処理装置４１は、これらの露光タイミング信号である「露光１」、「露光２」、照射出力強度信号、照射タイミング信号を、図９に示すように同期させて出力する。

ステップＳ５０にて、第１撮像装置１１は、撮像した複数の画像（画像Ｇ１［１］〜画像Ｇ１［ｎ］）を、画像処理装置４１に向けて出力し、第２撮像装置２０は、撮像した複数の画像（画像Ｇ２［１］〜画像Ｇ２［ｎ］）を、画像処理装置４１に向けて出力する。画像処理装置４１は、第１撮像装置１１から複数の画像（画像Ｇ１［１］〜画像Ｇ１［ｎ］）を取り込み、第２撮像装置２０から複数の画像（画像Ｇ２［１］〜画像Ｇ２［ｎ］）を取り込む。

ステップＳ６０にて、画像処理装置４１は、所定の画像に相互相関関数を適用して撮像対象物の移動速度である第１移動速度を算出する。第１の実施の形態では、撮像装置１０が１台であったので、所定の画像は、当該１台の撮像装置からのｍ番目の画像Ｇ［ｍ］と、ｍ＋１番目の画像Ｇ［ｍ＋１］であった。しかし、第２の実施の形態では、第１撮像装置１１と第２撮像装置２０との２台があるので、所定の画像を、種々の画像とすることができる。図１０は、第１撮像装置１１からのｍ番目の画像Ｇ１［ｍ］と、ｍ＋１番目の画像Ｇ１［ｍ＋１］の画像の例を示している。また図１１は、第２撮像装置２０からのｍ番目の画像Ｇ２［ｍ］と、ｍ＋１番目の画像Ｇ２［ｍ＋１］の画像の例を示している。これらの中から任意の２つの画像を選定し、相互相関関数を適用して撮像対象物の移動速度である第１移動速度を算出する。なお相互相関関数を適用した移動速度の算出方法は、第１の実施の形態と同じであるので説明を省略する。なお、選択した画像に基づいて、速度算出に用いる時間を変更する。

ステップＳ７０にて、画像処理装置４１は、図１２に示すように、第１撮像装置１１からのｍ番目の画像Ｇ１［ｍ］と、第２撮像装置２０からのｍ番目の画像Ｇ２［ｍ］と、のそれぞれの中から、高出力強度の照射光Ｈによる高輝度範囲となる第１輝度範囲の輝度を有する撮像対象物Ｗ１（Ｈ）と、低出力強度の照射光Ｌによる低輝度範囲となる第２輝度範囲の輝度を有する撮像対象物Ｗ１（Ｌ）と、を抽出する。そして、抽出した第１輝度範囲の撮像対象物Ｗ１（Ｈ）と、抽出した第２輝度範囲の撮像対象物Ｗ１（Ｌ）と、第２所定時間［Ｔ２］と、に基づいて、撮像対象物の移動速度である第２移動速度を算出する。なお算出方法は第１の実施の形態と同様である。そして、画像Ｇ１［ｍ］から算出した第２移動速度と、画像Ｇ２［ｍ］から算出した第２移動速度と、の一方を選択して移動速度としてもよいし、両者の平均を移動速度としてもよい。

第２の実施の形態では、撮像装置を２台にして、撮像エリアＡ１が、いずれのタイミング（いずれの時刻）であっても、第１撮像装置１１と第２撮像装置２０の少なくとも一方に撮像されているように構成している。従って、撮像対象物の移動速度を、より連続的に求めることができるので、撮像対象物の移動速度に変化があった場合、より滑らかに速度の変化を求めることができる。

本発明の高速度撮像システム１、２の構成、構造、形状等、及び制御手段の処理手順等は、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。例えば画像処理装置の処理手順は、図３に示すフローチャートに限定されるものではない。

本実施の形態の説明では、１回の露光時間内に、強、弱の２回の照射光を第２所定時間の間隔で照射する例を説明したが、１回の露光時間内に、３回以上、異なる出力強度の照射光を第２所定時間の間隔で照射するようにしてもよい。

第２の実施の形態では、第２撮像装置とハーフミラーを追加して、２台の撮像装置とした例を示したが、更に第３撮像装置とハーフミラーを追加して、３台の撮像装置で高速度撮像システムを構成するようにしてもよい。すなわち、２台以上の複数台の撮像装置を有する高速度撮像システムとしてもよい。

本実施の形態の説明では、１つの光源を用いたが、異なる出力強度のそれぞれの光源を用意して、各出力強度の照射光を照射させるように構成してもよい。

また、本実施の形態の説明に用いた数値は一例であり、この数値に限定されるものではない。また、以上（≧）、以下（≦）、より大きい（＞）、未満（＜）等は、等号を含んでも含まなくてもよい。

本実施の形態にて説明した高速度撮像システムは、例えば高速回転している工作機械のスピンドルの軸受の鋼球の移動速度や、潤滑油や冷却水中の泡の移動速度（すなわち、流速）の計測等にも適用することができる。

１、２高速度撮像システム
１０撮像装置（高速度撮像撮像手段）
１１第１撮像装置（高速度撮像撮像手段）
２０第２撮像装置（高速度撮像撮像手段）
３０光源
４０、４１画像処理装置（画像処理手段）
Ａ１撮像エリア
Ｔ１第１所定時間
Ｔ２第２所定時間
Ｓ１、Ｓ２露光時間
Ｓ１ｘ、Ｓ２ｘ非露光時間
Ｗ１撮像対象物
ＪＺ、ＪＸ（撮像装置の）光軸

Claims

運動している撮像対象物に向けられた高速度撮像手段と、
前記撮像対象物に照射光を照射する光源と、
前記高速度撮像手段が撮像した画像を処理する画像処理手段と、を有する高速度撮像システムであって、
前記高速度撮像手段は、第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を前記画像処理手段に出力し、
前記光源は、パルス光源であり、前記高速度撮像手段が各画像を撮像している露光時間内において、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射し、
前記画像処理手段は、前記高速度撮像手段から前記画像を取り込み、前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出し、それぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度を求める、
高速度撮像システム。
運動している撮像対象物に向けられた高速度撮像手段と、
前記撮像対象物に照射光を照射する光源と、
前記高速度撮像手段が撮像した画像を処理する画像処理手段と、を有する高速度撮像システムであって、
前記高速度撮像手段は、第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を前記画像処理手段に出力し、
前記光源は、パルス光源であり、前記高速度撮像手段が各画像を撮像している露光時間内において、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射し、
前記画像処理手段は、
前記高速度撮像手段から前記画像を取り込み、
複数の前記画像の中の１つの画像と、当該画像の１つ後の画像と、に相互相関関数を適用して、前記撮像対象物の移動距離を求め、求めた移動距離と、前記第１所定時間と、に基づいて前記撮像対象物の移動速度である第１移動速度を求め、
前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出し、それぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度である第２移動速度を求め、
所定条件を満足する場合は、前記第２移動速度を前記撮像対象物の移動速度と判定し、前記所定条件を満足しない場合は、前記第１移動速度を前記撮像対象物の移動速度と判定する、
高速度撮像システム。
請求項２に記載の高速度撮像システムであって、
前記所定条件を満足する場合とは、
求めた前記第２移動速度が第１所定速度未満である場合、
求めた第２移動速度が前記第１所定速度よりも高い第２所定速度以上である場合、
前記画像中に前記撮像対象物に加えて前記撮像対象物に近似する物体である撮像対象近似物体が撮像されていて前記相互相関関数にて前記撮像対象物と前記撮像対象近似物体とが区別できない場合、
の少なくとも１つが成立している場合である、
高速度撮像システム。
運動する撮像対象物に向けられて第１所定時間の間隔にて次々と画像を撮像し、撮像した前記画像を画像処理手段に出力する高速度撮像手段と、
前記撮像対象物に向けられた光源と、
前記高速度撮像手段が撮像した画像を取り込んで前記撮像対象物の移動速度を求める画像処理手段と、を用いた高速度撮像方法であって、
前記高速度撮像手段にて画像の撮像を開始する撮像開始ステップと、
前記高速度撮像手段にて前記画像を撮像するとともに、各画像を撮像している露光時間内において、前記光源から、異なる出力強度で複数の照射光を、前記露光時間よりも短い第２所定時間の間隔で照射する撮像ステップと、
前記高速度撮像手段が撮像した画像を前記高速度撮像手段から前記画像処理手段へと出力して、前記画像処理手段にて前記画像を取り込む画像転送ステップと、
前記画像処理手段にて、取り込んだ前記画像に撮像されている前記撮像対象物であって前記光源の異なる出力強度の照射光に応じた異なる輝度の複数の前記撮像対象物を前記画像の中から抽出する撮像対象物抽出ステップと、
前記画像処理手段にて、抽出したそれぞれの輝度の前記撮像対象物の位置から求めた移動距離と、前記第２所定時間と、に基づいて前記撮像対象物の移動速度を求める移動速度算出ステップと、を有する、
高速度撮像方法。