JP2022532014A - 振動のイメージングおよび感知のためのシステムおよび方法 - Google Patents

Abstract

本開示は、一般に、対象物の振動のイメージングおよび感知のためのシステムおよび方法に関する。一実装形態では、振動を検出するためのシステムが提供され、このシステムは、複数のピクセルを有するセンサを備え、各ピクセルは、少なくとも１つの感光性素子を含む。センサは、各ピクセル上の照明に関連する信号を出力するように構成されている。システムは、センサから出力信号を受信し、出力信号に基づいて１つ以上の極性を検出するように構成された少なくとも１つのプロセッサも含む。少なくとも１つのプロセッサはまた、出力信号に関連付けられたタイムスタンプを決定することと、センサの視野内の対象物の振動を検出するために、タイムスタンプおよび極性を分析することと、検出された振動の１つ以上の周波数を決定することとを行うように構成される。【選択図】図３

Description

本開示は、一般に、対象物の特性のイメージングおよび感知の分野に関する。より詳細には、限定はしないが、本開示は、対象物の振動を検出し、分析するためのコンピュータ実装イメージングシステムおよび方法に関する。本開示は、加えて、振動検出および分析のためのピクセルベースのセンサの実装および使用に関する。本明細書で開示されるセンサおよび技法は、回転タービンまたはシャフトのような可動機械要素の分析、エンジンまたは車両の健全性を監視するためのシステム、ならびに正確で効率的な振動分析から恩恵を受ける他の用途およびシステムなど、様々な用途およびシステムで使用されてもよい。

加速度計など現存の振動センサは、振動が測定されているデバイスまたは要素に直接接触する。そのようなセンサは、これらの装置の機械的性質を変え、したがって、精度に欠ける。また、振動片または要素が高温、近接不能、または小さすぎる場合に測定を行うことができず、接触センサを適用することが不可能であるなど、他の欠点もある。

いくつかの用途では、非接触振動検出器を提供するために、非コヒーレント光（発光ダイオード（ＬＥＤ）など）および光検出器を有する光ファイバが使用されることがある。しかしながら、そのような実装形態は、空間にわたる振動を解決する能力を有していない。さらに、精度は、一般に、非コヒーレント光の変化する照明に対する光検出器の感度に制限される。

十分な精度がなければ、振動パターン（例えば、周波数、振幅など）のゆっくりとした変化が検出されない可能性があるので、機械要素および機械のゆっくりとした減衰を検出することは困難である。さらに、空間分解能がなければ、機械の異なる部分が異なる振動パターンを示す場合、複数の部分で構成される機械を正確に監視することができない。

したがって、高い精度（例えば、高い時間分解能に基づく）および改善された空間分解能を有する振動感知ソリューションが望まれている。

本開示の実施形態は、上述の欠点に対処する、コンピュータ実装システム、方法、および非一時的コンピュータ記憶媒体を提供する。本開示の実施形態は、高い時間分解能を有する振動検出および分析のための実施形態を含む。加えて、本開示の実施形態は、空間にわたって周波数および振幅を区別する能力を有する、振動検出および分析のためのシステムおよび方法を提供する。本開示のこれらおよび他の特徴、態様、および実施形態について、図３～図９を参照して本明細書で詳細に説明する。

いくつかの実施形態では、生成されたデータは、シーン内の振動の２次元画像が、例えば振動マップとして生成されることを可能にする、複数の周波数および振幅を含み得る。そのようなマップの例が図９に示されており、以下でさらに説明する。加えて、本開示の実施形態は、工場機械、車両などの機械要素および対象物を監視するために使用されてもよく、その結果、構成要素の減衰は、現存の技法よりも高い精度で振動パターンの変化を識別することによって早期に検出され得る。

本開示の実施形態は、振動を受ける対象物の自然光または人工照明を使用してもよく、および／または（均一であるか構造化されているかにかかわらず）電磁パルスを投射して、センサにおいて対象物の反射を生成してもよい。いくつかの実施形態では、センサは、複数のピクセルを含み、反射を受け取るピクセルの位置によって受け取った反射をインデックス付けしてもよい。したがって、本開示の実施形態は、ピクセルの空間座標に基づいて、振動および振幅を計算し、シーンの２次元投射にマッピングしてもよい。

周波数をより高い精度で処理するために、本開示の実施形態は、スプリアスイベントを廃棄するためにイベントカウンタを適用してもよい。これにより、周波数算出の精度を向上させるために、ノイズを排除しながら振動が検出され得る。したがって、本開示の実施形態は、上記で説明したように、現存する技法の欠点のいくつかを解決し得る。

いくつかの実施形態では、イベントベースのセンサを使用することによって、時間分解能をさらに向上させることができる。そのようなセンサは、しきい値を超える特定のピクセルでの照明の変化に基づいて、シーン内のイベントを捕捉することができる。センサは、非同期的に動作することができ、生成されるデータの量を低減しながら、シーンの反射からイベントを検出することができる。したがって、時間分解能が向上し得る。

上記で説明したように、イベントベースのセンサの使用によるデータの減少は、各ピクセルにおける光サンプリングのレートを、例えば、毎秒３０回または毎秒６０回（すなわち、典型的なＣＭＯＳ画像センサのフレームレート）から毎秒１，０００回、毎秒１０，０００回、およびそれ以上などより高いレートに増加させることを可能にし得る。光サンプリングのより高いレートは、現存の技法と比較して、周波数計算の精度を向上させる。

本開示の実施形態はまた、現存のアプローチとは異なり、周波数の空間分解能を提供し得る。例えば、イベントは、画像センサ全体にわたる照明または他の特性の一般的な変化に依存するのではなく、個々のピクセルで検出することができる（および、したがって、周波数は、個々のピクセルについても計算され得る）。さらに、イベントベースのセンサの使用は、この空間分解能をさらに向上させる。

本開示の実施形態は、画像内の振幅および周波数を検出し得る。例えば、本開示の実施形態は、振幅を決定するために、検出されたイベントの数によって計算された周波数を正規化してもよい。したがって、計算された振幅の精度は、周波数の精度が高まるにつれて向上し得る。さらに、イベントは個々のピクセルで検出されるので、振幅は、一般に、センサ全体にわたってではなく、空間にわたって決定されてもよい。加えて、イベントベースのセンサが使用される場合、振幅は、より高い精度で検出され得る。

本開示の一態様によれば、センサを備える振動を検出するためのシステムが提供される。センサは、複数のピクセルを含んでいてもよく、各ピクセルは、少なくとも１つの感光性素子を含む。センサは、各ピクセル上の照明に関連する信号を出力するように構成されてもよい。システムは、少なくとも１つのプロセッサをさらに備えていてもよく、少なくとも１つのプロセッサは、センサから出力信号を受信することと、出力信号に基づいて、照明の１つ以上の変化を決定することであって、１つ以上の変化は、極性情報を含み、極性情報は、照明の変化が照明の増加に関連付けられているか、照明の減少に関連付けられているかを示す、決定することと、１つ以上の変更に関連付けられたタイムスタンプを決定することと、センサの視野内の対象物の振動を検出するために、タイムスタンプおよび極性情報を分析することと、検出された振動の１つ以上の周波数を決定することと、を行うように構成される。

そのような実施形態では、少なくとも１つのプロセッサは、照明の変化が照明の増加を示すときに正の極性を決定し、照明の変化が照明の減少を示すときに負の極性を決定するように構成されてもよい。

これらの実施形態のいずれにおいても、照明の変化は、センサの複数のピクセルのうちの１組のピクセルに関連付けられてもよい。例えば、１つ以上の周波数は、照明の変化に基づいて、１組のピクセルに関連付けられてもよい。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、センサに関連付けられた読み出しシステムから複数のタイムスタンプを抽出することによって、タイムスタンプを決定するように構成され得る。例えば、読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて１つ以上のタイムスタンプを符号化し得る。加えて、または代替として、読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化し得る。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、複数のタイムスタンプを使用して１つ以上の極性の変化の間の時間間隔を計算することによってタイムスタンプを分析し、計算された時間間隔に基づいて１つ以上の周波数を決定するように構成され得る。そのような実施形態では、少なくとも１つのプロセッサは、平均値または中央値、および計算された時間間隔に関連付けられた偏差を計算することと、平均値が計算されるとき、平均値の逆数に基づいて１つ以上の周波数を決定すること、または中央値が計算されるとき、中央値に基づいて１つ以上の周波数を決定することと、偏差が検証しきい値を下回るとき、１つ以上の周波数を検証することとを行うようにさらに構成され得る。例えば、検証しきい値は、平均値または中央値の約１％～１０％であってもよい。検証しきい値は、場合によっては、平均値または中央値の１％以上、１０％以下であってもよい。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、振動の１つ以上の振幅を決定するために、複数のピクセルのうちの１つ以上に関連付けられた出力信号を分析するように構成されてもよい。例えば、少なくとも１つのプロセッサは、複数のピクセルからの出力信号に空間フィルタを適用し、適用された空間フィルタに基づいて、１つ以上の振幅を決定するように構成され得る。加えて、または代替として、少なくとも１つのプロセッサは、振動を受ける対象物の形状を決定し、１つ以上の振幅を決定するために、出力信号に対して２次元形状追跡を実行するように構成され得る。例えば、少なくとも１つのプロセッサは、反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行するように構成され得る。

加えて、または代替として、少なくとも１つのプロセッサは、単位時間内の複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、１つ以上の振幅を決定するために、少なくとも１つのピクセルに関連付けられた１つ以上の周波数の決定された周波数によって変化の数を正規化するように構成され得る。例えば、単位時間は、約１ｍｓ以下であってもよい。時間単位は、１ｍｓ以下であってもよい。

これらの実施形態のいずれにおいても、システムは、センサの視野内の対象物に光を投射する外部光源をさらに備え得る。例えば、外部光源は、均一な光または構造化された光を投射し得る。外部光源は、一定の照明を有する光を投射し得る。外部光源は、構造化された照明パターンを含む光を投射し得る。そのような実施形態では、外部光源は、対象物の少なくとも１つの表面に対して斜めの角度で光を投射し得る。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、スプリアス変化を除去するために、１つ以上の照明の変化をフィルタリングするように構成されてもよい。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、時間しきい値以上の差を有するタイムスタンプを排除するように構成され得る。例えば、タイムスタンプを排除するために使用される時間しきい値は、１ｍｓ以上であってもよい。

いくつかの実施形態では、振動を検出するためのシステムは、センサを備え得る。センサは、素子上の照度を検出するように構成された複数の感光性素子と、１つ以上の感光性素子上の検出された照度の変化がしきい値を超えると、信号を出力するように構成された複数の変化検出器と、少なくとも１つのプロセッサとを備え得る。少なくとも１つのプロセッサは、出力信号を受信することと、出力信号に基づいて極性を決定することであって、極性は、照明が増加しているか減少しているかを示す、決定することと、複数の変化検出器からの出力信号に関連付けられたタイムスタンプを決定することと、センサの視野内の対象物の振動を検出するために、タイムスタンプおよび極性を分析することと、検出された振動の１つ以上の周波数を決定することとを行うように構成され得る。

そのような実施形態では、正の極性は照明の増加に関連付けられ、負の極性は照明の減少に関連付けられている。

これらの実施形態のいずれにおいても、極性は、１組のピクセルに関連付けられ、各ピクセルは、複数の感光性素子のうちの少なくとも１つを含んでもよい。したがって、１つ以上の周波数は、極性に基づいて１組のピクセルに関連付けられ得る。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、センサに関連付けられた読み出しシステムから複数のタイムスタンプを抽出することによって、タイムスタンプを決定するように構成され得る。例えば、読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて１つ以上のタイムスタンプを符号化し得る。加えて、または代替として、読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化し得る。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、複数のタイムスタンプを使用して１つ以上の極性の変化の間の時間間隔を計算するためにタイムスタンプを分析し、計算された時間間隔に基づいて１つ以上の周波数を決定するように構成され得る。そのような実施形態では、少なくとも１つのプロセッサは、平均値または中央値、および計算された時間間隔に関連付けられた偏差を計算することと、平均値が計算されるとき、平均値の逆数に基づいて１つ以上の周波数を決定すること、または中央値が計算されるとき、中央値の逆数に基づいて１つ以上の周波数を決定することと、偏差が検証しきい値を下回るとき、１つ以上の周波数を検証することとを行うようにさらに構成され得る。例えば、検証しきい値は、平均値または中央値の約１％～１０％であってもよい。検証しきい値は、場合によっては、平均値または中央値の１％以上、１０％以下であってもよい。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、振動の１つ以上の振幅を決定するために、出力信号を分析するように構成されてもよい。例えば、少なくとも１つのプロセッサは、出力信号に空間フィルタを適用し、適用された空間フィルタに基づいて、１つ以上の振幅を決定するように構成され得る。加えて、または代替として、少なくとも１つのプロセッサは、振動を受ける対象物の形状を決定し、１つ以上の振幅を決定するために、出力信号に対して２次元形状追跡を実行するように構成され得る。例えば、少なくとも１つのプロセッサは、反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行するように構成され得る。

加えて、または代替として、少なくとも１つのプロセッサは、単位時間内の複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、１つ以上の振幅を決定するために、少なくとも１つのピクセルに関連付けられた１つ以上の周波数の決定された周波数によって変化の数を正規化するように構成される。例えば、単位時間は、約１ｍｓ以下であってもよい。時間単位は、１ｍｓ以下であってもよい。

これらの実施形態のいずれにおいても、システムは、センサの視野内の対象物に光を投射するように構成された外部光源をさらに備え得る。例えば、外部光源は、均一な光または構造化された光を投射し得る。均一な光は、一定の照明を有する光に関連し得る。構造化された光は、構造化された照明パターンを含む光に関連し得る。そのような実施形態では、外部光源は、対象物の少なくとも１つの表面に対して斜めの角度で光を投射し得る。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、スプリアス信号を除去するために１つ以上の出力信号をフィルタリングするように構成されてもよい。

これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、時間しきい値以上の時間差に関連付けられたタイムスタンプを排除するように構成され得る。例えば、時間しきい値は、約１ｍｓ以上であってもよい。時間しきい値は、１ｍｓ以上であってもよい。

本開示の一態様によれば、振動を検出するための方法が提供される。方法は、複数のピクセルを含むセンサから、ピクセルの１つ以上の照明に関連付けられた出力信号を受信することであって、ピクセルの各々は、少なくとも１つの感光性素子を含む、受信することと、出力信号に基づいて、１つ以上のピクセル上の照明が増加しているか減少しているかを示す極性を決定することと、出力信号に関連付けられたタイムスタンプを決定することと、センサの視野内の対象物の振動を検出するために、タイムスタンプおよび極性を分析することと、検出された振動の１つ以上の周波数を決定することとを含み得る。

そのような実施形態では、方法は、１つ以上のピクセル上の照明が増加しているとき、正の極性を決定することと、１つ以上のピクセル上の照明が減少しているとき、負の極性を決定することとをさらに含み得る。

これらの実施形態のいずれにおいても、出力信号は、複数のピクセルのうちの１組のピクセルに関連付けられてもよい。したがって、１つ以上の周波数は、出力信号に基づいて１組のピクセルに関連付けられ得る。

これらの実施形態のいずれにおいても、方法は、センサに関連付けられた読み出しシステムから複数のタイムスタンプを抽出することによって、タイムスタンプを決定することをさらに含み得る。そのような実施形態では、読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて１つ以上のタイムスタンプを符号化し得る。加えて、または代替として、読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化し得る。

これらの実施形態のいずれにおいても、方法は、複数のタイムスタンプを使用して１つ以上の極性の変化の間の時間間隔を計算することによってタイムスタンプを分析し、計算された時間間隔に基づいて１つ以上の周波数を決定することをさらに含み得る。そのような実施形態では、方法は、平均値または中央値、および計算された時間間隔に関連付けられた偏差を計算することと、平均値が計算されるとき、平均値の逆数に基づいて１つ以上の周波数を決定すること、または中央値が計算されるとき、中央値の逆数に基づいて１つ以上の周波数を決定することと、偏差が検証しきい値を下回るとき、１つ以上の周波数を検証することとをさらに含み得る。例えば、検証しきい値は、平均値または中央値の約１％～１０％であってもよい。検証しきい値は、場合によっては、平均値または中央値の１％以上、１０％以下であってもよい。

これらの実施形態のいずれにおいても、方法は、振動の１つ以上の振幅を決定するために、出力信号を分析することをさらに含み得る。そのような実施形態では、方法は、出力信号に空間フィルタを適用し、適用された空間フィルタに基づいて、１つ以上の振幅を決定することをさらに含み得る。加えて、または代替として、この方法は、振動を受ける対象物の形状を決定し、１つ以上の振幅を決定するために、出力信号に対して２次元形状追跡を実行することをさらに含み得る。例えば、この方法は、反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行することをさらに含み得る。

これらの実施形態のいずれにおいても、方法は、単位時間内の複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、１つ以上の振幅を決定するために、少なくとも１つのピクセルに関連付けられた１つ以上の周波数の決定された周波数によって変化の数を正規化することをさらに含み得る。例えば、単位時間は、約１ｍｓ以下である。時間単位は、１ｍｓ以下であってもよい。

これらの実施形態のいずれにおいても、この方法は、センサの視野内の対象物に光を投射することをさらに含み得る。例えば、均一な光または構造化された光を投射することである。均一な光は、一定の照明を有する光に関連し、構造化された光は、構造化された照明パターンを有する光に関連し得る。そのような実施形態では、方法は、対象物の少なくとも１つの表面に対して斜めの角度で光を投射することをさらに含み得る。

加えて、または代替として、この方法は、時間しきい値以上の時間差に関連付けられたタイムスタンプを排除することをさらに含み得る。例えば、時間しきい値は、約１ｍｓ以上であってもよい。時間しきい値は、１ｍｓ以上であってもよい。

本開示のさらなる態様によれば、少なくとも１つのプロセッサによって実行されると、前述の方法を実行するように少なくとも１つのプロセッサを構成する命令を含む、非一時的コンピュータ可読媒体が提供される。

本開示のさらなる目的および利点は、以下の詳細な説明に部分的に記載され、部分的には、説明から明瞭に導き出せる、または本開示の実施によって学習され得る。本開示の目的および利点の少なくともいくつかは、添付の特許請求の範囲において特に指摘される要素および組み合わせによって実現され、達成される。

前述の一般的な説明および以下の詳細な説明は、例示的で説明的なものに過ぎず、開示された実施形態を限定するものではないことを理解されたい。

本明細書の一部を構成する添付の図面は、様々な実施形態を示し、説明とともに、開示された実施形態の原理および特徴を説明する役割を果たす。

当技術分野で知られている例示的な加速度計ベースの振動センサの概略表現である。 当技術分野で知られている例示的な光ファイバ振動センサの概略表現である。 本開示の実施形態による、ピクセルベースのセンサを振動検出器として使用するシステムの概略表現である。 本開示の実施形態による、例示的なセンサピクセルの概略表現である。 本開示の実施形態による、例示的な非同期センサピクセルの概略表現である。 本開示の実施形態による、例示的なセンサピクセルの概略表現である。 本開示の実施形態による、イベントベースのセンサを使用することによって時間分解能を向上させるグラフ表現である。 本開示の実施形態による、周波数を極性情報に関連付けるグラフ表現である。 本開示の実施形態による、振動周波数を検出するための例示的な方法のフローチャートである。 本開示の実施形態による、センサからのイベントをクラスタに接続するための例示的な方法のフローチャートである。 本開示の実施形態による、センサからのイベントをクラスタに接続するための例示的な方法のフローチャートである。 本開示の実施形態によって生成される周波数および振幅の例示的な２次元画像のグラフ図である。

本開示の実施形態は、振動を検出し、分析するためのシステムおよび方法に関する。いくつかの実施形態では、イベントベースおよび／または非同期のセンサが、振動検出およびイメージングのために使用されてもよい。有利なことに、例示的な実施形態は、高速で正確な振動感知およびイメージングを提供することができる。本開示の実施形態は、回転タービンまたはシャフトのような可動機械要素の分析、エンジンまたは車両の健全性を監視するためのシステム、ならびに正確で効率的な振動分析から恩恵を受ける他のシステムなど、様々な用途およびシステムで実施され、使用されてもよい。

本開示の実施形態は、感光性素子を有するピクセルベースのセンサを一般的に参照して説明されるが、開示された実施形態は、デジタルカメラ、ＬＩＤＡＲ、または他のイメージングシステムで実装され得ることを理解されよう。さらに、いくつかの実施形態は、プロジェクタ（レーザプロジェクタなど）と組み合わせて説明されるが、本開示の実施形態は、プロジェクタと組み合わせて、またはプロジェクタの代わりに、周囲照明を用いて実装されてもよいことを理解されよう。また、いくつかの実施形態は、本明細書で説明されるセンサおよび／またはプロセッサとは別個のそのような構成要素を使用してもよい。

本開示の実施形態は、画像センサの１つ以上のピクセルにおける振動周波数を決定するためにイベントを検出し得る。例えば、イベントは、極性変化を含み得る。加えて、いくつかの実施形態は、１つ以上のピクセルにおける振動の振幅をさらに決定し得る。本明細書で使用される「極性」は、検出された照度の変化が、照明の増加または照明の減少のいずれかに関連付けられているかどうかを示し得る。

本明細書で使用される「周波数」は、振動シグネチャを定義する任意の時間特性を指し得る。例えば、周波数は、波長の逆数（例えば、ピーク間の距離またはトラフ間の距離）などを含み得る。さらに、振動シグネチャが単一の波長を示さない場合、周波数は平均であってもよく、またはフーリエ空間（「ｋ空間」とも呼ばれる）内の複数の成分を含んでもよい。したがって、「周波数」は、単数である必要はなく、代わりに、複数の測定値の組み合わせ測定値または複数の測定値自体を含んでいてもよい。

図１は、加速器ベースの検出器１００を示す。図１の例では、振動装置１０１は、工場機械、自動車の一部、または振動を示す任意の他の機械的構成要素またはデバイスを構成し得る。これらの振動を監視するために、図１に示すように、加速度計１０３を装置１０１の表面に取り付けてもよい。

したがって、加速度計１０３は、装置１０１に取り付けられ、それに応じて装置１０１の任意の振動シグネチャを修正する。任意のそのような修正を補正するには、費用のかかる後処理が必要となる場合がある。振動シグネチャのさらなる混乱を回避するために、加速度計１０３からのデータを使用するためのプロセッサ１０７は、加速度計１０３と統合されるのではなく、別々に実装されてもよい。

結果を通信するために、加速度計１０３は、振動シグネチャを決定するために、プロセッサ１０７（または加速度計１０３からのデータを使用する任意の他のデバイス）に接続された少なくとも１つのワイヤ１０５を有する。しかしながら、ワイヤ１０５は、（図１に示されるように）装置１０１に接触し、装置１０１の振動シグネチャまたは特性を修正し得る。代替として、加速度計１０３は、ワイヤレス通信１０９（例えば、無線周波数（ＲＦ）信号など）を使用して、結果をプロセッサ１０７に通信してもよい。しかしながら、ワイヤレス通信の使用は、加速度計１０３からのデータ密度の低減、送信前の結果を記憶するための加速度計１０３に取り付けられたメモリ（さらに装置１０１の振動シグネチャを修正）、および／または送信を可能にするための装置１０１の非連続監視を必要とする可能性がある。

振動を受ける対象物との接触に依存する１００のようなシステムに対する１つの改良が図２に示されている。図２には、光ファイバ振動検出器２００の概略表現が提供される。図２の例では、振動装置２０１は、工場機械、自動車の一部、または振動を示す任意の他の構成要素またはデバイスを構成し得る。これらの振動を監視するために、非コヒーレント光源（例えば、発光ダイオード（ＬＥＤ）２０３）は、装置２０１の表面で電磁放射線を伝達（例えば、伝達２０９ａ）し得る。図２には示されていないが、加えて、または代替として、２０９ａでコヒーレント光源（例えば、レーザ光源など）が電磁放射を伝達し得る。光検出器２０５（例えば、１つ以上のフォトダイオード、電荷結合検出器（ＣＣＤ）など）は、伝達された放射線の反射（例えば、反射２０９ｂ）を検出し得る。図２にさらに示されるように、１つ以上の光ファイバケーブル（例えば、ケーブル２０７ａおよび２０７ｂ）は、装置２００の表面への、および／または装置２００の表面からの伝達および／または反射を案内し得る。

光検出器２０５は、経時的な反射（例えば、反射２０９）の強度の変化に基づいて振動を検出し得る。しかしながら、この計算の精度は、低いままであり得る。さらに、伝達が反射される装置２０１の全表面に対して、単一の周波数が決定される。したがって、任意の種類の複雑さ（例えば、単一の機械上の２つ以上の周波数）を有する振動を、システム２００を使用して適切に監視することができない。加えて、装置２０１の表面の振幅を監視するために複数のフォトダイオードが必要とされ、システム２００を使用して単一の機械上の２つ以上の振幅を依然として適切に監視することができない。

したがって、図１および図２に示されるような振動監視技法は、精度が低いという欠点がある。さらに、これらの技法は、空間分解能の欠如および他の欠点を被る。例えば、装置１０１の振動シグネチャを混乱させる複数の加速度計を使用することなく、図１のシステム１００の空間分解能を向上させることができない。さらに、図２のシステム２００は、装置２０１の表面上の周波数および振幅を区別することができない（また、しばしば、振幅を測定することさえできない）。加えて、図１を参照すると、装置１０１の振動シグネチャの変化は、装置１０１自体ではなく、１つ以上の加速度計（例えば、加速度計１０３）に関する問題を示し得る。

本開示の実施形態は、検出された周波数および振幅のより高い精度および空間分解能を提供する。例示的な一実施形態が図３に示されており、以下でさらに説明する。

図３は、本開示の実施形態による、振動検出のためのシステム３００の概略表現である。図３に示されるように、プロジェクタ３０１は、電磁放射（例えば、照明３０３）を振動装置３０５の表面に向けて送信し得る。例として、振動装置３０５は、工場機械、自動車の一部、または振動を示す任意の他の構成要素またはデバイスを構成し得る。

プロジェクタ３０１は、１つ以上のレーザ生成器、紫外線ランプ、可視光ランプ、または表面に向かって電磁放射を投射するように構成された任意の他のデバイスを備え得る。いくつかの実施形態では、プロジェクタ３０１は、構造化された光を振動装置３０５の表面に向けて投射し得る。本文脈内では、構造化された光は、特定の照明パターンを含む光を指し得る。例えば、プロジェクタ３０１は、ドットプロジェクタまたは任意の他の構造光プロジェクタを備え得る。加えて、または代替として、プロジェクタ３０１は、振動装置３０５の表面に向けて均一な光を投射してもよい。本文脈内では、「均一な光」は、実質的に一定の光パワー出力を有する光源から放射される一定の強度を有する光を指し得、その結果、任意の静止した照明対象エリアについて、入射光の測定された強度は実質的に一定である。例えば、プロジェクタ３０１は、発光ダイオード（ＬＥＤ）または任意の他の均一な光プロジェクタを備え得る。

いくつかの実施形態では、図３に示されるように、プロジェクタ３０１は、振動装置３０５の表面の少なくとも一部に垂直に照明３０３を伝達し得る。加えて、または代替として、図３には示されていないが、プロジェクタ３０１は、振動装置３０５の表面の少なくとも一部に対してある角度で照明３０３を伝達し得る。

単一のプロジェクタ３０１で示されているが、いくつかの実施形態は、複数のプロジェクタを含んでいてもよい。例えば、複数のプロジェクタは、異なる角度で電磁放射を伝達し得る。そのような実施形態では、振動および振幅は、異なる深さならびに長さおよび幅に関連付けられ得る。さらに、いくつかの実施形態では、（図３に示されるように）センサ３０９の横方向の平面内の振動は、投射および反射の異なる角度を使用して検出されてもよい。

いくつかの実施形態では、プロジェクタ３０１は、複数の周波数を投射するように構成されてもよい。他の実施形態では、プロジェクタ３０１は、単一の周波数または周波数範囲を使用するように構成されてもよい。そのような実施形態は、システム３００内のノイズからパターンによって引き起こされる反射を区別するために使用されてもよい。この目的のために、センサ３０９は、ハードウェアベースのフィルタ、ソフトウェアベースのフィルタ、および／または光学フィルタを使用して、プロジェクタ３０１によって投射される周波数（または複数の周波数）と一致しない（またはそのしきい値周波数内の）入射光を低減または除去するように構成され得る。例えば、周波数は、５０Ｈｚ～数ｋＨｚ（例えば、１ｋＨｚ、２ｋＨｚ、３ｋＨｚなど）であってもよい。

図３の実施形態は、プロジェクタ３０１を使用するものとして示されており、他の実施形態は、プロジェクタ３０１からの照明３０３に加えて、またはその代わりに、周囲光を使用し得る。

図３に示されるように、投射された照明３０３（および／または周囲光）は、振動装置３０５の表面からの反射３０７を引き起こし得る。反射は、センサ３０９によって捕捉され得る。いくつかの実施形態では、センサ３０９は、イベントベースのセンサであってもよい。以下で説明するように、センサ３０９は、ピクセルのアレイ４００（図４Ａ参照）、ピクセルのアレイ４５０（図４Ｂ参照）、ピクセルのアレイ４７０（図４Ｃ参照）、または読み出しシステムに結合された任意の他のピクセルのアレイを含み得る。センサ３０９の各ピクセルは、少なくとも１つの感光性素子を含み得る。センサ３０９によって生成された信号は、以下でさらに説明するように、振動装置３０５の周波数を計算するために処理され得る。周波数は、センサ３０９のピクセルに関連付けられてもよく、プロジェクタ３０１の位置およびピクセルが既知である場合、システムは、振動装置３０５の表面の２次元投射における位置に周波数をマッピングしてもよい。本明細書で説明する他の技法を使用して、振動装置３０５の表面の２次元投射における位置に関連付けられた周波数マップおよび／または振幅の深さを計算してもよい。深さとは、センサ３０９からの装置３０５の距離を意味し、これは、三角測量または飛行時間測定によって計算され得る。

図４Ａは、本開示の実施形態による、センサピクセル４００の概略表現である。ピクセル４００は、センサのアレイ（例えば、正方形、円形、またはアレイ状ピクセルによって形成される任意の他の規則的または不規則な形状）内の複数のピクセルのうちの１つであってもよい。

本明細書で使用される「ピクセル」は、ピクセルに衝突する光に基づいてデータを出力するセンサの最小要素を指す。いくつかの実施形態では、ピクセルは、例えば、以下で説明する図４Ｂに示されるように、２つ以上の感光性素子、他の回路などを含み得るので、従来の「ピクセル」よりも大きいか、またはより多くの構成要素を含み得る。

本開示は、単一のピクセルで受信されるような投射パターンによって引き起こされる反射に言及するが、投射パターンは、複数のピクセルをカバーし、複数のピクセルによって受信されるために、十分な数の光子を含み得る。したがって、本明細書で説明する三角測量は、複数のピクセルの平均位置に基づいていてもよく、かつ／または複数のピクセル内の各ピクセルの位置を含む複数の三角測量を含んでいてもよい。

図４Ａに示されるように、センサピクセル４００は、感光性素子４０１を含む。感光性素子４０１は、素子４０１に衝突する光の明るさに基づいて電気信号（例えば、電圧、電流など）を生成し得る。本明細書で使用される感光性素子は、フォトダイオード（例えば、ｐ－ｎ接合またはＰＩＮ構造）、または光を電気信号に変換するように構成された任意の他の素子を含み得る。フォトダイオードは、フォトダイオードに衝突する光の強度に比例する電流（例えば、ｌ_ｐｈ）を生成し得る。

図４Ａにさらに示されるように、センサピクセル４００は、測定回路４０５も含む。測定回路４０５は、素子４０１からの電流を読み出しのためにアナログ信号に変換し得る。測定回路４０５は、外部制御信号（例えば、外部クロックサイクル）に応答して起動し得る。加えて、または代替として、測定回路４０５は、素子４０１からの信号をアナログ信号に変換してもよく、アナログ信号は、外部制御信号が受信されるまで、（例えば、ピクセル４００によってアクセスされるオンチップおよび／またはオフチップメモリ（図示せず）に）記憶される。測定回路４０５は、外部制御信号に応答して、記憶されたアナログ信号（図４Ａの「ピクセルデータ」）を読み出しシステムに送信し得る。

図４Ａには示されていないが、ピクセル４００を使用するセンサは、行列のアービタ、またはピクセルのアレイがクロックサイクルに従ってトリガされるような他のタイミング回路を含み得る。さらに、タイミング回路は、上述のように、衝突が回避されるように、読み出しシステムへのアナログ信号の転送を管理し得る。読み出しシステムは、ピクセルアレイからのアナログ信号を、処理に使用するためにデジタル信号に変換し得る。

図４Ｂは、本開示の実施形態による、センサピクセル４５０の概略表現である。ピクセル４５０は、センサのアレイ（例えば、正方形、円形、またはアレイ状ピクセルによって形成される任意の他の規則的または不規則な形状）内の複数のピクセルのうちの１つであってもよい。

図４Ｂに示されるように、ピクセル４５０は、少なくとも１つの感光性素子４５１を含み得る。感光性素子４５１は、素子４５１に衝突する光の明るさに基づいて電気信号を生成し得る。ピクセル４５０は、状態検出器４５５（ＣＤ）をさらに含んでいてもよい。図４Ｂの例に示されるように、検出器４５５は、感光性素子４５１（ＰＤ_ＣＤ）に電気的に接続され、感光性素子４５１に衝突する光の明るさに比例したアナログ信号が条件に一致するとき、トリガ信号（図４Ｂでは「トリガ」とラベル付けされている）を生成するように構成されている。例えば、条件は、アナログ信号がしきい値（例えば、電圧または電流レベル）を超えるかどうかを含み得る。そのような例では、しきい値は、固定しきい値または動的しきい値を含み得る。例えば、動的しきい値は、輝度（または輝度の対数）の変動に基づいて、例えば、最近の輝度レベルの比率として設定されてもよい。加えて、または代替として、ある静的または動的しきい値が正の変動に使用され、別の静的または動的しきい値が負の変動に使用され得る。アナログ信号は、電圧信号または電流信号を含み得る。

図４Ｂにさらに示されるように、ピクセル４５０は、素子４５３に衝突する光の明るさに基づいて電気信号を生成する感光性素子４５３も含み得る。ピクセル４５０は、露光測定回路４５７をさらに含み得る。図４Ｂに示されるように、露光測定回路４５７は、感光性素子４５３（ＰＤ_ＥＭ）に衝突する光の明るさの関数である測定値を生成するように構成されてもよい。露光測定回路４５７は、トリガ信号に応答して測定値を生成し得る。図４Ｂでは露光測定回路４５７を使用するものとして示されているが、いくつかの実施形態は、感光性素子４５３からの出力信号を（例えば、制御および読み出しシステム４５９を使用して）直接分析し、露光測定回路４５７を省略してもよい。

いくつかの実施形態では、露光測定回路は、アナログ－デジタル変換器を含んでいてもよい。そのような実施形態の例は、２０１８年６月２７日に出願された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ」という名称の米国仮特許出願第６２／６９０，９４８号、２０１８年１２月１７日に出願された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ」という名称の米国仮特許出願第６２／７８０，９１３号、および前述の２つの米国仮特許出願の優先権を主張し、２０２０年１月２日に公開された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ Ｐｉｘｅｌｓ」という名称の国際公開第ＷＯ ２０２０／００２５６２ Ａ１に開示されている。これらの出願の開示は、参照により本明細書に明確に組み込まれる。そのような実施形態では、測定が完了し、および／または外部読み出しシステムに送信されると、露光測定回路４５７は、（例えば、図４Ｂに示されていない「クリア」信号を使用して）状態検出器４５５をリセットし得る。

いくつかの実施形態では、露光測定回路４５７は、例えば、アドレス－イベント表現（ＡＥＲ）通信プロトコルを使用して、制御および読み出しシステム４５９に非同期的に測定値を出力し得る。他の実施形態では、露光測定回路４５７からの読み出しは、外部制御信号（例えば、図４Ｂでは「制御」とラベル付けされている）を使用してクロック制御されてもよい。さらに、図４Ｂに示されるように、いくつかの実施形態では、検出器４５５からのトリガは、例えば、非同期イベント読み出し（ＡＥＲ）通信プロトコルを使用して、制御および読み出しシステム４５９に出力されてもよい。

図４Ｂに示されるピクセル４５０の例が、米国特許第８，７８０，２４０号および米国特許第９，９６７，４７９号に開示されている。これらの特許は、参照により本明細書に明確に組み込まれる。

異なる感光性素子として示されているが、いくつかの実施形態では、感光性素子４５１および４５３は、状態検出器４５５と露光測定回路４５７との間で共有される単一の素子を含み得る。そのような実施形態の例は、２０１８年４月３０日に出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｓｙｎｃｈｒｏｎｏｕｓ， Ｔｉｍｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ」という名称の欧州特許出願第１８１７０２０１．０号、および前述の欧州特許出願の優先権を主張する、２０１９年１１月７日に公開された国際公開第ＷＯ ２０１９／２１１３１７ Ａ１に開示されている。これら両方の出願の開示は、参照により本明細書に明確に組み込まれる。

さらに、１つの状態検出器および１つの露光測定回路を用いて示されているが、いくつかの実施形態は、トリガ信号によって複数の測定値が捕捉されるように、状態検出器を共有する複数の露光測定回路を含み得る。そのような実施形態の例は、２０１８年６月２７日に出願された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ」という名称の米国仮特許出願第６２／６９０，９４８号、２０１８年１２月１７日に出願された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ」という名称の米国仮特許出願第６２／７８０，９１３号、および両方の前述の米国仮特許出願の優先権を主張する、２０２０年１月２日に公開された「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ Ｐｉｘｅｌｓ」という名称の国際公開第ＷＯ ２０２０／００２５６２ Ａ１に開示されている。これらの出願の開示は、参照により本明細書に明確に組み込まれる。

図４Ｂには示されていないが、ピクセル４５０を使用するセンサは、ピクセル４５０によって生成されたイベントがセンサから読み出されるように、行および列ラインまたは他の読み出し回路を含み得る。さらに、タイミング回路は、上述のように、衝突が回避されるように、読み出しシステムへのアナログ信号の転送を管理し得る。読み出しシステムは、ピクセルアレイからのアナログ信号を、処理に使用するためにデジタル信号に変換し得る。

図４Ｃは、本開示の実施形態による、センサピクセル４７０の概略表現である。ピクセル４７０は、センサのアレイ（例えば、正方形、円形、またはアレイ状ピクセルによって形成される任意の他の規則的または不規則な形状）内の複数のピクセルのうちの１つであってもよい。

図４Ｃに示されるように、センサピクセル４７０は、感光性素子４７３を含む。感光性素子４７３は、素子４７３に衝突する光の明るさに基づいて電気信号（例えば、電圧、電流など）を生成し得る。本明細書で開示されるように、感光性素子は、フォトダイオード（例えば、ｐｎ接合またはＰＩＮ構造）、または光を電気信号に変換するように構成された任意の他の素子を含み得る。フォトダイオードは、フォトダイオードに衝突する光の強度に比例する電流を生成し得る。

図４Ａにさらに示されるように、センサピクセル４０７は、変化検出器４７５も含む。変化検出器４７５は、感光性素子４７３の検出された照度の変化がしきい値を超えると、信号を出力するように構成されてもよい。変化検出器４７５は、制御信号（例えば、クロックサイクルまたは読み出しシステムからの他の制御信号）に応答して起動し得る。変化検出器４７５は、出力信号（図４Ｃ中の「ピクセルデータ」）を読み出しシステムに送信し得る。

図４Ｃは示されていないが、ピクセル４７０を使用するセンサは、行列のアービタ、またはピクセルのアレイがクロックサイクルに従ってトリガされるような他のタイミング回路を含み得る。さらに、タイミング回路は、上述のように、衝突が回避されるように、読み出しシステムへの出力信号の転送を管理し得る。読み出しシステムは、処理に使用するために、ピクセルアレイからの出力信号を（例えば、アナログ－デジタル変換器を使用して）変換し得る。

いくつかの実施形態では、１つ以上の変化検出器は、ピクセルのアレイの複数の感光性素子によって共有されてもよい。感光性素子の検出された照度に基づいて、変化検出器の動作および出力信号を調整するために、クロックサイクルまたは他の制御信号が（例えば、制御および読み出しシステムから）提供されてもよい。

いくつかの実施形態では、変化検出器４７５は、アドレス－イベント表現（ＡＥＲ）通信プロトコルを使用して、外部読み出しシステム（図４Ｃには図示せず）に出力信号を提供する。

図５Ａは、本開示の実施形態による、イベントベースのセンサを使用することによって時間分解能を向上させるグラフ表現である。上記で説明したように、イベントベースのセンサは、より高い時間分解能を提供することができ、したがって、検出された振動周波数の精度を向上させることができる。この精度の向上の例は、図５Ａの例５００に示されている。従来のカメラピクセルの露光レート５０３は、陰影を使用して、固定フレームレートとして示され、カメラの視野内の対象物における振動の周波数（図５Ａの例５００では、正弦曲線であるが、任意の他の機能を含んでもよい）。ｙ軸は、０～１の範囲の正規化スケールにわたる強度を表す。したがって、例５００の正弦波は、振動によるカメラによって受光される光の時間的変動を表し、各影付きボックスの長さは、従来のカメラピクセルの積分時間を表す。さらに、各影付きボックスの高さは、積分時間中の衝突光の結果として生じる蓄積を表す。

周波数が露光レート５０３の半分（例えば、従来のピクセルのナイキストサンプリングレート）を超える場合、カメラは、記録されたフレームに基づいて信号を再生することができない。さらに、例５００に示されるように、露光レート５０３は、単一フレーム内の波長の大部分を捕捉することができ、さらにカメラの時間分解能を制限し、それにより、そこからの周波数の任意の計算の精度が低くなる。

現存するソリューションは、従来のカメラのフレームレートを増加させることであるが、これは、高周波数で振動する多くの機械および対象物には実用的でなくなる。さらに、フレームレートが増加するにつれて、カメラの視野内の対象物のより大きい照明が、より短い露光時間内で信号変動を解決するために必要とされる。しかしながら、これは、必要とされる照度および／または対象物が使用されている環境によっては、非実用的である可能性がある。

一方、本開示のイベントベースのセンサは、複数のイベント（例えば、図５Ａ中のラベル付きイベント５０１ａ、５０１ｂなど）を捕捉し、同時に、既存のカメラが単一のフレームを捕捉することができる。したがって、センサの非同期ピクセルは、（例えば、図４Ｂに関して上記で説明したように）信号振幅が前のパルスにおける振幅に対してしきい値を超えるたびにパルスを生成する。従って、図５Ａに示されるように、振動周波数は、波状パターンまたは他の類似の振動シグネチャを示すイベントのパターン間のタイムスタンプの差に基づいて、はるかに高い精度で決定され得る。さらに、従来のカメラでは以前は追跡することができなかったより高い周波数を、イベントベースのセンサを使用して追跡することができる。十分な情報が捕捉されているので、生成されたイベントから、振動を表す信号が再生され得る。

図５Ｂは、周波数を極性情報に関連付けるグラフ表示である。図５Ｂに示されるように、イベントは、関連する極性を有していてもよい。例えば、正の極性を有するイベントは、（図４Ａの画像センサ４００の出力から決定されたか、図４Ｂの画像センサ４５０から出力されたイベントで符号化されたかにかかわらず）しきい値を超える振幅の増加を表し得る。さらに、極性の変化は、正から負へ、または負から正へであり得る。図５Ｂに示されるように、波長は、同じタイプの対応する極性変化（例えば、１つの負から正への変化から対応する変化へ、または１つの正から負への変化から対応する変化へ）に基づいて計算されてもよい。したがって、決定されたイベントは、図６の方法６００に関して以下で説明するように、イベントによって表される対応する振動の周波数を計算するために使用され得る。

図６は、本開示の実施形態による、振動を検出するための例示的な方法６００のフローチャートである。図６の方法６００は、ピクセルベースのセンサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）と同じチップ上のプロセッサとして統合されているか、処理システムの一部として別個に提供されているかにかかわらず、少なくとも１つのプロセッサを使用して実行され得る。少なくとも１つのプロセッサは、本明細書でさらに開示されるように、信号を送受信する目的でセンサと電気的に通信し得る。

ステップ６０１において、少なくとも１つのプロセッサは、センサから出力信号を受信し得る。センサは、各ピクセルが感光性素子を含む複数のピクセルを備えていてもよく、各ピクセル上の照明の変化を示す信号を出力し得る（例えば、図４Ａ～図４Ｃに関して上記で説明したように）。例えば、少なくとも１つのプロセッサは、少なくとも１つのセンサからのイベントを示すデジタル信号を（例えば、少なくとも１つのネットワークを介して少なくとも１つのメモリなどと通信するように構成された少なくとも１つの送信機に接続されたオンチップバスを使用して）受信し得る。加えて、または代替として、少なくとも１つのプロセッサは、センサのピクセルに衝突する光の振幅を符号化したデジタル信号を受信し、経時的に振幅を追跡して、イベントを検出し得る。

例えば、測定回路４０５（図４Ａ参照）は、感光性素子４０１からの信号を、感光性素子４０１に衝突する光の明るさに比例するアナログ信号に変換し得る。少なくとも１つのプロセッサは、１つ以上の第１の信号として測定回路４０５からアナログ信号を受信してもよく、または測定回路４０５と通信するアナログ－デジタル変換器からのアナログ信号に基づいてデジタル信号を受信してもよい。加えて、または代替として、上記で説明したように、状態検出器４５５（ＣＤ）は、感光性素子４５１に衝突する光に基づく第１のアナログ信号が所定のしきい値を超えると、トリガ信号（例えば、図４Ｂの例では「トリガ」）を生成し、露光測定回路４５７は、トリガ信号に応答して、感光性素子４５３からの信号を、感光性素子４５３に衝突する光の明るさに比例する第２のアナログ信号に変換し得る。少なくとも１つのプロセッサは、１つ以上の第１の信号として露光測定回路４５７から第２のアナログ信号を受信してもよく、または露光測定回路４５７と通信する（またはその一部を形成する）アナログ－デジタル変換器からの第２のアナログ信号に基づいてデジタル信号を受信してもよい。さらに別の例として、変化検出器４７５（図４Ｃ参照）は、感光性素子４７３上の検出された照度の変化がしきい値を超えると、信号を出力するように構成されてもよい。少なくとも１つのプロセッサは、変化検出器から出力信号を受信することと、出力信号に基づいて極性を決定することであって、極性は、検出された照度の変化が増加しているか減少しているかを示す、決定することとを行うように構成され得る。

少なくとも１つのプロセッサは、複数回にわたって出力信号を受信し得る。例えば、同期センサを使用する実施形態では、出力信号は、複数のクロックサイクルで捕捉されていてもよい。別の例として、非同期センサを使用する実施形態では、出力信号は、異なる時間に捕捉されていてもよい。非同期センサを使用するいくつかの実施形態では、読み出しは、少なくとも１つのプロセッサが、他の出力信号を受信したのとは異なるクロックサイクルで出力信号のいくつかを受信するように、クロック制御されてもよい。

ステップ６０３において、少なくとも１つのプロセッサは、出力信号に基づいて、照明の１つ以上の変化を検出し得る。１つ以上の変化は、関連する極性情報を有し得る。例えば、少なくとも１つのプロセッサは、１つ以上のしきい値などよりも大きい大きさを有するセンサから受信された出力信号のうちの２つの間の振幅の変化に基づいてイベントを検出し、次いで、極性を検出されたイベントに関連付けることができる。「極性」は、検出された照度の変化が、連続する出力信号の比較によって決定され得る、照明の増加または減少のいずれかに関連付けられるかどうかを指し得る。ピクセルのうちの１つ以上を有するセンサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）を使用する実施形態では、出力信号は、それ自体がイベント（ならびに関連する極性）を符号化し得る。いくつかの実施形態では、出力信号は、例えば、図４Ａおよび図４Ｃの例にも適用可能であるが、図４Ｂに示されるようなアドレス－イベント表現（ＡＥＲ）を使用して符号化されてもよい。そのような実施形態では、各イベントは、タプル（ｘ，ｙ，ｔ，ｐ）として符号化されてもよく、ここで、ｘおよびｙは、出力信号が発信されたピクセルの２次元座標であり、ｔは、ピクセルがイベントを捕捉したとき（または、読み出しシステム（システム４５９など）がイベントをデジタル出力に変換したとき）のタイムスタンプであり、ｐは、イベントの極性（例えば、振幅の減少などの負の極性ではゼロ（０）、振幅の増加などの正の極性では（１））である。したがって、少なくとも１つのプロセッサは、出力信号のイベントに関連付けられた極性を決定することによって、極性情報を検出することができる。

いくつかの実施形態では、少なくとも１つのプロセッサは、照明の変化が増加する変化であるときにセンサから正の極性を検出し、照明の変化が減少する変化であるときにセンサから負の極性を検出するように構成されてもよい。さらに、これらの極性は、センサの複数のピクセルのうちの１組のピクセルに関連付けられてもよい。したがって、少なくとも１つのプロセッサは、極性に基づいて、１組のピクセルに関連付けられた１つ以上の周波数（ステップ６１１で後述）を決定し得る。例えば、決定された周波数は、センサの２次元平面における決定された周波数の画像が定式化され得るように、ピクセルの位置にマッピングされ得る。

いくつかの実施形態では、少なくとも１つのプロセッサは、センサによって出力信号で符号化されたアドレスに基づいて、決定された周波数をマッピングすることができる。例えば、センサ（またはセンサと通信する読み出しシステム）は、出力信号が発信されたピクセルのアドレスを符号化し得る。したがって、少なくとも１つのプロセッサは、出力信号で符号化されたアドレスに基づいて、出力信号をセンサの特定のピクセルに関連付けることができる。

ステップ６０５で、少なくとも１つのプロセッサは、照明の１つ以上の変化に関連付けられたタイムスタンプを決定し得る。タイムスタンプは、グローバル時間（例えば、グリニッジ平均時間（ＧＭＴ）、協定世界時間（ＵＴＣ）など）、システム時間（例えば、同様の読み出しシステムなどに対する）、または出力信号間の時間距離の別のインジケータを符号化し得る。

いくつかの実施形態では、少なくとも１つのプロセッサは、センサに接続された、またはそうでなければセンサに関連付けられた読み出しシステム（例えば、制御および読み出し４５９）から複数のタイムスタンプを抽出することによって、タイムスタンプを決定することができる。例えば、読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて１つ以上のタイムスタンプを符号化し得る。加えて、上記で説明したように、読み出しシステムは、各測定について関連するピクセルを識別するアドレスを符号化するようにさらに構成され得る。

ステップ６０７において、少なくとも１つのプロセッサは、センサの視野内の対象物の振動を検出するために、タイムスタンプおよび極性情報を分析し得る。一例では、少なくとも１つのプロセッサは、複数のタイムスタンプを使用して、１つ以上の極性の変化の間の時間間隔を決定し得る。そのような時間間隔は、振動対象物（例えば、図３の振動装置３０５）の波長（または振動を表す関数の周期の他の尺度）を表し得る。少なくとも１つのプロセッサは、決定された時間間隔に関連付けられた組み合わせ値をさらに計算することができる。例えば、組み合わせ値は、時間間隔の平均値、中央値、または他の統計的組み合わせを含み得る。少なくとも１つのプロセッサは、組み合わせ値の逆数に基づいて振動の１つ以上の周波数をさらに決定してもよい。時間間隔が波長の分数（または倍数）または周期性の他の尺度を表す実施形態では、１つ以上の振動周波数は、分数（または倍数）について調整された周波数に基づいて決定され得る。例えば、１つ以上の極性の異なる変化の間の時間間隔（例えば、正から負への変化から負から正への変化、または負から正への変化から正から負への変化）は、波長の一部（例えば、ピークからトラフへ、またはトラフからピークへ）を表し、したがって、波長を計算するために、対応する倍数によって調整され得る。

いくつかの実施形態では、少なくとも１つのプロセッサは、時間間隔に関連付けられた偏差値をさらに決定することができる。例えば、偏差値は、時間間隔における誤差の標準偏差または他の尺度を含み得る。加えて、または代替として、少なくとも１つのプロセッサは、各時間間隔に関連付けられた周波数を決定し、次いで、周波数に関連付けられた偏差値を決定し得る。そのような実施形態では、少なくとも１つのプロセッサは、偏差が検証しきい値を下回るときに基づいて、１つ以上の周波数を検証することができる。例えば、検証しきい値は、平均値または中央値の約１％～１０％であってもよい。偏差がしきい値を下回らない場合、少なくとも１つのプロセッサは、ゼロ周波数を出力し、エラーメッセージを出力し、例外をスローし、またはそうでなければ、時間間隔が一貫した周波数を示さなかったことを示し得る。

いくつかの実施形態では、少なくとも１つのプロセッサは、最初に、ステップ６０７を実行する前に、時間間隔をクラスタリングしてもよい。例えば、少なくとも１つのプロセッサは、大きさに基づいて時間間隔をクラスタリングしてもよい。したがって、少なくとも１つのプロセッサは、上述の計算を使用して、最大数の時間間隔を有するクラスタに関連付けられた１次周波数と、より少ない数の時間間隔を有するクラスタに関連付けられた１つ以上の２次周波数とを決定し得る。

ステップ６０９で、少なくとも１つのプロセッサは、分析されたタイムスタンプが１つ以上の安定性基準を満たすかどうかを決定し得る。例えば、ステップ６０７に関して上記で説明したように、検証しきい値は、一貫した周波数を示さない時間間隔を除外し得る。加えて、または代替として、それ自体が短すぎるかまたは長すぎる時間間隔は、異常として除外されてもよい。加えて、または代替として、安定性基準は、周期性尺度、タイムスタンプに基づいて決定された周波数内または周波数の変化率の変動、ピクセルにわたるタイムスタンプの移動、周波数の各周期内の検出されたイベントの数の変動などのうちの１つ以上を含み得る。さらに、分析されたタイムスタンプが安定した周波数を反映しないとき、少なくとも１つのプロセッサは、ゼロ周波数を出力し、エラーメッセージを出力し、例外をスローし、またはそうでなければ、時間間隔が一貫した周波数を示さなかったことを示し得る。しかしながら、いくつかの実施形態は、ステップ６０９を完全に除外してもよい。

ステップ６１１において、少なくとも１つのプロセッサは、検出された振動の１つ以上の周波数を決定し得る。例えば、ステップ６０７に関して上記で説明したように、１つ以上の周波数は、時間間隔の組み合わせ値の逆数を含み得る。別の例では、少なくとも１つのプロセッサは、振動シグネチャの増加部分または減少部分を示す出力信号から一連のイベントを識別し得る。次いで、少なくとも１つのプロセッサは、予測された振動シグネチャ上の点にイベントをマッピングし、１つの波長（または波長の分数、または波長の倍数）であると予想される点を識別し得る。少なくとも１つのプロセッサは、１つ以上の周波数を決定するために、識別された点の間の時間間隔の逆数を使用してもよい。

いくつかの実施形態では、方法６００は、追加のステップを含み得る。例えば、少なくとも１つのプロセッサは、照明の変化をフィルタリングして、スプリアスイベントを除去してもよい。例えば、上記で説明したように、少なくとも１つのプロセッサは、長すぎるおよび／または短すぎる時間間隔を排除してもよい。そのような例では、少なくとも１つのプロセッサは、時間しきい値よりも大きい時間間隔だけ離れている差を有するタイムスタンプを排除し、および／または時間しきい値よりも大きいそのような時間間隔を排除し得る。したがって、少なくとも１つのプロセッサは、タイムスタンプ自体を削除（またはそうでなければ無視）し、またはタイムスタンプを依然として使用して他のタイムスタンプに対して時間しきい値内の時間間隔を計算しながら、時間しきい値を超える時間間隔を無視し得る。例えば、時間しきい値は、約１ｍｓ以上であってもよい。したがって、１ｍｓ以上の時間間隔を有する任意の対応するイベントは、振動シグネチャの波長（またはその分数もしくは倍数）を表すには遠すぎる。時間しきい値は、システムによって測定されると予想される周波数の範囲に従って調整されてもよい。

図６に示されていないいくつかの実施形態では、方法６００は、再帰的であってもよい。例えば、少なくとも１つのプロセッサは、ステップ６０１、６０３、６０５、６０７、および６０９を、センサからの（例えば、次のクロックサイクルで生成および／または受信された）各新しい１組の出力信号で繰り返してもよい。新しい出力信号は、新しい周波数の計算、および／または新しい出力信号に関連付けられた１つ以上の周波数と、ステップ６１１の前の反復で計算された１つ以上の周波数との比較を生成し得る。したがって、少なくとも１つのプロセッサは、前の１つ以上の周波数および新しい周波数からの任意の変更を検出し、その変更が予期外である場合、警告または他のエラーメッセージを生成し得る。加えて、または代替として、少なくとも１つのプロセッサは、前の１つ以上の周波数および新しい周波数からの任意の変更が、予想されるイベント（例えば、電源オン、電源オフなど）に関連付けられているかどうかを決定し、それに応じてメッセージを生成し得る。

いくつかの実施形態では、少なくとも１つのプロセッサは、１つ以上の周波数に関連付けられた深さをさらに決定し得る。例えば、周波数を決定するために使用される極性変化を生成した特定のピクセルに周波数をマッピングすることに加えて、少なくとも１つのプロセッサは、送信光が発信された既知の位置（例えば、図３のプロジェクタ３０１に関連付けられた位置）に基づいて、飛行時間アルゴリズム、三角測量、または他の計算を使用して、ピクセルに関連付けられた深さを決定し得る。したがって、周波数の多次元マッピングが生成され得る。

方法６００は、周波数を決定するが、本開示の実施形態は、振幅も決定してよい。したがって、少なくとも１つのプロセッサは、振動の１つ以上の振幅を決定するために、複数のピクセルのうちの１つ以上に関連付けられた測定値をさらに分析し得る。例えば、少なくとも１つのプロセッサは、空間フィルタ（例えば、ガウスフィルタなど）を複数のピクセルからの測定値に適用し、適用された空間フィルタに基づいて、１つ以上の振幅を決定し得る。振動対象物の形状が知られている（例えば、少なくとも１つのプロセッサによってアクセス可能なデータベースに記憶されている、ネットワークポートまたは周辺ポートなどのポートを介して少なくとも１つのプロセッサによって受信される、など）実施形態では、少なくとも１つのプロセッサは、振動を受ける対象物の形状を取り出し、１つ以上の振幅を決定するために測定値に対して２次元形状追跡を実行し得る。例えば、２次元形状追跡は、反復最近接点アルゴリズムを適用することを含み得る。

加えて、または代替として、図７は、ピクセルベースのセンサ、例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０などからの信号に適用される、例えば、方法６００を使用して検出された周波数に基づいて、振動の振幅を決定するための例示的な方法７００を示す。

上述したように、図７は、本開示の実施形態による、検出された周波数を使用して振動の振幅を決定するための例示的な方法７００のフローチャートを示す。図７の方法７００は、センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）と同じチップ上のプロセッサとして統合されているか、処理システムの一部として別個に提供されているかにかかわらず、少なくとも１つのプロセッサを使用して実行され得る。少なくとも１つのプロセッサは、本明細書でさらに開示されるように、信号を送受信する目的でセンサと電気的に通信し得る。

ステップ７０１において、少なくとも１つのプロセッサは、センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）からイベントを受信または決定してもよい。方法６００のステップ６０３に関して上記で説明したように、イベントは、イベントベースのセンサからの出力信号、または（例えば、クロック回路を使用して）連続センサの出力信号から抽出されたイベントを含み得る。

ステップ７０３において、少なくとも１つのプロセッサは、単位時間内の複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し得る。いくつかの実施形態では、時間単位は、約１ｍｓ以下であってもよい。照明の変化は、イベントとして符号化されてもよい。例えば、少なくとも１つのプロセッサは、センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）からイベントを受信または復号していてもよい。方法６００のステップ６０３に関して上記で説明したように、イベントは、イベントベースのセンサからの信号、または（例えば、クロック回路を使用して）連続センサの信号から抽出されたイベントを含み得る。

ステップ７０５において、少なくとも１つのプロセッサは、少なくとも１つのピクセルに関連付けられた１つ以上の周波数のうちの１つの周波数を決定し得る。例えば、周波数は、方法６００、またはイベント（または極性変化）を周波数に変換する同様の計算を使用して決定されてもよい。

ステップ７０７において、少なくとも１つのプロセッサは、決定された周波数によって変化の数を正規化し得る。例えば、少なくとも１つのプロセッサは、変化の数を決定された周波数で割ってもよい。

ステップ７０９において、少なくとも１つのプロセッサは、正規化を使用して、決定された周波数に関連付けられた１つ以上の振幅を決定し得る。例えば、振幅は、ステップ７０７の出力を含むことができ、または、例えば、振動などを受ける対象物の既知の形状に基づく係数に従って、スケーリングされたステップ７０７の出力を含むことができる。

図８は、本開示の実施形態による、イベントバーストを検出するための例示的な方法８００のフローチャートである。図８の方法８００は、センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）と同じチップ上のプロセッサとして統合されているか、処理システムの一部として別個に提供されているかにかかわらず、少なくとも１つのプロセッサを使用して実行され得る。少なくとも１つのプロセッサは、本明細書でさらに開示されるように、信号を送受信する目的でセンサと電気的に通信し得る。

ステップ８０１で、少なくとも１つのプロセッサは、センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ４５０、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサなど）からイベントを受信または決定してもよい。方法６００のステップ６０３に関して上記で説明したように、イベントは、イベントベースのセンサからの出力信号、または（例えば、クロック回路を使用して）連続センサの出力信号から決定されたイベントを含み得る。

ステップ８０３において、少なくとも１つのプロセッサは、イベントの極性を決定または確認し得る。例えば、少なくとも１つのプロセッサは、極性がイベントに対して予想される極性と一致するかどうか、複数の増加または減少が予想される場合に前のイベントと同じであるか、または極性変化が予想される場合に前のイベントとは異なるかを決定し得る。例えば、投射パターンは、増加信号または減少信号をシグナリングするために、複数（例えば、２、３など）のイベントを常に生成するように構成されてもよい。そのような複数は、ステップ８０３においてノイズのフィルタリングを可能にし得る。極性が有効でない場合、少なくとも１つのプロセッサは、イベントを廃棄し、ステップ８０１において、新しいイベントでやり直し得る。加えて、または代替として、極性が有効でない場合、少なくとも１つのプロセッサは、現在のバーストを廃棄し、ステップ８０１からのイベントを新しい潜在的バーストの開始として使用し得る。

ステップ８０５において、少なくとも１つのプロセッサは、前のイベントから時間的に離れすぎている場合（例えば、時間差がしきい値を超える場合）、受信されたイベントを廃棄し得る。したがって、少なくとも１つのプロセッサは、単一のバーストの一部を形成するには時間的に離れすぎるイベントを接続することを回避し得る。イベントが離れすぎている場合、少なくとも１つのプロセッサは、イベントを廃棄し、ステップ８０１において、新しいイベントでやり直し得る。加えて、または代替として、イベントが離れすぎている場合、少なくとも１つのプロセッサは、現在のバーストを廃棄し、ステップ８０１からのイベントを新しい潜在的バーストの開始として使用し得る。

ステップ８０７において、少なくとも１つのプロセッサは、関連するピクセルのイベントカウンタをインクリメントし得る。例えば、関連するピクセルは、ステップ８０１のイベントが受信されたピクセルを含み得る。イベントカウンタは、ステップ８０１の再帰実行で受信されたイベントのうち、ステップ８０３および８０５下で、同じバースト内と見なすものをカウントする整数を含み得る。

ステップ８０９において、少なくとも１つのプロセッサは、イベントカウンタがイベントしきい値を超えると、バーストを抽出し得る。例えば、イベントしきい値は、２～１０個のイベントを含み得る。他の実施形態では、より大きいイベントしきい値が使用されてもよい。バーストが抽出された場合、少なくとも１つのプロセッサは、イベントカウンタをリセットしてもよい。イベントカウンタがイベントしきい値を超えない場合、少なくとも１つのプロセッサは、イベントカウンタをリセットすることなく、ステップ８０１に戻り得る。したがって、ステップ８０３および８０５下で、同じバースト内と見なす追加のイベントが検出され、ステップ８０７で、イベントカウンタに追加され得る。

いくつかの実施形態では、方法８００は、現在のバーストの第１のイベントから時間的に離れすぎている場合、受信されたイベントを廃棄することをさらに含み得る。したがって、方法８００は、ノイズによって、バーストがしきい値を超えて不注意に拡張されることを防ぐことができる。

加えて、または代替として、方法８００は、バーストが、単一のピクセルまたはセンサ全体にわたってではなく、領域内でのみ検出されるように、領域ごとにいくつかのイベントを追跡し得る。したがって、方法８００は、センサの異なる部分上の同時バーストの検出を可能にし得る。

イベントが廃棄されるときはいつでも、少なくとも１つのプロセッサは、イベントカウンタをリセットしてもよい。代替として、いくつかの実施形態では、少なくとも１つのプロセッサは、イベントが廃棄されたときであっても、対応するイベントカウンタを記憶し得る。いくつかの実施形態は、保存と廃棄との組み合わせを使用してもよい。例えば、イベントカウンタは、ステップ８０３でイベントが廃棄された場合には保存されてもよいが、ステップ８０５でイベントが廃棄された場合にはリセットされてもよい。

個々のイベントではなくバーストを検出することによって、少なくとも１つのプロセッサは、極性変化間の時間間隔をより高い精度で測定してもよい。例えば、少なくとも１つのプロセッサは、方法８００を使用して、計算された周波数（したがって、ならびに振幅）の精度を低下させる、測定におけるノイズまたは他の不完全性を表すスプリアスイベントを排除してもよい。方法８００を実施するための例示的な実施形態および特徴は、２０１９年１月３０日に出願され、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｏｆ Ｐｒｏｃｅｓｓｉｎｇ ａ Ｓｉｇｎａｌ ｆｒｏｍ ａｎ Ｅｖｅｎｔ－Ｂａｓｅｄ Ｓｅｎｓｏｒ」という名称の国際特許出願第ＰＣＴ／ＥＰ２０１９／０５１９１９号に記載されており、２０１９年８月１日に国際公開第ＷＯ ２０１９／１４５５１６ Ａ１として公開されている。本出願およびその刊行物の開示は、参照により本明細書に明確に組み込まれる。

方法８００に加えて、またはその代わりに、少なくとも１つのプロセッサは、周波数についてクラスタを分析する前に、イベントをクラスタリングし得る。例えば、少なくとも１つのプロセッサは、少なくとも１つの接続性または他の基準が満たされるイベントをクラスタリングし得る。例えば、少なくとも１つのプロセッサは、新しいイベントと１つ以上の最近のイベントとの間の時間距離を決定し、時間距離がしきい値を満たす場合、それらを接続し得る。加えて、または代替として、少なくとも１つのプロセッサは、新しいイベントと１つ以上の最近のイベントとの間の空間距離を決定し、空間距離がしきい値を満たす場合、それらを接続し得る。したがって、少なくとも１つの接続基準は、時間的しきい値、空間的しきい値、またはそれらの任意の組み合わせを含み得る。１つの組み合わせの例では、空間しきい値は、複数の時間しきい値のうちのどれが満たされるかに基づいて調整され得る。そのような例では、時間的により近いイベントは、空間的により近いと予想され得る。別の組み合わせの例では、時間しきい値は、複数の空間しきい値のうちのどれが満たされるかに基づいて調整され得る。そのような例では、空間的により近いイベントは、時間的により近いと予想され得る。例示的なクラスタリングアルゴリズムは、２０１９年１月３０日に出願された「Ｍｅｔｈｏｄ ｏｆ Ｐｒｏｃｅｓｓｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａｎ Ｅｖｅｎｔ－Ｂａｓｅｄ Ｓｅｎｓｏｒ」という名称の欧州特許出願第１９１５４４０１．４号に記載されている。本出願の開示は、参照により本明細書に明確に組み込まれる。

時間にわたってイベントをクラスタ化し、クラスタ化されていないイベントを廃棄する（またはそうでなければ無視する）ことによって、少なくとも１つのプロセッサは、計算された周波数（したがって、ならびに振幅）の精度を低下させる測定におけるノイズまたは他の不完全性を表す極性変化の間のスプリアス時間間隔を排除することができる。空間にわたってイベントをクラスタ化し、クラスタ化されていないイベントを廃棄（またはそうでなければ無視）することによって、少なくとも１つのプロセッサは、（例えば、図３の振動装置３０５など）ピクセルにわたるピクセルの視野内の対象物の表面によって示される振動パターンを追跡し得る（例えば、振動対象物（または構成要素）によって引き起こされる少なくともいくつかの反射が、振動対象物（または構成要素）によって引き起こされる他の反射とは異なるピクセルによって受信されるように、振動の振幅が十分に大きい場合）。

図９は、Ｓｉｓｌｅｙ（登録商標）カメラの出力から振幅を決定する前に、極性マッピング（上記で説明したような）およびクラスタリングを使用する周波数検出の例９００を示す。示される対象物（例えば、モータ）は、周波数または振幅の予期しないシフトによって早期に検出されてもよく、そのようなシフトは、表面全体の全体平均内ではなく、２次元画像内で検出されてもよい。例９００は、検出された周波数の２次元画像と、検出された振幅の同様の２次元画像とを含む。

センサの実施形態について、図４Ａ～図４Ｃの例を参照して本明細書で説明してきたが、１つ以上の感光性素子（例えば、ピクセル）に衝突する光の明るさに基づいて信号を捕捉するように適合された任意の形態のセンサが使用されてもよい。したがって、トランジスタ、キャパシタ、スイッチ、および／またはそのような捕捉を実行するように構成された他の回路構成要素の任意の組み合わせが、本開示のシステムで使用されてもよい。さらに、本開示の実施形態は、任意の同期センサ（例えば、図４Ａのピクセル４００のうちの１つ以上を有するセンサ）、または任意のイベントベースのセンサ（例えば、図４Ｂのピクセル４５０のうちの１つ以上を有するセンサ）、またはその任意の変形（例えば、図４Ｃのピクセル４７０のうちの１つ以上を有するセンサ）を使用してもよい。

上記の説明は、例示の目的で提示されている。これは、網羅的ではなく、開示された正確な形態または実施形態に限定されない。実施形態の修正および適応は、開示された実施形態の明細書および実践の考察から明らかになるであろう。例えば、説明された実装形態は、ハードウェアを含むが、本開示によるシステムおよび方法は、ハードウェアおよびソフトウェアを用いて実装することができる。加えて、特定の構成要素は、互いに結合されるものとして説明してきたが、そのような構成要素は、互いに統合されてもよく、または任意の適切な方法で分散されてもよい。

さらに、例示的な実施形態について本明細書で説明したが、範囲は、本開示に基づく、等価な要素、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の）、適応、および／または変更を有する任意のおよびすべての実施形態を含む。特許請求の範囲における要素は、特許請求の範囲において使用される言語に基づいて広く解釈されるものとし、本明細書に記載されている例、または本出願の出願中に記載されている例に限定されるものではなく、これらの例は非排他的なものとして解釈されるものとする。さらに、開示された方法のステップは、ステップの並べ替えおよび／またはステップの挿入もしくは削除を含む任意の方法で修正することができる。

本開示の特徴および利点は、詳細な明細書から明らかであり、したがって、添付の特許請求の範囲は、本開示の真の趣旨および範囲内にあるすべてのシステムおよび方法を網羅することが意図される。本明細書で使用される場合、不定冠詞「ａ」および「ａｎ」は、「１つ以上」を意味する。同様に、複数の用語の使用は、所与の文脈において明白でない限り、必ずしも複数を意味しない。「および」または「または」のような用語は、特に指示がない限り、「および／または」を意味する。さらに、本開示を研究することにより、多数の修正および変形が容易に生じるので、本開示を、図示および説明された正確な構造および動作に限定することは望ましくなく、したがって、すべての適切な修正および均等物は、本開示の範囲内に入るとして、分類しなおすことができる。

他の実施形態は、本明細書の検討および本明細書に開示された実施形態の実施から明らかになるであろう。本明細書および例は、単に例として考慮されることが意図され、開示された実施形態の真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims (69)

1. 振動を検出するためのシステムであって、
   複数のピクセルを含むセンサであって、各ピクセルは、少なくとも１つの感光性素子を含み、前記センサは、各ピクセル上の照明に関連する信号を出力するように構成されている、センサと、
   前記センサから前記出力信号を受信することと、
   前記出力信号に基づいて、照明の１つ以上の変化を決定することであって、前記１つ以上の変化は、極性情報を含み、前記極性情報は、照明の前記変化が照明の増加に関連付けられているか、照明の減少に関連付けられているかを示す、決定することと、
   前記１つ以上の変更に関連付けられたタイムスタンプを決定することと、
   前記センサの視野内の対象物の振動を検出するために、前記タイムスタンプおよび前記極性情報を分析することと、
   前記検出された振動の１つ以上の周波数を決定することと
   を行うように構成された少なくとも１つのプロセッサと
   を備える、システム。
2. 前記少なくとも１つのプロセッサは、照明の変化が照明の増加を示すときに正の極性を決定し、照明の変化が照明の減少を示すときに負の極性を決定するように構成されている、請求項１に記載のシステム。
3. 前記照明の変化は、前記センサの前記複数のピクセルのうちの１組のピクセルに関連付けられている、請求項１または２のいずれか一項に記載のシステム。
4. 前記１つ以上の周波数は、前記照明の変化に基づいて、前記１組のピクセルに関連付けられている、請求項３に記載のシステム。
5. 前記少なくとも１つのプロセッサは、前記センサに関連付けられた読み出しシステムから前記複数のタイムスタンプを抽出することによって、前記タイムスタンプを決定するように構成されている、請求項１から４のいずれか一項に記載のシステム。
6. 前記読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて前記１つ以上のタイムスタンプを符号化する、請求項５に記載のシステム。
7. 前記読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化する、請求項５または６のいずれか一項に記載のシステム。
8. 前記少なくとも１つのプロセッサは、前記複数のタイムスタンプを使用して１つ以上の極性の変化の間の時間間隔を計算することによって前記タイムスタンプを分析し、前記計算された時間間隔に基づいて前記１つ以上の周波数を決定するように構成されている、請求項１から７のいずれか一項に記載のシステム。
9. 前記少なくとも１つのプロセッサは、
   平均値または中央値、および前記計算された時間間隔に関連付けられた偏差を計算することと、
   前記平均値が計算されるとき、前記平均値の逆数に基づいて前記１つ以上の周波数を決定すること、または前記中央値が計算されるとき、前記中央値に基づいて前記１つ以上の周波数を決定することと、
   前記偏差が検証しきい値を下回るとき、前記１つ以上の周波数を検証することと、
   を行うようにさらに構成されている、請求項８に記載のシステム。
10. 前記検証しきい値は、場合によっては、前記平均値または前記中央値の１％以上、１０％以下である、請求項９に記載のシステム。
11. 前記少なくとも１つのプロセッサは、前記振動の１つ以上の振幅を決定するために、前記複数のピクセルのうちの１つ以上に関連付けられた出力信号を分析するように構成されている、請求項１から１０のいずれか一項に記載のシステム。
12. 前記少なくとも１つのプロセッサは、前記複数のピクセルからの前記出力信号に空間フィルタを適用し、前記適用された空間フィルタに基づいて、前記１つ以上の振幅を決定するように構成されている、請求項１１に記載のシステム。
13. 前記少なくとも１つのプロセッサは、前記振動を受ける対象物の形状を決定し、前記１つ以上の振幅を決定するために、前記出力信号に対して２次元形状追跡を実行するように構成されている、請求項１１または１２のいずれか一項に記載のシステム。
14. 前記少なくとも１つのプロセッサは、反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行するように構成されている、請求項１３に記載のシステム。
15. 前記少なくとも１つのプロセッサは、単位時間内の前記複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、前記１つ以上の振幅を決定するために、前記少なくとも１つのピクセルに関連付けられた前記１つ以上の周波数の決定された周波数によって前記変化の数を正規化するように構成されている、請求項１１から１４のいずれか一項に記載のシステム。
16. 前記時間単位は、１ｍｓ以下である、請求項１５に記載のシステム。
17. 前記センサの前記視野内の前記対象物に光を投射する外部光源をさらに備える、請求項１から１６のいずれか一項に記載のシステム。
18. 前記外部光源は、一定の照明を有する光を投射する、請求項１７に記載のシステム。
19. 前記外部光源は、構造化された照明パターンを含む光を投射する、請求項１７に記載のシステム。
20. 前記外部光源は、前記対象物の少なくとも１つの表面に対して斜めの角度で前記光を投射する、請求項１７から１９のいずれか一項に記載のシステム。
21. 前記少なくとも１つのプロセッサは、スプリアス変化を除去するために、前記１つ以上の照明の変化をフィルタリングするように構成されている、請求項１から２０のいずれか一項に記載のシステム。
22. 前記少なくとも１つのプロセッサは、時間しきい値以上の差を有するタイムスタンプを排除するように構成されている、請求項１から２１のいずれか一項に記載のシステム。
23. タイムスタンプを排除するために使用される前記時間しきい値は、１ｍｓ以上である、請求項２２に記載のシステム。
24. 振動を検出するためのシステムであって、
    素子上の照度を検出するように構成された複数の感光性素子と、
    １つ以上の前記感光性素子上の前記検出された照度の変化がしきい値を超えると、信号を出力するように構成された複数の変化検出器と、
    を備えるセンサと、
    前記出力信号を受信することと、
    前記出力信号に基づいて極性を決定することであって、前記極性は、前記照明が増加しているか減少しているかを示す、決定することと、
    前記複数の変化検出器からの前記出力信号に関連付けられたタイムスタンプを決定することと、
    前記センサの視野内の対象物の振動を検出するために、前記タイムスタンプおよび前記極性を分析することと、
    前記検出された振動の１つ以上の周波数を決定することと
    を行うように構成された少なくとも１つのプロセッサと
    を備える、システム。
25. 正の極性が照明の増加に関連付けられ、負の極性が照明の減少に関連付けられている、請求項２４に記載のシステム。
26. 前記極性は、１組のピクセルに関連付けられ、各ピクセルは、前記複数の感光性素子のうちの少なくとも１つを含む、請求項２４または２５に記載のシステム。
27. 前記１つ以上の周波数は、前記極性に基づいて、前記１組のピクセルに関連付けられている、請求項２６に記載のシステム。
28. 前記少なくとも１つのプロセッサは、前記センサに関連付けられた読み出しシステムから前記複数のタイムスタンプを抽出することによって、前記タイムスタンプを決定するように構成されている、請求項２４から２７のいずれか一項に記載のシステム。
29. 前記読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて前記１つ以上のタイムスタンプを符号化する、請求項２８に記載のシステム。
30. 前記読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化する、請求項２８または２９のいずれか一項に記載のシステム。
31. 前記少なくとも１つのプロセッサは、前記複数のタイムスタンプを使用して前記１つ以上の極性の変化の間の時間間隔を計算するために前記タイムスタンプを分析し、前記計算された時間間隔に基づいて前記１つ以上の周波数を決定するように構成されている、請求項２４から３０のいずれか一項に記載のシステム。
32. 前記少なくとも１つのプロセッサは、
    平均値または中央値、および前記計算された時間間隔に関連付けられた偏差を計算することと、
    前記平均値が計算されるとき、前記平均値の逆数に基づいて前記１つ以上の周波数を決定すること、または前記中央値が計算されるとき、前記中央値の逆数に基づいて前記１つ以上の周波数を決定することと、
    前記偏差が検証しきい値を下回るとき、前記１つ以上の周波数を検証することと、
    を行うようにさらに構成されている、請求項３１に記載のシステム。
33. 前記検証しきい値は、場合によっては、前記平均値または前記中央値の１％以上、１０％以下である、請求項３２に記載のシステム。
34. 前記少なくとも１つのプロセッサは、前記振動の１つ以上の振幅を決定するために、前記出力信号を分析するように構成されている、請求項２４から３３のいずれか一項に記載のシステム。
35. 前記少なくとも１つのプロセッサは、前記出力信号に空間フィルタを適用し、前記適用された空間フィルタに基づいて、前記１つ以上の振幅を決定するように構成されている、請求項３４に記載のシステム。
36. 前記少なくとも１つのプロセッサは、前記振動を受ける対象物の形状を決定し、前記１つ以上の振幅を決定するために、前記出力信号に対して２次元形状追跡を実行するように構成されている、請求項３４または３５に記載のシステム。
37. 前記少なくとも１つのプロセッサは、反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行するように構成されている、請求項３６に記載のシステム。
38. 前記少なくとも１つのプロセッサは、単位時間内の複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、前記１つ以上の振幅を決定するために、前記少なくとも１つのピクセルに関連付けられた前記１つ以上の周波数の決定された周波数によって前記変化の数を正規化するように構成されている、請求項３４から３７のいずれか一項に記載のシステム。
39. 前記時間単位は、１ｍｓ以下である、請求項３８に記載のシステム。
40. 前記センサの前記視野内の前記対象物に光を投射するように構成された外部光源をさらに備える、請求項２４から３９のいずれか一項に記載のシステム。
41. 前記外部光源は、一定の照明を有する光を投射する、請求項４０に記載のシステム。
42. 前記外部光源は、構造化された照明パターンを含む光を投射する、請求項４０に記載のシステム。
43. 前記外部光源は、前記対象物の少なくとも１つの表面に対して斜めの角度で前記光を投射する、請求項４０から４２のいずれか一項に記載のシステム。
44. 前記少なくとも１つのプロセッサは、スプリアス信号を除去するために、前記１つ以上の出力信号をフィルタリングするように構成されている、請求項２４から４３のいずれか一項に記載のシステム。
45. 前記少なくとも１つのプロセッサは、時間しきい値以上の時間差に関連付けられたタイムスタンプを排除するように構成されている、請求項２４から４４のいずれか一項に記載のシステム。
46. 前記時間しきい値は、１ｍｓ以上である、請求項４５に記載のシステム。
47. 振動を検出するための方法であって、
    複数のピクセルを含むセンサから、前記ピクセルの１つ以上の照明に関連付けられた出力信号を受信することであって、前記ピクセルの各々は、少なくとも１つの感光性素子を含む、受信することと、
    前記出力信号に基づいて極性を決定することであって、前記極性は、前記１つ以上のピクセル上の前記照明が増加しているか減少しているかを示す、決定することと、
    前記出力信号に関連付けられたタイムスタンプを決定することと、
    前記センサの視野内の対象物の振動を検出するために、前記タイムスタンプおよび前記極性を分析することと、
    前記検出された振動の１つ以上の周波数を決定することと
    を含む方法。
48. 前記１つ以上のピクセル上の照明が増加しているとき、正の極性を決定することと、前記１つ以上のピクセル上の照明が減少しているとき、負の極性を決定することとをさらに含む、請求項４７に記載の方法。
49. 前記出力信号は、前記複数のピクセルのうちの１組のピクセルに関連付けられている、請求項４７または４８のいずれか一項に記載の方法。
50. 前記１つ以上の周波数は、前記出力信号に基づいて、前記１組のピクセルに関連付けられている、請求項４９に記載の方法。
51. 前記センサに関連付けられた読み出しシステムから前記複数のタイムスタンプを抽出することによって、前記タイムスタンプを決定することをさらに含む、請求項４７から５０のいずれか一項に記載の方法。
52. 前記読み出しシステムは、アドレス－イベント表現（ＡＥＲ）プロトコルに基づいて前記１つ以上のタイムスタンプを符号化する、請求項５１に記載の方法。
53. 前記読み出しシステムは、各出力信号について関連するピクセルを識別するアドレスを符号化する、請求項５１または５２のいずれか一項に記載の方法。
54. 前記複数のタイムスタンプを使用して前記１つ以上の極性の変化の間の時間間隔を計算することによって前記タイムスタンプを分析することと、前記計算された時間間隔に基づいて前記１つ以上の周波数を決定することとをさらに含む、請求項４７から５３のいずれか一項に記載の方法。
55. 平均値または中央値、および前記計算された時間間隔に関連付けられた偏差を計算することと、
    前記平均値が計算されるとき、前記平均値の逆数に基づいて前記１つ以上の周波数を決定すること、または前記中央値が計算されるとき、前記中央値の逆数に基づいて前記１つ以上の周波数を決定することと、
    前記偏差が検証しきい値を下回るとき、前記１つ以上の周波数を検証することと
    をさらに含む、請求項５４に記載の方法。
56. 前記検証しきい値は、場合によっては、前記平均値または前記中央値の１％以上、１０％以下である、請求項５５に記載の方法。
57. 前記振動の１つ以上の振幅を決定するために、前記出力信号を分析することをさらに含む、請求項４７から５６のいずれか一項に記載の方法。
58. 前記出力信号に空間フィルタを適用し、前記適用された空間フィルタに基づいて、前記１つ以上の振幅を決定することをさらに含む、請求項５７に記載の方法。
59. 前記振動を受ける対象物の形状を決定し、前記１つ以上の振幅を決定するために、前記出力信号に対して２次元形状追跡を実行することをさらに含む、請求項５７または５８のいずれか一項に記載の方法。
60. 反復最近接点アルゴリズムを適用することによって、２次元形状追跡を実行することをさらに含む、請求項５９に記載の方法。
61. 単位時間内の前記複数のピクセルのうちの少なくとも１つからの照明の変化の数を決定し、前記１つ以上の振幅を決定するために、前記少なくとも１つのピクセルに関連付けられた前記１つ以上の周波数の決定された周波数によって前記変化の数を正規化することをさらに含む、請求項４７から６０のいずれか一項に記載の方法。
62. 前記時間単位は、１ｍｓ以下である、請求項６１に記載の方法。
63. 前記センサの前記視野内の前記対象物に光を投射することをさらに含む、請求項４７から６２のいずれか一項に記載の方法。
64. 一定の照明を有する光を投射することをさらに含む、請求項６３に記載の方法。
65. 構造化された照明パターンを含む光を投射することをさらに含む、請求項６３に記載の方法。
66. 前記対象物の少なくとも１つの表面に対して斜めの角度で前記光を投射することをさらに含む、請求項６３から６５のいずれか一項に記載の方法。
67. 時間しきい値以上の時間差に関連付けられたタイムスタンプを排除することをさらに含む、請求項４７から６６のいずれか一項に記載の方法。
68. 前記時間しきい値は、１ｍｓ以上である、請求項６７に記載の方法。
69. 少なくとも１つのプロセッサによって実行されると、請求項４７から６８のいずれか一項に記載の前記方法を実行するように前記少なくとも１つのプロセッサを構成する命令を含む、非一時的コンピュータ可読媒体。

Images