JP2023080101A - 情報処理装置および情報処理システム - Google Patents

情報処理装置および情報処理システム Download PDF

Info

Publication number
JP2023080101A
JP2023080101A JP2023041657A JP2023041657A JP2023080101A JP 2023080101 A JP2023080101 A JP 2023080101A JP 2023041657 A JP2023041657 A JP 2023041657A JP 2023041657 A JP2023041657 A JP 2023041657A JP 2023080101 A JP2023080101 A JP 2023080101A
Authority
JP
Japan
Prior art keywords
event
image
droplet
signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023041657A
Other languages
English (en)
Other versions
JP7318150B2 (ja
Inventor
弘剛 新倉
Hirotake Niikura
佳孝 宮谷
Yoshitaka Miyatani
敦丈 小菅
Atsutake Kosuge
大輝 中川
Daiki Nakagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020161034A external-priority patent/JP7317783B2/ja
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2023041657A priority Critical patent/JP7318150B2/ja
Publication of JP2023080101A publication Critical patent/JP2023080101A/ja
Application granted granted Critical
Publication of JP7318150B2 publication Critical patent/JP7318150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

Figure 2023080101000001
【課題】ディスペンサによる液滴を的確に検出できるようにする。
【解決手段】情報処理装置は、光信号を光電変換し、画素信号を出力する画素を有し、画素信号に基づき、光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、イベント信号に基づき、ディスペンサから噴射された液滴を検出するプロセッサとを備え、プロセッサは、イベントセンサからのイベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成したイベント画像に基づいて、ディスペンサによる液滴の噴射を制御する制御情報を生成する。本技術は、例えば、ディスペンサを制御するディスペンサ制御システム等に適用できる。
【選択図】図１

Description

本技術は、情報処理装置および情報処理システムに関し、特に、ディスペンサによる液滴を的確に検出することができるようにした情報処理装置および情報処理システムに関する。
半導体製造工程において、ディスペンサを用いて、接着剤等の液体を基板やリードフレーム等に塗布する工程がある。カメラによってディスペンサから吐出される液滴の体積を測定し、ディスペンサへパラメータをフィードバック制御することで、液滴量の調整を行う滴下量測定システムが提案されている（例えば、特許文献１参照）。
特開２００６－１９５４０２号公報
ディスペンサから吐出される液滴を撮影するカメラとして、フレームレートが１０００fps程度の高速カメラを用いた場合、１個の液滴に対して３枚程度しか撮影できないため、液滴を正確に捉えることが難しい。
本技術は、このような状況に鑑みてなされたものであり、ディスペンサによる液滴を的確に検出することができるようにするものである。
本技術の第１の側面の情報処理装置は、光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、前記イベント信号に基づき、ディスペンサから噴射された液滴を検出するプロセッサとを備え、前記プロセッサは、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成した前記イベント画像に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する。
本技術の第２の側面の情報処理システムは、所定の液体を噴射するディスペンサと、光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、前記イベント信号に基づき、前記ディスペンサから噴射された液滴を検出するプロセッサとを備え、前記プロセッサは、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成した前記イベント画像に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する。
本技術の第１および第２の側面においては、光信号を光電変換し、画素信号を出力する画素がイベントセンサに設けられ、前記画素信号に基づき、前記光信号の時間的輝度変化がイベント信号として出力され、前記イベント信号に基づき、ディスペンサから噴射された液滴が検出される。また、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像が生成され、生成した前記イベント画像に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報が生成される。
情報処理装置、及び、情報処理システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用したディスペンサ制御システムの第１の実施の形態の構成例を示す図である。 図１のディスペンサ制御システムによる液滴制御を説明する図である。 EVSカメラが出力するイベントデータの例を示す図である。 イベントデータのフレームデータを生成する方法を説明する図である。 イベントデータに基づいて生成したイベント画像の例を示す図である。 照明装置の第１の配置例を示す図である。 照明装置の第２の配置例を示す図である。 液滴の移動方向に対するEVSカメラの撮影の向きを示す図である。 液滴の体積を計測する場合の撮影方法を説明する図である。 制御装置の機能的構成例を示すブロック図である。 第１フレーム処理部によるイベント画像と表示用画像の生成を説明する図である。 第１フレーム処理部によるイベント画像と表示用画像の生成を説明する図である。 第１フレーム処理部によるイベント画像と表示用画像の生成を説明する図である。 第１フレーム処理部による第１のフレーム化処理を説明するフローチャートである。 第２フレーム処理部による再構成画像の生成を説明する図である。 第２フレーム処理部による再構成画像の生成を説明する図である。 第２フレーム処理部による第２のフレーム化処理を説明するフローチャートである。 一定時間経過後の再構成画像の例を示す図である。 第２のフレーム化処理におけるノイズ除去処理の例を説明する図である。 ノイズ除去処理部によるノイズ除去処理を説明する図である。 液滴検出部による液滴検出処理を説明する図である。 液滴検出部による液滴検出処理を説明する図である。 液滴検出部による液滴検出処理を説明する図である。 液滴のサイズの算出方法を説明する図である。 液滴検出部による液滴検出処理を説明するフローチャートである。 液滴追跡部による探索処理を説明する図である。 液滴追跡部による探索処理を説明する図である。 液滴追跡部による液滴追跡処理を説明するフローチャートである。 ディスペンサ制御システムによる液滴制御処理を説明するフローチャートである。 DNNを説明する図である。 DNNを用いた液滴制御処理を説明するフローチャートである。 DNNを用いた液滴制御処理を説明するフローチャートである。 本技術を適用したディスペンサ制御システムの第２実施の形態の構成例を示している。 第２実施の形態におけるEVSカメラとRGBカメラの他の配置例を示す図である。 本技術を適用したディスペンサ制御システムの第３実施の形態の構成例を示している。 EVSカメラの構成例を示すブロック図である。 撮像素子の概略構成例を示す斜視図である。 受光チップの構成例を示す平面図である。 検出チップの構成例を示す平面図である。 アドレスイベント検出部の詳細を示す平面図である。 アドレスイベント検出回路の構成例を示すブロック図である。 電流電圧変換回路の詳細構成を示す図である。 減算器および量子化器の詳細構成を示す図である。 受光チップと検出チップの他の配置例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．ディスペンサ制御システムの第１実施の形態
２．イベントデータの例
３．液滴の撮影方法
４．制御装置の構成例
５．第１フレーム処理部の処理
６．第２フレーム処理部の処理
７．ノイズ除去処理部の処理
８．液滴検出部の処理
９．液滴追跡部の処理
１０．ディスペンサ制御システムの液滴制御処理
１１．DNNの適用
１２．ディスペンサ制御システムの第２実施の形態
１３．ディスペンサ制御システムの第３実施の形態
１４．まとめ
１５．コンピュータ構成例
＜１．ディスペンサ制御システムの第１実施の形態＞
図１は、本技術を適用したディスペンサ制御システムの第１実施の形態の構成例を示している。
図１のディスペンサ制御システム１は、ディスペンサ１１、EVSカメラ１２、制御装置１３、および、ディスプレイ１４を有し、ディスペンサ１１による液滴の噴射を制御するシステムである。
ディスペンサ１１は、コンベア２２上に載置されて搬送される基板２１をターゲットとして所定の液体を噴射する。ディスペンサ１１から噴射された液体は、液滴１０となって基板２１に向けて落下する。
EVSカメラ１２は、光信号を光電変換し、画素信号を出力する画素を有し、画素信号に基づき、光信号の時間的輝度変化をイベント信号（イベントデータ）として出力するイベントセンサを備えるカメラである。このようなイベントセンサは、EVS(event-based vision sensor)とも呼ばれる。一般的なイメージセンサを備えるカメラは、垂直同期信号に同期して撮影を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するが、EVSカメラ１２は、イベントが発生したタイミングにおいてのみイベントデータを出力するため、非同期型（又はアドレス制御型）のカメラであるということができる。
EVSカメラ１２は、ディスペンサ１１から噴射された液滴１０に基づく時間的輝度変化をイベントとして検出し、イベントデータを制御装置１３に出力する。
制御装置１３は、EVSカメラ１２から出力されてきたイベントデータに基づいて、ディスペンサ１１による液滴１０を検出し、液滴１０の噴射を制御する制御情報を生成して、ディスペンサ１１へ出力する。また、制御装置１３は、EVSカメラ１２から出力されたイベントデータに基づいて、作業者がモニタリングするための表示用画像を生成し、ディスプレイ１４に表示させる。
図２は、ディスペンサ制御システム１による液滴制御を説明する図である。
ディスペンサ１１が液滴１０を噴射するタイミングや液滴１０の速度などが適切でない場合、図２の左側のように、コンベア２２上を流れる基板２１に液滴１０が的確に塗布されない。制御装置１３は、EVSカメラ１２から出力されてきたイベントデータに基づいて、液滴１０の位置、速度、移動方向などの少なくとも１つを含む液滴１０の軌跡情報を算出する。そして、制御装置１３は、算出した液滴１０の軌跡情報に基づいて、液滴１０の噴出タイミングや噴出の強さ、噴射方向、などを制御するパラメータを、フィードバック制御情報としてディスペンサ１１へフィードバックする。また、制御装置１３は、イベントデータに基づいて液滴１０のサイズや体積等も算出し、液滴１０の量や粘度も制御することができる。これにより、図２の右側に示されるように、適切なタイミングや量の液滴１０を基板２１へ塗布することができる。フィードバック制御情報としてどのようなパラメータをディスペンサ１１へ供給するかは適宜決定することができる。また、導電性物体が飛散するとショートにつながり、不良品となるため、サテライトと呼ばれる液滴１０本体以外の液滴等も検出することができる。
＜２．イベントデータの例＞
図３は、EVSカメラ１２が出力するイベントデータの例を示している。
EVSカメラ１２は、例えば、図３に示されるように、イベントが発生した時刻ti、イベントが発生した画素の位置を表す座標(xi, yi)、及び、イベントとしての輝度変化の極性piを含むイベントデータを出力する。
イベントの時刻tiは、イベントが発生したときの時刻を表すタイムスタンプであり、例えば、センサ内の所定のクロック信号に基づくカウンタのカウント値で表される。イベントが発生したタイミングに対応するタイムスタンプは、イベントどうしの間隔がイベントの発生時のまま維持されている限り、イベントが発生した（相対的な）時刻を表す時刻情報であるということができる。
極性piは、所定の閾値を超える輝度変化（光量変化）がイベントとして発生した場合の輝度変化の方向を表し、輝度変化がプラス方向の変化（以下、ポジティブともいう。）か、または、マイナス方向の変化（以下、ネガティブともいう。）かを表す。イベントの極性piは、例えば、ポジティブのとき“１”で表され、ネガティブのとき“０”で表される。
図３のイベントデータにおいて、あるイベントの時刻tiと、そのイベントに隣接するイベントの時刻ｔi+1との間隔は、一定であるとは限らない。すなわち、イベントの時刻tiとｔi+1とは、同一の時刻であることもあるし、異なる時刻であることもある。但し、イベントの時刻ti及びｔi+1については、式ti<=ｔi+1で表される関係があることとする。
イベントデータは、垂直同期信号に同期して、フレーム周期で出力されるフレーム形式の画像データ（フレームデータ）と異なり、イベントの発生ごとに出力される。そのため、イベントデータについては、そのままでは、フレームデータに対応する画像を表示するプロジェクタ等のディスプレイで、画像を表示することや、識別器（分類器）に入力して画像処理に用いることができない。イベントデータは、フレームデータに変換する必要がある。
図４は、イベントデータからフレームデータを生成する方法の例を説明する図である。
図４では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの画素としての座標(x, y)にプロットされている。
すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの画素(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図４では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
EVSカメラ１２から出力されるイベントデータを画素値として、所定のフレーム間隔ごとに、所定のフレーム間隔の先頭から所定のフレーム幅内のイベントデータを用いて、イベント画像を生成することができる。
フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。
ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。
イベント画像の生成は、例えば、イベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
その他、フレームデータの生成は、イベントデータについて、イベントとしての光量変化の極性を区別する場合には、例えば、極性がポジティブである場合には画素を白色にセットし、極性がネガティブである場合には画素を黒色にセットし、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
図５は、イベントデータに基づいて生成したイベント画像の例を示している。
図５の画像３１は、EVSカメラ１２の検出対象を、RGB画像を出力するイメージセンサで撮影した画像である。画像３１には、背景である本棚の前を人物が歩くシーンが撮影されている。この撮影シーンをEVSカメラ１２で検出し、出力されたイベントデータに基づいてフレームデータを生成すると、イベント画像３２のようになる。イベント画像３２は、極性がポジティブである画素に白色がセットされ、極性がネガティブである画素に黒色がセットされ、フレームの他の位置の画素にはグレーがセットされて生成されている。
＜３．液滴の撮影方法＞
図６および図７は、EVSカメラ１２と照明装置の配置関係の例を示している。
照明装置６１は、液滴１０の背景が均一となり、かつ、液滴１０とのコントラストが発生するような位置に設定され、液滴１０に光を照射する。
図６は、照明装置６１の第１の配置例を示す図である。
第１の配置例では、図６のAに示されるように、EVSカメラ１２と照明装置６１とが、液滴１０を挟むように対向して配置される。換言すれば、照明装置６１は液滴１０の後ろから照明し、EVSカメラ１２は、背面から照明された液滴１０の輝度変化を検出する。照明装置６１の前には、拡散板６２が配置されている。この配置で液滴１０が撮影された場合、図６のBに示されるように、液滴１０は、黒色のシルエットとして捉えられる。
図７は、照明装置６１の第２の配置例を示す図である。
第２の配置例では、図７のAに示されるように、液滴１０に対して、EVSカメラ１２と照明装置６１が同じ方向に配置される。液滴１０の背景側には、黒色の反射防止板６３等が配置され、光の反射が防止される。この配置で液滴１０が撮影された場合、図７のBに示されるように、液滴１０は、白色のシルエットとして捉えられる。
本実施の形態では、照明装置６１の配置として、図７に示した第２の配置例を採用することとし、EVSカメラ１２が、照明装置６１と同じ方向から液滴１０を撮影する。
図８は、液滴１０の移動方向に対するEVSカメラ１２の撮影の向きを示す図である。
EVSカメラ１２は、輝度変化を検出する画素が行列状に２次元配置された受光部５１を有する。受光部５１の図８における縦方向をｘ軸方向、図８における横方向をｙ軸方向とすると、EVSカメラ１２は、イベントが発生したとき、受光部５１のｘ軸方向の列単位で、信号を読み出す読出し動作を行う。この場合、図８に示されるように、画素信号の読み出し方向と、液滴１０の移動方向とが一致するように、EVSカメラ１２の向きが配置される。これにより、例えば、EVSカメラ１２の受光部５１内を複数の液滴１０が通過する場合、画素信号の読出し方向に沿って複数の液滴１０が配置されるので、１列の画素信号の読み出しで、複数の液滴１０の信号を同時に取得することができる。
また、EVSカメラ１２は、受光部５１の全領域に対して所定の注目領域５２を設定し、設定された注目領域５２の信号のみを読み出すようにすることができる。画素の読み出し方向と液滴１０の移動方向とが一致するように配置したことにより、信号の読み出しを行う列数（ｙ軸方向の画素数）を少なくして、読出し速度（検出速度）を向上させることができる。
図９は、液滴１０の体積を計測する場合の撮影方法を説明する図である。
液滴１０の体積を計測する場合、液滴１０の落下方向に対して垂直な平面における液滴１０の面積を計測する必要がある。そのため、EVSカメラ１２は、図９のAまたはBのいずれかの方法で、直交する２方向から液滴１０を検出する。図９において、紙面に垂直な方向が液滴１０の落下方向を表す。
図９のAは、体積を計測する場合の液滴１０の第１の撮影方法の例である。
第１の撮影方法は、EVSカメラ１２の前方にプリズム４１を配置して、１つのEVSカメラ１２が、液滴１０を直視する第１の方向と、プリズム４１を介して第１の方向に直交する第２の方向との２方向の液滴１０を１度に検出する方法である。
図９のBは、体積を計測する場合の液滴１０の第２の撮影方法の例である。
第２の撮影方法は、２台のEVSカメラ１２Aおよび１２Bを直交する方向に配置して、２台のEVSカメラ１２Aおよび１２Bそれぞれが１方向から撮影することにより、直交する２方向の液滴１０を検出する方法である。EVSカメラ１２Aおよび１２Bのタイムスタンプは同期して撮影される。
後述する液滴制御処理では、液滴１０の横幅を算出することとして体積の算出は省略するが、液滴１０の体積を算出する場合には、上述した第１または第２の撮影方法で撮影した結果から算出される液滴１０の面積と、液滴１０の移動方向の長さとから、液滴１０の体積が算出される。
＜４．制御装置の構成例＞
図１０は、制御装置１３の機能的構成例を示すブロック図である。
制御装置１３は、前処理部１０１、画像出力部１０２、液滴検出部１０３、液滴追跡部１０４、および、パラメータ判定部１０５を備える。
前処理部１０１は、液滴１０を検出するための前処理として、EVSカメラ１２から出力されてくるイベントデータに基づいて、イベント画像、再構成画像、および、表示用画像の３種類の画像を生成する。
前処理部１０１は、フレーム化処理部１１１とノイズ除去処理部１１２とを備え、フレーム化処理部１１１は、第１フレーム処理部１２１と第２フレーム処理部１２２とを備える。
第１フレーム処理部１２１は、EVSカメラ１２からのイベントデータに基づいてイベント画像を生成する。第１フレーム処理部１２１は、イベント画像として、ポジティブイベントに基づくポジティブイベント画像と、ネガティブイベントに基づくネガティブイベント画像とを生成する。また、第１フレーム処理部１２１は、ポジティブイベント画像とネガティブイベント画像とに基づいて、表示用画像も生成する。
第２フレーム処理部１２２は、EVSカメラ１２からのイベントデータに基づいて輝度値を推定して構成した再構成画像を生成する。
フレーム化処理部１１１は、生成したイベント画像と再構成画像をノイズ除去処理部１１２へ供給するとともに、表示用画像を画像出力部１０２へ供給する。図１３および図１８で後述するように、イベント画像と再構成画像は、白と黒の２値画像で構成され、表示用画像は、白、黒、およびグレーの３値画像で構成される。
ノイズ除去処理部１１２は、２値画像であるイベント画像と再構成画像のそれぞれに対し、ノイズを除去するノイズ除去処理を行う。具体的な処理については図２０を参照して後述するが、ノイズ除去処理部１１２は、ノイズ除去処理として、白画素に対する膨張処理と収縮処理を用いたフィルタ処理を行う。ノイズ除去処理後のイベント画像と再構成画像は、液滴検出部１０３および液滴追跡部１０４に供給される。
画像出力部１０２は、フレーム化処理部１１１から供給される表示用画像をディスプレイ１４へ供給する。
液滴検出部１０３は、前処理部１０１から供給されるイベント画像と再構成画像それぞれから液滴１０を検出する。液滴検出部１０３は、イベント画像から検出された液滴１０に関する情報を追跡対象の情報として、液滴追跡部１０４に供給する。また、液滴検出部１０３は、再構成画像から検出された液滴１０から、液滴１０のサイズを算出し、パラメータ判定部１０５に供給する。
液滴追跡部１０４は、液滴検出部１０３においてイベント画像から検出された液滴１０を追跡し、液滴１０の位置、速度、移動方向などの少なくとも１つを含む液滴１０の軌跡情報を算出して、パラメータ判定部１０５に供給する。
パラメータ判定部１０５は、液滴追跡部１０４から供給される液滴１０の軌跡情報に基づいて、吐出タイミングや噴射方向などを制御するディスペンサ１１のパラメータが正常な範囲内であるかどうかを判定する。また、パラメータ判定部１０５は、液滴検出部１０３から供給される液滴１０のサイズ(幅)や体積に基づいて、１回あたりの吐出量が正常な範囲内であるかどうかを判定する。パラメータ判定部１０５は、パラメータが正常な範囲内ではないと判定された場合、パラメータを修正するための制御情報を、フィードバック制御情報として生成し、ディスペンサ１１へ出力する。
以下、制御装置１３の各部が実行する処理について、より詳細に説明する。
＜５．第１フレーム処理部の処理＞
初めに、図１１ないし図１４を参照して、第１フレーム処理部１２１によるイベント画像と表示用画像の生成について説明する。
第１フレーム処理部１２１は、EVSカメラ１２からのイベントデータに基づいて、ポジティブイベントに基づくポジティブイベント画像と、ネガティブイベントに基づくネガティブイベント画像とを生成する。
図１１は、第１フレーム処理部１２１がイベント画像を生成する場合の各イベント画像の生成単位を示す図である。
第１フレーム処理部１２１は、時刻T0においてイベントの検出（液滴１０の撮影）を開始し、時刻Ti（iは正の整数）にｉフレーム目のフレーム化、即ちイベント画像の生成を行う。時刻Ti-1から時刻Tiまでの時間Δｔは、図４で説明したフレーム間隔に相当し、１秒間にフレーム化するイベント画像の枚数であるフレームレートFPSの逆数に相当する。
時間Δｔは、フレームレートに対応した１フレームの期間であり、１フレーム期間Δｔとも称する。
第１フレーム処理部１２１は、ｉフレーム目のフレーム化を行う時刻Tiにおいて、EVSカメラ１２からのイベントデータを所定の積分時間ｈ単位でまとめた画像を、ｉフレーム目のイベント画像として生成する。より具体的には、第１フレーム処理部１２１は、時刻tが時刻（Ti－ｈ）から時刻Tiまでのイベントデータに基づいて、ｉフレーム目のイベント画像を生成する。
ここで、所定の積分時間ｈは、１フレーム期間Δｔよりも短い時間である。所定の積分時間ｈを変更すると、図１２に示されるように、イベント画像における液滴１０の形状が変化する。積分時間ｈを１フレーム期間Δｔに固定せず（ｈ＝Δｔと固定せず）、積分時間ｈを１フレーム期間Δｔとは別に設定することにより、フレーム化の頻度（フレームレート）と、イベント画像における液滴１０の形状を別々に設定することができる。
第１フレーム処理部１２１は、時刻（Ti－ｈ）から時刻Tiまでの所定の積分時間ｈにおいて、ポジティブイベントが検出された画素(x, y)の画素値を１（白）、その他の画素の画素値を０（黒）とする２値画像を生成し、ｉフレーム目のポジティブイベント画像とする。
また、第１フレーム処理部１２１は、時刻（Ti－ｈ）から時刻Tiまでの所定の積分時間ｈにおいて、ネガティブイベントが検出された画素(x, y)の画素値を１（白）、その他の画素の画素値を０（黒）とする２値画像を生成し、ｉフレーム目のネガティブイベント画像とする。
さらに、第１フレーム処理部１２１は、ｉフレーム目のポジティブイベント画像において１（白）の画素の画素値を２５５（白）、ｉフレーム目のネガティブイベント画像において１（白）の画素の画素値を０（黒）、その他の画素の画素値を１２８（グレー）とする３値画像を生成し、ｉフレーム目の表示用画像とする。
図１３は、第１フレーム処理部１２１によって生成される、ポジティブイベント画像、ネガティブイベント画像、および、表示用画像の例を示している。
図１４のフローチャートを参照して、第１フレーム処理部１２１により実行される第１のフレーム化処理について説明する。この処理は、例えば、EVSカメラ１２の撮影開始と同時に開始される。
第１フレーム処理部１２１は、イベントが検出されたタイミングでEVSカメラ１２から供給されるイベントデータを取得しながら、図１４の第１のフレーム化処理を実行する。
時刻情報（時刻ｔ）は、EVSカメラ１２と制御装置１３とで同期している。
初めに、ステップＳ１１において、第１フレーム処理部１２１は、フレーム番号を識別する変数ｉに１を設定する。
ステップＳ１２において、第１フレーム処理部１２１は、時刻ｔが時刻（Ti－ｈ）より大きく、時刻Ti以下であるかを判定し、時刻ｔが時刻（Ti－ｈ）より大きく、時刻Ti以下であると判定されるまで、ステップＳ１２の判定処理を繰り返す。
そして、ステップＳ１２において、時刻ｔが時刻（Ti－ｈ）より大きく、時刻Ti以下であると判定された場合、処理はステップＳ１３に進み、EVSカメラ１２から供給されたイベントデータの極性pがポジティブであるかを判定する。
ステップＳ１３で、EVSカメラ１２から供給されたイベントデータの極性pがポジティブであると判定された場合、処理はステップＳ１４に進み、第１フレーム処理部１２１は、EVSカメラ１２から供給されたイベントデータのイベント発生箇所に対応するポジティブイベント画像の画素の画素値を“１”に設定する。
一方、ステップＳ１３で、EVSカメラ１２から供給されたイベントデータの極性pがネガティブであると判定された場合、処理はステップＳ１５に進み、第１フレーム処理部１２１は、EVSカメラ１２から供給されたイベントデータのイベント発生箇所に対応するネガティブイベント画像の画素の画素値を“１”に設定する。
ステップＳ１４またはＳ１５の後、処理はステップＳ１６に進み、第１フレーム処理部１２１は、時刻ｔが時刻Tiを超えたかを判定する。ステップＳ１６で、時刻ｔがまだ時刻Tiを超えていないと判定された場合、処理はステップＳ１３に戻り、上述したステップＳ１３ないしＳ１６の処理が繰り返される。
一方、ステップＳ１６で、時刻ｔが時刻Tiを超えたと判定された場合、処理はステップＳ１７に進み、第１フレーム処理部１２１は、ｉフレーム目のポジティブイベント画像、ネガティブイベント画像、および、表示用画像を生成する。より具体的には、第１フレーム処理部１２１は、ポジティブイベント画像として、上述したステップＳ１４において画素値を“１”に設定した画素を白、その他の画素を黒とする２値画像を生成する。また、第１フレーム処理部１２１は、ネガティブイベント画像として、上述したステップＳ１５
において画素値を“１”に設定した画素を白、その他の画素を黒とする２値画像を生成する。さらに、第１フレーム処理部１２１は、表示用画像として、ポジティブイベント画像
において画素値を“１”に設定した画素の画素値を２５５（白）、ネガティブイベント画像において画素値を“１”に設定した画素の画素値を０（黒）、その他の画素の画素値を
１２８（グレー）とする３値画像を生成する。
次に、ステップＳ１８において、第１フレーム処理部１２１は、フレーム番号を識別する変数ｉを１だけインクリメントさせた後、処理をステップＳ１２に戻す。その後、上述したステップＳ１２ないしＳ１８の処理が繰り返し実行され、ディスペンサ制御システム１全体または制御装置１３の動作終了が指示されたとき、図１４の第１のフレーム化処理が終了する。
以上のように、第１のフレーム化処理によれば、イベントの発生箇所に応じて所定の画素値を設定することで、ポジティブイベント画像およびネガティブイベント画像が生成される。
＜６．第２フレーム処理部の処理＞
次に、図１５ないし図１８を参照して、第２フレーム処理部１２２による再構成画像の生成について説明する。
第２フレーム処理部１２２は、EVSカメラ１２からのイベントデータに基づいて輝度値を推定して構成した再構成画像を生成する。
ポジティブイベント画像とネガティブイベント画像は、図１３に示したように、背景との輝度変化によって、液滴１０の移動方向の先端と後端に対応する部分が抽出されるため、液滴１０全体の形状やサイズはわからない。そこで、第２フレーム処理部１２２は、供給されるイベントデータから輝度値を簡易的に復元することにより再構成画像を生成し、液滴１０全体のシルエットを認識できるようにする。
例えば、図１５の左側のグラフに示されるように、所定の画素（x,y）において、時刻ｔ1から時刻ｔ2でポジティブイベント（“１”）が発生し、時刻ｔ2から時刻ｔ3でポジティブイベント（“１”）が発生し、時刻ｔ4から時刻ｔ5でネガティブイベント（“０”）
が発生し、時刻ｔ5から時刻ｔ6でネガティブイベント（“０”）が発生したとする。
ポジティブイベントの輝度の閾値がｄ１、ネガティブイベントの輝度の閾値がｄ２である場合、第２フレーム処理部１２２は、図１５の右側のグラフに示されるように、画素（x,y）の輝度値として、時刻ｔ1から時刻ｔ2のポジティブイベントに応じてｄ１を加算し、時刻ｔ2から時刻ｔ3のポジティブイベントに応じてｄ１を加算し、時刻ｔ4から時刻ｔ5のネガティブイベントに応じてｄ２を減算し、時刻ｔ5から時刻ｔ6のネガティブイベントに応じてｄ２を減算した値を、画素（x,y）の輝度値と推定する。このように、過去に発生したイベントに応じた輝度を累積することにより、輝度値を簡易的に復元し、再構成画像を生成することができる。なお、閾値ｄ１と閾値ｄ２は、同じ値でもよいし、異なっていてもよい。
本実施の形態では、図７に示した照明配置により液滴１０を撮影しているので、背景が最も暗い状態となる。背景の輝度値を０とすると、輝度値が０よりも小さい負の値になることはないため、第２フレーム処理部１２２は、上述した輝度値の累積により、輝度値が負の値になった場合には、０にリセットする処理を行う。
図１６は、第２フレーム処理部１２２が再構成画像を生成する場合の具体的処理を説明する図である。
第２フレーム処理部１２２は、時刻Tiごと、すなわち、フレームレートに対応するフレームレート期間単位で、再構成画像を生成する。例えば、ｉフレーム目の再構成画像を生成する場合、第２フレーム処理部１２２は、イベント検出を開始した時刻T0から、ｉフレーム目のフレーム化を行う時刻Tiまでの過去の全てのイベントを累積することにより、輝度値を推定した再構成画像を生成する。
より具体的には、例えば、図１６の上段に示されるように、１フレーム目の再構成画像FR1は、時刻T0から時刻T1までのイベントを累積することにより生成される。２フレーム目の再構成画像FR2は、時刻T0から時刻T2までのイベントを累積することにより生成される。３フレーム目の再構成画像FR3は、時刻T0から時刻T3までのイベントを累積することにより生成される。
ただし、実際の計算では、図１６の下段に示されるように、ｉフレーム目の再構成画像FRiを生成する場合、その前のフレームの再構成画像FRi-1の輝度値に、次のフレーム
レート期間（時刻Ti-1から時刻Tiまで）のイベントを累積することにより生成される。
図１７のフローチャートを参照して、第２フレーム処理部１２２により実行される第２のフレーム化処理について説明する。この処理は、例えば、EVSカメラ１２の撮影開始と同時に開始される。
第２フレーム処理部１２２は、イベントが検出されたタイミングでEVSカメラ１２から供給されるイベントデータを取得しながら、図１７の第２のフレーム化処理を実行する。
時刻情報（時刻ｔ）は、EVSカメラ１２と制御装置１３とで同期している。
初めに、ステップＳ４１において、第２フレーム処理部１２２は、フレーム番号を識別する変数ｉに１を設定する。
ステップＳ４２において、第２フレーム処理部１２２は、変数ｉが２以上であるか、すなわち、現在のフレームが２フレーム目以降であるかを判定する。
ステップＳ４２で、現在のフレームが２フレーム目以降ではない、即ち、現在のフレームが１フレーム目であると判定された場合、処理はステップＳ４３に進み、第２フレーム処理部１２２は、全画素の画素値を０に設定した１フレーム目の再構成画像を設定する。
一方、ステップＳ４２で、現在のフレームが２フレーム目以降であると判定された場合、処理はステップＳ４４に進み、第２フレーム処理部１２２は、前フレームの再構成画像を初期値に設定したiフレーム目の再構成画像を設定する。
ステップＳ４５において、第２フレーム処理部１２２は、EVSカメラ１２から供給されたイベントデータの極性pがポジティブであるかを判定する。
ステップＳ４５で、EVSカメラ１２から供給されたイベントデータの極性pがポジティブであると判定された場合、処理はステップＳ４６に進み、第２フレーム処理部１２２は、EVSカメラ１２から供給されたイベントデータのイベント発生箇所に対応する再構成画像の画素の画素値をｄ１だけ加算する。
一方、ステップＳ４５で、EVSカメラ１２から供給されたイベントデータの極性pがネガティブであると判定された場合、処理はステップＳ４７に進み、第２フレーム処理部１２２は、EVSカメラ１２から供給されたイベントデータのイベント発生箇所に対応する再構成画像の画素の画素値をｄ２だけ減算する。
ステップＳ４６またはＳ４７の後、処理はステップＳ４８に進み、第２フレーム処理部１２２は、画素値が負となっている画素があるかを判定し、負となっている画素がないと判定された場合、次のステップＳ４９の処理をスキップする。
一方、ステップＳ４８で、画素値が負となっている画素があると判定された場合、処理はステップＳ４９に進み、第２フレーム処理部１２２は、負となっている画素値を０にリセットする。
続いて、ステップＳ５０において、１フレームの期間に相当するΔｔ時間が経過したかを判定し、まだΔｔ時間が経過していないと判定された場合、処理はステップＳ４５に戻り、上述したステップＳ４５ないしＳ５０の処理が繰り返される。
一方、ステップＳ５０で、Δｔ時間が経過したと判定された場合、処理はステップＳ５１に進み、第２フレーム処理部１２２は、ｉフレーム目の再構成画像を出力する。
次に、ステップＳ５２において、第２フレーム処理部１２２は、フレーム番号を識別する変数ｉを１だけインクリメントさせた後、処理をステップＳ４２に戻す。その後、上述したステップＳ４２ないしＳ５２の処理が繰り返し実行され、ディスペンサ制御システム１全体または制御装置１３の動作終了が指示されたとき、図１７の第２のフレーム化処理が終了する。
以上のように、第２のフレーム化処理によれば、輝度の閾値ｄ１およびｄ２に対応して画素値を累積することで、輝度値を推定した再構成画像が生成される。
なお、上述したように、再構成画像の生成では、撮影を開始した時刻T0から、ｉフレーム目のフレーム化を行う時刻Tiまでの過去の全てのイベントを累積するため、撮影開始時に存在せず、途中から写り込んだ物体は、再構成画像において残り続ける。ノイズも蓄積されて残り続ける。
図１８は、撮影を開始した時刻T0に近い初期の再構成画像と、一定時間が経過した後の再構成画像の例を示している。
一定時間経過後の再構成画像には、液滴１０やノイズが一定の箇所に留まって残り続けた部分が発生している。
検出対象の液滴１０は、動体であるため、一定期間静止している物体は除去することが望ましい。
そこで、第２フレーム処理部１２２、第２のフレーム化処理の一部として、次のようなノイズ除去処理を行うことができる。
例えば、第２フレーム処理部１２２が、図１９に示されるように、時刻Tnにｎフレーム目の再構成画像を生成する場合、時刻Tnを基準に過去の所定期間TNRにおいてイベントが発生していない画素の画素値は０とするノイズ除去処理を行うことで、所定期間TNR以上静止している物体を除去することができる。ここで、所定期間TNRは、物体の通過時間より大きく、液滴１０の吐出間隔よりも短い期間（物体の通過時間＜TNR＜液滴１０の吐出間隔）に設定される。物体の通過時間とは、物体が液滴１０の移動方向の距離を通過する時間である。
過去の所定期間TNRにおいてイベントが発生していない画素の画素値を０とするノイズ除去処理は、どのようなアルゴリズムで実行してもよい。例えば、各画素で最後に発生したイベントの時刻情報を保持しておき、最後に発生したイベントの時刻が、フレーム化を行う時刻Tnから所定期間TNRよりも古い時刻である場合に、その画素の画素値を０とするような処理を採用することができる。
＜７．ノイズ除去処理部の処理＞
次に、ノイズ除去処理部１１２によるノイズ除去処理について説明する。
ノイズ除去処理部１１２は、２値画像であるイベント画像と再構成画像のそれぞれに対し、白画素に対する膨張処理と収縮処理を用いたフィルタ処理を、ノイズ除去処理として行う。
初めに、ノイズ除去処理部１１２は、イベント画像と再構成画像のそれぞれに対し、白画素の収縮処理および膨張処理の順番で実行するオープニング処理を実行し、その後、白画素の膨張処理および収縮処理の順番で実行するクロージング処理を実行する。フィルタサイズは例えば、５画素などとされる。
図２０は、ノイズ除去処理部１１２がノイズ除去処理を行う前と後の再構成画像の例を示している。ノイズ除去処理部１１２のノイズ除去処理により、ノイズと推測される小さい白画素が消去されている。
＜８．液滴検出部の処理＞
次に、液滴検出部１０３の処理について説明する。
液滴検出部１０３は、前処理部１０１から供給されるイベント画像と再構成画像それぞれから液滴１０を検出する。例えば、液滴検出部１０３は、イベント画像から液滴１０を検出し、追跡対象の情報として液滴追跡部１０４に供給する。また、液滴検出部１０３は、再構成画像から液滴１０を検出し、検出した液滴１０のサイズを算出して、パラメータ判定部１０５に供給する。なお、再構成画像から検出された液滴１０の結果を、追跡対象の情報として液滴追跡部１０４に供給するようにしてもよいし、イベント画像から検出された液滴１０から、液滴１０のサイズを算出してもよい。
図２１は、液滴検出部１０３による液滴検出処理を説明する図である。
液滴検出部１０３は、前処理部１０１から供給されるイベント画像または再構成画像の２値画像１５１に対してラベリング処理を実行し、２値画像１５１内の液滴１０にラベル１６１を付ける。図２１の例では、２値画像１５１内の３つの液滴１０に対して、ラベル１６１Aないし１６１Cが付されている。
液滴検出部１０３は、検出されたラベル１６１Aないし１６１Cが、２値画像１５１に対して予め設定された２本の境界線１７１をまたがるかを判定し、２本の境界線１７１をまたがるラベルを検出候補として選択する。図２１の例では、ラベル１６１Aが２本の境界線１７１をまたがっており、ラベル１６１Aの液滴１０が検出候補として選択される。
次に、図２２に示されるように、２本の境界線１７１のうち、液滴１０の移動方向に対して反対の上側を境界線１７１A、下側を境界線１７１Bとすると、液滴検出部１０３は、上側の境界線１７１Aから液滴１０の下側の領域を囲む矩形領域１８１に対して、境界線１７１Aより下側の周囲を一定幅拡大した領域１８２の画像を、テンプレート画像として登録（保存）する。液滴検出部１０３は、登録したテンプレート画像を、追跡対象の情報として液滴追跡部１０４に供給する。このように、液滴１０の先端の一部をテンプレート画像として登録し、追跡対象とすることにより、液滴１０が尾を引いた形状であっても追跡することができる。
なお、フレームレートの設定によっては、図２３に示されるように、例えば、テンプレート画像を登録した次のフレーム等において、既に登録済みで液滴追跡部１０４で追跡中のテンプレート画像と同じ液滴１０が検出される場合がある。この場合、液滴検出部１０３は、テンプレート画像として登録（保存）しない。
図２３を参照して具体的に説明すると、所定のフレームにおいて、境界線１７１Aから液滴１０の下側の領域を囲む矩形領域１８１に基づいて、図２３の左側に示されるテンプレート画像１８３が登録される。そして、その次のフレームにおいて、同一の液滴１０が検出候補として選択され、境界線１７１Aから下側の液滴１０の領域を囲む矩形領域１８１’が設定される。しかし、この矩形領域１８１’は、追跡中のテンプレート画像１８３と重なるため、テンプレート画像として登録されない。
図２４は、液滴１０のサイズの算出方法の例を説明する図である。
液滴検出部１０３は、登録したテンプレート画像１８３の１行目における液滴１０の幅１８４を、液滴１０のサイズとして算出する。より具体的には、液滴検出部１０３は、登録したテンプレート画像１８３の１行目における液滴１０の画素数を、液滴１０の幅１８４とする。
なお、上述したように、登録したテンプレート画像１８３の１行目における液滴１０の幅１８４を液滴１０のサイズとして算出してもよいし、その他の算出方法で、液滴１０のサイズを求めてもよい。例えば、登録したテンプレート画像１８３に占める液滴１０の画素数や、登録したテンプレート画像１８３の縦方向と横方向の画素数などを、サイズとして算出してもよい。また、図９を参照して説明した体積を、サイズとして算出してもよい。
次に、図２５のフローチャートを参照して、液滴検出部１０３により実行される液滴検出処理について説明する。この処理は、例えば、イベント画像または再構成画像の２値画像１５１が前処理部１０１から最初に供給されたとき開始される。図２５の液滴検出処理は、前処理部１０１から供給される１枚の２値画像１５１に対する処理である。
初めに、ステップＳ７１において、液滴検出部１０３は、前処理部１０１から供給された１枚の２値画像１５１に対してラベリング処理を実行する。これにより１枚の２値画像１５１に含まれる全ての液滴１０に対してラベル１６１が付される。
ステップＳ７２において、液滴検出部１０３は、２値画像１５１に含まれる１以上のラベル１６１（液滴１０）のなかから、所定の１つのラベル１６１を選択する。
ステップＳ７３において、液滴検出部１０３は、選択したラベル１６１が２本の境界線１７１をまたがるかを判定する。
ステップＳ７３で、選択したラベル１６１が２本の境界線１７１をまたがらないと判定された場合、処理はステップＳ７７へ進む。
一方、ステップＳ７３で、選択したラベル１６１が２本の境界線１７１をまたがると判定された場合、処理はステップＳ７４に進み、液滴検出部１０３は、選択したラベル１６１が追跡中のテンプレート画像と重なるかを判定する。より具体的には、図２３で説明したように、選択したラベル１６１の上側の境界線１７１Aから下側の液滴１０の領域を囲む矩形領域１８１が追跡中のテンプレート画像１８３と重なるかが判定される。
ステップＳ７４で、選択したラベル１６１が追跡中のテンプレート画像と重なると判定された場合、処理はステップＳ７７へ進む。
一方、ステップＳ７４で、選択したラベル１６１が追跡中のテンプレート画像と重ならないと判定された場合、処理はステップＳ７５に進み、液滴検出部１０３は、選択したラベル１６１の先端の一部をテンプレート画像１８３として登録する。より詳しくは、液滴検出部１０３は、選択したラベル１６１の上側の境界線１７１Aから下側の液滴１０の領域を囲む矩形領域１８１に対して、境界線１７１Aより下側の周囲を一定幅拡大した領域１８２を、テンプレート画像１８３として登録する。登録されたテンプレート画像１８３は、液滴追跡部１０４に供給される。
ステップＳ７６において、液滴検出部１０３は、液滴１０のサイズとして、登録したテンプレート画像１８３の１行目における液滴１０の幅１８４を算出する。算出された液滴１０の幅１８４は、パラメータ判定部１０５に供給される。
ステップＳ７７において、液滴検出部１０３は、全てのラベル１６１を選択したかを判定する。
ステップＳ７７で、全てのラベル１６１をまだ選択していないと判定された場合、処理はステップＳ７２に戻り、上述したステップＳ７２ないしＳ７７が再度実行される。すなわち、まだ選択していないラベル１６１が選択され、２本の境界線１７１をまたがるか、追跡中のテンプレート画像と重なるかなどが判定される。
一方、ステップＳ７７で、全てのラベル１６１を選択したと判定された場合、図２５の液滴検出処理が終了する。
図２５の液滴検出処理は、前処理部１０１から供給される１枚の２値画像１５１に対する処理であり、前処理部１０１から順次供給される２値画像１５１に対して、上述した液滴検出処理が実行される。
＜９．液滴追跡部の処理＞
次に、液滴追跡部１０４の処理について説明する。
液滴追跡部１０４は、液滴検出部１０３において検出された液滴１０を追跡し、液滴１０の軌跡情報を算出して、パラメータ判定部１０５に供給する。より具体的には、液滴追跡部１０４は、テンプレート画像１８３が登録されたフレームの次以降のフレームについて、液滴検出部１０３から供給されるテンプレート画像１８３を用いたテンプレートマッチングにより、液滴１０を探索する。
図２６は、テンプレート画像が登録されたフレームから１フレーム目の液滴１０の探索処理を説明する図である。
図２６において、破線で示される液滴１０は、現在のフレームの１つ前のフレーム、すなわち、テンプレート画像１８３が登録されたフレームにおける液滴１０の位置を示している。
液滴追跡部１０４は、１つ前のフレームにおけるテンプレート画像１８３の中心１９１から所定の半径ｒ１の範囲を探索範囲として、現在のフレームの液滴１０を、テンプレートマッチングにより探索する。
図２７は、テンプレート画像が登録されたフレームから２フレーム目以降の液滴１０の探索処理を説明する図である。
図２７において、破線で示される液滴１０は、現在のフレームの１つ前のフレームで探索された液滴１０の位置を示している。位置１９２は、破線の液滴１０に対して探索されたテンプレート画像１８３の中心に対応する。現在のフレームが、テンプレート画像が登録されたフレームから２フレーム目である場合、図２７の位置１９２が、図２６の中心１９１に相当する。
２フレーム目以降の探索では、液滴追跡部１０４は、１フレーム期間Δｔの液滴１０の移動量１９３を算出する。１フレーム期間Δｔの液滴１０の移動量１９３は、１つ前のフレームで検出されたテンプレート画像１８３の中心位置と、２つ前のフレームで検出されたテンプレート画像１８３の中心位置との距離で算出される。
そして、液滴追跡部１０４は、１つ前のフレームのテンプレート画像１８３の位置１９２から、１フレーム期間Δｔの液滴１０の移動量１９３だけ移動した位置１９４を液滴１０の予測位置として算出し、その予測位置を中心に所定の半径ｒ２の範囲を探索範囲として、液滴１０を探索する。ここで、２フレーム目以降の探索範囲を設定する半径ｒ２は、１フレーム目の探索範囲を設定する半径ｒ１よりも小さく設定される（ｒ２＜ｒ１）。
以上のように、テンプレート画像１８３が登録されたフレームの次のフレーム（１フレーム目）では、液滴１０の移動量が予測できないため、テンプレート画像１８３の登録時の中心１９１から半径ｒ１の範囲を探索範囲として、テンプレートマッチングにより、液滴１０が探索される。
一方、テンプレート画像１８３が登録されたフレームから２フレーム目以降では、それより前の探索結果から、液滴１０の移動量が算出できるため、算出した移動量に基づく予測位置を中心に半径ｒ１よりも小さい半径ｒ２を探索範囲として、テンプレートマッチングにより、液滴１０が探索される。
図２８のフローチャートを参照して、液滴追跡部１０４により実行される液滴追跡処理について説明する。この処理は、例えば、イベント画像または再構成画像の２値画像１５１が前処理部１０１から最初に供給されたとき開始される。図２８の液滴追跡処理は、前処理部１０１から供給される１枚の２値画像１５１に対する処理である。
初めに、ステップＳ１０１において、液滴追跡部１０４は、探索中の液滴１０が、テンプレート画像１８３が登録されたフレームから２フレーム目以降の探索であるかを判定する。
ステップＳ１０１で、探索中の液滴１０が２フレーム目以降の探索ではない、すなわち、テンプレート画像１８３が登録されたフレームの次のフレームの探索であると判定された場合、処理はステップＳ１０２へ進み、液滴追跡部１０４は、１つ前のフレームにおけるテンプレート画像１８３の中心１９１から所定の半径ｒ１の範囲を探索範囲に設定する。
一方、ステップＳ１０１で、探索中の液滴１０が２フレーム目以降の探索であると判定された場合、処理はステップＳ１０３へ進み、液滴追跡部１０４は、１つ前のフレームで検出されたテンプレート画像１８３の中心位置と、２つ前のフレームで検出されたテンプレート画像１８３の中心位置とに基づいて、１フレーム期間Δｔの液滴１０の移動量１９３を算出する。
続いて、ステップＳ１０４において、液滴追跡部１０４は、１つ前のフレームのテンプレート画像１８３の位置１９２から、１フレーム期間Δｔの液滴１０の移動量１９３だけ移動した位置１９４を液滴１０の予測位置として算出し、その予測位置を中心に所定の半径ｒ２の範囲を探索範囲に設定する。
ステップＳ１０５において、液滴追跡部１０４は、ステップＳ１０２またはステップＳ１０４で設定された探索範囲内の液滴１０を、テンプレートマッチングにより探索する。
テンプレートマッチングでは、例えば、液滴追跡部１０４は、正規化相互相関による相関値を計算し、相関値が最も高い座標を求める。
ステップＳ１０６において、液滴追跡部１０４は、相関値が所定の閾値以上の画像が検出されたかを判定する。ステップＳ１０６では、ステップＳ１０５で検出された、相関値が最も高い画像の相関値が所定の閾値より小さい場合、相関値が所定の閾値以上の画像が検出されなかったと判定される。一方、ステップＳ１０５で検出された、相関値が最も高い画像の相関値が所定の閾値以上である場合、相関値が所定の閾値以上の画像が検出されたと判定される。
ステップＳ１０６で、相関値が所定の閾値以上の画像が検出されたと判定された場合、処理はステップＳ１０７に進み、液滴追跡部１０４は、追跡中の液滴１０の軌跡情報を更新する。具体的には、液滴追跡部１０４は、追跡中の液滴１０の軌跡情報として保存しておいた、前フレームまでの各フレームの液滴１０の位置情報に、現在のフレームにおける液滴１０の探索結果である位置情報を追加する。
ステップＳ１０８において、液滴追跡部１０４は、テンプレートマッチングで使用するテンプレート画像を、現在のフレームで検出された画像に更新する。なお、ステップＳ１０８の処理は省略し、液滴検出部１０３から供給されたテンプレート画像を継続して使用してもよい。
一方、ステップＳ１０６で、相関値が所定の閾値以上の画像が検出されなかったと判定された場合、処理はステップＳ１０９に進み、液滴追跡部１０４は、液滴１０をロストしたとみなし、それまでの検出で保存された液滴１０の軌跡情報をパラメータ判定部１０５に供給する。
図２８の液滴追跡処理は、前処理部１０１から供給される１枚の２値画像１５１に対する処理であり、前処理部１０１から順次供給される２値画像１５１に対して、上述した液滴検出処理が実行される。追跡中の液滴１０がロストしたとみなされるまで、後続の２値画像１５１に対してテンプレートマッチングにより液滴１０が探索され、軌跡情報が更新される。
なお、各フレームの液滴１０の位置情報を保存し、液滴１０の軌跡情報として、パラメータ判定部１０５に供給することとしたが、液滴１０の軌跡情報は、その他の情報であってもよい。例えば、各フレームの液滴１０の位置から算出された液滴１０の速度や移動方向などを、液滴１０の軌跡情報としてもよい。
＜１０．ディスペンサ制御システムの液滴制御処理＞
次に、図２９のフローチャートを参照して、ディスペンサ制御システム１全体による液滴制御処理について説明する。この処理は、例えば、ディスペンサ制御システム１に対して所定の制御開始操作が行われたとき開始される。
初めに、ステップＳ１４１において、EVSカメラ１２は、ディスペンサ１１から噴射された液滴１０に基づく輝度変化をイベントとして検出し、イベントデータを制御装置１３に出力する。
ステップＳ１４２において、制御装置１３の第１フレーム処理部１２１は、EVSカメラ１２からのイベントデータに基づいてイベント画像と表示用画像を生成する第１のフレーム化処理を実行する。具体的には、第１フレーム処理部１２１は、図１４を参照して説明した第１のフレーム化処理を実行する。
ステップＳ１４３において、制御装置１３の第２フレーム処理部１２２は、EVSカメラ１２からのイベントデータに基づいて輝度値を推定した再構成画像を生成する第２のフレーム化処理を実行する。具体的には、第２フレーム処理部１２２は、図１７を参照して説明した第２のフレーム化処理を実行する。
ステップＳ１４４において、ノイズ除去処理部１１２は、フレーム化処理部１１１により生成されたイベント画像または再構成画像のそれぞれについて、膨張処理と収縮処理のフィルタ処理によるノイズ除去処理を実行する。
ステップＳ１４５において、ディスプレイ１４は、フレーム化処理部１１１により生成された表示用画像を制御装置１３から取得して表示する。
ステップＳ１４６において、制御装置１３の液滴検出部１０３は、前処理部１０１から供給されたイベント画像と再構成画像のそれぞれから、追跡対象としての液滴１０を検出する液滴検出処理を実行する。具体的には、液滴検出部１０３は、図２５を参照して説明した液滴検出処理を実行する。液滴検出処理では、液滴１０のテンプレート画像が液滴追跡部１０４に供給される他、液滴１０の幅１８４が算出されてパラメータ判定部１０５に供給される。
ステップＳ１４７において、制御装置１３の液滴追跡部１０４は、液滴検出部１０３において検出された液滴１０を追跡し、液滴１０の軌跡情報を算出して、パラメータ判定部１０５に供給する液滴追跡処理を実行する。具体的には、液滴追跡部１０４は、図２８を参照して説明した液滴検出処理を実行し、液滴１０の軌跡情報をパラメータ判定部１０５に供給する。
ステップＳ１４８において、制御装置１３のパラメータ判定部１０５は、ディスペンサ１１の制御パラメータが正常な範囲内であるかどうかを判定する異常判定処理を実行する。例えば、パラメータ判定部１０５は、異常判定処理として、液滴検出部１０３から供給された液滴１０の幅１８４、液滴追跡部１０４から供給された液滴１０の軌跡情報に基づいて、ディスペンサ１１の吐出タイミング、吐出量が適正範囲内であるかどうかを判定する。
ステップＳ１４９において、パラメータ判定部１０５は、ディスペンサ１１の制御パラメータを変更するかを判定する。例えば、パラメータ判定部１０５は、ディスペンサ１１の吐出タイミングまたは吐出量が適正範囲内ではないと判定された場合、制御パラメータを変更すると判定される。
ステップＳ１４９で、制御パラメータを変更すると判定された場合、処理はステップＳ１５０へ進み、パラメータ判定部１０５は、パラメータを修正するための制御情報を、フィードバック制御情報として生成し、ディスペンサ１１へ出力する。
一方、ステップＳ１４９で、制御パラメータを変更しないと判定された場合、ステップＳ１５０の処理はスキップされる。
ステップＳ１５１において、制御装置１３は、制御を終了するか否かを判定する。例えば、制御装置１３のパラメータ判定部１０５は、制御終了操作が行われたことが検出された場合、制御を終了すると判定し、それ以外の場合、まだ制御を終了しないと判定する。
ステップＳ１５１で、まだ制御を終了しないと判定された場合、処理はステップＳ１４１へ戻り、上述したステップＳ１４１ないしＳ１５１が繰り返される。
一方、ステップＳ１５１で、制御を終了すると判定された場合、図２９の液滴制御処理が終了する。
液滴制御処理として説明した図２９の各ステップの処理は、説明の便宜上、シーケンシャルな処理として説明したが、実際には、各ステップの処理が並列に実行され、実行結果が後段に順次出力される。
＜１１．DNNの適用＞
上述した液滴制御処理では、EVSカメラ１２からのイベントデータに基づいてイベント画像および再構成画像を生成し、生成したイベント画像または再構成画像から液滴１０の位置、速度、移動方向などを算出して、ディスペンサ１１の制御パラメータが正常な範囲内であるかどうかを判定した。
これに対して、例えば、DNN(Deep Neural Network)を用いてディスペンサ１１の制御パラメータを識別する処理を実行し、ディスペンサ１１の制御パラメータが正常な範囲内であるかどうかを判定してもよい。
DNNは、図３０に示されるように、入力データに対して特徴抽出処理を実行して特徴量を抽出し、抽出された特徴量に基づいて識別処理を実行することにより、識別結果を得る。
例えば、制御装置１３は、入力データとして、イベント画像または再構成画像の少なくとも１つをDNNに与え、識別結果として、ディスペンサ１１の制御パラメータを出力するようなDNNを学習により生成して用いることができる。
図３１は、イベント画像および再構成画像を入力データとしてDNNが識別処理を行うようにした場合の液滴制御処理のフローチャートを示している。
図３１のステップＳ２０１ないしＳ２０５およびＳ２０７ないしＳ２０９は、図２９のステップＳ１４１ないしＳ１４５およびＳ１４９ないしＳ１５１と同一の処理であり、図２９のステップＳ１４６ないしＳ１４８の処理が、図３１のステップＳ２０６におけるDNNによる制御パラメータ識別処理に変更されている。
ステップＳ２０６において、例えば、制御装置１３のDNN処理部は、前処理部１０１から供給されたイベント画像および再構成画像に基づいて、ディスペンサ１１の制御パラメータを識別し、パラメータ判定部１０５に出力する。パラメータ判定部１０５は、ステップＳ２０７において、識別結果としての制御パラメータに基づいて、制御パラメータを変更するか否かを判定する。
あるいはまた、入力データとして、EVSカメラ１２からのイベントデータをそのままDNNに与え、識別結果として、ディスペンサ１１の制御パラメータを出力するようなDNNを学習により生成して用いてもよい。
図３２は、イベントデータを入力データとしてDNNが識別処理を行うようにした場合の液滴制御処理のフローチャートを示している。
図３２のステップＳ２２１およびＳ２２３ないしＳ２２５は、図２９のステップＳ１４１およびＳ１４９ないしＳ１５１と同一の処理であり、図２９のステップＳ１４２ないしＳ１４８の処理が、図３２のステップＳ２２２におけるDNNによる制御パラメータ識別処理に変更されている。
ステップＳ２２２において、例えば、制御装置１３のDNN処理部は、EVSカメラ１２から供給されたイベントデータに基づいて、ディスペンサ１１の制御パラメータを識別し、パラメータ判定部１０５に出力する。パラメータ判定部１０５は、ステップＳ２２３において、識別結果としての制御パラメータに基づいて、制御パラメータを変更するか否かを判定する。
イベントデータが所定の圧縮形式で圧縮されたデータでEVSカメラ１２から出力される場合には、所定の圧縮形式で圧縮されたイベントデータを入力データとしてそのまま学習し、制御パラメータを識別できるようにしてもよい。
識別処理を実行する機械学習は、DNNの他、SNN(Spiking Neural Network)を用いてもよい。
以上の第１実施の形態によれば、EVSカメラ１２が、ディスペンサ１１から噴射された液滴１０に基づく輝度変化をイベントとして検出し、イベントデータを制御装置１３に出力する。制御装置１３は、EVSカメラ１２から出力されてきたイベントデータに基づいて、ディスペンサ１１の液滴１０の噴射を制御する制御情報を生成して、ディスペンサ１１へ出力する。これにより、ディスペンサ１１による液滴を的確に検出して、液滴の噴射を高精度に制御することができる。
＜１２．ディスペンサ制御システムの第２実施の形態＞
図３３は、本技術を適用したディスペンサ制御システムの第２実施の形態の構成例を示している。
図３３において、図１に示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分に注目して説明する。
図３３のディスペンサ制御システム１では、液滴１０を撮影してRGB画像（カラー画像）を出力するRGBカメラ２０１がさらに追加されている。RGBカメラ２０１は、例えば、図３３に示されるように、液滴１０の移動方向にEVSカメラ１２と並んで配置される。EVSカメラ１２の撮影範囲と異なる範囲が、RGBカメラ２０１の撮影範囲として設定される。
制御装置１３は、RGBカメラ２０１から供給されるRGB画像に対して、ラベリング処理、テンプレートマッチング等を行うことにより、液滴１０を検出および追跡する。また、制御装置１３は、RGBカメラ２０１から供給されるRGB画像に基づいて、液滴１０の色および形状などを解析する。制御装置１３は、EVSカメラ１２のイベントデータに基づく液滴１０の軌跡情報との対応をとり、イベント画像または再構成画像の液滴１０の検出情報と、RGB画像に基づく液滴１０の検出情報を統合する。制御装置１３は、統合した検出情報に基づいて、制御パラメータが正常であるかどうかを判定し、フィードバックすることができる。
なお、EVSカメラ１２とRGBカメラ２０１の配置は、図３３のように、液滴１０の移動方向に並んで配置させる構成のほか、例えば、図３４のように、ハーフミラー２１１を介して同一の撮影範囲を撮影する構成としてもよい。
図３３のように、EVSカメラ１２とRGBカメラ２０１とで異なる撮影範囲となるように配置した場合には、EVSカメラ１２とRGBカメラ２０１とで異なる照明条件を設定することができるので、各々のカメラに適した照明を用いることができる。
一方、図３４のように、EVSカメラ１２とRGBカメラ２０１とで同一の撮影範囲を撮影する配置とした場合には、各カメラで検出される液滴１０の対応関係の認識が容易となる。
以上の第２実施の形態によれば、EVSカメラ１２が、ディスペンサ１１から噴射された液滴１０に基づく輝度変化をイベントとして検出し、イベントデータを制御装置１３に出力する。制御装置１３は、EVSカメラ１２から出力されてきたイベントデータに基づいて、ディスペンサ１１の液滴１０の噴射を制御する制御情報を生成して、ディスペンサ１１へ出力する。これにより、ディスペンサ１１による液滴を的確に検出して、液滴の噴射を高精度に制御することができる。また、RGBカメラ２０１が撮影したRGB画像も用いて、液滴１０を的確に検出して、液滴の噴射を制御することができる。
＜１３．ディスペンサ制御システムの第３実施の形態＞
図３５は、本技術を適用したディスペンサ制御システムの第３実施の形態の構成例を示している。
図３５において、図１に示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分に注目して説明する。
図３５に示される第３実施の形態を、図１に示した第１実施の形態と比較すると、第３実施の形態におけるディスペンサ制御システム１は、第１実施の形態におけるEVSカメラ１２と制御装置１３が、EVSカメラ３００に置き換えられた構成となっている。
EVSカメラ３００は、イベントセンサと、第１実施の形態における制御装置１３の機能を実行する処理部とを備える撮像装置である。すなわち、EVSカメラ３００は、ディスペンサ１１から噴射された液滴１０に基づく輝度変化をイベントとして検出し、イベントデータを生成する。また、EVSカメラ３００は、イベントデータに基づいて、ディスペンサ１１の液滴１０の噴射を制御するフィードバック制御情報を生成して、ディスペンサ１１へ出力する。さらに、EVSカメラ３００は、イベントデータに基づいて、作業者がモニタリングするための表示用画像を生成し、ディスプレイ１４に表示させる。
＜EVSカメラの構成例＞
図３６は、図３５のEVSカメラ３００の構成例を示すブロック図である。
EVSカメラ３００は、光学部３１１、撮像素子３１２、記録部３１３、および、制御部３１４を備える。
光学部３１１は、被写体からの光を集光して撮像素子３１２に入射させる。撮像素子３１２は、画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイベントセンサである。
撮像素子３１２は、光学部３１１を介して入射される入射光を光電変換してイベントデータを生成し、記録部３１３に記録させる。また、撮像素子３１２は、イベントデータに基づいて、ディスペンサ１１の液滴１０の噴射を制御するフィードバック制御情報を生成して、ディスペンサ１１へ出力する。さらに、撮像素子３１２は、イベントデータに基づいて表示用画像を生成し、ディスプレイ１４に出力する。
記録部３１３は、撮像素子３１２から供給されるイベントデータ、イベント画像等を所定の記録媒体に記録して蓄積する。制御部３１４は、撮像素子３１２を制御する。例えば、制御部３１４は、撮像素子３１２に対して、撮像の開始および終了を指示したり、イベント画像のフレームレートなどを指定する。
図３７は、撮像素子３１２の概略構成例を示す斜視図である。
撮像素子３１２は、受光チップ３２１と、検出チップ３２２とを貼り合わせて積層した積層構造で構成されている。受光チップ３２１と検出チップ３２２とは、例えば、ビア、Cu-Cu接合やバンプなどの接続部を介して電気的に接続されている。
図３８は、受光チップ３２１の構成例を示す平面図である。
受光チップ３２１は、チップ中央部に形成された受光部３４１と、受光部３４１の外側の外周部に形成された１以上のビア配置部３４２とを備える。図３８の例では、３つのビア配置部３４２がチップ外周の角部に設けられている。
受光部３４１には、複数のフォトダイオード３５１が二次元格子状に配列されている。
フォトダイオード３５１は、入射光を光電変換して光電流を生成する。フォトダイオード３５１のそれぞれには、行アドレスおよび列アドレスからなる画素アドレスが割り当てられ、画素として扱われる。ビア配置部３４２には、検出チップ３２２と電気的に接続されるビアが配置されている。
図３９は、検出チップ３２２の構成例を示す平面図である。
検出チップ３２２は、１以上のビア配置部３６１と、アドレスイベント検出部３６２、行駆動回路３６３、列駆動回路３６４、および、信号処理回路３６５とを備える。
ビア配置部３６１は、受光チップ３２１のビア配置部３４２と対応する位置に設けられ、ビアを介して受光チップ３２１と電気的に接続する。図３９では、図３８の３つのビア配置部３４２に対応する位置に、それぞれ、ビア配置部３６１が設けられており、合計３個のビア配置部３６１が検出チップ３２２上に形成されている。
アドレスイベント検出部３６２は、受光チップ３２１の複数のフォトダイオード３５１それぞれの光電流から検出信号を生成して、信号処理回路３６５に出力する。検出信号は、入射光の光量が所定の閾値を超えた旨をアドレスイベントとして検出したか否かを示す１ビットの信号である。
行駆動回路３６３は、アドレスイベント検出部３６２の所定の行アドレスを選択して、選択した行アドレスの検出信号を信号処理回路３６５へ出力させる。
列駆動回路３６４は、アドレスイベント検出部３６２の所定の列アドレスを選択して、選択した列アドレスの検出信号を信号処理回路３６５へ出力させる。
信号処理回路３６５は、アドレスイベント検出部３６２から出力されてくる検出信号に対して所定の信号処理を実行する。例えば、信号処理回路３６５は、アドレスイベント検出部３６２から出力されてくる検出信号に基づいて、イベントデータを生成し、さらに、イベント画像、再構成画像、および、表示用画像を生成する処理を実行する。また、信号処理回路３６５は、生成したイベント画像および再構成画像に基づいて、ディスペンサ１１の制御パラメータが正常範囲内であるかどうかを判定し、正常範囲外であると判定された場合に、フィードバック制御情報を生成して出力する。したがって、第３実施の形態においては、図１の制御装置１３で実行される処理が、信号処理回路３６５で実行される。
図４０は、アドレスイベント検出部３６２の詳細を示す平面図である。
アドレスイベント検出部３６２には、複数のアドレスイベント検出回路３７１が二次元格子状に配列されている。アドレスイベント検出回路３７１は、例えば、受光チップ３２１上のフォトダイオード３５１と１対１に配置される。各アドレスイベント検出回路３７１は、対応するフォトダイオード３５１と、ビアやCu-Cu接合などにより電気的に接続されている。
図４１は、アドレスイベント検出回路３７１の構成例を示すブロック図である。
アドレスイベント検出回路３７１は、電流電圧変換回路３８１、バッファ３８２、減算器３８３、量子化器３８４、および、転送回路３８５を備える。
電流電圧変換回路３８１は、対応するフォトダイオード３５１からの光電流を電圧信号に変換する。電流電圧変換回路３８１は、光電流の対数値に応じた電圧信号を生成し、バッファ３８２に出力する。
バッファ３８２は、電流電圧変換回路３８１からの電圧信号をバッファリングし、減算器３８３に出力する。このバッファ３８２により、後段のスイッチング動作に伴うノイズのアイソレーションを確保するとともに、後段を駆動する駆動力を向上させることができる。なお、このバッファ３８２は、省略することもできる。
減算器３８３は、行駆動回路３６３からの行駆動信号に従ってバッファ３８２からの電圧信号のレベルを低下させる。減算器３８３は、低下後の電圧信号を量子化器３８４に出力する。
量子化器３８４は、減算器３８３からの電圧信号をデジタル信号に量子化し、検出信号として転送回路３８５に供給する。転送回路３８５は、列駆動回路３６４からの列駆動信号に従って、検出信号を信号処理回路３６５に転送（出力）する。
図４２は、電流電圧変換回路３８１の詳細構成を示す回路である。電流電圧変換回路３８１は検出チップ３２２に配置されるが、図４２では、電流電圧変換回路３８１と接続されている受光チップ３２１のフォトダイオード３５１も示されている。
電流電圧変換回路３８１は、FET４１１乃至４１３で構成される。FET４１１及び４１３としては、例えば、N型のMOS(NMOS) FETを採用することができ、FET４１２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
受光チップ３２１のフォトダイオード３５１は、入射する光を受光し、光電変換を行って、電気信号としての光電流を生成して流す。電流電圧変換回路３８１はフォトダイオード３５１からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）Voに変換して、バッファ３８２（図４１）に出力する。
FET４１１のソースは、FET４１３のゲートと接続され、FET４１１のソースとFET４１３のゲートとの接続点には、フォトダイオード３５１による光電流が流れる。FET４１１のドレインは、電源VDDに接続され、そのゲートは、FET４１３のドレインに接続される。
FET４１２のソースは、電源VDDに接続され、そのドレインは、FET４１１のゲートとFET４１３のドレインとの接続点に接続される。FET４１２のゲートには、所定のバイアス電圧Vbiasが印加される。FET４１３のソースは接地される。
FET４１１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているFET４１１のソースには、フォトダイオード３５１が接続され、これにより、FET４１１（のドレインからソース）には、フォトダイオード３５１の光電変換により生成される電荷による光電流が流れる。FET４１１は、サブスレッショルド領域で動作し、FET４１１のゲートには、そのFET４１１に流れる光電流の対数に対応する光電圧Voが現れる。以上のように、フォトダイオード３５１では、FET４１１により、フォトダイオード３５１からの光電流が、その光電流の対数に対応する光電圧Voに変換される。
光電圧Voは、FET４１１のゲートとFET４１３のドレインとの接続点から、バッファ３８２を介して、減算器３８３に出力される。
図４３は、減算器３８３および量子化器３８４の詳細構成を示している。
減算器３８３は、電流電圧変換回路３８１からの光電圧Voについて、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号Voutを出力する。
減算器３８３は、コンデンサ４３１、オペアンプ４３２、コンデンサ４３３、及び、スイッチ４３４を備える。量子化器３８４は、コンパレータ４５１を備える。
コンデンサ４３１の一端は、バッファ３８２（図４１）の出力に接続され、他端は、オペアンプ４３２の入力端子に接続される。したがって、オペアンプ４３２の（反転）入力端子には、コンデンサ４３１を介して光電圧Voが入力される。
オペアンプ４３２の出力端子は、量子化器３８４のコンパレータ４５１の非反転入力端子（＋）に接続される。
コンデンサ４３３の一端は、オペアンプ４３２の入力端子に接続され、他端は、オペアンプ４３２の出力端子に接続される。
スイッチ４３４は、コンデンサ４３３の両端の接続をオン／オフするように、コンデンサ４３３に接続される。スイッチ４３４は、行駆動回路３６３の行駆動信号に従ってオン／オフすることにより、コンデンサ４３３の両端の接続をオン／オフする。
コンデンサ４３３及びスイッチ４３４は、スイッチドキャパシタを構成する。オフになっているスイッチ４３４が一時的にオンにされ、再び、オフにされることにより、コンデンサ４３３は、電荷が放電され、新たに電荷を蓄積することができる状態にリセットされる。
スイッチ４３４をオンした際のコンデンサ４３１の、フォトダイオード３５１側の光電圧VoをVinitと表すとともに、コンデンサ４３１の容量（静電容量）をC1と表すこととする。オペアンプ４３２の入力端子は、仮想接地になっており、スイッチ４３４がオンである場合にコンデンサ４３１に蓄積される電荷Qinitは、式（１）により表される。
Qinit = C1 ×Vinit ・・・（１）
また、スイッチ４３４がオンである場合には、コンデンサ４３３の両端は短絡されるため、コンデンサ４３３に蓄積される電荷はゼロとなる。
その後、スイッチ４３４がオフになった場合の、コンデンサ４３１の、フォトダイオード３５１側の光電圧Voを、Vafterと表すこととすると、スイッチ４３４がオフになった場合にコンデンサ４３１に蓄積される電荷Qafterは、式（２）により表される。
Qafter = C1×Vafter ・・・（２）
コンデンサ４３３の容量をC2と表すこととすると、コンデンサ４３３に蓄積される電荷Q2は、オペアンプ４３２の出力電圧である差信号Voutを用いて、式（３）により表される。
Q2 = -C2×Vout ・・・（３）
スイッチ４３４がオフする前後で、コンデンサ４３１の電荷とコンデンサ４３３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
Qinit = Qafter + Q2 ・・・（４）
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
Vout = -(C1/C2)×(Vafter - Vinit) ・・・（５）
式（５）によれば、減算器３８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差(Vafter - Vinit)に対応する差信号Voutの算出が行われる。式（５）によれば、減算器３８３の減算のゲインはC1/C2となる。したがって、減算器３８３は、コンデンサ４３３のリセット後の光電圧Voの変化をC1/C2倍した電圧を、差信号Voutとして出力する。
減算器３８３は、行駆動回路３６３が出力する行駆動信号により、スイッチ４３４がオンオフされることにより、差信号Voutを出力する。
量子化器３８４のコンパレータ４５１は、減算器３８３からの差信号Voutと、反転入力端子（－）に入力される所定の閾値電圧Vthとを比較し、比較結果を検出信号として、転送回路３８５に出力する。
なお、図４２の構成例では、受光チップ３２１に、受光部３４１のフォトダイオード３５１のみが配置され、検出チップ３２２に、電流電圧変換回路３８１を含むアドレスイベント検出回路３７１が配置された。この場合、画素数の増大に伴って、検出チップ３２２内の回路規模が増大するおそれがある。そのため、アドレスイベント検出回路３７１の一部は、受光チップ３２１の受光部３４１に配置してもよい。
例えば、図４４に示されるように、アドレスイベント検出回路３７１の電流電圧変換回路３８１の一部、例えば、N型のMOS(NMOS) FETで構成されるFET４１１及び４１３を、受光チップ３２１の受光部３４１に配置した構成を採用してもよい。この場合、受光チップ３２１は、N型のMOS FETのみとなり、検出チップ３２２の電流電圧変換回路３８１は、P型のMOS FETのみとなるので、P型とN型を混在させる場合と比較して、トランジスタを形成する際の工程数を削減することができる。これにより受光チップ３２１の製造コストを削減することができる。
以上の第３実施の形態によれば、EVSカメラ３００が、自身で生成したイベントデータに基づいて、ディスペンサ１１の液滴１０を検出して、液滴１０の噴射を制御する制御情報を生成して、ディスペンサ１１へ出力することができる。これにより、ディスペンサ１１による液滴を的確に検出して、液滴の噴射を高精度に制御することができる。
＜１４．まとめ＞
以上説明したディスペンサ制御システム１の各実施の形態によれば、輝度変化をイベントとして検出して非同期に出力するEVSカメラ１２を用いることにより、フレームレートが１０００fps程度の高速カメラよりも、演算量や通信量を大幅に削減することができ、高速に液滴１０を撮影することができる。また、イベントデータに基づいて生成するイベント画像または再構成画像は２値画像であるので、演算量が少なく、消費電力も低減することができる。
ディスペンサ制御システム１の液滴制御処理によれば、イベントデータに基づいて生成するイベント画像または再構成画像から液滴１０の軌跡情報やサイズ（幅）、体積などを高速に検出することができ、ディスペンサ１１の制御パラメータを高精度に制御することができる。これにより、ディスペンサ１１による液滴１０を的確に検出して、液滴１０の噴射を高精度に制御することができる。ディスペンサ１１による液滴１０の噴射の良、不良の判定をリアルタイムで行うことができる。
＜１５．コンピュータ構成例＞
上述した制御装置１３が実行する液滴１０の制御処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図４５は、上述した一連の液滴制御処理をプログラムにより実行する情報処理装置としてのコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部５０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部５０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は、以下の構成を取ることができる。
（１）
光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、
前記イベント信号に基づき、ディスペンサから噴射された液滴を検出するプロセッサと
を備える情報処理装置。
（２）
前記イベントセンサは、前記画素信号の読出し方向と前記液滴の移動方向とが一致するように配置されている
前記（１）に記載の情報処理装置。
（３）
前記イベントセンサは、直交する２方向から前記液滴を検出する
前記（１）または（２）に記載の情報処理装置。
（４）
前記直交する２方向は、異なる前記イベントセンサで検出される
前記（１）ないし（３）のいずれかに記載の情報処理装置。
（５）
前記直交する２方向は、１つの前記イベントセンサで検出される
前記（１）ないし（３）のいずれかに記載の情報処理装置。
（６）
前記プロセッサは、さらに、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成して出力する
前記（１）ないし（５）のいずれかに記載の情報処理装置。
（７）
前記プロセッサは、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成した前記イベント画像に基づいて、前記制御情報を生成する
前記（６）に記載の情報処理装置。
（８）
前記プロセッサは、前記イベント画像として、第１の極性の輝度変化である第１のイベントの前記イベント信号に基づく第１のイベント画像と、前記第１の極性と反対の極性である第２の極性の輝度変化である第２のイベントの前記イベント信号に基づく第２のイベント画像とを生成する
前記（７）に記載の情報処理装置。
（９）
前記イベント画像は、前記イベント信号が発生した画素の画素値を１、前記イベント信号が発生しない画素の画素値を０とする２値画像である
前記（７）または（８）に記載の情報処理装置。
（１０）
前記所定の積分時間は、フレームレートに対応する１フレーム期間よりも短い時間である
前記（７）ないし（９）のいずれかに記載の情報処理装置。
（１１）
前記プロセッサは、前記第１のイベントが発生した画素の画素値を第１の輝度値、前記第２のイベントが発生した画素の画素値を第２の輝度値、その他の画素の画素値を第３の輝度値とした表示用画像をさらに生成する
前記（８）ないし（１０）のいずれかに記載の情報処理装置。
（１２）
前記プロセッサは、前記第１のイベント画像に基づいて、前記液滴の軌跡情報を算出し、算出した前記軌跡情報に基づいて、前記制御情報を生成する
前記（８）ないし（１１）のいずれかに記載の情報処理装置。
（１３）
前記プロセッサは、前記第１のイベント画像のノイズを除去するノイズ除去処理を行う 前記（８）ないし（１２）のいずれかに記載の情報処理装置。
（１４）
前記プロセッサは、フレームレートに対応するフレームレート期間単位で、前記イベント信号に基づいて輝度値を推定した再構成画像を生成する
前記（１）ないし（１３）のいずれかに記載の情報処理装置。
（１５）
前記プロセッサは、過去の全ての前記イベント信号を用いて、前記再構成画像を生成する
前記（１４）に記載の情報処理装置。
（１６）
前記プロセッサは、前記再構成画像に基づいて前記液滴の幅を算出し、算出した前記幅に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記プロセッサは、前記再構成画像に基づいて前記液滴の体積を算出し、算出した前記体積に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する 前記（１４）ないし（１６）のいずれかに記載の情報処理装置。
（１８）
前記プロセッサは、前記再構成画像の生成タイミングより前の一定期間内にイベントが発生していない画素の画素値をゼロとするノイズ除去処理を行う
前記（１４）ないし（１７）のいずれかに記載の情報処理装置。
（１９）
前記プロセッサは、イメージセンサで前記液滴を撮影したRGB画像にも基づいて、前記液滴を検出する
前記（１）ないし（１７）のいずれかに記載の情報処理装置。
（２０）
所定の液体を噴射するディスペンサと、
光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、
前記イベント信号に基づき、前記ディスペンサから噴射された液滴を検出するプロセッサと
を備える情報処理システム。
１ ディスペンサ制御システム， １０ 液滴， １１ ディスペンサ， １２ EVSカメラ， １３ 制御装置， １４ ディスプレイ， ２１ 基板， ２２ コンベア， ６１ 照明装置， １０１ 前処理部， １０２ 画像出力部， １０３ 液滴検出部， １０４ 液滴追跡部， １０５ パラメータ判定部， １１１ フレーム化処理部， １１２ ノイズ除去処理部， １２１ 第１フレーム処理部， １２２ 第２フレーム処理部， ２０１ RGBカメラ， ３００ EVSカメラ， ３１２ 撮像素子， ３６５ 信号処理回路， ５０１ CPU， ５０２ ROM， ５０３ RAM， ５０６ 入力部， ５０７ 出力部， ５０８ 記憶部， ５０９ 通信部

Claims (10)

  1. 光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、
    前記イベント信号に基づき、ディスペンサから噴射された液滴を検出するプロセッサと
    を備え、
    前記プロセッサは、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成した前記イベント画像に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する
    情報処理装置。
  2. 前記プロセッサは、前記イベント画像として、第１の極性の輝度変化である第１のイベントの前記イベント信号に基づく第１のイベント画像と、前記第１の極性と反対の極性である第２の極性の輝度変化である第２のイベントの前記イベント信号に基づく第２のイベント画像とを生成する
    請求項１に記載の情報処理装置。
  3. 前記イベント画像は、前記イベント信号が発生した画素の画素値を１、前記イベント信号が発生しない画素の画素値を０とする２値画像である
    請求項２に記載の情報処理装置。
  4. 前記所定の積分時間は、フレームレートに対応する１フレーム期間よりも短い時間である
    請求項１に記載の情報処理装置。
  5. 前記プロセッサは、前記第１のイベントが発生した画素の画素値を第１の輝度値、前記第２のイベントが発生した画素の画素値を第２の輝度値、その他の画素の画素値を第３の輝度値とした表示用画像をさらに生成する
    請求項２に記載の情報処理装置。
  6. 前記プロセッサは、前記第１のイベント画像に基づいて、前記液滴の軌跡情報を算出し、算出した前記軌跡情報に基づいて、前記制御情報を生成する
    請求項２に記載の情報処理装置。
  7. 前記プロセッサは、前記第１のイベント画像のノイズを除去するノイズ除去処理を行う
    請求項２に記載の情報処理装置。
  8. 前記プロセッサは、フレームレートに対応するフレームレート期間単位で、前記イベント信号に基づいて輝度値を推定した再構成画像を生成し、前記再構成画像に基づいて前記液滴の幅を算出し、算出した前記幅に基づいて、前記制御情報を生成する
    請求項１に記載の情報処理装置。
  9. 前記プロセッサは、フレームレートに対応するフレームレート期間単位で、前記イベント信号に基づいて輝度値を推定した再構成画像を生成し、前記再構成画像に基づいて前記液滴の体積を算出し、算出した前記体積に基づいて、前記制御情報を生成する
    請求項１に記載の情報処理装置。
  10. 所定の液体を噴射するディスペンサと、
    光信号を光電変換し、画素信号を出力する画素を有し、前記画素信号に基づき、前記光信号の時間的輝度変化をイベント信号として出力するイベントセンサと、
    前記イベント信号に基づき、前記ディスペンサから噴射された液滴を検出するプロセッサと
    を備え、
    前記プロセッサは、前記イベントセンサからの前記イベント信号を所定の積分時間単位でまとめたイベント画像を生成し、生成した前記イベント画像に基づいて、前記ディスペンサによる前記液滴の噴射を制御する制御情報を生成する
    情報処理システム。
JP2023041657A 2020-09-25 2023-03-16 情報処理装置および情報処理システム Active JP7318150B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023041657A JP7318150B2 (ja) 2020-09-25 2023-03-16 情報処理装置および情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020161034A JP7317783B2 (ja) 2020-09-25 2020-09-25 情報処理装置
JP2023041657A JP7318150B2 (ja) 2020-09-25 2023-03-16 情報処理装置および情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020161034A Division JP7317783B2 (ja) 2020-09-25 2020-09-25 情報処理装置

Publications (2)

Publication Number Publication Date
JP2023080101A true JP2023080101A (ja) 2023-06-08
JP7318150B2 JP7318150B2 (ja) 2023-07-31

Family

ID=87469774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023041657A Active JP7318150B2 (ja) 2020-09-25 2023-03-16 情報処理装置および情報処理システム

Country Status (1)

Country Link
JP (1) JP7318150B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022222A (ja) * 2003-07-01 2005-01-27 Seiko Epson Corp 液滴飛行状態観測方法および液滴飛行状態観測装置
JP2006142808A (ja) * 2004-10-05 2006-06-08 Applied Materials Inc インクジェットの液滴可視化
JP2006195402A (ja) * 2005-01-13 2006-07-27 Samsung Electronics Co Ltd 液晶滴下量測定システム及びこれを利用した液晶滴下量の測定方法
JP2019081130A (ja) * 2017-10-30 2019-05-30 株式会社Ｓｃｒｅｅｎホールディングス 液滴撮像装置、液滴特性測定装置、液滴吐出装置、液滴撮像方法、液滴特性測定方法、および液滴吐出方法
US20200005468A1 (en) * 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing
JP2020057989A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
WO2020071266A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
WO2020071268A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP2020099015A (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
KR20200100667A (ko) * 2017-12-26 2020-08-26 프로페시 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서
WO2020189166A1 (ja) * 2019-03-19 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 光学測定装置及び光学測定システム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022222A (ja) * 2003-07-01 2005-01-27 Seiko Epson Corp 液滴飛行状態観測方法および液滴飛行状態観測装置
JP2006142808A (ja) * 2004-10-05 2006-06-08 Applied Materials Inc インクジェットの液滴可視化
JP2006195402A (ja) * 2005-01-13 2006-07-27 Samsung Electronics Co Ltd 液晶滴下量測定システム及びこれを利用した液晶滴下量の測定方法
JP2019081130A (ja) * 2017-10-30 2019-05-30 株式会社Ｓｃｒｅｅｎホールディングス 液滴撮像装置、液滴特性測定装置、液滴吐出装置、液滴撮像方法、液滴特性測定方法、および液滴吐出方法
KR20200100667A (ko) * 2017-12-26 2020-08-26 프로페시 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서
WO2020071267A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
JP2020057989A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
WO2020071266A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
WO2020071268A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP2020099015A (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
WO2020129657A1 (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
WO2020189166A1 (ja) * 2019-03-19 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 光学測定装置及び光学測定システム
JP2020153795A (ja) * 2019-03-19 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 光学測定装置及び光学測定システム
US20200005468A1 (en) * 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing

Also Published As

Publication number Publication date
JP7318150B2 (ja) 2023-07-31

Similar Documents

Publication Publication Date Title
US11711631B2 (en) Dynamic vision sensor architecture
US20060197664A1 (en) Method, system and apparatus for a time stamped visual motion sensor
US7965323B2 (en) Flicker detecting circuit and method in image sensor
CN101300830B (zh) 用于实现运动驱动的多张拍摄图像稳定性的系统和方法
Sarkar et al. Biologically inspired CMOS image sensor for fast motion and polarization detection
CN109903324B (zh) 一种深度图像获取方法及装置
CN111951313B (zh) 图像配准方法、装置、设备及介质
EP1788802A1 (en) Image pickup device, image pickup result processing method and integrated circuit
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
US20240114255A1 (en) Signal processing device, signal processing method, and detection sensor
CN102883112A (zh) 固态成像设备、驱动其的方法、以及使用其的电子装置
JP7317783B2 (ja) 情報処理装置
US7738019B2 (en) System and method for providing automatic gain control in an imaging device
US20230230212A1 (en) Image processing method and apparatus implementing the same
JP7318150B2 (ja) 情報処理装置および情報処理システム
JP3386025B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
Ma et al. Burst vision using single-photon cameras
EP3872463A1 (en) Light sensor module, method for acquiring light sensor data, electronic equipment, and storage medium
US6476860B1 (en) Center of mass detection via an active pixel sensor
El Shair et al. High-temporal-resolution event-based vehicle detection and tracking
Zhang et al. V2ce: Video to continuous events simulator
JP2000011134A (ja) 移動量検出装置及びその方法
El Shair et al. High Speed Hybrid Object Tracking Algorithm using Image and Event Data
Meynants et al. Sensor for optical flow measurement based on differencing in space and time
JP2019114956A (ja) 画像処理装置、撮像システム、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R150 Certificate of patent or registration of utility model

Ref document number: 7318150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150