CN116209527A - 信息处理装置和信息处理系统 - Google Patents

信息处理装置和信息处理系统 Download PDF

Info

Publication number
CN116209527A
CN116209527A CN202180064013.3A CN202180064013A CN116209527A CN 116209527 A CN116209527 A CN 116209527A CN 202180064013 A CN202180064013 A CN 202180064013A CN 116209527 A CN116209527 A CN 116209527A
Authority
CN
China
Prior art keywords
event
image
droplet
information processing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064013.3A
Other languages
English (en)
Inventor
新仓弘刚
宫谷佳孝
小菅敦丈
中川大辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116209527A publication Critical patent/CN116209527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1005—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to condition of liquid or other fluent material already applied to the surface, e.g. coating thickness, weight or pattern
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/02—Arrangements for controlling delivery; Arrangements for controlling the spray area for controlling time, or sequence, of delivery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/082—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to a condition of the discharged jet or spray, e.g. to jet shape, spray pattern or droplet size
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B5/00—Electrostatic spraying apparatus; Spraying apparatus with means for charging the spray electrically; Apparatus for spraying liquids or other fluent materials by other electric means
    • B05B5/005—Electrostatic spraying apparatus; Spraying apparatus with means for charging the spray electrically; Apparatus for spraying liquids or other fluent materials by other electric means the high voltage supplied to an electrostatic spraying apparatus being adjustable during spraying operation, e.g. for modifying spray width, droplet size
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F22/00—Methods or apparatus for measuring volume of fluids or fluent solid material, not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B05B12/122—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to presence or shape of target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Fluid Mechanics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Coating Apparatus (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本技术涉及能够精确地检测来自分配器的液滴的信息处理装置和信息处理系统。该信息处理装置包括：事件传感器，包括被配置为光电转换光信号并输出像素信号的像素，事件传感器基于像素信号输出光信号的时间亮度变化作为事件信号；以及处理器，基于事件信号检测从分配器喷出的液滴。例如，本技术可应用于控制分配器的分配器控制系统等。

Description

信息处理装置和信息处理系统
技术领域
本技术涉及信息处理装置和信息处理系统，并且更具体地，涉及能够准确地检测来自分配器的液滴的信息处理装置和信息处理系统。
背景技术
在半导体制造工艺中，存在通过使用分配器将诸如粘合剂的液体涂覆到衬底、引线框架等的工艺。已经提出了一种用于测量滴下量的系统，其中，通过相机测量从分配器喷出的液滴的体积，并且对分配器执行参数的反馈控制以调节液滴的量(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请公开号2006-195402
发明内容
本发明要解决的问题
在使用帧率约1000fps的高速相机作为用于拍摄从分配器喷出的液滴的图像的相机的情况下，由于对于一个液滴仅能拍摄大约三个图像，因此难以精确地拍摄液滴。
鉴于这种情况做出本技术，并且其目的是能够精确地检测来自分配器的液滴。
问题的解决方案
根据本技术的第一方面的信息处理装置包括：事件传感器，包括被配置为光电转换光信号并输出像素信号的像素，事件传感器被配置为基于像素信号输出光信号的时间亮度变化作为事件信号；以及处理器，被配置为基于事件信号检测从分配器注入的液滴。
根据本技术的第二方面的信息处理系统包括：分配器，被配置为注入预定液体；事件传感器，包括被配置为光电转换光信号并输出像素信号的像素，所述事件传感器被配置为基于所述像素信号输出所述光信号的时间亮度变化作为事件信号；以及处理器，被配置为基于事件信号检测从分配器注入的液滴。
在本技术的第一方面和第二方面，被配置为光电转换光信号并输出像素信号的像素被提供给事件传感器，基于像素信号输出光信号的时间亮度变化作为事件信号，并且基于事件信号检测从分配器注入的液滴。
信息处理装置、成像装置和控制系统可以是独立的装置或结合在其他装置中的模块。
附图说明
图1是示出应用本技术的分配器控制系统的第一实施方式的配置实例的示图。
图2是用于说明图1的分配器控制系统的液滴控制的示图。
图3是示出了由EVS相机输出的事件数据的实例的示图。
图4是用于说明生成事件数据的帧数据的方法的示图。
图5是示出基于事件数据生成的事件图像的实例的示图。
图6是示出照明装置的第一配置实例的示图。
图7是示出照明装置的第二配置实例的示图。
图8是示出EVS相机相对于液滴的移动方向的图像捕获方向的示图。
图9是用于说明在测量液滴的体积的情况下的图像捕获方法的示图。
图10是示出控制装置的功能配置实例的框图。
图11是用于说明通过第一帧处理单元生成事件图像和显示图像的示图。
图12是用于说明通过第一帧处理单元生成事件图像和显示图像的示图。
图13是用于说明通过第一帧处理单元生成事件图像和显示图像的示图。
图14是示出第一帧处理单元的第一成帧处理的流程图。
图15是用于说明通过第二帧处理单元生成重构图像的示图。
图16是用于说明通过第二帧处理单元生成重构图像的示图。
图17是示出第二帧处理单元的第二成帧处理的流程图。
图18是示出经过一定时间段之后的重构图像的实例的示图。
图19是用于说明在第二成帧处理中的噪声去除处理的实例的示图。
图20是用于说明噪声去除处理单元的噪声去除处理的示图。
图21是用于说明液滴检测单元的液滴检测处理的示图。
图22是用于说明液滴检测单元的液滴检测处理的示图。
图23是用于说明液滴检测单元的液滴检测处理的示图。
图24是用于说明计算液滴的尺寸的方法的示图。
图25是用于说明液滴检测单元的液滴检测处理的流程图。
图26是用于说明液滴跟踪单元的搜索处理的示图。
图27是用于说明液滴跟踪单元的搜索处理的示图。
图28是用于说明液滴跟踪单元的液滴跟踪处理的流程图。
图29是用于说明分配器控制系统的液滴控制处理的流程图。
图30是用于解释DNN的示图。
图31是用于说明使用DNN的液滴控制处理的流程图。
图32是用于说明使用DNN的液滴控制处理的流程图。
图33示出了应用本技术的分配器控制系统的第二实施方式的配置实例。
图34是示出第二实施方式中的EVS相机和RGB相机的另一布置实例的示图。
图35示出了应用本技术的分配器控制系统的第三实施方式的配置实例。
图36是示出EVS相机的配置实例的框图。
图37是示出成像元件的示意性配置实例的透视图。
图38是示出了光接收芯片的配置实例的平面图。
图39是示出了检测芯片的配置实例的平面图。
图40是示出了地址事件检测单元的细节的平面图。
图41是示出了地址事件检测电路的配置实例的框图。
图42是示出了电流-电压转换电路的详细配置的示图。
图43是示出了减法器和量化器的详细配置的示图。
图44是示出了光接收芯片和检测芯片的另一布置实例的示图。
图45是示出了计算机的硬件的配置实例的框图。
具体实施方式
在下文中，将参考附图描述用于实现本技术的实施方式(在下文中，称之为实施方式)。注意，在本说明书和附图中，具有基本相同的功能配置的组件由相同的附图标记表示，并且省略冗余的解释。将按照以下顺序给出描述。
1.分配器控制系统的第一实施例
2.事件数据的实例
3.拍摄液滴的图像的方法
4.控制装置的配置实例
5.第一帧处理单元的处理
6.第二帧处理单元的处理
7.噪声去除处理单元的处理
8.液滴检测单元的处理
9.液滴追踪单元的处理
10.分配器控制系统的液滴控制处理
11.DNN的应用
12.分配器控制系统的第二实施例
13.分配器控制系统的第三实施例
14.结论
15.计算机配置实例
<1.分配器控制系统的第一实施例>
图1示出了应用本技术的分配器控制系统的第一实施方式的配置实例。
图1的分配器控制系统1包括分配器11、EVS相机12、控制装置13和显示器14，并且控制分配器11对液滴的喷出。
分配器11将预定液体作为目标喷出在在传送器22上放置并传送的衬底21上。从分配器11喷出的液体变成液滴10并且朝向衬底21滴落。
EVS相机12是包括光电转换光信号并输出像素信号的像素并且包括事件传感器的相机，事件传感器基于像素信号输出光信号的时间亮度变化作为事件信号(事件数据)。这种事件传感器也被称为基于事件的视觉传感器(EVS)。当包括普通图像传感器的相机与垂直同步信号同步地捕获图像并且以垂直同步信号的周期输出作为一个帧(画面)的图像数据的帧数据时，EVS相机12仅在事件发生的时间输出事件数据。因此，可以说EVS相机12是异步(或地址控制)相机。
EVS相机12基于从分配器11喷出的液滴10检测时间亮度变化作为事件，并且将事件数据输出至控制装置13。
控制装置13基于从EVS相机12输出的事件数据来检测来自分配器11的液滴10，生成用于控制液滴10的喷出的控制信息，并且将控制信息输出至分配器11。此外，控制装置13基于从EVS相机12输出的事件数据生成将由工人监控的显示图像，并且使显示器14显示该显示图像。
图2是用于说明由分配器控制系统1进行的液滴控制的示图。
在分配器11喷出液滴10的时刻、液滴10的速度等不合适的情况下，液滴10不能准确地施加至在传送器22上流动的衬底21，如在图2的左侧示出的。控制装置13基于从EVS相机12输出的事件数据来计算液滴10的轨迹信息，其包括液滴10的位置、速度、移动方向等中的至少一个。然后，基于所计算的液滴10的轨迹信息，控制装置13将用于控制液滴10的喷出定时、喷出强度、喷出方向等的参数作为反馈控制信息反馈给分配器11。此外，控制装置13还可以基于事件数据计算液滴10的尺寸、体积等，并且还可以控制液滴10的量和粘度。因此，如图2的右侧所示，可以将适当定时和量的液滴10施加至衬底21。可以适当地确定哪种参数被提供给分配器11作为反馈控制信息。此外，导电物体的散射导致短路并且导致不良产品，使得可以检测除了液滴10的主体之外的被称为伴滴的液滴等。
<2.事件数据的实例>
图3示出了由EVS相机12输出的事件数据的实例。
例如，如图3所示，EVS相机12输出包括事件发生的时间ti、表示事件发生的像素的位置的坐标(xi，yi)和亮度变化的极性pi的事件数据，作为事件。
事件的时间ti是指示事件发生的时间的时间戳，并且由例如基于传感器中的预定时钟信号的计数器的计数值表示。可以认为，对应于事件已经发生的时间的时间戳是表示事件已经发生的(相对)时间的时间信息，只要在事件发生时维持事件之间的间隔即可。
极性pi表示在超过预定阈值的亮度变化(光量变化)作为事件发生的情况下的亮度变化的方向，并且表示亮度变化是在正方向上的变化(在下文中，也称为正)还是在负方向上的变化(在下文中，也称为负)。事件的极性pi例如在正的情况下被表示为“1”，并且在负的情况下被表示为“0”。
在图3的事件数据中，在某个事件的时间ti与和该事件相邻的事件的时间ti+1之间的间隔不必是恒定的。即，事件的时间ti和时间ti+1可以是相同的时间或者不同的时间。然而，假设对于事件的时间ti和ti+1，存在由表达式ti≤ti+1表示的关系。
与在与垂直同步信号同步的帧周期中输出的帧格式的图像数据(帧数据)不同，每当事件发生时输出事件数据。因此，如事件数据那样不能通过显示对应于帧数据的图像的显示器(诸如投影仪)显示为图像，并且不能通过被输入到标识符(分类器)用于图像处理。事件数据需要被转换成帧数据。
图4是用于解释从事件数据生成帧数据的方法的实例的示图。
在图4中，在包括x轴、y轴以及时间轴t的三维(时间)空间中，在事件数据中包括的事件的时间t绘制作为事件数据的点，和作为事件的像素的坐标(x，y)。
即，假设由包括在事件数据中的事件的时间t和事件的像素(x，y)表示的三维空间中的位置(x，y，t)称为事件的时空位置，在图4中将事件数据绘制为事件(x，y，t)的时空位置处的点。
通过使用从EVS相机12输出的事件数据作为像素值，可针对每个预定帧间隔，使用从预定帧间隔的开始起的预定帧宽度内的事件数据来产生事件图像。
帧宽度和帧间隔可由时间指定或由事件数据的条数指定。帧宽度和帧间隔中的一个可由时间指定，并且另一个可由事件数据的条数指定。
这里，在通过时间指定帧宽度和帧间隔并且帧宽度和帧间隔相同的情况下，帧体积处于彼此接触而没有间隙的状态。此外，在帧间隔大于帧宽的情况下，帧体积处于布置有间隙的状态。在帧宽度大于帧间隔的情况下，帧体积在以部分重叠的方式布置的状态下。
例如，通过将帧中的事件的位置(x，y)处的像素(的像素值)设置为白色并且将帧中的其他位置处的像素设置为诸如灰色的预定颜色，可以执行事件图像的生成。
此外，在针对事件数据区分光量的极性作为事件而改变的情况下，帧数据的生成可以通过例如在极性为正的情况下将像素设置为白色、在极性为负的情况下将像素设置为黑色、以及将帧的其他位置处的像素设置为诸如灰色的预定颜色来执行。
图5示出了基于事件数据生成的事件图像的实例。
图5中的图像31是通过用输出RGB图像的图像传感器图像捕获EVS相机12的检测目标而获得的图像。在图像31中，拍摄人步行在书架前面的场景作为背景。当通过EVS相机12检测拍摄的场景并且基于输出的事件数据产生帧数据时，获得事件图像32。通过将白色设置到具有正极性的像素、将黑色设置到具有负极性的像素以及将灰色设置到帧中的其他位置的像素来生成事件图像32。
<3.液滴图像拍摄方法>
图6和图7示出了EVS相机12和照明装置之间的布置关系的实例。
照明装置61设置在液滴10的背景变得均匀并产生与液滴10的对比度的位置处，并用光照射液滴10。
图6是示出照明装置61的第一配置实例的示图。
在第一配置示例中，如图6的A所示，EVS相机12和照明装置61被布置为彼此面对以便将液滴10夹在中间。换言之，照明装置61从液滴10的后面照明，并且EVS相机12检测从背面照明的液滴10的亮度变化。在照明装置61的前方配置有扩散器62。在这种设置中拍摄液滴10的图像的情况下，液滴10被拍摄为如图6的B所示的黑色轮廓。
图7是示出照明装置61的第二配置实例的示图。
在第二配置示例中，如图7的A所示，EVS相机12和照明装置61相对于液滴10布置在相同方向上。在液滴10的背景侧上，布置黑色抗反射板63等以防止光的反射。在这种设置中拍摄液滴10的图像的情况下，如图7的B所示，液滴10被拍摄为白色轮廓。
在本实施方式中，采用图7所示的第二布置实例作为照明装置61的布置，并且EVS相机12从与照明装置61相同的方向拍摄液滴10的图像。
图8是示出EVS相机12相对于液滴10的移动方向的图像拍摄方向的示图。
EVS相机12包括光接收部分51，其中，用于检测亮度变化的像素以矩阵二维布置。假定图8中的光接收部分51的垂直方向是x轴方向并且图8中的水平方向是y轴方向，则当已经发生事件时，EVS相机12执行在光接收部分51的x轴方向上以列为单位读取信号的读取操作。在这种情况下，如图8所示，EVS相机12的方向被布置为使得像素信号的读取方向与液滴10的移动方向一致。结果，例如，在多个液滴10穿过EVS相机12的光接收部分51的情况下，沿着像素信号的读取方向布置多个液滴10。因此，可以通过读取一列的像素信号同时获取多个液滴10的信号。
此外，EVS相机12可相对于光接收部分51的整个区域设置预定的感兴趣区域52，并且仅读取设置的感兴趣区域52的信号。由于像素的读取方向与液滴10的移动方向一致的布置，可以减少信号被读取的列数(y轴方向上的像素数)，并且可以提高读取速度(检测速度)。
图9是用于说明在测量液滴10的体积的情况下的图像拍摄方法的示图。
在测量液滴10的体积的情况下，有必要测量液滴10在垂直于液滴10的下落方向的平面上的面积。因此，EVS相机12通过图9的A或B的任何方法从两个正交方向检测液滴10。在图9中，垂直于页面的方向表示液滴10的下落方向。
图9的A是在测量体积的情况下液滴10的第一图像拍摄方法的实例。
第一图像拍摄方法是一种方法，在该方法中，棱镜41设置在EVS相机12的前方，并且一个EVS相机12经由棱镜41同时在第一方向和第二方向中的两个方向上检测液滴10，在第一方向中直接观察液滴10，第二方向与第一方向垂直。
图9的B是在测量体积的情况下液滴10的第二图像拍摄方法的实例。
第二图像拍摄方法是两个EVS相机12A和12B被布置在正交方向上，并且两个EVS相机12A和12B中的每个从一个方向拍摄图像，以在两个正交方向上检测液滴10的方法。在EVS相机12A和12B的时间戳彼此同步的状态下执行图像拍摄。
在后面描述的液滴控制处理中，在计算液滴10的横向宽度的同时，省略体积的计算。然而，在计算液滴10的体积的情况下，液滴10的体积是根据液滴10的面积和液滴10在移动方向上的长度来计算的，该液滴10的面积是根据通过上述第一或第二图像拍摄方法获得的图像拍摄结果计算的。
<4.控制装置的配置实例>
图10是示出控制装置13的功能配置实例的框图。
控制装置13包括预处理单元101、图像输出单元102、液滴检测单元103、液滴跟踪单元104和参数确定单元105。
作为用于检测液滴10的预处理，预处理单元101基于从EVS相机12输出的事件数据生成三种类型的图像，即，事件图像、重构图像和显示图像。
预处理单元101包括成帧处理单元111和噪声去除单元112，成帧处理单元111包括第一帧处理单元121和第二帧处理单元122。
第一帧处理单元121基于来自EVS相机12的事件数据产生事件图像。第一帧处理单元121将基于肯定事件的肯定事件图像和基于否定事件的否定事件图像生成为事件图像。此外，第一帧处理单元121还基于肯定事件图像和否定事件图像生成显示图像。
第二帧处理单元122基于来自EVS相机12的事件数据来估计亮度值，以产生重构图像。
成帧处理单元111将生成的事件图像和重构图像提供给去噪处理单元112，并且将显示图像提供给图像输出单元102。如后面参照图13和图18所述，事件图像和重构图像由白色和黑色的二元图像形成，显示图像由白色、黑色和灰色的三元图像形成。
去噪处理单元112对作为二元图像的事件图像和重构图像中的每一个执行去除噪声的去噪处理。虽然稍后将参考图20描述具体处理，但是去噪处理单元112对白色像素执行使用扩展处理和收缩处理的滤波处理作为去噪处理。将噪声去除处理之后的事件图像和重构图像提供给液滴检测单元103和液滴跟踪单元104。
图像输出单元102将从成帧处理单元111提供的显示图像提供至显示器14。
液滴检测单元103从从预处理单元101提供的事件图像和重构图像中的每一个中检测液滴10。液滴检测单元103将关于从事件图像检测的液滴10的信息作为关于跟踪目标的信息提供给液滴跟踪单元104。此外，液滴检测单元103根据从重构图像中检测的液滴10计算液滴10的尺寸，并且将该尺寸提供给参数确定单元105。
液滴跟踪单元104跟踪从液滴检测单元103中的事件图像中检测到的液滴10，计算液滴10的轨迹信息(包括液滴10的位置、速度、移动方向等中的至少一个)，并将该轨迹信息提供给参数确定单元105。
参数确定单元105基于从液滴跟踪单元104提供的液滴10的轨迹信息，确定用于控制喷出定时、喷出方向等的分配器11的参数是否在正常范围内。此外，参数确定单元105基于从液滴检测单元103提供的液滴10的尺寸(宽度)和体积，确定每次的喷出量是否在正常范围内。在确定参数不在正常范围内的情况下，参数确定单元105生成用于校正参数的控制信息作为反馈控制信息，并且将控制信息输出至分配器11。
以下，更详细地说明控制装置13的各单元所执行的处理。
<5.第一帧处理单元的处理>
首先，参照图11至图14，将描述通过第一帧处理单元121生成事件图像和显示图像。
第一帧处理单元121基于来自EVS相机12的事件数据生成基于肯定事件的肯定事件图像和基于否定事件的否定事件图像。
图11是示出在第一帧处理单元121生成事件图像的情况下生成各个事件图像的单元的示图。
第一帧处理单元121在时间T0开始事件的检测(拍摄液滴10的图像)，并且在时间Ti(i是正整数)执行第i帧的成帧，即，事件图像的生成。从时间Ti-1到时间Ti的时间Δt与图4中描述的帧间隔对应，并且与帧速率FPS的倒数对应，帧速率FPS是每秒要取帧的事件图像的数量。时间Δt是对应于帧速率的一帧的周期，并且也被称为一帧周期Δt。
第一帧处理单元121针对每个预定积分时间h生成其中收集来自EVS相机12的事件数据的图像，作为在执行第i帧的成帧的时间Ti的第i帧的事件图像。更具体地，第一帧处理单元121基于时间t是从时间(Ti-h)到时间Ti的事件数据生成第i帧的事件图像。
这里，预定积分时间h短于一帧周期Δt。当预定积分时间h改变时，事件图像中的液滴10的形状改变，如图12所示。通过在不将积分时间h固定为一帧周期Δt的情况下与一帧周期Δt分开地设置积分时间h(h＝Δt不是固定的)，可以分开地设置成帧的频率(帧速率)和事件图像中的液滴10的形状。
在从时间(Ti-h)到时间Ti的预定积分时间h中，第一帧处理单元121生成其中检测到肯定事件的像素(x，y)的像素值被设置为1(白色)并且其他像素的像素值被设置为0(黑色)的二元图像，并设置为第i帧的肯定事件图像。
此外，在从时间(Ti-h)到时间Ti的预定积分时间h中，第一帧处理单元121生成其中检测到否定事件的像素(x，y)的像素值被设置为1(白色)并且其他像素的像素值被设置为0(黑色)的二元图像，并设置为第i帧的否定事件图像。
此外，第一帧处理单元121生成在第i帧的肯定事件图像中1(白色)的像素值设为255(白色)、在第i帧的否定事件图像中1(白色)的像素值设为0(黑色)、其他像素的像素值设为128(灰色)的三元图像，作为第i帧显示图像。
图13示出了由第一帧处理单元121生成的肯定事件图像、否定事件图像和显示图像的实例。
参考图14中的流程图，将描述由第一帧处理单元121执行的第一成帧处理。例如，该处理在开始通过EVS相机12进行图像拍摄的同时开始。
第一帧处理单元121在检测到事件的定时获取从EVS相机12提供的事件数据的同时，执行图14的第一成帧处理。时间信息(时间t)在EVS相机12与控制装置13之间同步。
首先，在步骤S11中，第一帧处理单元121将用于识别帧数量的变量i设置为1。
在步骤S12中，第一帧处理单元121确定时间t是否大于时间(Ti-h)并且等于或小于时间Ti，并且重复步骤S12中的确定处理直至确定时间t大于时间(Ti-h)并且等于或小于时间Ti。
然后，当在步骤S12中确定时间t大于时间(Ti-h)并且等于或小于时间Ti时，处理进行至步骤S13，并且确定从EVS相机12提供的事件数据的极性p是否是正的。
当在步骤S13中确定从EVS相机12提供的事件数据的极性p是正的时，处理进行至步骤S14，并且第一帧处理单元121将与从EVS相机12提供的事件数据的事件发生位置相对应的肯定事件图像的像素的像素值设置为“1”。
然而，当在步骤S13中确定从EVS相机12提供的事件数据的极性p是负的时，处理进行到步骤S15，并且第一帧处理单元121将与从EVS相机12提供的事件数据的事件发生位置对应的否定事件图像的像素的像素值设置为“1”。
在步骤S14或S15之后，处理进行到步骤S16，并且第一帧处理单元121确定时间t是否已经超过时间Ti。当在步骤S16中确定时间t尚未超过时间Ti时，处理返回至步骤S13，并且重复上述步骤S13至S16的处理。
然而，当在步骤S16中确定时间t已经超过时间Ti时，处理进行到步骤S17，并且第一帧处理单元121生成肯定事件图像、否定事件图像和第i帧的显示图像。更具体地，第一帧处理单元121生成其中像素值在上述步骤S14中被设置为“1”的像素被设置为白色并且其他像素被设置为黑色的二元图像作为肯定事件图像。此外，第一帧处理单元121生成其中像素值在上述步骤S15中被设置为“1”的像素被设置为白色并且其他像素被设置为黑色的二元图像作为否定事件图像。此外，第一帧处理单元121生成其中肯定事件图像中像素值被设置为“1”的像素的像素值被设置为255(白色)、否定事件图像中像素值被设置为“1”的像素的像素值是0(黑色)并且其他像素的像素值被设置为128(灰色)的三元图像作为显示图像。
接下来，在步骤S18中，第一帧处理单元121将用于识别帧数量的变量i增加1，并且然后将处理返回至步骤S12。此后，重复执行上述步骤S12至S18中的处理，并且当给出指令以结束整个分配器控制系统1或控制装置13的操作时，图14中的第一成帧处理结束。
如上所述，根据第一成帧处理，通过根据事件发生的地方设置预定像素值来生成肯定事件图像和否定事件图像。
<6.第二帧处理单元的处理>
接下来，参照图15至图18，将描述由第二帧处理单元122生成重构图像。
第二帧处理单元122基于来自EVS相机12的事件数据来估计亮度值，以产生重构图像。
如图13所示，在肯定事件图像和否定事件图像中，由于相对于背景的亮度变化，提取对应于液滴10的移动方向上的前端和后端的部分，使得整个液滴10的形状和尺寸未知。因此，第二帧处理单元122通过简单地从所提供的事件数据恢复亮度值来生成重构图像，以便能够识别整个液滴10的轮廓。
例如，如图15左侧的曲线图所示，假设在预定像素(x，y)中，从时间t1至时间t2发生肯定事件(“1”)、从时间t2至时间t3发生肯定事件(“1”)、从时间t4至时间t5发生否定事件(“0”)、以及从时间t5至时间t6发生否定事件(“0”)。
在肯定事件的亮度阈值是d1并且否定事件的亮度阈值是d2的情况下，如图15的右侧的曲线图所示，第二帧处理单元122估计通过从时间t1到时间t2加上根据肯定事件的d1，从时间t2到时间t3加上根据肯定事件的d1，从时间t4到时间t5减去根据否定事件的d2，从时间t5到时间t6减去根据否定事件的d2，而获得的像素(x，y)的亮度值作为像素(x，y)的亮度值。以这种方式，通过根据过去发生的事件累积亮度，可以简单地恢复亮度值并且生成重构图像。此外，阈值dl和阈值d2既可以是相同的值，也可以是不同的值。
在本实施例中，由于使用图7所示的照明布置拍摄液滴10的图像，所以背景最暗。当背景的亮度值被设置为0时，亮度值未变成小于0的负值。因此，在亮度值由于上述亮度值的累积而变为负值的情况下，第二帧处理单元122执行将亮度值重置为0的处理。
图16是用于说明在第二帧处理单元122生成重构图像的情况下的具体处理的示图。
第二帧处理单元122针对每次Ti(即，针对与帧速率相对应的每个帧速率时段)生成重构图像。例如，在生成第i帧的重构图像的情况下，第二帧处理单元122生成重构图像，其中通过累计从开始事件检测的时间T0到对第i帧进行分帧的时间Ti的所有过去的事件来估计亮度值。
更具体地，例如，如图16的上部所示，通过累积从时间T0至时间T1的事件来生成第一帧的重构图像FR1。通过累积从时间T0到时间T2的事件来生成第二帧的重构图像FR2。通过累积从时间T0到时间T3的事件来生成第三帧的重构图像FR3。
然而，在实际计算中，如图16的下部所示，在生成第i帧的重构图像FRi的情况下，通过将下一帧速率时段(从时间Ti-1至时间Ti)中的事件累积至先前帧的重构图像FRi-1的亮度值来生成重构图像FRi。
参考图17中的流程图，将描述由第二帧处理单元122执行的第二成帧处理。例如，该处理在开始通过EVS相机12进行图像拍摄的同时开始。
第二帧处理单元122在检测到事件的定时获取从EVS相机12提供的事件数据的同时执行图17的第二成帧处理。时间信息(时间t)在EVS相机12与控制装置13之间同步。
首先，在步骤S41中，第二帧处理单元122将用于识别帧数量的变量i设置为1。
在步骤S42中，第二帧处理单元122确定变量i是否是2或更大，即，当前帧是第二帧还是后续帧。
当在步骤S42中确定当前帧不是第二帧或后续帧(即，当前帧是第一帧)时，处理进行到步骤S43，并且第二帧处理单元122设置其中所有像素的像素值被设置为0的第一帧的重构图像。
然而，当在步骤S42中确定当前帧是第二或后续帧时，处理进行至步骤S44，并且第二帧处理单元122将第i帧的重构图像设置为初始值，其中，先前帧的重构图像被设置为初始值。
在步骤S45中，第二帧处理单元122确定从EVS相机12提供的事件数据的极性p是否是正的。
当在步骤S45中确定从EVS相机12提供的事件数据的极性p是正的时，处理进行到步骤S46，并且第二帧处理单元122将对应于从EVS相机12提供的事件数据的事件发生位置的重构图像的像素的像素值加上d1。
然而，当在步骤S45中确定从EVS相机12提供的事件数据的极性p是负的时，处理进行至步骤S47，并且第二帧处理单元122将对应于从EVS相机12提供的事件数据的事件发生位置的重构图像的像素的像素值减去d2。
在步骤S46或S47之后，处理进行到步骤S48，并且第二帧处理单元122确定是否存在像素值为负的像素，并且当确定不存在像素值为负的像素时，跳过下一步骤S49的处理。
然而，当在步骤S48中确定存在像素值为负的像素时，处理进入步骤S49，并且第二帧处理单元122将负像素值重置为0。
接着，在步骤S50中，确定是否经过了与一帧周期对应的Δt时间。当确定为尚未经过Δt时间时，处理返回至步骤S45，并且重复上述步骤S45至S50的处理。
另一方面，在步骤S50中确定为经过了Δt时间的情况下，进入步骤S51，第二帧处理单元122输出第i帧的重构图像。
接着，在步骤S52中，第二帧处理单元122将用于识别帧数量的变量i增加1，然后将处理返回至步骤S42。此后，重复执行上述步骤S42至S52中的处理，并且当给出指令以结束整个分配器控制系统1或控制装置13的操作时，结束图17中的第二成帧处理。
如上所述，根据第二成帧处理，通过累积对应于亮度阈值d1和d2的像素值来生成估计亮度值的重构图像。
注意，如上所述，在重构图像的生成中，累积从开始图像拍摄的时间T0到第i帧被取帧的时间Ti的所有过去的事件。因此，在图像拍摄开始时不存在并且从中间反射的对象继续保留在重构图像中。噪声也被累积并继续保持。
图18示出了接近开始图像拍摄的时间T0的初始重构图像和经过一定时间段之后的重构图像的实例。
在经过特定时间段之后的重构图像中，产生液滴10和噪声保留在特定位置并继续保留的部分。
因为待检测的液滴10是移动体，所以期望移除在一定时间段内静止的物体。
因此，作为第二成帧处理的一部分，第二帧处理单元122可执行以下噪声去除处理。
例如，如图19所示，在第二帧处理单元122在时间Tn产生第n帧的重构图像的情况下，通过执行噪声去除处理(其中以时间Tn为参考，将在过去的预定周期TNR中未发生事件的像素的像素值设置为0)，可以去除在预定周期TNR或更长时间内静止的物体。这里，预定周期TNR被设置为比物体的通过时间长且比液滴10的喷出间隔短的周期(物体的通过时间＜TNR＜液滴10的喷出间隔)。物体的通过时间是物体经过液滴10的移动方向上的距离的时间。
将过去预定周期TNR中未发生事件的像素的像素值设置为0的噪声去除处理可以通过任何算法执行。例如，可以采用以下处理：保持每个像素中的最近发生的事件的时间信息，并且在最近发生的事件的时间比执行成帧的时间Tn长预定周期TNR的情况下将像素的像素值设置为0。
<7.噪声去除处理单元的处理>
接下来，将描述噪声去除处理单元112的噪声去除处理。
作为噪声去除处理，噪声去除处理单元112对作为二元图像的事件图像和重构图像中的每一个执行使用白色像素的扩展处理和收缩处理的滤波处理。
首先，噪声去除处理单元112对事件图像和重构图像中的每一个执行按照白色像素的收缩处理和扩展处理的顺序执行的打开处理，之后，执行按照白色像素的扩展处理和收缩处理的顺序执行的关闭处理。滤波器大小例如是五个像素。
图20示出了噪声去除处理单元112执行噪声去除处理之前和之后的重构图像的实例。被估计为噪声的小白色像素通过噪声去除处理单元112的噪声去除处理而被擦除。
<8.液滴检测单元的处理>
接着，说明液滴检测单元103的处理。
液滴检测单元103从预处理单元101提供的事件图像和重构图像中的每一个中检测液滴10。例如，液滴检测单元103从事件图像中检测液滴10，并且将结果作为跟踪目标的信息提供给液滴跟踪单元104。此外，液滴检测单元103从重构图像中检测液滴10，计算所检测的液滴10的尺寸，并且将结果提供给参数确定单元105。注意，从重构图像检测到的液滴10的结果可以作为关于跟踪目标的信息提供给液滴跟踪单元104，或者可以从从事件图像检测到的液滴10计算液滴10的尺寸。
图21是用于说明液滴检测单元103的液滴检测处理的示图。
液滴检测单元103对从预处理单元101提供的事件图像或重构图像的二元图像151执行标记处理，以向二元图像151中的液滴10赋予标记161。在图21的实例中，将标记161A至161C给予二元图像151中的三个液滴10。
液滴检测单元103确定所检测的标记161A至161C是否延伸跨过为二元图像151预先设定的两条边界线171，并且选择延伸跨过两条边界线171的标记作为检测候选。在图21的实例中，标记161A延伸跨过两条边界线171，并且选择标记161A的液滴10作为检测候选。
接下来，如图22所示，在两个边界线171中，假设与液滴10的移动方向相反的上侧是边界线171A并且下侧是边界线171B，液滴检测单元103登记(存储)区域182的图像作为模板图像，该区域182是通过相对于矩形区域181将来自边界线171A的下侧的外围放大一定宽度而获得的，该矩形区域181包围来自上侧边界线171A的液滴10的下侧的区域。液滴检测单元103将登记的模板图像提供至液滴跟踪单元104作为关于跟踪目标的信息。如上所述，液滴10的远端的一部分被登记为模板图像并被设置为追踪目标，使得即使液滴10具有绘制尾部的形状，也可以进行追踪。
要注意的是，根据帧速率的设置，例如，如图23所示，在与模板图像被登记的帧相邻的帧等中，可检测与已经登记并且由液滴跟踪单元104跟踪的模板图像相同的液滴10。在这种情况下，液滴检测单元103不登记(存储)模板图像。
更具体地，参考图23，在预定帧中，基于从边界线171A围绕液滴10的下侧的区域的矩形区域181，登记图23的左侧所示的模板图像183。然后，在下一帧中，选择相同的液滴10作为检测候选，并且设置围绕位于边界线171A的下侧的液滴10的区域的矩形区域181'。然而，因为矩形区域181'与正被跟踪的模板图像183重叠，所以矩形区域没有被登记为模板图像。
图24是用于解释计算液滴10的尺寸的方法的实例的示图。
液滴检测单元103计算登记的模板图像183的第一行中的液滴10的宽度184作为液滴10的尺寸。更具体地，液滴检测单元103将登记的模板图像183的第一行中的液滴10的像素数量设置为液滴10的宽度184。
注意，如上所述，所登记的模板图像183的第一行中的液滴10的宽度184可被计算为液滴10的尺寸，或者可通过其他计算方法获得液滴10的尺寸。例如，登记的模板图像183中的液滴10的像素数量、登记的模板图像183的垂直方向和水平方向上的像素数量等可被计算为尺寸。此外，参照图9描述的体积可被计算为尺寸。
接下来，参照图25的流程图，描述由液滴检测单元103执行的液滴检测处理。例如，当从预处理单元101首先提供事件图像或重构图像的二元图像151时，开始该处理。图25中的液滴检测处理是对从预处理单元101提供的一个二元图像151的处理。
首先，在步骤S71中，液滴检测单元103对从预处理单元101提供的一个二元图像151执行标记处理。结果，标记161被给予包括在一个二元图像151中的所有液滴10。
在步骤S72中，液滴检测单元103从包括在二元图像151中的一个或多个标记161(液滴10)中选择一个预定标记161。
在步骤S73中，液滴检测单元103确定选择的标记161是否延伸跨过两条边界线171。
当确定在步骤S73中选择的标记161没有延伸超过两条边界线171时，处理进行到步骤S77。
然而，当确定在步骤S73中选择的标记161延伸跨过两条边界线171时，处理进行到步骤S74，液滴检测单元103确定选择的标记161是否与正被跟踪的模板图像重叠。更具体地，如参考图23所描述的，确定包围选择的标记161中距上侧边界线171A下侧的液滴10的区域的矩形区域181是否与被跟踪的模板图像183重叠。
当确定在步骤S74中所选择的标记161与正被跟踪的模板图像重叠时，处理进行到步骤S77。
然而，当在步骤S74中确定选择的标记161不与跟踪的模板图像重叠时，处理进入步骤S75，液滴检测单元103将选择的标记161的远端的一部分登记为模板图像183。更具体地，在所选择的标记161中，液滴检测单元103将通过相对于包围液滴10在上侧边界线171A的下侧的区域的矩形区域181将来自边界线171A的下侧的外周放大恒定宽度而获得的区域182登记，作为模板图像183。登记的模板图像183被提供给液滴跟踪单元104。
在步骤S76中，液滴检测单元103将登记的模板图像183的第一行中的液滴10的宽度184计算为液滴10的尺寸。计算出的液滴10的宽度184被提供给参数确定单元105。
在步骤S77中，液滴检测单元103确定是否已经选择了所有标记161。
当在步骤S77中确定尚未选择所有标记161时，处理返回步骤S72，并且再次执行上述步骤S72至S77。即，选择尚未被选择的标记161，并且确定标记161是延伸跨过两条边界线171还是与正被跟踪的模板图像重叠。
然而，当在步骤S77中确定已经选择了所有标记161时，图25的液滴检测处理结束。
图25中的液滴检测处理是对从预处理单元101提供的一个二元图像151的处理，并且对从预处理单元101连续提供的二元图像151执行上述液滴检测处理。
<9.液滴跟踪单元的处理>
接下来，将描述液滴跟踪单元104的处理。
液滴跟踪单元104跟踪由液滴检测单元103检测的液滴10，计算液滴10的轨迹信息，并且将该轨迹信息提供给参数确定单元105。更具体地，液滴跟踪单元104通过使用从液滴检测单元103提供的模板图像183的模板匹配来搜索液滴10，以寻找模板图像183被登记的帧之后的帧。
图26是用于说明从模板图像被登记的帧中搜索第一帧的液滴10的示图。
在图26中，由虚线表示的液滴10表示液滴10在当前帧之前的一帧(即，模板图像183被登记的帧)中的位置。
液滴跟踪单元104使用距前一帧中的模板图像183的中心191的预定半径r1的范围作为搜索范围，通过模板匹配来搜索当前帧的液滴10。
图27是用于说明从模板图像被登记的帧起的第二帧和后续帧中的液滴10的搜索处理的示图。
在图27中，由虚线表示的液滴10表示在当前帧之前的一帧的帧中搜索的液滴10的位置。位置192对应于相对于虚线的液滴10搜索的模板图像183的中心。在当前帧是来自模板图像被登记的帧的第二帧的情况下，图27中的位置192对应于图26中的中心191。
在第二帧和后续帧中，液滴跟踪单元104计算一帧周期Δt内的液滴10的移动量193。利用在一个帧之前的帧中检测到的模板图像183的中心位置与在两个帧之前的帧中检测到的模板图像183的中心位置之间的距离，计算一帧周期Δt内的液滴10的移动量193。
然后，液滴跟踪单元104计算从一个帧之前的帧的模板图像183的位置192移动了一帧周期Δt内的移动量193的液滴10的位置194作为液滴10的预测位置，并且通过使用以预测位置为中心的预定半径r2的范围搜索液滴10作为搜索范围。这里，用于设置第二帧和后续帧的搜索范围的半径r2被设置为小于用于设置第一帧的搜索范围的半径r1(r2＜r1)。
如上所述，不能在模板图像183被登记的帧的下一帧(第一帧)中预测液滴10的移动量，使得通过与从模板图像183被登记时的中心191到半径r1的范围作为搜索范围进行模板匹配来搜索液滴10。
然而，在模板图像183被登记的帧的第二帧和后续帧中，液滴10的移动量可以从先前搜索结果计算。因此，通过基于计算的移动量与小于以预测位置为中心的半径r1的半径r2作为搜索范围的模板匹配，搜索液滴10。
参考图28的流程图，将描述由液滴跟踪单元104执行的液滴跟踪处理。例如，当从预处理单元101首先提供事件图像或重构图像的二元图像151时，开始该处理。图28中的液滴跟踪处理是针对从预处理单元101提供的一个二元图像151的处理。
首先，在步骤S101中，液滴跟踪单元104确定正在搜索的液滴10是否是从模板图像183被登记的帧起的第二帧或后续帧的搜索。
当在步骤S101中确定正被搜索的液滴10不是从第二帧或后续帧的搜索(即，对模板图像183被登记的帧的下一帧的搜索)时，处理进行到步骤S102，液滴跟踪单元104在一帧前的帧中设置从模板图像183的中心191开始的预定半径r1的范围作为搜索范围。
另一方面，当在步骤S101中确定为正被搜索的液滴10是搜索第二帧或后续帧时，处理进入步骤S103，液滴跟踪单元104基于在一帧前的帧中检测到的模板图像183的中心位置和在一帧前的帧中检测到的模板图像183的中心位置，计算一帧周期Δt内的液滴10的移动量193。
随后，在步骤S104中，液滴跟踪单元104计算在一帧周期Δt内从一帧前的帧的模板图像183的位置192移动了移动量193的液滴10的位置194作为液滴10的预测位置，并将以预测位置为中心的预定半径r2的范围设置为搜索范围。
在步骤S105中，液滴跟踪单元104通过模板匹配在步骤S102或步骤S104中设置的搜索范围内搜索液滴10。在模板匹配中，例如，液滴跟踪单元104通过标准化的互相关来计算相关值，并且获得具有最高相关值的坐标。
在步骤S106中，液滴跟踪单元104确定是否检测到相关值等于或大于预定阈值的图像。在步骤S106中，在步骤S105中检测到的具有最高相关值的图像的相关值小于预定阈值的情况下，确定没有检测到具有等于或大于预定阈值的相关值的图像。然而，在步骤S105中检测到的具有最高相关值的图像的相关值等于或大于预定阈值的情况下，确定检测到具有等于或大于预定阈值的相关值的图像。
当在步骤S106中确定已经检测到具有等于或大于预定阈值的相关值的图像时，处理进入步骤S107，并且液滴跟踪单元104更新正被跟踪的液滴10的轨迹信息。具体地，液滴跟踪单元104将作为当前帧中的液滴10的搜索结果的位置信息添加到存储为正被跟踪的液滴10的轨迹信息的每帧直到前一帧的液滴10的位置信息。
在步骤S108中，液滴跟踪单元104将模板匹配中使用的模板图像更新为在当前帧中检测到的图像。应注意，可以省略步骤S108中的处理，并且可以连续使用从液滴检测单元103提供的模板图像。
然而，当在步骤S106中确定没有检测到具有等于或大于预定阈值的相关值的图像时，处理进行到步骤S109，并且液滴跟踪单元104认为液滴10已经丢失，并且将目前在检测中存储的液滴10的轨迹信息提供给参数确定单元105。
图28中的液滴跟踪处理是对从预处理单元101提供的一个二元图像151的处理，并且对从预处理单元101连续提供的二元图像151执行上述液滴检测处理。在被跟踪的液滴10被认为丢失之前，通过在随后的二元图像151上进行模板匹配来搜索液滴10，并且更新轨迹信息。
注意，每个帧的液滴10的位置信息被存储并提供给参数确定单元105作为液滴10的轨迹信息，但是液滴10的轨迹信息可以是其他信息。例如，根据每个帧的液滴10的位置计算的液滴10的速度、移动方向等可用作液滴10的轨迹信息。
<10.分配器控制系统的液滴控制处理>
接下来，参考图29的流程图，将描述由整个分配器控制系统1进行的液滴控制处理。例如，当对分配器控制系统1执行预定控制开始操作时，开始该处理。
首先，在步骤S141中，EVS相机12基于从分配器11喷出的液滴10检测亮度变化作为事件，并且将事件数据输出至控制装置13。
在步骤S142中，控制装置13的第一帧处理单元121基于来自EVS相机12的事件数据来执行生成事件图像和显示图像的第一成帧处理。具体地，第一帧处理单元121执行参考图14描述的第一成帧处理。
在步骤S143中，控制装置13的第二帧处理单元122基于来自EVS相机12的事件数据执行生成重构图像的第二成帧处理，在重构图像中估计亮度值。具体地，第二帧处理单元122执行参考图17描述的第二成帧处理。
在步骤S144中，噪声去除处理单元112针对由成帧处理单元111生成的事件图像或重构图像中的每一个，通过扩展处理和收缩处理的滤波处理执行噪声去除处理。
在步骤S145中，显示器14从控制装置13获取由成帧处理单元111生成的显示图像，并显示该显示图像。
在步骤S146中，控制装置13的液滴检测单元103执行在从预处理单元101提供的事件图像和重构图像中的每一个中检测作为跟踪目标的液滴10的液滴检测处理。具体地，液滴检测单元103执行参考图25描述的液滴检测处理。在液滴检测处理中，将液滴10的模板图像提供至液滴跟踪单元104，并且计算液滴10的宽度184并将其提供至参数确定单元105。
在步骤S147中，控制装置13的液滴跟踪单元104执行以下液滴跟踪处理：跟踪由液滴检测单元103检测的液滴10，计算液滴10的轨迹信息，并且将该轨迹信息提供给参数确定单元105。具体地，液滴跟踪单元104执行参考图28描述的液滴检测处理，并将液滴10的轨迹信息提供给参数确定单元105。
在步骤S148中，控制装置13的参数确定单元105执行用于确定分配器11的控制参数是否在正常范围内的异常确定处理。例如，作为异常确定处理，参数确定单元105基于从液滴检测单元103提供的液滴10的宽度184和从液滴跟踪单元104提供的液滴10的轨迹信息，确定分配器11的喷出定时和喷出量是否在适当范围内。
在步骤S149中，参数确定单元105确定是否改变分配器11的控制参数。例如，当确定分配器11的喷出定时或喷出量不在适当范围内时，参数确定单元105确定改变控制参数。
当在步骤S149中确定要改变控制参数时，处理进行至步骤S150，并且参数确定单元105生成用于校正参数的控制信息作为反馈控制信息，并且将控制信息输出至分配器11。
然而，当在步骤S149中确定不改变控制参数时，跳过步骤S150中的处理。
在步骤S151中，控制装置13确定是否结束控制。例如，控制装置13的参数确定单元105在检测到已经执行了控制结束操作时确定结束控制，并且在其他情况下确定不结束控制。
当在步骤S151中确定控制尚未结束时，处理返回至步骤S141，并且重复上述步骤S141至S151。
然而，在步骤S151中确定控制结束时，结束图29的液滴控制处理。
为了便于描述，已经描述了作为液滴控制处理的图29中的每个步骤的处理作为顺序处理，但是，实际上，并行执行每个步骤的处理，并且将执行结果顺序输出到后续阶段。
<11.DNN的应用>
在上述液滴控制处理中，已经基于来自EVS相机12的事件数据生成事件图像和重构图像，已经从所生成的事件图像或重构图像计算液滴10的位置、速度、移动方向等，并且已经确定分配器11的控制参数是否在正常范围内。
然而，例如，标识分配器11的控制参数的处理可以使用深度神经网络(DNN)来执行以确定分配器11的控制参数是否在正常范围内。
如图30所示，DNN通过对输入数据执行特征提取处理以提取特征量并基于提取的特征量执行识别处理来获得识别结果。
例如，控制装置13可将事件图像和重构图像中的至少一者作为输入数据给予DNN，并通过学习，生成并使用输出分配器11的控制参数的DNN作为识别结果。
图31示出了在DNN使用事件图像和重构图像作为输入数据来执行识别处理的情况下的液滴控制处理的流程图。
图31中的步骤S201至S205和S207至S209是与图29中的步骤S141至S145和S149至S151相同的处理，并且图29中的步骤S146至S148中的处理被改变成图31中的步骤S206中的DNN控制参数识别处理。
在步骤S206中，例如，控制装置13的DNN处理单元基于从预处理单元101提供的事件图像和重构图像来识别分配器11的控制参数，并将该控制参数输出到参数确定单元105。在步骤S207中，参数确定单元105基于作为识别结果的控制参数来确定是否改变控制参数。
可替代地，来自EVS相机12的事件数据可作为输入数据被直接给予DNN，并且可通过学习来生成和使用输出分配器11的控制参数的这样的DNN，作为识别结果。
图32示出了在DNN使用事件数据作为输入数据来执行识别处理的情况下的液滴控制处理的流程图。
图32中的步骤S221和S223至S225是与图29中的步骤S141和S149至S151相同的处理，并且图29中的步骤S142至S148中的处理被改变成图32中的步骤S222中的DNN进行的控制参数识别处理。
在步骤S222中，例如，控制装置13的DNN处理单元基于从EVS相机12提供的事件数据来识别分配器11的控制参数，并将该控制参数输出到参数确定单元105。在步骤S223中，参数确定单元105基于作为识别结果的控制参数来确定是否改变控制参数。
在事件数据作为以预定压缩格式压缩的数据从EVS相机12输出的情况下，以预定压缩格式压缩的事件数据可作为输入数据被原样学习，使得控制参数可被识别。
对于用于执行识别处理的机器学习，除DNN之外还可使用尖峰发放神经网络(SNN)。
根据上述第一实施方式，EVS相机12基于从分配器11喷出的液滴10检测亮度变化作为事件，并且将事件数据输出至控制装置13。控制装置13基于从EVS相机12输出的事件数据生成用于控制分配器11对液滴10的喷射的控制信息，并且将该控制信息输出至分配器11。结果，可以精确地检测来自分配器11的液滴，并且可以高精度地控制液滴的喷出。
<12.分配器控制系统的第二实施例>
图33示出了应用本技术的分配器控制系统的第二实施方式的配置实例。
在图33中，对应于图1中所示的第一实施方式的那些的部分由相同的参考标号表示，并且将视情况省略这些部分的描述，集中于不同部分的描述。
在图33的分配器控制系统1中，进一步添加拍摄液滴10的图像并输出RGB图像(彩色图像)的RGB相机201。例如，如图33所示，RGB相机201与EVS相机12在液滴10的移动方向上并排布置。与EVS相机12的图像拍摄范围不同的范围被设置为RGB相机201的图像拍摄范围。
控制装置13通过对从RGB相机201提供的RGB图像执行标记处理、模板匹配等检测并跟踪液滴10。此外，控制装置13基于从RGB相机201提供的RGB图像分析液滴10的颜色、形状等。控制装置13基于EVS相机12的事件数据获取与液滴10的轨迹信息的对应关系，并基于RGB图像整合事件图像或重构图像的液滴10的检测信息和液滴10的检测信息。控制装置13能够基于整合检测信息确定控制参数是否正常，并进行反馈。
应注意，关于EVS相机12和RGB相机201的布置，例如，除了如图33所示的在液滴10的移动方向上并排布置的配置之外，可采用如图34所示的被布置为经由半反射镜211拍摄相同图像拍摄范围的图像的配置。
如图33所示，在EVS相机12和RGB相机201被布置为具有不同的图像拍摄范围的情况下，可针对EVS相机12和RGB相机201设置不同的照明条件，使得可使用适合于每个相机的照明。
然而，在EVS相机12和RGB相机201被布置为拍摄如图34所示的相同的图像拍摄范围的情况下，容易识别由每个相机检测的液滴10的对应关系。
根据上述第二实施例，EVS相机12基于从分配器11喷出的液滴10检测亮度变化作为事件，并且将事件数据输出到控制装置13。控制装置13基于从EVS相机12输出的事件数据生成用于控制分配器11对液滴10的喷出的控制信息，并且将该控制信息输出至分配器11。结果，可以精确地检测来自分配器11的液滴，并且可以高精度地控制液滴的喷出。此外，可以通过使用RGB相机201所拍摄的RGB图像来精确地检测液滴10，并且控制液滴的喷出。
<13.分配器控制系统的第三实施例>
图35示出了应用本技术的分配器控制系统的第三实施例的配置实例。
在图35中，对应于图1中所示的第一实施方式的那些的部分由相同的参考标号表示，并且集中于不同的部分，适当地省略其描述。
比较图35所示的第三实施例与图1所示的第一实施例，根据第三实施例的分配器控制系统1具有这样的配置，其中，根据第一实施例的EVS相机12和控制装置13替换为EVS相机300。
EVS相机300是包括事件传感器和执行第一实施例中的控制装置13的功能的处理单元的成像装置。即，EVS相机300基于从分配器11喷出的液滴10检测亮度变化作为事件，并且生成事件数据。此外，EVS相机300基于事件数据产生用于控制分配器11对液滴10的喷出的反馈控制信息，并且将反馈控制信息输出至分配器11。此外，EVS相机300基于事件数据产生将由工人监控的显示图像，并使显示器14显示该显示图像。
<EVS相机的配置实例>
图36是示出图35中的EVS相机300的配置实例的框图。
EVS相机300包括光学单元311、成像元件312、记录单元313和控制单元314。
光学单元311收集来自对象的光并且使光进入成像元件312。成像元件312是事件传感器，其在以像素中的亮度变化作为事件而发生事件的情况下，输出指示事件发生的事件数据。
成像元件312对经由光学单元311入射的入射光进行光电转换以生成事件数据，并且使记录单元313记录事件数据。此外，成像元件312基于事件数据生成用于控制分配器11对液滴10的喷出的反馈控制信息，并且将该反馈控制信息输出至分配器11。而且，成像元件312基于事件数据生成显示图像，并且将显示图像输出到显示器14。
记录单元313将从成像元件312提供的事件数据、事件图像等记录并累积到预定的记录介质中。控制单元314控制成像元件312。例如，控制单元314对成像元件312指示成像的开始和结束，并指定事件图像的帧速率等。
图37是示出成像元件312的示意性配置实例的透视图。
成像元件312具有光接收芯片321和检测芯片322接合并分层的分层结构。例如，光接收芯片321和检测芯片322经由诸如过孔、Cu-Cu键合或凸块的连接部分电连接。
图38是示出了光接收芯片321的配置实例的平面图。
光接收芯片321包括形成在芯片中心部中的光接收部341，以及形成在光接收部341外部的外周部中的一个或多个通孔布置部342。在图38的实例中，三个通孔配置部342设置在芯片外周的角部。
在光接收部341中，多个光电二极管351被布置成二维格状图案。光电二极管351光电转换入射光以产生光电流。光电二极管351中的每一个被分配包括行地址和列地址的像素地址，并且被视为像素。在通孔布置部342中，布置有与检测芯片322电连接的通孔。
图39是示出检测芯片322的配置实例的平面图。
检测芯片322包括一个或多个通孔布置部361、地址事件检测单元362、行驱动电路363、列驱动电路364以及信号处理电路365。
通孔布置部361被设置在与光接收芯片321的通孔布置部342对应的位置处，并且通过通孔电连接至光接收芯片321。在图39中，通孔布置部361被单独设置在与图38中的三个通孔布置部342对应的位置处，并且在检测芯片322上形成总共三个通孔布置部361。
地址事件检测单元362根据光接收芯片321的多个光电二极管351中的每个的光电流生成检测信号，并且将检测信号输出至信号处理电路365。检测信号是指示入射光的光量超过预定阈值的事实是否被检测为地址事件的1位信号。
行驱动电路363选择地址事件检测单元362的预定行地址，并且将所选择的行地址的检测信号输出至信号处理电路365。
列驱动电路364选择地址事件检测单元362的预定列地址，并将所选择的列地址的检测信号输出至信号处理电路365。
信号处理电路365对从地址事件检测单元362输出的检测信号执行预定信号处理。此外，例如，信号处理电路365基于从地址事件检测单元362输出的检测信号生成事件数据，并且进一步执行生成事件图像、重构图像和显示图像的处理。此外，信号处理电路365基于所生成的事件图像和重构图像确定分配器11的控制参数是否在正常范围内，并且在确定控制参数在正常范围之外的情况下，生成和输出反馈控制信息。因此，在第三实施方式中，通过图1中的控制装置13执行的处理由信号处理电路365执行。
图40是示出了地址事件检测单元362的细节的平面图。
在地址事件检测单元362中，多个地址事件检测电路371被布置在二维格状图案中。地址事件检测电路371例如以与光电二极管351一一对应的方式布置在光接收芯片321上。每个地址事件检测电路371通过通孔、Cu-Cu键合等与对应的光电二极管351电连接。
图41是示出地址事件检测电路371的配置实例的框图。
地址事件检测电路371包括电流电压转换电路381、缓冲器382、减法器383、量化器384和传送电路385。
电流电压转换电路381将来自对应的光电二极管351的光电流转换为电压信号。电流电压转换电路381生成与光电流的对数值对应的电压信号，并将该电压信号输出到缓冲器382。
缓冲器382缓冲来自电流电压转换电路381的电压信号，并将该电压信号输出至减法器383。该缓冲器382使得可以确保伴随后级中的开关操作的噪声的隔离，并且可以提高用于驱动后级的驱动力。注意，可以省略缓冲器382。
减法器383根据来自行驱动电路363的行驱动信号，降低来自缓冲器382的电压信号的电平。减法器383将降低的电压信号输出至量化器384。
量化器384将来自减法器383的电压信号量化成数字信号，并且将该数字信号作为检测信号供应至传送电路385。传送电路385根据来自列驱动电路364的列驱动信号将检测信号传送(输出)至信号处理电路365。
图42是示出电流电压转换电路381的详细配置的电路。虽然电流电压转换电路381被布置在检测芯片322上，但是图42还示出了连接至电流电压转换电路381的光接收芯片321的光电二极管351。
电流电压转换电路381包括FET 411至413。作为FET 411和FET413，例如，可以采用N型金属氧化物半导体(NMOS)FET，并且作为FET 412，例如，可以采用P型金属氧化物半导体(PMOS)FET。
光接收芯片321的光电二极管351接收入射光，执行光电转换，并且生成并允许光电流作为电信号的流动。电流电压转换电路381将来自光电二极管351的光电流转换成对应于光电流的对数的电压(在下文中，也称为光电压)Vo，并且将电压Vo输出至缓冲器382(图41)。
FET 411的源极与FET 413的栅极连接，来自光电二极管351的光电流流过FET 411的源极和FET 413的栅极的连接点。FET 411的漏极与电源VDD连接，其栅极与FET 413的漏极连接。
FET 412的源极连接到电源VDD，其漏极连接到FET 411的栅极和FET 413的漏极之间的连接点。将预定偏置电压Vbias施加到FET 412的栅极。FET 413的源极接地。
FET 411的漏极连接至电源VDD侧，并且是源极跟随器。光电二极管351与作为源极跟随器的FET 411的源极连接，该连接允许通过由光电二极管351的光电转换产生的电荷导致的光电流流过FET 411(的漏极至源极)。FET 411在亚阈值区域中操作，并且与流过FET411的光电流的对数相对应的光电压Vo出现在FET 411的栅极处。如上所述，在光电二极管351中，来自光电二极管351的光电流通过FET 411被转换为与光电流的对数相对应的光电压Vo。
光电压Vo从FET 411的栅极和FET 413的漏极的连接点经由缓冲器382输出到减法器383。
图43示出了减法器383和量化器384的详细配置。
减法器383针对来自电流电压转换电路381的光电压Vo，计算当前的光电压和与当前时间差微小时间的定时的光电压的差，并输出与该差对应的差信号Vout。
减法器383包括电容器431、运算放大器432、电容器433和开关434。量化器384包括比较器451。
电容器431的一端连接至缓冲器382的输出端(图41)，并且另一端连接至运算放大器432的输入端。因此，光电压Vo经由电容器431被输入到运算放大器432的(反相)输入端。
运算放大器432的输出端连接至量化器384的比较器451的非反相输入端(+)。
电容器433的一端连接至运算放大器432的输入端子，并且另一端连接至运算放大器432的输出端子。
开关434连接到电容器433以接通/断开电容器433的两端之间的连接。开关434通过根据行驱动电路363的行驱动信号接通/断开来接通/断开电容器433的两端之间的连接。
电容器433和开关434构成开关电容器。当已经关断的开关434暂时导通并且再次关断时，电容器433被重置为电荷被放电并且电荷可被重新累积的状态。
开关434导通时的光电二极管351侧的电容器431的光电压Vo用Vinit表示，电容器431的电容(静电电容)用C1表示。在开关434被接通的情况下，运算放大器432的输入端虚拟地接地，并且在电容器431中累积的电荷Qinit由等式(1)表示，
Qinit＝C1×Vinit·····(1)。
此外，在开关434接通的情况下，电容器433的两端短路，使得在电容器433中累积的电荷变为0。
此后，当在开关434关断的情况下在光电二极管351侧上的电容器431的光电压Vo被表示为Vafter时，当开关434关断时累积在电容器431中的电荷Qafter由等式(2)表示，
Qafter＝C1×Vafter…(2)。
当电容器433的电容被表示为C2时，则通过使用作为运算放大器432的输出电压的差值信号Vout，电容器433中累积的电荷Q2被表示为等式(3)，
Q2＝-C2×Vout…(3)。
在开关434关断之前和之后，电容器431的电荷和电容器433的电荷的总电荷量不改变，从而建立等式(4)，
Qinit＝Qafter+Q2…(4)。
当等式(1)至等式(3)被取代到等式(4)时，获得等式(5)，
Vout＝-(C1/C2)×(Vafter-Vinit)…(5)。
根据等式(5)，减法器383减去光电压Vafter和Vinit，即计算出与光电压Vafter和Vinit的差值(Vafter-Vinit)对应的差值信号Vout。根据等式(5)，减法器383的减法增益是C1/C2。因此，减法器383将通过将电容器433的重置之后的光电压Vo的变化乘以C1/C2而获得的电压输出为差值信号Vout。
减法器383通过与从行驱动电路363输出的行驱动信号一起导通和关断开关434来输出差值信号Vout。
量化器384的比较器451将来自减法器383的差值信号Vout与输入到反相输入端(-)的预定阈值电压Vth进行比较，并且将比较结果作为检测信号输出至传送电路385。
应注意，在图42的配置实例中，只有光接收部341的光电二极管351被布置在光接收芯片321上，并且包括电流电压转换电路381的地址事件检测电路371被布置在检测芯片322上。在这种情况下，检测芯片322中的电路规模可随着像素数量的增加而增加。因此，地址事件检测电路371的一部分可布置在光接收芯片321的光接收部341中。
例如，如图44所示，地址事件检测电路371的电流电压转换电路381的一部分(例如，配置有N型MOS(NMOS)FET的FET 411和FET 413)可布置在光接收芯片321的光接收部341中。在这种情况下，光接收芯片321仅包括N型MOS FET，并且检测芯片322的电流电压转换电路381仅包括P型MOS FET。因此，与混合P型和N型的情况相比，可以减少形成晶体管的步骤的数量。因此，光接收芯片321的制造成本可以降低。
根据上述第三实施例，EVS相机300可基于由自身产生的事件数据来检测分配器11的液滴10，生成用于控制液滴10的喷出的控制信息，并将控制信息输出到分配器11。结果，可以精确地检测来自分配器11的液滴，并且可以高精度地控制液滴的喷出。
<14.结论>
根据上述分配器控制系统1的每个实施例，通过使用被配置为检测亮度变化作为事件并且异步输出的EVS相机12，与帧速率大约为1000fps的高速相机相比，可以大大减少计算量和通信量，并且可以高速拍摄液滴10的图像。此外，由于基于事件数据生成的事件图像或重构图像是二元图像，因此计算量小，并且还能够降低功耗。
根据分配器控制系统1的液滴控制处理，可以从基于事件数据生成的事件图像或重构图像中高速检测液滴10的轨迹信息、尺寸(宽度)、体积等，并且可以高精度地控制分配器11的控制参数。因此，可以精确地检测来自分配器11的液滴10并且以高精度控制液滴10的喷出。可以实时确定分配器11对液滴10的喷出是好还是坏。
<15.计算机配置实例>
通过上述控制装置13执行的液滴10的控制处理可通过硬件或者软件执行。在通过软件执行一系列处理的情况下，在计算机中安装配置软件的程序。这里，计算机的实例包括例如内置于专用硬件中的微型计算机、能够通过安装有各种程序来执行各种功能的通用个人计算机等。
图45是示出作为通过程序执行上述一系列液滴控制处理的信息处理装置的计算机的硬件的配置实例的框图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。
输入/输出接口505进一步连接至总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接至输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元507包括显示器、扬声器、输出端子等。存储单元508包括硬盘、RAM盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质511。
在如上所述配置的计算机中，例如，通过CPU 501经由输入/输出接口505和总线504将记录在存储单元508中的程序加载到RAM 503中，并且执行上述一系列处理。RAM 503还适当地存储CPU 501执行各种处理所需的数据。
由计算机(CPU 501)执行的程序可以通过记录在例如作为封装介质等的可移动记录介质511上来提供。此外，可经由诸如局域网、互联网、或者数字卫星广播等有线或无线传输介质提供程序。
在计算机中，通过将可移动记录介质511附接至驱动器510，可以经由输入/输出接口505将程序安装在存储单元508中。此外，程序可经由有线或无线传输介质由通信单元509接收，并安装在存储单元508中。此外，程序可以预先安装在ROM 502和存储单元508中。
要注意的是，由计算机执行的程序可以是根据在本说明书中描述的顺序按照时间顺序执行处理的程序，或者可以是并行或在需要时(例如，在进行调用时)执行处理的程序。
本技术的实施例不限于上述实施例，并且在不背离本技术的范围的情况下，可以做出各种修改。
例如，能够适当地采用以上说明的多个实施例的全部或者一部分组合的形式。
此外，在上述流程图中描述的每个步骤可以由一个设备执行，并且也可以由多个设备共享和执行。
此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个设备执行，并且还可以由多个设备共享和执行。
应注意，本说明书中描述的效果仅是实例并且不受限制，并且可以存在除本说明书中描述的那些效果之外的效果。
应注意，本技术可具有以下配置。
(1)
一种信息处理装置，包括：
事件传感器，包括像素，像素被配置为光电转换光信号并输出像素信号，事件传感器被配置为基于像素信号输出光信号的时间亮度变化作为事件信号；以及
处理器，被配置为基于事件信号检测从分配器喷出的液滴。
(2)
根据以上(1)的信息处理装置，其中，
事件传感器被设置为使得像素信号的读取方向与液滴的移动方向一致。
(3)
根据以上(1)或(2)的信息处理装置，其中
事件传感器从两个正交方向检测液滴。
(4)
根据以上(1)至(3)中任一项的信息处理装置，其中
两个正交方向由不同的事件传感器检测。
(5)
根据以上(1)至(3)中任一项的信息处理装置，其中
两个正交方向由事件传感器中的一个检测。
(6)
根据以上(1)至(5)中任一项的信息处理装置，其中
处理器进一步生成并输出控制信息以用于控制分配器对液滴的喷出。
(7)
根据以上(6)的信息处理装置，其中，
处理器生成事件图像，其中，针对每个预定积分时间收集来自事件传感器的事件信号，并且基于所生成的所述事件图像生成所述控制信息。
(8)
根据以上(7)的信息处理装置，其中，
处理器基于作为第一极性的亮度变化的第一事件的事件信号生成第一事件图像，作为事件图像；以及基于作为第二极性的亮度变化的第二事件的事件信号生成第二事件图像，第二极性是与第一极性相反的极性。
(9)
根据以上(7)或(8)的信息处理装置，其中
事件图像是二元图像，其中，发生事件信号的像素的像素值设置为1并且未发生事件信号的像素的像素值设置为0。
(10)
根据以上(7)至(9)中任一项的信息处理装置，其中
预定积分时间短于与帧速率相对应的一帧周期。
(11)
根据以上(8)至(10)中任一项的信息处理装置，其中
处理器还生成显示图像，在显示图像中，发生第一事件的像素的像素值被设置为第一亮度值，发生第二事件的像素的像素值被设置为第二亮度值，并且其他像素的像素值被设置为第三亮度值。
(12)
根据以上(8)至(11)中任一项的信息处理装置，其中
处理器基于第一事件图像计算液滴的轨迹信息，并且基于所计算的轨迹信息生成控制信息。
(13)
根据以上(8)至(12)中任一项的信息处理装置，其中
处理器执行去除第一事件图像的噪声的噪声去除处理。
(14)
根据以上(1)至(13)中任一项的信息处理装置，其中
处理器针对对应于帧速率的每个帧速率周期基于事件信号生成估计亮度值的重构图像。
(15)
根据以上(14)的信息处理装置，其中，
处理器通过使用过去时间中的所有事件信号生成重构的图像。
(16)
根据以上(14)或(15)的信息处理装置，其中
处理器基于重构图像计算液滴的宽度，并且基于所计算的宽度生成用于控制分配器喷出液滴的控制信息。
(17)
根据以上(14)至(16)中任一项的信息处理装置，其中
处理器基于重构图像计算液滴的体积，并且基于所计算的体积生成用于控制分配器喷出液滴的控制信息。
(18)
根据以上(14)至(17)中任一项的信息处理装置，其中
处理器执行将在重构图像的生成定时之前的特定时间段内未发生事件的像素的像素值设置为零的噪声去除处理。
(19)
根据以上(1)至(17)中任一项的信息处理装置，其中
处理器还基于通过使用图像传感器拍摄液滴的图像而获得的RGB图像来检测液滴。
(20)
一种信息处理系统，包括：
分配器，被配置为喷出预定液体；
事件传感器，包括被配置为光电转换光信号并输出像素信号的像素，事件传感器被配置为基于像素信号输出光信号的时间亮度变化作为事件信号；以及
处理器，被配置为基于事件信号检测从分配器喷出的液滴。
参考符号列表
1 分配器控制系统
10 液滴
11 分配器
12 EVS相机
13 控制装置
14 显示器
21 衬底
22 传送器
61 照明装置
101 预处理单元
102 图像输出单元
103 液滴检测单元
104 液滴跟踪单元
105 参数确定单元
111 成帧处理单元
112 噪声去除处理单元
121 第一帧处理单元
122 第二帧处理单元
201 RGB相机
300 EVS相机
312 成像元件
365 信号处理电路
501 CPU
502 ROM
503 RAM
506 输入单元
507 输出单元
508 存储单元
509 通信单元。

Claims (20)

1.一种信息处理装置，包括：
事件传感器，包括像素，所述像素被配置为光电转换光信号并输出像素信号，所述事件传感器被配置为基于所述像素信号输出所述光信号的时间亮度变化作为事件信号；以及
处理器，被配置为基于所述事件信号检测从分配器喷出的液滴。
2.根据权利要求1所述的信息处理装置，其中
所述事件传感器被设置为使得所述像素信号的读取方向与所述液滴的移动方向一致。
3.根据权利要求1所述的信息处理装置，其中
所述事件传感器从两个正交方向检测所述液滴。
4.根据权利要求3所述的信息处理装置，其中
所述两个正交方向由不同的所述事件传感器检测。
5.根据权利要求3所述的信息处理装置，其中
所述两个正交方向由一个所述事件传感器检测。
6.根据权利要求1所述的信息处理装置，其中
所述处理器进一步生成并输出用于控制通过所述分配器喷出所述液滴的控制信息。
7.根据权利要求6所述的信息处理装置，其中
所述处理器生成以预定积分时间为单位收集来自所述事件传感器的所述事件信号而得的事件图像，并且基于所生成的事件图像生成所述控制信息。
8.根据权利要求7所述的信息处理装置，其中
所述处理器生成第一事件图像和第二事件图像作为所述事件图像，所述第一事件图像基于作为第一极性的亮度变化的第一事件的事件信号；所述第二事件图像基于作为第二极性的亮度变化的第二事件的事件信号，所述第二极性是与所述第一极性相反的极性。
9.根据权利要求8所述的信息处理装置，其中
所述事件图像是二元图像，在所述二元图像中，发生所述事件信号的像素的像素值设置为1以及未发生所述事件信号的像素的像素值设置为0。
10.根据权利要求7所述的信息处理装置，其中
所述预定积分时间短于与帧速率相对应的一帧周期。
11.根据权利要求8所述的信息处理装置，其中
所述处理器还生成显示图像，在所述显示图像中，发生所述第一事件的像素的像素值被设置为第一亮度值，发生所述第二事件的像素的像素值被设置为第二亮度值，并且其他像素的像素值被设置为第三亮度值。
12.根据权利要求8所述的信息处理装置，其中
所述处理器基于所述第一事件图像计算所述液滴的轨迹信息，并且基于所计算的轨迹信息生成所述控制信息。
13.根据权利要求8所述的信息处理装置，其中
所述处理器执行去除所述第一事件图像的噪声的噪声去除处理。
14.根据权利要求1所述的信息处理装置，其中
所述处理器以对应于帧速率的每个帧速率周期为单位，生成基于所述事件信号估计亮度值的重构图像。
15.根据权利要求14所述的信息处理装置，其中
所述处理器通过使用过去时间中的所有所述事件信号，生成所述重构图像。
16.根据权利要求14所述的信息处理装置，其中
所述处理器基于所述重构图像计算所述液滴的宽度，并且基于所计算的宽度生成用于控制通过所述分配器喷出所述液滴的控制信息。
17.根据权利要求14所述的信息处理装置，其中
所述处理器基于所述重构图像计算所述液滴的体积，并且基于所计算的体积生成用于控制通过所述分配器喷出所述液滴的控制信息。
18.根据权利要求14所述的信息处理装置，其中
所述处理器执行噪声去除处理以将在所述重构图像的生成定时之前的特定时间段内未发生事件的像素的像素值设置为零。
19.根据权利要求1所述的信息处理装置，其中
所述处理器还基于通过使用图像传感器拍摄所述液滴的图像而获得的RGB图像来检测所述液滴。
20.一种信息处理系统，包括：
分配器，被配置为喷出预定液体；
事件传感器，包括像素，所述像素被配置为光电转换光信号并输出像素信号，所述事件传感器被配置为基于所述像素信号输出所述光信号的时间亮度变化作为事件信号；以及
处理器，被配置为基于所述事件信号检测从所述分配器喷出的液滴。
CN202180064013.3A 2020-09-25 2021-09-10 信息处理装置和信息处理系统 Pending CN116209527A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020161034A JP7317783B2 (ja) 2020-09-25 2020-09-25 情報処理装置
JP2020-161034 2020-09-25
PCT/JP2021/033275 WO2022065076A1 (ja) 2020-09-25 2021-09-10 情報処理装置および情報処理システム

Publications (1)

Publication Number Publication Date
CN116209527A true CN116209527A (zh) 2023-06-02

Family

ID=80846532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064013.3A Pending CN116209527A (zh) 2020-09-25 2021-09-10 信息处理装置和信息处理系统

Country Status (7)

Country Link
US (1) US20230353893A1 (zh)
EP (1) EP4219023A4 (zh)
JP (1) JP7317783B2 (zh)
KR (1) KR20230074121A (zh)
CN (1) CN116209527A (zh)
DE (1) DE112021005088T5 (zh)
WO (1) WO2022065076A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023096643A (ja) * 2021-12-27 2023-07-07 株式会社Ｓｃｒｅｅｎホールディングス 動作監視方法および製造装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2704058B1 (fr) * 1993-04-13 1995-10-13 Toxot Science & Appl Dispositif d'analyse tridimensionnelle et procede de commande de la position des gouttes de liquide dans l'espace.
WO2002040273A2 (en) * 2000-11-09 2002-05-23 Therics, Inc. Method and apparatus for obtaining information about a dispensed fluid during printing
JP2005022222A (ja) 2003-07-01 2005-01-27 Seiko Epson Corp 液滴飛行状態観測方法および液滴飛行状態観測装置
WO2006007706A1 (en) * 2004-07-16 2006-01-26 Dofasco Inc. Monitor system for coating apparatus
US20060071957A1 (en) 2004-10-05 2006-04-06 Applied Materials, Inc. Droplet visualization of inkjetting
KR20060082641A (ko) 2005-01-13 2006-07-19 삼성전자주식회사 액정 적하량 측정 시스템 및 이를 이용한 액정 적하량측정 방법
JP6867930B2 (ja) 2017-10-30 2021-05-12 株式会社Ｓｃｒｅｅｎホールディングス 液滴撮像装置、液滴特性測定装置、液滴吐出装置、液滴撮像方法、液滴特性測定方法、および液滴吐出方法
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
JP7369517B2 (ja) 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP7285058B2 (ja) 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路
JP2020099015A (ja) 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
US20200005468A1 (en) 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing
CN116018510A (zh) * 2020-08-24 2023-04-25 马兹利特股份有限公司 用于快速移动粒子表征的方法、系统和照明模块

Also Published As

Publication number Publication date
EP4219023A1 (en) 2023-08-02
KR20230074121A (ko) 2023-05-26
DE112021005088T5 (de) 2023-08-17
JP7317783B2 (ja) 2023-07-31
JP2022054057A (ja) 2022-04-06
EP4219023A4 (en) 2024-03-13
WO2022065076A1 (ja) 2022-03-31
US20230353893A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US20230328406A1 (en) Dynamic vision sensor architecture
US20060197664A1 (en) Method, system and apparatus for a time stamped visual motion sensor
US9762840B2 (en) Imaging device and method of driving the same
CN101056363B (zh) 物理量分布检测设备和成像设备
US10306133B2 (en) Image processing apparatus for generating a likelihood distribution of an object
US9684840B2 (en) Detection system
CN109903324B (zh) 一种深度图像获取方法及装置
CN111034177B (zh) 固体摄像装置以及具备该固体摄像装置的摄像装置
CN105723697A (zh) 用于对象跟踪的相机和光源同步
CN112449130A (zh) 具有闪烁分析电路的事件传感器
CN103379296A (zh) 固体图像传感器和电子设备
WO2015118973A1 (en) Image capturing apparatus and method of controlling the same
CN102883112A (zh) 固态成像设备、驱动其的方法、以及使用其的电子装置
EP4219023A1 (en) Information processing device and information processing system
Ma et al. Burst vision using single-photon cameras
JP3386025B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
US6476860B1 (en) Center of mass detection via an active pixel sensor
EP3872463A1 (en) Light sensor module, method for acquiring light sensor data, electronic equipment, and storage medium
JP7318150B2 (ja) 情報処理装置および情報処理システム
Huang et al. A motion sensor with on-chip pixel rendering module for optical flow gradient extraction
JP2008193514A (ja) 撮像装置、その被写体追従方法及びプログラム
US7379101B2 (en) Photosensor system and drive control method for the same
US10638045B2 (en) Image processing apparatus, image pickup system and moving apparatus
Meynants et al. Sensor for optical flow measurement based on differencing in space and time
JP2004304375A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination