CN117836608A - 测量装置、测量方法和程序 - Google Patents

测量装置、测量方法和程序 Download PDF

Info

Publication number
CN117836608A
CN117836608A CN202280056742.9A CN202280056742A CN117836608A CN 117836608 A CN117836608 A CN 117836608A CN 202280056742 A CN202280056742 A CN 202280056742A CN 117836608 A CN117836608 A CN 117836608A
Authority
CN
China
Prior art keywords
unit
light
vision sensor
measurement
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056742.9A
Other languages
English (en)
Inventor
高塚进
铁川弘树
佐藤秀仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117836608A publication Critical patent/CN117836608A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18Water
    • G01N33/1893Water using flow cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • G01N15/075Investigating concentration of particle suspensions by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18Water
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0003Determining electric mobility, velocity profile, average speed or velocity of a plurality of particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0007Investigating dispersion of gas
    • G01N2015/0011Investigating dispersion of gas in liquids, e.g. bubbles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0042Investigating dispersion of solids
    • G01N2015/0053Investigating dispersion of solids in liquids, e.g. trouble
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N2015/0294Particle shape
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1027Determining speed or velocity of a particle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493Particle size
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • G01N2021/177Detector of the video camera type
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

该测量装置包括:视觉传感器,面向发射光的照明单元的发射表面布置,并根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据;成像控制单元,使视觉传感器捕获图像;以及测量单元,基于由图像捕获单元捕获的图像测量与目标对象有关的信息。

Description

测量装置、测量方法和程序
技术领域
本技术涉及测量装置、测量方法和程序,并且具体地涉及用于测量水中的目标对象的技术。
背景技术
已经提出一种测量装置,通过用预定波长的激发光照射浮游植物来激发浮游植物,然后使光接收元件从激发的浮游植物接收荧光,由此测量浮游植物的量(例如,参见专利文献1)。
[引用列表]
[专利文献]
专利文献1:日本公开2019-165687
发明内容
[技术问题]
在上述测量装置中,发光元件被布置为相对于从照明单元发射的激发光的光轴具有预定角度,使得光接收元件不直接接收从照明单元发射的激发光。因此,在上述测量装置中,为了将来自照明单元的激发光发射到光接收元件可以接收光的光接收范围上,需要在照明单元和光接收范围之间设置一些距离以增加激发光的输出。这导致在上述测量装置中更高功耗的风险。
本技术旨在降低功耗。
[问题的解决方案]
根据本技术的测量装置包括:视觉传感器,面向发射光的照明单元的照明表面布置,并且根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据;成像控制单元,使视觉传感器捕获图像;以及测量装置,基于由成像单元捕获到的图像来测量与目标对象有关的信息。
因此,在测量装置中,照明单元与视觉传感器之间的距离可以变短。
附图说明
图1是用于说明测量装置1的使用示例的示图。
图2是用于说明目标对象和目标对象的移动的示图。
图3是用于说明根据第一实施方式的测量装置1的配置的示图。
图4是提取测量装置1的一部分的示图。
图5是用于说明测量装置1的内部配置的示图。
图6是用于说明测量设置的示例的示图。
图7是示出测量处理的过程的流程图。
图8是用于说明光发射操作的示图。
图9是用于说明光发射操作的示图。
图10是用于说明基于规则的距离/速度测量处理的示图。
图11是用于说明作为训练数据的图像的示图。
图12是深度学习的模型图。
图13是用于说明根据本技术的第二实施方式的测量装置100的配置的示图。
图14是用于说明光发射操作的示图。
图15是用于说明光发射操作的示图。
图16是用于说明根据本技术的第三实施方式的测量装置200的配置的示图。
图17是示出单元移动处理的过程的流程图。
图18是用于说明根据变形例的部分光发射操作的示图。
图19是用于说明根据变形例的部分光发射操作的示图。
图20是用于说明根据第一实施方式的测量装置的变形例的示图。
图21是用于说明根据第一实施方式的测量装置的变形例的示图。
图22是用于说明根据第一实施方式的测量装置的变形例的示图。
图23是用于说明根据第二实施方式的测量装置的变形例的示图。
图24是用于说明根据变形例1的校准处理的示图。
图25是示出校准处理的过程的流程图。
图26是用于说明根据变形例2的测量装置的配置的示图。
具体实施方式
在下文中,将按照以下顺序描述实施方式。
<1.第一实施方式>
[1.1测量装置的使用示例]
[1.2目标对象]
[1.3测量装置的配置]
[1.4测量处理]
[1.5测量处理]
[1.6距离/速度测量处理]
<2.第二实施方式>
[2.1测量装置的配置]
<3.第三实施方式>
[3.1测量装置的配置]
[3.2单元移动处理]
<4.测量装置的另一配置示例>
<5.实施方式概述>
<6.本技术>
<1.第一实施方式>
[1.1测量装置的使用示例]
首先,将描述根据本技术的第一实施方式的测量装置1的配置。
测量装置1是用于测量关于目标对象的信息的装置,该目标对象是存在于水(诸如海水)中的微生物或微粒,该信息例如是目标对象的数量、类型、密度、速度、移动方向、形状变化等。
作为目标对象的生物体是存在于水中的浮游植物、浮游动物和水生微生物例如水生生物体的幼虫。此外,作为目标对象的微粒是微粘、粉尘、沙、海雪、气泡等。然而,这些是示例;目标对象可以是其他任何事物。
图1是用于说明测量装置1的使用示例的示图。测量装置1用于各种目的,诸如海洋生物调查、水产养殖中的水质测量、钓鱼场的选择和调查、微塑料测量、海洋发展影响调查、船压载水调查、海洋资源探索、蓝碳测量、全球变暖调查和碳含量估计调查,并且测量装置1的示例包括图1中示出的测量装置1a至1f。
测量装置1a被置于深海并且用于深海生物体的研究、海洋沉积物或海底水流的研究等。测量装置1b配置于海洋表层,用于测量水产养殖中的水质、红潮检测等。将测量装置1c放置在中间海洋层中,并用于测量海雪、微塑料等。测量装置1d由船舶等拖曳并使用。测量装置1e安装在海上无人机中。测量装置1f被安装在潜艇中。
[1.2目标对象]
图2是用于说明目标对象和目标对象的移动的示图。要注意的是,在图2中,上部表示目标对象的图像,下部通过箭头表示目标对象的移动方向。
如图2所示,目标对象包括微生物、海雪、海底沙、烟雾和气泡。
已知一些微生物在用特定波长的光照射时显示运转性。在此,运转性是指生物体对光(外部刺激)的先天行为。因此,当用特定波长的光照射具有运转性的微生物时,该微生物根据运转性而移动。
海雪是,例如,海水中存在的排放微粒和浮游生物尸体或其降解物质,并且以沉入海中的方式(在重力的方向上)移动。
海底沙是例如沉降在海床上并且以通过海床流动成漩涡的方式移动的粒子,如沙子。
烟雾是例如地热加热的高温水从海床的水热排出口排出的现象。由于从水热排出口排出的热水经常达到几百度的温度并含有大量的重金属和硫化氢作为溶解组分,通过与海水反应,黑烟或白烟在漩涡的同时向上移动。
例如,气泡是从海床泄漏(排出)的天然气如甲烷和二氧化碳,或从通过CCS(碳捕获和储存)人为加压并且从海床向上移动的储层中泄漏的二氧化碳。
因此,无论目标对象是微生物还是粒子,一些目标对象沿特定移动方向移动,并且测量装置1将具有已知移动方向的微生物和粒子指定为目标对象。
[1.3测量装置的配置]
图3是用于说明根据第一实施方式的测量装置1的配置的示图。图4是提取测量装置1的一部分的示图。
如图3和图4所示,测量装置1包括主体2、照明单元3、单元4、导通单元5、收集单元6和遮光单元7。
主体2具有后述成像单元14,该成像单元14隔着单元4与照明单元3的照明面相对地布置。
照明单元3具有二维布置的多个发光元件(LED),并且朝向主体2和单元4侧发射光。例如,照明单元3能够切换具有不同波长的光并且照射具有变化10nm的波长的光。
单元4设置在成像单元14与照明单元3之间并且成形为圆柱体,以便在其中形成流路。具体而言,如图4所示,在单元4的上下分别设置有供粒子(微粒、微生物)出入的开口4a、4b,流路形成为从上开口4a朝向下开口4b延伸。单元4由透明构件形成并且透射光。由此,从照明单元3照射的光经由单元4被引导至成像单元14。成像单元14基于从照明单元3照射的光捕获作为成像范围的单元4内部的图像。
单元4具有连接到导通单元5的上开口4a和下开口4b。与单元4一样,导通单元5在顶部和底部具有开口,并且成形为圆柱体,以便在其中形成从顶部延伸到底部的流路。单元4的流路与导通单元5的流路彼此连通。
导通单元5的一端侧相对于单元4以预定的角度连接,另一端侧沿着单元4的延伸方向延伸。
导通单元5的另一端侧与收集单元6连接。收集单元6成形为直径从圆形底面朝向上表面逐渐变小的粗糙的圆截头锥体。收集单元6的上表面和下表面是开放的,并且在收集单元6中形成从上表面朝向下表面延伸的流路。收集单元6的上表面与导通单元5连接,导通单元5的流路和收集单元6的流路相互连通。
设置在上侧的收集单元6以其底面朝上的方式设置,并且设置在下侧的收集单元6以其底面朝下的方式设置。因此,在测量装置1中,如图3中的箭头所示,粒子(微粒、微生物)从收集单元6被有效地收集,并且此后粒子通过重力或者自身依次穿过导通单元5、单元4、导通单元5和收集单元6。
然而,横向移动的粒子不流入单元4中。因此,测量装置100能够不受水流影响地测量目标对象。
遮光单元7在其中设置有空间并且阻挡光从外部进入内部。遮光单元7容纳主体2、照明单元3和单元4的全部,并且容纳导通单元5的一端侧。
由此,防止成像单元14、即单元4所捕获的成像范围受到来自外部的光的照射,由此减小外部光对成像单元14的成像的影响。
图5是用于说明测量装置1的内部配置的示图。如图5所示,主体2包括控制单元10、存储器11、通信单元12、重力传感器13、成像单元14和透镜15。
控制单元10例如由具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)的微型计算机构成,控制测量装置1整体。控制单元10作为成像控制单元21、类别识别单元22、距离/速度测量装置23发挥功能。稍后将详细描述成像控制单元21、类别识别单元22以及距离/速度测量装置23。
控制单元10还执行以下处理:读取存储在存储器11中的数据;使存储器11存储数据的处理;以及经由通信单元12向/从外部装置发送/接收各种类型的数据。
存储器11由非易失性存储器配置。通信单元12与外部装置执行有线或无线数据通信。重力传感器13检测重力加速度(重力方向)并且将检测结果输出至控制单元10。注意,测量装置1不必包括重力传感器13。
成像单元14具有视觉传感器14a和成像传感器14b。视觉传感器14a是被称为DVS(动态视觉传感器)或EVS(基于事件的视觉传感器)的传感器。视觉传感器14a通过透镜15捕获单元4内的图像。在以下描述中,如图2中所示,单元4的水平方向被描述为X轴方向,单元4的垂直方向被描述为Y轴方向,以及成像单元14的成像方向(光轴方向)被描述为Z轴方向。另外,成像单元14也可以不具备成像传感器14b。
视觉传感器14a是异步图像传感器,其中二维地布置具有光电转换元件的多个像素,并且为每个像素设置用于实时检测地址事件的检测电路。应注意,地址事件是指根据分别分配给二维布置的多个像素的地址的入射光量发生的事件,并且地址事件的示例包括基于在光电转换元件中生成的电荷的电流的电流值或电流值的变化量超过特定阈值的情况。
视觉传感器14a检测每个像素是否存在地址事件的发生,并且当检测到地址事件的发生时,从发生地址事件的像素读取像素信号作为像素数据。即,视觉传感器14a根据入射在二维布置的多个像素的各个像素的光量异步地取得像素数据。
由于视觉传感器14a针对检测到发生地址事件的像素执行读取像素信号的操作,因此视觉传感器14a能够比以预定帧速率针对所有像素执行读取图像信号的操作的同步图像传感器极快地读取,并且每帧要读取的数据量小。
因此,在测量装置1中,通过使用视觉传感器14a可以更快速地检测目标对象的移动。此外,视觉传感器14a不仅能够减少数据量而且能够降低功耗。
此外,由于视觉传感器14a的动态范围宽于成像传感器14b的动态范围,所以即使当直接发射到像素(光电转换元件)上时,从照明单元3发射的光也不太可能导致所谓的过度曝光。
此外,由于视觉传感器14a仅在地址事件发生时获取像素数据,因此即使从照明装置3发射的光直接发射到光电转换元件上,视觉传感器14a也不能获取像素数据,除非光量改变。因此,除非从照明单元3发射的光的量或波长改变,否则照明单元3不出现在由视觉传感器14a捕获的图像上。
成像传感器14b是CCD(电荷耦合器件)型或CMOS(互补金属氧化物半导体)型图像传感器,其中二维地布置具有光电转换元件的多个像素。成像传感器14b以预定的帧频间隔经由透镜15捕获预定的成像范围的图像。注意,在测量装置1中,可以使用区域板、针孔板或透明板来代替透镜15。
视觉传感器14a和成像传感器14b被布置成通过透镜15捕获基本上相同成像范围的图像。例如,也可以在视觉传感器14a和成像传感器14b与透镜15之间配置未图示的半透半反镜,使由半透半反镜分光的光中的一个入射到视觉传感器14a,使另一个入射到成像传感器14b。
[1.4测量方法]
接着,描述测量目标对象的方法(测量处理)。
已知目标对象相对于所发射的光的每个波长反射或发射不同波长或强度的光。因此,在测量装置1中,用不同波长的光照射目标对象,并且捕获利用反射光(或激发光)获得的图像,由此测量与目标对象有关的信息,诸如目标对象的类型和尺寸、成像方向的距离和目标对象的速度。
图6是用于说明测量设置的示例的示图。控制单元10根据图6中示出的先前指定的测量设置执行测量。作为测量设置,指定测量开始条件、照明单元3的操作设置、识别程序(识别方法)、距离/速度测量程序(距离/速度测量方法)以及测量结束条件。
用于开始测量的条件被指定为测量开始条件,并且例如,指定接收用于开始测量的时间或通过通信单元12输入的测量开始命令。
用于操作照明单元3的设置被指定为操作设置。如后面详细说明的那样,在操作设置中,能够切换地设置仅使照明装置3的多个发光元件的一部分发射光的部分光发射操作和使所有发光元件发射光的全部发射光操作。
此外,操作设置设置为使得波长在400nm至700nm的范围内变化10nm,诸如400nm、410nm、...690nm和700nm,并且发射光以便在波长之间设置关闭。
另外,在目标对象发光(激发)时对光进行成像时,使照明单元3关闭,即,设置不发光的时间。此外,在波长之间提供关闭带来允许异步视觉传感器14a容易地检测基于波长的事件的效果。
用于识别目标对象的类型的程序(方法)被指定为识别程序,并且例如,指定通过机器学习的识别程序、基于规则的识别程序等。
用于测量目标对象的距离、速度等的程序(方法)被指定为距离/速度测量程序,并且例如,指定通过机器学习的距离/速度测量程序、基于规则的距离/速度测量程序等。
用于结束测量的条件被指定为测量结束条件,并且例如,指定接收用于结束测量的时间或通过通信单元12输入的测量结束命令。
[1.5测量处理]
图7是示出测量处理的过程的流程图。图8和图9是用于说明光发射操作的示图。控制单元10通过执行存储在存储器11中的软件(包括标识程序和距离/速度测量程序)来执行图7所示的测量处理。
在步骤S1中,控制单元10读取后述的外部环境信息。然后,在步骤S2中,控制单元10确定在测量设置中指定的测量开始条件是否已经建立。控制单元10重复步骤S1和步骤S2,直到测量开始条件成立。
如果已经建立测量开始条件(在步骤S2中为是),那么在步骤S3中,成像控制单元21根据在测量设置中指定的操作设置,执行用于使照明单元3的一部分发光元件发光的部分光发射操作。在这种情况下,如图8所示,成像控制单元21使例如布置在照明单元3的最高级的发光元件31和布置在照明单元3的最低级的发光元件31发光,但是不使其他发光元件31发光。以下,用阴影线表示的发光元件31发光,用空白线表示不发光。
即,成像控制单元21仅使与粒子(微生物或微粒)进入的单元4的开口4a、4b对应(靠近)的发光元件31发光。在这种情况下,例如,在试图捕获一分钟的整体的图像时,成像控制单元21在第一部分上执行部分光发射操作(例如,10秒)。
成像控制单元21还仅驱动面向发光的发光元件31布置的成像单元14(视觉传感器14a)的光电转换元件32以执行成像操作。在下文中,阴影的光电转换元件32指示光电转换元件32正在驱动,并且空白光电转换元件32指示光电转换元件32没有被驱动。
在步骤S4中,成像控制单元21基于在预定时间段内输入的像素数据创建一个图像(帧数据),将在检测到移动的图像的预定范围内的像素组检测为一个粒子,并且将检测到的粒子相加,从而计算检测到的粒子数量。
在步骤S5中,成像控制单元21判断计算出的粒子数量是否为预定的粒子数量阈值以上。在此,粒子数量阈值被设置为指示有一定数量的粒子流入或流出单元4的值,该值随后使得能够进行有效测量。
如果粒子数量不等于或大于粒子数量阈值(步骤S5中为否),则如图8所示,成像控制单元21禁止照明单元3的所有发光元件31发光(照射光)。并且,成像控制单元21在剩余时间(例如50秒)内停止成像单元14的驱动,使处理转移到步骤S9。
另一方面,如图9所示,如果粒子数量等于或大于粒子数量阈值(步骤S5中为是),则成像控制单元21执行使照明单元3的所有发光元件31发光(照射光)的整体光发射操作。成像控制单元21还驱动成像单元14的所有光电转换元件32持续剩余时间,以使它们执行成像操作,并且将处理转移到步骤S7。
在步骤S7中,类别识别单元22执行类别识别处理。在类别识别处理中,类别识别单元22根据由成像单元14捕获的图像(像素数据和图像数据)来识别(指定)目标对象的种类。具体而言,类别识别单元22从由成像单元14捕获的图像导出识别信息,对存储在存储器11中的设置信息进行比较,检测目标对象。
定义信息按每个目标对象提供,并存储在存储器11中。定义信息包括目标对象的类型、运动信息和图像信息。
移动信息是基于主要由视觉传感器14a捕获的图像检测的信息以及基于图2的下部中示出的目标对象已经移动的事实的信息。移动信息是如下的信息:当目标对象是微生物时,微生物相对于光源的移动方向(正或负)和微生物的轨迹。其中,移动信息为目标对象为粒子时,粒子的移动方向和轨迹等信息。
图像信息是基于主要由成像传感器14b捕获的图像检测的信息以及目标对象的外部信息。此外,该图像信息可以是基于由视觉传感器14a捕获到的图像而检测出的信息。
定义信息还可包括通过重力传感器13检测的重力的方向和通过通信单元12获取的外部环境信息。深度、位置坐标(测量点的纬度、经度和平面直角坐标)、导电性、温度、pH、气体浓度(例如,甲烷、氢气、氦气)、金属浓度(例如,锰、铁)等可被视为外部环境信息。
类别识别单元22基于由视觉传感器14a捕获的图像(像素数据)来检测存在于成像范围内的粒子。例如,类别识别单元22基于在预定时段内输入的像素数据创建一个图像(帧数据),并且检测图像中检测到移动的预定范围内的像素组作为一个粒子。
类别识别单元22还通过图案匹配等在多个帧之间追踪粒子。然后,类别识别单元22基于粒子的追踪结果导出粒子的移动方向和轨迹。
另外,类别识别单元22根据像素数据生成图像的期间既可以是与成像传感器14b获取图像数据的期间(帧频)相同的期间,也可以是更短的期间。
另外,类别识别单元22针对导出了识别信息的粒子,从成像传感器14b所输入的图像数据中提取与该粒子对应的图像部分。然后,类别识别单元22基于所提取的图像部分,通过图像分析导出外部特征作为识别信息。由于已知方法可以用作图像分析,因此这里省略其描述。
类别识别单元22根据指定的识别程序,对照明单元3发出的光的波长和针对所检测的粒子导出的识别信息(移动方向、轨迹、外部特征)与定义信息,以识别目标对象。这里,例如,如果导出粒子的标识信息在目标对象的定义信息所指示的范围内,则类别识别单元22识别该导出粒子是由定义信息所指示的类型。
这些定义信息通过从一个识别程序到下一个识别程序变化的方法存储在存储器11中。例如,关于基于规则的识别程序,由用户预先设置定义信息并将其存储在存储器11中。此外,关于通过机器学习的识别程序,定义信息通过在学习模式中的机器学习生成,更新并存储在存储器11中。
然后,类别识别单元22将检测出的目标对象的识别结果和由成像传感器14b捕获到的目标对象的图像部分存储在存储器11中,经由通信单元12发送到外部装置。
在步骤S8中,距离/速度测量装置23根据由类别识别单元22识别出的目标对象的种类,执行用于测量成像目标对象的成像方向的距离和目标对象的速度(目标对象的位置信息)的距离/速度测量处理。以下将详细描述步骤S5的距离/速度测量处理。
此后,在步骤S9中,控制单元10确定测量结束条件是否成立。然后,控制单元10重复步骤S3至S9,直到测量结束条件成立,在结束条件成立时(步骤S9中为是),结束判定处理。
[1.6距离/速度测量处理]
下面将描述距离/速度测量处理。如上所述,在步骤S8中,距离/速度测量装置23基于规则的距离/速度测量程序或通过机器学习的距离/速度测量程序执行距离/速度测量处理。
现在用具体示例描述基于规则的距离/速度测量处理和通过机器学习的距离/速度测量处理。
[1.6.1基于规则的距离/速度测量处理]
图10是用于说明基于规则的距离/速度测量处理的示图。在基于规则的距离/速度测量处理中,视觉传感器14a的焦距f作为已知信息存储在存储器11中。
各目标对象的统计信息(平均尺寸H)也存储在存储器11中。统计信息由用户预先注册为数据库。
距离/速度测量装置23在基于像素数据从图像中确定目标对象的情况下,从存储器11中读出目标对象的平均尺寸H和视觉传感器14a的焦距f。此后,距离/速度测量装置23基于例如捕获图像42的像素数目计算在成像表面40上捕获目标对象的图像42的纵向长度s。
距离/速度测量装置23还通过使用等式(1)计算从测量装置1到目标对象41的成像方向(Z方向)的距离D。
D=fH/s...(1)
这样,距离/速度测量装置23在每次取得基于像素数据的图像时(每次从图像检测到目标对象时),计算(测量)从测量装置1至实际的目标对象41的距离D。
对于在连续图像之间被追踪的目标对象41,距离/速度测量装置23还基于获取图像的间隔和图像之间的距离D计算(测量)成像方向(Z轴方向)上的速度。
如上所述,在基于规则的距离/速度测量处理中,距离/速度测量装置23基于每个目标对象的统计信息(平均尺寸)测量关于目标对象的位置的信息。
[1.6.2通过机器学习的距离/速度测量处理]
图11是用于说明作为训练数据的图像的示图。图12是深度学习的模型图。
在通过机器学习的距离/速度测量处理中,例如,使用图11中所示的训练数据的图像执行机器学习,以生成用于距离/速度测量处理的模型(架构)。
具体地说,预先准备由视觉传感器14a拍摄已知目标对象而得到的图像,该拍摄对象图像具有从测量装置1至目标对象的拍摄方向的距离的五个图案、即1mm、5mm、10mm、100mm、200mm、以及从400nm至700nm改变10nm的出射光的波长的31个图案、即总计153个图案。
然后,对于每个准备的图像,距离/速度测量装置23将在检测到移动的预定范围内的像素组检测为目标对象,并且将像素组调整大小为32像素×32像素,从而生成作为图11中所示的训练数据的图像。
要注意的是,图11示出了作为训练数据的图像的一部分。在海洋中,波长接近500nm的光的衰减率较低,波长小于大约500nm的光和波长大于大约500nm的光的衰减率随着远离波长接近500nm而变高。
此外,距测量装置1和目标对象的距离越大,光的到达速率越低。
因此,如图11所示,在通过对目标对象成像而获得的图像中,目标对象越靠近测量装置1,或者发射光的波长越靠近500nm,目标对象的图像越生动。目标对象离测量装置1越远,或者发射光的波长离500nm越远,目标对象的图像越不鲜明,或者目标对象根本没有成像。
在对作为训练数据的图像进行尺寸调整之后,距离/速度测量装置23使深度神经网络对由这些图像组成的训练数据执行机器学习,如图12所示。该模型由例如五个卷积层(Conv1至Conv5)、三个最大池化层(Max Pooling)和两个完全耦合层(FC)组成。通过机器学习,最终输出具有从距离1mm到距离200mm的五个元素的一维类别矢量的模型被生成并存储在存储器11中。
针对每个目标对象执行通过深度神经网络的这种机器学习,并且针对每个目标对象生成模型并将其存储在存储器11中。
另外,在由类别识别单元22确定了目标对象的种类的情况下,距离/速度测量装置23从存储器11中读出所确定的种类的模型。另外,距离/速度测量装置23将由视觉传感器14a拍摄到的图像的目标对象部分的大小调整为32像素×32像素,将调整大小后的图像输入到读出的模型。结果,输出具有从距离1mm至距离200mm的五个元素的一维类别矢量的值。距离/速度测量装置23然后输出(测量)五个元素中最高值的元素(距离1mm至距离200mm中的任一个)作为目标对象在成像方向上的距离。
对于在连续图像之间的追踪目标对象,距离/速度测量装置23还基于获取图像的间隔和成像方向上的图像之间的距离D计算(测量)成像方向(Z轴方向)上的速度。
如上所述,在通过机器学习的距离/速度测量处理中,距离/速度测量装置23基于关于提前针对各种类型的目标对象学习的位置的信息的学习结果来测量关于目标对象的位置的信息。
<2.第二实施方式>
图13是用于说明根据本技术的第二实施方式的测量装置100的配置的示图。如图13所示,测量装置100与第一实施方式的测量装置1的不同之处在于未设置有单元4、导通单元5、收集单元6和遮光单元7,但其他配置与测量装置1相同。
即,根据第二实施方式的测量装置100仅具有主体2和照明单元3。由于测量装置100未设置有限制循环方向的单元4,因此粒子可从所有方向在主体2和照明单元3之间流入和流出。因此,测量装置100可以测量受水流影响的目标对象。
根据第二实施方式的测量装置100与根据第一实施方式的测量装置1类似地执行测量处理。然而,步骤S3的部分光发射操作与根据第一实施方式的测量装置1的部分不同。现在描述步骤S3的部分光发射操作。
图14和图15是用于说明光发射操作的示图。在步骤S3中,如图14和图15所示,成像控制单元21进行部分光发射操作,其中,使布置在照明单元3中的外边缘上的发光元件31发光,但是不使其他发光元件31发光。
即,成像控制单元21在成像单元14的拍摄范围内仅使与粒子进入对应的发光元件31发光。在这种情况下,例如,在试图拍摄一分钟的整体的图像时,成像控制单元21在第一部分上执行部分光发射操作(例如,10秒)。
成像控制单元21还仅驱动面向发光的发光元件31布置的成像单元14的光电转换元件32以执行成像操作。
然后,如在第一实施方式中,在步骤S4中,成像控制单元21基于在预定周期期间输入的像素数据创建一个图像(帧数据),将其中检测到移动的图像的预定范围内的像素组检测为一个粒子,并且将检测到的粒子相加,从而计算检测到的粒子数量。
此后,在步骤S5中,如果粒子数量不等于或大于粒子数量阈值(步骤S5中为否),则成像控制单元21禁止照明装置3的所有发光元件31发光,如图14所示。并且,成像控制单元21在剩余时间内使成像单元14的成像停止,使处理转移到步骤S9。
另一方面,如果粒子数量等于或大于粒子数量阈值(步骤S5中为是),则成像控制单元21执行使照明单元3的所有发光元件31发光的整个光发射操作,如图15所示。成像控制单元21还驱动成像单元14的所有光电转换元件32持续剩余时间,以使它们执行成像,并且将处理转移到步骤S7。
<3.第三实施方式>
[3.1测量装置的配置]
图16是用于说明根据本技术的第三实施方式的测量装置200的配置的示图。为了便于说明,图16和以下描述省略对导通单元5和收集单元6的描述,但可设置或不设置导通单元5和收集单元6。此外,测量装置200未设置有遮光单元7。
如图16所示,测量装置200与第一实施方式的测量装置1的不同之处在于设置有用于移动单元4的移动机构201。
移动机构201基于控制单元10的控制来移动单元4。移动机构201能够使单元4向位于照明单元3与成像单元14(主体2)之间的单元存在成像位置、以及位于远离照明单元3与成像单元14(主体2)之间的位置的无单元成像位置移动。
因此,测量装置200能够执行根据第一实施方式和第二实施方式的测量处理。即,测量装置200能够执行不受水流影响的测量和受水流影响的测量两者。
[3.2单元移动处理]
图17是示出单元移动处理的过程的流程图。控制单元10执行使单元4移动的单元移动处理。作为初始条件,假定单元4已经移动至无单元成像位置。
如图17中所示,在步骤S11中,在单元4移动至无单元成像位置的状态中,成像控制单元21使照明单元3发光并且使成像单元14进行成像。然后,在步骤S12中,类别识别单元22执行与上述步骤S7相同的类别识别处理,并且距离/速度测量装置23执行与上述步骤S8相同的距离/速度测量处理。
在步骤S13中,成像控制单元21然后确定所检测的目标对象在横向(水平方向)上的移动速度(横向移动速度,在下文中)是否等于或大于预定速度阈值。结果,在横向移动速度为速度阈值以上的情况下(步骤S13为“是”),判断为水流的影响强,在步骤S14中,成像控制单元21将单元4移动至单元当前位置。
在步骤S15中,成像控制单元21在使单元4向单元存在拍摄位置移动的状态下,使照明单元3发光,使成像单元14进行拍摄。然后,在步骤S16中,类别识别单元22计算成像的粒子的数量。
在步骤S17中,成像控制单元21确定所计算的粒子数量是否等于或小于预定粒子数量阈值。结果,当粒子数量等于或小于粒子数量阈值时(步骤S17中的“是”),确定要测量的粒子数量太少而不能执行有效测量,并且在步骤S18中,成像控制单元21将单元4移动至无单元位置,并且将处理移动至步骤S11。
另一方面,当横向移动速度不等于或大于速度阈值时(步骤S13中为否),确定水流的影响小,并且控制单元10执行例如上述测量处理,并且使处理返回至步骤S11。
另外,在粒子数量不为粒子数量阈值以下的情况下(步骤S17:否),判断为被测量的粒子数量高到能够高效地进行测量,控制单元10例如进行上述的测量处理,使处理返回到步骤S11。
以这种方式,在测量装置200中,不受水流影响的测量和受水流影响的测量可以通过将单元4移动至单元当前位置或无单元位置来执行。
<4.测量装置的其他配置示例>
另外,实施方式不限于上述的具体例,能够采用各种变形例的结构。
在上述实施方式中,测量装置1、100、200测量目标对象的数量、类型、密度、速度、移动方向、形状变化等作为关于目标对象的信息。然而,关于目标对象的信息的示例可包括目标对象的尺寸和碳含量。
在上述实施方式中,照明单元3以二维地布置多个发光元件的方式设置。然而,照明单元3可以是发光的任何事物,或者可以是照明和光学机构(诸如导光板或反射器)的组合。
根据上述实施方式,在局部光发射操作中,从与单元4的开口4a、4b对应的发光元件31和外边缘上的发光元件31发射光。然而,通过使照明单元3的发光元件31中的一部分发光,可从其他发光元件31发光。
图18和图19是用于说明根据变形例的部分光发射操作的示图。如图18中所示,成像控制单元21可以使照明单元3中的一个预定行的发光元件31发光。在这种情况下,可以基于通过预定列的粒子数量来确定是否继续测量。
而且,如图19中所示,成像控制单元21可使顶部、底部、左边以及右边的预定发光元件31发射预定波长的光并且可使中间发光元件31发射不同波长的光。在这种情况下,可以从发光元件31发射多个不同波长的光,允许例如微生物的可运转性有效地出现。
根据上述实施方式,在部分光发射操作中,通过使发光元件31发射光来结合驱动视觉传感器14a的被布置为面向照明装置3的一部分发光元件31的光电转换元件32。然而,当使得照明装置3的一部分发光元件31发光时,可以驱动视觉传感器14a的所有光电转换元件32。因为视觉传感器14a从发生地址事件的像素(光电转换元件32)获取像素数据,所以不操作甚至未发生地址的像素(光电转换元件32)。因此,在面向不发光的发光元件31的像素中不会发生地址事件的可能性高。因此,即使当驱动视觉传感器14a的所有光电转换元件32时,功耗也几乎不增加。
图20至图22是用于说明根据第一实施方式的测量装置的变形例的示图。根据第一实施方式的测量装置1包括主体2、照明单元3、单元4、导通单元5、收集单元6和遮光单元7。然而,当在光晕区中或在阳光的影响较小的深度处进行测量时,测量装置可以不包括导通单元5和遮光单元7。例如,如图20所示,测量装置300可以包括主体2、照明单元3、单元4和收集单元6,其中收集单元6可连接至单元4的开口4a和开口4b。
此外,如图21所示,测量装置400可不包括导通单元5、收集单元6和遮光单元7。即,测量装置400可以包括主体2、照明单元3以及单元4,并且单元4的开口4a和开口4b可以打开。
此外,如图22所示,测量装置500可以不包括导通单元5和遮光单元7,而是具有容纳在耐压容器501中的主体2,用于保护主体2免受深海中的高水压。注意,耐压容器501可以是任意形状。
图23是用于说明根据第二实施方式的测量装置的变形例的示图。根据第二实施方式的测量装置600可以具有容纳在耐压容器601中的主体2,以用于保护主体2免受深海中的高水压。注意,耐压容器601可以是任何形状。
[5.1变形例1]
图24是用于说明根据变形例1的校准处理的示图。图25是示出校准处理的过程的流程图。
根据变形例1的测量装置可以具有根据第一实施方式至第三实施方式和上述其他构造示例的测量装置1、100、200、300、400、500和600中的任一个的构造,但是现在将描述根据第一实施方式的测量装置1作为示例。
如图24的左手侧所示,当目标对象TO的颜色和从照明单元3(发光元件31)发射的光(背景光)的颜色彼此类似时,存在即使目标对象TO实际上存在于成像范围内也可能不能从由视觉传感器14a捕获的图像中识别目标对象TO的风险。
因此,测量装置1执行用于调整从照明单元3发射的光(背景光)的颜色(即,光的波长)的校准处理,以便有效地成像和测量目标对象TO。在诸如测量处理开始之前的特定定时或者在要检测的目标对象TO的数量等于或小于预定数量的情况下以预定间隔执行校准处理。
如图25所示,一旦开始校准处理,在步骤S21中,成像控制单元21设置从照明单元3中发射的光的波长。这里,成像控制单元21在预先确定的多个光波长(例如,400nm与700nm之间的10nm间隔)中设置尚未设置的任何波长。
然后,在步骤S22中,成像控制单元21使照明单元3发射具有在步骤S21中设置的波长的光,并且使视觉传感器14a捕获图像。
在步骤S23中,类别识别单元22执行与上述步骤S7相同的类别识别处理。另外,在步骤S24中,类别识别单元22对在步骤S23中识别出的目标对象TO的数量进行计数。
在步骤S25中,成像控制单元21判断针对预先确定的多个波长的成像是否结束。在预先决定的多个波长下的成像尚未结束的情况下(步骤S25:“否”),成像控制单元21将处理返回到步骤S21。
在预先决定的多个波长下的成像结束的情况下(步骤S25:是),在步骤S26中,成像控制单元21将在步骤S24中计数的目标对象TO的数量最高的波长决定为在测量处理中使用的波长。
以这种方式,在测量装置1中,如图24的右手侧所示,目标对象TO的颜色和背景颜色不再彼此相似,并且可从照明单元3发射最容易检测目标对象TO的波长的光。因此,在测量装置1中,可以高效地对目标对象TO进行成像和测量。
注意,成像控制单元21可以将在步骤S24中计数的目标对象TO的数量等于或大于特定数量的波长中提供最低功耗的波长确定为在测量处理中使用的波长。成像控制单元21还可以将在步骤S24中计数的目标对象TO的数量等于或大于特定数量的波长中具有最小噪声量的波长(除了目标对象之外的对象与所有待检测对象的比率)确定为在测量处理中使用的波长。
[5.2变形例2]
图26是用于说明根据变形例2的测量装置700的配置的示图。在变形例1中,通过改变从照明单元3发射的光的波长来改变背景的颜色,但是在变形例2中,通过切换不同颜色的背景板来改变背景的颜色。
如图26所示,测量装置700包括代替照明单元3的背景装置701和移动机构702。另外,也可以另外设置用于射出成像单元14的成像范围内的光的照明单元。
背景装置701具有彼此连接成多边形的不同颜色的多个背景板710,并且在其中形成空间。主体2、单元4等设置在背景装置701的内部。另外,背景装置701以背景板710之一表现为成像单元14的成像范围的背景的方式布置。
移动机构702包括诸如电机的致动器,并且基于控制单元10的控制来旋转背景装置701。
在校准处理中,代替上述的步骤S21和步骤S22,控制单元10驱动并控制移动机构702,使得不同颜色的背景板710表现为成像单元14的成像范围的背景。
以这种方式,测量装置700可以与其中照明单元3发射不同波长的光的变形例1一样有效地对目标对象TO进行成像和测量。
注意,例如,电子墨水可以用作改变背景颜色的方法。
<5.实施方式概述>
根据上述实施方式的测量装置1包括:视觉传感器14a,布置为面向发射光的照明单元3的照明表面,并且根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据;成像控制单元21,其使视觉传感器14a进行摄像;以及测量装置(类别识别单元22、距离/速度测量装置23),其基于由视觉传感器14a捕获的图像来测量与目标对象有关的信息。
因此,测量装置1可以将照明单元3与视觉传感器14a之间的距离设置得较短。
由此,测量装置1可以降低功耗。
通过使用视觉传感器14a,测量装置1还可以实现曝光过度的减少、高速成像、功耗的减少、以及低计算成本。
在上述根据本技术的测量装置1中,照明单元3包括多个发光元件31,并且成像控制单元21被视为使照明单元3的一部分发光元件31发光。
由此,能够仅测量向特定的发光元件31侧的预定范围内流动的粒子,根据该测量结果,能够决定是否使所有的发光元件31发光。
因此,测量装置1可以有效地执行测量,同时降低功耗。
在上述根据本技术的测量装置1中,视觉传感器14a包括与发光元件31对应的多个光电转换元件,并且成像控制单元21被视为驱动与发射光的一部分发光元件31对应的光电转换元件。
由此,能够通过与照明单元3连动地驱动视觉传感器14a来获取图像(像素数据),从而进一步降低功耗。
在上述根据本技术的测量装置1中,成像控制单元21被视为计算当从一部分发光元件31发射光时由视觉传感器14a成像的粒子数量,并且当所计算的粒子数量等于或大于预定阈值(粒子数量阈值)时使照明单元3的所有发光元件31发射光。
因此,当流入视觉传感器14a的成像范围内的粒子数量较多时,测量装置1可以执行有效的测量。
在上述根据本技术的测量装置1中,当照明单元3的所有发光元件31发光时,成像控制单元21被视为驱动视觉传感器14a的所有光电转换元件。
因此,图像(像素数据)可通过结合照明单元3驱动视觉传感器14a来获取,从而允许有效测量。
在上述根据本技术的测量装置1中,考虑将具有粒子流入和流出的开口4a、4b的单元4设置在照明单元3与视觉传感器14a之间,并且考虑成像控制单元21从对应于单元4的开口4a、4b的一部分发光元件31发射光。
由此,能够测量出入单元4的粒子,能够判断是否继续进行测量。
因此,测量装置1可以执行有效的测量。
在上述根据本技术的测量装置1中,成像控制单元21被视为从照明单元3的一部分发光元件31发射预定波长的光,并且发射与其他发光元件31不同波长的光。
因此,可以有效地测量具有可运转性的微生物。
在上述根据本技术的测量装置1中,在照明单元3与视觉传感器14a之间设置有具有开口4a、4b的单元,粒子通过开口4a、4b流入和流出;以及移动机构201,用于将单元4移动至照明单元3与视觉传感器14a之间的第一位置(单元存在位置)和远离照明单元3与视觉传感器14a之间的第二位置(无单元位置),并且成像控制单元21被视为通过驱动移动机构201将单元4移动至第一位置或第二位置。
因此,可以在受水流影响的测量和不受水流影响的测量之间进行切换。
如上所述的根据本技术的测量装置1被认为包括遮光单元7,遮光单元7容纳照明单元3、视觉传感器14a和单元4并且阻挡光从外部进入。
因此,可以减小来自外部的光的影响,从而允许精确测量。
如上所述的根据本技术的测量装置1被认为包括具有连接至单元4的开口4a、4b的一端侧以具有预定角度的导通单元5,并且遮光单元7被认为容纳导通单元5的一端侧。
由于导通单元5的一端侧相对于单元4具有预定角度地连接,所以可以减少外部光通过导通单元5进入单元4,从而允许精确测量。
在上述根据本技术的测量装置1中,考虑成像控制单元21基于在从照明单元3发射多个不同波长的光时由视觉传感器14a捕获的每个图像计算多个不同波长中的每一个处的目标对象的数量,并且将检测最多目标对象的波长确定为在测量装置(测量处理)的测量中从照明单元3发射的光的波长。
由此,目标对象的颜色和背景颜色不再相似,因此能够有效地测量目标对象。
根据上述本技术的测量装置1,考虑成像控制单元21基于在从照明单元3发射多个不同波长的光时由视觉传感器14a捕获的每个图像计算多个不同波长中的每一个处的目标对象的数量,并且将检测到特定数量或更多的目标对象的波长(其为具有最小功耗量的波长)确定为在测量装置的测量中从照明单元3发射的光的波长。
由此,能够在降低消耗电力的同时高效地测量目标对象。
考虑成像控制单元21根据从照明单元3射出多个不同波长的光时由视觉传感器14a拍摄到的各图像来计算多个不同波长下的目标对象的数量,将检测出特定数量以上的目标对象即噪声量最少的波长作为测量装置的测量中从照明单元射出的光的波长。
由此,能够在降低噪声的同时高效地测量目标对象。
上述根据本技术的测量方法使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据,并且基于由视觉传感器捕获的图像测量与目标对象有关的信息,其中,视觉传感器被布置为面向发射光的照明单元的照明表面。
上述根据本技术的程序使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据,并且使测量装置基于由视觉传感器捕获的图像执行与目标对象有关的信息的测量处理,其中,二维布置的多个像素中的每一个设置成面向发射光的照明单元的照明表面。
该程序可以预先记录在HDD中,该HDD用作嵌入在诸如CPU的微型计算机中的计算机装置或ROM等装置中的记录介质。
可替换地,程序可以暂时地或者永久地存储(记录)在可移除记录介质上,诸如,软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、蓝光盘(注册商标)、磁盘、半导体存储器、或者存储卡。可以提供可移除记录介质作为所谓的封装软件。
程序可以从可移除记录介质安装到个人计算机等中,并且还可以经由诸如LAN(局域网)或互联网的网络从下载站点下载。
应注意,在本说明书中描述的有利效果仅是示例性的并且不受限制,并且可以获得其他有利效果。
<6.本技术>
本技术还可采用以下配置。
(1)
一种测量装置,包括:
视觉传感器,布置为面向发光的照明单元的照明表面,并且根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据;
成像控制单元,使视觉传感器捕获图像;以及
测量装置,基于由视觉传感器所捕获的图像来测量与目标对象有关的信息。
(2)
根据(1)的测量装置,其中,
照明单元包括多个发光元件,并且
成像控制单元被配置为
从照明单元的一部分发光元件发光。
(3)
根据(2)的测量装置,其中,
视觉传感器包括对应于发光元件的多个光电转换元件,以及
成像控制单元被配置为
驱动与发光的一部分发光元件对应的光电转换元件。
(4)
根据(2)或(3)的测量装置,其中,
成像控制单元被配置为
计算当使一部分发光元件发光时由视觉传感器成像的粒子数量,以及
在计算的粒子数量等于或大于预定阈值的情况下,使照明单元的所有发光元件发光。
(5)
根据(4)的测量装置,其中,
成像控制单元被配置为
当使照明单元的所有发光元件发光时,驱动视觉传感器的所有光电转换元件。
(6)
根据(2)至(5)中任一项的测量装置,还包括:
单元,设置在照明单元与视觉传感器之间并且具有开口,粒子能够通过开口流入和流出,其中,
成像控制单元被配置为
从与单元的开口对应的部分发光元件发光。
(7)
根据(3)至(6)的测量装置,其中,成像控制单元被配置为
使照明单元的一部分发光元件发射预定波长的光,并且使其他发光元件发射不同波长的光。
(8)
根据(1)至(7)中任一项的测量装置,还包括:
单元,设置在照明单元与视觉传感器之间并且具有开口,粒子可通过该开口流入和流出;以及
移动机构,将单元移动至位于照明单元与视觉传感器之间的第一位置以及远离照明单元与视觉传感器之间的第二位置,其中
成像控制单元被配置为
通过驱动移动机构将存储单元移动至第一位置或第二位置。
(9)
根据(6)的测量装置,还包括遮光单元,遮光单元容纳照明单元、视觉传感器以及单元,并且阻挡光从外部进入内部。
(10)
根据(9)的测量装置,还包括导通单元,导通单元的一端侧连接至单元的开口以具有预定角度,其中
遮光单元容纳导通单元的一端侧。
(11)
根据(1)至(10)中任一项的测量装置,其中,成像控制单元被配置为
基于当从照明单元发射多个不同波长的光时由视觉传感器所捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到最多目标对象的波长确定为在测量装置的测量中从照明单元发射的光的波长。
(12)
根据(1)至(10)中任一项的测量装置,其中,成像控制单元被配置为
基于当从照明单元发射多个不同波长的光时由视觉传感器所捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到特定数量或更多的目标对象的波长(其为具有最小功耗量的波长)确定为在测量装置的测量中从照明单元发射的光的波长。
(13)
根据(1)至(10)中任一项的测量装置,其中,成像控制单元被配置为
基于当从照明单元发射多个不同波长的光时由视觉传感器所捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到特定数量或更多的目标对象的波长(其为具有最小噪声量的波长)确定为在由测量装置进行测量时从照明单元发射的光的波长。
(14)
一种测量方法,包括:
使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量而异步地获取像素数据,视觉传感器被布置为面向发射光的照明单元的照明表面;以及
基于由视觉传感器捕获的图像来测量与目标对象有关的信息。
(15)
一种程序,使测量装置执行以下处理:
使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量而异步地获取像素数据,视觉传感器被布置为面向发射光的照明单元的照明表面;以及
基于由视觉传感器捕获的图像来测量与目标对象有关的信息。
[参考标号列表]
1测量装置
3照明单元
10控制单元
14成像单元
14a视觉传感器
14b成像传感器
21成像控制单元
22类别识别单元
23距离/速度测量装置。

Claims (15)

1.一种测量装置,包括:
视觉传感器,面向发射光的照明单元的照明表面布置,并根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据;
成像控制单元,使所述视觉传感器捕获图像;以及
测量单元,基于由所述视觉传感器捕获的图像测量与目标对象有关的信息。
2.根据权利要求1所述的测量装置,其中,
所述照明单元包括多个发光元件,并且
所述成像控制单元被配置为:
从所述照明单元的一部分所述发光元件发射光。
3.根据权利要求2所述的测量装置,其中,
所述视觉传感器包括与所述发光元件相对应的多个光电转换元件,并且
所述成像控制单元被配置为:
驱动与被致使发射光的一部分所述发光元件相对应的光电转换元件。
4.根据权利要求2所述的测量装置,其中,所述成像控制单元被配置为:
计算当一部分所述发光元件被致使发射光时由所述视觉传感器成像的粒子数量,并且
在计算的粒子数量等于或大于预定阈值的情况下,使所述照明单元的所有所述发光元件发射光。
5.根据权利要求4所述的测量装置,其中,所述成像控制单元被配置为:
当所述照明单元的所有所述发光元件被致使发射光时,驱动所述视觉传感器的所有光电转换元件。
6.根据权利要求2所述的测量装置,还包括:
单元,设置在所述照明单元与所述视觉传感器之间并具有开口,粒子能够通过所述开口流入和流出,其中,
所述成像控制单元被配置为:
从与所述单元的开口相对应的一部分所述发光元件发射光。
7.根据权利要求3所述的测量装置,其中,所述成像控制单元被配置为:
使所述照明单元的一部分所述发光元件发射预定波长的光,并使其他所述发光元件发射不同波长的光。
8.根据权利要求1所述的测量装置,还包括:
单元,设置在所述照明单元与所述视觉传感器之间并具有开口,粒子能够通过所述开口流入和流出;以及
移动机构,将所述单元移动至位于所述照明单元与所述视觉传感器之间的第一位置,以及远离所述照明单元与所述视觉传感器之间的第二位置,其中,
所述成像控制单元被配置为:
通过驱动所述移动机构将所述单元移动至所述第一位置或所述第二位置。
9.根据权利要求6所述的测量装置,还包括:遮光单元,容纳所述照明单元、所述视觉传感器和所述单元,并阻挡光从外部进入内部。
10.根据权利要求9所述的测量装置,还包括:导通单元,具有连接至所述单元的开口的一端侧以便具有预定角度,其中,
所述遮光单元容纳所述导通单元的一端侧。
11.根据权利要求1所述的测量装置,其中,所述成像控制单元被配置为:
基于当从所述照明单元发射多个不同波长的光时由所述视觉传感器捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到最多目标对象的波长确定为在所述测量单元的测量中从所述照明单元发射的光的波长。
12.根据权利要求1所述的测量装置,其中,所述成像控制单元被配置为:
基于当从所述照明单元发射多个不同波长的光时由所述视觉传感器捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到特定数量或更多个目标对象的波长确定为在所述测量单元的测量中从所述照明单元发射的光的波长,检测到特定数量或更多个目标对象的波长是具有最小功耗量的波长。
13.根据权利要求1所述的测量装置,其中,所述成像控制单元被配置为:
基于当从所述照明单元发射多个不同波长的光时由所述视觉传感器捕获的图像中的每一个计算在多个不同波长中的每一个处的目标对象的数量,并将检测到特定数量或更多个目标对象的波长确定为在所述测量单元的测量中从所述照明单元发射的光的波长,检测到特定数量或更多个目标对象的波长是具有最小噪声量的波长。
14.一种测量方法,包括:
使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据,所述视觉传感器面向发射光的照明单元的照明表面布置;以及
基于由所述视觉传感器捕获的图像测量与目标对象有关的信息。
15.一种程序,使测量装置执行以下处理:
使视觉传感器根据入射在二维布置的多个像素中的每一个上的光量异步地获取像素数据,所述视觉传感器面向发射光的照明单元的照明表面布置;并且
基于由所述视觉传感器捕获的图像测量与目标对象有关的信息。
CN202280056742.9A 2021-08-26 2022-08-12 测量装置、测量方法和程序 Pending CN117836608A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-138154 2021-08-26
JP2021138154 2021-08-26
PCT/JP2022/030816 WO2023026880A1 (ja) 2021-08-26 2022-08-12 測定装置、測定方法、プログラム

Publications (1)

Publication Number Publication Date
CN117836608A true CN117836608A (zh) 2024-04-05

Family

ID=85322762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280056742.9A Pending CN117836608A (zh) 2021-08-26 2022-08-12 测量装置、测量方法和程序

Country Status (4)

Country Link
JP (1) JPWO2023026880A1 (zh)
KR (1) KR20240047373A (zh)
CN (1) CN117836608A (zh)
WO (1) WO2023026880A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173130A1 (ja) * 2011-06-17 2012-12-20 株式会社日立製作所 液体分析装置
US10883931B2 (en) * 2016-02-24 2021-01-05 Sony Corporation Optical measuring instrument, flow cytometer, and radiation counter
JP2021044599A (ja) * 2018-01-05 2021-03-18 株式会社ニコン 検出装置およびセンサ
JP7007225B2 (ja) 2018-03-23 2022-01-24 Jfeアドバンテック株式会社 特定種の植物プランクトンの存在量の算出方法及び算出装置、及び特定種の植物プランクトンによる赤潮発生の予兆検知方法及び予兆検知装置
JP2021021568A (ja) * 2019-07-24 2021-02-18 Optech Innovation合同会社 光吸収量差分計測装置及び光吸収量差分計測方法、並びに光吸収量差分画像の撮影装置及び光吸収量差分画像の撮影方法
EP4053500B1 (en) * 2019-10-30 2024-01-03 Sony Group Corporation Object recognition system, signal processing method of object recognition system, and electronic device

Also Published As

Publication number Publication date
JPWO2023026880A1 (zh) 2023-03-02
KR20240047373A (ko) 2024-04-12
WO2023026880A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
JP6959614B2 (ja) 分析装置,及びフローサイトメータ
TWI756365B (zh) 圖像分析系統及相關方法
CN104134352B (zh) 基于长短曝光结合的视频车辆特征检测系统及其检测方法
JP5793508B2 (ja) 複数の焦点面を用いた細胞特性決定
WO2016048851A1 (en) Continuous particle imaging and classification system
JP2008542800A (ja) コントラストを評価して試料を走査するための方法および装置
CN102639049B (zh) 信息处理装置以及胶囊型内窥镜系统
CN110806636A (zh) 显微镜分析方法
EP4247153A1 (en) Optical technique for analyzing insects, shrimp and fish
WO2021215173A1 (ja) 測定装置、撮像制御方法
JP5159390B2 (ja) 物体検知方法及びその装置
CN117836608A (zh) 测量装置、测量方法和程序
KR20220156905A (ko) 이미지 데이터에 대한 분석을 수행하기 위한 방법 및 장치
EP4350284A1 (en) Measurement device, measurement method, program
Marini et al. GUARD1: An autonomous system for gelatinous zooplankton image-based recognition
CN110738698A (zh) 浮水式海底数据测量方法、装置和电子设备
WO2023026551A1 (ja) 測定装置、測定方法、プログラム
KR102141531B1 (ko) 적조 탐지장치 및 탐지방법
EP4350307A1 (en) Measurement device, measurement method, and program
JP2019005266A (ja) 情報処理装置、プログラム、方法及びシステム
WO2022130884A1 (ja) 測定装置、測定方法、測定システム
CN116940948A (zh) 服务器装置、生成方法、电子装置生成方法、数据库生成方法和电子装置
Kuanysheva et al. Identification of Bioluminescent Deep Ocean Macro Organisms Using Computer Vision
KR20240076336A (ko) 수조 내의 특정 개체를 분리하기 위한 시스템, 방법 및 컴퓨터 프로그램
CN110057824B (zh) 一种海洋浮游生物光学成像装置及成像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication