CN117529634A - 测量装置、测量方法、程序 - Google Patents

Abstract

根据本发明，一种测量装置包括：成像控制单元，使成像单元捕获预定的水下成像区域的图像；以及测量单元，基于由成像单元捕获的图像来测量与目标对象在成像方向上的位置有关的信息。

Description

测量装置、测量方法、程序

技术领域

本技术涉及测量装置、测量方法、程序，并且更具体地，涉及测量水中的目标对象的技术。

背景技术

已经提出一种测量装置，用预定波长的光照射浮游植物以激发浮游植物，并测量从激发的浮游植物发射的荧光的强度以测量浮游植物的丰度(参见，例如，专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请公开第2019-165687号

发明内容

本发明要解决的问题

上述测量装置仅可以测量由激发光激发的浮游植物。此外，测量装置可以测量浮游植物的丰度，但是不能测量与其位置有关的信息。

因此，本技术的目的是有效地测量与目标对象的位置有关的信息。

问题的解决方案

根据本技术的测量装置包括：成像控制单元，被配置为使得成像单元捕获在水中的预定成像范围的图像；以及测量单元，被配置为基于由成像单元捕获的图像来测量与目标对象在成像方向上的位置有关的信息。

因此，测量装置可以在不具有复杂配置的情况下测量与目标对象在成像方向上的位置有关的信息。

附图说明

[图1]示出了作为第一实施方式的测量装置的配置。

[图2]示出了成像范围和测量方向。

[图3]示出了目标对象和目标对象的移动。

[图4]示出了测量设置的示例。

[图5]示出了操作时序表的示例。

[图6]示出了显示测量处理的步骤的流程图。

[图7]示出了基于规则的距离/速度测量处理。

[图8]示出了用于训练数据的图像。

[图9]示出了深度学习的模型图。

[图10]示出了作为根据本技术的第二实施方式的测量装置的配置。

[图11]示出了测量设置的示例。

[图12]示出了显示测量处理的步骤的流程图。

[图13]示出了变形例的测量装置的配置。

[图14]示出了变形例的测量装置的配置。

[图15]示出了变形例1中的照明控制。

[图16]示出了在变形例1中的照明控制时由视觉传感器捕获的图像。

[图17]示出了变形例2中的照明控制。在变形例2中，设置多个照明单元3。

具体实施方式

在下文中，将按照以下顺序描述实施方式。

<1.第一实施方式>

[1.1测量装置的配置]

[1.2目标对象]

[1.3第一实施方式的测量方法]

[1.4测量处理]

[1.5距离/速度测量处理]

<2.第二实施方式>

[2.1测量装置的配置]

[2.2测量处理]

[2.3机器学习中的距离/速度测量处理]

<3.测量装置的另一配置示例>

<4.实施方式概述>

<5.本技术>

<1.第一实施方式>

[1.1测量装置的配置]

首先，将描述作为根据本技术的第一实施方式的测量装置1的配置。

测量装置1是将存在于水中(诸如海中)的微生物或微粒作为目标对象并且测量与目标对象在成像方向上的位置有关的信息的装置。

在此，作为目标对象的微生物是水中微生物诸如浮游植物、浮游动物、水中存在的水生生物的幼虫。此外，作为目标对象的微粒是微塑料、灰尘、沙子、海洋雪粒(marinesnow)、气泡等。然而，应注意，这些是示例，并且目标对象可以是其他的。

此外，与目标对象在成像方向上的位置有关的信息是例如距目标对象的距离或者目标对象在成像单元14的成像方向(图2中的Z轴方向)上的速度。

图1示出了作为第一实施方式的测量装置1的配置。图2示出了成像范围IR和测量方向。

如图1所示，测量装置1包括主体部2和照明单元3。另外，照明单元3也可以设置在主体部2内。

主体部2包括控制单元10、存储器11、通信单元12、重力传感器13、成像单元14和透镜15。

例如，控制单元10包括微型计算机，该微型计算机包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。控制单元10执行测量装置1的总体控制。在第一实施方式中，控制单元10用作成像控制单元21、类别识别单元22和距离/速度测量单元23。注意，下面更详细地描述成像控制单元21、类别识别单元22以及距离/速度测量单元23。

此外，控制单元10执行读取存储在存储器11中的数据的处理、将数据存储在存储器11中的处理、以及经由通信单元12向外部装置发送和从外部装置接收各种数据。

存储器11包括非易失性存储器。通信单元12与外部装置执行有线或无线数据通信。重力传感器13检测重力加速度(重力方向)并且将检测结果输出至控制单元10。应注意，测量装置1可以不包括重力传感器13。

成像单元14包括视觉传感器14a和成像传感器14b中的一个或者两者。视觉传感器14a是被称为动态视觉传感器(DVS)或基于事件的视觉传感器(EVS)的传感器。视觉传感器14a通过透镜15捕获水中的预定成像范围IR的图像。注意，在后文中，如图2中所示，成像范围IR的左右方向可以称为X轴方向，成像范围IR的上下方向可以称为Y轴方向，并且成像单元14的成像方向(光轴方向)可以称为Z轴方向。

视觉传感器14a是包括二维布置的多个像素的异步图像传感器。每个像素包括光电转换装置和实时检测地址事件的检测电路。注意，地址事件是根据分别分配给二维布置的多个像素的每个地址的入射光的量而发生的事件。地址事件是例如基于在光电转换装置中产生的电荷的电流的值或其变化超过特定阈值等的事件。

视觉传感器14a检测每个像素是否发生地址事件。在检测到发生地址事件的情况下，视觉传感器14a从发生地址事件的像素中读取像素信号作为像素数据。换言之，视觉传感器14a根据入射到二维布置的多个像素的各个像素的光的量异步地获取像素数据。

视觉传感器14a对检测到其中发生地址事件的像素执行读取像素信号的操作。因此，与以预定的帧速率对所有像素进行读出操作的同步图像传感器相比，视觉传感器14a能够以极高的速度进行读出，并且能够读出少量的数据作为一帧。

因此，测量装置1可以使用视觉传感器14a更快速地检测目标对象的运动。此外，视觉传感器14a还可以减少数据量和功耗。

图像传感器14b例如是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像元件14b包括二维配置的多个像素，每个像素包括光电转换元件。成像传感器14b根据帧速率通过透镜15以一定间隔捕获预定成像范围IR的图像以生成图像数据。注意，测量装置1可以使用波带板(zone plate)、针孔板或透明板来代替透镜15。

视觉传感器14a和成像传感器14b被布置为通过透镜15捕获基本上相同成像范围IR的图像。例如，在视觉传感器14a和成像传感器14b与透镜15之间仅需要布置单向反射镜(未示出)，使得由单向反射镜分散的光的一部分入射在视觉传感器14a上并且另一部分入射在成像传感器14b上。

照明单元3基于控制单元10的控制被驱动，并且用光照射成像单元14的成像范围IR。例如，照明单元3可以切换并发射不同波长的光，并且每10nm发射不同波长的光。

[1.2目标对象]

图3示出了目标对象和目标对象的移动。注意，图3示出了在上部的目标对象的图像并且在下部的箭头表示目标对象的移动方向。

如图3所示，目标对象包括微生物、海洋雪粒、海床沙、烟雾和气泡。

此外，已知一些微生物通过用特定波长的光照射而表现出活动性(cursoriality)。在此，活动性是生物体对光(外部刺激)反应的先天行为。因此，被特定波长的光照射的具有活动性的微生物将根据活动性进行移动。

海洋雪粒例如是存在于海上的浮游生物的排出物、尸体或其分解产物等颗粒，并在海中移动以沉降(在重力方向上)。

海床沙是诸如沉淀在海床上的颗粒(诸如沙子)，并且随着海床流以漩涡方式移动。

烟雾例如是由地热加热的高温水从海床的热水排出口排出的现象。然后，从热水排出口吹出的热水可达到几百度。由于热水富含作为溶解组分的重金属和硫化氢，它与海水反应，并提供的黑烟或白烟在涡旋同时上升移动。

气泡例如是从海床泄漏(喷射)的诸如甲烷和二氧化碳的天然气、或者从人工注入二氧化碳储备(CCS)的储液器泄漏的二氧化碳等，并且从海床上升移动。

如上所述，一些目标对象(不限于微生物甚至微粒)沿特定移动方向移动。因此，作为第一实施方式的测量装置1将移动方向已知的微生物和微粒识别为目标对象。

[1.3第一实施方式的测量方法]

接着，对作为第一实施方式的目标对象的测量方法(测量处理)进行说明。

海洋是无光区，阳光无法到达约150m的深度处。无光区占据了开放海洋的大部分，并且包括上述的许多目标对象。同时，已知目标对象针对被照射对象的光的每个波长反射或发射不同波长或强度的光。

因此，假定在阳光无法到达的无光区中执行测量，测量装置1通过用不同波长的光照射目标对象并且通过反射光(或激励光)捕获图像来识别目标对象的类型。然后，测量装置1测量类型已识别的目标对象在成像方向上的距离和速度。

图4示出测量设置的示例。图5示出了操作时序表的示例。

控制单元10根据如图4中所示的先前指定的测量设置进行测量。测量设置指定测量开始条件、照明单元3的操作时序表、识别程序(识别方法)、距离/速度测量程序(距离/速度测量方法)以及测量结束条件。

测量开始条件指定开始测量的条件，诸如开始测量的时间或经由通信单元12输入的测量开始命令的接收等。

操作时序表指定用于操作照明单元3的时间表。例如，图5中示出的操作时序表指定在400nm至700nm的范围内每10nm发射400nm、410nm、…、690nm和700nm的不同波长的光并且在每个波长之间存在发射关闭。

如上所述，操作时序表指定从照明单元3在什么时间用什么波长的光照射成像范围IR。注意，提供照明单元3关闭(换言之，不发射光)的定时是为了捕获目标对象发光(被激发)时的光的图像。此外，在每个波长之间存在关闭也具有异步视觉传感器14a可以容易地检测每个波长的事件的效果。

识别程序指定用于识别目标对象的类型(诸如，通过机器学习的识别、通过规则库的识别等)的程序(方法)。

距离/速度测量程序指定用于测量与目标对象在成像方向上的位置有关的信息的程序(方法)，诸如通过机器学习的测量、通过规则库的测量等。

测量结束条件指定用于结束测量的条件，诸如结束测量的时间或经由通信单元12输入的测量结束命令的接收等。

[1.4测量处理]

图6示出了显示测量处理的步骤的流程图。控制单元10通过执行存储在存储器11中的软件(包括识别程序、距离/速度测量程序)来执行图6中所示的测量处理。

在步骤S1中，控制单元10读取外部环境信息(将稍后详述)。然后，在步骤S2中，控制单元10确定在测量设置中指定的测量开始条件是否满足。然后，控制单元10重复步骤S1和S2，直到满足测量开始条件。

同时，如果测量开始条件已满足(步骤S2中的“是”)，则在步骤S3中，成像控制单元21根据在测量设置中指定的操作时序表使得照明单元3切换并发射不同波长的光。此外，每当切换从照明单元3发射的光的波长和开启/关闭时，成像控制单元21使得成像单元14捕获成像范围IR的图像并且获取像素数据和图像数据。接着，在步骤S4中，类别识别单元22进行类别识别处理。

在类别识别处理中，类别识别单元22根据由成像单元14捕获的图像(像素数据和图像数据)来识别(指定)目标对象的类型。类别识别单元22从由成像单元14捕获的图像导出识别信息，并且与存储在存储器11中的定义信息进行比较，以检测目标对象。

为每个目标对象提供定义信息，并且存储在存储器11中。定义信息包括目标对象的类型、运动信息和图像信息。

移动信息是主要基于由视觉传感器14a捕获的图像检测的信息以及基于目标对象的移动(如图3的下部所示)的信息。在目标对象是微生物的情况下，移动信息是诸如相对于光源的移动方向(正或负)、速度和轨迹等信息。在目标对象是微粒的情况下，移动信息是诸如移动方向、速度和轨迹的信息。

图像信息是主要基于由成像传感器14b捕获的图像检测的信息，并且是目标对象的外部信息。注意，该图像信息可以是基于由视觉传感器14a捕获的图像检测的信息。

此外，定义信息可以包括通过重力传感器13检测的重力方向和经由通信单元12获取的外部环境信息。注意，外部环境信息可以包括深度、位置坐标(测量点的经纬度、平面直角坐标)、导电性、温度、pH、气体浓度(例如，甲烷、氢、氦)、金属浓度(例如，锰、铁)等。

类别识别单元22基于由视觉传感器14a捕获的图像(像素数据)检测存在于成像范围IR内的对象。例如，类别识别单元22基于在预定时段内输入的像素数据创建一个图像(帧数据)。类别识别单元22然后将在图像中检测到动作的预定范围内的像素群检测为一个对象。

此外，类别识别单元22通过模式匹配等在多个帧之间跟踪对象。然后，基于对象的跟踪结果，类别识别单元22导出移动方向、速度和轨迹作为识别信息。

注意，类别识别单元22从像素数据生成图像的周期可以与成像元件14b获取图像数据的周期(帧速率)相同或更短。

并且，针对导出了识别信息的对象，类别识别单元22从成像元件14b输入的图像数据中提取与该对象相对应的图像部分。然后，基于所提取的图像部分，类别识别单元22通过图像分析导出外部特性作为识别信息。注意，图像分析可以使用已知方法执行，因此这里省略其描述。

类别识别单元22通过根据指定的识别程序对照定义信息检查照明单元3发射的光的波长和针对所检测的对象导出的识别信息(移动方向、轨迹、速度、外部特性)来识别目标对象是哪一个。这里，例如，如果所导出的对象的识别信息在目标对象的定义信息中所指示的范围内，则类别识别单元22将所导出的对象识别为定义信息中所指示的类型。

对于每种识别程序，通过不同的方法将这些定义信息存储在存储器11中。例如，在基于规则的识别程序中，定义信息由用户预设并且存储在存储器11中。此外，在机器学习识别程序中，定义信息在学习模式中通过机器学习生成和更新，并且存储在存储器11中。

接着，类别识别单元22将检测出的目标对象的识别结果和由成像元件14b捕获的图像存储在存储器11中，并且经由通信部12发送到外部装置。

在步骤S5中，距离/速度测量单元23根据由类别识别单元22识别出的目标对象的类型，进行在成像方向上测量目标对象的距离和速度(目标对象的位置信息)的距离/速度测量处理。注意，以下将更详细地描述步骤S5中的距离/速度测量处理。

随后，在步骤S6中，控制单元10确定测量结束条件是否满足。然后，控制单元10重复步骤S1至S6直到满足测量结束条件。如果结束条件满足(步骤S6中的“是”)，则控制单元10结束确定处理。

[1.5距离/速度测量处理]

随后，将描述距离/速度测量处理。如上所述，在步骤S5中，距离/速度测量单元23根据基于规则的距离/速度测量程序或机器学习距离/速度测量程序执行距离/速度测量处理。

此处，将通过具体示例描述基于规则的距离/速度测量处理和机器学习中的距离/速度测量处理。

[1.5.1基于规则的距离/速度测量处理]

图7示出了基于规则的距离/速度测量处理。在基于规则的距离/速度测量处理中，视觉传感器14a的焦距f作为已知信息存储在存储器11中。

此外，存储器11还存储每个目标对象的统计信息(平均尺寸H)。这预先由用户注册为数据库。

然后，当基于像素数据从图像中识别出目标对象时，距离/速度测量单元23从存储器11中读取目标对象的平均尺寸H和视觉传感器14a的焦距f。随后，距离/速度测量单元23计算在成像平面40上捕获的目标对象的图像42的纵向方向上的长度s。该计算例如基于捕获图像42的像素数。

此外，距离/速度测量单元23使用公式(1)计算从测量装置1到目标对象41在成像方向(Z方向)上的距离D。

D ＝ fH/s ... (1)

以这种方式，距离/速度测量单元23在每次获取基于像素数据的图像时(每次从图像检测到目标对象时)，计算(测量)从测量装置1到实际的目标对象41的距离D。

此外，对于在连续图像之间跟踪的目标对象41，距离/速度测量单元23基于获取图像的间隔和每个图像中的距离D计算(测量)成像方向(Z轴方向)上的速度。

如上所述，在基于规则的距离/速度测量处理中，距离/速度测量单元23基于每个目标对象的统计信息(平均尺寸)测量与目标对象的位置有关的信息。

[1.5.2机器学习中的距离/速度测量处理]

图8示出了用于训练数据的图像。图9示出了深度学习的模型图。

机器学习中的距离/速度测量处理使用例如在图8中示出的作为训练数据的图像执行机器学习，并且生成用于距离/速度测量处理的模型(架构)。

具体地，预先准备由视觉传感器14a从已知的目标对象捕获的图像。图像以总共153个模式提供，包括(在成像方向上从测量装置1至目标对象的距离为1mm、5mm、10mm、100mm和200mm的)五个模式乘以(发射光的波长每10nm从400nm变化至700nm的)31个模式。

然后，对于每个准备的图像，距离/速度测量单元23将在检测到运动的预定范围内的像素群检测为目标对象，并且将像素群重新调整尺寸为32像素乘32像素，从而生成如图8中所示的作为训练数据的图像。

注意，图8示出了作为训练数据的图像的一部分。此处，在海中，波长约500nm的光的衰减系数最低，并且波长小于约500nm的光和波长大于约500nm的光的衰减系数随着波长远离约500nm而增大。

此外，随着从测量装置1至目标对象的距离增加，光的到达系数减小。

因此，如图8所示，在捕获目标对象的图像中，随着目标对象更接近测量装置1或者随着发射光的波长更接近500nm，更清晰地捕获目标对象。然后，随着目标对象离测量装置1更远或发射光的波长离500nm更远，捕获目标对象较不清晰被或根本不能捕获。

如图9所示，当作为训练数据的图像被重新调整尺寸时，距离/速度测量单元23使用深度神经网络将机器学习应用于包括这些图像的训练数据。例如，该模型包括五个卷积层(Conv1至Conv5)、三个池化层(MaxPooling)、以及两个全连接层(FC)。然后，通过机器学习，模型被生成并存储在存储器11中，其最终输出具有从距离1mm到距离200mm的五个元素的一维类别矢量。

针对每个目标对象执行这种使用深度神经网络的机器学习，并且针对每个目标对象生成模型并将其存储在存储器11中。

然后，在类别识别单元22识别出目标对象的类型的情况下(步骤S4)，距离/速度测量单元23从存储器11中读出识别出的类型的模型。另外，距离/速度测量单元23将由视觉传感器14a捕获到的图像中的目标对象部分缩放为32像素乘32像素，将重新调整尺寸的图像输入到所读出的模型中。因而，输出具有从距离1mm到距离200mm的五个元素的一维类别矢量的值。然后，距离/速度测量单元23输出(测量)五个元素中具有最高值的元素(距离1mm至距离200mm中的任何一个)作为目标对象在成像方向上的距离。

此外，对于在连续图像之间跟踪的目标对象，距离/速度测量单元23基于获取图像的间隔和每个图像中在成像方向上的距离计算(测量)在成像方向(Z轴方向)上的速度。

如上所述，在机器学习中的距离/速度测量处理中，距离/速度测量单元23基于与针对每个类型的目标对象预先学习的位置有关的信息的学习结果来测量与目标对象的位置有关的信息。

<2.第二实施方式>

[2.1测量装置的配置]

图10示出了作为根据本技术的第二实施方式的测量装置100的配置。如图10所示，除了控制单元110不用作类别识别单元22以外，测量装置100与第一实施方式的测量装置1相似。

然后，基于由视觉传感器14a捕获的图像，测量装置100在成像方向上测量至目标对象的距离及其速度，而不识别目标对象的类型。

图11示出了测量设置的示例。控制单元110根据先前指定的测量设置进行测量，如图11所示。测量设置指定测量开始条件、照明单元3的操作时序表、距离/速度测量程序(测量方法)以及测量结束条件。

测量开始条件指定开始测量的条件，诸如开始测量的时间或经由通信单元12输入的测量开始命令的接收等。

操作时序表指定用于操作照明单元3的时间表。例如，图5中示出的操作时序表指定在400nm至700nm的范围内每10nm发射400nm、410nm、…、690nm和700nm的不同波长的光同时重复开启和关闭。

距离/速度测量程序指定用于测量与目标对象在成像方向上的位置有关的信息的程序(方法)，诸如通过机器学习的测量、通过规则库的测量等。

测量结束条件指定用于结束测量的条件，诸如结束测量的时间或经由通信单元12输入的测量结束命令的接收等。

如上所述，第二实施方式中的测量设置与第一实施方式中的测量设置的不同之处在于不提供识别程序。

[2.2测量处理]

图12示出了示出测量处理的步骤的流程图。控制单元110通过执行存储在存储器11中的软件(距离/速度测量程序)来执行图12中所示的测量处理。

在步骤S1中，控制单元110读取外部环境信息。然后，在步骤S2中，控制单元10确定在测量设置中指定的测量开始条件是否满足。然后，控制单元110重复步骤S1和S2，直到满足测量开始条件。

同时，如果测量开始条件已满足(步骤S2中的“是”)，则在步骤S3中，成像控制单元21根据在测量设置中指定的操作时序表使得照明单元3切换并发射不同波长的光。此外，每当切换从照明单元3发射的光的波长和开启/关闭时，成像控制单元21使得成像单元14捕获成像范围IR的图像并且获取像素数据和图像数据。

随后，在步骤S11中，根据基于像素数据的图像，距离/速度测量单元23根据检测存在于成像范围内的对象作为目标对象，并且执行在成像方向上测量到目标对象的距离及其速度的距离/速度测量处理。注意，以下将更详细地描述步骤S11中的距离/速度测量处理。

随后，在步骤S6中，控制单元10确定用于结束确定处理的结束条件是否满足。然后，控制单元10重复步骤S1至S6直到满足用于结束确定处理的结束条件。在满足了用于结束用途特定的测量运算处理的结束条件的情况下(步骤S6：是)，控制单元10结束判定处理。

[2.3机器学习中的距离/速度测量处理]

如上所述，在步骤S11中，距离/速度测量单元23根据基于规则的距离/速度测量程序或机器学习距离/速度测量程序执行距离/速度测量处理。

此处，将通过具体示例描述机器学习中的距离/速度测量处理。

类似于测量装置1，如图9所示，测量装置100创建深度学习模型。

在此，在实施方式1中，为每个目标对象生成模型，而在实施方式2中，不为每个目标对象生成模型，不管目标对象的类型如何，仅生成预先学习的一个模型。

具体地，预先准备由视觉传感器14a捕获的图像。以总共153个模式乘以不同目标对象的类型的数量来提供图像。153个模式包括(在成像方向上从测量装置1至目标对象的距离为1mm、5mm、10mm、100mm和200mm的)五个模式乘以(发射光的波长每10nm从400nm变化至700nm的)31个模式。

然后，对于每个准备的图像，距离/速度测量单元23将在检测到运动的预定范围内的像素群检测为目标对象，并且将像素群重新调整尺寸为32像素乘32像素，从而生成如图8中所示的作为训练数据的图像。

如图9所示，当对作为训练数据的图像重新调整尺寸时，距离/速度测量单元23使用深度神经网络将机器学习应用于包括这些图像的训练数据，并且将生成的模型存储在存储器11中。

然后，距离/速度测量单元23将由视觉传感器14a捕获到的图像中的目标对象部分重新调整尺寸为32像素乘32像素，并且将重新调整尺寸的图像输入到从存储器11中读取的模型中。因而，输出具有从距离1mm到距离200mm的五个元素的一维类别矢量的值。然后，距离/速度测量单元23输出(测量)五个元素中具有最高值的元素(距离1mm至距离200mm中的任何一个)作为目标对象在成像方向上的距离。

此外，对于在连续图像之间跟踪的目标对象，距离/速度测量单元23基于获取图像的间隔和每个图像中在成像方向上的距离计算(测量)在成像方向(Z轴方向)上的速度。

如上所述，在机器学习中的距离/速度测量处理中，距离/速度测量单元23基于与预先学习的位置有关的信息的学习结果来测量与目标对象的位置有关的信息，而不管目标对象的类型。

因此，与第一实施方式相比，第二实施方式使用更少数量的模型，从而可以减小数据容量。此外，第二实施方式虽然降低了测距准确度，但减小了计算时间。

<3.测量装置的另一配置示例>

注意，实施方式并不局限于上述所述具体示例并且可被配置为各种变形例。

在上述实施方式中，测量装置1包括一个照明单元3。然而，照明单元3不限于1个，可以设置多个照明单元3。

图13示出了根据变形例的测量装置200的配置。如图13所示，变形例的测量装置200包括一个主体部2和两个照明单元3。两个照明单元3被布置为能够在彼此垂直的方向上发射光，并且能够向成像范围发射彼此不同的波长的光。

在这种测量装置200中，两个照明单元3可以发射不同波长的光，并且因此，仅一次测量可以提供对不同波长的光呈现活动性的目标对象(微生物)的识别信息，从而提供有效测量。

图14示出了根据变形例的测量装置300的配置。如图14所示，变形例的测量装置300包括两个主体部2和一个照明单元3。两个主体部2被配置为能够在彼此垂直的方向上捕获图像。

在这种测量装置300中，两个主体部2(成像单元14)可以捕获图像，并且因此可以检测目标对象的三维移动，从而提供更有效的测量。

注意，在设置两个主体部2的情况下，可以使其中一个主体部2仅包含成像单元14。

另外，在上述实施方式中，成像单元14具有视觉传感器14a和成像元件14b。但是，成像单元14只要能够捕获至少能够测量目标对象在成像方向上的位置的信息的图像即可，也可以仅具有视觉传感器14a或成像传感器14b中的任何一个。此外，成像单元14可以包括单光子雪崩二极管(SPAD)传感器来代替视觉传感器14a和成像传感器14b。

另外，在上述实施方式中，基于由视觉传感器14a获取的像素数据和由成像元件14b获取的图像数据，通过导出识别信息识别目标对象的类型。然而，如果基于由视觉传感器14a获取的像素数据和由成像传感器14b获取的图像数据中的至少一个可以识别目标对象的类型，也可以使用其他方法用于识别。

此外，在上述实施方式中，通过深度学习执行机器学习。然而，机器学习的方法不限于此，并且可以通过其他方法执行机器学习。此外，通过机器学习生成的模型可以由外部装置创建，而不是由测量装置1创建。

[3-1变形例1]

图15示出变形例1中的照明控制。图16示出了在变形例1中的照明控制时由视觉传感器14a捕获的图像。

同时，在视觉传感器14a中，由于亮度变化和电流值变化超过特定阈值，在每个像素中发生地址事件。因此，在目标对象TO以非常低的速度移动或者在成像范围中根本不移动的情况下(在下文中，这些统称为停止)，在每个像素中不出现地址事件。因此，在这种情况下，视觉传感器14a可能不捕获目标对象TO的图像。

因此，在目标对象TO停止的情况下，暂时停止l来自照明单元3的光的发射。具体地，当如图15的上部所示，在照明单元3发射光的同时，目标对象TO在成像范围中移动时，成像控制单元21使得视觉传感器14a捕获目标对象TO的图像，如图16(a)和图16(b)所示。

随后，当目标对象TO停止时，在视觉传感器14a中不发生地址事件，因此，如图16(c)所示，不捕获目标对象TO的图像(在图中由虚线表示)。

在成像范围中无法检测到目标对象TO的情况下(在成像范围中目标对象TO消失的情况下)，成像控制单元21判断为目标对象TO停止、目标对象TO高速移动到成像范围外或者目标对象TO消失。然后，如图15的中间部分所示，成像控制单元21暂时停止从照明单元3发射光。在成像范围中存在目标对象TO的情况下，当停止了从照明单元3发射光，目标对象TO的亮度变化，并且因此，视觉传感器14a捕获目标对象TO的图像，如图16(d)所示。

此外，如图15的下部所示，成像控制单元21重新开始从照明单元3发射光。如图16(e)所示，当重新开始从照明单元3发射光时，目标对象TO的亮度变化，并且因此，视觉传感器14a捕获目标对象TO的图像。

以这种方式，在成像范围中无法检测出目标对象TO的情况下，暂时停止从照明单元3发射光。因此，在成像范围中存在目标对象TO的情况下，目标对象TO出现在由视觉传感器14a捕获的图像中并且因此可连续测量目标对象TO。

注意，在成像范围中没有检测出目标对象TO的情况下，成像控制单元21也可以改变从照明单元3射出的光的波长。即使改变从照明单元3发射的光的波长，也可以允许视觉传感器14a捕获停止在成像范围中的目标对象TO的图像。

[3-2变形例2]

图17示出了变形例2中的照明控制。在变形例2中，设置多个照明单元3。在此，对设置两个照明单元3的情况进行说明。两个照明单元3被布置在不同的位置处。

例如，如图17的上部所示，当从照明单元3中的一个发射光的同时目标对象TO在成像范围中移动时，目标对象TO出现在由成像控制单元21引起的由视觉传感器14a捕获的图像中。

同时，当目标对象TO停止在成像范围中时，在视觉传感器14a中不会发生地址事件，因此，目标对象TO不会出现在由视觉传感器14a捕获的图像中。

在成像范围中可能未检测到目标对象TO的情况下，如图17的下部所示，成像控制单元21停止从一个照明单元3发射光，并且开始从另一个照明单元3发射光。当开始从另一个照明单元3发射光时，目标对象TO的亮度变化，并且因此，视觉传感器14a捕获目标对象TO的图像。

如上所述，在变形例2中，与变形例1相似，可以连续测量目标对象TO。

注意，在未设置多个照明单元3的情况下，与切换多个照明单元3来发射光的情况类似，即使目标对象TO停止，也可以通过移动照明单元3来测量目标对象TO。

<4.实施方式概述>

如上所述，本实施方式的测量装置1包括：捕获控制单元21，被配置为使得成像单元14捕获在水中的预定成像范围的图像；以及测量单元(距离/速度测量单元23)，被配置为基于由成像单元14捕获的图像来测量与目标对象在成像方向上的位置有关的信息。

因此，测量装置1可在不进行复杂配置的情况下测量与目标对象在成像方向上的位置有关的信息。

例如，也可以设想使用并列设置的两个成像单元14作为立体照相机来测量与目标对象在成像方向上的位置有关的信息。然而，在该方法中，装置变得复杂并且两个成像单元14的校准变得困难。

相反，测量装置1可以有效地测量与目标对象的位置有关的信息。

在上述根据本技术的测量装置1中，预期成像单元14包括视觉传感器14a，视觉传感器14a被配置为根据入射在二维布置的多个像素中的每一个上的光的量而异步地获取像素数据。

这使得可以仅读取发生事件的像素的像素数据并且基于该像素数据测量目标对象。

因此，测量装置1可以通过自动与背景分离实现高速成像、功耗降低以及图像处理的较低计算成本。

在上述根据本技术的测量装置1中，可以设想，照明单元3被设置为利用预定波长的光照射成像范围，并且成像单元14捕获由照明单元3利用预定波长的光照射的成像范围的图像。

由此，在太阳光未到达的水深处，能够仅捕获来自目标对象的反射光或激励光的图像。

因此，测量装置1可以有效地测量目标对象。

在上述根据本技术的测量装置1中，可以设想照明单元3可以切换并发射不同波长的光，并且成像单元14分别捕获用不同波长的光照射的成像范围的图像。

这使得可以针对目标对象的每个类型捕获根据波长不同的反射光或激励光的图像。

因此，测量装置1可以获取每个目标对象的特征图像。

在上述根据本技术的测量装置1中，可以设想测量单元测量在成像方向上距目标对象的距离。

这使得可以不使用诸如立体相机的复杂配置而利用简单的配置来测量在成像方向上距目标对象的距离。

在上述根据本技术的测量装置1中，可以设想测量单元测量目标对象在成像方向上的速度。

这使得可以不使用诸如立体相机的复杂配置而利用简单的配置来测量目标对象在成像方向速度上的速度。

在上述根据本技术的测量装置1中，可以设想设置识别单元(类别识别单元22)，识别单元基于由成像单元14捕获的图像来识别目标对象的类型，并且测量单元基于由识别单元识别的目标对象的类型来测量与目标对象的位置有关的信息。

这使得可以通过适用于针对目标对象的每个类型的方法(模型)来测量与目标对象的位置有关的信息。

因此，测量装置1可以精确地测量与目标对象在成像方向上的位置有关的信息。

在上述根据本技术的测量装置1中，可以设想，测量单元基于每个类型的目标对象的统计信息来测量与目标对象的位置有关的信息。

这使得可以通过简单的方法测量与目标对象在成像方向上的位置有关的信息。

在上述根据本技术的测量装置1中，可以设想测量单元基于与针对每个类型的目标对象预先学习的位置有关的信息的学习结果来导出与目标对象的位置有关的信息。

这使得可以精确地测量与目标对象在成像方向上的位置有关的信息。

在上述根据本技术的测量装置1中，可以设想测量单元基于与不论目标对象的类型预先学习的位置有关的信息的学习结果来导出与目标对象的位置有关的信息。

这使得可以减少数据容量并减少计算时间。

在上述根据本技术的测量装置1中，可以设想成像控制单元21在成像范围中可能不能检测到目标对象的情况下暂时停止从照明单元3的光的发射。

这使得可以连续测量停止在成像范围中的目标对象。

在上述根据本技术的测量装置1中，可以设想成像控制单元21在成像范围中可能不能检测到目标对象的情况下改变从照明单元3发射的光的波长。

这使得可以连续测量在成像范围中停止的目标对象。

在上述根据本技术的测量装置1中，可以设想成像控制单元21在成像范围中可能不能检测到目标对象的情况下移动照明单元3。

这使得可以连续测量在成像范围中停止的目标对象。

在上述根据本技术的测量装置1中，可以设想设置多个照明单元3，并且成像控制单元21在成像范围中可能不能检测到目标对象的情况下使得不同的照明单元3发射光。

这使得可以连续测量在成像范围中停止的目标对象。

在上述根据本技术的测量方法中，通过成像单元捕获在水中的预定成像范围的图像，并且基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。

在上述根据本技术的程序中，使信息处理装置执行以下处理：使得成像单元捕获在水中的预定成像范围的图像，并且基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。

这样的程序可以预先记录在内置于计算机装置等装置中的作为存储介质的HDD、具有CPU的微型计算机中的ROM等中。

可替换地，程序可以临时或永久地存储(记录)在可移除记录介质中，诸如，软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器、存储卡等。这种可移除记录介质可被设置为所谓的封装软件。

此外，这样的程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或互联网的网络从下载站点下载。

此外，这样的程序适于在宽范围内提供实施方式的信息处理装置。例如，通过将程序下载到诸如智能电话、平板电脑等的移动终端装置、移动电话、个人计算机、游戏装置、视频装置、个人数字助理(PDA)等，可以使这种装置用作本公开的信息处理装置。

应注意，本文中描述的效果仅是示例而非限制，并且可存在其他效果。

<5.本技术>

本技术还可配置如下。

(1)一种测量装置，包括：

成像控制单元，被配置为使得成像单元捕获在水中的预定成像范围的图像；以及

测量单元，被配置为基于由成像单元捕获的图像来测量与目标对象在成像方向上的位置有关的信息。

(2)根据(1)所述的测量装置，

其中，成像单元包括视觉传感器，视觉传感器被配置为根据入射在二维布置的多个像素中的每一个上的光的量而异步地获取像素数据。

(3)根据(1)或(2)所述的测量装置，还包括：

照明单元，被配置为利用预定波长的光照射成像范围，其中，

成像单元捕获由照明单元利用预定波长的光照射的成像范围的图像。

(4)根据(3)所述的测量装置，其中，

照明单元能够切换并发射不同波长的光，并且

成像单元分别捕获利用不同波长的光照射的成像范围的图像。

(5)根据(1)至(4)中任一项所述的测量装置，其中，

测量单元测量在成像方向上距目标对象的距离。

(6)根据(1)至(5)中任一项所述的测量装置，其中，

测量单元测量目标对象在成像方向上的速度。

(7)根据(1)至(6)中任一项所述的测量装置，还包括：

识别单元，被配置为基于由成像单元捕获的图像来识别目标对象的类型，其中，

测量单元基于由识别单元识别的目标对象的类型来测量与目标对象的位置有关的信息。

(8)根据(7)所述的测量装置，其中，

测量单元基于针对目标对象的每个类型的统计信息来测量与目标对象的位置有关的信息。

(9)根据(1)至(6)中任一项所述的测量装置，其中，

测量单元基于与针对目标对象的每个类型预先学习的位置有关的信息的学习结果来测量与目标对象的位置有关的信息。

(10)根据(1)至(6)中任一项所述的测量装置，其中，

测量单元基于与不论目标对象的类型预先学习的位置有关的信息的学习结果来测量与目标对象的位置有关的信息。

(11)根据(3)或(4)所述的测量装置，其中，

成像控制单元在成像范围内不能检测到目标对象的情况下暂时停止来自照明单元的光的发射。

(12)根据(3)所述的测量装置，其中，

成像控制单元在成像范围内不能检测到目标对象的情况下改变从照明单元发射的光的波长。

(13)根据(3)或(4)所述的测量装置，其中，

成像控制单元在成像范围内不能检测到目标对象的情况下移动照明单元。

(14)根据(3)或(4)所述的测量装置，其中，

设置多个照明单元，并且

成像控制单元在成像范围内不能检测到目标对象的情况下使得不同的照明单元发射光。

(15)一种测量方法，包括：

通过成像单元捕获在水中的预定成像范围的图像；以及

基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。

(16)一种程序，被配置为使测量装置执行以下处理：

使得成像单元捕获在水中的预定成像范围的图像，以及

基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。

参考符号列表

1 测量装置

3 照明单元

10 控制单元

14 成像单元

14a 视觉传感器

14b 成像传感器

21 成像控制单元

22 类别识别单元

23 距离/速度测量单元

Claims (16)

1.一种测量装置，包括：

成像控制单元，被配置为使得成像单元捕获在水中的预定成像范围的图像；以及

测量单元，被配置为基于由所述成像单元捕获的所述图像来测量与目标对象在成像方向上的位置有关的信息。

2.根据权利要求1所述的测量装置，

其中，所述成像单元包括视觉传感器，所述视觉传感器被配置为根据入射在二维布置的多个像素中的每一个上的光的量而异步地获取像素数据。

3.根据权利要求1所述的测量装置，还包括：

照明单元，被配置为利用预定波长的光照射所述成像范围，其中，

所述成像单元捕获由所述照明单元利用预定波长的光照射的所述成像范围的图像。

4.根据权利要求3所述的测量装置，其中，

所述照明单元能够切换并发射不同波长的光，并且

所述成像单元分别捕获利用不同波长的光照射的所述成像范围的图像。

5.根据权利要求1所述的测量装置，其中，

所述测量单元测量在所述成像方向上距所述目标对象的距离。

6.根据权利要求1所述的测量装置，其中，

所述测量单元测量所述目标对象在所述成像方向上的速度。

7.根据权利要求1所述的测量装置，还包括：

识别单元，被配置为基于由所述成像单元捕获的图像来识别所述目标对象的类型，其中，

所述测量单元基于由所述识别单元识别的所述目标对象的类型来测量与所述目标对象的位置有关的信息。

8.根据权利要求7所述的测量装置，其中，

所述测量单元基于针对所述目标对象的每个类型的统计信息来测量与所述目标对象的位置有关的信息。

9.根据权利要求1所述的测量装置，其中，

所述测量单元基于与针对所述目标对象的每个类型预先学习的位置有关的信息的学习结果来测量与所述目标对象的位置有关的信息。

10.根据权利要求1所述的测量装置，其中，

所述测量单元基于与不论所述目标对象的类型预先学习的位置有关的信息的学习结果来测量与所述目标对象的位置有关的信息。

11.根据权利要求3所述的测量装置，其中，

所述成像控制单元在所述成像范围内不能检测到所述目标对象的情况下暂时停止来自所述照明单元的光的发射。

12.根据权利要求4所述的测量装置，其中，

所述成像控制单元在所述成像范围内不能检测到所述目标对象的情况下改变从所述照明单元发射的光的波长。

13.根据权利要求3所述的测量装置，其中，

所述成像控制单元在所述成像范围内不能检测到所述目标对象的情况下移动所述照明单元。

14.根据权利要求3所述的测量装置，其中，

设置多个所述照明单元，并且

所述成像控制单元在所述成像范围内不能检测到所述目标对象的情况下使得不同的照明单元发射光。

15.一种测量方法，包括：

通过成像单元捕获在水中的预定成像范围的图像；以及

基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。

16.一种程序，被配置为使得测量装置执行以下处理：

使得成像单元捕获在水中的预定成像范围的图像，以及

基于所捕获的图像测量与目标对象在成像方向上的位置有关的信息。