CN117377860A - 测量装置、测量方法和程序 - Google Patents
测量装置、测量方法和程序 Download PDFInfo
- Publication number
- CN117377860A CN117377860A CN202280037459.1A CN202280037459A CN117377860A CN 117377860 A CN117377860 A CN 117377860A CN 202280037459 A CN202280037459 A CN 202280037459A CN 117377860 A CN117377860 A CN 117377860A
- Authority
- CN
- China
- Prior art keywords
- unit
- target object
- measuring
- imaging
- acoustic wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 62
- 238000005259 measurement Methods 0.000 claims description 65
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 12
- 244000005700 microbiome Species 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 239000000779 smoke Substances 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 229910002092 carbon dioxide Inorganic materials 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000010419 fine particle Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 241000283153 Cetacea Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000012267 brine Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- HPALAKNZSZLMCH-UHFFFAOYSA-M sodium;chloride;hydrate Chemical compound O.[Na+].[Cl-] HPALAKNZSZLMCH-UHFFFAOYSA-M 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- PWHULOQIROXLJO-UHFFFAOYSA-N Manganese Chemical compound [Mn] PWHULOQIROXLJO-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 229910000037 hydrogen sulfide Inorganic materials 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910052748 manganese Inorganic materials 0.000 description 1
- 239000011572 manganese Substances 0.000 description 1
- -1 manganese and iron) Chemical class 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/001—Acoustic presence detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/02—Prospecting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- Remote Sensing (AREA)
- Geophysics And Detection Of Objects (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
测量装置(1)包括:成像控制单元(21),用于使成像单元(14)对水中的预定关注对象进行成像;以及振动测量单元(23),用于基于成像控制单元(21)捕获的图像测量关注对象的振动频率,来测量水中的声波。
Description
技术领域
本技术涉及测量装置、测量方法和程序,具体地,涉及测量水中的声波的技术。
背景技术
已经提出一种测量装置,其照射具有预定波长的激发光以激发浮游植物,并测量从激发的浮游植物发射的荧光的强度以测量浮游植物的丰度(参见,例如,专利文献1)。
现有技术文献
专利文献
专利文献1日本专利申请公开号2019-165687
发明内容
本发明要解决的问题
顺便提及,在海上(水中),发出由地壳活动产生的低频声波、鲸等海洋生物发出的声波等各种声波。
并且,作为用于测量海中产生的声波的装置,使用压电麦克风的水听器是已知的。
然而,水听器难以检测具有例如小于1Hz的超低频率的声波,并且水听器未达到有效测量水中的声波的水平。
因此,本技术的目的是有效地测量在水中传播的声波。
问题的解决方案
根据本技术的测量装置包括:成像控制单元,使成像单元对水中的预定目标对象进行成像;以及测量单元,基于成像单元拍摄的图像来测量水中的声波。
利用该配置,测量装置可以利用简单的配置测量水中的声波。
附图说明
图1是用于说明根据实施方式的测量装置1的配置的示图。
图2是用于说明目标对象和目标对象的移动的示图。
图3是用于说明测量设置的示例的示图。
图4是用于说明操作时间表的示例的示图。
图5是用于说明由在水中产生的声波振动的目标对象的示图。
图6是用于说明振动测量处理的示图。
图7是用于说明规则基准距离测量处理的示图。
图8是用于说明用作教师数据的图像的示图。
图9是深度学习的模型图。
图10是用于说明应用例1的示图。
图11是用于说明应用例2的示图。
图12是用于说明根据变形例的测量装置的配置的示图。
图13是用于说明根据变形例的测量装置的配置的示图。
具体实施方式
在下文中,将按照以下顺序描述实施方式。
<1.测量装置的配置>
<2.关于目标对象>
<3.作为实施方式的测量方法>
<4.振动测量处理>
<5.测距处理>
<6.应用例>
<7.测量装置的另一配置例>
<8.实施方式概述>
<9.本技术>
<1.测量装置的配置>
首先,将描述根据本技术的实施方式的测量装置1的配置。
测量装置1是通过测量目标对象(例如,存在于诸如海洋的水中的微生物或微粒)的振动来测量在水中传播的声波的装置。
这里,用作目标对象的微生物是水下微生物,例如浮游植物、浮游动物或存在于水中的水下生物的幼虫。此外,用作目标对象的细颗粒是微介质、灰尘、沙子、海洋雪、气泡等。然而,这些是示例,目标对象可以是除了这些之外的对象。
此外,在水中传播的声波是诸如由地壳活动产生的低频声波和由海洋生物诸如鲸鱼产生的声波的各种声波,并且例如是0.1Hz至20Hz的低频声波。然而,声波可以是具有20Hz以上的频率的声波。
图1示出了测量装置1的配置。如图1所示,测量装置1包括主体2和照明单元3。要注意的是,照明单元3可设置在主体2内。
主体2包括控制单元10、存储器11、通信单元12、重力传感器13、成像单元14和透镜15。
控制单元10例如由具备CPU、ROM、RAM的微型计算机构成,对测量装置1进行整体控制。在第一实施方式中,控制单元10用作成像控制单元21、类别识别单元22和振动测量单元23。要注意的是,稍后详细描述成像控制单元21、类别识别单元22以及振动测量单元23。
此外,控制单元10执行读取存储在存储器11中的数据的处理、将数据存储在存储器11中的处理、以及经由通信单元12向和从外部装置发送和接收各种数据。
存储器11包括非易失性存储器。通信单元12与外部装置执行有线或无线数据通信。重力传感器13检测重力加速度(重力方向)并且将检测结果输出至控制单元10。应注意,测量装置1可被配置为不包括重力传感器13。
成像单元14具备视觉传感器14a和成像传感器14b中的一者或两者。视觉传感器14a是被称为动态视觉传感器(DVS)或基于事件的视觉传感器(EVS)的传感器。视觉传感器14a通过透镜15拍摄水中的预定成像范围的图像。
视觉传感器14a是异步图像传感器,其中,包括光电转换元件的多个像素被二维布置,此外,在每个像素中提供实时检测地址事件的检测电路。注意,地址事件是发生在根据入射光量分配给多个二维布置的像素中的每个的每个地址中的事件,并且例如是其中基于在光电转换元件中生成的电荷的电流的电流值或其变化量超过特定阈值的事件。
视觉传感器14a检测每个像素是否发生地址事件,并且在检测到发生地址事件的情况下,视觉传感器从发生地址事件的像素中读取像素信号作为像素数据。即,视觉传感器14a根据入射到二维排列的多个像素的各个像素的光量异步地获取像素数据。
视觉传感器14a对检测到地址事件的发生的像素进行像素信号的读出操作,因此与以预定帧速率对所有像素进行读出操作并且具有作为一帧而读取的少量数据的同步图像传感器相比,能够以极高的速度进行读出。
因此,测量装置1可以通过使用视觉传感器14a更快速地检测目标对象的运动。此外,视觉传感器14a可以减少数据量并且还减少功耗。
成像传感器14b例如是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器,并且包括光电转换元件的多个像素被二维布置。成像传感器14b根据帧频隔着透镜15以预定的间隔捕获预定的成像范围,生成图像数据。注意,测量装置1可以使用区域板、针孔板或透明板来代替透镜15。
视觉传感器14a和成像传感器14b被布置成通过透镜15捕获基本上相同成像范围的图像。例如,只要将单向镜(未示出)配置在视觉传感器14a与成像传感器14b与透镜15之间,使得由该单向镜分光的光的一部分入射到视觉传感器14a,另一部分入射到成像传感器14b即可。
根据控制单元10的控制来驱动照明单元3,并且用光照射成像单元14的成像范围。照明单元3可以在切换具有不同波长的光的同时发射光,并且例如发射具有彼此相差10nm的不同波长的光。
<2.关于目标对象>
图2是用于说明目标对象和目标对象的移动的示图。要注意的是,在图2中,在上级中示出了目标对象的图像,并且在下级中由箭头表示目标对象的移动方向。
如图2所示,目标对象包括微生物、海洋雪、海床沙、烟和气泡。
并且,已知一些微生物通过用具有特定波长的光照射而表现出出租车。在此,出租车是生物体对光(外部刺激)反应的先天行为。因此,当用具有特定波长的光照射具有出租车的微生物时,该微生物根据出租车移动。
海洋雪例如是存在于海上的浮游生物的废物、浮游生物的尸体或其分解产物等颗粒,并且移动以便沉入海上(在重力的方向上)。
海床沙子是例如沉淀在海床上的颗粒如沙子,并且通过海床流以漩涡方式移动。
烟例如是由地热加热的高温水从海床的水热排出口排出的现象。并且,从水热通风口吹出的热水可以达到几百度,并且由于该热水大量含有重金属和硫化氢作为溶解组分,黑烟或白烟与海水反应变成烟并在漩涡的同时向上移动。
例如,气泡是从海床泄漏(喷射)的诸如甲烷和二氧化碳的天然气、通过二氧化碳储存(CCS)人工注射并且从储存器泄漏的二氧化碳等,并且移动以便从海床上升。
如上所述,一些目标对象(不仅是微生物,而且是细颗粒)在已知的移动方向上移动,并且作为第一实施方式的测量装置1指定移动方向已知的微生物和细颗粒作为目标对象。
<3.作为实施方式的测量方法>
接下来,将描述作为实施方式的用于测量目标生物体的方法的概要。
图3是用于说明测量设置的示例的示图。
控制单元10根据预先指定的测量设置(诸如图3中所示的设置)执行测量。作为测量设置,指定测量开始条件、照明单元3的操作时间表、识别程序(识别方法)、振动测量程序(振动测量方法)以及测量结束条件。
作为测量开始条件,预定开始测量的条件,例如预定开始测量的时间、经由通信部12输入的测量开始指令的接收等。
在操作时间表(operation time sheet)中,指定用于操作照明单元3的时间表。例如,指定操作时间表,使得波长在400nm至700nm的范围内彼此相差10nm(具体地,400nm、410nm、…、690nm和700nm),并且发射光使得断开状态夹在波长之间。
以这种方式,在操作时间表中,指定从照明单元3向成像范围发射光的波长和定时。注意,在目标对象发光(激发)光的情况下,提供照明单元3关闭的定时,即,不发光的定时以成像光。此外,通过将断开状态夹在波长之间,产生异步视觉传感器14a能够容易地检测每个波长的事件的效果。
作为识别程序,预定用于识别目标对象的类型的程序(方法),例如,预定通过机器学习的识别、通过规则库的识别等。
作为振动测量程序,预定用于测量目标对象的振动的程序(方法),并且例如,预定通过机器学习的测量、通过规则库的测量等。
作为测量结束条件,指定用于结束测量的条件,并且例如,指定测量结束的时间、经由通信单元12输入的测量结束命令的接收等。
图4是示出测量方法的处理过程的流程图。如图4所示,在步骤S1中,控制单元10读取稍后将详细描述的外部环境信息。然后,在步骤S2中,控制单元10确定是否满足在测量设置中指定的测量开始条件。并且,控制单元10重复步骤S1和S2,直到满足测量开始条件。
另一方面,在满足测量开始条件的情况下(步骤S2中的“是”),在步骤S3中,成像控制单元21根据在测量设置中指定的操作时间表切换具有不同波长的光的同时使照明单元3发光。并且,成像控制单元21在每次切换从照明单元3射出的光的波长和开闭时,使成像单元14对成像范围进行成像,取得像素数据和图像数据。之后,在步骤S4中,类别识别单元22执行类别识别处理。
在类别识别处理中,类别识别单元22基于由成像单元14拍摄的图像(像素数据和图像数据)识别(指定)目标对象的类型。类别识别单元22从由成像单元14拍摄的图像导出识别信息,通过比较存储在存储器11中的定义信息来检测目标对象。
定义信息针对每个目标对象设置,并存储在存储器11中。定义信息包括目标对象的类型、移动方向和图像信息。
移动信息是主要基于由视觉传感器14a拍摄的图像检测的信息,并且是基于目标对象(诸如在图3的下段中示出的目标对象)的移动的信息。在目标对象是微生物的情况下,移动信息是诸如相对于光源的移动方向(正或负)、速度和轨迹的信息。在目标对象是微粒的情况下,移动信息是诸如移动方向、速度和轨迹的信息。
图像信息是主要基于由成像传感器14b拍摄的图像检测的信息,并且是目标对象的外部信息。应注意,图像信息可以是基于由视觉传感器14a拍摄的图像检测的信息。
此外,定义信息可包括通过重力传感器13检测的重力方向和经由通信单元12获取的外部环境信息。注意,外部环境信息可以是深度、位置坐标(测量点的经纬度和平面直角坐标)、电导率、温度、pH、气体浓度(例如)。甲烷、氢气和氦气)、金属(例如,锰和铁)的浓度等。
类别识别单元22基于由视觉传感器14a拍摄的图像(像素数据)检测存在于成像范围内的对象。例如,类别识别单元22基于在预定时间段内输入的像素数据创建一个图像,并且检测在图像中检测到动作的预定范围内的像素组作为一个对象。
此外,类别识别单元22通过图案匹配等在多个帧之间跟踪对象。然后,类别识别单元22基于对象的跟踪结果导出移动方向、速度和轨迹作为识别信息。
另外,类别识别单元22根据像素数据生成图像的周期可以与成像传感器14b获取图像数据的周期(帧频)相同或比其短。
另外,类别识别单元22针对导出了识别信息的对象,从成像传感器14b所输入的图像数据中提取与该对象相对应的图像部分。然后,类别识别单元22基于所提取的图像部分通过图像分析导出外部特性作为识别信息。注意,已知的方法可以用于图像分析,因此这里省略其描述。
类别识别单元22根据指定的识别程序,对照明单元3射出的光的波长和针对检测到的物体而导出的识别信息(移动方向、轨迹、速度、外部特性)和预定信息,判断物体是哪个目标对象。这里,例如,在所推导的对象的标识信息落在由目标对象的定义信息指示的范围内的情况下,类别识别单元22将所推导的对象识别为由定义信息指示的类型。
这些定义信息通过根据识别程序而变化的方法存储在存储器11中。例如,在规则库识别程序中,定义信息由用户预设并且存储在存储器11中。此外,在机器学习识别程序中,定义信息通过在学习模式中的机器学习生成和更新并且存储在存储器11中。
之后,在步骤S5中,振动测量单元23根据由类别识别单元22识别出的目标对象的类型,确定检测出的目标对象的类型是否为要测量振动的目标对象。这里,确定目标对象是否是本身不能移动的对象,即,仅通过水中的流动(通过声波的振动)移动的对象(例如,微粒)。
并且,在所检测的目标对象的类型不是要测量振动的目标对象的情况下(步骤S5中为否),处理进入步骤S7。另一方面,在检测到的目标对象的类型是要测量振动的目标对象的情况下(步骤S5中为是),振动测量单元23基于在步骤S6中由成像单元14拍摄的图像通过测量目标对象的振动来执行检测和测量声波的振动测量处理。注意,后面将描述振动测量处理的实施方式。
在步骤S7中,控制单元10确定是否满足在测量设置中指定的测量结束条件。然后,控制单元10重复步骤S3至S7直到满足测量结束条件,并且在满足测量结束条件的情况下(步骤S7中“是”)结束处理。
<4.振动测量处理>
图5是用于说明由在水中产生的声波振动的目标对象的示图。图6是用于说明振动测量处理的示图。在图5中,目标对象由白色圆圈表示,振动目标对象由重叠的白色圆圈表示。
例如,如图5所示,假设多个目标对象沿着水中的深度方向布置。另外,假定从上方起的第三、第四和第五对象物因在水中产生的声波而振动。另外,假定从上方起的第4对象物的振动频率比从上方起的第3、第5对象物的振动频率高。
在这种情况下,第一、第二、第六和第七目标对象从顶部不移动,因此在由视觉传感器14a以预定间隔拍摄的图像中未示出。
另一方面,第三、第四和第五目标对象在各图像中出现在不同位置(像素)。
如上所述,通过在水中产生的声波振动的目标对象在以预定间隔拍摄的图像中移动。
因此,振动测量单元23对由视觉传感器14a按预定时间间隔连续拍摄的图像执行测量被摄体在摄像方向上的距离的测距处理。此外,如图6的左侧所示,振动测量单元23基于在成像方向上测量的距离计算帧之间的加速度。注意,稍后将详细描述测距处理。
此后,振动测量单元23对计算的加速度的波形执行标准化,诸如重叠处理和窗口函数处理。然后,振动测量单元23对加速度的标准化波形进行如图6的中心所示的快速傅里叶变换,以计算如图6的右侧所示的每个频率的振幅。
然后,振动测量单元23指定(测量)已计算出振幅的频率分量中振幅大于预定阈值的频率分量(图6中的f1至f4),作为在水中发出的声波的频率。
<5.测距处理>
接下来,将描述测距处理。振动测量单元23基于规则库或机器学习测距程序执行测距处理。
这里,将通过给出具体实施方式来描述规则基准测距处理和机器学习测距处理。注意,计算目标对象的距离的方法不限于这些,并且可以使用其他方法。
[5.1规则基准距离测量处理]
图7是用于说明规则基准距离测量处理的示图。在规则基准距离测量处理中,视觉传感器14a的焦距f作为已知信息存储在存储器11中。
另外,各目标对象的统计信息(平均尺寸H)被存储在存储器11中。这由用户预先注册为数据库。
并且,在根据基于像素数据的图像指定目标对象的情况下,振动测量单元23从存储器11中读出目标对象的平均尺寸H和视觉传感器14a的焦距f。此后,振动测量单元23基于例如捕获图像42的像素数目计算在成像表面40上捕获的目标对象的图像42的纵向长度s。
此外,振动测量单元23通过使用公式(1)计算从测量装置1到目标对象41在成像方向上的距离D。
D = fH/s ... (1)
这样,振动测量单元23在每次取得基于像素数据的图像时(每次从图像检测到目标对象时),计算(测量)从测量装置1至实际的目标对象41的距离D。
[5.2机器学习距离测量处理]
图8是用于说明用作教师数据的图像的图。图9是深度学习的模型图。
在机器学习测距处理中,例如,通过使用诸如图8所示的教师数据的图像来执行机器学习以生成用于测距处理的模型(架构)。
具体地,提前准备图像,其中,通过视觉传感器14a总共以153个图案拍摄已知的目标对象,具体地,五个图案(其中,在拍摄方向上从测量装置1至目标对象的距离为1mm、5mm、10mm、100mm和200mm)和31个图案(其中,发射光的波长每10nm从400nm变化至700nm)。
然后,对于每个准备的图像,振动测量单元23检测在运动被检测为目标对象的预定范围内的像素组,并且将像素组调整大小为32像素×32像素,从而生成作为诸如图8中所示的训练数据的图像。
需注意,图8示出作为教师数据的一些图像。在此,在海上,具有约500nm波长的光的衰减率低,并且具有小于约500nm的波长的光和具有大于约500nm的波长的光的衰减率随着距约500nm的距离的增加而增加。
此外,随着从测量装置1至目标对象的距离增加,光的到达率减小。
因此,如图8所示,在拍摄目标对象的图像中,随着目标对象更接近测量装置1并且随着发射光的波长更接近500nm,更清晰地拍摄目标对象。另一方面,随着目标对象远离测量装置1并且随着发射光的波长远离500nm,目标对象较不清晰或完全未被捕获。
如图9所示,当作为教师数据的图像被调整大小时,振动测量单元23在深度神经网络中使用包括这些图像的教师数据执行机器学习。例如,该模型包括五个卷积层(Conv1至Conv5)、三个池化层(最大池)、以及两个全连接层(FC)。然后,通过机器学习,生成最终输出具有从距离1mm到距离200mm的五个元素的一维分类矢量的模型,并将其存储在存储器11中。
针对每个目标对象执行深度神经网络中的这种机器学习,并且生成每个目标对象的模型并将其存储在存储器11中。
并且,在类别识别单元22确定了目标对象的类型的情况下,振动测量单元23从存储器11中读出所确定的类型的模型。此外,振动测量单元23将由视觉传感器14a拍摄的图像中的目标对象部分的尺寸调整为32像素×32像素,并且将尺寸调整后的图像输入至读取模型。结果,输出具有从距离1mm至距离200mm的五个元素的一维分类矢量的值。然后,振动测量单元23输出(测量)五个元素中具有最高值的元素(距离1mm至距离200mm中的任何一个)作为目标对象在成像方向上的距离。
<6.应用例>
在下文中,将通过给出应用例1和应用例2来描述测量装置1的应用例。
[6.1应用例1]
图10是用于说明应用例1的示图。要注意的是,在图10的左侧,由黑色圆圈表示目标对象,并且由并排设置的黑色圆圈表示目标对象振动的状态。此外,图10示出了三个不同的层(层A、层B和层C)在海的深度方向上分布,并且在各个层中检测的声波(振动)不同的状态。
这里,已知在海上,声速由以下三个参数确定:水温、盐水浓度和水压。并且,作为用于确定声速的参数,盐水浓度具有最小的影响,并且根据位置不会改变很多。
另一方面,水温随着水深在海面到800m左右的范围内增加而降低。并且,声速随着水温降低而降低。将如上所述水温随着深度增加而降低的层称为温跃层(层A)。
此外,在距离海面1500m深的范围内,水温恒定在约4℃,同时水压随着水深的增加而增加。并且,声速随着水压的增加而增加。这种层被称为深等温层(层C)。
此外,在温跃层和深等温层(水深800m至1500m)之间,存在声速变得最小的深度,并且相对于声音的传播路径像透镜一样工作,使得在该层中辐射的能量趋于保留在层中。因此,该层具有即使在声音输出适度的情况下声音也可以传播到非常长的距离的特性。这样的层是具有比其他层更慢的声速的层,并且被称为深声道或SOFAR层。
因此,在应用例1中,测量装置1用于搜索声波在长距离上传播的SOFAR层。
如图10所示,测量装置1在水深方向(重力方向)上移动。并且,在测量装置1移动的同时,成像单元14依次拍摄图像。类别识别单元22在每次拍摄图像时识别对象物的类型,在识别了要测量振动的对象物的情况下,如上述那样测量对象物的振动。
结果,如图10的右侧所示,在层B的SOFAR层中,测量具有与在层A的温跃层和层C的深等温层中的频率和振幅不同的频率和振幅的声波。具体地,在层B的SOFAR层中,测量具有大振幅的频率的声波。
因此,振动测量单元23通过比较假定在SOFAR层中测量的声波的频率和振幅与测量的声波的频率和振幅来检测SOFAR层。
应注意,假定在SOFAR层中测量的声波的频率和振幅可由用户(规则库)提前存储在存储器11中或者可通过机器学习来学习。
[6.2应用例2]
图11是用于说明应用例2的示图。在应用例2中,搜索水热排放口。这里,从水热出口产生具有预定频率的声波。
因此,在应用例2中,通过找到并接近从水热通风口产生的声波来搜索水热通风口。
在应用例2中,测量装置1安装在移动单元100(诸如水下机器人或潜水艇)上。移动单元100可以通过用户操作而移动或可以基于控制单元10的控制而移动。
这里,将作为示例描述移动单元100基于控制单元10的控制而移动的情况。
首先,例如,如图11中的箭头所示,控制单元10随机地移动移动单元100。并且,在随机移动期间,成像单元14依次拍摄图像。类别识别单元22在每次拍摄图像时识别对象物的类型,在识别了要测量振动的对象物的情况下,如上述那样测量对象物的振动。
此外,振动测量单元23确定是否检测到从水热排放口产生的声波的频率f11。并且,例如,由于在时间t1没有检测到具有频率f11的声波,因此移动单元100被进一步随机地移动。
此后,例如,当在时间t2检测到具有频率f11的声波时,控制单元10沿频率f11的振幅增加的方向移动移动单元100。
通过这样沿频率f11的振幅增大的方向移动移动单元100,例如,频率f11的振幅在时间t3变得最大的位置被检测为水热通风口。
以这种方式,控制单元10基于所测量的预定频率的声波移动成像单元14(测量装置1)。此外,控制单元10在所测量的预定频率的声波的振幅增加的方向上移动成像单元14(测量装置1)。
<7.测量装置的另一配置例>
应注意,实施方式并不局限于上述所述具体实施方式并且可被配置为各种变形例。
在上述实施方式中,测量装置1包括一个照明单元3。但是,照明单元3不限于1个,也可以设置多个照明单元3。
图12是用于说明根据变形例的测量装置200的配置的视图。如图12所示,根据本变形例的测量装置200包括一个主体2和两个照明单元3。两个照明单元3被布置成能够在彼此正交的方向上发射光,并且能够将具有彼此不同的波长的光发射至成像范围。
在这种测量装置200中,能够从两个照明单元3射出不同波长的光,因此能够通过一次测量来导出响应于不同波长的光而表现出出租车的目标对象(微生物)的识别信息,能够高效地进行测量。
图13是用于说明根据变形例的测量装置300的配置的示图。如图13所示,根据变形例的测量装置300包括两个主体2和一个照明单元3。两个主体2布置成能够在彼此正交的方向上捕获图像。
在这种测量装置300中,可以由两个主体2(成像单元14)拍摄图像,并且因此可以检测目标对象的三维移动,并且可以更高效地执行测量。
要注意的是,在设置两个主体2的情况下,一个主体2可仅包括成像单元14。
另外,在上述实施方式中,成像单元14具有视觉传感器14a和成像传感器14b。然而,成像单元14可仅包括视觉传感器14a和成像传感器14b中的一个,只要可从其获取至少关于目标对象在成像方向上的位置的信息的图像即可。此外,成像单元14可包括单光子雪崩二极管(SPAD)传感器而不是视觉传感器14a和成像传感器14b。
在上述实施方式中,根据由视觉传感器14a取得的像素数据和由成像传感器14b取得的图像数据,导出识别信息来识别目标对象的类型。但是,在能够基于由视觉传感器14a取得的像素数据或由成像传感器14b取得的图像数据中的至少一个来识别目标对象的类型的情况下,也可以通过其他方法来识别目标对象的类型。
在上述实施方式中,在类别识别单元22识别出目标对象的类型之后,测量目标对象的振动。然而,测量装置1可以在不识别目标对象的类型的情况下测量目标对象的振动。
<8.实施方式概述>
如上所述,本实施方式的测量装置1具备:成像控制单元21,其使成像单元14在水中对预定的对象物进行成像;以及测量单元(振动测量单元23),其根据由成像单元14拍摄到的图像来测量水中的声波。
利用该配置,测量装置1可以利用简单的配置测量水中的声波。此外,测量装置1可以测量小于1Hz的超低频声波。
因此,测量装置1可以有效地测量在水中传播的声波。
在上述根据本技术的测量装置1中,可想到成像单元14包括视觉传感器14a,视觉传感器14a根据入射在二维布置的多个像素的每一个上的光量异步获取像素数据。
由此,能够仅读出发生了事件的像素的像素数据,基于该像素数据测量目标对象。
因此,测量装置1能够通过与背景自动分离来实现高速成像、功耗降低以及图像处理的计算成本降低。
在上述根据本技术的测量装置1中,可想到,测量单元通过测量目标对象的振动频率来测量声波的频率。
由此,测量装置1能够基于在由成像单元14拍摄的图像中拍摄到的目标对象的振动来测量水中的声波。
在上述根据本技术的测量装置1中,可以设想,设置识别单元(类别识别单元22),其基于由成像单元拍摄的图像识别目标对象的类型,并且测量单元基于由识别单元识别的目标对象的类型测量声波。
由此,在检测出没有被声波振动(移动)的对象物的类型的情况下,能够避免基于该对象物的振动测量声波。
因此,测量装置1可以准确地测量声波。
在上述根据本技术的测量装置1中,可想到测量单元在由识别单元识别的目标对象的类型是自身不移动的类型的情况下测量声波。
这使得可以避免基于不是由声波引起的运动来测量声波。
因此,测量装置1可以准确地测量声波。
在上述根据本技术的测量装置1中,可想到,测量单元基于由成像单元以预定时间间隔拍摄的图像测量目标对象的振动频率。
利用该配置,测量装置1可以利用简单的配置测量水中的声波。
在上述根据本技术的测量装置1中,可以想象成像单元在移动成像范围的同时依次执行成像。
由此,能够检测水中宽范围的声波。
在上述根据本技术的测量装置1中,可以设想,设置移动成像单元的移动控制单元(控制单元10),并且移动控制单元基于由测量单元测量的预定频率的声波移动成像单元。
利用该配置,可以搜索待检测的声波的产生源并且找到其中产生待检测的声波的层。
在上述根据本技术的测量装置1中,可以设想移动控制单元在由测量单元测量的预定频率的声波的振幅增加的方向上移动成像单元。
由此,能够指定被检测的声波的发生源的位置。
在上述根据本技术的测量装置1中,可想到测量单元基于所测量的声波来检测水中的特定层。
在上述根据本技术的测量装置1中,可以想象,待检测的层是其中声速比其他层中的声速慢的层。
利用该配置,可以找到产生待检测的声波的层。
根据上述本技术的测量方法包括使成像单元对水中的预定目标对象成像并且基于由成像单元拍摄的图像测量水中的声波。
根据上述本技术的程序使信息处理装置执行处理,该处理包括使成像单元对水中的预定目标对象成像并且基于由成像单元拍摄的图像测量水中的声波。
这样的程序可以预先记录在内置于计算机装置等装置中的作为存储介质的HDD、具有CPU的微型计算机中的ROM等中。
可替换地,程序可以临时或者永久地存储(记录)在可移除记录介质中,诸如,软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器、或者存储卡。这种可移除记录介质可以提供为所谓的封装软件。
此外,这样的程序可以从可移除记录介质安装到个人计算机等中,或者可以经由诸如局域网(LAN)或互联网的网络从下载站点下载。
此外,这样的程序适合于提供宽范围的实施方式的信息处理装置。例如,通过将程序下载到诸如智能电话、平板电脑等的移动终端装置、移动电话、个人计算机、游戏设备、视频设备、个人数字助理(PDA)等,可以使这种设备起本公开的信息处理装置的作用。
应注意,在本说明书中描述的效果仅是示例并且不受限制,并且可以提供其他效果。
<9.本技术>
本技术还可配置如下。
(1)
一种测量装置,包括:
成像控制单元,使成像单元拍摄水中的预定目标对象;以及
测量单元,基于由所述成像单元拍摄的图像测量所述水中的声波。
(2)
根据(1)所述的测量装置,其中,
所述成像单元包括视觉传感器,所述视觉传感器根据入射在二维布置的多个像素的每一个上的光量而异步地获取像素数据。
(3)
根据(1)或(2)所述的测量装置,其中,
所述测量单元通过测量所述目标对象的振动频率,测量所述声波的频率。
(4)
根据(1)至(3)中任一项所述的测量装置,还包括识别单元,所述识别单元基于由所述成像单元拍摄的图像来识别目标对象的类型,
其中,所述测量单元基于由所述识别单元识别的所述目标对象的类型来测量所述声波。
(5)
测量装置(4),其中
所述测量单元在由所述识别单元识别出的目标对象的类型是自己不移动的类型的情况下,测量所述声波。
(6)
根据(3)所述的测量装置,其中,
所述测量单元基于由所述成像单元以预定时间间隔拍摄的图像来测量所述目标对象的振动频率。
(7)
根据(1)至(6)中任一项所述的测量装置,其中,
所述成像单元在移动成像范围的同时依次进行成像。
(8)
根据(1)至(7)中任一项所述的测量装置,还包括移动控制单元,所述移动控制单元使所述成像单元移动,
其中,移动控制单元基于由测量单元测量的预定频率的声波移动成像单元。
(9)
根据(8)所述的测量装置,其中,
所述移动控制单元使所述成像单元向由所述测量单元测量出的所述预定频率的声波的振幅增大的方向移动。
(10)
根据(1)至(9)中任一项所述的测量装置,其中,
所述测量单元基于所测量的声波来检测所述水中的特定层。
(11)
根据(10)所述的测量装置,其中,
所述待检测层为声速比其他层慢的层。
(12)
一种测量方法,包括:
使成像单元对水中的预定目标对象进行成像;以及
基于由所述成像单元拍摄的图像测量所述水中的声波。
(13)
一种程序,用于使测量装置执行处理,所述处理包括:
使成像单元对水中的预定目标对象进行成像;以及
基于由所述成像单元拍摄的图像测量所述水中的声波。
参考符号列表
1 测量装置
3 照明单元
10 控制单元
14 成像单元
14a 视觉传感器
14b 成像传感器
21 成像控制单元
22 类别识别单元
23 振动测量单元。
Claims (13)
1.一种测量装置,包括:
成像控制单元,使成像单元对水中的预定的目标对象进行成像;以及
测量单元,基于由所述成像单元拍摄的图像来测量所述水中的声波。
2.根据权利要求1所述的测量装置,其中,
所述成像单元包括视觉传感器,所述视觉传感器根据入射在二维布置的多个像素中的每一个上的光量来异步地获取像素数据。
3.根据权利要求1所述的测量装置,其中,
所述测量单元通过测量所述目标对象的振动频率,测量所述声波的频率。
4.根据权利要求1所述的测量装置,进一步包括:识别单元,基于由所述成像单元拍摄的图像来识别目标对象的类型,
其中,所述测量单元基于由所述识别单元识别的所述目标对象的类型来测量所述声波。
5.根据权利要求4所述的测量装置,其中,
所述测量单元在由所述识别单元识别出的所述目标对象的类型是自己不能移动的类型的情况下,测量所述声波。
6.根据权利要求3所述的测量装置,其中,
所述测量单元基于所述成像单元以预定时间间隔拍摄的图像来测量所述目标对象的振动的频率。
7.根据权利要求1所述的测量装置,其中,
所述成像单元在移动成像范围的同时依次执行成像。
8.根据权利要求1所述的测量装置,进一步包括:移动控制单元,所述移动控制单元移动所述成像单元,
其中,所述移动控制单元基于由所述测量单元测量出的预定频率的声波来移动所述成像单元。
9.根据权利要求8所述的测量装置,其中,
所述移动控制单元使所述成像单元向由所述测量单元测量出的所述预定频率的声波的振幅增大的方向移动。
10.根据权利要求1所述的测量装置,其中,
所述测量单元基于测量出的所述声波来检测所述水中的特定层。
11.根据权利要求10所述的测量装置,其中,
待检测的层是声速比其他层慢的层。
12.一种测量方法,包括:
使成像单元对水中的预定目标对象进行成像;以及
基于由所述成像单元拍摄的图像来测量所述水中的声波。
13.一种程序,用于使测量装置执行处理,所述处理包括:
使成像单元对水中的预定目标对象进行成像;以及
基于由所述成像单元拍摄的图像来测量所述水中的声波。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-093775 | 2021-06-03 | ||
JP2021093775 | 2021-06-03 | ||
PCT/JP2022/016048 WO2022254942A1 (ja) | 2021-06-03 | 2022-03-30 | 測定装置、測定方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117377860A true CN117377860A (zh) | 2024-01-09 |
Family
ID=84323010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280037459.1A Pending CN117377860A (zh) | 2021-06-03 | 2022-03-30 | 测量装置、测量方法和程序 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4350307A1 (zh) |
JP (1) | JPWO2022254942A1 (zh) |
CN (1) | CN117377860A (zh) |
WO (1) | WO2022254942A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090262985A1 (en) * | 2005-10-27 | 2009-10-22 | The Tokyo Electric Power Co. Inc. | Vibration measuring system, vibration measuring method, and computer program |
JP5368583B2 (ja) * | 2009-01-30 | 2013-12-18 | シーメンス アクティエンゲゼルシャフト | 物体の振動特性の測定 |
WO2013183302A1 (ja) * | 2012-06-08 | 2013-12-12 | パナソニック株式会社 | 音響光学撮像装置 |
JP2017032395A (ja) * | 2015-07-31 | 2017-02-09 | Ntn株式会社 | 振動解析装置および異常診断システム |
JP7007225B2 (ja) | 2018-03-23 | 2022-01-24 | Jfeアドバンテック株式会社 | 特定種の植物プランクトンの存在量の算出方法及び算出装置、及び特定種の植物プランクトンによる赤潮発生の予兆検知方法及び予兆検知装置 |
JP7281396B2 (ja) * | 2019-12-27 | 2023-05-25 | 戸田建設株式会社 | 粒子画像撮像方法及び粒子速度分布作成方法 |
-
2022
- 2022-03-30 JP JP2023525634A patent/JPWO2022254942A1/ja active Pending
- 2022-03-30 CN CN202280037459.1A patent/CN117377860A/zh active Pending
- 2022-03-30 WO PCT/JP2022/016048 patent/WO2022254942A1/ja active Application Filing
- 2022-03-30 EP EP22815699.8A patent/EP4350307A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2022254942A1 (zh) | 2022-12-08 |
EP4350307A1 (en) | 2024-04-10 |
WO2022254942A1 (ja) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6959614B2 (ja) | 分析装置,及びフローサイトメータ | |
US10382661B2 (en) | Vision sensor, system, and method for image processing, and vision based interactive device | |
US9367758B2 (en) | Feature extraction device, feature extraction method, and feature extraction program | |
US11290643B1 (en) | Efficient digital camera image acquisition and analysis | |
CN108680243A (zh) | 物体振动的检测方法、装置、系统及存储介质 | |
KR20220037108A (ko) | 대상 객체의 크기를 식별하는 방법 및 장치 | |
Gopal et al. | Tiny object detection: Comparative study using single stage CNN object detectors | |
EP4350307A1 (en) | Measurement device, measurement method, and program | |
Srinivasan et al. | Internet of Things (IoT) based object recognition technologies | |
JP5360115B2 (ja) | ヘッドマウントディスプレイ | |
US20240221203A1 (en) | Measuring device, measurement method, program | |
EP4350284A1 (en) | Measurement device, measurement method, program | |
EP4394354A1 (en) | Measurement device, measurement method, and program | |
Ge et al. | Lensless sensing using the event sensor | |
KR102431452B1 (ko) | 수중드론을 이용한 수중 탐사시스템 | |
Kamal et al. | Camera-Based Navigation System for Blind and Visually Impaired People | |
Joslin et al. | Development of a stereo-optical camera system for monitoring tidal turbines | |
WO2023026880A1 (ja) | 測定装置、測定方法、プログラム | |
Cotter et al. | Benchmarking sensor fusion capabilities of an integrated monitoring package | |
CN112949496A (zh) | 深度相机 | |
JP2020113829A (ja) | 動画像処理方法及び動画像処理装置 | |
Quan et al. | Identification of drone thermal signature by convolutional neural network | |
US11867806B2 (en) | Synthetic aperture acoustic imaging with deep generative model | |
WO2024082215A1 (zh) | 一种地震信号监测方法及装置 | |
Memon et al. | Privacy Preserving Smartphone Camera Tracking Using Support Vector Machines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |