CN107976148B - 一种深海生物测量装置及其生物特征的测量方法 - Google Patents
一种深海生物测量装置及其生物特征的测量方法 Download PDFInfo
- Publication number
- CN107976148B CN107976148B CN201711423076.5A CN201711423076A CN107976148B CN 107976148 B CN107976148 B CN 107976148B CN 201711423076 A CN201711423076 A CN 201711423076A CN 107976148 B CN107976148 B CN 107976148B
- Authority
- CN
- China
- Prior art keywords
- deep
- image
- reference matrix
- sea
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 149
- 230000009182 swimming Effects 0.000 claims description 63
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 5
- 238000011065 in-situ storage Methods 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000002028 Biomass Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000242583 Scyphozoa Species 0.000 description 1
- 239000012736 aqueous medium Substances 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
- G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
- G01B11/046—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring width
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种深海生物测量装置及其生物特征的测量方法。所述测量装置包括：第一深海相机和第二深海相机分别设于支架的两端，光轴在同一平面上，两个所述深海相机所采集到的图像经由水下电缆和水密接插件传送到耐高压舱内的中央处理器。采用本发明所提供的测量装置及其生物特征的测量方法能够搭载在潜器上在运动条件下使用，并可原位动态测量身体柔性变化的深海生物，为深海生命科学研究提供新的技术手段。
Description
技术领域
本发明涉及深海生物立体观测领域，特别是涉及一种深海生物测量装置及其生物特征的测量方法。
背景技术
在对深海生命的探索中，水下摄像/照相作为一种直接的探索手段，操作相对简单，很多情形下是获取深海生物信息的唯一途径。常规的水下相机只是关注于对深海生物的定性观测，由于平面图像的限制，无法进行生物体长，体宽，体积以及形态分类鉴定所需的重要器官的三维形状尺寸等参数的测量；目前也有学者提出了利用双目视觉测量水下目标物，但目前的技术还局限在对水下固定物的观测测量，使用时需要将相机或其载体静止于海底，才能精确计算观测目标。显然前者只能提供视觉上的图像，后者虽然可以进行测量计算，但是这类观测系统只能在静止条件下使用，而遥控有缆潜水器(Remote OperatedVehicle，ROV)和无缆自主潜水器(Autonomous UnderwaterVehicle，AUV)等深潜器是运动平台，因此，无法在ROV、AUV等深潜器上实时使用无法搭载在上面使用，更无法对游动的鱼类进行观测，其实用意义不大。
由于技术手段的限制，以及很多深海生物，特别是鱼虾等活动能力很强的巨型底栖游泳动物和水母等柔软、不成形的透明胶质体生物，很难获得实物样品，造成深海生物学研究结果中缺少了这些生物的定量数据。
发明内容
本发明的目的是提供一种深海生物测量装置及其生物特征的测量方法，以解决现有的测量设备只能在静止条件下使用，实用性低，无法测量游动的深海生物的生物特征的问题。
为实现上述目的，本发明提供了如下方案：
一种深海生物测量装置，包括：深海相机、支架、耐高压舱、水密接插件以及水下电缆；所述深海相机包括第一深海相机、第二深海相机；
所述耐高压舱固定于所述支架的一侧且与所述支架平行；
所述耐高压舱的两端设有水密接插件，所述水密接插件用于固定所述水下电缆，所述水下电缆用于连接所述耐高压舱和所述深海相机，将所述深海相机所采集到的图像传送到所述耐高压舱内的中央处理器。
可选的，所述深海相机为具有耐压光学窗口封装的相机；所述深海相机与所述支架固定连接；所述第一深海相机和所述第二深海相机分别设于所述支架的两端，两个所述深海相机的光轴在同一平面上，并成夹角，角度介于15度－45度之间。
可选的，两个所述深海相机进行了内参数和外参数的标定，标定参数保存在所述耐高压舱内的中央处理器中；所述内参数包括第一深海相机和第二深海相机的焦距、主点坐标、镜头畸变系数以及水下光学折射率，所述外参数包括第一深海相机和第二深海相机之间的空间位置和姿态关系。
一种深海底栖固着生物的生物特征测量方法，所述深海底栖固着生物的生物特征测量方法应用于一种深海生物测量装置，所述测量装置包括：
深海相机、支架、耐高压舱、水密接插件以及水下电缆；所述深海相机包括第一深海相机、第二深海相机；所述耐高压舱固定于所述支架的一侧且与所述支架平行；所述耐高压舱的两端设有水密接插件，所述水密接插件用于固定所述水下电缆，所述水下电缆用于连接所述耐高压舱和所述深海相机，将所述深海相机所采集到的图像传送到所述耐高压舱内的中央处理器；
所述深海底栖固着生物的生物特征测量方法包括：
采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的；
同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像；
根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点；
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法和迭代最近点算法建立深海底栖固着生物的整体三维模型；
根据所述深海底栖固着生物的整体三维模型测量所述深海底栖固着生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
可选的，根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像和所述第二图像确定匹配点，具体包括：
对所述第一图像进行极线校正，得到校正后的第一图像；
对所述第二图像进行极线校正，得到校正后的第二图像；
根据所述校正后的第一图像按照时间顺序确定第一图像序列；
根据所述校正后的第二图像按照时间顺序确定第二图像序列；
按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点。
可选的，所述按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点，具体包括：
按照所述第一图像序列和所述第二图像序列，采用SIFT算法将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点。
可选的，所述根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法和迭代最近点算法建立深海底栖固着生物的整体三维模型具体包括：
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立局部三维模型；
采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型。
可选的，所述采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型，具体包括：
利用所述第一图像序列和所述第二图像序列，计算不同时刻的局部三维模型；
基于迭代最近点算法，采用最小二乘法计算变换矩阵，对所述不同时刻的局部三维模型进行拼接和融合，得到深海底栖固着生物体的整体三维模型。
一种深海柔性游泳生物的生物特征测量方法，所述深海柔性游泳生物的生物特征测量方法应用于一种深海生物测量装置，所述测量装置包括：
深海相机、支架、耐高压舱、水密接插件以及水下电缆；所述深海相机包括第一深海相机、第二深海相机；所述耐高压舱固定于所述支架的一侧且与所述支架平行；所述耐高压舱的两端设有水密接插件，所述水密接插件用于固定所述水下电缆，所述水下电缆用于连接所述耐高压舱和所述深海相机，将所述深海相机所采集到的图像传送到所述耐高压舱内的中央处理器；
所述深海柔性游泳生物的生物特征测量方法包括：
采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的；
同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像；
根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点；
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立深海柔性游泳生物的局部三维模型；
利用深海柔性游泳生物的头部特征建立固着于生物体上的全局坐标系；所述全局坐标系以头部的对称轴作为z轴，以垂直于所述z轴且远离海底的方向作为y轴，根据所述z轴和所述y轴确定x轴；
根据深海游泳生物轴对称的身体结构，通过切片法把不同时刻的所述局部三维模型统一到与游泳生物身体固连的坐标系上，建立深海柔性游泳生物的整体三维模型；
根据所述深海柔性游泳生物的整体三维模型测量所述深海柔性游泳生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
可选的，所述根据深海游泳生物轴对称的身体结构，通过切片法把不同时刻的所述局部三维模型统一到与游泳生物身体固连的坐标系上，建立深海柔性游泳生物的整体三维模型，具体包括：
根据深海柔性游泳生物轴对称的身体结构，通过切片法把不同时刻获得的变形的生物体局部三维模型沿身体轴线展开，得到展开后的身体切片；
对每一次所述展开后的身体切片依次进行旋转和平移变换处理，将不同时刻的所述局部三维模型统一到所述全局坐标系上，获得所述深海柔性游泳生物的整体三维模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：首先，本发明所提供的深海生物测量装置可安装在ROV、AUV或载人潜器等运动平台上，能够观测并获得深海生物的体长、体宽、体积等生物学特征参数，突破了目前深海生物视像调查“有观无测”的现状，大大提高了深海观测平台的实用性，为深海生命科学研究提供一种新的技术手段。
其次，通过将两个深海相机和棋盘格标定板置于水下环境中，根据第一图像、第二图像以及棋盘格标定板的几何参数，基于非线性优化算法求解立体视觉相机的内外参数矩阵，从而可消除水下环境对测量系统的影响，保证建立三维模型和水下测量的准确性；
最后，根据多个时刻获取的局部三维数据利用最近点迭代算法对深海底栖固着生物进行整体三维建模；根据深海柔性游泳生物的身体位置坐标建立全局坐标系，利用切片法可以针对柔性游动的深海生物建立相应的三维模型；所建立的两种测量方法不仅能够实现在运动平台上对生物进行动态观测，而且可消除柔性生物身体变形造成的影响，从而提高了生物特征测量的精度，有助于进行生物种类鉴定和生物量分析，为深海生物学研究提供更详细的信息资料。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的测量装置结构图；
图2为本发明所提供的深海底栖固着生物的生物特征测量方法流程图；
图3为本发明所提供的深海生物图像的立体匹配算法流程图；
图4为本发明所提供的深海柔性游泳生物的生物特征测量方法流程图；
图5为本发明所提供的深海柔性生物的测量模型优化结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种深海生物测量装置及其生物特征测量方法，能够使得深海生物测量装置在运动平台下对有游动的深海生物进行观测，提高实用性以及测量模型的仿真精度，从而提高生物特征测量精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
双目立体相机在深海环境下工作时，受到水介质折射的影响，导致镜头焦距和畸变系数改变，空气中的立体成像模型不再适用，针对这个问题，本发明将深海双目立体视觉相机(即第一深海相机和第二深海相机)封舱后，采用棋盘格标定板直接在水下进行双相机内外参数的标定，具体过程如下：将深海双目立体视觉相机和棋盘格标定板置于水下环境中，标定板置于相机视场内，能被两个相机同时观察，通过左右相机拍摄至少30对不同位姿的棋盘格标定板的水下图像，根据这些图片和棋盘格标定板的几何参数，基于非线性优化算法求解立体视觉相机的内外参数矩阵，通过水下标定，建立内外参数矩阵，可充分考虑水下折射对焦距和畸变系数的影响，从而可消除水下环境对测量系统的影响，保证水下测量和三维重建的准确性。
其中，内参数矩阵，包括相机的焦距、主点坐标和畸变系数；外参数矩阵，包括旋转矩阵和平移向量；二者分别描述了相机的内部光学参数和两个相机之间的位置和姿态关系，二者一起构成了成像模型。
图1为本发明所提供的测量装置结构图，如图1所示，深海相机，所述深海相机包括第一深海相机1-1、第二深海相机1-2；支架2、耐高压舱3、水密接插件4以及水下电缆5；所述第一深海相机和所述第二深海相机分别设于所述支架2的两端；所述耐高压舱3固定于所述支架2的一侧且与所述支架2平行；所述耐高压舱3的两端设有插线孔；所述插线孔用于接入所述水密接插件4，所述水密接插件4用于固定所述水下电缆5，所述水下电缆5用于连接所述耐高压舱3和所述深海相机，将所述深海相机所采集到的图像传送到所述耐高压舱3内的中央处理器。
在实际应用中，所述深海相机与所述支架固定连接；所述第一深海相机和所述第二深海相机分别设于所述支架的两端，两个所述深海相机的光轴在同一平面上，并成夹角，角度介于15度－45度之间；两个所述深海相机进行了内参数和外参数的标定，标定参数保存在所述耐高压舱内的中央处理器中；所述内参数包括第一深海相机和第二深海相机的焦距、主点坐标、镜头畸变系数以及水下光学折射率，所述外参数包括第一深海相机和第二深海相机之间的空间位置和姿态关系。
所述标定方法采用平面棋盘格标定法，将标准棋盘格置于所述两个相机的公共视场内并作动态变化，同步获取第一深海相机所拍摄的第一图像和第二深海相机所拍摄的第二图像组成图像组，利用标准棋盘格的共面性和多组图像的像元对应点建立非线性方程组，采用非线性优化算法求解所述两个相机的第一内参数矩阵、第一外参数矩阵和第二内参数矩阵、第二外参数矩阵，从而使所属测量装置具备三维测量的功能并消除镜头畸变和水下折射的影响。
根据双相机公共观测视场和测量精度，可确定双相机的距离为1米，相机光轴与两相机连线的夹角为36度，此时立体相机的观测范围为700*700mm(1.2m处)，测量精度为0.5mm。
采用本发明所提供的测量装置，能够装载于ROV、AUV或载人潜器等运动平台，在运动状态下定量观测深海底栖固着生物和深海柔性游泳生物，进行三维模型重建，可以得到体长、体宽、体积等生物学特征参数，有助于进行生物种类和生物量分析，为深海生物学研究提供更详细的信息资料。
所述深海底栖固着生物包括长期或短期固定生活于海底，并短期不会产生形体变化的深海生物。
图2为本发明所提供的深海底栖固着生物的生物特征测量方法流程图，如图2所示，一种深海底栖固着生物的生物特征测量方法，所述深海底栖固着生物的生物特征测量方法包括：
步骤201：采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的。
步骤202：同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像。
步骤203：根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点。
所述步骤203具体包括：对所述第一图像进行极线校正，得到校正后的第一图像；对所述第二图像进行极线校正，得到校正后的第二图像；根据所述校正后的第一图像按照时间顺序确定第一图像序列；根据所述校正后的第二图像按照时间顺序确定第二图像序列；按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点。
所述按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点，具体包括：按照所述第一图像序列和所述第二图像序列，采用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点。
为了在动态观测条件下通过深海双目立体视觉相机对深海底栖固着生物进行定量观测，首先需要进行立体匹配，即从一对立体图像中找到匹配点，所述一对立体图像为同一时刻的第一图像和第二图像，所述匹配点是生物体上同一点所成的像。根据深海底栖固着生物的特点确定匹配点，图3为本发明所提供的深海生物图像的立体匹配算法流程图，如图3所示，首先进行图像的极线校正。在两个像平面平行的理想情况下，极线的方向与图像的扫描线平行，搜索的范围从二维减少为一维，由于实际的立体视觉系统并不满足像平面平行的条件，因此通过图像的极线校正，等效为像平面平行情况下拍摄的图像，匹配时则可进行一维的极线搜索，从而提高极线匹配的效率。
然后对图像的局部特征进行描述。根据生物体的形状和纹理特点，本发明采用两种局部特征：角点和具有局部不变特性的特征点，角点是图像上在两个方向上灰度梯度有发生显著变换的点，对应了如鱼类的头部、鳍部和尾部等几何特征。对于角点的匹配，如果一条极线上存在多个待匹配点的情况下，采用其他约束条件如边界约束去除错误匹配。只采用角点得到三维重建过于稀疏，为了得到生物体更细致的三维模型，需要更多的点参与三维重建，本发明采用基于图像局部不变特征进行特征匹配，采用尺度不变特征变换SIFT局部特征点，该点是图像高斯尺度空间上的极值点，在图像旋转，尺度变换，仿射变换和视角变换等条件下都有很好地不变性，从而可以稳定地描述图像的特征，根据特征点邻域内的图像梯度直方图构建SIFT局部特征点描述向量，在极线约束确定的初始匹配点集中，如果其中两对点的SIFT局部特征点描述向量距离最近，则认为它们是匹配点，对应了生物体上同一个物理点。
步骤204：根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法和迭代最近点算法建立深海底栖固着生物的整体三维模型。
所述步骤204具体包括：根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立局部三维模型；采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型。
所述采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型，具体包括：利用所述第一图像序列和所述第二图像序列，计算不同时刻的局部三维模型；基于迭代最近点算法，采用最小二乘法计算变换矩阵，对所述不同时刻的局部三维模型进行拼接和融合，得到深海底栖固着生物体的整体三维模型。
步骤205：根据所述深海底栖固着生物的整体三维模型测量所述深海底栖固着生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
为了在动态观测条件下对深海底栖固着生物进行定量观测，本发明采用了序列图像组分析与迭代最近点算法的技术方案，采用基于视差原理，通过光学三角法交汇测量，从一对立体图像中计算生物体的三维模型，但利用深海拖体等运动观测平台上获取的立体图像，观察的角度与时间都是受限制的，因此在某个时刻获得的深海底栖固着生物的三维模型是不完整的。本发明的解决方法是利用立体图像序列计算不同时刻的局部三维模型，然后基于迭代最近点算法，采用最小二乘计算变换矩阵实现局部三维模型的拼接和融合，在有限的观察角度和时间范围内获得尽可能多的三维数据和生物特征。
所述深海柔性游泳生物包括鱼类，头足类等利用身体变化产生推力游泳的深海生物。
图4为本发明所提供的深海柔性游泳生物的生物特征测量方法流程图，如图4所示，一种深海柔性游泳生物的生物特征测量方法，所述深海柔性游泳生物的生物特征测量方法包括：
步骤401：采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的。
步骤402：同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像。
步骤403：根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点。
步骤404：根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立深海柔性游泳生物的局部三维模型。
步骤405：利用深海柔性游泳生物的头部特征建立固着于生物体上的全局坐标系；所述全局坐标系以头部的对称轴作为z轴，以垂直于所述z轴且远离海底的方向作为y轴，根据所述z轴和所述y轴确定x轴。
步骤406：根据深海游泳生物轴对称的身体结构，通过切片法把不同时刻的所述局部三维模型统一到与游泳生物身体固连的坐标系上，建立深海柔性游泳生物的整体三维模型。
所述406具体包括：根据深海柔性游泳生物轴对称的身体结构，通过切片法把不同时刻获得的变形的生物体局部三维模型沿身体轴线展开，得到展开后的身体切片；对每一次所述展开后的身体切片依次进行旋转和平移变换处理，将不同时刻的所述局部三维模型统一到所述全局坐标系上，获得所述深海柔性游泳生物的整体三维模型。
深海柔性游泳生物多是轴对称的身体结构，通过切片法把某个时刻获得变形的生物体局部三维模型沿身体轴线展开，假设柔性游泳生物的轴线长度不随身体的游动发生变化，则可把生物沿身体轴线离散化，然后把每层身体切片沿轴线方向依次展开，从数学上来讲是对每一次身体切片数据进行旋转和平移变换，经过此变换后，不同时刻的局部三维模型被统一到所述的全局坐标系上，并且通过身体的离散化并沿轴线展开消除了身体变形的影响。
在下一个时刻t2，由于生物体的游动，导致观察的角度和身体的形状都发生变换，对该时刻的一对立体图像进行特征匹配，获取基于相机坐标系的生物体局部三维点云数据。由于这两个时刻相机的位置上变换的，因此两组三维点云的参照系是不同的。
为了实现数据拼接，首先需要把三维数据变换到同一坐标系下，该坐标系应该是附着在生物体上的。考虑到游动的深海生物身体是轴对称的，并且其头部具有运动不变性的特点，把全局坐标系建立在头部，z轴为头部的对称轴，y轴垂直z轴并远离海底方向，x轴由右手准则确定，坐标系原点位于对称轴上，可位于嘴尖或眼部，通过此坐标系，把t1时刻和t2时刻相对于各自相机坐标系的数据都变换到与鱼的身体固连的全局坐标系中。
步骤407：根据所述深海柔性游泳生物的整体三维模型测量所述深海柔性游泳生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
图5为本发明所提供的深海柔性生物的测量模型优化结构图，如图5所示，为了在动态观测条件下对深海巨型底栖柔性游动的深海生物进行定量观测，本发明采用了切片轴线展开与数据拼接回归固定坐标系的技术方案。采用图像对序列分别计算不同时刻的生物体的局部三维模型，利用其头部特征建立固着于生物体上的全局坐标系，从而把所有测量点都转换到统一的坐标系下表达，从而消除点云融合时观测平台运动影响；然后根据深海巨型游动的深海生物多是轴对称的现象，通过切片法把某个时刻获得变形的生物体三维数据沿身体轴线展开，假设游动的深海生物的轴线长度不随身体的游动发生变换，则可把游动的深海生物沿身体轴线离散化，然后把每层身体切片沿轴线方向依次展开，从数学上来讲是对每一次身体切片数据进行旋转和平移变换，经过此变换后，不同时刻的三维数据被统一到与游动的深海生物身体固连的坐标系上，并且通过身体的离散化并沿轴线展开消除了身体变形的影响。
采用本发明所提供的测量方法能够充分考虑水的折射对焦距和畸变系数等参数的影响，从而消除水下环境对测量系统的影响，保证水下测量和三维重建的准确性，进而提高建模精度以及测量精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种深海生物测量装置，其特征在于，包括：深海相机、支架、耐高压舱、水密接插件以及水下电缆；所述深海相机包括第一深海相机、第二深海相机；
所述耐高压舱固定于所述支架的一侧且与所述支架平行；
所述耐高压舱的两端设有水密接插件，所述水密接插件用于固定所述水下电缆，所述水下电缆用于连接所述耐高压舱和所述深海相机，将所述深海相机所采集到的图像传送到所述耐高压舱内的中央处理器；深海生物测量装置安装在运动平台上，运动状态下定量观测深海底栖固着生物和深海柔性游泳生物，进行三维模型重建，得到生物学特征参数；其中，三维模型重建包括建立深海底栖固着生物的整体三维模型以及深海柔性游泳生物的整体三维模型；
采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的；
同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像；
根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点；
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法和迭代最近点算法建立深海底栖固着生物的整体三维模型；
深海底栖固着生物的整体三维模型的建立过程，具体包括：
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立局部三维模型；
采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型；
深海柔性游泳生物的整体三维模型的建立过程，具体包括：
利用深海柔性游泳生物的头部特征建立固着于生物体上的全局坐标系；所述全局坐标系以头部的对称轴作为z轴，以垂直于所述z轴且远离海底的方向作为y轴，根据所述z轴和所述y轴确定x轴；
根据深海柔性游泳生物轴对称的身体结构，通过切片法把不同时刻获得的变形的生物体局部三维模型沿身体轴线展开，得到展开后的身体切片；
对每一次所述展开后的身体切片依次进行旋转和平移变换处理，将不同时刻的所述局部三维模型统一到所述全局坐标系上，获得所述深海柔性游泳生物的整体三维模型。
2.根据权利要求1所述的测量装置，其特征在于，所述深海相机为具有耐压光学窗口封装的相机；所述深海相机与所述支架固定连接；所述第一深海相机和所述第二深海相机分别设于所述支架的两端，两个所述深海相机的光轴在同一平面上，并成夹角，角度介于15度－45度之间。
3.根据权利要求2所述测量装置，其特征在于，两个所述深海相机进行了内参数和外参数的标定，标定参数保存在所述耐高压舱内的中央处理器中；所述内参数包括第一深海相机和第二深海相机的焦距、主点坐标、镜头畸变系数以及水下光学折射率，所述外参数包括第一深海相机和第二深海相机之间的空间位置和姿态关系。
4.一种深海底栖固着生物的生物特征测量方法，其特征在于，所述深海底栖固着生物的生物特征测量方法应用于权利要求1所述的深海生物测量装置；
所述深海底栖固着生物的生物特征测量方法包括：
采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的；
同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像；
根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点；
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法和迭代最近点算法建立深海底栖固着生物的整体三维模型，具体包括：
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立局部三维模型；
采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型；
根据所述深海底栖固着生物的整体三维模型测量所述深海底栖固着生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
5.根据权利要求4所述的测量方法，其特征在于，根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像和所述第二图像确定匹配点，具体包括：
对所述第一图像进行极线校正，得到校正后的第一图像；
对所述第二图像进行极线校正，得到校正后的第二图像；
根据所述校正后的第一图像按照时间顺序确定第一图像序列；
根据所述校正后的第二图像按照时间顺序确定第二图像序列；
按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点。
6.根据权利要求5所述的测量方法，其特征在于，所述按照所述第一图像序列和所述第二图像序列，将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点，具体包括：
按照所述第一图像序列和所述第二图像序列，采用SIFT算法将同一时刻的所述校正后的第一图像和所述校正后的第二图像进行匹配，确定匹配点。
7.根据权利要求5所述的测量方法，其特征在于，所述采用迭代最近点算法对所述局部三维模型进行拼接和融合，得到深海底栖固着生物的整体三维模型，具体包括：
利用所述第一图像序列和所述第二图像序列，计算不同时刻的局部三维模型；
基于迭代最近点算法，采用最小二乘法计算变换矩阵，对所述不同时刻的局部三维模型进行拼接和融合，得到深海底栖固着生物体的整体三维模型。
8.一种深海柔性游泳生物的生物特征测量方法，其特征在于，所述深海柔性游泳生物的生物特征测量方法应用于权利要求1所述的深海生物测量装置；
所述深海柔性游泳生物的生物特征测量方法包括：
采用平面棋盘格标定法确定第一内参矩阵、第一外参矩阵、第二内参矩阵以及第二外参矩阵；所述第一内参矩阵以及所述第一外参矩阵是由所述第一深海相机所拍摄的图像确定的；所述第二内参矩阵以及所述第二外参矩阵是由所述第二深海相机所拍摄的图像确定的；
同步获取所述第一深海相机拍摄的第一图像和所述第二深海相机拍摄的第二图像；
根据所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵、所述第二外参矩阵、所述第一图像以及所述第二图像确定匹配点；所述匹配点包括第一匹配点和第二匹配点；所述第一匹配点是根据所述第一图像得到的，所述第二匹配点是根据所述第二图像得到的；所述第一匹配点和所述第二匹配点为第一图像和第二图像上对应于空间同一位置的像素点；
根据所述第一匹配点、所述第二匹配点、所述第一内参矩阵、所述第一外参矩阵、所述第二内参矩阵以及所述第二外参矩阵，采用光学三角法建立深海柔性游泳生物的局部三维模型；
利用深海柔性游泳生物的头部特征建立固着于生物体上的全局坐标系；所述全局坐标系以头部的对称轴作为z轴，以垂直于所述z轴且远离海底的方向作为y轴，根据所述z轴和所述y轴确定x轴；
根据深海游泳生物轴对称的身体结构，通过切片法把不同时刻的所述局部三维模型统一到与游泳生物身体固连的坐标系上，建立深海柔性游泳生物的整体三维模型，具体包括：
根据深海柔性游泳生物轴对称的身体结构，通过切片法把不同时刻获得的变形的生物体局部三维模型沿身体轴线展开，得到展开后的身体切片；
对每一次所述展开后的身体切片依次进行旋转和平移变换处理，将不同时刻的所述局部三维模型统一到所述全局坐标系上，获得所述深海柔性游泳生物的整体三维模型；
根据所述深海柔性游泳生物的整体三维模型测量所述深海柔性游泳生物的生物特征；所述生物特征包括体长、体宽和体积，以及生物局部位置的长宽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711423076.5A CN107976148B (zh) | 2017-12-25 | 2017-12-25 | 一种深海生物测量装置及其生物特征的测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711423076.5A CN107976148B (zh) | 2017-12-25 | 2017-12-25 | 一种深海生物测量装置及其生物特征的测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107976148A CN107976148A (zh) | 2018-05-01 |
| CN107976148B true CN107976148B (zh) | 2024-05-03 |
Family
ID=62007801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711423076.5A Active CN107976148B (zh) | 2017-12-25 | 2017-12-25 | 一种深海生物测量装置及其生物特征的测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107976148B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109591989B (zh) * | 2018-07-30 | 2021-08-10 | 上海大学 | 适合深海载人潜器搭载作业的深海生物原位观测三维相机固定调节装置 |
| CN109282743A (zh) * | 2018-07-30 | 2019-01-29 | 上海大学 | 适合深海原位测量的激光高速线扫描双目视觉三维成像装置 |
| CN114287365B (zh) * | 2022-01-25 | 2023-09-26 | 中国科学院海洋研究所 | 深海大型生物高压控温模拟培养装置及其使用方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1056574A (zh) * | 1990-05-15 | 1991-11-27 | 青岛海洋大学 | 水下激光差频扫描三维光学测量装置 |
| CN101718531A (zh) * | 2009-11-06 | 2010-06-02 | 北京理工大学 | 差动共焦与点衍射干涉相结合测量球体形貌及壁厚的方法与装置 |
| CN203120059U (zh) * | 2013-03-26 | 2013-08-07 | 大连海洋岛水产集团股份有限公司 | 一种海底生物尺寸摄像装置 |
| CN105190234A (zh) * | 2012-12-14 | 2015-12-23 | Bp北美公司 | 三维表面测量的装置和方法 |
| CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
| CN105698767A (zh) * | 2015-12-30 | 2016-06-22 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉的水下测量方法 |
| CN105783732A (zh) * | 2016-03-15 | 2016-07-20 | 武汉华海创智科技有限公司 | 一种基于计算机视觉的水下激光基准线测量系统 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
| CN106500625A (zh) * | 2016-12-23 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 |
| CN207600397U (zh) * | 2017-12-25 | 2018-07-10 | 国家海洋局第二海洋研究所 | 一种深海生物测量装置 |
-
2017
- 2017-12-25 CN CN201711423076.5A patent/CN107976148B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1056574A (zh) * | 1990-05-15 | 1991-11-27 | 青岛海洋大学 | 水下激光差频扫描三维光学测量装置 |
| CN101718531A (zh) * | 2009-11-06 | 2010-06-02 | 北京理工大学 | 差动共焦与点衍射干涉相结合测量球体形貌及壁厚的方法与装置 |
| CN105190234A (zh) * | 2012-12-14 | 2015-12-23 | Bp北美公司 | 三维表面测量的装置和方法 |
| CN203120059U (zh) * | 2013-03-26 | 2013-08-07 | 大连海洋岛水产集团股份有限公司 | 一种海底生物尺寸摄像装置 |
| CN105698767A (zh) * | 2015-12-30 | 2016-06-22 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉的水下测量方法 |
| CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
| CN105783732A (zh) * | 2016-03-15 | 2016-07-20 | 武汉华海创智科技有限公司 | 一种基于计算机视觉的水下激光基准线测量系统 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
| CN106500625A (zh) * | 2016-12-23 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 |
| CN207600397U (zh) * | 2017-12-25 | 2018-07-10 | 国家海洋局第二海洋研究所 | 一种深海生物测量装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107976148A (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862048B (zh) | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 | |
| Pizarro et al. | Large area 3-D reconstructions from underwater optical surveys | |
| CN107976148B (zh) | 一种深海生物测量装置及其生物特征的测量方法 | |
| Jordt et al. | Refractive 3D reconstruction on underwater images | |
| Oleari et al. | An underwater stereo vision system: from design to deployment and dataset acquisition | |
| KR20150024349A (ko) | 데이터를 위치 맞춤하는 방법 | |
| CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
| Lagudi et al. | An alignment method for the integration of underwater 3D data captured by a stereovision system and an acoustic camera | |
| CN113409384A (zh) | 一种目标物体的位姿估计方法和系统、机器人 | |
| Xi et al. | Review of underwater machine vision technology and its applications | |
| CN110517284B (zh) | 一种基于激光雷达和ptz摄像机的目标追踪方法 | |
| CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
| Troisi et al. | 3D models comparison of complex shell in underwater and dry environments | |
| CN110675436A (zh) | 基于3d特征点的激光雷达与立体视觉配准方法 | |
| CN103226693B (zh) | 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法 | |
| CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
| CN114812558B (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
| Wang et al. | Elevation angle estimation in 2d acoustic images using pseudo front view | |
| CN207600397U (zh) | 一种深海生物测量装置 | |
| Pérez et al. | Automatic measurement of fish size using stereo vision | |
| CN114494644A (zh) | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 | |
| CN116051658B (zh) | 基于双目视觉进行目标检测的相机手眼标定方法及装置 | |
| CN112261399A (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
| Dionísio et al. | NEREON-An Underwater Dataset for Monocular Depth Estimation | |
| CN117115252A (zh) | 一种基于视觉的仿生扑翼无人机空间位姿估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No.36, Baoju North Road, Xihu District, Hangzhou City, Zhejiang Province 310000 Applicant after: SECOND INSTITUTE OF OCEANOGRAPHY, MNR Address before: No.36, Baoju North Road, Xihu District, Hangzhou City, Zhejiang Province 310000 Applicant before: THE SECOND INSTITUTE OF OCEANOGRAPHY, SOA Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |