CN109146947A - 海洋鱼类三维图像获取及处理方法、装置、设备及介质 - Google Patents
海洋鱼类三维图像获取及处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109146947A CN109146947A CN201811025024.7A CN201811025024A CN109146947A CN 109146947 A CN109146947 A CN 109146947A CN 201811025024 A CN201811025024 A CN 201811025024A CN 109146947 A CN109146947 A CN 109146947A
- Authority
- CN
- China
- Prior art keywords
- fish
- depth
- correction
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 273
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 104
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种海洋鱼类三维图像获取及处理方法、装置、设备及介质，该方法包括：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，降低了鱼群分布信息获取的成本，提高了鱼群分布信息获取的准确率。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种海洋鱼类三维图像获取及处理方法、装置、设备及介质。
背景技术
海洋生态质量评价对海洋生物学科的研究、环境保护和渔业发展有重要意义。获取鱼群分布信息是进行海洋生态质量评价的重要参数。
目前，主要是通过人工在定点捕捞鱼类，以获取鱼群分布信息。
但是，人工捕捞方式浪费大量人力物力，并且，鱼类对捕捞设备的趋避性使得根据捕捞获取到的鱼群分布信息难以代表整体海域分布。因此，目前获取鱼群分布信息的方式成本较高，并且，准确率较低。
发明内容
本发明提供一种海洋鱼类三维图像获取及处理方法、装置、设备及介质，以解决目前获取鱼群分布信息的方式成本较高以及准确率较低的技术问题。
第一方面，本发明实施例提供了一种海洋鱼类三维图像获取及处理方法，包括：
通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；
根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；
根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；
采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。
第二方面，本发明实施例还提供了一种海洋鱼类三维图像获取及处理装置，该装置包括：
第一获取模块，用于通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
第二获取模块，用于根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；
第三获取模块，用于根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；
第一确定模块，用于根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；
第二确定模块，用于采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
水下成像装置，用于采集目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的海洋鱼类三维图像获取及处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的海洋鱼类三维图像获取及处理方法。
本发明实施例提供的海洋鱼类三维图像获取及处理方法、装置、设备及介质，通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，一方面，实现了通过包括双目相机、深度相机以及灯光补偿模块的水下成像装置获取图像，不再需要人工参与获取鱼群分布信息，不仅降低了鱼群分布信息获取的成本，而且消除了水下环境对光线的影响，使得获取到的各个图像不受水下环境的影响，另一方面，对深度图进行了校正，并根据视差图和校正后的深度图对鱼的深度信息进行校正，减少由于第一二维图像和第二二维图像信息不足和水下光线散射造成的深度测量误差，使得最终获取到的各条鱼的校正后的深度信息更为准确，从而，提高了鱼群分布信息获取的准确率。因此，本实施例可以降低鱼群分布信息获取的成本，提高鱼群分布信息获取的准确率。
附图说明
图1为本发明提供的海洋鱼类三维图像获取及处理方法实施例一的流程示意图；
图2A为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的主视图；
图2B为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的俯视图；
图3为海洋鱼类三维图像获取及处理方法实施例一中的左目相机的畸变后的标定板的示意图和右目相机的畸变后的标定板的示意图；
图4为kinect深度相机成像的第三二维图以及深度图匹配对齐的三维图；
图5为本发明提供的海洋鱼类三维图像获取及处理方法实施例二的流程示意图；
图6为海洋鱼类三维图像获取及处理方法实施例二中的一种训练目标检测网络的流程示意图；
图7为海洋鱼类三维图像获取及处理方法实施例二中的显示界面的示意图；
图8为本发明提供的海洋鱼类三维图像获取及处理装置实施例一的流程示意图；
图9为本发明提供的海洋鱼类三维图像获取及处理装置实施例二的流程示意图
图10为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明提供的海洋鱼类三维图像获取及处理方法实施例一的流程示意图。本实施例可适用于获取海洋鱼类三维图像并对该图像进行处理以识别图像中鱼的属性的情况，该方法可以由海洋鱼类三维图像获取及处理装置来执行。海洋鱼类三维图像获取及处理装置可以通过硬件和/或软件的方式实现。如图1所示，具体包括如下步骤：
步骤101：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。
其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块。第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像。第三二维图以及深度图为通过深度相机获取的图像。
具体地，本实施例中的水下成像装置为同时设置有双目相机和深度相机的装置。之所以需要同时设置双目相机和深度相机的原因如下：在水下时，深度相机发出的红外光会强烈衰减，远距离成像会造成图像雾化；由于海底光线的折射，相对于陆上成型的相机标定体系，双目相机水下成像需要重新建立标定体系，标定参数过程相对复杂，两视图包含信息较少，不足以完整而细致地恢复出深度变化丰富的场景，在水下由于受光线散射限制，通过视差图计算深度会有一定的误差。由于深度相机和双目相机在水下成像时，各有利弊，因此，本实施例中，结合双目相机和深度相机，设计了一种水下成像装置，以实现精确地获取海洋鱼类三维图像。
图2A为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的主视图。图2B为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的俯视图。请同时参照图2A与图2B，本实施例中的水下成像装置包括左目相机12、右目相机13、深度相机14以及灯光补偿模块15。可选地，左目相机12与右目相机13设置在同一水平线上，深度相机14设置在左目相机12与右目相机13连线的下方。更具体地，深度相机14可以设置在左目相机12与右目相机13连线的中点处的下方。左目相机12、右目相机13以及深度相机14可以设置在防水壳体11中。由于海底环境光线昏暗，采集到的图片亮度低且噪声大。本实施例中，在水下成像装置中设置灯光补偿模块15，以实现在海底补充光线。可选地，本实施例中的灯光补偿模块15为两个，分别设置在防水壳体11正面的左右两侧。灯光补偿模块15中可以包括红外光源151和白光光源152。红外光源151和白光光源152可以是上下设置，也可以是左右设置。图2A与图2B以红外光源151和白光光源152上下设置为例进行说明。进一步地，为了便于将该水下成像装置在水下进行固定，本实施例中的水下成像装置中还设置有安装板16，以通过安装板16将该水下成像装置固定在特定位置或者特定部件上。
本实施例中的深度相机可以是kinect深度相机。kinect深度相机通过发射光与反射光之间的时间差确定深度信息。双目相机利用相似三角形原理，利用左右视图的视差确定深度信息。
本实施例中，在步骤101之前，需要确定包含左目相机和右目相机的双目相机的相机标定参数。目前，普遍认为最基本的摄像机成像模型是简化的数学模型：一条光线由空间的某个场景或物体反射或者发射过来，这条光线来自于物体的某一个点，通过针孔，到达成像平面，这样物体上的一个点就投影到成像平面上了，同样，当无数条光线由物体上的各个点发出，投影到成像平面，成像平面就获得该物体的完整图像，这就是基本成像模型。
在水下成像中，空间点投射到成像平面，共涉及四个坐标系的转换：世界坐标系-摄像机坐标系-成像平面坐标系-图像像素坐标系。通过旋转矩阵和平移矩阵实现将界坐标系转换到摄像机坐标系的转换。通过透视投影实现摄像机坐标系到成像平面坐标系的转换。通过相机标定分别得到左目相机和右目相机的内外参数后，还需要确定左目相机与右目相机之间的位置关系。确定左目相机和右目相机之间的位置关系的过程叫做立体标定。左目相机与右目相机之间的位置关系实际上是指两个相机之间的位置关系，这与相机标定中世界坐标系与摄像机坐标系的转换关系类似，同样可以用一个旋转矩阵和平移矩阵实现确定两个相机之间的位置关系。
可选地，本实施例采用MATLAB的计算机视觉工具箱和Open CV 3.4.0第三方库实现双目相机标定和立体标定。本实施例在进行双目相机标定和立体标定时，采用双目相机标定算法和常用的MATLAB标定工具箱实现，求出左目相机与右目相机之间的转换关系：旋转矩阵R和平移矩阵T。确定出的旋转矩阵R和平移矩阵T的结果如下所示：
图3为海洋鱼类三维图像获取及处理方法实施例一中的左目相机的畸变后的标定板的示意图和右目相机的畸变后的标定板的示意图。如图3所示，a图为左目相机的畸变后的标定板的示意图，b图为右目相机的畸变后的标定板的示意图。
在对深度相机进行标定时，由于深度相机可以自动生成深度图，只需要根据所拍摄的标定板图像进行参数系数调整即可。水下环境对红外虽有吸收作用，但对近距离成像的深度图获取影响不大。
在完成双目相机标定、立体标定和深度相机标定后，将水下成像装置固定在目标海洋区域中。通过水下成像装置获取目标海洋区域的图像。本实施例中，通过左目相机获取到第一二维图像，通过右目相机获取到第二二维图像，通过深度相机获取到第三二维图像和深度图。
步骤102：根据第一二维图像以及第二二维图像获取视差图。
其中，视差图用于指示目标海洋区域中的各条鱼的深度信息。
具体地，本实施例中，通过双目相机获取到第一二维图像和第二二维图，再根据第一二维图像和第二二维图像获取视差图。可以根据视差图确定目标海洋区域中各条鱼的深度信息。
需要说明的是，这里的目标海洋区域中的各条鱼指的是目标海洋区域中，被双目相机采集到的各条鱼。
根据第一二维图像和第二二维图像获取视差图的原理是找出这两个图像之间的对应关系，再根据三角测量原理，得到视差图。可选地，可以采用MATLAB程序获取视差图。
步骤103：根据第三二维图像对深度图进行校正，获取校正后的深度图。
具体地，可以采用匹配算法，将第三二维图像和深度图对齐。Kinect相机自带三维映射函数，可以实现将第三二维图像和深度图对齐。图4为kinect深度相机成像的第三二维图以及深度图匹配对齐的三维图。
一种可能的实现方式为：将深度图映射到第三二维图像中，采用畸变系数修正深度图中的各条鱼的深度信息，获取校正后的深度图。其中，畸变系数是预先设置的，或者，是根据深度相机中的标定板以及畸变后的标定板确定的。
本实施例中，畸变系数有两种获取方式：一种是深度相机中预先设置的，另一种是根据深度相机中的标定板以及畸变后的标定板确定的。
校正后的深度图用于指示目标海洋区域中的各条鱼的深度信息。
步骤104：根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。
其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。
具体地，由于在搭建水下成像装置时，已经将双目相机和深度相机的成像视角调整一致，因此，双目相机和深度相机采集的二维图像中，视野范围一致。
在根据视差图和校正后的深度图，对各条鱼的深度信息进行校正时，一种可能的实现方式为：分别识别出视差图以及校正后的深度图中的各条鱼的位置；针对同一位置的目标鱼，当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息相同时，确定目标鱼的校正后的深度信息为校正后的深度图中目标鱼的深度信息或者视差图中目标鱼的深度信息；当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息不同时，将视差图中目标鱼的深度信息以及校正后的深度图中目标鱼的深度信息的加权平均值确定为目标鱼的校正后的深度信息。
换句话说，识别出视差图中各条鱼的位置，识别出校正后的深度图中各条鱼的位置。对于同一位置的一条鱼来说：如果视差图中该条鱼的深度信息与校正后的深度图中该条鱼的深度信息相同或者差值在预设范围内时，确定该条鱼的校正后的深度信息为校正后的深度图中该条鱼的深度信息或者视差图中该条鱼的深度信息；如果视差图中该条鱼的深度信息与校正后的深度图中该条鱼的深度信息不相同或者差值大于预设范围时，确定该条鱼的校正后的深度信息为校正后的深度图中该条鱼的深度信息与视差图中该条鱼的深度信息的加权平均值。
在识别校正后的深度图中各条鱼的位置时，可以选取校正后的深度图中成像较为清晰的部分对应的第三二维图像区域，利用目标检测网络，例如，Faster-RCNN网络，识别各条鱼的位置。
在根据视差图和校正后的深度图，对各条鱼的深度信息进行校正时，另一种可能的实现方式为：选取校正后的深度图中成像较为清晰的部分对应的第三二维图像区域，利用目标检测网络与相对应的双目相机采集到的第一二维图像或者第二二维图像进行匹配，选取匹配到的像素点，比较视差图中该匹配到的像素点的深度信息与校正后的深度图中该匹配到的像素点的深度信息，根据比较结果，确定该匹配到的像素点的校正后的深度信息。
可选地，在确定出各条鱼的校正后的深度信息后，可以根据校正后的深度信息对双目相机的视差图中的深度信息进行校正，将校正后的视差图作为目标图像。该目标图像具有各条鱼的三维信息。
步骤105：采用深度学习方法，根据目标图像，确定各条鱼的属性。
具体地，在确定出目标图像后，可以通过深度学习方法，确定各条鱼的属性，以实现确定鱼群分布信息，对海洋生态质量进行评价。如何通过深度学习方法，确定各条鱼的属性的方案将在实施例二中进行详细说明。
本实施例提供的海洋鱼类三维图像获取及处理方法，通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，一方面，实现了通过包括双目相机、深度相机以及灯光补偿模块的水下成像装置获取图像，不再需要人工参与获取鱼群分布信息，不仅降低了鱼群分布信息获取的成本，而且消除了水下环境对光线的影响，使得获取到的各个图像不受水下环境的影响，另一方面，对深度图进行了校正，并根据视差图和校正后的深度图对鱼的深度信息进行校正，减少由于第一二维图像和第二二维图像信息不足和水下光线散射造成的深度测量误差，使得最终获取到的各条鱼的校正后的深度信息更为准确，从而，提高了鱼群分布信息获取的准确率。因此，本实施例可以降低鱼群分布信息获取的成本，提高鱼群分布信息获取的准确率。
图5为本发明提供的海洋鱼类三维图像获取及处理方法实施例二的流程示意图。本实施例在实施例一提供的各种可选方案的基础上，对如何确定各条鱼的属性的方案作一详细说明。如图5所示，本实施例提供的海洋鱼类三维图像获取及处理方法包括如下步骤：
步骤501：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。
其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像，第三二维图以及深度图为通过深度相机获取的图像。
步骤501与步骤101的实现过程和技术原理类似，此处不再赘述。
步骤502：根据第一二维图像以及第二二维图像获取视差图。
其中，视差图用于指示目标海洋区域中的各条鱼的深度信息。
步骤502与步骤102的实现过程和技术原理类似，此处不再赘述。
步骤503：根据第三二维图像对深度图进行校正，获取校正后的深度图。
步骤503与步骤103的实现过程和技术原理类似，此处不再赘述。
步骤504：根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。
其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。
步骤504与步骤104的实现过程和技术原理类似，此处不再赘述。
步骤505：根据测试图像训练目标检测网络。
具体地，本实施例中的目标检测网络可以是Faster-RCNN网络。
图6为海洋鱼类三维图像获取及处理方法实施例二中的一种训练目标检测网络的流程示意图。如图6所示，训练过程如下：
1)向卷积神经网络(Convolutional Neural Network，CNN)中，输入任意测试图像，其中，CNN是基于VGG-16网络预训练的；
2)经过CNN前向传播至共享卷积层，在经过共享卷积层之后，一方面得到区域推荐网络(Region Proposal Network，RPN)输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；
3)供RPN输入的特征图经过RPN得到区域建议和区域得分，并对区域得分采用非极大值抑制，示例性地，阈值可以为0.7，输出有得分的区域建议给兴趣区域(Region ofInterest，RoI)池化层；
4)将第2步得到的高维特征图和第3步得到的区域建议同时输入RoI池化层，提取对应区域建议的特征；
5)将第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的bounding-box圈出鱼类位置。
进一步地，为了提高目标检测网络识别鱼类位置的准确性，可以将测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；根据校正后的测试图像训练目标检测网络。其中，鱼的正面图像中鱼头和鱼尾的深度信息相同，鱼的侧面图像中鱼头和鱼尾的深度信息不同。
步骤506：将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度。
具体地，本实施例中的鱼的属性包括鱼的头尾长度以及种类。在将目标图像输入训练后的目标检测网络中后，训练后的目标检测网络可以圈出鱼的位置。在圈出鱼位置之后，映射对应像素点的空间三维坐标，匹配出鱼的头尾长度以及鱼的种类。
之后，可以根据目标海洋区域中各条鱼的头尾长度以及鱼的种类，确定鱼群分布信息，进行海洋生态质量评价。
图7为海洋鱼类三维图像获取及处理方法实施例二中的显示界面的示意图。如图7所示，本实施例中可以可视化显示鱼的头尾长度以及种类。
本实施例提供的海洋鱼类三维图像获取及处理方法，通过根据测试图像训练目标检测网络，将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度，实现了根据训练后的目标检测网络确定各条鱼的种类以及头尾长度，进而获取鱼群分布信息，进一步提高了鱼群分布信息获取的准确率。
图8为本发明提供的海洋鱼类三维图像获取及处理装置实施例一的流程示意图。如图8所示，本实施例提供的海洋鱼类三维图像获取及处理装置包括如下模块：第一获取模块81、第二获取模块82、第三获取模块83、第一确定模块84以及第二确定模块85。
第一获取模块81，用于通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。
其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像，第三二维图以及深度图为通过深度相机获取的图像。
第二获取模块82，用于根据第一二维图像以及第二二维图像获取视差图。
其中，视差图用于指示目标海洋区域中的各条鱼的深度信息；
第三获取模块83，用于根据第三二维图像对深度图进行校正，获取校正后的深度图。
可选地，第三获取模块83具体用于：将深度图映射到第三二维图像中，采用畸变系数修正深度图中的各条鱼的深度信息，获取校正后的深度图。其中，畸变系数是预先设置的，或者，是根据深度相机中的标定板以及畸变后的标定板确定的。
第一确定模块84，用于根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。
其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。
可选地，在根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息的方面，第一确定模块84具体用于：分别识别出视差图以及校正后的深度图中的各条鱼的位置；针对同一位置的目标鱼，当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息相同时，确定目标鱼的校正后的深度信息为校正后的深度图中目标鱼的深度信息或者视差图中目标鱼的深度信息；当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息不同时，将视差图中目标鱼的深度信息以及校正后的深度图中目标鱼的深度信息的加权平均值确定为目标鱼的校正后的深度信息。
第二确定模块85，用于采用深度学习方法，根据目标图像，确定各条鱼的属性。
本发明实施例所提供的海洋鱼类三维图像获取及处理装置可执行本发明海洋鱼类三维图像获取及处理方法实施例一的步骤，具备执行方法相应的功能模块和有益效果。
图9为本发明提供的海洋鱼类三维图像获取及处理装置实施例二的流程示意图。本实施例中，鱼的属性包括鱼的头尾长度以及种类。如图9所示，本实施例提供的海洋鱼类三维图像获取及处理装置中，第二确定模块85包括：训练子模块851和确定子模块852。
训练子模块851，用于根据测试图像训练目标检测网络。
可选地，训练子模块851具体用于：将测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；根据校正后的测试图像训练目标检测网络。其中，鱼的正面图像中鱼头和鱼尾的深度信息相同，鱼的侧面图像中鱼头和鱼尾的深度信息不同。
确定子模块852，用于将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度。
本发明实施例所提供的海洋鱼类三维图像获取及处理装置可执行本发明海洋鱼类三维图像获取及处理方法实施例二的步骤，具备执行方法相应的功能模块和有益效果。
图10为本发明提供的电子设备的结构示意图。如图10所示，该电子设备包括处理器70、存储器71和水下成像装置72。电子设备中处理器70的数量可以是一个或多个，图10中以一个处理器70为例；电子设备中的处理器70、存储器71和水下成像装置72可以通过总线或其他方式连接，图10中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的海洋鱼类三维图像获取及处理方法对应的程序指令/模块(例如，海洋鱼类三维图像获取及处理装置中的第一获取模块81、第二获取模块82、第三获取模块83、第一确定模块84以及第二确定模块85)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的海洋鱼类三维图像获取及处理方法。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
水下成像装置72，用于采集目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，并发送给存储器71和处理器70。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种海洋鱼类三维图像获取及处理方法，该方法包括：
通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；
根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；
根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；
采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的海洋鱼类三维图像获取及处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述海洋鱼类三维图像获取及处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种海洋鱼类三维图像获取及处理方法，其特征在于，包括：
通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；
根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；
根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；
采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图，包括：
将所述深度图映射到所述第三二维图像中，采用畸变系数修正所述深度图中的各条所述鱼的深度信息，获取所述校正后的深度图；其中，所述畸变系数是预先设置的，或者，是根据所述深度相机中的标定板以及畸变后的标定板确定的。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，包括：
分别识别出所述视差图以及所述校正后的深度图中的各条所述鱼的位置；
针对同一位置的目标鱼，当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息相同时，确定所述目标鱼的校正后的深度信息为所述校正后的深度图中所述目标鱼的深度信息或者所述视差图中所述目标鱼的深度信息；当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息不同时，将所述视差图中所述目标鱼的深度信息以及所述校正后的深度图中所述目标鱼的深度信息的加权平均值确定为所述目标鱼的校正后的深度信息。
4.根据权利要求1或2所述的方法，其特征在于，所述鱼的属性包括鱼的头尾长度以及种类；
所述采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性，包括：
根据测试图像训练目标检测网络；
将所述目标图像输入训练后的目标检测网络中，确定各条所述鱼的种类以及头尾长度。
5.根据权利要求4所述的方法，其特征在于，所述根据测试图像训练目标检测网络，包括：
将所述测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；其中，所述鱼的正面图像中鱼头和鱼尾的深度信息相同，所述鱼的侧面图像中鱼头和鱼尾的深度信息不同；
根据所述校正后的测试图像训练所述目标检测网络。
6.一种海洋鱼类三维图像获取及处理装置，其特征在于，包括：
第一获取模块，用于通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
第二获取模块，用于根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；
第三获取模块，用于根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；
第一确定模块，用于根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；
第二确定模块，用于采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。
7.根据权利要求6所述的装置，其特征在于，所述第三获取模块具体用于：
将所述深度图映射到所述第三二维图像中，采用畸变系数修正所述深度图中的各条所述鱼的深度信息，获取所述校正后的深度图；其中，所述畸变系数是预先设置的，或者，是根据所述深度相机中的标定板以及畸变后的标定板确定的。
8.根据权利要求6或7所述的装置，其特征在于，在根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息的方面，所述第一确定模块具体用于：
分别识别出所述视差图以及所述校正后的深度图中的各条所述鱼的位置；
针对同一位置的目标鱼，当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息相同时，确定所述目标鱼的校正后的深度信息为所述校正后的深度图中所述目标鱼的深度信息或者所述视差图中所述目标鱼的深度信息；当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息不同时，将所述视差图中所述目标鱼的深度信息以及所述校正后的深度图中所述目标鱼的深度信息的加权平均值确定为所述目标鱼的校正后的深度信息。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
水下成像装置，用于采集目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的海洋鱼类三维图像获取及处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的海洋鱼类三维图像获取及处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811025024.7A CN109146947B (zh) | 2018-09-04 | 2018-09-04 | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811025024.7A CN109146947B (zh) | 2018-09-04 | 2018-09-04 | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146947A true CN109146947A (zh) | 2019-01-04 |
| CN109146947B CN109146947B (zh) | 2021-09-28 |
Family
ID=64826669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811025024.7A Active CN109146947B (zh) | 2018-09-04 | 2018-09-04 | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146947B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349109A (zh) * | 2019-07-12 | 2019-10-18 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110487206A (zh) * | 2019-08-07 | 2019-11-22 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
| CN111127411A (zh) * | 2019-12-17 | 2020-05-08 | 北京深测科技有限公司 | 一种渔业养殖的监测控制方法 |
| CN111406693A (zh) * | 2020-04-23 | 2020-07-14 | 上海海洋大学 | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 |
| CN111738279A (zh) * | 2020-06-24 | 2020-10-02 | 西藏自治区农牧科学院水产科学研究所 | 一种无接触式鱼类形态表型自动获取装置及方法 |
| CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
| CN111887853A (zh) * | 2020-07-13 | 2020-11-06 | 中国农业大学 | 一种基于双目视觉的鱼体长度测量装置及方法 |
| CN112418253A (zh) * | 2020-12-18 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的撒砂管松脱故障图像识别方法及系统 |
| CN112493228A (zh) * | 2020-10-28 | 2021-03-16 | 河海大学 | 一种基于三维信息估算的激光驱鸟方法及系统 |
| CN112906510A (zh) * | 2021-02-02 | 2021-06-04 | 中国水利水电科学研究院 | 一种渔业资源统计方法及系统 |
| CN113436241A (zh) * | 2021-06-25 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种采用深度信息的干涉校验方法及系统 |
| CN113724372A (zh) * | 2021-08-23 | 2021-11-30 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101041169B1 (ko) * | 2011-02-11 | 2011-06-15 | (주)대지이엔지 | 해저지형정보에 대한 지리정보데이터 수집시스템 |
| CN104881045A (zh) * | 2015-06-17 | 2015-09-02 | 中国科学院自动化研究所 | 嵌入式视觉引导下仿生机器鱼三维追踪控制方法 |
| CN105354812A (zh) * | 2014-07-10 | 2016-02-24 | 北京中科盘古科技发展有限公司 | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 |
| CN105389543A (zh) * | 2015-10-19 | 2016-03-09 | 广东工业大学 | 基于全方位双目视觉深度信息融合的移动机器人避障装置 |
| CN105572676A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种基于水平鱼探仪影像的围网目标鱼群追踪方法 |
| CN105574838A (zh) * | 2014-10-15 | 2016-05-11 | 上海弘视通信技术有限公司 | 多目相机的图像配准和拼接方法及其装置 |
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
| CN106408524A (zh) * | 2016-08-17 | 2017-02-15 | 南京理工大学 | 基于二维图像辅助的深度图像增强方法 |
| CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
| CN106796728A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市大疆创新科技有限公司 | 生成三维点云的方法、装置、计算机系统和移动设备 |
| CN107194931A (zh) * | 2017-05-09 | 2017-09-22 | 西安交通大学 | 一种基于双目图像匹配获取目标深度信息的方法和系统 |
| CN107561545A (zh) * | 2017-08-24 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种鱼群探测方法、装置及探测器 |
| CN107680140A (zh) * | 2017-10-18 | 2018-02-09 | 江南大学 | 一种基于Kinect相机的深度图像高分辨率重构方法 |
| JP2018088157A (ja) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | 検知認識システム |
| CN108171694A (zh) * | 2017-12-28 | 2018-06-15 | 深圳开立生物医疗科技股份有限公司 | 基于卷积神经网络的结节检测方法、系统及设备 |
-
2018
- 2018-09-04 CN CN201811025024.7A patent/CN109146947B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101041169B1 (ko) * | 2011-02-11 | 2011-06-15 | (주)대지이엔지 | 해저지형정보에 대한 지리정보데이터 수집시스템 |
| CN105354812A (zh) * | 2014-07-10 | 2016-02-24 | 北京中科盘古科技发展有限公司 | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 |
| CN105574838A (zh) * | 2014-10-15 | 2016-05-11 | 上海弘视通信技术有限公司 | 多目相机的图像配准和拼接方法及其装置 |
| CN104881045A (zh) * | 2015-06-17 | 2015-09-02 | 中国科学院自动化研究所 | 嵌入式视觉引导下仿生机器鱼三维追踪控制方法 |
| CN105389543A (zh) * | 2015-10-19 | 2016-03-09 | 广东工业大学 | 基于全方位双目视觉深度信息融合的移动机器人避障装置 |
| CN105572676A (zh) * | 2015-12-16 | 2016-05-11 | 浙江大学 | 一种基于水平鱼探仪影像的围网目标鱼群追踪方法 |
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
| CN106408524A (zh) * | 2016-08-17 | 2017-02-15 | 南京理工大学 | 基于二维图像辅助的深度图像增强方法 |
| CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
| CN106796728A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市大疆创新科技有限公司 | 生成三维点云的方法、装置、计算机系统和移动设备 |
| JP2018088157A (ja) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | 検知認識システム |
| CN107194931A (zh) * | 2017-05-09 | 2017-09-22 | 西安交通大学 | 一种基于双目图像匹配获取目标深度信息的方法和系统 |
| CN107561545A (zh) * | 2017-08-24 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种鱼群探测方法、装置及探测器 |
| CN107680140A (zh) * | 2017-10-18 | 2018-02-09 | 江南大学 | 一种基于Kinect相机的深度图像高分辨率重构方法 |
| CN108171694A (zh) * | 2017-12-28 | 2018-06-15 | 深圳开立生物医疗科技股份有限公司 | 基于卷积神经网络的结节检测方法、系统及设备 |
Non-Patent Citations (4)
| Title |
|---|
| F. BRUNOA等: "Experimentation of structured light and stereo vision for underwater 3D reconstruction", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| 余祥瑞: "基于双摄像机视频的生物水质预警系统的研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 * |
| 吴艳利: "基于双目立体视觉的水下环境三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 林明旺: "深度学习在鱼类图像识别与分类中的应用", 《数字技术与应用》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349109A (zh) * | 2019-07-12 | 2019-10-18 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110349109B (zh) * | 2019-07-12 | 2023-04-21 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110487206A (zh) * | 2019-08-07 | 2019-11-22 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
| CN110487206B (zh) * | 2019-08-07 | 2024-04-26 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
| CN111127411A (zh) * | 2019-12-17 | 2020-05-08 | 北京深测科技有限公司 | 一种渔业养殖的监测控制方法 |
| CN111127411B (zh) * | 2019-12-17 | 2023-08-01 | 北京深测科技有限公司 | 一种渔业养殖的监测控制方法 |
| CN111406693A (zh) * | 2020-04-23 | 2020-07-14 | 上海海洋大学 | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 |
| CN111738279B (zh) * | 2020-06-24 | 2022-01-04 | 西藏自治区农牧科学院水产科学研究所 | 一种无接触式鱼类形态表型自动获取装置及方法 |
| CN111738279A (zh) * | 2020-06-24 | 2020-10-02 | 西藏自治区农牧科学院水产科学研究所 | 一种无接触式鱼类形态表型自动获取装置及方法 |
| CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
| CN111887853A (zh) * | 2020-07-13 | 2020-11-06 | 中国农业大学 | 一种基于双目视觉的鱼体长度测量装置及方法 |
| CN111887853B (zh) * | 2020-07-13 | 2021-07-16 | 中国农业大学 | 一种基于双目视觉的鱼体长度测量装置及方法 |
| CN112493228A (zh) * | 2020-10-28 | 2021-03-16 | 河海大学 | 一种基于三维信息估算的激光驱鸟方法及系统 |
| CN112418253A (zh) * | 2020-12-18 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的撒砂管松脱故障图像识别方法及系统 |
| CN112906510A (zh) * | 2021-02-02 | 2021-06-04 | 中国水利水电科学研究院 | 一种渔业资源统计方法及系统 |
| CN113436241A (zh) * | 2021-06-25 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种采用深度信息的干涉校验方法及系统 |
| CN113724372A (zh) * | 2021-08-23 | 2021-11-30 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
| CN113724372B (zh) * | 2021-08-23 | 2022-06-28 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146947B (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146947A (zh) | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 | |
| CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| US10482621B2 (en) | System and method for improved scoring of 3D poses and spurious point removal in 3D image data | |
| WO2019232247A1 (en) | Biomass estimation in an aquaculture environment | |
| CN107635129B (zh) | 一种三维三目摄像装置及深度融合方法 | |
| CN102592117B (zh) | 三维物体识别方法及系统 | |
| CN107113415A (zh) | 用于多技术深度图获取和融合的方法和设备 | |
| CN114241031B (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
| CN110434516A (zh) | 一种智能焊接机器人系统及焊接方法 | |
| CN103562934B (zh) | 脸部位置检测 | |
| CN111209840B (zh) | 一种基于多传感器数据融合的3d目标检测方法 | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| US20180330520A1 (en) | Method and system for calibrating a velocimetry system | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110032211A (zh) | 多旋翼无人机自动避障方法 | |
| CN115131492A (zh) | 目标对象的重光照方法、装置及存储介质和背景替换方法 | |
| Concha et al. | Real-time localization and dense mapping in underwater environments from a monocular sequence | |
| CN108340405B (zh) | 一种机器人三维扫描系统及方法 | |
| Wang et al. | Elevation angle estimation in 2d acoustic images using pseudo front view | |
| CN109934165A (zh) | 一种关节点检测方法、装置、存储介质及电子设备 | |
| CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
| CN107592491A (zh) | 视频通信背景显示方法和装置 | |
| CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221123 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Tsinghua Shenzhen International Graduate School Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |