CN115127449A - 一种辅助双目视觉的非接触鱼体测量装置与方法 - Google Patents

一种辅助双目视觉的非接触鱼体测量装置与方法 Download PDF

Info

Publication number
CN115127449A
CN115127449A CN202210779542.8A CN202210779542A CN115127449A CN 115127449 A CN115127449 A CN 115127449A CN 202210779542 A CN202210779542 A CN 202210779542A CN 115127449 A CN115127449 A CN 115127449A
Authority
CN
China
Prior art keywords
binocular
fish body
depth
image sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210779542.8A
Other languages
English (en)
Other versions
CN115127449B (zh
Inventor
毕云峰
修丽欣
周洪光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210779542.8A priority Critical patent/CN115127449B/zh
Publication of CN115127449A publication Critical patent/CN115127449A/zh
Application granted granted Critical
Publication of CN115127449B publication Critical patent/CN115127449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明涉及一种辅助双目视觉的非接触鱼体测量装置与方法，包括水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有双目光学镜片和深度光学镜片；光学单元，位于水下结构体内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板连接。结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部通过灌胶接头实现密封。在密封的水下结构体中设置双目图像传感器和深度图像传感器，获取水下场景中鱼体的图像信息后，通过图像处理实现两者像素级的融合，以此来获得更高精度的水下场景深度图，从高精度图像中快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体自身的伤害。

Description

一种辅助双目视觉的非接触鱼体测量装置与方法
技术领域
本发明涉及鱼体质量检测技术领域，具体为一种辅助双目视觉的非接触鱼体测量装置与方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
渔业养殖过程中，鱼的尺寸等生长态势信息对于养殖管理有着重要作用。鱼的尺寸及其变化信息不仅反映了其自身的生长状况，还反映了在水产养殖过程中鱼苗的品质，光照、水温以及饵料的配比。
传统的鱼体尺寸测量方法是将鱼捞出后用尺子等工具进行手工测量，或是将鱼体放置在较窄的鱼缸内，在鱼缸壁上粘贴刻度尺，通过拍照的方式获得鱼体尺寸，此类方法不仅费时费力，还会对深海养殖过程中对光照、温度较为敏感的鱼体本身产生一定的伤害。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种辅助双目视觉的非接触鱼体测量装置与方法，在密封的水下结构体中设置两台双目图像传感器和一台深度图像传感器，获取水下场景中鱼体的图像信息后，经电缆传输至水体外部的上位机中，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率，利用TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，从高精度图像中快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体自身的伤害。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种辅助双目视觉的非接触鱼体测量装置，包括：
水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有双目光学镜片和深度光学镜片；
光学单元，位于水下结构体内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板连接。
结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部通过灌胶接头实现密封。
滑动单元包括连接在结构面板内侧的底座，底座连接两组并列布置且伸入到结构壳体内部的的纵向移动面板，两组纵向移动面板之间设有与其滑动连接的水平滑动导轨；双目图像传感器通过第一驱动单元连接在水平滑动导轨上，在第一驱动单元的带动下沿水平滑动导轨的方向滑动；水平滑动导轨通过第二驱动单元带动使其沿纵向移动面板的方向运动；两组纵向移动面板之间还设有沿垂直方向布置的激光移动单元，激光移动单元连接深度图像传感器。
激光移动单元包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器连接在移动架上。
结构面板的内顶面和结构壳体的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧。
第一级防水结构包括，结构面板的第一内底面上的第一密封槽，和与其抵接的结构壳体的第一外顶面，第一密封槽中设有密封圈。
第二级防水结构包括，结构面板的第二内底面上的第二密封槽，和与其抵接的结构壳体的第二外顶面，以及安装在第二密封槽中设有密封圈。
本发明的第二个方面提供利用上述装置实现鱼体测量的方法，包括以下步骤：
获取被测场景的深度图像和两个视角下的双目图像，根据双目图像传感器的标定数据对双目图像立体匹配，得到双目场景下的视差图；深度图像数据以其中一个双目图像传感器为参考进行转换，根据视差值和深度值之间的转换关系，得到深度图像数据的视差图；
根据深度图像数据中光强图上任一像素点调制的光强图深度可信权重，和深度值惩罚项形成的能量代价函数，优化初始的双目匹配代价函数，利用优化后的匹配代价函数寻找最佳匹配点，得到优化后的双目图像立体匹配视差图；
根据双目图像和深度图像的置信度函数以及权重，将双目图像的视差结果和深度图像的视差结果融合，根据融合图像中像素的数量得到鱼体的尺寸信息。
在能量代价函数带入深度图像数据之前，将颜色相近、距离相近的像素点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，从而在目标图像上找到与参考图像匹配的像素点；利用匹配代价聚合对所有纳入窗口的像素点搜索，寻找最佳匹配点，以增加匹配正确率。
本发明的第三个方面提供一种辅助双目视觉的非接触鱼体测量系统，包括上述测量装置与其连接的上位机，上位机被配置为上述测量方法中的步骤。
与现有技术相比，以上一个或多个技术方案存在以下有益效果：
1、装置置于水体中，双目图像传感器和深度图像传感器获取的图像通过电缆传递出水体外，经过图像处理后以非接触的方式得到鱼体尺寸信息，不再需要传统方式中将鱼体从水中捞出人工测量的方式。
2、装置通过两级防水结构实现密封，确保双目图像传感器和深度图像传感器工作可靠。
3、以图像处理的方式实现非接触式测量，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，进而利用高精度的水下场景深度图获取鱼体的尺寸信息。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明一个或多个实施例提供的测量装置整体结构示意图；
图2是本发明一个或多个实施例提供的测量装置内部结构示意图；
图3是本发明一个或多个实施例提供的测量装置内部结构的仰视视角示意图；
图4是本发明一个或多个实施例提供的测量装置俯视结构示意图；
图5是本发明一个或多个实施例提供的测量装置去除面板保留壳体的结构示意图；
图6是本发明一个或多个实施例提供的测量装置去除壳体保留面板的结构示意图；
图7是本发明一个或多个实施例提供的测量装置中深度光学镜片的结构示意图；
图8是本发明一个或多个实施例提供的测量装置中双目光学镜片的结构示意图；
图9是本发明一个或多个实施例提供的测量装置电气接口的结构示意图；
图10是本发明一个或多个实施例提供的测量装置内部底座与纵向移动面板的结构示意图；
图11是本发明一个或多个实施例提供的利用测量装置实现鱼体长度非接触测量的流程示意图；
图12(a)-(c)分别是本发明一个或多个实施例提供的鱼体长度测量过程中的原图、深度图和合成图；
图中：1、水下结构体，2、光学单元，3、结构面板，4、结构壳体，5、双目光学镜片，6、深度光学镜片，7、电气接口，8、进线口，9、灌胶口，10、第一内底面，11、第一密封槽，12、第一外顶面，13、第二内底面，14、第二密封槽，15、第二外顶面，16、底座，17、水平滑动导轨，18、纵向移动面板，19、激光移动单元。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术中所描述的，传统的鱼体尺寸测量方法是将鱼捞出后用尺子等工具进行手工测量，这种方法不仅费时费力，还会对部分敏感性的鱼体本身产生一定的伤害。
因此，以下实施例给出了一种辅助双目视觉的非接触鱼体测量装置与方法，在密封的水下结构体中设置两台双目图像传感器和一台深度图像传感器，获取水下场景中鱼体的图像信息后，经电缆传输至水体外部的上位机中，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率，利用TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图。基于视觉化的方法对水下动态鱼体的尺寸测量，操作简单，能够快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体本身的伤害。
实施例一：
如图1-10所示，一种辅助双目视觉的非接触鱼体测量装置，包括：
水下结构体1，包括相连接的结构面板3和结构壳体4，结构面板3上设有双目光学镜片5和深度光学镜片6；
光学单元2，位于水下结构体1内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板3连接。
本实施例中，测量装置包括水下结构体1和位于水下结构体内部的光学单元2，水下结构体包括结构面板3和结构壳体4，其中结构面板3上固定安装有两个双目方形光学镜片5和两个圆形深度光学镜片6。
结构壳体4的侧壁上设有电气接口7，导线通过电气接口7接入水下结构体1的内部，并采用灌胶接头的方式进行密封。
本实施例中，光学单元2上的滑动单元能够带动相机的上下左右移动。
如图2、3和10所示，滑动单元包括连接在结构面板3内侧的底座16，底座16连接两组并列布置且伸入到结构壳体1内部的的纵向移动面板18，两组纵向移动面板18之间设有与其滑动连接的水平滑动导轨17，双目图像传感器通过第一驱动单元连接在水平滑动导轨17上，在第一驱动单元的带动下沿水平滑动导轨17的方向滑动，水平滑动导轨17通过第二驱动单元带动使其沿纵向移动面板18的方向运动，两组纵向移动面板18之间还设有沿垂直方向布置的激光移动单元19，激光移动单元19连接深度图像传感器(TOF深度传感器)。
激光移动单元19包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器(TOF深度传感器)连接在移动架上。
本实施例中，第一驱动单元带动双目图像传感器沿水平滑动导轨17的方向滑动，即实现水平方向(左右方向)的运动；第二驱动单元带动水平滑动导轨17沿纵向移动面板18的方向运动，即实现垂直方向(上下方向)的运动；深度图像传感器(TOF深度传感器)的上下移动采用导轨滑动的方式，利用单独的上下滑动导轨，实现深度图像传感器(TOF深度传感器)的随时移动，不受双目图像传感器移动限制。
本实施例中，水平滑动导轨17上连接两组同型号的双目图像传感器，分别通过对应的双目光学镜片5获取水下结构体1外部的图像，深度图像传感器(TOF深度传感器)通过深度光学镜片6获取水下结构体1外部的图像。
滑动单元能够使两个双目图像传感器和深度图像传感器之间的“镜头间距”等系统参数可调：对于两个双目图像传感器而言，镜头间距和进行立体匹配所需的参数有关；对于图像传感器和深度图像传感器之间的“镜头间距”而，则与视场调节相关，用于将三台图像传感器可拍摄的视场调整到相似或接近的状态，便于后续图像融合处理。
三组驱动单元为现有结构且不做限制，能够实现带动对应部件沿着所需的方向运动即可。
结构面板3的内顶面和结构壳体4的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧。
本实施例中，如图5-6所示，结构面板3和结构壳体4之间采用内外、上下存在高差的两级防水结构，具体为：
第一级防水：结构面板3的第一内底面10上的密封槽11，和与其抵接的结构壳体4的第一外顶面12，以及安装在第一密封槽11中的密封圈。
第二级防水：结构面板3的第二内底面13上的第二密封槽14，和与其抵接的结构壳体4的第二外顶面15，以及安装在第二密封槽14中的密封圈。
本实施例中，结构面板3和结构壳体4链接处设有固定螺丝，固定螺丝的数量设置为12组。
如图7-8所示，光学镜片5、6采用的是中间凸起，四周凹陷的方式，通过螺丝将光学镜片贴紧面板，其中螺丝位于光学镜片的凹陷处，为了进一步达到防水的效果，将凹陷处灌满防水胶，避免螺丝与水的直接接触。
本实施例中，结构面板3和结构壳体4材料为高韧性树脂材料，具有一定的韧性，能够承受水下较强的压力，且该材料耐疲劳度好，即使在受到强压变形后，也能够很快恢复原型。
本实施例中，电气接口7放置在结构壳体4的侧壁，如图9所示，由两部分组成：
进线口8：进线口为空心圆锥的设计，进线口的直径可通过切割进行调整，以满足不同直径电缆的需求。
灌胶口9：电缆放置后，从灌胶口9灌胶，使胶水充满电气接口，确保电缆外壁与进线口8内壁之间的密封。
上述装置置于水体中，双目图像传感器和深度图像传感器获取的图像通过导线传递出水体外，经过图像处理后得到鱼体尺寸信息，装置通过两级防水结构实现密封，确保双目图像传感器和深度图像传感器工作可靠。
实施例二：
如图11-12所示，本实施例提供了利用上述实施例中的装置实现鱼体测量的方法，包括以下步骤：
通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图。流程图见图11，包括以下步骤：
1深度图像传感器(TOF深度传感器)通过发射、反射激光信号的飞行时间差来获得被测物体的深度信息；左右双目图像传感器同时拍摄得到被测场景两个视角下的左、右图像，如图12(a)所示。
2对双目图像传感器进行水下标定，得到相机内外参数、畸变系数矩阵，得到左右相机在在世界坐标系的对应关系。
3由获得的标定数据对双目图像进行立体匹配，得到双目场景下的视差图，并转换为深度图，如图12(b)所示。
4TOF深度数据转换到以左相机为参考相机下。视差值和深度值之间的转换关系为：
Figure BDA0003728581030000111
5设计能量代价函数来优化初始的双目匹配代价函数，使用优化后的匹配代价函数来寻找最佳匹配点。能量代价函数主要由两部分构成：一部分是根据光强图设计可信权重：为TOF调制光强图设置了光强阈值范围，若像素点的光强值小于阈值，调制光信号接受不足，则认为该点的深度值不可信；若像素点的光强制大于阈值，调制光信号接受过量，同样认为深度值不可信。设TOF相机调制光强图为A，A(x0，y0)为光强图中任一像素点，定义(x0，y0)点调制光强图的深度可信权重为：
Figure BDA0003728581030000112
另一部分由深度值惩罚项构成，每个视差搜索范围内的像素点(x0,y0)的深度值惩罚项CP为：
Figure BDA0003728581030000121
因此，双目立体匹配的能量代价函数为：
CD＝(x,y0)＝WA(x0,y0)*CP(x,y0)
6基于自适应窗口的代价聚合：在将能量代价函数带入TOF深度信息之前引入代价聚合特征函数，通过某种规则建立合适的窗口，建立像素点的距离、颜色等特征函数，将符合特征的像素点纳入到建立好的窗口中，这样便于在目标图像上找到与参考图像对应的像素点，增加匹配正确率，即基于自适应窗口的局部立体匹配算法进行代价聚合。将颜色相近、距离相近的像素点点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，特征距离的表达式如式所示：
Dn(x,y)＝[A(x0,y0)-A(x,y)]
然后用基于十字支撑法的匹配代价聚合对所有纳入窗口的像素点进行搜索，寻找最佳匹配点，设右图搜索得到的匹配点为(xmin,y0)，匹配代价函数为C(xmin,y0)，此时左图的像素点(x0,y0)的深度值：
Figure BDA0003728581030000122
7设计了基于权重的像素级融合。将TOF深度图和立体匹配两者的优势结合，提高鱼的遮挡重叠区域的立体匹配质量，构建了基于置信度的立体匹配与TOF深度信息的融合算法。步骤如下：
步骤一：设计TOF深度图的置信度函数。深度图像传感器(TOF深度传感器)在工作时，容易受到被测物体反射光、环境光、噪声、被测距离等因素的干扰，使得所获深度图的成像质量差，这就使得对TOF深度图任一像素置信度的测量非常困难。但是融合的算法需要用到每个像素的置信度值，因此需要根据TOF深度图像传感器的辐射特性来求出任一像素的置信度。
Figure BDA0003728581030000131
步骤二：设计优化后双目视差图的置信度函数。如果优化后的双目深度图的最小代价函数和次小代价函数相差很小，也可以近似认为此处有很多个相似的最小代价函数，这时在搜索最佳匹配点时容易出现误匹配的现象。定义优化后的双目深度图可信度函数如式所示：
Figure BDA0003728581030000132
双目系统的视差权重分配WS如下:
Figure BDA0003728581030000133
TOF系统的权重为：
WT＝1-WS
当TOF视差图可信时，采取TOF深度图和双目优化后结果，当TOF视差图不可信时，采用优化后双目匹配结果。
在得到了双目系统的权重和TOF权重后，按照融合策略将两个视差结果进行融合，设最终视差为d，融合策略：
d＝WTdT+WSdS
融合后得到的结果如图12(c)所示，根据融合图像中的像素数量得到鱼体的尺寸信息，如下：
全长：从口的前端到尾鳍末端的长度。
标准体长：从下颚的前端到尾鳍的根部的长度。
吻长：从吻端到眼圈前缘的长度。
尾长：从尾柄末端到尾鳍末端。
眼径：眼圈的直径，包括瞳孔周围发亮的地方。
头长：从吻到鳃盖后缘。
尾柄高：尾鳍的鳍背根上部至下部的高度。
体高：测定背鳍前端至腹部前基部的垂直高度。
尾柄长：臀鳍末端到尾鳍根的长度。
双目图像传感器和深度图像传感器获取的图像数据分别具有不同的特性，对于双目图像而言，对待测物体的纹理信息要求较高；而深度图像则易受到环境光的影响产生噪声，测量距离较远时产生延迟，但在纹理不丰富区域却可以获得精度较高的深度图。而水下环境中的鱼体图像是低纹理不丰富、环境光复杂且距离较远的场景，两类图像经融合后获得高质量的深度图。
上述方法以图像处理的方式实现非接触式测量，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，进而利用高精度的水下场景深度图获取鱼体的尺寸信息。
实施例三：
一种辅助双目视觉的非接触鱼体测量系统，包括实施例一中的测量装置和与该装置连接的上位机，上位机接收测量装置获取的图像信息经过实施例二中的步骤执行图像处理，最终得到融合后的高精度图像，利用融合后图像中的像素数量实现鱼体尺寸测量。
本发明是参照根据本发明实施例的方法和设备(系统)的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种辅助双目视觉的非接触鱼体测量装置，其特征在于：包括：
水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有双目光学镜片和深度光学镜片；结构面板的内顶面和结构壳体的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧；
光学单元，位于水下结构体内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板连接。
2.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述滑动单元包括连接在结构面板内侧的底座，底座连接两组并列布置且伸入到结构壳体内部的的纵向移动面板，两组纵向移动面板之间设有与其滑动连接的水平滑动导轨。
3.如权利要求2所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述双目图像传感器通过第一驱动单元连接在水平滑动导轨上，在第一驱动单元的带动下沿水平滑动导轨的方向滑动；水平滑动导轨通过第二驱动单元带动使其沿纵向移动面板的方向运动；两组纵向移动面板之间还设有沿垂直方向布置的激光移动单元，激光移动单元连接深度图像传感器。
4.如权利要求3所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述激光移动单元包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器连接在移动架上。
5.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部并通过灌胶接头实现密封。
6.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述第一级防水结构包括，结构面板的第一内底面上的第一密封槽，和与其抵接的结构壳体的第一外顶面，第一密封槽中设有密封圈。
7.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述第二级防水结构包括，结构面板的第二内底面上的第二密封槽，和与其抵接的结构壳体的第二外顶面，以及安装在第二密封槽中设有密封圈。
8.基于权利要求1-7任一项所述装置实现鱼体的测量方法，其特征在于：包括以下步骤：
获取被测场景的深度图像和两个视角下的双目图像，根据双目图像传感器的标定数据对双目图像立体匹配，得到双目场景下的视差图；深度图像数据以其中一个双目图像传感器为参考进行转换，根据视差值和深度值之间的转换关系，得到深度图像数据的视差图；
根据深度图像数据中光强图上任一像素点调制的光强图深度可信权重，和深度值惩罚项形成的能量代价函数，优化初始的双目匹配代价函数，利用优化后的匹配代价函数寻找最佳匹配点，得到优化后的双目图像立体匹配视差图；
根据双目图像和深度图像的置信度函数以及权重，将双目图像的视差结果和深度图像的视差结果融合，根据融合图像中像素的数量得到鱼体的尺寸信息。
9.如权利要求8所述的一种辅助双目视觉的非接触鱼体测量方法，其特征在于：在能量代价函数带入深度图像数据之前，将颜色相近、距离相近的像素点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，从而在目标图像上找到与参考图像匹配的像素点；利用匹配代价聚合对所有纳入窗口的像素点搜索，寻找最佳匹配点。
10.一种辅助双目视觉的非接触鱼体测量系统，包括测量装置与其连接的上位机，上位机被配置为如权利要求8-9所述测量方法中的步骤。
CN202210779542.8A 2022-07-04 2022-07-04 一种辅助双目视觉的非接触鱼体测量装置与方法 Active CN115127449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210779542.8A CN115127449B (zh) 2022-07-04 2022-07-04 一种辅助双目视觉的非接触鱼体测量装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210779542.8A CN115127449B (zh) 2022-07-04 2022-07-04 一种辅助双目视觉的非接触鱼体测量装置与方法

Publications (2)

Publication Number Publication Date
CN115127449A true CN115127449A (zh) 2022-09-30
CN115127449B CN115127449B (zh) 2023-06-23

Family

ID=83381800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210779542.8A Active CN115127449B (zh) 2022-07-04 2022-07-04 一种辅助双目视觉的非接触鱼体测量装置与方法

Country Status (1)

Country Link
CN (1) CN115127449B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102818773A (zh) * 2011-06-08 2012-12-12 波音公司 激光监视系统
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统
CN109668511A (zh) * 2019-01-30 2019-04-23 中国海洋大学 一种适用于水槽的人工鱼礁堆积形态测量装置及方法
CN112230244A (zh) * 2020-09-08 2021-01-15 奥比中光科技集团股份有限公司 一种融合的深度测量方法及测量装置
CN112802114A (zh) * 2019-11-13 2021-05-14 浙江舜宇智能光学技术有限公司 多视觉传感器融合装置及其方法和电子设备
CN113052886A (zh) * 2021-04-09 2021-06-29 同济大学 一种采用双目原理的双tof相机深度信息获取方法
WO2022067194A2 (en) * 2020-09-25 2022-03-31 3D at Depth, Inc. Systems and methods for laser inspection and measurements
CN115082777A (zh) * 2022-04-26 2022-09-20 北京林业大学 基于双目视觉的水下动态鱼类形态测量方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102818773A (zh) * 2011-06-08 2012-12-12 波音公司 激光监视系统
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统
CN109668511A (zh) * 2019-01-30 2019-04-23 中国海洋大学 一种适用于水槽的人工鱼礁堆积形态测量装置及方法
CN112802114A (zh) * 2019-11-13 2021-05-14 浙江舜宇智能光学技术有限公司 多视觉传感器融合装置及其方法和电子设备
CN112230244A (zh) * 2020-09-08 2021-01-15 奥比中光科技集团股份有限公司 一种融合的深度测量方法及测量装置
WO2022067194A2 (en) * 2020-09-25 2022-03-31 3D at Depth, Inc. Systems and methods for laser inspection and measurements
CN113052886A (zh) * 2021-04-09 2021-06-29 同济大学 一种采用双目原理的双tof相机深度信息获取方法
CN115082777A (zh) * 2022-04-26 2022-09-20 北京林业大学 基于双目视觉的水下动态鱼类形态测量方法及装置

Also Published As

Publication number Publication date
CN115127449B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109604777A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN109544679A (zh) 管道内壁的三维重建方法
CN109146947B (zh) 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN107358632B (zh) 应用于水下双目立体视觉的水下摄像机标定方法
CN105654549A (zh) 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN102999939A (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN103868460A (zh) 基于视差优化算法的双目立体视觉自动测量方法
CN108107837A (zh) 一种基于视觉引导的玻璃加工装置及方法
CN103993548A (zh) 基于多台相机立体拍摄的路面损坏裂缝检测系统及方法
CN105029691B (zh) 一种基于三维重建技术的卷烟空头检测方法
CN113115008B (zh) 一种管廊主从操作巡检系统及方法
CN105627948A (zh) 一种大型复杂曲面测量系统及其应用
CN111784655B (zh) 一种水下机器人回收定位方法
CN107084671B (zh) 一种基于三线结构光的凹球直径测量系统及测量方法
JP2903964B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
CN107241533A (zh) 一种水下面阵扫描激光成像装置及方法
CN108174085A (zh) 一种多摄像头的拍摄方法、拍摄装置、移动终端和可读存储介质
CN204039886U (zh) 一种基于多台相机立体拍摄的路面损坏裂缝检测系统
Fan et al. Development, calibration, and image processing of underwater structured light vision system: A survey
CN205352322U (zh) 一种大型复杂曲面测量系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant