CN103226693B - 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法 - Google Patents

Abstract

一种基于全景立体视觉的捕捞对象的识别和空间定位装置，包括全景立体视觉传感器，用于对捕捞对象的识别和空间定位进行分析处理的微处理器，全景立体视觉传感器由两台具有相同参数的固定单视点的无死角全方位视觉传感器构成，并按照全方位的极线平面要求以垂直背靠背方式连接固定。以及一种基于全景立体视觉的捕捞对象的识别和空间定位方法。本发明采用一台全景立体视觉传感器解决了深海捕捞对象的识别和空间定位的图像获取问题，同时还能为捕捞机器人导航提供全景立体视觉，具有特征点立体匹配计算量少、空间定位高等优点。

Description

基于全景立体视觉的捕捞对象的识别和空间定位装置及方法

技术领域

本发明属于全景立体视觉技术、捕捞机器人技术、数字图像处理技术和模式识别技术在海底生物自动化捕捞方面的应用，尤其适用于捕捞机器人的自动捕捞作业。

背景技术

深海生物捕捞，即对深海生物进行捕捞，把生物从深海捕获出水进行科学研究或者其他商业用途。目前通常采用一种拖网捕获技术，它是一种利用船舶航行的拖拽式捕捞方式。底拖网是一种用于对深海底栖生物等小型生物进行捕获技术。这种底拖网技术对生态系统造成了灾难性伤害，珊瑚、海绵、鱼类和其它动物都将因此受到捕杀。同时众多海洋生物的栖息地—海山等水下生态系统也遭到了严重的破坏。这种捕捞方式对海洋生态系统造成了无法弥补的损失。由于拖网技术很难对生物进行有针对性的捕获，往往造成不分青红皂白的“滥杀无辜”，成功率低且浪费资源。联合国海洋署已经起草相关公约将禁止这种损害海洋生态系统的捕捞方式。

实现精准化、自动化的深海生物捕捞，捕捞对象的识别与定位是实现捕捞自动化的第一步。考虑到捕捞对象的生长环境、空间位置和分布状态等要素，采用三维视觉进行捕捞对象的检测是一种非常有前途的解决方案。所谓三维视觉信息包括从摄像机到捕捞对象之间的距离、捕捞对象的大小和形状等。对于捕捞机器人视觉系统而言，不仅要探测到捕捞对象的存在，还要计算出捕捞对象的空间坐标。

颜色、大小和形状是反映捕捞对象的重要视觉特征，是基于机器视觉的捕捞对象的识别、分类的重要依据。每一种捕捞对象都有其特有的颜色、大小和形状特征，这些视觉信息是识别捕捞对象的重要属性特征；同时每一种捕捞对象在其不同的生长期和不同的品质上，其颜色、大小和形状均有较大的差别，这些差别是基于机器视觉的分类中各种判定指标和阈值取值的根据。

在捕捞对象颜色测量中，应选用一定的颜色模型来对捕捞对象表面的颜色特征进行研究。通过该研究建立多种各具特色的颜色模型，在机器视觉研究中，常用的RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素。根据对颜色的研究结果，结合有关评级标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值，就可完成颜色分级。

机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述。视觉包括三个过程：图像增强、特征提取和图像理解。由视觉传感器获取数字图像，经图像增强后提取颜色、形状和纹理特征参数对捕捞对象进行分类、识别和描述。

目前获取捕捞对象的三维坐标的定位方法主要有下面4种类型：1)多目立体视觉：融合多个摄像机观察到的目标特征，重构这些特征的三维原像，并计算出目标的空间坐标；2)时间差法：利用一台摄像机的多幅连续图像序列实现“从运动得到结构”，由图像匹配估计匹配点的三维坐标；3)结构光法：选择激光、微波或超声波等光源，采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布；4)传感器融合：由视觉传感器获取原始平面图像，计算其形心坐标，再利用测距传感器测量目标的深度信息。就上述4种定位方式来说，立体视觉具有投资小、能与捕捞机器人的自动导航共用一套立体视觉系统、能与前期捕捞对象的识别和分类等处理共用一种视频源，因此是一种首选的解决方案。

立体视觉系统一般可分为图像采集、摄像系统标定、特征选择与提取、立体匹配、深度确定和内插6个步骤。双目立体视觉运用两个相同的摄像机对同一景物从不同位置成像，获得景物的立体图像对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方法恢复深度信息。

目前的立体视觉系统，利用立体摄像机获取不同距离的捕捞对象的立体图像对，通过对图像进行灰度图像处理，将彩色图像转换为灰度图像.然后根据灰度图像对中像素点的相关性进行立体匹配，计算像素点的位置信息而获得一幅深度图像。最后对照捕捞对象在深度图像中的位置，获取捕捞对象的三维位置信息。

但是目前的立体视觉系统在海底生物捕捞的实际应用中还存在着不少问题，其主要问题在于：立体成像范围有限，由于捕捞机器人行走在海底捕捞作物环境中，捕捞对象的生长区域是开放式的、随机的、不规则的和全方位的，因此，需要转动立体视觉系统来获取周边的捕捞对象视频信息；其次，立体成像摄像机标定、特征提取和立体图像匹配方面在实际应用上仍然存在着一些难以解决的问题。另外由于固定的焦距只能在一定景深范围内清晰拍摄图像，因而，它限制了在某些方面的应用。此外，还存在着以下不足之处：1)由于标定技术不够完善，立体视觉测量系统在捕捞机器人运动中其摄像机的内外参数变化是不可避免的，因而限制了许多应用；2)在各种shapefromX过程中，涉及多次坐标的转换，造成计算量过大，难以进行实时处理，限制了对捕捞对象的实时识别等应用；3)双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。立体匹配属于典型的视觉“病态”计算问题，目前的技术还很难对图像进行无歧义高准确率的立体匹配。

近年发展起来的全方位视觉传感器，以下简称ODVS，为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由，为感知捕捞机器人自身周围状态提供了一种新的重要手段；ODVS技术是以人为中心观察的图像获取技术，能使人产生身临其境的沉浸感，将ODVS技术应用于捕捞机器人的导航、捕捞对象的识别、分类和定位，就相当给予了捕捞机器人具备了以捕捞机器人为中心观察的图像获取技术，特别的是单视点的全景成像镜面的设计为构建捕捞机器人的双目立体全景获取技术提供了一个良好的技术基础。

发明内容

为了克服已有的海底生物捕捞机器人的视觉系统难以同时完成自主导航、海底生物的识别、分类和空间定位等不足，本发明提供一种既能用于捕捞机器人的自主导航，又能用于海底生物的识别、分类和空间定位的基于全景立体视觉的捕捞对象的识别和空间定位装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全景立体视觉的捕捞对象的识别和空间定位装置，包括双目立体全景视觉传感器，用于对捕捞对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；

所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以背靠背的垂直连接固定，并保证两个ODVS的主轴在同一直线上；

所述的微处理器包括：

视频图像读取单元，用于读取两个ODVS的视频图像，并保存在指定的存储设备中，其输出与捕捞对象识别模块连接；

捕捞对象识别模块，用于根据捕捞对象的颜色和外形特征对捕捞机器人周围的全景图中的捕捞对象进行识别，其输出与捕捞对象点匹配单元相连接；

ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中；

比较标准特征参数抽取模块，用于从全景视频图像中抽取出捕捞对象的颜色和外形特征，并将这些特征值存放在捕捞对象的特征库中；

捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

空间信息计算单元，用于根据ODVS的标定结果以及捕捞对象点的匹配结果计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与仿生机器手空间位置计算单元连接；

仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置，其输出控制仿生机器手的动作，完成捕捞任务。

进一步，所述的捕捞对象识别模块中，通过被捕捞对象的颜色特征进行识别，利用被捕捞对象的颜色色差信息进行图像识别，针对每种不同的捕捞对象通过实验研究，将能对某种捕捞对象进行有效识别的特征值写入到各种不同的捕捞对象的分类标准指标库以及捕捞对象的特征库中，每一种捕捞对象在各种不同的捕捞对象的分类标准指标库以及捕捞对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的捕捞对象识别模块根据某个规定的捕捞对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现捕捞对象识别的目的。

所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；

两个ODVS的入射角，即Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，公式(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；

$tan\mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2\left|\right|u^{\′\′}|{|}^2+...+a_N|\left|u^{\′\′}\right|{|}^N}---\left(7\right)$

式中：φ为φ1或φ2；φ1为下ODVS上的成像物点的入射角，φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角，在本发明中为120°；

$\begin{array}{c}r=\stackrel{\‾}{OP}=\sqrt{{\stackrel{\‾}{AP}}^2+{(dc/2)}^2-2\stackrel{\‾}{AP}(dc/2)\cos A}\\ =\sqrt{{\[\frac{dc}{\sin (A+B)}\·\sin B\]}^2+{(dc/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}\·\sin B\cos A}\\ =\sqrt{{\[\frac{dc}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\]}^2+{(dc/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\cos \mathrm{\φ}2}\end{array}---\left(8\right)$

式中，∠A＝180°-φ2，∠B＝180°-φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为捕捞对象中心点P到O点的距离；

所述的空间信息计算单元，得到捕捞对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和捕捞中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将捕捞对象的中心点P用笛卡尔坐标系表达，如公式(9)所示，

$\begin{array}{c}{x}_p=r_p\×{\mathrm{cos\φ}}_p\×{\mathrm{cos\β}}_p\\ y_p=r_p\×{\mathrm{cos\φ}}_p\×{\mathrm{sin\β}}_p\\ z_p=r_p\×{\mathrm{sin\φ}}_p\end{array}---\left(9\right)$

式中，x_p、y_p和z_p分别为捕捞对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为捕捞对象的中心点P在高斯坐标系中的值。

所述的仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置；由于本发明中共有四个仿生机器手，这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系，并用四个象限来划分四个仿生机器手的工作范围，a1、a2、a3和a4，如附图13所示，a1为前左仿生机器手的工作范围，a2为前右仿生机器手的工作范围，a3为后右仿生机器手的工作范围，a4为后左仿生机器手的工作范围；将各仿生机器手的固定点作为各仿生机器手的坐标原点，并分别建立前左仿生机器手X_a1、Y_a1、Z_a1，前右仿生机器手X_a2、Y_a2、Z_a2，后右仿生机器手X_a3、Y_a3、Z_a3，后左仿生机器手X_a4、Y_a4、Z_a4等构成的三维仿生机器手运动坐标系，如附图13所示；由于双目立体ODVS和仿生机器手均固定在捕捞机器人的行走部分的上面，因此，用公式(10)建立三维全景视觉坐标系和三维各捕捞仿生机器手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_{an}=X_v+x_n\\ Y_{an}=Y_v+y_n\\ Z_{an}=Z_v+z_n\end{array}\right.,(n=1,2,3,4)---\left(10\right)$

式中，X_an、Y_an和Z_an分别表示三维某一个捕捞仿生机器手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x_n、y_n和z_n分别表示某一个捕捞仿生机器手坐标系与全景视觉坐标系之间在三维坐标上的投影距离；

根据在所述的空间信息计算单元中计算得到的捕捞对象的中心点P所处的象限，确定由哪个捕捞仿生机器手进行捕捞，然后根据公式(10)计算得到该仿生机器手与捕捞对象的中心点P的位置关系，最后驱动捕捞模块进行捕捞动作；

一种基于全景立体视觉的捕捞对象的识别和空间定位方法，在对捕捞对象的识别前，首先需要建立一个各种不同的捕捞对象的的特征库，同时也需要完成全景立体ODVS的柱状展开参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在存储单元中，以便下一次使用捕捞机器人时调用；接着，进入捕捞对象的识别和空间定位处理流程；

步骤1)：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2)：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行处理；

步骤3)：根据保存在捕捞对象的特征库中的捕捞对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像中的捕捞对象中心点；

步骤4)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像中的相应匹配点；

步骤5)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点以及在步骤4)得到的在下ODVS所获取的全景图像中的相应匹配点进行捕捞对象空间信息的计算，得到捕捞对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将捕捞对象的中心点用笛卡尔坐标系进行表达；

步骤6)：根据在步骤5)计算得到的捕捞对象的中心点位置确定由哪一个仿生机器手进行捕捞，然后将捕捞对象的中心点位置到全景立体ODVS中心点的坐标值映射到捕捞仿生机器手的坐标系中，最后根据在所确定的进行捕捞动作的捕捞仿生机器手的坐标系中的坐标值控制该捕捞仿生机器手的动作；

步骤7)：控制该捕捞仿生机器手将捕捞对象吸入到捕捞机器人的收集舱中；跳转到步骤2)。

本发明的有益效果主要表现在：1)采用一台全景立体ODVS解决了捕捞对象的识别和空间定位的图像获取问题，同时还能为捕捞机器人导航提供全景立体视觉；2)采用了各种不同的捕捞对象的特征库，提高了捕捞机器人的通用性；3)同时用捕捞对象的颜色特征和形状特征进行识别，提高了捕捞对象的识别率；4)在捕捞对象识别的基础上进一步进行捕捞对象的空间定位计算，具有特征点立体匹配计算量少、空间定位高等优点。

附图说明

图1为一种仿生海底生物捕捞机器人捕捞时的正视图，其中，21为本体，27为捕捞管道，23为收集舱，24为浮力舱，25为控制设备仪器仪表舱，26为双目立体全景视觉传感器；

图2为一种仿生海底生物捕捞机器人行走时的正视图，其中，21为本体，28为四肢，23为收集舱，24为浮力舱，25为控制设备仪器仪表舱，26为双目立体全景视觉传感器；

图3为一种人工肌肉制造装配技术示意图，其中，1为管道终端，2为管道终端密封体，3为管道本体，4为管道连接密封体，5为管道连接法兰，6为通高压液体管；

图4为人工肌肉技术实现任意一个方向的弯曲的示意图；

图5为无死角的ODVS成像原理图，其中，29为摄像头，30为一次折反射镜面，31为保护罩，32为SVP，33为第一成像点，34为二次折反射镜面，35为广角镜头；

图6为两个无死角ODVS以背靠背的方式构成的全景立体视觉传感器；

图7(a)为全景立体视觉传感器的设计图、图7(b)为全景立体视觉传感器的球面计算模型、图7(c)为体结构式的、固定单一视点的全景立体视觉传感器的模型；

图8为全景立体视觉传感器的测距和捕捞对象空间定位原理图；

图9为一种仿生海底生物捕捞机器人捕捞动作控制的框图，其中，11为双目立体全景视觉传感器，12为基于人工肌肉的仿生机器手，13为捕捞对象，15为微处理器，16为液压动力源，17为二位三通电磁阀，18为喷嘴，19为比例压力阀，20为压力传感器；

图10为观察点到捕捞点之间空间定位精度的实验曲线；

图11为基于全景立体视觉的捕捞对象的识别和空间定位装置的处理框图；

图12为构成全景立体ODVS的上下两个ODVS之间的极线对准；

图13为全景立体ODVS的坐标系与各捕捞仿生机器手坐标系的几何关系图；

图14为上下两个ODVS之间的极线偏差示意图；

图15为单视点ODVS成像模型，图15(a)为透视成像过程，图15(b)为传感器平面，图15(c)为图像平面。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图15，一种基于全景立体视觉的捕捞对象的识别和空间定位装置，包括双目立体全景视觉传感器，用于对捕捞对象的识别和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器通过USB接口与所述的微处理器进行连接；

执行捕捞动作的是由仿生机器手来实现的，仿生机器手具有两种功能，一种是完成捕捞机器人的行走，另一种是完成捕捞动作；本发明中一共有四个仿生机器手，分别固定在捕捞机器人本体的收集舱两侧前后，非常类似于海龟的四肢，由人工肌肉制成，如附图3所示；仿生机器手的外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，通过分别控制三个空腔的水压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，实现三个自由度的控制，如附图4所示；在捕捞机器人行走时，所述的仿生机器手支撑着所述的捕捞机器人本体，如附图2所示；在所述的捕捞机器人进行捕捞时，仿生机器手的前端对准捕捞对象实现对准捕捞对象吸入捕捞，如附图1所示；在仿生机器手中设置有捕捞管道，以下简称基于人工肌肉的捕捞管道，当仿生机器手的前端对准捕捞对象时所述的捕捞管道中产生脉冲式负压，将捕捞对象吸入到捕捞管道中，然后随着捕捞管道进入到捕捞舱内，如附图1所示；

所述的双目立体全景视觉传感器，包括两台具有相同参数的无死角的固定单视点的全方位视觉装置，以下简称ODVS，如附图5所示，两台ODVS按照全方位的极线平面要求以背靠背的方式结合在一起，如附图6所示；在ODVS的折反射镜面设计上通过增大视觉垂直范围来扩大两个合成的ODVS视觉重叠区域来获得较大的双目立体视觉范围，并使双目立体ODVS具有同时知觉、融合力和立体感；

具有无死角、单视点的ODVS，如附图5所示；其主要由一次折反射镜面、二次折反射镜面、广角镜头和摄像机等部件组成；有关无死角单视点的ODVS设计方法请参考文献，无死角的全方位视觉传感器的设计，仪器仪表学报200930(5):1-5；

要实现一种水平360°×垂直120°大范围全景视觉的ODVS，在设计时需要将最大入射角Φmax作为设计约束条件，一般来说最大入射角Φmax越大双目立体视觉的范围就越大；较大的入射角Φmax就有较大的垂直视角(VFOV)；

通过上述无死角单视点的ODVS设计，将两个具有相同参数的ODVS以背靠背的方式组合构成一种新型的全球面双目立体全方位视觉传感器；组合时将上下两个ODVS的单视点(SVP)固定在同一轴线上，如附图6所示；由于所述的双目立体全景视觉传感器将在深海工作，需要具有较大的抗压强度，在结构上球面式的设计具有良好的抗压能力；

两个无死角单视点的ODVS视场的重叠部分构成了双目立体全景视觉范围，如附图7(c)所示；具体做法是：两个无死角单视点的ODVS中的摄像机的视频线与电源线通过连接件的孔引出，分别接入到视频图像接入单元中；附图7(c)所示的双目立体ODVS的重叠视场范围约为60°；

图7(a)为本发明设计的全球面双目立体ODVS结构图，图7(b)为空间物点P在高斯球面内的几何计算示意模型图，从图中可以知道空间上的任意物点的坐标都可以通过方位角β、入射角Φ和距离r进行表达；这样能在全景视频图像获取、加工、存储、表达上均采用统一的高斯球面坐标，能简化摄像机标定、特征点的匹配过程中的欧氏空间与高斯空间之间多次转化，为实时快速运算提供了技术基础，同时也为仿生机器手的控制算法的实现提供了便利；

所述的微处理器包括：视频图像读取单元，用于读取两个ODVS的视频图像，并保存在指定的存储设备中，其输出与捕捞对象识别模块连接；捕捞对象识别模块，用于根据捕捞对象的颜色和外形特征对捕捞机器人周围的全景图中的捕捞对象进行识别，其输出与捕捞对象点匹配单元相连接；ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中；比较标准特征参数抽取模块，用于从全景视频图像中抽取出捕捞对象的颜色和外形特征，并将这些特征值存放在捕捞对象的特征库中；捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于根据ODVS的标定结果以及捕捞对象点的匹配结果计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与仿生机器手空间位置计算单元连接；仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置，其输出控制仿生机器手的动作，完成捕捞任务；各模块之间的关系如附图11所示；

所述的ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中；

关于ODVS的标定，主要为了获得ODVS的内部和外部参数，以便在捕捞对象空间几何测量时使用；为单视点ODVS的成像模型的说明，虽然本发明中采用的是二次折反射成像的ODVS，这里用一次折反射原理讨论成像模型将其成像过程简化；在该成像模型中，成像过程分为两个步骤：即镜面到传感器平面的转换和传感器平面到图像平面的转换。这里考虑两个不同的参考平面，图像平面(u',v')和传感器平面(u”,v”)。假设需要观察物点X的成像过程，如附图15(a)所示；其中，在镜面传感器平面上的点u〞是物点X在摄像机传感器平面上的投影，如附图15(b)所示；假设该点坐标为：u”＝[u”,v”]^T；而u'是对应图像平面的一点，u'＝[u',v']^T，如附图15(c)所示；

实际上，在传感器平面到图像平面的转换过程中，镜面轴心与摄像机焦点的近似共线性带来的差异，会造成图像中心点Ic和传感器中心点Oc的偏移，另外图像数字化过程中也存在一定的畸变；因此，这两点之间的映射关系可以用公式(1)表示：

u”＝Au'+t(1)

其中，A∈R^2×2是固定的转换矩阵，t∈R^2×1是平移向量。

由镜面中心点O和镜面点A构成的空间向量P”通过透视摄像机的光学中心点C把场景点X投影到传感器平面上u”，即向量P”正交投影到传感器平面上的点h(||u”||)u”；接着假设在该成像模型下从空间点X和空间向量p”之间的关系由公式(2)描述：

$\∃\mathrm{\φ}>0:\mathrm{\φ}\left[\begin{array}{c}{x}^{\′\′}\\ z^{\′\′}\end{array}\right]=\mathrm{\φ}\left[\begin{array}{c}h\left(\right|\left|u^{\′\′}\right|\left|\right)u^{\′\′}\\ g\left(\right|\left|u^{\′\′}\right|\left|\right)\end{array}\right]=PX---\left(2\right)$

式中，P∈R3×4的投影矩阵，其中函数g描述了镜面的几何形状，函数h表征了u″和h(||u″||)u″之间的关系，它们都是由折反射摄像机反射镜面参数决定的；

对于公式(2)中函数h,g,参考文献DavideScaramuzzaandRolandSiegwart.APracticalToolboxforCalibratingOmnidirectionalCameras[J].VisionSystems:Applications,2007:297～310针对透视投影模型基础进行了进一步的阐述，用一个函数f＝g/h来代替函数h,g；即用函数f来表征三维空间点和二维空间点之间的关系；那么公式(2)将被改写成：

$\∃\mathrm{\φ}>0:\mathrm{\φ}\left[\begin{array}{c}{x}^{\′\′}\\ z^{\′\′}\end{array}\right]=\mathrm{\φ}\left[\begin{array}{c}{u}^{\′\′}\\ f\left(\right|\left|u^{\′\′}\right|\left|\right)\end{array}\right]=PX---\left(3\right)$

基于摄像机透镜、折反射镜面和传感器平面三者之间垂直性的假设，函数f具有旋转对称性，g，h(||u″||)＝g，h(||Ru″||)适用于每一个围绕视觉传感器对称中心所做的旋转R∈R2×2；这里希望通过该函数模型来补偿由于镜面中心轴与摄像机焦点的近似共线性带来的差异，因此，这里用泰勒多项式表示函数f；

f(||u"||)＝a₀+a₁||u"||+a₂||u"||²+...+a_N||u"||^N(4)

在多项式展开成像模型中，设定的参数有A,t,a₀,a₁,...,a_N，完成了这些参数的求解也就完成整个折反射摄像机的标定过程；也就是确定了空间内物体表面某点的三维几何位置与其在图像中成像点之间的关系；具体的标定算法请参考文献BranislavMicksiK,”Two-ViewGeometryofOmnidirectionalCameras”CzechTechnicalUniversityinPrague,2004，通过标定实验就可以求出公式(4)中的参数值；最后将这些参数值保存在ODVS内外部参数库中，以便在所述的空间信息计算单元中调用；

关于双目立体ODVS进行极线校正处理，是由于双目ODVS安装时两个ODVS难免存在一些安装误差，使得两个ODVS的镜面中心Ic与全景图像中心Oc产生一些微小的偏移；另外，上下ODVS方位角不一致的问题也必定存在，如图14所示；因此，需要进行极线校正；文献DavideScaramuzzaandRolandSiegwart.APracticalToolboxforCalibratingOmnidirectionalCameras[J].VisionSystems:Applications,2007:297～310给出了极平面校正的具体实现方法；依据的原理是，利用场景中与双目立体视觉传感器主轴平行的物体通过ODVS所成像的垂直线指向全景图圆心的特性，如当双目立体视觉传感器放置在水平地面上，场景中的门框、窗框、墙角线等垂直边缘在全景图中的像指向圆心；具体实现步骤是：首先获得的这些边缘信息，然后进行极线校正；因此，所述的双目立体全景视觉传感器的极线校正主要涉及两方面工作：

1)分别找出上下ODVS的极线位置；由于所述的双目立体全景视觉传感器采用上下同轴反向的配置方式，立体图像对的极线是以全景图像中心为原点的放射线，因此找极线位置首先要确定全景图像中心点；

2)计算出同一物点在上下ODVS的全景图像中对应极线的方位角，得到同一物点在上下ODVS成像的立体图像对中所在极线的方位角偏差D；由于上下ODVS的结构是相同的，则任意物点在上下全景图像中的极线方位角偏差都是固定值D；

最后，将计算得到的极线方位角偏差值D和位置偏差值(Δx,Δy)存放到ODVS内外部参数库中，以便在空间物点匹配时调用；校正后的上下ODVS能保证同一成像点均在极平面上，如附图12所示；

所述的捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

从理论上来说，空间上的同一捕捞对象点必定落在校正后的极线平面上，也就是说空间物点的匹配就可以在极平面内进行检索，如图12所示；在结构上满足极线约束条件后，空间物点二维平面检索问题就简化为一维检索问题，从而为在两个全景图上点与点之间的快速匹配提供了基础；从纬度角度考虑，如果所设计的ODVS的入射角与成像平面上的像素点满足某种函数关系，所组合后的两个ODVS入射角之间又是可以方便计算的，又可以将一维检索问题再简化为在一条线上的某个区间内检索对应点的问题；如公式(5)所示，

180°≤φ1+φ2≤2φmax(5)

式中：φ1为下ODVS上的成像物点的入射角，φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角，在本发明中为120°；

采用归一化相关匹配算法来对上下两个全景图中的特征点进行匹配；该算法基于匹配特征点在相邻的窗体区域内具有相同灰度值原理，计算方法由公式(6)所示，

$\begin{array}{c}Corr=\frac{\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\mathrm{\Σ}}}\underset{\[r,g,b\]}{\mathrm{\Σ}}\{C_{down}(x_2+i,y_2+j)-\stackrel{\‾}{C_{down}\[r,g,b\]}\}\·\{C_{up}(x_1+i,y_1+j)-\stackrel{\‾}{C_{up}\[r,g,b\]}\}}{\sqrt{\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\mathrm{\Σ}}}\underset{\[r,g,b\]}{\mathrm{\Σ}}{\left(C_{down}\right(x_2+i,y_2+j)-\stackrel{\‾}{C_{down}\[r,g,b\]})}^2\·\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\mathrm{\Σ}}}\underset{\[r,g,b\]}{\mathrm{\Σ}}{\left(C_{up}\right(x_1+i,y_1+j)-\stackrel{\‾}{C_{up}\[r,g,b\]})}^2}}\\ \begin{array}{cc}\stackrel{\‾}{C_{down}\[r,g,b\]}=\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\mathrm{\Σ}}}{C}_{down}\[r,g,b\](x_2+i,y_2+j)& \stackrel{\‾}{C_{up}\[r,g,b\]}=\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\mathrm{\Σ}}}{C}_{up}\[r,g,b\](x_1+i,y_1+j)\end{array}\end{array}---\left(6\right)$

式中，N和M是相邻窗体区域的大小，C_up(x₁,y₁)是物点在上全景图中的灰度值，C_down(x₂,y₂)是在下全景图中找到的与之对应点的灰度值；

经过公式(6)计算后得到的值大于归一化相关匹配算法中的阈值，就可以认为已找到了相应的匹配特征点；根据上述思想，如果上全景图中物点在下全景图中找到了与极平面的附近之对应的匹配点，该点也必须是在极平面的附近；在归一化相关匹配算法中，N通常取6个像素点，而M的值通常根据图像的宽度来决定；

所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，在所述的捕捞对象点匹配单元中从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；

两个ODVS的入射角，即φ1和φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度dc在设计全景立体ODVS的结构时已经确定，公式(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定结果来确定的，也就是从所述的ODVS内外部参数库中读取的；

$tan\mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2\left|\right|u^{\′\′}|{|}^2+...+a_N|\left|u^{\′\′}\right|{|}^N}---\left(7\right)$

式中，φ为φ1或φ2；φ1和φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u”的垂直距离||u”||，因此可以通过公式(7)计算出φ1和φ2；接着利用三角关系公式(8)，求O点与P点的距离r，计算关系见附图8；

$\begin{array}{c}r=\stackrel{\‾}{OP}=\sqrt{{\stackrel{\‾}{AP}}^2+{(dc/2)}^2-2\stackrel{\‾}{AP}(dc/2)\cos A}\\ =\sqrt{{\[\frac{dc}{\sin (A+B)}\·\sin B\]}^2+{(dc/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}\·\sin B\cos A}\\ =\sqrt{{\[\frac{dc}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\]}^2+{(dc/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\cos \mathrm{\φ}2}\end{array}---\left(8\right)$

式中，∠A＝180°-φ2，∠B＝180°-φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为捕捞对象中心点P到O点的距离；

根据空间物点视觉测量实验结果，如附图10所示，在O点与P点的距离为200cm以内均有较好的检测精度，在这个距离范围内也是本发明所设计仿生机器手动作的范围，能满足捕捞对象的中心点P的测量精度要求；

所述的空间信息计算单元，得到捕捞对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和捕捞中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将捕捞对象的中心点P用笛卡尔坐标系表达，如公式(9)所示，

$\begin{array}{c}{x}_p=r_p\×{\mathrm{cos\φ}}_p\×{\mathrm{cos\β}}_p\\ y_p=r_p\×{\mathrm{cos\φ}}_p\×{\mathrm{sin\β}}_p\\ z_p=r_p\×{\mathrm{sin\φ}}_p\end{array}---\left(9\right)$

式中，x_p、y_p和z_p分别为捕捞对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为捕捞对象的中心点P在高斯坐标系中的值；

所述的仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置；由于本发明中共有四个仿生机器手，这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系，并用四个象限来划分四个仿生机器手的工作范围，a1、a2、a3和a4，如附图13所示，a1为前左仿生机器手的工作范围，a2为前右仿生机器手的工作范围，a3为后右仿生机器手的工作范围，a4为后左仿生机器手的工作范围；将各仿生机器手的固定点作为各仿生机器手的坐标原点，并分别建立前左仿生机器手X_a1、Y_a1、Z_a1，前右仿生机器手X_a2、Y_a2、Z_a2，后右仿生机器手X_a3、Y_a3、Z_a3，后左仿生机器手X_a4、Y_a4、Z_a4等构成的三维仿生机器手运动坐标系，如附图13所示；由于双目立体ODVS和仿生机器手均固定在捕捞机器人的行走部分的上面，因此，用公式(10)建立三维全景视觉坐标系和三维各捕捞仿生机器手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_{an}=X_v+x_n\\ Y_{an}=Y_v+y_n\\ Z_{an}=Z_v+z_n\end{array}\right.,(n=1,2,3,4)---\left(10\right)$

式中，X_an、Y_an和Z_an分别表示三维某一个捕捞仿生机器手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x_n、y_n和z_n分别表示某一个捕捞仿生机器手坐标系与全景视觉坐标系之间在三维坐标上的投影距离；

根据在所述的空间信息计算单元中计算得到的捕捞对象的中心点P所处的象限，确定由哪个捕捞仿生机器手进行捕捞，然后根据公式(10)计算得到该仿生机器手与捕捞对象的中心点P的位置关系，最后驱动捕捞模块进行捕捞动作。

实施例2

一种基于全景立体视觉的捕捞对象的识别和空间定位的处理流程是，在对捕捞对象的识别前，首先需要建立一个各种不同的捕捞对象的的特征库，同时也需要完成全景立体ODVS的内外参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在存储单元中，以便在使用捕捞机器人时调用；接着，捕捞机器人在海底进入捕捞作业流程，实现边行走边捕捞，具体的捕捞对象的识别和空间定位处理流程如下；

步骤1)：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2)：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行处理；

步骤3)：根据保存在捕捞对象的特征库中的捕捞对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像中的捕捞对象中心点；

步骤4)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像中的相应匹配点；

步骤5)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点以及在步骤4)得到的在下ODVS所获取的全景图像中的相应匹配点进行捕捞对象空间信息的计算，得到捕捞对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将捕捞对象的中心点用笛卡尔坐标系进行表达；

步骤6)：根据在步骤5)计算得到的捕捞对象的中心点位置确定由哪一个仿生机器手进行捕捞，然后将捕捞对象的中心点位置到全景立体ODVS中心点的坐标值映射到仿生机器手的坐标系中，最后根据在所确定的进行捕捞动作的仿生机器手的坐标系中的坐标值控制该捕捞仿生机器手的动作；

步骤7)：控制该仿生机器手将捕捞对象吸入到捕捞机器人的收集舱中；跳转到步骤2)。

Claims (8)

1.一种基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：包括双目立体全景视觉传感器和用于对捕捞对象的识别和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器连接；

所述的双目立体全景视觉传感器，包括两台具有相同参数的无死角的固定单视点的全方位视觉装置，以下简称ODVS，两台ODVS按照全方位的极线平面要求以背靠背的方式结合在一起，且两个ODVS的主轴在同一直线上；

所述的微处理器包括：

视频图像读取单元，用于读取两个ODVS的视频图像，并保存在指定的存储设备中，其输出与捕捞对象识别模块连接；

捕捞对象识别模块，用于根据捕捞对象的颜色和外形特征对捕捞机器人周围的全景图中的捕捞对象进行识别，其输出与捕捞对象点匹配单元相连接；

ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中；

比较标准特征参数抽取模块，用于从全景视频图像中抽取出捕捞对象的颜色和外形特征，并将这些特征值存放在捕捞对象的特征库中；

捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

空间信息计算单元，用于根据ODVS的标定结果以及捕捞对象点的匹配结果计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与仿生机器手空间位置计算单元连接；

仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置，其输出控制仿生机器手的动作，完成捕捞任务；

所述的仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置；由于本发明中共有四个仿生机器手，这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系，并用四个象限来划分四个仿生机器手的工作范围，a1、a2、a3和a4，a1为前左仿生机器手的工作范围，a2为前右仿生机器手的工作范围，a3为后右仿生机器手的工作范围，a4为后左仿生机器手的工作范围；将各仿生机器手的固定点作为各仿生机器手的坐标原点，并分别建立前左仿生机器手X_a1、Y_a1、Z_a1，前右仿生机器手X_a2、Y_a2、Z_a2，后右仿生机器手X_a3、Y_a3、Z_a3，后左仿生机器手X_a4、Y_a4、Z_a4等构成的三维仿生机器手运动坐标系；由于双目立体ODVS和仿生机器手均固定在捕捞机器人的行走部分的上面，因此，用公式(10)建立三维全景视觉坐标系和三维各捕捞仿生机器手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_{an}=X_v+x_n\\ Y_{an}=Y_v+y_n\\ Z_{an}=Z_v+z_n\end{array}\right.,(n=1,2,3,4)---\left(10\right)$

式中，X_an、Y_an和Z_an分别表示三维某一个捕捞仿生机器手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x_n、y_n和z_n分别表示某一个捕捞仿生机器手坐标系与全景视觉坐标系之间在三维坐标上的投影距离。

2.如权利要求1所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：所述的捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

空间上的同一捕捞对象点必定落在校正后的极线平面上，在结构上满足极线约束条件后，空间物点二维平面检索问题就简化为一维检索问题，从而为在两个全景图上点与点之间的快速匹配提供了基础；从纬度角度考虑，如果所设计的ODVS的入射角与成像平面上的像素点满足某种函数关系，所组合后的两个ODVS入射角之间又是可以方便计算的，又可以将一维检索问题再简化为在一条线上的某个区间内检索对应点的问题；如公式(5)所示，

180°≤φ1+φ2≤2φmax(5)

式中：φ1为下ODVS上的成像物点的入射角，φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角，在本发明中为120°；

进一步，采用归一化相关匹配算法来对上下两个全景图中的特征点进行匹配；该算法基于匹配特征点在相邻的窗体区域内具有相同灰度值原理，计算方法由公式(6)所示，

$Corr=\frac{\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\Σ}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\Σ}}\underset{\[r,g,b\]}{\Σ}\{C_{down}(x_2+i,y_2+j)-\stackrel{\‾}{C_{down}\[r,g,b\]}\}\·\{C_{up}(x_1+i,y_1+j)-\stackrel{\‾}{C_{up}\[r,g,b\]}\}}{\sqrt{\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\Σ}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\Σ}}\underset{\[r,g,b\]}{\Σ}{(C_{down}(x_2+i,y_2+j)-\stackrel{\‾}{C_{down}\[r,g,b\]})}^2\·\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\Σ}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\Σ}}\underset{\[r,g,b\]}{\Σ}{(C_{up}(x_1+i,y_1+j)-\stackrel{\‾}{C_{up}\[r,g,b\]})}^2\·}}---\left(6\right)$

其中

$\stackrel{\‾}{C_{down}\[r,g,b\]}=\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\Σ}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\Σ}}{C}_{down}\[r,g,b\](x_2+i,y_2+j)$

$\stackrel{\‾}{C_{up}\[r,g,b\]}=\underset{j=-\frac{N}{2}}{\overset{\frac{N}{2}}{\Σ}}\underset{i=-\frac{M}{2}}{\overset{\frac{M}{2}}{\Σ}}{C}_{up}\[r,g,b\](x_1+i,y_1+j)$

式中，N和M是相邻窗体区域的大小，C_up(x₁,y₁)是物点在上全景图中的灰度值，C_down(x₂,y₂)是在下全景图中找到的与之对应点的灰度值；

经过公式(6)计算后得到的值大于归一化相关匹配算法中的阈值，就可以认为已找到了相应的匹配特征点；根据上述思想，如果上全景图中物点在下全景图中找到了与极平面的附近之对应的匹配点，该点也必须是在极平面的附近；在归一化相关匹配算法中，N通常取6个像素点，而M的值通常根据图像的宽度来决定。

3.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：

所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，在所述的捕捞对象点匹配单元中从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；

两个上下ODVS的入射角，即φ1和φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度dc在设计全景立体ODVS的结构时已经确定，公式(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定结果来确定的，也就是从所述的ODVS内外部参数库中读取的；

$tan\mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2\left|\right|u^{\′\′}|{|}^2+...+a_N|\left|u^{\′\′}\right|{|}^N}---\left(7\right)$

式中，φ为φ1或φ2；φ1和φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u”的垂直距离||u”||，因此可以通过公式(7)计算出φ1和φ2；接着利用三角关系公式(8)，求O点与P点的距离r；

∠B＝180°-φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为捕捞对象中心点P到O点的距离。

4.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：所述的空间信息计算单元，得到捕捞对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和捕捞中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将捕捞对象的中心点P用笛卡尔坐标系表达，如公式(9)所示，

x_p＝r_p×cosφ_p×cosβ_p

y_p＝r_p×cosφ_p×sinβ_p(9)

z_p＝r_p×sinφ_p

式中，x_p、y_p和z_p分别为捕捞对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为捕捞对象的中心点P在高斯坐标系中的值。

5.如权利要求4所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：所述的仿生机器手空间位置计算单元，根据在所述的空间信息计算单元中计算得到的捕捞对象的中心点P所处的象限，确定由哪个捕捞仿生机器手进行捕捞，然后根据公式(10)计算得到该仿生机器手与捕捞对象的中心点P的位置关系，最后驱动捕捞模块进行捕捞动作。

6.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：所述的双目立体全景视觉传感器，包括两台具有相同参数的无死角的固定单视点的ODVS，在ODVS的折反射镜面设计上通过增大视觉垂直范围来扩大两个合成的ODVS视觉重叠区域来获得较大的双目立体视觉范围，并使双目立体ODVS具有同时知觉、融合力和立体感；组合时将上下两个ODVS的单视点固定在同一轴线上；考虑到所述的双目立体全景视觉传感器将在深海工作，需要具有较大的抗压强度，在结构上球面式的设计具有良好的抗压能力。

7.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于：执行捕捞动作的是由仿生机器手来实现的，仿生机器手具有两种功能，一种是完成捕捞机器人的行走，另一种是完成捕捞动作；本发明中一共有四个仿生机器手，分别固定在捕捞机器人本体的收集舱两侧前后，非常类似于海龟的四肢，由人工肌肉制成；仿生机器手的外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，通过分别控制三个空腔的水压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，实现三个自由度的控制；在捕捞机器人行走时，所述的仿生机器手支撑着所述的捕捞机器人本体；在所述的捕捞机器人进行捕捞时，仿生机器手的前端对准捕捞对象实现对准捕捞对象吸入捕捞；在仿生机器手中设置有捕捞管道，当仿生机器手的前端对准捕捞对象时所述的捕捞管道中产生脉冲式负压，将捕捞对象吸入到捕捞管道中，然后随着捕捞管道进入到捕捞舱内。

8.一种基于全景立体视觉的捕捞对象的识别和空间定位方法，其特征在于：在对捕捞对象的识别前，首先需要建立一个各种不同的捕捞对象的特征库，同时也需要完成全景立体ODVS的内外参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在ODVS内外部参数库中，以便下一次使用捕捞机器人时调用；接着，进入捕捞对象的识别和空间定位处理主要流程如下；

步骤1)：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2)：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行处理；

步骤3)：根据保存在捕捞对象的特征库中的捕捞对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像中的捕捞对象中心点；

步骤4)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像中的相应匹配点；

步骤5)：根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点以及在步骤4)得到的在下ODVS所获取的全景图像中的相应匹配点进行捕捞对象空间信息的计算，得到捕捞对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将捕捞对象的中心点用笛卡尔坐标系进行表达；

步骤6)：根据在步骤5)计算得到的捕捞对象的中心点位置确定由哪一个仿生机器手进行捕捞，然后将捕捞对象的中心点位置到全景立体ODVS中心点的坐标值映射到仿生机器手的坐标系中，最后根据在所确定的进行捕捞动作的仿生机器手的坐标系中的坐标值控制该捕捞仿生机器手的动作；

步骤7)：控制该仿生机器手将捕捞对象吸入到捕捞机器人的收集舱中；跳转到步骤2)。