CN110232711B - 面向海产品抓取的双目视觉实时感知定位方法、系统、装置 - Google Patents

面向海产品抓取的双目视觉实时感知定位方法、系统、装置 Download PDF

Info

Publication number
CN110232711B
CN110232711B CN201910487521.7A CN201910487521A CN110232711B CN 110232711 B CN110232711 B CN 110232711B CN 201910487521 A CN201910487521 A CN 201910487521A CN 110232711 B CN110232711 B CN 110232711B
Authority
CN
China
Prior art keywords
image
pair
tracking
result
system state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910487521.7A
Other languages
English (en)
Other versions
CN110232711A (zh
Inventor
王睿
崔少伟
王宇
张天栋
王硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910487521.7A priority Critical patent/CN110232711B/zh
Publication of CN110232711A publication Critical patent/CN110232711A/zh
Application granted granted Critical
Publication of CN110232711B publication Critical patent/CN110232711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及一种面向海产品抓取的双目视觉实时感知定位方法、系统、装置，旨在解决海产品感知定位精度不够导致跟踪失败的问题。本系统方法包括获取双目视觉图像对并进行极线对齐；获取当前系统状态，若为true，基于深度学习算法获取对齐后的图像对中海产品的目标检测结果并根据左图、右图跟踪结果对比目标检测结果的中心点，得到跟踪器跟踪结果；若为false，所述目标检测结果包含任一预设种类海产品目标，将左图和右图的检测结果组成点对集合，进行极线、位置匹配，得到跟踪器跟踪结果，否则重新获取图相对；根据跟踪器跟踪结果和当前系统状态获取海产品种类及三维坐标。本发明提高了海产品感知定位的精度及可靠性。

Description

面向海产品抓取的双目视觉实时感知定位方法、系统、装置
技术领域
本发明属于计算机视觉领域，具体涉及一种面向海产品抓取的双目视觉实时感知定位方法、系统、装置。
背景技术
在自主水下航行器的各种应用中，海产品捕捞是一个非常有挑战性的任务。而在海产品捕捞任务中，对海产品的实时感知与定位是任何捕捞系统中都必不可少的一部分。显然，实时感知定位系统可分为对海产品的实时感知和定位两部分：感知部分主要是检测海产品在航行器视野中的位置；定位则需要获取海产品相对于航行器的三维坐标。此外，由于海产品养殖场一般靠近光线充足的海岸线，因此视觉系统可作为探测和捕获系统中水下感知的主要方式。
在计算机视觉目标检测领域，从区域卷积神经网络R-CNN 方法提出之后，以深度学习为主的目标检测算法便占据了目标检测领域主导地位。在各式各样的深度学习网络架构中，Faster R-CNN、SSD以及 YOLO三大系列的目标检测算法是目前性能较为优异的。
在计算机视觉目标定位领域，基于双目视觉的目标定位系统具有成熟的原理及应用场景，而基于双目定位原理的立体匹配算法是影响和决定定位精度的核心问题。自上世纪80年代以来，基于颜色相似度匹配、基于灰度窗口匹配、自适应灰度窗口匹配、基于特征点匹配以及自适应支撑权重窗口匹配等立体匹配算法相继被提出。同时，一些基于深度学习的立体匹配算法在近两年也先后被提出。
此外，在目标跟踪领域也有一些性能显著的算法近些年来被提出。例如，核相关滤波器跟踪算法(KCF)、基于Siamese区域生成网络跟踪算法(SiameseRPN)等。在水下应用方面，Han等人提出了一种高效、准确的水下无纹理目标跟踪方法，该方法由检测阶段和跟踪阶段两种算法组成。Edgington等人提出了一种利用水下视频对动物进行检测、跟踪和分类的方法。基于视觉的目标检测(模板匹配)和跟踪(平均位移跟踪)技术也在相关文献中进行了研究。
尽管计算机视觉领域在近些年感知和定位方面都取得了很大进展，但在水下海产品捕捞这样一个对实时性能和定位精度都要求较高的应用场景下，我们仍需要展开必要的研究工作。例如，对双目定位系统来说，我们并不需要获取视野内全部物体的深度图，而仅仅是目标的深度即可满足任务要求。同时，即使到目前为止最先进的的目标跟踪算法仍会出现跟踪精度不够和跟踪失败的问题，而这些跟踪问题对我们定位的精度和可靠性都造成很大的影响。因此，我们需要改进和适配相关的视觉算法从而更好的完成水下海产品捕捞的任务。
发明内容
为了解决现有技术中的上述问题，即为了解决海产品感知定位精度不够导致跟踪失败的问题，本发明第一方面，提出了一种面向海产品抓取的双目视觉实时感知定位方法，该方法包括：
步骤S10，获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
步骤S20，获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行步骤S30；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行步骤S40，否则执行步骤S10；
步骤S30，获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
步骤S40，将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态；
步骤S50，根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
在一些优选的实施方式中，步骤S10“获取当前时刻双目视觉图像对”，需先获取感知定位的参数，所述感知定位的参数包括极线允许误差，位置相似度阈值，置信区间半径，无检测目标累计帧数，无检测目标最大累计帧数，当前系统状态。
在一些优选的实施方式中，步骤S30中“获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态”，其方法为：
分别获取第二图像对中左图、右图的跟踪结果，对比各图像对应的目标检测结果的中心点，若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，则用第二图像对中左图或右图目标检测结果更新跟踪器跟踪结果，并更新当前系统状态。
在一些优选的实施方式中，步骤S40中“将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果”，其方法为：
将第二图像对中左图、右图的检测结果一一组成检测点对，构建检测点对集合；
对检测点对集合中的各检测点对进行极线匹配和位置匹配，获取各检测点对的位置相似度；
直至检测点对集合中所有的检测点对匹配完毕，选择最大的位置相似度的检测点对进行初始化跟踪器跟踪结果。
在一些优选的实施方式中，“极线匹配”，其计算公式如下：
Dlc·y-Drc·y≤δ
其中，Dlc·y和Drc·y分别为目标检测结果点对(Dl，Dr)在第二图像对中左图、右图坐标系(极线对齐后)中的纵坐标，δ为极线允许误差，Dl为第二图像对中左图的目标检测结果，Dr为第二图像对中右图的目标检测结果。
在一些优选的实施方式中，“位置匹配”，其步骤为：
分别创建第二图像对中左图、右图目标检测结果的四个邻域窗口；
计算8个邻域窗口内各自的像素点的梯度值；
根据所述的梯度值将每个窗口的像素值归一化成8个方向；
基于归一化后的窗口计算第二图像对中左图、右图目标检测结果的相似度，将所得到的相似度与预设的位置相似度阈值进行对比，获取位置匹配结果。
在一些优选的实施方式中，“若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，则用第二图像对中左图或右图目标检测结果更新跟踪器跟踪结果，并更新当前系统状态”，其方法为：若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，直接更新当前系统状态；
若左图或右图跟踪结果和目标检测结果的中心点距离大于置信区间半径，统计无检测目标累计帧数，通过所述无检测目标累计帧数和所述无检测目标最大累计帧数的对比，获取对比结果，根据该对比结果更新当前系统状态。
本发明的第二方面，提出了一种面向海产品抓取的双目视觉实时感知定位系统，该系统包括对齐模块、检测模块、目标跟踪模块、立体匹配模块、输出模块；
所述的对齐模块，配置为获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
所述的检测模块，配置为获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行目标跟踪模块；若当前系统状态为 false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行立体匹配模块，否则执行对齐模块；
所述的目标跟踪模块，配置为获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
所述的立体匹配模块，配置为将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态；
所述的输出模块，配置为根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行上述的面向海产品抓取的双目视觉实时感知定位方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行上述的面向海产品抓取的双目视觉实时感知定位方法。
本发明的有益效果：
本发明提高了海产品感知和定位的精度及可靠性。针对复杂水下环境中的海产品，采用基于深度学习的目标检测算法具有优异的检测性能。对于同时出现在两个视野内的同一目标，立体匹配子进程可以实时且精准的获取其三维坐标并初始化跟踪器，从而实现从下一帧双目图像开始执行目标跟踪进程，实时返回该目标的三维坐标。同时，本方法中采用的添加修正机制的目标跟踪算法对检测精度和检测失败都有了显著的改善。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的面向海产品抓取的双目视觉实时感知定位方法的流程示意图；
图2本发明一种实施例的面向海产品抓取的双目视觉实时感知定位系统的框架示意图
图3是本发明一种实施例的双目视觉图像对的检测结果的示例图；
图4是本发明一种实施例的双目视觉图像对中左图一个检测结果的19个点对的示例图；
图5是本发明一种实施例的双目视觉图像对中左图一个检测结果的19个点对经过极线匹配删选后得到的3个点对的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的面向海产品抓取的双目视觉实时感知定位方法，如图1所示，包括以下步骤：
步骤S10，获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
步骤S20，获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行目标跟踪模块；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行立体匹配模块，否则执行对齐模块；
步骤S30，获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
步骤S40，将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态；
步骤S50，根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
为了更清晰地对本发明面向海产品抓取的双目视觉实时感知定位方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S10，获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对。
本实施例中，首先初始化目标参数，并加载海产品目标检测器和跟踪器，获取水下目标的当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐。将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对。
其中，初始化目标参数包括极线允许误差6，位置相似度阈值θ，置信区间半径∈，无检测目标累计帧数TNTnum＝0，无检测目标最大累计帧数TNTmax，当前系统状态TF＝false。同时加载海产品目标检测器和跟踪器。如果是当前帧不是第一帧，则目标参数为上一帧获取目标参数。
极线对齐是通过双目相机标定参数求解得到的，其目标是将双目图像中左图、右图极线对齐。
步骤S20，获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行步骤S30；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行步骤S40，否则执行步骤S10。
本实施例中，首先获取当前系统状态，若当前系统状态为 true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并进行目标跟踪，即上一时刻已经匹配到目标。若当前系统状态为false，则基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，该目标检测结果包含任一预设种类海产品目标，则进行立体匹配，否则重新获取双目视觉图相对。
使用基于深度学习的目标检测算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，这里采用基于的深度学习的YOLO v3 320架构的目标检测算法，左图检测结果记为Dl，右图检测结果记为Dr，其中，0≤l≤m，0≤r≤n，m和n分别为左图和右图检测结果数量。检测结果为5维数组[x，y，h，w，c]，x、y分别为检测结果在图像中横纵坐标，h、w分为检测结果宽和高，c为检测结果种类。
步骤S30，获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态。
在本实例中，若当前系统状态为true，无论步骤S20的检测结果包含不包含任一预设种类海产品目标，都执行目标跟踪子进程，其具体步骤为：
步骤A321，利用原始KCF目标跟踪算法获取目标跟踪器的跟踪结果，并对第二图像对中左图、右图的跟踪结果进行更新得到更新结果Tl和Tr。如果左图的跟踪结果Tl与左图中某检测结果Dl的中心点之间的欧氏距离小于置信区间半径∈，则利用该检测结果Dl更新左图跟踪器的结果；同样，如果右图跟踪结果Tr与右图中某检测结果Dr的中心点之间的欧氏距离小于置信区间半径∈，则利用该检测结果Dr更新右图跟踪器的结果。
若第二图像对中左图、右图的检测结果更新跟踪器的结果有多个，则选择中心位置最近的检测结果，实际中不会出现此情况，阈值太大更新没有意义。
步骤A322，第二图像对中左图或右图的跟踪器结果无法被检测结果更新，则将无检测目标累计帧数TNTnum加1；反之，如果第一图像或第二图像中的跟踪器结果能够被检测结果更新，则将无检测目标累计帧数TNTnum置为0。
步骤S40，将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态。
在本实例中，基于步骤S20获取的目标检测结果包含任一预设种类海产品目标且当前系统状态为false，则需要对第二图像对中的左、右图执行立体匹配子进程，具体步骤为：
步骤A411，将第二图像对中左图的检测结果和右图的检测结果进行配对。左图的检测结果(Dl)和右图的检测结果(Dr)一一组成点对((Dl，Dr))，假设在左图中有m个检测结果，在右图中有n个检测结果，则可得到m*n个点对；
步骤A412，初始化匹配点对向量MPPV用于存储成功匹配的点对，将m*n个点对中同时满足极线匹配条件和位置匹配条件的点对作为匹配成功的点对存入MPPV中。设某一点对(Dl，Dr)的中心点 (Dlc，Drc)，当中心点对满足式(1)时，则认为其满足极线匹配条件；反之，则认为其不满足极线匹配条件；
Dlc·y-Drc·y≤δ (1)
其中，Dlc·y和Drc·y分别为检测结果点对(Dl，Dr)在第二图像对中左图、右图坐标系中的纵坐标；δ为初始化参数中的极线允许误差，为预设值，此值需根据相机成像质量进行调整设置，如果δ设定较大，则极线匹配条件较为容易满足。
步骤A413，判断某一点对(Dl，Dr)是否满足位置匹配条件的过程具体步骤如下：。
步骤A4131，分别创建检测结果Dl和Dr的四个邻域小窗口 Sl1，Sl2，Sl3，Sl4和Sr1，Sr2，Sr3，Sr4，其中四个小窗口位置分别处于检测结果的对角线上，且宽度和高度为检测结果Dl宽度wl和高度hl的一半，分别为1/2wl和1/2hl；
步骤A4132，分别计算8个小窗口内各个像素点的梯度值，如公式(2)所示：
Figure GDA0003089470820000111
其中，gradi，j表示某小窗口在像素位置(i，j)处的梯度值，gx为 x方向的梯度，gy为y方向的梯度，gx＝0.5*(f(i+1，j)-f(i-1，j))， gy＝0.5*(f(i，j+1)-f(i，j-1))，f(i，j)表示小窗口在像素位置(i，j)处的灰度值，梯度方向φi，j＝tan-1|gy/gx|。
步骤A4133，将每个小窗口内像素值归一化成8个方向，如式(3)所示：
Figure GDA0003089470820000121
其中，n为方向，共8个方向，n＝(0，1，..7)，an表示该小窗口在n方向上梯度幅值，
Figure GDA0003089470820000123
为区域内某像素点在n方向的梯度大小，如果
Figure GDA0003089470820000124
Figure GDA0003089470820000125
如果
Figure GDA0003089470820000126
Figure GDA0003089470820000127
column和row表示小窗口的像素列数和行数。
步骤A4134，计算检测结果Dl和Dr的相似度similaritya，b，如式(4)所示：
Figure GDA0003089470820000122
其中，a为左图检测结果，b为右图检测结果，bn，i同an，i一样，为小窗口i在n方向上梯度幅值，在这里一个为左图。一个为右图，ω表示小窗口的个数。
步骤A4135，如果检测结果Dl和Dr的相似度similaritya，b＜θ，当前系统状态为false，否则设置当前系统状态true。
步骤A414，对MPPV的状态进行判断。如果MPPV中没有点对，则继续将当前系统状态TF设定为false；反之，如果MPPV中存在点对且数量大于等于1，则将当前系统状态TF设定为true，并从中选择最大位置相似度的点对作为目标点对来初始化第二图像对中左图、右图的目标跟踪器。这里位置相似度的计算采用位置匹配中对similaritya，b的计算方式。
对于立体匹配子进程的验证，以其中一帧双目视觉图像对作为示例进行立体匹配子进程相关实验。首先该双目视觉图像对的检测结果如图3所示，其中左图中有20个检测结果，而右图中有19个检测结果，则一共有20*29＝380个点对；以包含左图中某检测结果的19个点对为示例，如图4所示；在这19个点对中，满足极线匹配条件的仅有3对点对，1-2，1-3和1-4，如图5所示。分别计算这三个点对的位置相似度为0.15，0.07以及0.88，其中只有1-4点对位置相似度小于位置相似度阈值θ＝0.75，则只有1-4点对满足位置匹配条件，可存入MPPV中。
步骤S30或者步骤S40执行完之后，如果当前的无检测目标累计帧数TNTnum大于无检测目标最大累计帧数TNTmax或者系统当前的跟踪结果不满足极线匹配条件或者位置匹配条件时，将当前系统状态TF 设定为false，并将无检测目标累计帧数TNTnum置为0。反之，通过当前系统的跟踪结果计算目标的三维坐标[x，y，z]。
步骤S50，根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标，并获取海产品的种类及三维坐标。
本实例中，获取当前系统状态，如果当前系统状态 (TF＝false)时，输出当前无目标；反之，当前系统状态(TF＝true) 时，基于跟踪器的跟踪结果输出当前跟踪的海产品种类(χ)及其在双目系统坐标系下的三维坐标[x，y，z]。
可以循环读取最新帧双目图像进行处理，实现实时视频处理的性能。
本发明第二实施例的一种面向海产品抓取的双目视觉实时感知定位系统，如图2所示，包括：对齐模块100、检测模块200、目标跟踪模块300、立体匹配模块400、输出模块500；
对齐模块100，配置为获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
检测模块200，配置为获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行目标跟踪模块300；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行立体匹配模块400，否则执行对齐模块100；
目标跟踪模块300，配置为获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
立体匹配模块400，配置为将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态。
输出模块500，配置为根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的面向海产品抓取的双目视觉实时感知定位系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的面向海产品抓取的双目视觉实时感知定位方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的面向海产品抓取的双目视觉实时感知定位方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种面向海产品抓取的双目视觉实时感知定位方法，其特征在于，该方法包括：
步骤S10，获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
步骤S20，获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行步骤S30；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，若第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行步骤S40，否则执行步骤S10；
步骤S30，获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
步骤S40，将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态；
步骤S50，根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
2.根据权利要求1所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，步骤S10“获取当前时刻双目视觉图像对”，需先获取感知定位的参数，所述感知定位的参数包括极线允许误差，位置相似度阈值，置信区间半径，无检测目标累计帧数，无检测目标最大累计帧数，当前系统状态。
3.根据权利要求2所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，步骤S30中“获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态”，其方法为：
分别获取第二图像对中左图、右图的跟踪结果，对比各图像对应的目标检测结果的中心点，若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，则用第二图像对中左图或右图目标检测结果更新跟踪器跟踪结果，并更新当前系统状态。
4.根据权利要求2所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，步骤S40中“将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果”，其方法为：
将第二图像对中左图、右图的检测结果一一组成检测点对，构建检测点对集合；
对检测点对集合中的各检测点对进行极线匹配和位置匹配，获取各检测点对的位置相似度；
直至检测点对集合中所有的检测点对匹配完毕，选择最大的位置相似度的检测点对进行初始化跟踪器跟踪结果。
5.根据权利要求4所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，“极线匹配”，其计算公式如下：
Dlc.y-Drc.y≤δ
其中，Dlc·y和Drc.y分别为目标检测结果点对(Dl，Dr)在第二图像对中极线对齐后的左图、右图坐标系中的纵坐标，δ为极线允许误差，Dl为第二图像对中左图的目标检测结果，Dr为第二图像对中右图的目标检测结果。
6.根据权利要求4所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，“位置匹配”，其步骤为：
分别创建第二图像对中左图、右图目标检测结果的四个邻域窗口；
计算8个邻域窗口内各自的像素点的梯度值；
根据所述的梯度值将每个窗口的像素值归一化成8个方向；
基于归一化后的窗口计算第二图像对中左图、右图目标检测结果的相似度，将所得到的相似度与预设的位置相似度阈值进行对比，获取位置匹配结果。
7.根据权利要求3所述的面向海产品抓取的双目视觉实时感知定位方法，其特征在于，“若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，则用第二图像对中左图或右图目标检测结果更新跟踪器跟踪结果，并更新当前系统状态”，其方法为：若跟踪结果和目标检测结果的中心点距离小于所述置信区间半径，直接更新当前系统状态；
若左图或右图跟踪结果和目标检测结果的中心点距离大于置信区间半径，统计无检测目标累计帧数，通过所述无检测目标累计帧数和所述无检测目标最大累计帧数的对比，获取对比结果，根据该对比结果更新当前系统状态。
8.一种面向海产品抓取的双目视觉实时感知定位系统，其特征在于，该系统包括对齐模块、检测模块、目标跟踪模块、立体匹配模块、输出模块；
所述的对齐模块，配置为获取当前时刻双目视觉图像对，并通过双目相机标定参数对该双目视觉图像对中两个图像进行极线对齐；将双目视觉图像对作为第一图相对，将极线对齐后的双目视觉对作为第二图像对；
所述的检测模块，配置为获取当前系统状态，若当前系统状态为true，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果并执行目标跟踪模块；若当前系统状态为false，基于深度学习算法对第二图像对进行预设种类海产品目标检测，获取海产品的目标检测结果，若第二图像对中左图的检测结果和右图的检测结果都包含任一预设种类海产品目标，则执行立体匹配模块，否则执行对齐模块；
所述的目标跟踪模块，配置为获取第二图像对中左图、右图当前时刻的跟踪结果，对比左图、右图目标检测结果的中心点，得到跟踪器跟踪结果并更新当前系统状态；
所述的立体匹配模块，配置为将第二图像对中左图的检测结果和右图的检测结果组成点对集合，进行极线匹配和位置匹配后初始化跟踪器跟踪结果，并更新当前系统状态；
所述的输出模块，配置为根据跟踪器的跟踪结果和当前系统状态，获取海产品的种类及三维坐标。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的面向海产品抓取的双目视觉实时感知定位方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的面向海产品抓取的双目视觉实时感知定位方法。
CN201910487521.7A 2019-06-05 2019-06-05 面向海产品抓取的双目视觉实时感知定位方法、系统、装置 Active CN110232711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910487521.7A CN110232711B (zh) 2019-06-05 2019-06-05 面向海产品抓取的双目视觉实时感知定位方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487521.7A CN110232711B (zh) 2019-06-05 2019-06-05 面向海产品抓取的双目视觉实时感知定位方法、系统、装置

Publications (2)

Publication Number Publication Date
CN110232711A CN110232711A (zh) 2019-09-13
CN110232711B true CN110232711B (zh) 2021-08-13

Family

ID=67859249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487521.7A Active CN110232711B (zh) 2019-06-05 2019-06-05 面向海产品抓取的双目视觉实时感知定位方法、系统、装置

Country Status (1)

Country Link
CN (1) CN110232711B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969158B (zh) * 2019-11-06 2023-07-25 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103057678A (zh) * 2012-12-18 2013-04-24 浙江工业大学 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统
CN103093479A (zh) * 2013-03-01 2013-05-08 杭州电子科技大学 一种基于双目视觉的目标定位方法
EP3175324A1 (en) * 2014-07-28 2017-06-07 Sony Corporation Information processing for motion sickness prevention in an image display system
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861177B2 (en) * 2015-11-11 2020-12-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103057678A (zh) * 2012-12-18 2013-04-24 浙江工业大学 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统
CN103093479A (zh) * 2013-03-01 2013-05-08 杭州电子科技大学 一种基于双目视觉的目标定位方法
EP3175324A1 (en) * 2014-07-28 2017-06-07 Sony Corporation Information processing for motion sickness prevention in an image display system
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Detection and localization of underwater targets based on monocular vision";Liu Jianguo 等;《2017 2nd International Conference on Advanced Robotics and Mechatronics (ICARM)》;20180201;100-105 *
"Target recognition and location based on binocular vision system of UUV";Xu Jian 等;《2015 34th Chinese Control Conference (CCC)》;20150914;3959-3963 *
"机器人水下焊缝跟踪中双目立体视觉系统";肖心远 等;《焊接设备与材料》;20090131;第38卷(第1期);37-40 *
"水下双目立体视觉三维定位技术研究";呼志刚;《中国优秀硕士学位论文全文数据库-信息科技辑》;20120415;第2012年卷(第4期);I138-2186 *
陈双玉." 基于双目立体视觉的运动目标检测与跟踪".《中国优秀硕士学位论文全文数据库-信息科技辑》.2017,第2017年卷(第7期),I138-595. *

Also Published As

Publication number Publication date
CN110232711A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN107833249B (zh) 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN111640157A (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
US9280832B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN106529538A (zh) 一种飞行器的定位方法和装置
CN108305288B (zh) 用于静止轨道对地观测卫星线列仪器的恒星质心提取方法
Pizarro et al. Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms.
KR20170131500A (ko) 3차원 모델링 방법 및 장치
CN111563878A (zh) 一种空间目标定位方法
Fiala et al. Visual odometry using 3-dimensional video input
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
CN112991401B (zh) 车辆运行轨迹追踪方法、装置、电子设备和存储介质
US20180330520A1 (en) Method and system for calibrating a velocimetry system
CN111680699A (zh) 一种基于背景抑制的空地红外时敏弱小目标检测方法
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN110232711B (zh) 面向海产品抓取的双目视觉实时感知定位方法、系统、装置
Li et al. Vision-based target detection and positioning approach for underwater robots
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN109741370B (zh) 一种目标跟踪方法和装置
CN115144828B (zh) 一种智能汽车多传感器时空融合的自动在线标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant