CN113658274B - 用于灵长类动物种群行为分析的个体间距自动计算方法 - Google Patents

用于灵长类动物种群行为分析的个体间距自动计算方法 Download PDF

Info

Publication number
CN113658274B
CN113658274B CN202110967116.2A CN202110967116A CN113658274B CN 113658274 B CN113658274 B CN 113658274B CN 202110967116 A CN202110967116 A CN 202110967116A CN 113658274 B CN113658274 B CN 113658274B
Authority
CN
China
Prior art keywords
target
information
dimensional coordinate
image
right images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110967116.2A
Other languages
English (en)
Other versions
CN113658274A (zh
Inventor
谢小峰
唐荣年
邹勇华
龙文兴
周晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202110967116.2A priority Critical patent/CN113658274B/zh
Publication of CN113658274A publication Critical patent/CN113658274A/zh
Application granted granted Critical
Publication of CN113658274B publication Critical patent/CN113658274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于灵长类动物种群行为分析的个体间距自动计算方法、装置及计算机可读存储介质。其中，方法包括预先基于深度学习算法训练得到用于对输入的待处理图像组中的各图像所包含的目标进行目标识别并输出目标相应位置信息的目标识别模型。将双目摄像头输出的左右两目图像进行统一坐标系处理，得到待处理图像组；将待处理图像组输入至目标识别模型，得到目标分别在待处理图像组中左右两目图像的位置信息。根据目标在左右两目图像的位置信息计算视差信息，并通过双目摄像头的内部参数和外部参数计算视差信息对应的三维坐标信息，最后基于各目标的三维坐标信息进行测距计算，有效提高生物种群各生物个体之间的间距计算效率。

Description

用于灵长类动物种群行为分析的个体间距自动计算方法
技术领域
本申请涉及测距计算机技术领域，特别是涉及一种用于灵长类动物种群行为分析的个体间距自动计算方法、装置及计算机可读存储介质。
背景技术
在对生物种群进行行为分析时，生物种群中各生物个体的目标位置、各生物个体之间的间距都是必不可少的。为了对生物个体之间的间距进行测量，传统方法通常通过在生物个体上安装追踪器来确定目标生物个体的目标位置，例如：在需要研究的对应种群物种的身上加装追踪探测器，使其能够实时反应目标位置，反馈目标种群之间的关系。但是，由于追踪传感器的成本高，而且还需要通过捕捉生物个体再进行安装，容易出现不稳定因素，诸如类似于追踪器故障导致的追踪失败或者是追踪器掉落等，而且对于研究个体间距的问题时不便于将一个种群中的所有个体全部安装定位传感器，测距成本较高，且容易对生物个体造成伤害。
为了解决传统方法存在的弊端，相关技术通过基于视觉的移动机器人的定位与地图构建来进行目标位置的确定，例如：通过摄像头将获取的实时环境视频上传至PC(personal computer，个人计算机)端，利用计算机来进行图像处理和SLAM(SimultaneousLocalization and Mapping)算法中的位姿估计和地图构建与储存，解决移动机器人同时定位与地图构建的问题。
但是，现有的移动机器人，无法做到直接通过图像获取环境的深度信息，且摄像头获取的图像信息需要经过不同角度的两张图像，对于运动中的单个物体的测距或许可以提高拍摄的频率或者提高视频帧率获取，但是其需要牺牲识别速率。另外，现有的视觉机器人需要通过传输信息至PC端来获取当前的定位和地图信息，二者数据交互需要花费时间和资源，导致整个测距过程耗时太长，无法满足高效的目标定位和个体间距计算的现实需求。
发明内容
本申请提供了一种用于灵长类动物种群行为分析的个体间距自动计算方法、装置及计算机可读存储介质，有效提高了生物种群中各生物个体之间的间距的计算效率。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种用于灵长类动物种群行为分析的个体间距自动计算方法，包括：
预先基于深度学习算法训练目标识别模型，所述目标识别模型用于对待处理图像组中各图像的目标进行识别并输出相应位置信息；
对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组；
将所述待处理图像组输入至所述目标识别模型，得到所述目标分别在所述待处理图像组中左右两目图像的位置信息；
根据所述目标在左右两目图像的位置信息计算视差信息，并通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距。
可选的，所述训练目标识别模型包括：
构建卷积神经网络模型；
基于训练样本集对所述卷积神经网络模型进行训练，在训练过程中，通过反向传播优化所述卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
可选的，所述卷积神经网络模型包括多个网络层；每个网络层利用3*3的卷积核进行图像特征提取，且均包括1*1的卷积层和残差层。
可选的，所述对双目摄像头的左右两目图像的坐标系进行统一处理，包括：
利用旋转平移变化矩阵对左右两目图像进行畸变校正和立体校正，以获取同一坐标系下的左右两目图像。
可选的，所述通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，包括：
在对所述目标的左右两目图像进行立体校正过程中，根据所述双目摄像头的内部参数和外部参数计算重投影矩阵；
通过所述重投影矩阵将所述视差信息中各像素点信息映射至三维坐标系中，得到所述视差信息对应的三维坐标信息。
可选的，所述通过重投影矩阵计算所述视差信息对应的三维坐标信息之后，包括：
预先设定所述目标在图像中的允许坐标取值范围；
获取同一目标的多个三维坐标信息；
基于所述允许坐标取值范围，对每一目标的多个三维坐标信息进行比对以去除异常数据，得到候选位置数据；
根据各候选位置数据确定所述目标的三维坐标信息。
本发明实施例另一方面提供了一种用于灵长类动物种群行为分析的个体间距自动计算装置，包括：
模型预训练模块，用于预先基于深度学习算法训练目标识别模型，所述目标识别模型用于对待处理图像组中各图像的目标进行识别并输出相应位置信息；
图像校正处理模块，用于对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组；
像素坐标获取模块，用于将所述待处理图像组输入至所述目标识别模型，得到所述目标分别在所述待处理图像组中左右两目图像的位置信息；
视差计算模块，用于根据所述目标在左右两目图像的位置信息计算视差信息；
测距模块，用于通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距。
可选的，所述模型预训练模块进一步用于：构建卷积神经网络模型；基于训练样本集对所述卷积神经网络模型进行训练，在训练过程中，通过反向传播优化所述卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
本发明实施例还提供了一种用于灵长类动物种群行为分析的个体间距自动计算装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于灵长类动物种群行为分析的个体间距自动计算程序，所述用于灵长类动物种群行为分析的个体间距自动计算程序被处理器执行时实现如前任一项所述用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
本申请提供的技术方案的优点在于，先利用深度学习网络准确识别出图像中的目标物体并输出该目标的像素坐标，再通过双目视觉的坐标转换方法转换到三维坐标系下获取其三维坐标，将图片像素坐标准确映射到现实中的三维坐标系中，在三维坐标系中对所需测距的两个目标自动进行个体间距计算。整个过程是通过外置双目摄像头进行远距离观测，在不破坏目标对象的生存环境的基础上可以进行，同时也可以不用通过捕捉的方式安装追踪探测器，解决传统方法存在的技术弊端。可以将整个计算方案移植入微机中，通过微机自己探测目标和获取目标位置并储存，无需过度依赖网络，也无需不用通过PC互传交换信息，进而可有效提高生物个体位置的计算效率，能够快速实时反映两生物个体之间的间距，可以满足高效的目标定位和个体间距计算的现实需求，还可同时对图像中的多目标进行同时检测计算，实用性更好。
此外，本发明实施例还针对用于灵长类动物种群行为分析的个体间距自动计算方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于灵长类动物种群行为分析的个体间距自动计算方法的流程示意图；
图2为本发明实施例提供的一种残差层的结构示意图；
图3为本发明实施例提供的用于灵长类动物种群行为分析的个体间距自动计算装置的一种具体实施方式结构图；
图4为本发明实施例提供的用于灵长类动物种群行为分析的个体间距自动计算装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种用于灵长类动物种群行为分析的个体间距自动计算方法的流程示意图，本发明实施例可包括以下内容：
S101：预先基于深度学习算法训练目标识别模型。
本实施例的目标识别模型用于对待处理图像组中各图像的目标进行识别并输出相应位置信息。目标识别模型可基于任何一种深度学习网络，如卷积神经网络等，网络训练的实质就是通过卷积和池化等一系列操作提取输入图片特征，通过特征对网络的传递层中的权重进行赋值，并且通过于预设值进行对比进行损失函数的确定，并采用寻优算法如梯度下降方法寻找使得梯度最小的损失函数的值。在目标识别模型对输入图像进行处理过程中，通过对图片进行扫描列出多个目标框。根据每个目标框的置信度得分进行排序，选择置信度最高的边界框添加到最终输出列表中并将其他边界框从列表中删除。计算所有边界框与置信度最高的边界框的IoU(Intersection over Union，交并比)，然后删除IoU大于阈值的边界框并且重复操作直到边界框列表为空。在使用边界框扫描图片，可利用非极大值抑制减少图中标定框的数量，以获取最精确的标定框并获取框的边界坐标信息。其中，在目标检测中通过交并比来计算表示“预测的边框”和“真实的边框”的交叠率，换而言之即是两者交集和并集的比值。其最为理想的情况是两者完全重叠，即交集和并集比值为1。非极大值抑制是指在物体检测过程中，对于同一物体可能会有许多预测框，这些预测框会有相互重叠的部分，而非极大值抑制就是获取最优框除去非最优解的方法。
S102：对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组。
为了更好的进行用于灵长类动物种群行为分析的个体间距自动计算，本申请所采用的图像采集设备为双面摄像头，双目摄像头同时采集两张图像作为一组图像，为了提高后续图像处理精度，可在利用双目摄像头获取左右两目的图片置换，对采集回来的图片信息进行旋转翻折变换来修正镜头畸变导致的图像误差，也即可利用旋转平移变化矩阵对左右两目图像进行畸变校正，同时还可进行立体校正使左右两目的图片的统一坐标系，从而获取处于同一坐标系下的左右两目图像，并且将目标物的坐标通过像素图片中的对应点表现。
S103：将待处理图像组输入至目标识别模型，得到目标分别在待处理图像组中左右两目图像的位置信息。
可以理解的是，双目摄像头的左右两目各采集一张图像，这两张图像作为一组图像输入至目标识别模型中，目标识别模型对每张图像进行目标识别，并将识别出的目标在图像中的二维坐标信息进行输出，也即得到图像中目标的像素坐标信息。
S104：根据目标在左右两目图像的位置信息计算视差信息，并通过双目摄像头的内部参数和外部参数计算视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距。
在进行视差信息计算之前，可先将左右两目图像进行灰度化处理。双目摄像头的内外参数也即左右摄像头的内部参数矩阵和外部参数矩阵可以确定像素坐标和三维坐标之间的转换关系，将图中的坐标进行诸如旋转平移缩放等操作映射到现实坐标系中，得到其实际的3D坐标。作为一种可选的实施方式，可在对目标的左右两目图像进行立体校正过程中，根据双目摄像头的内部参数和外部参数计算重投影矩阵；通过重投影矩阵将视差信息中各像素点信息映射至三维坐标系中，得到视差信息对应的三维坐标信息。
本实施例获取目标的三维坐标的方法是通过将图片进行整体映射，首先将三通道的彩色图片映射为包含像素值的深度图，由图像识别获取的目标坐标信息对应像素值获取深度信息。并且通过重映射矩阵将像素值信息映射回三维信息。从总体上来看，对图像的深度信息获取就是通过坐标系的映射完成的。
在本发明实施例提供的技术方案中，先利用深度学习网络准确识别出图像中的目标物体并输出该目标的像素坐标，再通过双目视觉的坐标转换方法转换到三维坐标系下获取其三维坐标，将图片像素坐标准确映射到现实中的三维坐标系中，在三维坐标系中对所需测距的两个目标进行个体间距计算。整个过程是通过外置双目摄像头进行远距离观测，在不破坏目标对象的生存环境的基础上可以进行，同时也可以不用通过捕捉的方式安装追踪探测器，解决传统方法存在的技术弊端。可以将整个计算方案移植入微机中，通过微机自己探测目标和获取目标位置并储存，无需过度依赖网络，也无需不用通过PC互传交换信息，进而可有效提高生物个体位置的计算效率，能够快速实时反映两生物个体之间的间距，还可同时对图像中的多目标进行同时检测计算，实用性更好。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。
在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出目标识别模型的一种训练方式，可包括如下步骤：
构建卷积神经网络模型；
基于训练样本集对卷积神经网络模型进行训练，在训练过程中，通过反向传播优化卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
其中，本实施例的卷积神经网络模型可包括多个网络层每个网络层利用3*3的卷积核进行图像特征提取，且均包括1*1的卷积层和残差层。残差层可使深度神经网络能够提取更多的信息，然而随着深度的增加，会因为某些原因使得梯度为零或者梯度成指数增长，同时当随着训练网络逐渐加深，会逐渐产生训练错误先减少再增加的问题，这个问题也并不是过拟合所产生的，而是由于网络变深变得难以训练所导致。因此通过一个残差结构运用快捷链接和恒等映射其结构可以大致表现为图2所示结构。举例来说，可通过构建五十三层网络，每一层都由一个1*1起降维作用的卷积、一个3*3的卷积核提取图片特征以及一个残差层组成的卷积神经网络模型，由该网络模型对输入图片进行卷积、池化等操作来实现图像特征的提取。当前，卷积神经网络模型可以替换为其他网络结构，例如可以替换成其他的轻量级移动终端神经网络。其网络结构与本实施例使用的53层的网络结构的差别在于其能在确保准确率的前提下，有更小的体积和更快的速度，这对于需要在野外搭设的观察装置来说是十分适用的一点。其本质上还是通过深度学习网络进行目标识别以及坐标确定，因此仍然属于本实施例的范畴。
本实施例可利用梯度下降法将通过特征提取以后获得的权重朝着损失函数低的方向修改，结合动量法和指数加权平均的方法，使梯度下降的学习率能够自适应修正，使得网络能够自主识别目标内容。具体的，在梯度下降获取最优权重时，通过动量方法，利用前后两次方向的比较来得到学习率的自适应效果，并且结合指数加权平均，使其在不断更新权重的同时，不至于使学习率降为0从而无法继续学习，提高模型训练精度，有利于提升个体间距自动计算精度。
为了进一步提高个体间距计算精度，在S104的通过双目摄像头的内部参数和外部参数计算视差信息对应的三维坐标信息之后，还可包括下述内容：
A1：预先设定目标在图像中的允许坐标取值范围。本步骤是设定目标的检测坐标左右上下的取值范围，如果在允许坐标取值范围内，则表明S104计算得到的三维坐标是正确的，如果不在允许坐标取值范围内，则表明S104计算得到的三维坐标是异常数据。
A2：获取同一目标的多个三维坐标信息。本步骤中的多个三维坐标信息是指同一时刻下采集均包含目标的多张图像，或者是说目标所在场景中所求测距目标并未发生移动情况下的多张图像。对每一组图像，按照S102-S103方法计算每张图像中目标的三维坐标信息。三维坐标信息的个数可根据实际应用场景灵活选择，例如可为3个三维坐标信息，这均不影响本申请的实现。
A3：基于允许坐标取值范围，对每一目标的多个三维坐标信息进行比对以去除异常数据，得到候选位置数据。异常数据包括但并不限制于距离突变、深度无法检测或者检测异常的数据。
A4：根据各候选位置数据确定目标的三维坐标信息。例如可根据将每个候选位置数据取平均作为该目标最终的三维坐标信息。
本实施例通过设定目标的检测坐标左右上下的取值范围，对同一目标进行多次三维坐标获取，并且通过多组数据对比删除距离突变即深度无法检测或者检测异常的点，最终获取平均距离以提高精度。进一步提高图中坐标点的代表物体本身的程度，使其不至于在物体过近时无法通过中心点代表物体本身而发生深度混乱进而造成测量不准确。
为了使所属领域技术人员更加清楚明白本申请的技术方案，本申请以目标识别模型基于YOLO v3网络结构训练所得、计算长臂猿个体间距为例阐述，可包括下述内容：
B1：获取长臂猿图片信息数据集，建立卷积神经网络对获取的数据集进行特征提取和图片转换。此处的图像转换是指像素坐标与三维坐标之间转换。通过不同层数的卷积提取特征得到三个输出图像形状，并且通过三个预测框提高预测的准确度。通过损失函数估量模型的预测值与真实值的不一致程度，并且通过反向传播优化网络的权重，通过多轮优化得到最优权重参数得到一个高精度的长臂猿目标预测模型，并且标定出详细的坐标信息。对长臂猿图像数据集进行特征提取并且训练出一个能够精确识别目标长臂猿的网络，以通过图像的目标框获取图像中长臂猿的坐标。
本步骤中，在对长臂猿图像数据集进行特征提取并且训练出一个能够精确识别目标长臂猿的网络，该网络训练完成以后就可以直接调用网络的权重进行图像识别，并且可以保存下权重供随时调用，不用在每次调用方法时重新训练。
B2：利用双目摄像头获取左右两目的图片，对采集回来的图片信息进行旋转翻折变换，使左右两目的图片修正由镜头畸变造成的误差，同时使左右两目的图片的统一坐标系。
在本步骤中，将由双目摄像头拍摄的图片进行输入，通过Sobel算子进行加权计算处理，再将其映射至Sobel算子处理后所得图像，这一过程就相当于提取图片的梯度信息进行左右双目的对比获取左右目图片的目标位置，用于确定映射矩阵将原始图像进行水平校正。
B3：将B2采集的图像输入至B1训练的模型中，得到长臂猿的像素坐标。
B4：将图片灰度化，通过B2获取的基于左图坐标系的左右两目目标点坐标计算视差。利用左右摄像头的内部参数矩阵和外部参数矩阵对图像目标坐标进行转换。在本步骤中，将右图与左图的坐标系相统一，计算视差信息，获取视差图中的像素点信息。通过乘以立体校正时获得的重投影矩阵映射到三维坐标系下获取三维坐标，并通过两点之间的距离公式进行间距计算。
作为一种可选的实施方式，可通过下述方法计算重投影矩阵：
[X,Y,Z,W]T＝Q*[x,y,disparity (x,y),1]T
其中，
式中，X为三维坐标系中的横坐标，Y为三维坐标系中的纵坐标，，Z为三维坐标系中的深度坐标，W为比例系数，Q为重投影矩阵，x为像素坐标系下的目标点横坐标，y为像素坐标系下目标点纵坐标，disparity(x,y)为像素坐标系下(x，y)点坐标的视差值，T表示转置矩阵，d为disparity(x,y)的简写，Im age(x,y)为目标(x，y)点的3D坐标，cx为左相机中目标点的横坐标，cy为左相机中目标点的纵坐标，f为摄像头焦距，Tx为两台相机投影中心间的距离，c'x为右相机中目标点的横坐标，cz与上文cx表示意思相同，为了区别。矩阵相乘后修改为cz，，c'z与上文c'x表示意思相同，为了区别。矩阵相乘后修改为c'z，Tz与上文Tx表示意思相同，为了区别，相乘后修改为Tz。
B5：通过B4获得的由摄像头内外参数矩阵组成的重映射矩阵转换为三维坐标，最后通过空间中两点间的距离公式可以得出图片中两长臂猿之间的距离。
B6：通过设定目标长臂猿的检测坐标左右上下的取值范围，对同一目标长臂猿进行多次三维坐标获取，并且通过多组数据对比删除距离突变即深度无法检测或者检测异常的点，最终获取平均距离以提高精度。
本实施例通过深度学习网络获取由摄像头采集的图像中的长臂猿的图像坐标信息，并且将该长臂猿的像素点信息通过双目视觉的坐标转换方法转换到三维坐标系下获取其三维坐标。通过三维坐标确定长臂猿之间的间距。即实现了通过图像获取物体现实坐标，又能够通过智能算法识别目标类别，达到识别长臂猿和测量记录长臂猿活动特征的研究目的。本实施例可用于检测生态环境中种群分布以及其活动区域规律，从而提高对于生物种群活动的研究效率，便于生态环境课题的研究。
本发明实施例还针对用于灵长类动物种群行为分析的个体间距自动计算方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的用于灵长类动物种群行为分析的个体间距自动计算装置进行介绍，下文描述的用于灵长类动物种群行为分析的个体间距自动计算装置与上文描述的用于灵长类动物种群行为分析的个体间距自动计算方法可相互对应参照。
基于功能模块的角度，参见图3，图3为本发明实施例提供的用于灵长类动物种群行为分析的个体间距自动计算装置在一种具体实施方式下的结构图，该装置可包括：
模型预训练模块301，用于预先基于深度学习算法训练得到用于对待处理图像组中各图像的目标进行识别并输出相应位置信息的目标识别模型。
图像校正处理模块302，用于对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组。
像素坐标获取模块303，用于将待处理图像组输入至目标识别模型，得到目标分别在待处理图像组中左右两目图像的位置信息。
视差计算模块304，用于根据目标在左右两目图像的位置信息计算视差信息。
测距模块305，用于通过双目摄像头的内部参数和外部参数计算视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距。
可选的，在本实施例的一些实施方式中，上述模型预训练模块301可进一步用于：构建卷积神经网络模型；基于训练样本集对卷积神经网络模型进行训练，在训练过程中，通过反向传播优化卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
作为本实施例的一种可选的实施方式，上述模型预训练模块301的卷积神经网络模型可包括多个网络层；每个网络层利用3*3的卷积核进行图像特征提取，且均包括1*1的卷积层和残差层。
作为本实施例的另一种可选的实施方式，上述图像校正处理模块302可进一步用于：利用旋转平移变化矩阵对左右两目图像进行畸变校正和立体校正，以获取同一坐标系下的左右两目图像。
可选的，在本实施例的另一些实施方式中，上述测距模块305例如可包括：
矩阵计算单元，用于在对目标的左右两目图像进行立体校正过程中，根据双目摄像头的内部参数和外部参数计算重投影矩阵；
映射单元，用于通过重投影矩阵将视差信息中各像素点信息映射至三维坐标系中，得到视差信息对应的三维坐标信息。
可选的，在本实施例的其他一些实施方式中，上述装置例如还可包括异常数据筛选模块，该模块用于：预先设定目标在图像中的允许坐标取值范围；获取同一目标的多个三维坐标信息；基于允许坐标取值范围，对每一目标的多个三维坐标信息进行比对以去除异常数据，得到候选位置数据；根据各候选位置数据确定目标的三维坐标信息。
本发明实施例用于灵长类动物种群行为分析的个体间距自动计算装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可有效提高生物种群中各生物个体之间间距的计算效率。
上文中提到的用于灵长类动物种群行为分析的个体间距自动计算装置是从功能模块的角度描述，进一步的，本申请还提供一种用于灵长类动物种群行为分析的个体间距自动计算装置，是从硬件角度描述。图4为本申请实施例提供的另一种用于灵长类动物种群行为分析的个体间距自动计算装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的用于灵长类动物种群行为分析的个体间距自动计算方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于用于灵长类动物种群行为分析的个体间距自动计算结果对应的数据等。
在一些实施例中，用于灵长类动物种群行为分析的个体间距自动计算装置还可包括有显示屏42、输入输出接口43、通信接口44或者称为网络接口、电源45以及通信总线46。其中，显示屏42、输入输出接口43比如键盘(Keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在用于灵长类动物种群行为分析的个体间距自动计算装置中处理的信息以及用于显示可视化的用户界面。通信接口44可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在该用于灵长类动物种群行为分析的个体间距自动计算装置与其他电子设备之间建立通信连接。通信总线46可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图4中示出的结构并不构成对用于灵长类动物种群行为分析的个体间距自动计算装置的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器47。
本发明实施例所述用于灵长类动物种群行为分析的个体间距自动计算装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可有效提高生物种群中各生物个体之间间距的计算效率。
可以理解的是，如果上述实施例中的用于灵长类动物种群行为分析的个体间距自动计算方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有用于灵长类动物种群行为分析的个体间距自动计算程序，所述用于灵长类动物种群行为分析的个体间距自动计算程序被处理器执行时如上任意一实施例所述用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种用于灵长类动物种群行为分析的个体间距自动计算方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种用于灵长类动物种群行为分析的个体间距自动计算方法，其特征在于，将下述步骤实现过程植入微机，通过微机探测目标和获取目标位置并储存，包括：
预先基于深度学习算法训练目标识别模型，所述目标识别模型用于对待处理图像组中各图像的目标进行识别并输出相应位置信息；
对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组；
将所述待处理图像组输入至所述目标识别模型，得到所述目标分别在所述待处理图像组中左右两目图像的位置信息；
根据所述目标在左右两目图像的位置信息计算视差信息，并通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距；
其中，所述通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，包括：
在对所述目标的左右两目图像进行立体校正过程中，根据所述双目摄像头的内部参数和外部参数计算重投影矩阵；
通过所述重投影矩阵将所述视差信息中各像素点信息映射至三维坐标系中，得到所述视差信息对应的三维坐标信息；
预先设定所述目标在图像中的允许坐标取值范围；
获取同一目标的多个三维坐标信息；
基于所述允许坐标取值范围，对每一目标的多个三维坐标信息进行比对以去除异常数据，得到候选位置数据；
根据各候选位置数据确定所述目标的三维坐标信息。
2.根据权利要求1所述的用于灵长类动物种群行为分析的个体间距自动计算方法，其特征在于，所述训练目标识别模型包括：
构建卷积神经网络模型；
基于训练样本集对所述卷积神经网络模型进行训练，在训练过程中，通过反向传播优化所述卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
3.根据权利要求2所述的用于灵长类动物种群行为分析的个体间距自动计算方法，其特征在于，所述卷积神经网络模型包括多个网络层；每个网络层利用3*3的卷积核进行图像特征提取，且均包括1*1的卷积层和残差层。
4.根据权利要求1所述的用于灵长类动物种群行为分析的个体间距自动计算方法，其特征在于，所述对双目摄像头的左右两目图像的坐标系进行统一处理，包括：
利用旋转平移变化矩阵对左右两目图像进行畸变校正和立体校正，以获取同一坐标系下的左右两目图像。
5.一种用于灵长类动物种群行为分析的个体间距自动计算装置，其特征在于，将下述各功能模块植入微机，通过微机探测目标和获取目标位置并储存，包括：
模型预训练模块，用于预先基于深度学习算法训练目标识别模型，所述目标识别模型用于对待处理图像组中各图像的目标进行识别并输出相应位置信息；
图像校正处理模块，用于对双目摄像头的左右两目图像的坐标系进行统一处理，得到待处理图像组；
像素坐标获取模块，用于将所述待处理图像组输入至所述目标识别模型，得到所述目标分别在所述待处理图像组中左右两目图像的位置信息；
视差计算模块，用于根据所述目标在左右两目图像的位置信息计算视差信息；
测距模块，用于通过所述双目摄像头的内部参数和外部参数计算所述视差信息对应的三维坐标信息，以基于各目标对应的三维坐标信息进行测距；
其中，所述测距模块进一步用于：在对所述目标的左右两目图像进行立体校正过程中，根据所述双目摄像头的内部参数和外部参数计算重投影矩阵；
通过所述重投影矩阵将所述视差信息中各像素点信息映射至三维坐标系中，得到所述视差信息对应的三维坐标信息；
预先设定所述目标在图像中的允许坐标取值范围；
获取同一目标的多个三维坐标信息；
基于所述允许坐标取值范围，对每一目标的多个三维坐标信息进行比对以去除异常数据，得到候选位置数据；
根据各候选位置数据确定所述目标的三维坐标信息。
6.根据权利要求5所述的用于灵长类动物种群行为分析的个体间距自动计算装置，其特征在于，所述模型预训练模块进一步用于：构建卷积神经网络模型；基于训练样本集对所述卷积神经网络模型进行训练，在训练过程中，通过反向传播优化所述卷积神经网络模型的权重参数，并利用梯度下降法结合动量法和指数平均法确定最优损失函数。
7.一种用于灵长类动物种群行为分析的个体间距自动计算装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于灵长类动物种群行为分析的个体间距自动计算程序，所述用于灵长类动物种群行为分析的个体间距自动计算程序被处理器执行时实现如权利要求1至4任一项所述用于灵长类动物种群行为分析的个体间距自动计算方法的步骤。
CN202110967116.2A 2021-08-23 2021-08-23 用于灵长类动物种群行为分析的个体间距自动计算方法 Active CN113658274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967116.2A CN113658274B (zh) 2021-08-23 2021-08-23 用于灵长类动物种群行为分析的个体间距自动计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967116.2A CN113658274B (zh) 2021-08-23 2021-08-23 用于灵长类动物种群行为分析的个体间距自动计算方法

Publications (2)

Publication Number Publication Date
CN113658274A CN113658274A (zh) 2021-11-16
CN113658274B true CN113658274B (zh) 2023-11-28

Family

ID=78480688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967116.2A Active CN113658274B (zh) 2021-08-23 2021-08-23 用于灵长类动物种群行为分析的个体间距自动计算方法

Country Status (1)

Country Link
CN (1) CN113658274B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436533B (zh) * 2023-12-20 2024-02-13 贵州大学 基于生境数据分析的物种分布监测方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质
CN112097732A (zh) * 2020-08-04 2020-12-18 北京中科慧眼科技有限公司 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112634368A (zh) * 2020-12-26 2021-04-09 西安科锐盛创新科技有限公司 场景目标的空间与或图模型生成方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质
CN112097732A (zh) * 2020-08-04 2020-12-18 北京中科慧眼科技有限公司 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112634368A (zh) * 2020-12-26 2021-04-09 西安科锐盛创新科技有限公司 场景目标的空间与或图模型生成方法、装置及电子设备

Also Published As

Publication number Publication date
CN113658274A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109559320B (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN107179768B (zh) 一种障碍物识别方法及装置
CN111340864A (zh) 基于单目估计的三维场景融合方法及装置
CN111783772A (zh) 一种基于RP-ResNet网络的抓取检测方法
CN110243390B (zh) 位姿的确定方法、装置及里程计
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN111144349A (zh) 一种室内视觉重定位方法及系统
CN116250021A (zh) 图像生成模型的训练方法、新视角图像生成方法及装置
US11908081B2 (en) Method and system for automatic characterization of a three-dimensional (3D) point cloud
JP6817742B2 (ja) 情報処理装置およびその制御方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN113052907A (zh) 一种动态环境移动机器人的定位方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN113658274B (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
CN112734747A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN114820755B (zh) 一种深度图估计方法及系统
CN113065521B (zh) 物体识别方法、装置、设备及介质
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
CN112633065A (zh) 一种基于数据增强的人脸检测方法、系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant