CN112101146B - 一种动物行为学记录三维捕捉装置、方法、系统及应用 - Google Patents

一种动物行为学记录三维捕捉装置、方法、系统及应用 Download PDF

Info

Publication number
CN112101146B
CN112101146B CN202010886434.1A CN202010886434A CN112101146B CN 112101146 B CN112101146 B CN 112101146B CN 202010886434 A CN202010886434 A CN 202010886434A CN 112101146 B CN112101146 B CN 112101146B
Authority
CN
China
Prior art keywords
dimensional
cameras
animal
frame
dimensional skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010886434.1A
Other languages
English (en)
Other versions
CN112101146A (zh
Inventor
陈可
黄康
韩亚宁
蔚鹏飞
王立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiwan Life Technology Co ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010886434.1A priority Critical patent/CN112101146B/zh
Publication of CN112101146A publication Critical patent/CN112101146A/zh
Application granted granted Critical
Publication of CN112101146B publication Critical patent/CN112101146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种动物行为学记录三维捕捉装置、方法、系统及应用，该装置包括摄像头、固定框、笼具，笼具设置在固定框内，多个摄像头分别设置在固定框的多个位置；该方法包括：对多个摄像头进行定标，控制多个摄像头同步拍摄动物得到动物的多个二维骨架点，再把每帧中的多个二维骨架点组合形成二维骨架序列，使用三角算法将二维骨架序列映射到三维空间中计算得到三维骨架，将三维骨架之间连成线，并在屏幕上逐帧显示；本发明能够完整同步地拍摄动物的多种身体动作，能够稳定追踪并自定义动物身体的二维骨架，能够从多个二维骨架点中稳定重建出三维骨架点，并在三维空间中可视化表示出来。

Description

一种动物行为学记录三维捕捉装置、方法、系统及应用
技术领域
本发明涉及目标跟踪领域，具体涉及一种动物行为学记录三维捕捉装置、方法、系统及应用。
背景技术
目前，主要通过拍摄二维视频的方式记录动物的活动，研究人员通过二维视频进行分析并得出结论，而动物的身体具有多自由度，行为表现丰富且高度复杂，二维视频中动物的身体部位极易被遮挡，通过拍摄二维视频的方式记录动物所得到的数据，其准确度和可信度难以保证。
现有技术的三维捕捉装置多采用双摄像头和三摄像头进行三维捕捉，但摄像头数量越少越难以做到全方位拍摄，拍摄的动物身体部位极易被遮挡，且该摄像头尺寸较大，难以安装于笼具中，过大的摄像头可能会引起动物的警觉，不利于动物行为的正常监测,而且该摄像头的帧率较低，难以快速跟踪动物行为。
目前多采用特征点匹配算法得到两摄像头拍摄图像中对应的特征点，但这种方法极不稳定，视频中每帧图像匹配特征点数量和匹配位置可能不同，导致重建出来的三维点云不稳定，难以对此三维点云进行分析。
发明内容
为了克服现有技术的不足，本发明提供了一种动物行为学记录三维捕捉装置、方法、系统及应用，具体技术方案如下所示：
一种动物行为学记录三维捕捉装置，包括摄像头、固定框、笼具，所述笼具设置在所述固定框内；
所述摄像头的数量为多个，多个所述摄像头分别设置在所述固定框的多个位置，以拍全所述笼具内的动物。
在一个具体的实施例中，所述摄像头中的至少一个设置在所述固定框顶部的中心位置，并且所述摄像头朝向竖直向下，其余所述摄像头设置在所述中心位置的四周，且所述摄像头朝向斜向下设置。
在一个具体的实施例中，所述摄像头的数量包括5个，所述笼具包括不锈钢玻璃混合笼子；
需要说明的是，所述摄像头的数量包括5个仅是本发明内容的一种优选数量，其还有其他优选数量，例如2个、3个、4个、6个、7个等；
所述不锈钢玻璃混合仅是本发明内容的一种优选材料，其还有其他优选材料，例如铝合金玻璃混合、木头玻璃混合、橡胶玻璃混合等。
所述固定框包括矩形框架，多个所述摄像头分别设置在所述矩形框架上表面的每个顶角上；
需要说明的是，所述矩形框架仅是本发明内容的一种优选形状，其还有其他优选形状，例如梯形框架、锥形框架、球形框架等；
设置在所述矩形框架上表面的每个顶角上仅是本发明内容的一种优选设置，其还有其他优选设置，例如设置在所述矩形框架上表面的每条边上、设置在所述矩形框架与地面垂直的每条边上等。
优选地，所述固定框包括铝合金固定框；
需要说明的是，铝合金仅是本发明内容的一种优选材料，其还有其他优选材料，例如不锈钢、木头等。
一种动物行为学记录三维捕捉方法，包括以下步骤:
对多个所述摄像头进行定标；
控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张所述动物图片之间相应的特征点进行标记，通过所述标记的融合得到所述动物的多个二维骨架点；
训练深度神经网络，完成所述动物的多个二维骨架点的追踪，再把每帧中的多个所述二维骨架点组合形成二维骨架序列，具体地，利用DeepLabCut工具箱训练深度神经网络，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度。
使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，具体地，使用SVD方法进行最小二乘计算，使所述三维骨架的数据更加准确；
将多个所述三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头垂直的方向作为Z轴，将所述Z轴对齐到真实世界的高度，使所述三维骨架的特征更准确、更真实；
将多个所述三维骨架的数据读取到工作空间，将多个所述三维骨架之间连成线，并在屏幕上逐帧显示。
在一个具体的实施例中，所述“控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频”的方法包括：使用5个所述摄像头，将5个所述摄像头分为四对，其中一个所述摄像头为主摄像头，其余四个所述摄像头为副摄像头，控制5个所述摄像头同步拍摄动物不同位置和不同角度的活动视频；
所述“使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架”的方法包括：使用三角算法将所述二维骨架序列进行两两重建，对动物的每个所述特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
在一个具体的实施例中，所述“对多个所述摄像头进行定标”的实现方法包括：
启动多个所述摄像头，多个所述摄像头自动初始化，所述标定板上包括用于标定的图案，测量所述图案的尺寸，多个所述摄像头同步拍摄不同位置和不同角度的标定板若干次，获得多张所述标定板图案的图片，得到多个所述摄像头的旋转矩阵和平移向量，具体地，所述用于标定的图案包括棋盘格图案、实心圆阵列图案等。
在一个具体的实施例中，所述“按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片”进一步包括：
所述帧率为40-70FPS；
所述画质为440*280-740*580；
所述拍摄时长为10-20分钟。
一种动物行为学记录三维捕捉系统，包括：摄像头、固定框、笼具，所述笼具设置在所述固定框内；
所述摄像头的数量为多个，多个所述摄像头分别设置在所述固定框的多个位置，以拍全所述笼具内的动物；
还包括：
定标模块，用于对多个所述摄像头进行定标；
图片采集模块，用于控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张所述动物图片之间相应的特征点进行标记，通过所述标记的融合得到所述动物的多个二维骨架点；
二维骨架提取模块，用于训练深度神经网络，完成所述动物的多个二维骨架点的追踪，再把每帧中的多个所述二维骨架点组合形成二维骨架序列，具体地，利用DeepLabCut工具箱训练深度神经网络，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度。
三维骨架提取模块，用于使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，具体地，使用SVD方法进行最小二乘计算，使所述三维骨架的数据更加准确；
处理模块，用于将多个所述三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头垂直的方向作为Z轴，将所述Z轴对齐到真实世界的高度，使所述三维骨架的特征更准确、更真实；
可视化模块，用于将多个所述三维骨架的数据读取到工作空间，将多个所述三维骨架之间连成线，并在屏幕上逐帧显示。
在一个具体的实施例中，所述“图片采集模块”的方法包括：使用5个所述摄像头，将5个所述摄像头分为四对，其中一个所述摄像头为主摄像头，其余四个所述摄像头为副摄像头，控制5个所述摄像头同步拍摄动物不同位置和不同角度的活动视频；
所述“三维骨架提取模块”的方法包括：使用三角算法将所述二维骨架序列进行两两重建，对动物的每个所述特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
在一个具体的实施例中，所述“定标模块”还用于：
启动多个所述摄像头，多个所述摄像头自动初始化，所述标定板上包括用于标定的图案，测量所述图案的尺寸，多个所述摄像头同步拍摄不同位置和不同角度的标定板若干次，获得多张所述标定板图案的图片，得到多个所述摄像头的旋转矩阵和平移向量，具体地，所述用于标定的图案包括棋盘格图案、实心圆阵列图案等。
在一个具体的实施例中，所述“图片采集模块”还包括：
所述帧率为40-70FPS；
所述画质为440*280-740*580；
所述拍摄时长为10-20分钟。
在一个具体的实施例中，所述的动物行为学记录三维捕捉系统在非人灵长类动物行为学记录中得到应用。
本发明至少具有以下有益效果：
根据本发明提供的一种动物行为学记录三维捕捉装置，包括摄像头、固定框、笼具，笼具设置在固定框内,摄像头的数量为多个，多个摄像头分别设置在固定框的多个位置，以拍全笼具内的动物,摄像头中的至少一个设置在固定框顶部的中心位置，并且摄像头朝向竖直向下，其余摄像头设置在中心位置的四周，且摄像头朝向斜向下设置；基于本发明的技术方案，研究人员能够利用多个摄像头从不同角度和不同位置快速跟踪动物行为，全方位完整同步地拍摄动物的多种身体动作并储存。
根据本发明提供的一种使用该动物行为学记录三维捕捉装置的动物行为学记录三维捕捉方法，包括以下步骤：对多个摄像头进行定标；控制多个摄像头同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张动物图片之间相应的特征点进行标记，通过标记的融合得到动物的多个二维骨架点；训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列；使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架；将多个三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头垂直的方向作为Z轴，将Z轴对齐到真实世界的高度；将多个三维骨架的数据读取到工作空间，将多个三维骨架之间连成线，并在屏幕上逐帧显示；
基于本发明的技术方案，通过多个摄像头的同步拍摄，动物的多种身体动作行为能够被全方位完整的拍摄并保存；对多张动物图片之间相应的特征点进行标记并融合，使动物身体的二维骨架点能够被稳定追踪并自定义；训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度；使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，使三维骨架的数据更加准确；通过对多个三维骨架坐标进行无畸变的旋转、平移、反转，使三维骨架的特征更准确、更真实，并在三维空间中可视化表示出来，进而使研究人员能利用三维骨架的数据进行进一步分析。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是实施例中动物行为学记录三维捕捉装置图；
图2是实施例中动物行为学记录三维捕捉方法流程图；
图3是图3中多摄像头定标的具体流程图；
主要元件符号说明：
101-摄像头；102-固定框；103-笼具；201-多摄像头定标；202-多摄像头同步视频拍摄；203-二维骨架提取；204-三维骨架重建；205-三维骨架旋转平移反转；206-三维骨架可视化；301-启动摄像头；302-摄像头初始化；303-测量标定板上图案的尺寸；304-拍摄标定板上的图案。
具体实施方式
实施例
本实施例提供了一种动物行为学记录三维捕捉装置、方法、系统及应用，如图1所示，该动物行为学记录三维捕捉装置包括摄像头101、固定框102、笼具103，笼具103设置在固定框102内；
摄像头101的数量为多个，多个摄像头101分别设置在固定框102的多个位置，以拍全笼具103内的动物。
本实施例中，摄像头101中的至少一个设置在固定框102顶部的中心位置，并且摄像头101朝向竖直向下，其余摄像头101设置在中心位置的四周，且摄像头101朝向斜向下设置。
本实施例中，摄像头101的数量包括5个，笼具103包括不锈钢玻璃混合笼子；
需要说明的是，摄像头101的数量包括5个仅是本发明内容的一种优选数量，其还有其他优选数量，例如2个、3个、4个、6个、7个等；
不锈钢玻璃混合仅是本发明内容的一种优选材料，其还有其他优选材料，例如铝合金玻璃混合、木头玻璃混合、橡胶玻璃混合等。
固定框102包括矩形框架，多个摄像头101分别设置在矩形框架上表面的每个顶角上；
需要说明的是，矩形框架仅是本发明内容的一种优选形状，其还有其他优选形状，例如梯形框架、锥形框架、球形框架等；
设置在矩形框架上表面的每个顶角上仅是本发明内容的一种优选设置，其还有其他优选设置，例如设置在矩形框架上表面的每条边上、设置在矩形框架与地面垂直的每条边上等。
优选地，固定框102包括铝合金固定框；
需要说明的是，铝合金仅是本发明内容的一种优选材料，其还有其他优选材料，例如不锈钢、木头等。
如图2所示，该动物行为学记录三维捕捉方法包括以下步骤:
步骤201：多摄像头定标；包括对多个摄像头101进行定标；
步骤202：多摄像头同步视频拍摄；包括控制多个摄像头101同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张动物图片之间相应的特征点进行标记，通过标记的融合得到动物的多个二维骨架点；
步骤203：二维骨架提取；包括训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列，具体地，利用DeepLabCut工具箱训练深度神经网络，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度。
步骤204：三维骨架重建；包括使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，具体地，使用SVD方法进行最小二乘计算，使三维骨架的数据更加准确；
步骤205：三维骨架旋转平移反转；包括将多个三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头101垂直的方向作为Z轴，将Z轴对齐到真实世界的高度，使三维骨架的特征更准确、更真实；
步骤206：三维骨架可视化；包括将多个三维骨架的数据读取到工作空间，将多个三维骨架之间连成线，并在屏幕上逐帧显示。
本实施例中，“控制多个摄像头同步拍摄动物不同位置和不同角度的活动视频”的方法包括：使用5个摄像头，将5个摄像头分为四对，其中一个摄像头为主摄像头，其余四个摄像头为副摄像头，控制5个摄像头同步拍摄动物不同位置和不同角度的活动视频；
“使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架”的方法包括：使用三角算法将二维骨架序列进行两两重建，对动物的每个特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
本实施例中，如图3所示，“多摄像头定标”的实现方法包括：
步骤301：启动摄像头；包括启动多个摄像头101；
步骤302：摄像头初始化；包括多个摄像头101自动初始化；
步骤303：测量标定板上图案的尺寸；包括标定板上包括用于标定的图案，测量图案的尺寸；
步骤304：拍摄标定板上的图案；包括多个摄像头101同步拍摄不同位置和不同角度的标定板若干次，获得多张标定板图案的图片，得到多个摄像头101的旋转矩阵和平移向量，具体地，用于标定的图案包括棋盘格图案、实心圆阵列图案等。
本实施例中，“按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片”进一步包括：
帧率为40-70FPS；
画质为440*280-740*580；
拍摄时长为10-20分钟。
一种动物行为学记录三维捕捉系统，包括：摄像头101、固定框102、笼具103，笼具103设置在固定框102内；
摄像头101的数量为多个，多个摄像头101分别设置在固定框102的多个位置，以拍全笼具103内的动物；
还包括：
定标模块，用于对多个摄像头101进行定标；
图片采集模块，用于控制多个摄像头101同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张动物图片之间相应的特征点进行标记，通过标记的融合得到动物的多个二维骨架点；
二维骨架提取模块，用于训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列，具体地，利用DeepLabCut工具箱训练深度神经网络，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度。
三维骨架提取模块，用于使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，具体地，使用SVD方法进行最小二乘计算，使三维骨架的数据更加准确；
处理模块，用于将多个三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头101垂直的方向作为Z轴，将Z轴对齐到真实世界的高度，使三维骨架的特征更准确、更真实；
可视化模块，用于将多个三维骨架的数据读取到工作空间，将多个三维骨架之间连成线，并在屏幕上逐帧显示。
本实施例中，“图片采集模块”的方法包括：使用5个摄像头，将5个摄像头分为四对，其中一个摄像头为主摄像头，其余四个摄像头为副摄像头，控制5个摄像头同步拍摄动物不同位置和不同角度的活动视频；
“三维骨架提取模块”的方法包括：使用三角算法将二维骨架序列进行两两重建，对动物的每个特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
本实施例中，“定标模块”还用于：
启动多个摄像头101，多个摄像头101自动初始化，标定板上包括用于标定的图案，测量图案的尺寸，多个摄像头101同步拍摄不同位置和不同角度的标定板若干次，获得多张标定板图案的图片，得到多个摄像头101的旋转矩阵和平移向量，具体地，用于标定的图案包括棋盘格图案、实心圆阵列图案等。
本实施例中，“图片采集模块”还包括：
帧率为40-70FPS；
画质为440*280-740*580；
拍摄时长为10-20分钟。
本实施例中，该动物行为学记录三维捕捉系统在非人灵长类动物行为学记录中得到应用。
本发明至少具有以下有益效果：
根据本发明提供的一种动物行为学记录三维捕捉装置，包括摄像头101、固定框102、笼具103，笼具103设置在固定框102内,摄像头101的数量为多个，多个摄像头101分别设置在固定框102的多个位置，以拍全笼具103内的动物,摄像头101中的至少一个设置在固定框102顶部的中心位置，并且摄像头101朝向竖直向下，其余摄像头101设置在中心位置的四周，且摄像头101朝向斜向下设置；基于本发明的技术方案，研究人员能够利用多个摄像头101从不同角度和不同位置快速跟踪动物行为，全方位完整同步地拍摄动物的多种身体动作并储存。
根据本发明提供的一种使用该动物行为学记录三维捕捉装置的动物行为学记录三维捕捉方法，包括以下步骤：对多个摄像头101进行定标；控制多个摄像头101同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张动物图片之间相应的特征点进行标记，通过标记的融合得到动物的多个二维骨架点；训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列；使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架；将多个三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头101垂直的方向作为Z轴，将Z轴对齐到真实世界的高度；将多个三维骨架的数据读取到工作空间，将多个三维骨架之间连成线，并在屏幕上逐帧显示；
基于本发明的技术方案，通过多个摄像头101的同步拍摄，动物的多种身体动作行为能够被全方位完整的拍摄并保存；对多张动物图片之间相应的特征点进行标记并融合，使动物身体的二维骨架点能够被稳定追踪并自定义；训练深度神经网络，完成动物的多个二维骨架点的追踪，再把每帧中的多个二维骨架点组合形成二维骨架序列，使动物的二维骨架序列在环境光变化、图像色调变化、背景微变时，具有更强的鲁棒性和精度；使用三角算法将二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架，使三维骨架的数据更加准确；通过对多个三维骨架坐标进行无畸变的旋转、平移、反转，使三维骨架的特征更准确、更真实，并在三维空间中可视化表示出来，进而使研究人员能利用三维骨架的数据进行进一步分析。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (11)

1.一种动物行为学记录三维捕捉方法，其特征在于，使用一种动物行为学记录三维捕捉装置，
所述动物行为学记录三维捕捉装置包括：
摄像头、固定框、笼具，所述笼具设置在所述固定框内；
所述摄像头的数量为多个，多个所述摄像头分别设置在所述固定框的多个位置，以拍全所述笼具内的动物；
所述摄像头中的至少一个设置在所述固定框顶部的中心位置，并且所述摄像头朝向竖直向下，其余所述摄像头设置在所述中心位置的四周，且所述摄像头朝向斜向下设置；
所述动物行为学记录三维捕捉方法包括以下步骤：
对多个所述摄像头进行定标；
控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张所述动物图片之间相应的特征点进行标记，通过所述标记的融合得到所述动物的多个二维骨架点；
训练深度神经网络，完成所述动物的多个二维骨架点的追踪，再把每帧中的多个所述二维骨架点组合形成二维骨架序列；
使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架；
将多个所述三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头垂直的方向作为Z轴，将所述Z轴对齐到真实世界的高度；
将多个所述三维骨架的数据读取到工作空间，将多个所述三维骨架之间连成线，并在屏幕上逐帧显示。
2.根据权利要求1所述的动物行为学记录三维捕捉方法，其特征在于：所述摄像头的数量包括5个，所述笼具包括不锈钢玻璃混合笼子；
所述固定框包括矩形框架，多个所述摄像头分别设置在所述矩形框架上表面的每个顶角上；
3.根据权利要求2所述的动物行为学记录三维捕捉方法，其特征在于：所述固定框包括铝合金固定框。
4.根据权利要求1所述的动物行为学记录三维捕捉方法，其特征在于，所述“控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频”的方法包括：使用5个所述摄像头，将5个所述摄像头分为四对，其中一个所述摄像头为主摄像头，其余四个所述摄像头为副摄像头，控制5个所述摄像头同步拍摄动物不同位置和不同角度的活动视频；
所述“使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架”的方法包括：使用三角算法将所述二维骨架序列进行两两重建，对动物的每个所述特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
5.根据权利要求1所述的动物行为学记录三维捕捉方法，其特征在于，所述“对多个所述摄像头进行定标”的实现方法包括：
启动多个所述摄像头，多个所述摄像头自动初始化，所述标定板上包括用于标定的图案，测量所述图案的尺寸，多个所述摄像头同步拍摄不同位置和不同角度的标定板若干次，获得多张所述标定板图案的图片，得到多个所述摄像头的旋转矩阵和平移向量。
6.根据权利要求1所述的动物行为学记录三维捕捉方法，其特征在于，所述“按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片”进一步包括：
所述帧率为40-70FPS；
所述画质为440*280-740*580；
所述拍摄时长为10-20分钟。
7.一种动物行为学记录三维捕捉系统，其特征在于：
包括摄像头、固定框、笼具，所述笼具设置在所述固定框内；
所述摄像头的数量为多个，多个所述摄像头分别设置在所述固定框的多个位置，以拍全所述笼具内的动物；
还包括：
定标模块，用于对多个所述摄像头进行定标；
图片采集模块，用于控制多个所述摄像头同步拍摄动物不同位置和不同角度的活动视频，按照预设的帧率、画质和拍摄时长得到所需要的多张动物图片，并对多张所述动物图片之间相应的特征点进行标记，通过所述标记的融合得到所述动物的多个二维骨架点；
二维骨架提取模块，用于训练深度神经网络，完成所述动物的多个二维骨架点的追踪，再把每帧中的多个所述二维骨架点组合形成二维骨架序列；
三维骨架提取模块，用于使用三角算法将所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架；
处理模块，用于将多个所述三维骨架坐标进行无畸变的旋转、平移、反转，并对齐到水平线，以主摄像头垂直的方向作为Z轴，将所述Z轴对齐到真实世界的高度；
可视化模块，用于将多个所述三维骨架的数据读取到工作空间，将多个所述三维骨架之间连成线，并在屏幕上逐帧显示。
8.根据权利要求7所述的动物行为学记录三维捕捉系统，其特征在于，所述“图片采集模块”的方法包括：使用5个所述摄像头，将5个所述摄像头分为四对，其中一个所述摄像头为主摄像头，其余四个所述摄像头为副摄像头，控制5个所述摄像头同步拍摄动物不同位置和不同角度的活动视频；
所述“三维骨架提取模块”的方法包括：使用三角算法将所述二维骨架序列进行两两重建，对动物的每个所述特征点分别重建出四个空间点位置，最后使用最小二乘法进行优化空间点位置，求出最优的空间点位置，将各最优的空间点位置组成的所述二维骨架序列结合定标结果映射到三维空间中计算得到三维骨架。
9.根据权利要求7所述的动物行为学记录三维捕捉系统，其特征在于，所述“定标模块”还用于：
启动多个所述摄像头，多个所述摄像头自动初始化，所述标定板上包括用于标定的图案，测量所述图案的尺寸，多个所述摄像头同步拍摄不同位置和不同角度的标定板若干次，获得多张所述标定板图案的图片，得到多个所述摄像头的旋转矩阵和平移向量。
10.根据权利要求7所述的动物行为学记录三维捕捉系统，其特征在于，所述“图片采集模块”还包括：
所述帧率为40-70FPS；
所述画质为440*280-740*580；
所述拍摄时长为10-20分钟。
11.如权利要求7-10任一项所述的动物行为学记录三维捕捉系统在非人灵长类动物行为学记录中的应用。
CN202010886434.1A 2020-08-28 2020-08-28 一种动物行为学记录三维捕捉装置、方法、系统及应用 Active CN112101146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010886434.1A CN112101146B (zh) 2020-08-28 2020-08-28 一种动物行为学记录三维捕捉装置、方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010886434.1A CN112101146B (zh) 2020-08-28 2020-08-28 一种动物行为学记录三维捕捉装置、方法、系统及应用

Publications (2)

Publication Number Publication Date
CN112101146A CN112101146A (zh) 2020-12-18
CN112101146B true CN112101146B (zh) 2022-12-06

Family

ID=73758370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010886434.1A Active CN112101146B (zh) 2020-08-28 2020-08-28 一种动物行为学记录三维捕捉装置、方法、系统及应用

Country Status (1)

Country Link
CN (1) CN112101146B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693576B (zh) * 2022-03-28 2023-07-18 浙江大学 一种实验动物行为学三维数据记录方法
CN114938446A (zh) * 2022-05-16 2022-08-23 中国科学院深圳先进技术研究院 一种动物行为重建系统、方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106719082A (zh) * 2016-12-28 2017-05-31 华东师范大学 一种检测小型鸟类认知功能的实验装置
CN111105486A (zh) * 2019-12-07 2020-05-05 东南大学 一种多视角小白鼠动态三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106719082A (zh) * 2016-12-28 2017-05-31 华东师范大学 一种检测小型鸟类认知功能的实验装置
CN111105486A (zh) * 2019-12-07 2020-05-05 东南大学 一种多视角小白鼠动态三维重建方法

Also Published As

Publication number Publication date
CN112101146A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN112101146B (zh) 一种动物行为学记录三维捕捉装置、方法、系统及应用
CN104361628B (zh) 一种基于航空倾斜摄影测量的三维实景建模系统
CN103607584B (zh) 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
CN107507274A (zh) 一种基于云计算的公安案件现场三维实景快速还原方法
CN113112504A (zh) 一种植物点云数据分割方法及系统
US20110069888A1 (en) Image processing apparatus and method
CN109931878A (zh) 一种基于数字散斑标记的建筑幕墙地震变形监测方法
CN110660101B (zh) 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN108875730A (zh) 一种深度学习样本收集方法、装置、设备及存储介质
CN106998430B (zh) 基于多相机的360度视频回放方法
CN104915978A (zh) 基于体感相机Kinect的真实感动画生成方法
CN110211222B (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN108154551A (zh) 实时动态重建三维人体模型的方法及系统
CN107066975B (zh) 基于深度传感器的视频识别与跟踪系统及其方法
CN111563449A (zh) 一种实时课堂注意力检测方法及系统
CN114004883A (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
Possegger et al. Unsupervised calibration of camera networks and virtual PTZ cameras
CN106778658B (zh) 基于课堂场景及学习者视线分析学习者注意力的方法
CN116223511A (zh) 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置
CN114373351A (zh) 一种光电经纬仪全景仿真训练系统
WO2022041129A1 (zh) 一种动物行为学记录三维捕捉装置、方法、系统及应用
CN107094232A (zh) 全景视频直播服务装置
CN105578173A (zh) 一种快速三维空间投影摄像视觉识别系统
Strigul et al. Complementing forest inventory data with information from unmanned aerial vehicle imagery and photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221228

Address after: Floor 17, Building 4, Weiguang Life Science Park, Zhenmei Community, Xinhu Street, Guangming District, Shenzhen, Guangdong 518106

Patentee after: Shenzhen Yiwan Life Technology Co.,Ltd.

Address before: 1068 No. 518055 Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue

Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES