CN116868912A - 检测动物社交障碍行为的装置及其方法、电子设备、介质 - Google Patents

检测动物社交障碍行为的装置及其方法、电子设备、介质 Download PDF

Info

Publication number
CN116868912A
CN116868912A CN202310760218.6A CN202310760218A CN116868912A CN 116868912 A CN116868912 A CN 116868912A CN 202310760218 A CN202310760218 A CN 202310760218A CN 116868912 A CN116868912 A CN 116868912A
Authority
CN
China
Prior art keywords
behavior
animal
dimensional
animals
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310760218.6A
Other languages
English (en)
Inventor
武胜昔
蔡国洪
王文挺
万向东
杨丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Medical University of PLA
Original Assignee
Air Force Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Medical University of PLA filed Critical Air Force Medical University of PLA
Priority to CN202310760218.6A priority Critical patent/CN116868912A/zh
Publication of CN116868912A publication Critical patent/CN116868912A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Husbandry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及动物行为学技术领域,尤其是涉及一种检测动物社交障碍行为的装置及其方法、电子设备、介质。根据本申请检测动物社交障碍行为的装置与方法,需要先通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面。进一步,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。如此一来,便可以基于检测到的动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。

Description

检测动物社交障碍行为的装置及其方法、电子设备、介质
技术领域
本申请涉及动物行为学技术领域,尤其是涉及一种检测动物社交障碍行为的装置及其方法、电子设备、介质。
背景技术
动物行为学研究的对象包括动物的沟通行为、情绪表达、社交行为、学习行为、繁殖行为等。由于动物行为学对于动物学习和认知等方面的研究,以及与神经科学的相关性,它对心理学、教育学等学科产生一定的影响。
针对动物的行为研究,目前检测动物行为活动的传统方式是为动物提供一定的环境条件,观察动物在该环境条件下的活动表现并加以记录。这种传统方法往往只能对动物的总体行为特征进行简单描述,难以对不同行为特征进行准确地区分和定量化分析。因此,如何检测动物的行为活动,以实现对动物行为活动的定量化分析,已经成为业内亟待解决的一大难题。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种检测动物社交障碍行为的装置及其方法、电子设备、介质,能够准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
根据本申请的第一方面实施例的检测动物社交障碍行为的装置,包括:
观测箱体,所述观测箱体的内侧面围成观测腔,所述观测腔用于为动物提供行为活动空间;
图像采集装置,所述图像采集装置设于所述观测箱体的所述内侧面,所述图像采集装置用于拍摄所述动物的行为活动,以获取所述动物的行为活动画面;
数据处理单元,连接于所述图像采集装置,所述数据处理单元用于在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据。
根据本申请实施例的一种检测动物社交障碍行为的装置,至少具有如下有益效果:
根据本申请检测动物社交障碍行为的装置,需要先通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面。进一步,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。如此一来,便可以基于检测到的动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
根据本申请的一些实施例,所述观测箱体内部设有隔板,所述隔板将所述观测腔划分成第一子腔室与第二子腔室,所述第一子腔室用于为所述动物提供第一环境条件,所述第二子腔室用于为所述动物提供第二环境条件。
根据本申请的一些实施例,所述图像采集装置包括设置于所述内侧面不同位置的多个摄像头,用于从多个拍摄视角拍摄所述动物的行为活动,每一所述摄像头对应于一个所述拍摄视角。
根据本申请的第二方面实施例的检测动物社交障碍行为的方法,所述方法包括:
通过图像采集装置拍摄动物在观测腔中的行为活动,得到所述动物的行为活动画面;其中,所述观测腔由观测箱体的内侧面围成,所述图像采集装置设于所述内侧面;
通过数据处理单元接收所述图像采集装置传输而来的所述行为活动画面,并在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据。
根据本申请实施例的一种检测动物社交障碍行为的方法,至少具有如下有益效果:
根据本申请检测动物社交障碍行为的方法,需要先通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面。进一步,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。如此一来,便可以基于检测到的动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
根据本申请的一些实施例,所述图像采集装置包括设置于所述内侧面不同位置的多个摄像头,每一所述摄像头对应于一个拍摄视角;
所述拍摄动物在观测腔中的行为活动,得到所述动物的行为活动画面,包括:
控制多个所述摄像头同时从对应的所述拍摄视角对所述动物的行为活动进行拍摄,得到多个所述拍摄视角的所述行为活动画面。
根据本申请的一些实施例,所述在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据,包括:
基于每一所述拍摄视角对应的所述行为活动画面进行轨迹追踪,得到二维行为轨迹;
将各个所述拍摄视角对应的所述二维行为轨迹进行整合,得到三维行为轨迹;
通过预训练的动物姿态估计模型对所述三维行为轨迹进行识别,得到所述行为数据。
根据本申请的一些实施例,所述将各个所述拍摄视角对应的所述二维行为轨迹进行整合,得到三维行为轨迹,包括:
获取各个所述拍摄视角对应的摄像头标定参数;
对多组一一对应的所述摄像头标定参数与所述二维行为轨迹进行三维建模处理,得到所述三维行为轨迹。
根据本申请的一些实施例,所述行为数据包括所述动物的所述行为姿态种类与所述姿态行为参数;
所述通过预训练的动物姿态估计模型对所述三维行为轨迹进行识别,得到所述行为数据,包括:
通过所述动物姿态估计模型对所述三维行为轨迹进行识别,确定出所述行为姿态种类;
基于所述三维行为轨迹进行行为参数计算,得到所述姿态行为参数。
第三方面,本申请实施例提供了一种电子设备,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本申请第一方面实施例中任意一项所述的检测动物社交障碍行为的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如本申请第一方面实施例中任意一项所述的检测动物社交障碍行为的方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的检测动物社交障碍行为的装置的结构示意图;
图2为本申请实施例提供的检测动物社交障碍行为的装置的另一结构示意图;
图3为本申请实施例提供的检测动物社交障碍行为的方法流程示意图;
图4为本申请实施例提供的检测动物社交障碍行为的方法的另一流程示意图;
图5为本申请实施例提供的检测动物社交障碍行为的方法的另一流程示意图;
图6为本申请实施例提供的检测动物社交障碍行为的方法的另一流程示意图;
图7为本申请实施例提供的检测动物社交障碍行为的方法的另一流程示意图;
图8是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本申请的描述中,需要理解的是,涉及到方位描述,例如上、下、左、右、前、后等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本申请的描述中,需要说明的是,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。另外,下文中对于具体步骤的标识并不代表对于步骤顺序与执行逻辑的限定,各个步骤之间的执行顺序与执行逻辑应参照实施例所表述的内容进行理解与推定。
动物行为学研究的对象包括动物的沟通行为、情绪表达、社交行为、学习行为、繁殖行为等。由于动物行为学对于动物学习和认知等方面的研究,以及与神经科学的相关性,它对心理学、教育学等学科产生一定的影响。
针对动物的行为研究,目前检测动物行为活动的传统方式是为动物提供一定的环境条件,观察动物在该环境条件下的活动表现并加以记录。这种传统方法往往只能对动物的总体行为特征进行简单描述,难以对不同行为特征进行准确地区分和定量化分析。因此,如何检测动物的行为活动,以实现对动物行为活动的定量化分析,已经成为业内亟待解决的一大难题。
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种检测动物社交障碍行为的装置及其方法、电子设备、介质,能够准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
需要说明的是,本申请实施例中的动物,其种类可以是多种多样的。可以是小鼠、兔子、猫这样的哺乳动物,也可以是鸡、鸭这样的非哺乳动物。应理解,本申请中动物的类型不限于上述举例。
在针对动物的行为研究领域,小鼠因其与人类的基因相似度高、数量较多、繁殖能力强、个体差异度低以及成本低等原因,是实验中较常用到的一类动物。因此,本申请检测动物社交障碍行为的装置及其方法可以应用于对小鼠的行为活动进行检测,以实现对小鼠行为活动的定量化分析。
孤独症谱系障碍(Autism Spectrum Disorder,ASD)是一种神经发育性疾病,目前机制尚未完全阐明。孤独症行为异常包括社交行为障碍、刻板行为及多种伴发症状,这些行为障碍间相互影响,涉及到多个脑区及复杂的相互作用,是导致其研究困难的关键所在。目前,孤独症的行为学表型检测方法存在明显的不足,严重制约了孤独症疾病的机制研究。因此,将本申请检测动物社交障碍行为的装置及其方法应用于对孤独症小鼠社交行为的行为学研究,有助于对孤独症疾病的机制作出进一步研究。
参照图1,根据本申请的第一方面实施例的检测动物社交障碍行为的装置100,可以包括观测箱体110、图像采集装置113以及数据处理单元120。
观测箱体110,观测箱体110的内侧面围成观测腔,观测腔用于为动物提供行为活动空间。需要说明的是,观测箱体110的内侧面可以将观测腔围成正方体空间、长方体空间、圆柱体空间或者其他形状的立体空间。应理解,观测腔用于为动物提供行为活动空间,将作为观测对象的动物容置于观测腔之中,即可配合图像采集装置113来对该动物的行为活动进行观测。
图像采集装置113,图像采集装置113设于观测箱体110的内侧面,图像采集装置113用于拍摄动物的行为活动,以获取动物的行为活动画面。需要说明的是,图像采集装置113设于观测箱体110的内侧面,用于拍摄作为观测对象的动物的行为活动,得到行为活动画面。应理解,行为活动画面可以是单张照片、一组照片,也可以是一段视频。需要指出,观测箱体110的内侧面可以包括上底面、下底面以及周侧面,图像采集装置113既可以设置在上底面,也可以设置在下底面,还可以设置在周侧面。
数据处理单元120,连接于图像采集装置113,数据处理单元120用于在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。
本申请检测动物社交障碍行为的装置100在使用过程中,需要先通过图像采集装置113拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体110的内侧面围成,图像采集装置113设于内侧面。进一步,通过数据处理单元120接收图像采集装置113传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。如此一来,便可以基于检测到的动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
参照图1,根据本申请的一些实施例,观测箱体110内部设有隔板,隔板将观测腔划分成第一子腔室111与第二子腔室112,第一子腔室111用于为动物提供第一环境条件,第二子腔室112用于为动物提供第二环境条件。需要说明的是,对于动物的行为观察,通常是将动物放置在笼子或者旷场中,然后将笼子或者旷场摆放在观测箱体110内部以供观测。需要指出,旷场指的是一种半透明的圆桶型容器。为了能够提升数据采集的效率,可以分别使用第一子腔室111与第二子腔室112来观察动物的行为活动,其中第一子腔室111用于为动物提供第一环境条件,第二子腔室112用于为动物提供第二环境条件。如此一来,便可以实现双通道的数据采集。应理解,第一环境条件与第二环境条件既可以相同,也可以有所差异。一些实施例中,观测箱体110内部设有的隔板数量不限于一个,也可以是多个,因此观测箱体110内部的子腔室的数量也可以是多个。如此一来,便可以实现多通道的数据采集。另一些实施例中,子腔室之间的关系也不限于竖直排列,还可以是水平排列或者其他方式排列。
本申请一些实施例中,观测箱体110的底部还可以配备万向轮,便于在不同实验场地之间进行转移。
参照图1,由于数据处理单元120的数据处理过程,可能会频繁调用图形处理器(Graphics Processing Unit,GPU),此过程将会产生大量的热量。因此,数据处理单元120可以开放式地设置于本申请检测动物社交障碍行为的装置100中,能够方便散热。根据本申请一些较为具体的实施例,开放式地设置于本申请检测动物社交障碍行为的装置100中,数据处理单元120所放置的位置可以不加装观测箱体110侧板,只设置外框。
参照图2,根据本申请的一些实施例,图像采集装置113包括设置于内侧面不同位置的多个摄像头,用于从多个视角拍摄动物的行为活动,每一摄像头对应于一个拍摄视角。需要说明的是,观测箱体110的内侧面可以包括上底面、下底面以及周侧面,图像采集装置113的摄像头既可以设置在上底面、下底面,也可以设置在周侧面,还可以设置在上底面、下底面或者周侧面的相交线处。
需要强调的是,对于动物的行为观察,通常是将动物放置在笼子或者旷场中,然后将笼子或者旷场摆放在观测箱体110内部以供观测。其中,旷场指的是一种半透明的圆桶型容器。应理解,放置动物的容器无论是笼子还是旷场,都有其相应的容器尺寸。需要明确,图像采集装置113中多个摄像头之间的安设距离根据容器尺寸来决定,可以使得图像采集装置113在视野上具备更高的覆盖完整度,从而针对动物拍摄得到更加全面的行为活动画面。
一些较为具体的实施例中,对于小鼠的行为观察,可以是将动物放置在鼠笼或者旷场中。鼠笼的长宽尺寸通常不超过40cm,一般的旷场也可以设置为40cm×40cm的长宽,或者直径40cm的圆桶。若本申请实施例的图像采集装置113采用的摄像头视场为FOV(H×V):90°×65°,基于此,需要观测腔内的4个摄像头需要安装在至少65cm×65cm的距离上,方可保证视野覆盖的完整度,并有一定的容错率。
另一些较为具体的实施例中,对于观测腔的单个子腔室,可以采用4视角同步进行拍摄,以取得较佳的视角覆盖。因此,包括第一子腔室111与第二子腔室112的双通道行为采集,则需要配备8个摄像头同时进行动物行为活动画面的采集。由于8路视频的同时采集将占用较大的带宽,对于内存、硬盘都是考验。因此一些实施例中,还可以在采集主机上进行硬件改造,加装USB3.0扩展卡、内存以及读写速率较高的固态硬盘。此外,在视频采集软件上,可以同时获取8路视频流,在采集代码中基于8线程的方式按帧采集和存储,从而保障8个摄像头能够实现同步进行视频采集。如此一来,同时采集8路视频,保证了采集的完整度和容错率,同时在硬件和软件方面进行了优化,提高了采集效率和稳定性。
参照图3,根据本申请的第二方面实施例的检测动物社交障碍行为的方法,可以包括,但不限于下述步骤S301至步骤S302。
步骤S301,通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面;
步骤S302,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。
在步骤S301中,通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面。需要说明的是,图像采集装置设于观测箱体的内侧面,用于拍摄作为观测对象的动物的行为活动,得到行为活动画面。应理解,行为活动画面可以是单张照片、一组照片,也可以是一段视频。
在步骤S302中,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。需要说明的是,数据处理单元在接收到图像采集装置传输而来的行为活动画面之后,便可基于行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。
根据步骤S301至步骤S302示出的本申请检测动物社交障碍行为的方法,需要先通过图像采集装置拍摄动物在观测腔中的行为活动,得到动物的行为活动画面;其中,观测腔由观测箱体的内侧面围成,图像采集装置设于内侧面。进一步,通过数据处理单元接收图像采集装置传输而来的行为活动画面,并在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据。如此一来,便可以基于检测到的动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
根据本申请的一些实施例,图像采集装置包括设置于内侧面不同位置的多个摄像头,每一摄像头对应于一个拍摄视角;步骤S301中,拍摄动物在观测腔中的行为活动,得到动物的行为活动画面,具体可以包括:
控制多个摄像头同时从对应的拍摄视角对动物的行为活动进行拍摄,得到多个拍摄视角的行为活动画面。
需要说明的是,在图像采集装置包括设置于内侧面不同位置的多个摄像头的实施例中,可以利用多个摄像头来同时拍摄动物的行为活动,以使得图像采集装置在视野上具备更高的覆盖完整度,从而针对动物拍摄得到更加全面的行为活动画面。
参照图4,根据本申请的一些实施例,步骤S302在行为活动画面中对动物进行姿态识别,检测得到动物的行为数据,可以包括,但不限于下述步骤S401至步骤S403。
步骤S401,基于每一拍摄视角对应的行为活动画面进行轨迹追踪,得到二维行为轨迹;
步骤S402,将各个拍摄视角对应的二维行为轨迹进行整合,得到三维行为轨迹;
步骤S403,通过预训练的动物姿态估计模型对三维行为轨迹进行识别,得到行为数据。
需要指出,计算机视觉技术可用于进行姿态估计和动作捕获。具体使用计算机视觉进行姿态估计和动作捕获的方法,可以包括以下几类:
其一,基于图像的姿态估计。该方法涉及使用计算机视觉技术从图像中提取动物身体上的关键点的位置。这些关键点可以代表动物的关节或特定身体部位的位置。从这些关键点的位置可以计算出动物的姿态。需要指出,深度残差网络(Deep Residual Network,ResNet)、YOLO模型等深度神经网络模型都适于应用在对关键点二维轨迹进行追踪。
其二,基于深度摄像头的姿态估计。使用深度摄像头,可以获取三维空间中动物身体关键点的坐标,这可以用于更准确的姿态估计。深度摄像头使用时间飞行技术或结构光等技术来获取深度信息。深度信息可以用于将图像中的关键点从二维空间映射到三维空间中。
其三,动作捕获。该方法涉及使用计算机视觉技术从视频中捕获人的运动。这可以通过使用多个摄像头或使用惯性测量单元(Inertial Measurement Unit,IMU)来实现。惯性测量单元可以捕捉到身体部位的运动和加速度,并将这些信息传输到计算机进行处理。需要指出,使用多个摄像头的方法涉及使用多个摄像头对动物身体进行跟踪,并计算出每个身体部位的位置。
其四,姿态估计和动作捕获的结合。结合以上两种技术可以更准确地进行姿态估计和动作捕获。例如,使用深度摄像头获取三维空间中的关键点位置,然后使用多个摄像头进行动作捕获,以获取更准确的运动信息。
在步骤S401至步骤S403中,先基于每一拍摄视角对应的行为活动画面进行轨迹追踪,得到二维行为轨迹。进一步,将各个拍摄视角对应的二维行为轨迹进行整合,得到三维行为轨迹。再进一步,通过预训练的动物姿态估计模型对三维行为轨迹进行识别,得到行为数据。需要说明的是,动物姿态估计模型指的是用于估计动物姿态的人工智能模型,动物姿态估计模型在预训练过程中具备动物姿态识别的能力。其中,针对动物姿态估计模型的预训练方式多种多样,例如可以通过设置一些动物图像样本与姿态标签对用于图像处理的人工智能模型进行监督训练,以使得动物姿态估计模型具备动物姿态识别的能力。
一些实施例中,不同动物的运动姿态可能存在差异,例如脊椎动物和无脊椎动物区别在于有无脊椎、体形大小以及神经系统等方面,那么这两大类动物再起运动姿态上也就会存在差异。因此,针对不同种类的动物,动物姿态估计模型的预训练过程也相应的需要适应性调整。当动物姿态估计模型的预训练过程为监督训练时,针对不同物种的动物,则需要设置不同的动物图像样本与姿态标签对用于图像处理的人工智能模型进行监督训练,以使得动物姿态估计模型具备对应物种的动物的姿态识别的能力。
需要指出,针对动物姿态估计模型的预训练方式多种多样,可以包括,但不限于上述举出的具体实施例。
经由步骤S401至步骤S403示出的本申请实施例,基于每一拍摄视角对应的行为活动画面进行轨迹追踪,具体可以是从拍摄视角中追踪动物的身体关键点,然后整合每一拍摄视角中关键点对应的二维行为轨迹,即可得到三维空间中关键点的三维行为轨迹,从而达到高效、准确、无遮挡的行为采集。如此一来,以关键点在三维空间中的三维行为轨迹作为基础进行识别,就可以得到动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
参照图5,根据本申请的一些实施例,步骤S402将各个拍摄视角对应的二维行为轨迹进行整合,得到三维行为轨迹,可以包括,但不限于下步骤S501至步骤S502。
步骤S501,获取各个拍摄视角对应的摄像头标定参数;
步骤S502,对多组一一对应的摄像头标定参数与二维行为轨迹进行三维建模处理,得到三维行为轨迹。
在步骤S501中,获取各个拍摄视角对应的摄像头标定参数。需要说明的是,图像采集装置设置于内侧面不同位置的多个摄像头,在投入使用之前,需要预先测出摄像头标定参数,而步骤S501中则是将已经测定好的摄像头标定参数加以获取。
需要对摄像头标定作出如下说明:由于摄像头拍摄的物体处于三维世界坐标系中,因此摄像头拍摄成像时,需要把三维摄像头坐标系向二维图像坐标系转换。需要指出,不同镜头成像时的转换矩阵不同可能引入失真,因此摄像头标定的作用是近似地估算出转换矩阵和失真系数。为了估算,需要知道若干点的三维世界坐标系中的坐标和二维图像坐标系中的坐标。需要说明的是,传统的照摄像头标定方法是通过世界坐标集(Xi,Yi,Zi),以及它们在图像平面上的投影坐标集(ui,vi),计算摄像头投影矩阵M中的11个未知参数,需要严格个出三个两两互相垂直的平面来做标定,因此这种标定方式的条件较为严格,一般情况难以实现。而将棋盘格用于摄像头标定只需要两个平面,利用黑白格子相交的角点来标记会比原始标定容易许多。总而言之,将棋盘格用于摄像头标定的意义在于克服了传统标定法需要的高精度标定物的缺点,而仅需使用一个打印出来的棋盘格就可以。
本申请一些较为具体的实施例中,为了测出摄像头标定参数,需要在使用图像采集装置之前预先进行标定操作。需要指出,针对摄像头的标定,需要用到棋盘格作为单独的外设,在摄像头标定时将棋盘格固定在某一位置来进行标定的拍摄。为了采集棋盘格图案相对于摄像机的不同方向和位置的图案,本申请实施例可以通过程序控制棋盘格的固定装置,在不同的倾斜角度下旋转和平移棋盘图案,并于此过程中,在预设时间间隔内采集若干组棋盘格图案。
参照图6,控制棋盘格的固定装置,在不同的倾斜角度下旋转和平移棋盘图案,并于此过程中,在预设时间间隔内采集若干组棋盘格图案,可以包括,但不限于下述步骤S601至步骤S603。
步骤S601,执行标定初始化操作;
步骤S602,基于多个摄像头在对应的拍摄角度下对棋盘格进行多轮拍摄,得到第一数目张棋盘格图片;每一轮拍摄中,基于多个摄像头在对应的拍摄角度下对棋盘格进行当前轮次的拍摄,得到一组棋盘格图片;在完成一轮拍摄后,调整棋盘格的位置,并基于多个摄像头在对应的拍摄角度下对位置调整后的棋盘格进行下一轮次的拍摄,得到一组棋盘格图片;
步骤S603,在得到第一数目张棋盘格图片之后,基于第一数目张棋盘格图片进行标定处理,得到每一摄像头的摄像头标定参数;
在步骤S601中,执行标定初始化操作。需要指出,标定程序的初始化指的是把运行程序必须的资源加载到内存,为一些变量分配空间赋初值,便于后续程序的执行。
在步骤S602中,基于多个摄像头在对应的拍摄角度下对棋盘格进行多轮拍摄,得到第一数目张棋盘格图片;每一轮拍摄中,基于多个摄像头在对应的拍摄角度下对棋盘格进行当前轮次的拍摄,得到一组棋盘格图片;在完成一轮拍摄后,调整棋盘格的位置,并基于多个摄像头在对应的拍摄角度下对位置调整后的棋盘格进行下一轮次的拍摄,得到一组棋盘格图片。
一些较为具体的实施例中,可以预先确定5个不同的方向(例如水平、左上、右上、左下、右下)。当棋盘格倾斜到其中任意一个方向时,程序会控制图案进行旋转或位移变换,每次变换完成后,立即进行4个摄像头的抓拍。其中,棋盘格在每倾斜到一个方向,都会拍摄一组28张的棋盘格图片。当棋盘格分别完成五个不同方向的拍摄时,即可得到28*5=140张棋盘格图片,其中140即为第一数目。
应理解,基于多个摄像头在对应的拍摄角度下对棋盘格进行多轮拍摄,得到第一数目张棋盘格图片的方式多种多样,不限于上述举例。
在步骤S603中,在得到第一数目张棋盘格图片之后,基于第一数目张棋盘格图片进行标定处理,得到每一摄像头的摄像头标定参数。需要说明的是,在得到第一数目张棋盘格图片之后,后续可以由MATLAB的StereoCameraCalibrator GUI工具来计算每一摄像头的摄像头标定参数。
应理解,在得到第一数目张棋盘格图片之后,计算摄像头标定参数的方式多种多样,不限于上述举例。
通过步骤S601至步骤S603示出的本申请实施例,可以实现自动标定图像采集装置的内外参数,并且可以在短时间内完成标定过程,提高了采集数据的准确性和稳定性。
在步骤S502中,对多组一一对应的摄像头标定参数与二维行为轨迹进行三维建模处理,得到三维行为轨迹。需要说明的是,在得到多组一一对应的摄像头标定参数与二维行为轨迹之后,即可将各组一一对应的摄像头标定参数与二维行为轨迹按照三角变换的方式进行三维建模处理,如此一来,便可以得到三维行为轨迹,还原动物在三维空间中真实的行为数据,解决遮挡和视角偏差的问题,从而达到高效、准确、无遮挡的行为采集。
通过步骤S501至步骤S502示出的本申请实施例,以关键点在三维空间中的三维行为轨迹作为基础进行识别,就可以得到动物的行为数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
参照图7,根据本申请的一些实施例,行为数据包括动物的行为姿态种类与姿态行为参数;步骤S403通过预训练的动物姿态估计模型对三维行为轨迹进行识别,得到行为数据中,可以包括,但不限于下述步骤S701至步骤S702。
步骤S701,通过动物姿态估计模型对三维行为轨迹进行识别,确定出行为姿态种类;
步骤S702,基于三维行为轨迹进行行为参数计算,得到姿态行为参数。
在步骤S701中,通过动物姿态估计模型对三维行为轨迹进行识别,确定出行为姿态种类。需要强调,动物姿态估计模型指的是用于估计动物姿态的人工智能模型,动物姿态估计模型在预训练过程中具备动物姿态识别的能力。因此利用动物姿态估计模型,结合动态时间规整及聚类技术,来基于时间序列对三维行为轨迹进行分割及聚类,即可从复杂、动态的三维行为数据中识别得到对应动物的运动动作。需要指出,动物的运动动作类别称作行为姿态种类,例如行走,站立,跳跃等。
在步骤S702中,基于三维行为轨迹进行行为参数计算,得到姿态行为参数。需要说明的是,本申请实施例中为了实现对动物行为活动的定量化分析,动物的行为数据可以只包括动物的姿态行为参数,也可以同时包括行为姿态种类与姿态行为参数。需要指出,姿态行为参数指的是描述动物姿态的数值参数,例如动物速度、运动强度、体型参数、位置参数,或者用于描述行走、攀爬、梳理、抓挠、嗅探等行为的数值参数。应理解,正因为姿态行为参数是描述动物姿态的数值参数,因此是对动物行为活动进行定量化分析起到重要作用的数据。
通过步骤S701至步骤S702示出的本申请实施例,就可以得到描述动物行为较为精确的数据,来准确检测动物的行为活动,以实现对动物行为活动的定量化分析。
需要强调,在针对动物的行为研究领域,小鼠因其与人类的基因相似度高、数量较多、繁殖能力强、个体差异度低以及成本低等原因,是实验中较常用到的一类动物。因此,本申请检测动物社交障碍行为的装置及其方法可以应用于对小鼠的行为活动进行检测,以实现对小鼠行为活动的定量化分析。尤其是针对孤独症机制的研究过程中,需要较为准确地监测小鼠的行为活动,从中确定出小鼠的社交行为障碍、刻板行为及多种伴发症状。
本申请一些较为具体的实施例中,在检测得到动物的行为数据之后,还可以基于针对动物检测得到的行为数据,来提供可视化数据预览;其中,可视化数据预览具体可以包括原始视频预览(Video View)、骨架重建预览(Skeleton View)、轨迹谱预览(TrajectoryView)、行为语言图谱(Ethogram)、轨迹速率热图(Trajectory-velocity Heatmap)、位置热图(Position Heatmap)、等相关图表。并且,还可以基于针对动物检测得到的行为数据,提供实验组(Test)与对照组(Control)的对比分析;需要指出,实验组(Test)与对照组(Control)可以分别设置在观测箱体的第一子腔室与第二子腔室中进行行为活动的检测,从而得到实验组对应的行为数据与对照组对应的行为数据。
一些更为具体的实施例中,还可以基于提取出的行为特征建立普通小鼠与各种孤独症小鼠的行为组学数据集,用该数据集训练机器学习模型。通过这个训练得到的机器学习模型,就可以实现对孤独症小鼠的自动化鉴定及亚型的分类。
图8示出了本申请实施例提供的电子设备800。电子设备800包括:处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序,计算机程序运行时用于执行上述的检测动物社交障碍行为的方法。
处理器801和存储器802可以通过总线或者其他方式连接。
存储器802作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本申请实施例描述的检测动物社交障碍行为的方法。处理器801通过运行存储在存储器802中的非暂态软件程序以及指令,从而实现上述的检测动物社交障碍行为的方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储执行上述的检测动物社交障碍行为的方法。此外,存储器802可以包括高速随机存取存储器802,还可以包括非暂态存储器802,例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中,存储器802可选包括相对于处理器801远程设置的存储器802,这些远程存储器802可以通过网络连接至该电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的检测动物社交障碍行为的方法所需的非暂态软件程序以及指令存储在存储器802中,当被一个或者多个处理器801执行时,执行上述的检测动物社交障碍行为的方法,例如,执行图3中的方法步骤S301至步骤S302、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603、图7中的方法步骤S701至步骤S702。
本申请实施例还提供了计算机可读存储介质,存储有计算机可执行指令,计算机可执行指令用于执行上述的检测动物社交障碍行为的方法。
在一实施例中,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,例如,执行图3中的方法步骤S301至步骤S302、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603、图7中的方法步骤S701至步骤S702。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。还应了解,本申请实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。
以上是对本申请的较佳实施进行了具体说明,但本申请并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本申请权利要求所限定的范围内。

Claims (10)

1.一种检测动物社交障碍行为的装置,其特征在于,包括:
观测箱体,所述观测箱体的内侧面围成观测腔,所述观测腔用于为动物提供行为活动空间;
图像采集装置,所述图像采集装置设于所述观测箱体的所述内侧面,所述图像采集装置用于拍摄所述动物的行为活动,以获取所述动物的行为活动画面;
数据处理单元,连接于所述图像采集装置,所述数据处理单元用于在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据。
2.根据权利要求1所述的装置,其特征在于,所述观测箱体内部设有隔板,所述隔板将所述观测腔划分成第一子腔室与第二子腔室,所述第一子腔室用于为所述动物提供第一环境条件,所述第二子腔室用于为所述动物提供第二环境条件。
3.根据权利要求1或2所述的装置,其特征在于,所述图像采集装置包括设置于所述内侧面不同位置的多个摄像头,用于从多个拍摄视角拍摄所述动物的行为活动,每一所述摄像头对应于一个所述拍摄视角。
4.一种检测动物社交障碍行为的方法,其特征在于,所述方法包括:
通过图像采集装置拍摄动物在观测腔中的行为活动,得到所述动物的行为活动画面;其中,所述观测腔由观测箱体的内侧面围成,所述图像采集装置设于所述内侧面;
通过数据处理单元接收所述图像采集装置传输而来的所述行为活动画面,并在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据。
5.根据权利要求4所述的方法,其特征在于,所述图像采集装置包括设置于所述内侧面不同位置的多个摄像头,每一所述摄像头对应于一个拍摄视角;
所述拍摄动物在观测腔中的行为活动,得到所述动物的行为活动画面,包括:
控制多个所述摄像头同时从对应的所述拍摄视角对所述动物的行为活动进行拍摄,得到多个所述拍摄视角的所述行为活动画面。
6.根据权利要求5所述的方法,其特征在于,所述在所述行为活动画面中对所述动物进行姿态识别,检测得到所述动物的行为数据,包括:
基于每一所述拍摄视角对应的所述行为活动画面进行轨迹追踪,得到二维行为轨迹;
将各个所述拍摄视角对应的所述二维行为轨迹进行整合,得到三维行为轨迹;
通过预训练的动物姿态估计模型对所述三维行为轨迹进行识别,得到所述行为数据。
7.根据权利要求6所述的方法,其特征在于,所述将各个所述拍摄视角对应的所述二维行为轨迹进行整合,得到三维行为轨迹,包括:
获取各个所述拍摄视角对应的摄像头标定参数;
对多组一一对应的所述摄像头标定参数与所述二维行为轨迹进行三维建模处理,得到所述三维行为轨迹。
8.根据权利要求6或7所述的方法,其特征在于,所述行为数据包括所述动物的所述行为姿态种类与所述姿态行为参数;
所述通过预训练的动物姿态估计模型对所述三维行为轨迹进行识别,得到所述行为数据,包括:
通过所述动物姿态估计模型对所述三维行为轨迹进行识别,确定出所述行为姿态种类;
基于所述三维行为轨迹进行行为参数计算,得到所述姿态行为参数。
9.一种电子设备,其特征在于,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求4至8中任意一项所述的检测动物社交障碍行为的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求4至8中任意一项所述的检测动物社交障碍行为的方法。
CN202310760218.6A 2023-06-26 2023-06-26 检测动物社交障碍行为的装置及其方法、电子设备、介质 Pending CN116868912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310760218.6A CN116868912A (zh) 2023-06-26 2023-06-26 检测动物社交障碍行为的装置及其方法、电子设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310760218.6A CN116868912A (zh) 2023-06-26 2023-06-26 检测动物社交障碍行为的装置及其方法、电子设备、介质

Publications (1)

Publication Number Publication Date
CN116868912A true CN116868912A (zh) 2023-10-13

Family

ID=88267076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310760218.6A Pending CN116868912A (zh) 2023-06-26 2023-06-26 检测动物社交障碍行为的装置及其方法、电子设备、介质

Country Status (1)

Country Link
CN (1) CN116868912A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152799A (zh) * 2023-10-31 2023-12-01 深圳市盛航特科技有限公司 动物识别方法、装置、终端设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152799A (zh) * 2023-10-31 2023-12-01 深圳市盛航特科技有限公司 动物识别方法、装置、终端设备以及存储介质
CN117152799B (zh) * 2023-10-31 2024-02-09 深圳市盛航特科技有限公司 动物识别方法、装置、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
US10260862B2 (en) Pose estimation using sensors
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
US20230087330A1 (en) Object tracking
CN108875730B (zh) 一种深度学习样本收集方法、装置、设备及存储介质
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN116868912A (zh) 检测动物社交障碍行为的装置及其方法、电子设备、介质
KR20170097265A (ko) 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법
CN115035162A (zh) 基于视觉slam的监控视频人员定位跟踪方法及系统
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN112562005A (zh) 一种空间标定方法和系统
Grover et al. O fly, where art thou?
CN109460077B (zh) 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
Jensen et al. Snakestrike: A low-cost open-source high-speed multi-camera motion capture system
Liu et al. Automatic 3D tracking system for large swarm of moving objects
Vagvolgyi et al. Wide-angle, monocular head tracking using passive markers
CN109062220B (zh) 控制终端运动的方法和装置
Tsuruda et al. 3D body parts tracking of mouse based on RGB-D video from under an open field
CN111598956A (zh) 标定方法、装置和系统
CN111724432A (zh) 物体三维检测方法和装置
WO2023097773A1 (zh) 步态分析方法、装置、设备及存储介质
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination