CN111832531B - 基于深度学习适用于啮齿动物社交实验的分析系统和方法 - Google Patents
基于深度学习适用于啮齿动物社交实验的分析系统和方法 Download PDFInfo
- Publication number
- CN111832531B CN111832531B CN202010724343.8A CN202010724343A CN111832531B CN 111832531 B CN111832531 B CN 111832531B CN 202010724343 A CN202010724343 A CN 202010724343A CN 111832531 B CN111832531 B CN 111832531B
- Authority
- CN
- China
- Prior art keywords
- mouse
- rat
- experimental
- tip
- social
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 83
- 238000004458 analytical method Methods 0.000 title claims abstract description 76
- 241000283984 Rodentia Species 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 19
- 241000700159 Rattus Species 0.000 claims abstract description 280
- 241000699670 Mus sp. Species 0.000 claims abstract description 92
- 230000006399 behavior Effects 0.000 claims abstract description 24
- 230000011273 social behavior Effects 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 241000699666 Mus <mouse, genus> Species 0.000 claims description 376
- 239000013598 vector Substances 0.000 claims description 58
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 36
- 210000004392 genitalia Anatomy 0.000 claims description 24
- 238000007639 printing Methods 0.000 claims description 21
- 229910052742 iron Inorganic materials 0.000 claims description 18
- 210000003194 forelimb Anatomy 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 12
- 210000003141 lower extremity Anatomy 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 abstract description 16
- 230000007774 longterm Effects 0.000 abstract description 4
- 239000003153 chemical reaction reagent Substances 0.000 abstract description 3
- 238000010171 animal model Methods 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 208000020016 psychiatric disease Diseases 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002651 drug therapy Methods 0.000 description 2
- 230000007230 neural mechanism Effects 0.000 description 2
- 239000002547 new drug Substances 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 230000009326 social learning Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Health & Medical Sciences (AREA)
- Catching Or Destruction (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于深度学习适用于啮齿动物社交实验的分析系统和方法，包括实验模块、数据采集模块和视频分析模块，实验模块用于啮齿动物的社交实验；数据采集模块用于采集社交实验数据，并将采集到的社交实验数据发送至服务器和视频分析模块；视频分析模块用于社交实验数据的视频分析；本发明无需特殊的实验硬件设备与人为对动物进行特殊化学试剂标记处理，通过多目标分析与多身体关键点识别技术实现全自动化无间断追踪多只动物，捕捉大小鼠社交实验超精细行为指标；本发明适用于传统的三箱社交实验方法，还适用于更自然的社交环境与更多实验动物只数，实现长期动态的实验研究，并捕获更加广泛、精细的指标，形成超精细化社交行为指标体系。
Description
技术领域
本发明属于生物实验技术领域，涉及啮齿动物社交实验技术，具体是基于深度学习适用于啮齿动物社交实验的分析系统和方法。
背景技术
社交行为涉及生活的许多方面，例如交流、社会游戏(社会学习)、甚至影响人们生活的质量。社交行为缺陷，如社交隔离和社交退缩也可能是许多神经精神疾病的第一个体征。在临床前研究中，大小鼠是一种社会物种，参与高度的社交互动。模式动物中社交行为的关键行为序列准确检测与定量研究不仅对于研究社交行为和相关精神障碍的学术机构的研究人员，而且对于制药公司开发治疗影响社会交往障碍的神经系统疾病(如自闭症和精神分裂症)相关药物都具有重要的意义。因此，亟需研发啮齿动物多目标超精细行为捕获手段。
虽然目前啮齿动物行为评分的自动化系统是可用的，但是它们一般局限于单只动物分析，其能力局限于简单的跟踪或使用专用仪器测量特定行为(例如高架十字迷宫、明暗箱等)。相比之下，啮齿动物社交行为通常采取人工观察和手动评分的方式。事实上，人工评分存在许多局限性，如缺乏可复制性和缺乏标准化。而且，视觉上跟随微妙和复合的社会行为，特别是当涉及到多种动物时，是极具挑战性和耗费时间的。因此，仍无法负担更多的长期和/或大规模解释性研究。因此，除非引入技术创新来促进分析，否则我们将遗传学和啮齿动物复杂的社会行为联系起来的能力在实验方案的范围内仍然是有限的，这反过来将限制精神医学的转化进展，为此，我们提出基于深度学习适用于啮齿动物社交实验的分析系统和方法。
发明内容
针对现有技术存在的不足，本发明目的是提供一种基于深度学习适用于啮齿动物社交实验的分析系统和方法，基于计算机视觉与深度学习技术，实现啮齿动物社交实验多目标追踪(多达10只动物)与多身体关键点识别(鼻尖、双眼、双耳、头部、躯干中心、尾根、四肢12个身体关键点)，实现了多只小鼠全自动追踪，精确捕获多只小鼠间超精细行为指标，构建社交行为动作序列图，丰富社交实验行为评价体系，助力精神疾病研究。
本发明的目的可以通过以下技术方案实现：
基于深度学习适用于啮齿动物社交实验的分析系统，包括实验模块、数据采集模块、视频分析模块、发送模块、显示模块、生成打印模块、数据库、计时模块以及服务器；
所述实验模块用于啮齿动物的社交实验，实验装置具体为三箱装置或旷场反应箱，所述三箱装置包括左侧箱室、中间箱室和右侧箱室，所述中间箱室内部放置有实验小鼠，所述左侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖小鼠，所述右侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖物体；
所述数据采集模块用于采集社交实验数据，并将采集到的社交实验数据发送至服务器和视频分析模块，数据采集模块具体为拍摄相机；所述视频分析模块用于社交实验数据的视频分析以及基于计算机视觉与深度学习技术，实现啮齿动物社交实验多目标追踪(多达10只动物)与多身体关键点识别(鼻尖、双眼、双耳、头部、躯干中心、尾根、四肢12个身体关键点)，实现了多只小鼠全自动追踪，精确捕获多只小鼠间超精细行为指标，构建社交行为动作序列图，丰富社交实验行为评价体系，助力精神疾病研究，具体视频分析过程如下：
S1：以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，i＝1、……、n，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位；
S2：以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点，身体关键点对应标记为j，j＝1、……、12；
S3：当实验模块具体为三箱装置时；
S31：获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xji，Yji)；
S32：以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架；
S33：以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S34：像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；
S35：三箱装置长的像素点值范围为：X1到X2，且X2＞X1；三箱装置宽的像素点值范围为：Y1到Y2，且Y2＞Y1：
S36：左侧箱室长的像素点值范围为：X1到X1+(X2-X1)÷3；
右侧箱室长的像素点值范围为：X2-(X2-X1)÷3到X2；
中间箱室长的像素点值范围为：X1+(X2-X1)÷3到X2-(X2-X1)÷3；
S37：实验小鼠在左侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1且小于X1+(X2-X1)÷3的总时长；
实验小鼠在右侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X2-(X2-X1)÷3且小于X2的总时长；
实验小鼠在中间箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1+(X2-X1)÷3且小于X2-(X2-X1)÷3的总时长；
S38：实验小鼠探索新颖小鼠：以左侧箱室放置新颖小鼠的空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖小鼠；
实验小鼠探索新颖物体：以右侧箱室空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖物体；
S4：当实验模块具体为旷场反应箱时；
S41：实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，四个实验小鼠标记为q，q＝1、2、3、4，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xqji，Yqji)；
S42：分别以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架；
S43：分别以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S44：像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长；
S45：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向：小鼠M头部指向鼻尖的向量与小鼠M头部指向小鼠N躯干中心的向量所组成的角度；大鼠M头部指向鼻尖的向量与大鼠M头部指向大鼠N躯干中心的向量所组成的角度；
S46：小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离：小鼠M的躯干中心与小鼠N躯干中心的距离；大鼠M的躯干中心与大鼠N躯干中心的距离；
小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离；
S47：小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N躯干中心的距离小于0.5×B个像素点；小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且大鼠M鼻尖与大鼠N躯干中心的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N鼻尖的距离小于0.5×B个像素点；小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且大鼠M鼻尖与大鼠N鼻尖的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N尾根的距离小于0.5×B个像素点；
S48：小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触：两只实验小鼠头部中心之间的距离小于2×B个像素点；
小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触：小鼠M的头部中心与小鼠N尾根间的距离或小鼠M的头部中心与大鼠N尾根间的距离小于1.5×B个像素点；
小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触：两只实验小鼠躯干中心之间的距离小于1×B个像素点，最短时间持续0.5s；
S49：小鼠M社交接近小鼠N或大鼠M社交接近大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向小于30度，小鼠M向小鼠N运动距离或大鼠M向大鼠N运动距离大于10×B个像素点；小鼠M或大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交离开小鼠N或大鼠M社交离开大鼠N：两只实验小鼠躯干中心点间距离小于10×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向大于30度，小鼠M向小鼠N运动距离或大鼠M向大鼠N运动距离大于10×B个像素点；小鼠M或大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向小于30度，小鼠N相对于小鼠M的方向或大鼠N相对于大鼠M的方向大于90度，小鼠M与小鼠N的运动速度或大鼠M与大鼠N的运动速度都大于4×B个像素点/30帧；
小鼠M背向小鼠N或大鼠M背向大鼠N：小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向大于90度，小鼠N相对于小鼠M的方向或大鼠N相对于大鼠M的方向大于90度；
S5：视频分析成功后输出的结果为追踪视频、运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据的可能性；
所述发送模块用于发送社交实验数据的分析结果，所述显示模块用于显示社交实验数据的分析结果，所述生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印；所述数据库用于存储社交实验数据；所述计时模块用于实验模块的实验时间进行计时。
进一步地，所述左侧箱室、中间箱室和右侧箱室为长20厘米、宽40.5厘米、高22厘米的三个腔室，左侧箱室与中间箱室之间分隔有透明的有机玻璃，中间箱室与右侧箱室之间分隔有透明的有机玻璃，所述有机玻璃上开设有宽10厘米、高5厘米的小开口，所述三箱装置正上方1.5m处架设有一架相机，所述相机的型号为SONY HDR-CX680、帧数：30帧、分辨率：1920×1080。
进一步地，所述旷场反应箱的高度30～40cm、底边长100cm，所述旷场反应箱内壁涂黑，所述旷场反应箱的底面平均分为25个4cm×4cm小方格，所述旷场反应箱的的正上方2m处架设一相机。
进一步地，所述旷场反应箱的实验方式为小鼠M与小鼠N一起、大鼠M与大鼠N一起。
基于深度学习适用于啮齿动物社交实验的分析方法，所述分析方法包括以下步骤：
步骤一：啮齿动物的社交实验通过三箱装置或旷场反应箱进行，并通过相机采集社交实验数据，采集到的社交实验数据发送至服务器和视频分析模块，视频分析模块对社交实验数据进行视频分析，以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位，以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点j；
步骤二：当实验模块具体为三箱装置时，获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架，以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，当鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；通过三箱装置长的像素点值范围、三箱装置宽的像素点值范围、左侧箱室长的像素点值范围、右侧箱室长的像素点值范围、中间箱室长的像素点值范围计算出、实验小鼠在左侧箱室所待总时长、实验小鼠在右侧箱室所待总时长、实验小鼠在中间箱室所待总时长、实验小鼠探索新颖小鼠、实验小鼠探索新颖物体，精确捕获实验小鼠的超精细行为指标；
步骤三：当实验模块具体为旷场反应箱时，实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架，而后以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长，获取小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向、小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离、小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离、小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体、小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖、小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器、小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触、小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触、小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触、小鼠M社交接近小鼠N或大鼠M社交接近大鼠N、小鼠M社交离开小鼠N或大鼠M社交离开大鼠N、小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N以及小鼠M背向小鼠N或大鼠M背向大鼠N，精确捕获实验小鼠的超精细行为指标；
步骤四：视频分析成功后输出的结果为运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据，通过发送模块发送社交实验数据的分析结果，通过显示模块显示社交实验数据的分析结果，同时，生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印。
与现有技术相比，本发明的有益效果是：
1、本发明基于计算机视觉与深度学习技术，无需特殊的实验硬件设备与人为对动物进行特殊化学试剂标记处理，通过多目标分析与多身体关键点识别技术实现全自动化无间断追踪多只动物，并解决了多只动物相关遮挡导致识别失败等问题，全自动化、智能化、高通量捕捉大小鼠社交实验超精细行为指标；本发明不仅适用于传统的三箱社交实验方法，而且可以适用于更自然的社交环境(如：旷场)与更多实验动物只数(多达十只)，实现长期动态的实验研究，并捕获更加广泛、精细的指标，形成超精细化社交行为指标体系；同时，根据对超精细行为指标的捕获，进一步实现动物在社交过程中行为动作序列的分析。如此一来，该发明可能对社交行为背后的神经机制相关研究，以及针对人类精神疾病新药物疗法的开发产生变革性影响。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明的整体系统框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，基于深度学习适用于啮齿动物社交实验的分析系统，包括实验模块、数据采集模块、视频分析模块、发送模块、显示模块、生成打印模块、数据库、计时模块以及服务器；
其中，实验模块用于啮齿动物的社交实验，实验装置具体为三箱装置或旷场反应箱，三箱装置包括左侧箱室、中间箱室和右侧箱室，中间箱室内部放置有实验小鼠，左侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖小鼠，右侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖物体；
数据采集模块用于采集社交实验数据，并将采集到的社交实验数据发送至服务器和视频分析模块，数据采集模块具体为拍摄相机；视频分析模块用于社交实验数据的视频分析以及基于计算机视觉与深度学习技术，实现啮齿动物社交实验多目标追踪(多达10只动物)与多身体关键点识别(鼻尖、双眼、双耳、头部、躯干中心、尾根、四肢12个身体关键点)，实现了多只小鼠全自动追踪，精确捕获多只小鼠间超精细行为指标，构建社交行为动作序列图，丰富社交实验行为评价体系，助力精神疾病研究，具体视频分析过程如下：
S1：以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，i＝1、……、n，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位；
S2：以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点，身体关键点对应标记为j，j＝1、……、12；
S3：当实验模块具体为三箱装置时；
S31：获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xji，Yji)；
S32：以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架；
S33：以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S34：像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；
S35：三箱装置长的像素点值范围为：X1到X2，且X2＞X1；三箱装置宽的像素点值范围为：Y1到Y2，且Y2＞Y1：
S36：左侧箱室长的像素点值范围为：X1到X1+(X2-X1)÷3；
右侧箱室长的像素点值范围为：X2-(X2-X1)÷3到X2；
中间箱室长的像素点值范围为：X1+(X2-X1)÷3到X2-(X2-X1)÷3；
S37：实验小鼠在左侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1且小于X1+(X2-X1)÷3的总时长；
实验小鼠在右侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X2-(X2-X1)÷3且小于X2的总时长；
实验小鼠在中间箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1+(X2-X1)÷3且小于X2-(X2-X1)÷3的总时长；
S38：实验小鼠探索新颖小鼠：以左侧箱室放置新颖小鼠的空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖小鼠；
实验小鼠探索新颖物体：以右侧箱室空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖物体；
S4：当实验模块具体为旷场反应箱时；
S41：实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，四个实验小鼠标记为q，q＝1、2、3、4，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xqji，Yqji)；
S42：分别以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架；
S43：分别以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S44：像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长；
S45：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向：小鼠M/大鼠M头部指向鼻尖的向量与小鼠M/大鼠M头部指向小鼠N/大鼠N躯干中心的向量所组成的角度；
S46：小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离：小鼠M/大鼠M的躯干中心与小鼠N/大鼠N躯干中心的距离；
小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离；
S47：小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M/大鼠M鼻尖与小鼠N/大鼠N躯干中心的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M/大鼠M鼻尖与小鼠N/大鼠N鼻尖的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M/大鼠M鼻尖与小鼠N/大鼠N尾根的距离小于0.5×B个像素点；
S48：小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触：两只实验小鼠头部中心之间的距离小于2×B个像素点；
小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触：小鼠M/大鼠M的头部中心与小鼠N/大鼠N尾根间的距离小于1.5×B个像素点；
小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触：两只实验小鼠躯干中心之间的距离小于1×B个像素点，最短时间持续0.5s；
S49：小鼠M社交接近小鼠N或大鼠M社交接近大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M/大鼠M相对于小鼠N/大鼠N的方向小于30度，小鼠M/大鼠M向小鼠N/大鼠N运动距离大于10×B个像素点；小鼠M/大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交离开小鼠N或大鼠M社交离开大鼠N：两只实验小鼠躯干中心点间距离小于10×B个像素点，小鼠M/大鼠M相对于小鼠N/大鼠N的方向大于30度，小鼠M/大鼠M向小鼠N/大鼠N运动距离大于10×B个像素点；小鼠M/大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M/大鼠M相对于小鼠N/大鼠N的方向小于30度，小鼠N/大鼠N相对于小鼠M/大鼠M的方向大于90度，小鼠M/大鼠M与小鼠N/大鼠N的运动速度都大于4×B个像素点/30帧；
小鼠M背向小鼠N或大鼠M背向大鼠N：小鼠M/大鼠M相对于小鼠N/大鼠N的方向大于90度，小鼠N/大鼠N相对于小鼠M/大鼠M的方向大于90度；
S5：视频分析成功后输出的结果为追踪视频、运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据的可能性；
其中，发送模块用于发送社交实验数据的分析结果，显示模块用于显示社交实验数据的分析结果，生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印；数据库用于存储社交实验数据；计时模块用于实验模块的实验时间进行计时。
其中，左侧箱室、中间箱室和右侧箱室为长20厘米、宽40.5厘米、高22厘米的三个腔室，左侧箱室与中间箱室之间分隔有透明的有机玻璃，中间箱室与右侧箱室之间分隔有透明的有机玻璃，有机玻璃上开设有宽10厘米、高5厘米的小开口，三箱装置正上方1.5m处架设有一架相机，相机的型号为SONY HDR-CX680、帧数：30帧、分辨率：1920×1080。
其中，述旷场反应箱的高度30～40cm、底边长100cm，旷场反应箱内壁涂黑，旷场反应箱的底面平均分为25个4cm×4cm小方格，旷场反应箱的的正上方2m处架设一相机。
其中，旷场反应箱的实验方式为小鼠M与小鼠N一起、大鼠M与大鼠N一起其中，基于深度学习适用于啮齿动物社交实验的分析方法，所述分析方法包括以下步骤：
步骤一：啮齿动物的社交实验通过三箱装置或旷场反应箱进行，并通过相机采集社交实验数据，采集到的社交实验数据发送至服务器和视频分析模块，视频分析模块对社交实验数据进行视频分析，以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位，以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点j；
步骤二：当实验模块具体为三箱装置时，获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架，以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，当鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；通过三箱装置长的像素点值范围、三箱装置宽的像素点值范围、左侧箱室长的像素点值范围、右侧箱室长的像素点值范围、中间箱室长的像素点值范围计算出、实验小鼠在左侧箱室所待总时长、实验小鼠在右侧箱室所待总时长、实验小鼠在中间箱室所待总时长、实验小鼠探索新颖小鼠、实验小鼠探索新颖物体，精确捕获实验小鼠的超精细行为指标；
步骤三：当实验模块具体为旷场反应箱时，实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架，而后以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长，获取小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向、小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离、小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离、小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体、小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖、小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器、小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触、小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触、小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触、小鼠M社交接近小鼠N或大鼠M社交接近大鼠N、小鼠M社交离开小鼠N或大鼠M社交离开大鼠N、小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N以及小鼠M背向小鼠N或大鼠M背向大鼠N，精确捕获实验小鼠的超精细行为指标；
步骤四：视频分析成功后输出的结果为运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据，通过发送模块发送社交实验数据的分析结果，通过显示模块显示社交实验数据的分析结果，同时，生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印。
本发明基于计算机视觉与深度学习技术，无需特殊的实验硬件设备与人为对动物进行特殊化学试剂标记处理。通过多目标分析与多身体关键点识别技术实现全自动化无间断追踪多只动物，并解决了多只动物相关遮挡导致识别失败等问题，全自动化、智能化、高通量捕捉大小鼠社交实验超精细行为指标。本发明不仅适用于传统的三箱社交实验方法，而且可以适用于更自然的社交环境(如：旷场)与更多实验动物只数(多达十只)。实现长期动态的实验研究，并捕获更加广泛、精细的指标，形成超精细化社交行为指标体系。同时，根据对超精细行为指标的捕获，进一步实现动物在社交过程中行为动作序列的分析。如此一来，该发明可能对社交行为背后的神经机制相关研究，以及针对人类精神疾病新药物疗法的开发产生变革性影响。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.基于深度学习适用于啮齿动物社交实验的分析系统，其特征在于，包括实验模块、数据采集模块、视频分析模块、发送模块、显示模块、生成打印模块、数据库、计时模块以及服务器；
所述实验模块用于啮齿动物的社交实验，实验装置具体为三箱装置或旷场反应箱，所述三箱装置包括左侧箱室、中间箱室和右侧箱室，所述中间箱室内部放置有实验小鼠，所述左侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖小鼠，所述右侧箱室内部放置有底部直径为4cm的空铁丝杯，且空铁丝杯中放置有实验小鼠的新颖物体；
所述数据采集模块用于采集社交实验数据，并将采集到的社交实验数据发送至服务器和视频分析模块，数据采集模块具体为拍摄相机；所述视频分析模块用于社交实验数据的视频分析，具体基于计算机视觉与深度学习技术，进行啮齿动物社交实验多目标追踪与多身体关键点识别，实现多只小鼠全自动追踪，精确捕获多只小鼠间超精细行为指标，构建社交行为动作序列图，具体视频分析过程如下：
S1：以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，i＝1、……、n，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位；
S2：以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点，身体关键点对应标记为j，j＝1、……、12；
S3：当实验模块具体为三箱装置时；
S31：获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xji，Yji)；
S32：以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架；
S33：以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S34：像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；
S35：三箱装置长的像素点值范围为：X1到X2，且X2＞X1；三箱装置宽的像素点值范围为：Y1到Y2，且Y2＞Y1：
S36：左侧箱室长的像素点值范围为：X1到X1+(X2-X1)÷3；
右侧箱室长的像素点值范围为：X2-(X2-X1)÷3到X2；
中间箱室长的像素点值范围为：X1+(X2-X1)÷3到X2-(X2-X1)÷3；
S37：实验小鼠在左侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1且小于X1+(X2-X1)÷3的总时长；
实验小鼠在右侧箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X2-(X2-X1)÷3且小于X2的总时长；
实验小鼠在中间箱室所待总时长：实验小鼠躯干中心像素点X轴数值大于X1+(X2-X1)÷3且小于X2-(X2-X1)÷3的总时长；
S38：实验小鼠探索新颖小鼠：以左侧箱室放置新颖小鼠的空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖小鼠；
实验小鼠探索新颖物体：以右侧箱室空铁丝杯的中心点为原点，以该原点3×A个像素点为半径的长度划圆，若小鼠鼻尖在此圆范围内则算为实验小鼠探索新颖物体；
S4：当实验模块具体为旷场反应箱时；
S41：实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，四个实验小鼠标记为q，q＝1、2、3、4，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，坐标值标记为(Xqji，Yqji)；
S42：分别以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架；
S43：分别以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；
S44：像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长；
S45：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向：小鼠M头部指向鼻尖的向量与小鼠M头部指向小鼠N躯干中心的向量所组成的角度；大鼠M头部指向鼻尖的向量与大鼠M头部指向大鼠N躯干中心的向量所组成的角度；
S46：小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离：小鼠M的躯干中心与小鼠N躯干中心的距离；大鼠M的躯干中心与大鼠N躯干中心的距离；
小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离；
S47：小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N躯干中心的距离小于0.5×B个像素点；小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且大鼠M鼻尖与大鼠N躯干中心的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N鼻尖的距离小于0.5×B个像素点；小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且大鼠M鼻尖与大鼠N鼻尖的距离小于0.5×B个像素点；
小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器：小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向小于30°，并且小鼠M鼻尖与小鼠N尾根的距离小于0.5×B个像素点；
S48：小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触：两只实验小鼠头部中心之间的距离小于2×B个像素点；
小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触：小鼠M的头部中心与小鼠N尾根间的距离或小鼠M的头部中心与大鼠N尾根间的距离小于1.5×B个像素点；
小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触：两只实验小鼠躯干中心之间的距离小于1×B个像素点，最短时间持续0.5s；
S49：小鼠M社交接近小鼠N或大鼠M社交接近大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向小于30度，小鼠M向小鼠N运动距离或大鼠M向大鼠N运动距离大于10×B个像素点；小鼠M或大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交离开小鼠N或大鼠M社交离开大鼠N：两只实验小鼠躯干中心点间距离小于10×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向大于30度，小鼠M向小鼠N运动距离或大鼠M向大鼠N运动距离大于10×B个像素点；小鼠M或大鼠M尾根运动速度大于3×B个像素点/30帧；
小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N：两只实验小鼠躯干中心点间距离小于20×B个像素点，小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向小于30度，小鼠N相对于小鼠M的方向或大鼠N相对于大鼠M的方向大于90度，小鼠M与小鼠N的运动速度或大鼠M与大鼠N的运动速度都大于4×B个像素点/30帧；
小鼠M背向小鼠N或大鼠M背向大鼠N：小鼠M相对于小鼠N的方向或大鼠M相对于大鼠N的方向大于90度，小鼠N相对于小鼠M的方向或大鼠N相对于大鼠M的方向大于90度；
S5：视频分析成功后输出的结果为追踪视频、运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据的可能性；
所述发送模块用于发送社交实验数据的分析结果，所述显示模块用于显示社交实验数据的分析结果，所述生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印；所述数据库用于存储社交实验数据；所述计时模块用于实验模块的实验时间进行计时。
2.根据权利要求1所述的基于深度学习适用于啮齿动物社交实验的分析系统，其特征在于，所述左侧箱室、中间箱室和右侧箱室为长20厘米、宽40.5厘米、高22厘米的三个腔室，左侧箱室与中间箱室之间分隔有透明的有机玻璃，中间箱室与右侧箱室之间分隔有透明的有机玻璃，所述有机玻璃上开设有宽10厘米、高5厘米的小开口，所述三箱装置正上方1.5m处架设有一架相机，所述相机的型号为SONY HDR-CX680、帧数：30帧、分辨率：1920×1080。
3.根据权利要求1所述的基于深度学习适用于啮齿动物社交实验的分析系统，其特征在于，所述旷场反应箱的高度30～40cm、底边长100cm，所述旷场反应箱内壁涂黑，所述旷场反应箱的底面平均分为25个4cm×4cm小方格，所述旷场反应箱的的正上方2m处架设一相机。
4.根据权利要求1所述的基于深度学习适用于啮齿动物社交实验的分析系统，其特征在于，所述旷场反应箱的实验方式为小鼠M与小鼠N一起、大鼠M与大鼠N一起。
5.根据权利要求1-4中任意一项所述的基于深度学习适用于啮齿动物社交实验的分析系统的分析方法，其特征在于，所述分析方法包括以下步骤：
步骤一：啮齿动物的社交实验通过三箱装置或旷场反应箱进行，并通过相机采集社交实验数据，采集到的社交实验数据发送至服务器和视频分析模块，视频分析模块对社交实验数据进行视频分析，以实验小鼠为例，获取拍摄相机的分辨率P*Q，得知每帧照片大小，获取照片的数量i，以拍摄相机的分辨率建立二维坐标系，其中X数值为Y轴、Y数值为X轴，并以像素点为单位，以实验小鼠的鼻尖、左眼、右眼、左耳、右耳、头部中心、躯干中心、尾根、左前肢、右前肢、左后肢和右后肢建立12个身体关键点j；
步骤二：当实验模块具体为三箱装置时，获取每帧照片中实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以实验小鼠的鼻尖-尾根、鼻尖-眼睛、鼻尖-耳朵建立骨架，以实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，当鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于A个像素点，其中A等于三箱装置实际长对应的像素点/三箱装置实际边长；通过三箱装置长的像素点值范围、三箱装置宽的像素点值范围、左侧箱室长的像素点值范围、右侧箱室长的像素点值范围、中间箱室长的像素点值范围计算出、实验小鼠在左侧箱室所待总时长、实验小鼠在右侧箱室所待总时长、实验小鼠在中间箱室所待总时长、实验小鼠探索新颖小鼠、实验小鼠探索新颖物体，精确捕获实验小鼠的超精细行为指标；
步骤三：当实验模块具体为旷场反应箱时，实验小鼠具体为小鼠M、大鼠M、小鼠N和大鼠N，分别获取每帧照片中四个实验小鼠各个身体关键点所对应的X、Y轴的坐标值，以四个实验小鼠的鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根建立骨架，而后以四个实验小鼠的鼻尖为原点建立二维坐标系，获取鼻尖-尾根向量、鼻尖-眼睛向量、鼻尖-耳朵向量与X轴正方向所成的夹角，即骨架方向角，若鼻尖-尾根向量与X正方向重合则骨架方向角为0°，骨架方向角顺时针旋转角度不断增加，骨架方向角逆时针旋转角度不断减小；像素点与cm进行换算，1cm等于B个像素点，其中B等于旷场反应箱边长对应的像素点/旷场反应箱实际边长，获取小鼠M相对小鼠N的方向或大鼠M相对大鼠N的方向、小鼠M相对小鼠N距离或大鼠M相对大鼠N的距离、小鼠或大鼠运动的距离：小鼠或大鼠尾根运动的距离、小鼠M嗅探小鼠N身体或大鼠M嗅探大鼠N身体、小鼠M嗅探小鼠N鼻尖或大鼠M嗅探大鼠N鼻尖、小鼠M嗅探小鼠N生殖器或大鼠M嗅探大鼠N生殖器、小鼠M的口与小鼠N的口接触或大鼠M的口与大鼠N的口接触、小鼠M的口与小鼠N的生殖器接触或小鼠N的口与大鼠N的生殖器接触、小鼠M与小鼠N进行社交接触或大鼠M与大鼠N进行社交接触、小鼠M社交接近小鼠N或大鼠M社交接近大鼠N、小鼠M社交离开小鼠N或大鼠M社交离开大鼠N、小鼠M社交跟随小鼠N或大鼠M社交跟随大鼠N以及小鼠M背向小鼠N或大鼠M背向大鼠N，精确捕获实验小鼠的超精细行为指标；
步骤四：视频分析成功后输出的结果为运动轨迹图、运动热点图、身体关键点像素值、骨架长度、骨架方向角及其各个数据，通过发送模块发送社交实验数据的分析结果，通过显示模块显示社交实验数据的分析结果，同时，生成打印模块用于将社交实验数据的分析结果生成健康表后指派去指定位置进行打印。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010724343.8A CN111832531B (zh) | 2020-07-24 | 2020-07-24 | 基于深度学习适用于啮齿动物社交实验的分析系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010724343.8A CN111832531B (zh) | 2020-07-24 | 2020-07-24 | 基于深度学习适用于啮齿动物社交实验的分析系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832531A CN111832531A (zh) | 2020-10-27 |
| CN111832531B true CN111832531B (zh) | 2024-02-23 |
Family
ID=72926015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010724343.8A Active CN111832531B (zh) | 2020-07-24 | 2020-07-24 | 基于深度学习适用于啮齿动物社交实验的分析系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832531B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205032B (zh) * | 2021-04-27 | 2022-11-01 | 安徽正华生物仪器设备有限公司 | 基于深度学习的小鼠悬挂实验的自动化分析系统和方法 |
| CN113576466A (zh) * | 2021-08-03 | 2021-11-02 | 安徽正华生物仪器设备有限公司 | 基于深度学习适用于啮齿动物的行为分析方法 |
| CN114241376A (zh) * | 2021-12-15 | 2022-03-25 | 深圳先进技术研究院 | 行为识别模型训练和行为识别方法、装置、系统及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526996A (zh) * | 2009-02-23 | 2009-09-09 | 华旭 | 一种小鼠自发行为运动监测与体态图象识别的方法 |
| CN104381141A (zh) * | 2014-11-12 | 2015-03-04 | 中国科学院深圳先进技术研究院 | 一种动物行为测试系统及方法 |
| CN108664942A (zh) * | 2018-05-17 | 2018-10-16 | 西安理工大学 | 小鼠视频多维特征值的提取方法及视频分类方法 |
| WO2019148106A1 (en) * | 2018-01-26 | 2019-08-01 | University Of Cincinnati | Automated identification and creation of personalized kinetic state models of an individual |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN110506708A (zh) * | 2019-09-24 | 2019-11-29 | 深圳大学 | 一种阿尔茨海默症小鼠模型及评价方法 |
| CN110570459A (zh) * | 2019-08-23 | 2019-12-13 | 天津大学 | 一种基于鼠态的运动跟踪方法 |
| CN111144379A (zh) * | 2020-01-02 | 2020-05-12 | 哈尔滨工业大学 | 基于图像技术的小鼠视动反应自动识别方法 |
| CN111178172A (zh) * | 2019-12-13 | 2020-05-19 | 北京工业大学 | 实验鼠嗅探动作识别方法、模块及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9232775B2 (en) * | 2012-08-03 | 2016-01-12 | Industry-Academic Cooperation Foundation, Yonsei University | Genetically engineered mouse model for autism spectrum disorder having deletion of Shank2 gene and use thereof |
-
2020
- 2020-07-24 CN CN202010724343.8A patent/CN111832531B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526996A (zh) * | 2009-02-23 | 2009-09-09 | 华旭 | 一种小鼠自发行为运动监测与体态图象识别的方法 |
| CN104381141A (zh) * | 2014-11-12 | 2015-03-04 | 中国科学院深圳先进技术研究院 | 一种动物行为测试系统及方法 |
| WO2019148106A1 (en) * | 2018-01-26 | 2019-08-01 | University Of Cincinnati | Automated identification and creation of personalized kinetic state models of an individual |
| CN108664942A (zh) * | 2018-05-17 | 2018-10-16 | 西安理工大学 | 小鼠视频多维特征值的提取方法及视频分类方法 |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN110570459A (zh) * | 2019-08-23 | 2019-12-13 | 天津大学 | 一种基于鼠态的运动跟踪方法 |
| CN110506708A (zh) * | 2019-09-24 | 2019-11-29 | 深圳大学 | 一种阿尔茨海默症小鼠模型及评价方法 |
| CN111178172A (zh) * | 2019-12-13 | 2020-05-19 | 北京工业大学 | 实验鼠嗅探动作识别方法、模块及系统 |
| CN111144379A (zh) * | 2020-01-02 | 2020-05-12 | 哈尔滨工业大学 | 基于图像技术的小鼠视动反应自动识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Deep learning tools for the measurement of animal behavior in neuroscience;Mackenzie Weygandt Mathis等;《arXiv》;1-11 * |
| 基于卷积神经网络的蜜蜂采集花粉行为的识别方法;薛勇等;《河南农业科学》;1-18 * |
| 猪只饮水行为机器视觉自动识别;杨秋妹等;《农业机械学报》;第49卷(第6期);232-238 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832531A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832531B (zh) | 基于深度学习适用于啮齿动物社交实验的分析系统和方法 | |
| Du et al. | Surface EMG-based inter-session gesture recognition enhanced by deep domain adaptation | |
| CN108921893B (zh) | 一种基于在线深度学习slam的图像云计算方法及系统 | |
| CN110348387B (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
| Meister | When is a robot really social? An outline of the robot sociologicus | |
| DE69620265T2 (de) | Prozesssteuervorrichtung | |
| Sun et al. | Research and implementation of intelligent decision based on a priori knowledge and DQN algorithms in wargame environment | |
| CN115691804A (zh) | 基于数字孪生元宇宙的社会认知评估训练系统 | |
| Steels et al. | The robot in the mirror | |
| Fernandez-Fraga et al. | Feature Extraction of EEG Signal upon BCI Systems Based on Steady‐State Visual Evoked Potentials Using the Ant Colony Optimization Algorithm | |
| Fortes Rey et al. | Translating videos into synthetic training data for wearable sensor-based activity recognition systems using residual deep convolutional networks | |
| CN113576466A (zh) | 基于深度学习适用于啮齿动物的行为分析方法 | |
| Zhang et al. | Robot bionic vision technologies: A review | |
| CN110023481A (zh) | 信息处理设备、观察系统、信息处理方法和程序 | |
| Ikram et al. | Recognition of student engagement state in a classroom environment using deep and efficient transfer learning algorithm | |
| CN114154913A (zh) | 一种幼儿运动大数据的采集和精细化分析健康数据的方法 | |
| WO2023165299A1 (zh) | 一种应用于多种类高密度极小虫体行为学的智能分析系统 | |
| Diao et al. | Multi-term attention networks for skeleton-based action recognition | |
| CN113066560A (zh) | 一种线上情景互动抑郁症云康复系统 | |
| CN107749199A (zh) | 一种基于智能图像识别的学前教育互动系统 | |
| TWI599968B (zh) | 找出神經網路中神經元間最短路徑之方法 | |
| Gori | Ten questions for a theory of vision | |
| Corfield | Argumentation and the mathematical process | |
| CN106778537B (zh) | 一种基于图像处理的动物社交网络结构采集及分析系统及其方法 | |
| Trinidad Barnech et al. | Enhancing robotic perception through synchronized simulation and physical common-sense reasoning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |