CN108664942A - 小鼠视频多维特征值的提取方法及视频分类方法 - Google Patents

小鼠视频多维特征值的提取方法及视频分类方法 Download PDF

Info

Publication number
CN108664942A
CN108664942A CN201810472789.9A CN201810472789A CN108664942A CN 108664942 A CN108664942 A CN 108664942A CN 201810472789 A CN201810472789 A CN 201810472789A CN 108664942 A CN108664942 A CN 108664942A
Authority
CN
China
Prior art keywords
mouse
image
video
barycenter
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810472789.9A
Other languages
English (en)
Other versions
CN108664942B (zh
Inventor
肖照林
刘欢
金海燕
朱峰
周果清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810472789.9A priority Critical patent/CN108664942B/zh
Publication of CN108664942A publication Critical patent/CN108664942A/zh
Application granted granted Critical
Publication of CN108664942B publication Critical patent/CN108664942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的小鼠视频多维特征值的提取方法，具体操作是：首先，选择实验组和对照组中第一个小鼠原始视频，提取视频帧图像并选择拍摄小鼠视频刚开始的空白场景，然后将空白场景图像进行标记做蒙版图像，读入一组小鼠视频，提取含有小鼠场景的视频帧并将小鼠视频每两帧保存为图片，然后，将小鼠视频帧图片与空白场景图像进行图像处理，计算小鼠质心，并判断提取到的小鼠质心在空白场景图像上的位置，最后，根据小鼠质心落在空白场景蒙版的位置确定小鼠的特征信息；本发明还公开了将上述视频分类的方法，利用卷积神经网络训练对视频进行分类，精度达到96.17％。本发明公开的提取方法提取的数据可靠性在95％以上，远高于人工统计的方式。

Description

小鼠视频多维特征值的提取方法及视频分类方法
技术领域
本发明属于计算机数字图像处理技术领域，涉及一种小鼠视频多维特征值的提取方法及视频分类方法。
背景技术
运动目标检测主要目的是从视频图像中提取出运动目标并获得运动目标的特征信息，如颜色、形状、轮廓等。提取运动目标的过程实际上就是一个图像分割的过程，而运动物体只有在连续的图像序列(如视频图像序列)中才能体现出来，运动目标提取的过程就是在连续的图像序列中寻找差异，并把由于物体运动和表现出来的差异提取出来。合理的处理视频信息，并从中得到有用的信息，已经成为了目前研究的一个热点；尤其是在无人操作的情况下，自动采集视频内运动目标的行为数据，并对其做进一步的分析，已经得到人们的青睐。然而，目前人们对于视频的行为分析大多数集中在人和其它动物的行为学分析，在医学小鼠实验的行为学分析中，此技术的应用甚少。
旷场实验(open field test，OFT)又称敞箱实验，是评价实验动物在新异环境中自主行为、探究行为与紧张度的一种方法。以实验动物在新奇环境之中某些行为的发生频率和持续时间等，反应实验动物在陌生环境中的自主行为与探究行为，以尿便次数反应其紧张度。目前常用的OFT系统是一个长方形的箱子，小鼠在旷场内自由活动，箱子顶部放置摄像机来记录小鼠的活动。旷场实验是用于评价动物自发活动及焦虑症状的经典行为学实验。随着现在计算机技术与图像分析技术的发展，以此类技术为基础的动物自动行为数据采集分析将成为发展趋势。然而，在许多医学旷场实验中小鼠的视频数据的统计分析仍然是以人工的方式进行，这就面临增加了人工成本、数据的可靠性以及一些潜在的数据特征无法提取等问题。本发明在小鼠旷场实验的基础上利用计算机图像处理等技术，在短时间内提取小鼠的各个特征，能够直接减少医生获取数据的成本以及时间，减少大量的时间开销和成本开销。
发明内容
本发明的目的是提供一种小鼠视频多维特征值的提取方法及视频分类方法，解决了现有采用人工的方式对小鼠视频的多维特征值提取的数据可靠性较低的问题。
本发明所采用的技术方案是，小鼠视频多维特征值的提取方法，具体按照以下步骤实施：
步骤1.分别选择实验小组和对照小组中第一个小鼠原始视频，首先，提取视频帧图像并选择拍摄小鼠视频刚开始的空白场景，然后将空白场景图像进行标记做蒙版图像；
步骤2.读入一组小鼠视频，提取含有小鼠场景的视频帧并将小鼠视频每两帧保存为图片；
步骤3.将步骤2保存的小鼠视频帧图片与步骤1得到的空白场景图像进行图像处理，计算小鼠质心，并判断提取到的小鼠质心在空白场景图像上的位置；
步骤4.根据步骤3得到的小鼠质心落在空白场景蒙版的位置分别确定实验小组和对照小组的小鼠的特征信息。
本发明的其他特点还在于，
步骤1的具体操作为：首先分别加载实验小组和对照小组中的第一个小鼠视频，利用opencv的函数VideoCapture提取视频帧，然后观察距离小鼠出现最近的几个视频帧中人工选择一张没有小鼠的空白场景图像，手工标定五个点(A、B、C、D和E)，即图像的四个角和中心点，然后，依据这五个点做蒙版。
步骤2的具体操作为：输入计算视频开始时间和终止时间，如果开始时间和终止时间不在小鼠视频范围内，则重新输入计算视频开始时间和终止时间，直到开始时间和终止时间落在小鼠视频范围内；如果开始时间和终止时间在小鼠视频范围内，则采用while循环函数提取小鼠视频帧。然后，将提取到的小鼠视频帧每两帧保存为图片。
步骤3的具体操作为：
步骤3.1将步骤2保存的小鼠视频帧图片和步骤1得到的空白场景图像进行差分处理得到只含有小鼠的图片，具体的差分过程如下：取步骤1具体操作中的空白场景图像Bt，当前帧图像It，两者做作灰度减运算，并取绝对值，即|It(x,y)-Bt(x,y)|，x,y为图片中任意一像素点的坐标值；
步骤3.2经步骤3.1差分处理的图片进行去噪处理，具体过程如下：首先，将差分处理后的图像采用中值滤波处理，另f(x,y)，g(x,y)分别为原始图像和处理后的图像，W为二维模板，按照小格子取3*3，5*5区域，中值滤波的输出为g(x,y)＝med{f(x-k,y-1),(k,1∈W)}，其中，k，l分别为图像的行和列；
然后，将上述二值化的图像进行图像腐蚀，用7*7的结构元素去扫描小鼠图像中的每一个像素点，用结构元素与其覆盖的小鼠图像做“与”运算，如果都为1，结果图像的该像素为1，若为0，则腐蚀处理的结果是使原来的小鼠图像尺寸像素减小一圈，同时去除图像中的噪声，最终得到只含有小鼠的图像；
步骤3.3将去噪处理的图片采用Canny边缘检测算子，使用Opencv中现有的调用函数Canny()，具体参数设置为Canny(gray_Image,canny_output,100,300,3)提取出图片轮廓，得到小鼠的轮廓图像；
步骤3.4采用图像的一阶矩提取小鼠的质心，如公式1所示：
其中，M00表示图像的0阶矩，可以用来求取图像的轮廓和连通区域的面积；和M01表示图像的1阶矩，当图像为二值图像时通过公式2求小鼠的质心(xc,yc)，xc,yc表示小鼠质心坐标，i,j为二值图像的行和列，V(i,j)指二值图像的i,j点的像素值；
步骤3.5将计算出的小鼠质心与标定后的空白场景图片进行对比，如果小鼠的质心落在空白场景图像中A、B、C和D所围城的矩形框之外，则舍弃该点，如果小鼠的质心落在所述空白场景图像中A、B、C和D所围城的矩形框之内，则保留该点。
步骤4的具体操作如下：
步骤4.1将标定后的实验小组和对照小组的空白场景蒙版图像均分为九个区域依次记为A1、A2、A3、A4、A5、A6、A7、A8和A9；
步骤4.2分别根据实验小组和对照小组的小鼠质心在空白场景蒙版图像A1～A9各个区域的轨迹依次连接画出小鼠的路径图像，同时计算小鼠的平均速度；根据小鼠视频中相邻三帧的质心坐标计算小鼠的角度信息；根据小鼠质心在空白场景蒙版图像A1～A9各个区域的停留时间统计小鼠的时间信息。
步骤4.2中小鼠的平均速度的计算过程如下：
统计小鼠质心在5分钟时间内的路程，由得到小鼠的平均速度，路程s的具体计算为，假设相邻两帧中小鼠的质心坐标为(x1,y1)和(x2,y2)则小鼠在此两帧之间运动的距离Δs为其中，L表示图像中的像素与现实场景中距离的比例关系，对视频中所有相邻两帧之间的距离求和最终得到总距离s；
步骤4.2中小鼠路径直线率的计算方法如下：在得到的小鼠质心图像中，每隔3帧取一帧上的小鼠质心坐标，连续三个质心坐标计算一个小鼠的转折角度，统计各段视频中小鼠分别在各个角度范围类转折的次数，计算得到小鼠在各个角度范围内的转折次数。
本发明的另一技术方案是，一种将上述的小鼠视频多维特征值的提取方法提取后的小鼠视频分类的方法，具体按照以下步骤实施：
步骤1.分别将实验小组和对照小组的小鼠活动区域图片截取出来，将提取的小鼠的路径信息，直线率和角度信息以及时间信息映射在小鼠活动区域的图片上，将9个区域的小鼠时间信息如下公式进行压缩处理其中pixi表示换算后的像素值，Ai表示一个视频中9个区域的小鼠停留时间；角度信息按进行像素的转换压缩，这里Angi为变换后的像素值，f(xi)为小鼠质心在不同角度范围内的转角次数；对于剩余的速度、休息时间以及Ang10与Ang11映射到2*2的矩形块中，这里对速度和休息时间不做处理直接映射(注：当两者的值大于255时令其等于255，其余值不变对应映射即可)；
步骤2.然后分别将实验小组和对照小组的小鼠的路径信息，直线率和角度信息以及时间信息按照0.5，0.25，0.25的比例进行蒙太奇融合，将融合后的实验小组的图像与对照小组的图像作为神经网络的输入，使用64个卷积核与3*3的池化对输入图像进行处理，得到64*67*67的特征图像；
步骤2.将步骤2中处理后的图像进行两层的全连接完成训练，得到训练好的卷积神经网络，最后用此神经网络对实验小组和对照小组的小鼠视频进行分类。
本发明的有益效果是，小鼠视频多维特征值的提取方法及视频分类方法，解决了现有采用人工的方式对小鼠视频的多维特征值提取的数据可靠性较低的问题。本发明的小鼠视频多维特征值的提取方法提取的数据可靠性在95％以上，远高于人工统计的方式。同时在此基础上利用卷积神经网络对小鼠视频进行了分类。本发明采用的Canny边缘检测算子是一种多级检测算法，Canny算子不容易受噪声的干扰，能够检测到真正的弱边缘。并且还采用了图像的不变矩(Invariant Moments)，其是一种高度浓缩的图像特征，具有平移、灰度、尺度、旋转不变性，从图像中计算出来的矩通常描述了图像不同种类的几何特征如：大小、灰度、方向、形状等，图像矩可广泛应用于模式识别、目标分类、目标识别与防伪估计、图像编码与重构等领域。
附图说明
图1是本发明的小鼠视频多维特征值的提取方法的流程图；
图2是本发明的小鼠视频多维特征值的提取方法及视频分类方法中的卷积神经网络分类流程图；
图3是用于标定的空白场景图；
图4是空白场景做蒙版后的图像；
图5是提取到小鼠频的视频图像；
图6是差分后的小鼠图像；
图7是去噪后的小鼠图像；
图8是获取到小鼠质心的图像；
图9是空白场景图像划分的9个区域；
图10是绘制的小鼠路径图片；
图11是小鼠质心的偏转角度；
图12小鼠质心的时间为信息映射图片；
图13是小鼠质心角度信息映射图片；
图14是小鼠质心平均速度、休息时间压缩图片；
图15是压缩后神经网络输入图片。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的小鼠视频多维特征值的提取方法，如图1所示，具体按照以下步骤实施：
一般在旷场实验中，医生将实验小鼠分为对照组和实验组，对照组的小鼠不做任何处理。实验组的小鼠在实验时注射某种药物，完成后将两组小鼠分别放入旷场实验箱中，用摄像机拍摄其运动视频做后期分析。
步骤1.分别选择实验小组和对照小组中第一个小鼠原始视频，首先，提取视频帧图像并选择拍摄小鼠视频刚开始的空白场景，然后将空白场景图像进行标记做蒙版图像；
步骤2.读入一组小鼠视频，提取含有小鼠场景的视频帧并将小鼠视频每两帧保存为图片；
步骤3.将步骤2保存的小鼠视频帧图片与步骤1得到的空白场景图像进行图像处理，计算小鼠质心，并判断提取到的小鼠质心在空白场景图像上的位置；
步骤4.根据步骤3得到的小鼠质心落在空白场景蒙版的位置分别确定实验小组和对照小组的小鼠的特征信息。
实验小组的小鼠视频和对照小组的小鼠视频进行同样的处理。
步骤1的具体操作为：首先分别加载实验小组和对照小组中的第一个小鼠视频，利用opencv的函数VideoCapture提取视频帧，然后观察距离小鼠出现最近的几个视频帧中人工选择一张没有小鼠的空白场景图像，手工标定五个点(A、B、C、D和E)，即图像的四个角和中心点，如图3所示，然后，依据这五个点做蒙版，如图4所示。
步骤2的具体操作为：输入计算视频开始时间和终止时间，如果开始时间和终止时间不在小鼠视频范围内，则重新输入计算视频开始时间和终止时间，直到开始时间和终止时间落在小鼠视频范围内；如果开始时间和终止时间在小鼠视频范围内，则采用while循环函数提取小鼠视频帧，然后，将提取到的小鼠视频帧每两帧保存为图片，如图5所示。
步骤3的具体操作为：
步骤3.1将步骤2保存的小鼠视频帧图片和步骤1得到的空白场景图像进行差分处理得到只含有小鼠的图片，如图6所示，具体的差分过程如下：取步骤1具体操作中的空白场景图像Bt，当前帧图像It，两者做作灰度减运算，并取绝对值，即|It(x,y)-Bt(x,y)|，x,y为图片中任意一像素点的坐标值；
步骤3.2经步骤3.1差分处理的图片进行去噪处理，具体过程如下：首先，将差分处理后的图像采用中值滤波处理，另f(x,y)，g(x,y)分别为原始图像和处理后的图像，W为二维模板，通常按照小格子取3*3，5*5区域，中值滤波的输出为g(x,y)＝med{f(x-k,y-1),(k,1∈W)}，其中，k，l分别为图像的行和列；
然后，将上述二值化的图像进行图像腐蚀，如图7所示，用7*7的结构元素去扫描小鼠图像中的每一个像素点，用结构元素与其覆盖的小鼠图像做“与”运算，如果都为1，结果图像的该像素为1，若为0，则腐蚀处理的结果是使原来的小鼠图像尺寸像素减小一圈，同时去除图像中的噪声，最终得到只含有小鼠的图像；
步骤3.3将去噪处理的图片采用Canny边缘检测算子，即，使用Opencv中现有的调用函数Canny()，具体参数设置为Canny(gray_Image,canny_output,100,300,3)提取出图片轮廓，得到小鼠的轮廓图像；
步骤3.4采用图像的一阶矩提取小鼠的质心，如公式1所示：
其中，M00表示图像的0阶矩，可以用来求取图像的轮廓和连通区域的面积；和M01表示图像的1阶矩，当图像为二值图像时通过公式2求小鼠的质心(xc,yc)，xc,yc表示小鼠质心坐标，i,j为二值图像的行和列，V(i,j)指二值图像的i,j点的像素值，提取到的小鼠质心如图8所示；
步骤3.5将计算出的小鼠质心与标定后的空白场景图片进行对比，如果小鼠的质心落在空白场景图像中A、B、C和D所围城的矩形框之外，则舍弃该点，如果小鼠的质心落在所述空白场景图像中A、B、C和D所围成的矩形框之内，则保留该点。
步骤4的具体操作如下：
步骤4.1将标定后的实验小组和对照小组的所述空白场景蒙版图像划分为九个区域依次记为A1、A2、A3、A4、A5、A6、A7、A8和A9，如图9所示；
步骤4.2分别根据实验小组和对照小组的小鼠质心在空白场景蒙版图像A1～A9各个区域的轨迹依次连接画出小鼠的路径图像，如图10所示，同时计算小鼠的平均速度；根据小鼠视频中相邻三帧的质心坐标计算小鼠的角度信息；根据小鼠质心在空白场景蒙版图像A1～A9各个区域的停留时间统计小鼠的时间信息。
步骤4.2中小鼠的平均速度的计算过程如下：
统计小鼠质心在5分钟时间内的路程，由得到小鼠的平均速度，路程s的具体计算为，假设相邻两帧中小鼠的质心坐标为(x1,y1)和(x2,y2)则小鼠在此两帧之间运动的距离Δs为其中，L表示图像中的像素与现实场景中距离的比例关系，即图像中1像素代表实际场景中的多长距离，对视频中所有相邻两帧之间的距离求和最终得到总距离s；
步骤4.2中小鼠路径直线率的计算方法如下：在得到的小鼠质心图像中，每隔3帧取一帧上的小鼠质心坐标，连续三个质心坐标计算一个小鼠的转折角度，如图11所示，统计各段视频中小鼠分别在各个角度范围类转折的次数，计算得到小鼠在各个角度范围内的转折次数，最后将所提取的特征信息用于小鼠的分类过程。
本发明的一种将上述的小鼠视频多维特征值的提取方法提取后的小鼠视频分类的方法，如图2所示，具体按照以下步骤实施：
步骤1.分别将实验小组和对照小组的小鼠的活动区域图片截取出来，将提取的小鼠的路径信息，直线率和角度信息以及时间信息映射在小鼠活动区域的图片上，将9个区域的小鼠时间信息照如下公式进行压缩处理,其中pixi表示换算后的像素值，Ai表示一个视频中9个区域的小鼠停留时间；角度信息按进行像素的转换压缩，这里Angi为变换后的像素值，f(xi)为小鼠质心在不同角度范围内的转角次数；对于剩余的速度、休息时间以及Ang10与Ang11映射到2*2的矩形块中，这里对速度和休息时间不做处理直接映射(注：当两者的值大于255时令其等于255，其余值不变对应映射即可)，映射结果分别如图12、图13和图14所示；
步骤2.然后将小鼠的路径信息，直线率和角度信息以及时间信息按照0.5，0.25，0.25的比例进行蒙太奇融合，将融合后的实验小组的图像与对照小组的图像，如图15所示，作为神经网络的输入，使用64个卷积核与3*3的池化对输入图像进行处理，得到64*67*67的特征图像；
步骤3.将步骤2中处理后的图像进行两层的全连接完成训练，得到训练好的卷积神经网络，最后用此神经网络对小鼠视频进行分类，分类精度达到96.17％。
本发明采用的背景差分法是一种对静止场景进行运动分割的通用方法，它将当前获取的图像帧与背景图像做差分运算，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域，而且为避免环境光照变化影响，背景图像根据当前获取图像帧进行更新；中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点；图像腐蚀法的基本原理是二值图像前景物体为1，背景为0。假设原图像中有一个前景物体，那么我们用一个结构元素去腐蚀原图的过程是这样的：遍历原图像的每一个像素，然后用结构元素的中心点对准当前正在遍历的这个像素，然后取当前结构元素所覆盖下的原图对应区域内的所有像素的最小值，用这个最小值替换当前像素值。由于二值图像最小值就是0，所以就是用0替换，即变成了黑色背景。从而，也可以看出，如果当前结构元素覆盖下，全部都是背景，那么就不会对原图做出改动，因为都是0。如果全部都是前景像素，也不会对原图做出改动，因为都是1。只有结构元素位于前景物体边缘的时候，它覆盖的区域内才会出现0和1两种不同的像素值，这个时候把当前像素替换成0就有变化了。因此腐蚀看起来的效果就是让前景物体缩小了一圈一样。对于前景物体中一些细小的连接处，如果结构元素大小相等，这些连接处就会被断开。
本发明采用的视频分类方法中使用的卷积神经网络，受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神经网络(CNN)，Yann Lecun最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力，在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化(pooling)，通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。
具体的实施例如下：
从一组小鼠视频中提取小鼠行为特征实例来说明综合多知识图像处理的小鼠视频特征提取方法的实现过程。
(1)首先，加载第一个小鼠视频文件经过上述步骤1操作后选择空白图像并选择5个位点如图3所示；
(2)然后选择开始时间与结束时间，执行上述步骤2-4进行计算，最终输出小鼠的路径图像，直线率及各个区域停留时间的数据，输出的各个指标如表1：
(3)利用卷积神经网络对小鼠进行分类，将表1中的数据压缩到小鼠的活动区域如图12、13、14之后与小鼠的路径图像再进行融合，将融合后的图像做为分类的输入数据，在单层卷积神经网络上进行训练，经测试分类精度可以达到95以上。
表1提取到的小鼠的特征数据

Claims (7)

1.小鼠视频多维特征值的提取方法，其特征在于，具体按照以下步骤实施：
步骤1.分别选择实验小组和对照小组中第一个小鼠原始视频，首先，提取视频帧图像并选择拍摄小鼠视频刚开始的空白场景，然后将空白场景图像进行标记做蒙版图像；
步骤2.读入一组小鼠视频，提取含有小鼠场景的视频帧并将小鼠视频每两帧保存为图片；
步骤3.将步骤2保存的小鼠视频帧图片与步骤1得到的空白场景图像进行图像处理，计算小鼠质心，并判断提取到的小鼠质心在空白场景图像上的位置；
步骤4.根据步骤3得到的小鼠质心落在空白场景蒙版的位置分别确定实验小组和对照小组的小鼠的特征信息。
2.如权利要求1所述的小鼠视频多维特征值的提取方法，其特征在于，所述步骤1的具体操作为：首先分别加载实验小组和对照小组中的第一个小鼠视频，利用opencv的函数VideoCapture提取视频帧，然后观察距离小鼠出现最近的几个视频帧中人工选择一张没有小鼠的空白场景图像，手工标定五个点(A、B、C、D和E)，即图像的四个角和中心点，然后，依据这五个点做蒙版。
3.如权利要求1所述的小鼠视频多维特征值的提取方法，其特征在于，所述步骤2的具体操作为：输入计算视频开始时间和终止时间，如果开始时间和终止时间不在小鼠视频范围内，则重新输入计算视频开始时间和终止时间，直到开始时间和终止时间落在小鼠视频范围内；如果开始时间和终止时间在小鼠视频范围内，则采用while循环函数提取小鼠视频帧，然后，将提取到的小鼠视频帧每两帧保存为图片。
4.如权利要求2所述的小鼠视频多维特征值的提取方法，其特征在于，所述步骤3的具体操作为：
步骤3.1将步骤2保存的小鼠视频帧图片和步骤1得到的空白场景图像进行差分处理得到只含有小鼠的图片，具体的差分过程如下：取步骤1具体操作中的空白场景图像Bt，当前帧图像It，两者做作灰度减运算，并取绝对值，即|It(x,y)-Bt(x,y)|，x,y为图片中任意一像素点的坐标值；
步骤3.2经步骤3.1差分处理的图片进行去噪处理，具体过程如下：首先，将差分处理后的图像采用中值滤波处理，另f(x,y)，g(x,y)分别为原始图像和处理后的图像，W为二维模板，按照小格子取3*3，5*5区域，中值滤波的输出为g(x,y)＝med{f(x-k,y-1),(k,1∈W)}，其中，k，l分别为图像的行和列；
然后，将上述二值化的图像进行图像腐蚀，用7*7的结构元素去扫描小鼠图像中的每一个像素点，用结构元素与其覆盖的小鼠图像做“与”运算，如果都为1，结果图像的该像素为1，若为0，则腐蚀处理的结果是使原来的小鼠图像尺寸像素减小一圈，同时去除图像中的噪声，最终得到只含有小鼠的图像；
步骤3.3将去噪处理的图片采用Canny边缘检测算子，即，使用Opencv中现有的调用函数Canny()，具体参数设置为Canny(gray_Image,canny_output,100,300,3)提取出图片轮廓，得到小鼠的轮廓图像；
步骤3.4采用图像的一阶矩提取小鼠的质心，如公式1所示：
其中，M00表示图像的0阶矩，可以用来求取图像的轮廓和连通区域的面积；和M01表示图像的1阶矩，当图像为二值图像时通过公式2求小鼠的质心(xc,yc)，xc,yc表示小鼠质心坐标，i,j为二值图像的行和列，V(i,j)指二值图像的i,j点的像素值；
步骤3.5将计算出的小鼠质心与标定后的空白场景图片进行对比，如果小鼠的质心落在所述空白场景图像中A、B、C和D所围城的矩形框之外，则舍弃该点，如果小鼠的质心落在所述空白场景图像中A、B、C和D所围城的矩形框之内，则保留该点。
5.如权利要求2所述的小鼠视频多维特征值的提取方法，其特征在于，所述步骤4的具体操作如下：
步骤4.1将标定后的实验小组和对照小组的所述空白场景蒙版图像均分为九个区域依次记为A1、A2、A3、A4、A5、A6、A7、A8和A9；
步骤4.2分别根据实验小组和对照小组的小鼠质心在空白场景蒙版图像A1～A9各个区域的轨迹依次连接画出小鼠的路径图像，同时计算小鼠的平均速度；根据小鼠视频中相邻三帧的质心坐标计算小鼠的角度信息；根据小鼠质心在空白场景蒙版图像A1～A9各个区域的停留时间统计小鼠的时间信息。
6.如权利要求5所述的小鼠视频多维特征值的提取方法，其特征在于，所述步骤4.2中小鼠的平均速度的计算过程如下：
统计小鼠质心在5分钟时间内的路程，由得到小鼠的平均速度，路程s的具体计算为，假设相邻两帧中小鼠的质心坐标为(x1,y1)和(x2,y2)则小鼠在此两帧之间运动的距离Δs为其中，L表示图像中的像素与现实场景中距离的比例关系，对视频中所有相邻两帧之间的距离求和最终得到总距离s；
步骤4.2中小鼠路径直线率的计算方法如下：在得到的小鼠质心图像中，每隔3帧取一帧上的小鼠质心坐标，连续三个质心坐标计算一个小鼠的转折角度，统计各段视频中小鼠分别在各个角度范围类转折的次数，计算得到小鼠在各个角度范围内的转折次数。
7.一种将权利要求1或5所述的小鼠视频多维特征值的提取方法提取后的小鼠视频分类的方法，其特征在于，具体按照以下步骤实施：
步骤1.分别将实验小组和对照小组的小鼠活动区域图片截取出来，将提取的小鼠的路径信息，直线率和角度信息以及时间信息映射在小鼠活动区域的图片上，将9个区域的小鼠时间信息如下公式进行压缩处理其中pixi表示换算后的像素值，Ai表示一个视频中9个区域的小鼠停留时间；角度信息按进行像素的转换压缩，这里Angi为变换后的像素值，f(xi)为小鼠质心在不同角度范围内的转角次数；对于剩余的速度、休息时间以及Ang10与Ang11映射到2*2的矩形块中，这里对速度和休息时间不做处理直接映射；
步骤2.然后分别将实验小组和对照小组的小鼠的路径信息，直线率和角度信息以及时间信息按照0.5，0.25，0.25的比例进行蒙太奇融合，将融合后的实验小组的图像与对照小组的图像作为神经网络的输入，使用64个卷积核与3*3的池化对输入图像进行处理，得到64*67*67的特征图像；
步骤3.将步骤2中处理后的图像进行两层的全连接完成训练，得到训练好的卷积神经网络，最后用此神经网络对实验小组和对照小组的小鼠视频进行分类。
CN201810472789.9A 2018-05-17 2018-05-17 小鼠视频多维特征值的提取方法及视频分类方法 Active CN108664942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810472789.9A CN108664942B (zh) 2018-05-17 2018-05-17 小鼠视频多维特征值的提取方法及视频分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810472789.9A CN108664942B (zh) 2018-05-17 2018-05-17 小鼠视频多维特征值的提取方法及视频分类方法

Publications (2)

Publication Number Publication Date
CN108664942A true CN108664942A (zh) 2018-10-16
CN108664942B CN108664942B (zh) 2021-10-22

Family

ID=63778698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810472789.9A Active CN108664942B (zh) 2018-05-17 2018-05-17 小鼠视频多维特征值的提取方法及视频分类方法

Country Status (1)

Country Link
CN (1) CN108664942B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410357A (zh) * 2018-10-23 2019-03-01 重庆扬升信息技术有限公司 一种远程智能政务会议系统基于移动端的签到预测方法
CN109558797A (zh) * 2018-10-19 2019-04-02 西安理工大学 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN111727905A (zh) * 2020-06-22 2020-10-02 安徽正华生物仪器设备有限公司 基于深度学习的大小鼠旷场实验自动化分析系统和方法
CN111832531A (zh) * 2020-07-24 2020-10-27 安徽正华生物仪器设备有限公司 基于深度学习适用于啮齿动物社交实验的分析系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526996A (zh) * 2009-02-23 2009-09-09 华旭 一种小鼠自发行为运动监测与体态图象识别的方法
CN101584585A (zh) * 2009-06-08 2009-11-25 浙江大学 白鼠行为测定实验系统
US7817824B2 (en) * 2000-11-24 2010-10-19 Clever Sys, Inc. Unified system and method for animal behavior characterization from top view using video analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817824B2 (en) * 2000-11-24 2010-10-19 Clever Sys, Inc. Unified system and method for animal behavior characterization from top view using video analysis
CN101526996A (zh) * 2009-02-23 2009-09-09 华旭 一种小鼠自发行为运动监测与体态图象识别的方法
CN101584585A (zh) * 2009-06-08 2009-11-25 浙江大学 白鼠行为测定实验系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TD GOULD，ET AL: "《The Open Field Test》", 《NEUROMETHODS》 *
郑秀娟: "《大鼠运动行为的自动分析》", 《中国优秀博硕学位论文全文数据库（硕士）医药卫生科技辑》 *
雷俊杰: "《基于DM642的小鼠行为分析系统的设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558797A (zh) * 2018-10-19 2019-04-02 西安理工大学 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN109558797B (zh) * 2018-10-19 2022-09-30 西安理工大学 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN109410357A (zh) * 2018-10-23 2019-03-01 重庆扬升信息技术有限公司 一种远程智能政务会议系统基于移动端的签到预测方法
CN109410357B (zh) * 2018-10-23 2020-10-27 重庆扬升信息技术有限公司 一种远程智能政务会议系统基于移动端的签到预测方法
CN111727905A (zh) * 2020-06-22 2020-10-02 安徽正华生物仪器设备有限公司 基于深度学习的大小鼠旷场实验自动化分析系统和方法
CN111832531A (zh) * 2020-07-24 2020-10-27 安徽正华生物仪器设备有限公司 基于深度学习适用于啮齿动物社交实验的分析系统和方法
CN111832531B (zh) * 2020-07-24 2024-02-23 安徽正华生物仪器设备有限公司 基于深度学习适用于啮齿动物社交实验的分析系统和方法

Also Published As

Publication number Publication date
CN108664942B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Liu et al. An adaptive and robust edge detection method based on edge proportion statistics
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN108664942A (zh) 小鼠视频多维特征值的提取方法及视频分类方法
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN106815601A (zh) 基于递归神经网络的高光谱图像分类方法
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Lee et al. FingerNet: Deep learning-based robust finger joint detection from radiographs
Lin et al. A novel method of maize leaf disease image identification based on a multichannel convolutional neural network
CN109214395A (zh) 一种基于脉冲神经网络的图像特征描述方法
CN109271918B (zh) 基于重心偏移模型区分平衡能力障碍人群的方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN105389581A (zh) 一种胚芽米胚芽完整度智能识别系统及其识别方法
Thongtawee et al. A novel feature extraction for American sign language recognition using webcam
Li et al. Cow individual identification based on convolutional neural network
CN111291612A (zh) 一种基于多人多摄像头跟踪的行人重识别方法及装置
CN107239827A (zh) 一种基于人工神经网络的空间信息学习方法
Kazi et al. Fruit Grading, Disease Detection, and an Image Processing Strategy
Pushpa et al. Deep learning model for plant species classification using leaf vein features
Gao et al. Design of an efficient multi-objective recognition approach for 8-ball billiards vision system.
CN110490049A (zh) 基于多特征和svm区分人体平衡障碍的方法
Bachhal et al. Real-time disease detection system for maize plants using deep convolutional neural networks
CN113361422A (zh) 一种基于角度空间损失承数的人脸识别方法
Melo et al. Computer vision system with deep learning for robotic arm control
CN112419392A (zh) 基于机器视觉计算运动物体实际大小的方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant