CN109657546A - 基于神经网络的视频行为识别方法及终端设备 - Google Patents
基于神经网络的视频行为识别方法及终端设备 Download PDFInfo
- Publication number
- CN109657546A CN109657546A CN201811340770.5A CN201811340770A CN109657546A CN 109657546 A CN109657546 A CN 109657546A CN 201811340770 A CN201811340770 A CN 201811340770A CN 109657546 A CN109657546 A CN 109657546A
- Authority
- CN
- China
- Prior art keywords
- video
- frequency band
- picture
- section
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 47
- 230000003542 behavioural effect Effects 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于神经网络技术领域，提供基于神经网络的视频行为识别方法及终端设备，方法包括：将视频数据切割成第一视频段，从每个第一视频段中连续提取第一预设帧数的第一图片，并从各第一以图片中提取行为特征部分得到第二图片，并将提取得到第二图片转化为第二视频段，其中行为特征部分为第一图片中动作发生变化的物体的图像，然后从每个第二视频段中按照预设步长提取第三图片，并将第三图片转化第三视频段，最后将每段第三视频段导入至预设的神经网络模型中，得到每段第三视频段的行为分类系数；根据每段第三视频段的行为分类系数，得到视频数据的行为识别结果，能够分段视频进行初步预测，并确定最终的行为识别结果，提高了行为识别的效率。
Description
技术领域
本发明属于神经网络技术领域，尤其涉及基于神经网络的视频行为识别方法及终端设备。
背景技术
目前，图片分类技术和基于图片的定位技术已经比较成熟，但是无法通过一张图片进行行为的识别，而是通过连续的视频进行识别。例如，通过视频识别舞蹈的类型是伦巴、恰恰或广场舞等。
传统的通过识别对行为进行识别时，一般是将视频样本导入至训练好的神经网络模型中，直接得到视频样本的行为预测结果，但是这种对整段视频样本直接进行识别的方式，需要处理的视频数据的体量较大，导致识别效率低下。
发明内容
本发明实施例提供一种基于神经网络的视频行为识别方法及终端设备，以解决现有技术将视频样本导入至训练好的神经网络模型中，直接得到视频样本的行为预测结果，但是这种对整段视频样本直接进行识别的方式，需要处理的视频数据的体量较大，导致识别效率低下的问题。
本发明实施例的第一方面提供了一种基于神经网络的视频行为识别方法，包括：
将视频数据切割成预设数量的第一视频段；
从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
本发明实施例的第二方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
将视频数据切割成预设数量的第一视频段；
从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
本发明实施例的第三方面提供了一种基于神经网络的视频行为识别装置，包括：
视频切割单元，用于将视频数据切割成预设数量的第一视频段；
第一视频段处理单元，用于从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
第二视频段处理单元，用于从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
第三视频段处理单元，用于将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
行为识别结果确定单元，用于根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于神经网络的视频行为识别方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例首先将视频数据切割成第一视频段，从每个第一视频段中连续提取第一预设帧数的第一图片，并从各第一以图片中提取行为特征部分得到第二图片，并将提取得到第二图片转化为第二视频段，其中行为特征部分为第一图片中动作发生变化的物体的图像，然后从每个第二视频段中按照预设步长提取第三图片，并将第三图片转化第三视频段，最后将每段第三视频段导入至预设的神经网络模型中，得到每段第三视频段的行为分类系数；根据每段第三视频段的行为分类系数，得到视频数据的行为识别结果，能够分段对视频数据进行图片提取、特征部分提出的预处理，以缩小处理的视频数据的量，再分别对各分段视频进行初步预测，并确定最终的行为识别结果，提高了视频数据行为识别的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于神经网络的视频行为识别方法的示意流程图；
图2是本发明另一实施例提供的基于神经网络的视频行为识别方法的示意流程图；
图3是本发明再一实施例提供的基于神经网络的视频行为识别方法的示意流程图；
图4是本发明又一实施例提供的基于神经网络的视频行为识别方法的示意流程图；
图5是本发明实施例提供的终端设备的结构示意图；
图6是本发明实施例提供的基于神经网络的视频行为识别装置的功能模块图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1是本发明一实施例提供的一种基于神经网络的视频行为识别方法的示意流程图，在该实施例中，以服务器一侧为执行主体进行说明，这里，该服务器可以为一台，也可以通过多台服务器通信协作完成。如图1所示，在该实施例中，服务器的处理过程可以包括以下步骤：
S101：将视频数据切割成预设数量的第一视频段。
在本实施例中，可以根据视频时长，将视频分割成预设数量的第一视频段，其中每段第一视频段包括一个起始点。例如，根据视频时长将视频数据进行平均分割。
具体地，获取所述视频数据的视频时长，按照所述视频时长将所述视频数据均匀的分割为预设数量的第一视频段。例如，该视频数据时长为50s，可以每5s切割得到10段第一视频段，10段第一视频段对应10个起始点。
S102：从每个第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将第二图片转化为第二视频段，其中行为特征部分为第一图片中动作发生变化的物体的图像。
在本实施例中，为了提高识别的效率，通过提取第一图片对第一视频段进行压缩。例如，第一预设帧数为64帧。
在本发明的一个实施例中，当第一视频段小于第一预设帧数时(例如第一视频段小于64帧)，可以在第一视频段的中段进行重复提取第一图片，使得第一图片数量达到第一预设帧数。这里对第一视频段的中段进行重复提取是因为通常第一视频段中段的图片中包含更多与行为识别有关的特征，能够使得识别结果更准确。
在本实施例中，将第二图片转化为第二视频段的过程具体为：将连续提取到的第二图片按照提取的顺序进行排列，将排列后的第二图片集合保存为视频格式，得到第二视频段。
在本实施例中，第一图片中通常包含待识别其行为的特征物，例如图片中跳舞的人、游泳的人等，该特征物在为每张第一图片中的动作会发生变化的物体。行为特征部分指的是特征物在第一图片中的图像部分，且行为特征部分不包含第一图片中背景中的其他物体(例如背景中的建筑物或植物等)。
S103：从每个第二视频段中按照预设步长提取第三图片，并将第三图片转化第三视频段。
在本实施例中，在本实施例中，预设步长根据第一预设帧数来确定，如第一预设帧数为64帧，预设步长为8，则提取的第二图片的第二预设帧数为8帧，实现对第二视频段的进一步压缩。
在本实施例中，将第三图片转化为第三视频段的过程与步骤S102中将第二图片转化为第二视频段的过程一致，这里不再赘述。
S104：将每段第三视频段导入至预设的神经网络模型中，得到每段第三视频段的行为分类系数。
在本实施例中，预设的神经网络模型为卷积神经网络，例如RsesNet101网络，可以获取多个训练视频样本，对初始的神经网络模型进行训练得到预设的神经网络模型。根据每个行为分类系数，可以通过查询行为识别参数值与行为识别结果的对应关系，确定对应的行为识别结果。
S105：根据每段第三视频段的行为分类系数，得到视频数据的行为识别结果。
在本实施例中，可以将每段第三视频段的行为分类系数进行相加，得到总的行为识别参数值，并查询行为识别参数值与行为识别结果的对应关系，确定最终的行为识别结果。
从上述描述可知，本实施例首先将视频数据切割成第一视频段，从每个第一视频段中连续提取第一预设帧数的第一图片，并从各第一以图片中提取行为特征部分得到第二图片，并将提取得到第二图片转化为第二视频段，其中行为特征部分为第一图片中动作发生变化的物体的图像，然后从每个第二视频段中按照预设步长提取第三图片，并将第三图片转化第三视频段，最后将每段第三视频段导入至预设的神经网络模型中，得到每段第三视频段的行为分类系数；根据每段第三视频段的行为分类系数，得到视频数据的行为识别结果，能够分段对视频数据进行图片提取、特征部分提出的预处理，以缩小处理的视频数据的量，再分别对各分段视频进行初步预测，并确定最终的行为识别结果，提高了视频数据行为识别的效率。
请参阅图2，图2为本发明另一实施例提供的一种基于神经网络的视频行为识别方法的示意流程图。在上述实施例的基础上，在上述步骤S101之前还包括如下步骤：
S201：获取预设的神经网络模型的训练视频样本的分辨率。
在本实施例中，将预设的神经网络模型的训练视频样本通常为多个，且是已经经过格式转化的训练视频样本，例如，训练视频样本的分辨率340*256(水平象素*垂直象素)。
S202：将视频数据的分辨率调整为与训练视频样本的分辨率相同的分辨率。
在本实施例中，可以通过分辨率调整软件将视频数据的分辨率转化为与训练视频样本的分辨率相同的分辨率。例如分辨率340*256(水平象素*垂直象素)。
从上述描述可知，通过调整训练视频样本的分辨率与视频数据进的分辨率一致，可提高视频数据与预设的神经网络模型的匹配度，提高行为识别的精度。
请参阅图3，图3为本发明再一实施例提供的一种基于神经网络的视频行为识别方法的示意流程图。在上述实施的基础上，步骤S102中从各第一图片中提取行为特征部分得到第二图片，包括如下步骤：
S301：将第一预设帧数的第一图片中的特征物进行对齐，特征物为第一图片中动作发生变化的物体。
在本实施例中，第一图片中通常包含待识别其行为的特征物，该特征物在为每张第一图片中的动作会发生变化的物体，例如图片中跳舞的人、游泳的人等。
具体地，将第一预设帧数的第一图片中的特征物进行对齐具体为：获取特征物的几何中心，将每张第一图片中的特征物的几何中心对齐，得到对齐的第一图片。
S302：将对齐后的每张第一图片以所述特征物为中心的预设范围内的图像进行切割保留，得到所述第二图片。
在本实施例中，以对齐后的每张第一图片的特征物(例如特征物的几何中心)为中心预设范围内的图像信息进行切割，并将切割后的图像信息保存为预设数量的第三视频段。其中预设范围可以根据第一图片的分辨率进行设置，例如，第第一图片的分辨率为340*256(水平象素×垂直象素)，经过对齐切割处理后得到的第二图片分辨率为224*224(水平象素×垂直象素)。
从上述描述可知，通过对切和切割处理，可将与特征物相关的视频信息保留，使得视频数据精简，提升处理效率。
请参阅图4，图4为本发明又一实施例提供的一种基于神经网络的视频行为识别方法的示意流程图。在上述实施例的基础上，步骤S105包括：
S401：根据每段第三视频段在视频数据的位置，确定每段第三视频段的权重。
在本实施例中，可以将第三视频段在视频数据的位置分为前段、中前段、中后段和后段，不同位置额第三视频段对应不同的权重。
优选地，中前段和中后段的权重大于前段和后段的权重。由于视频中段的信息包含的行为特征信息较多，也可以将中间位置的第三视频段的(识别分类系数)的权重提高(例如1.2倍)得到第三视频段的行为识别结果。
S402：将每段第三视频段的行为分类系数和权重相乘，得到每段第三视频段的行为分类值。
S403：将每段第三视频段的分类值相加得到所述视频数据的行为识别参数值。
在本实施例中，可以通过查询行为识别参数值与行为识别结果的对应关系，确定最终的行为识别结果。
S404：根据所述行为识别参数值确定所述视频数据的行为识别结果。
从上述描述可知，通过赋予不同的第三视频段不同的行为分类系数不同的权重，使得得到的行为识别参数值更准确。
在本发明的另一实施例中，还可以将通过LSTM模型对每段第三视频段的行为分类预测，获取每段第三视频段的时序信息，根据所述时序信息对分类预测结果进
对应于上文实施例的基于神经网络的视频行为识别方法，图5示出了本发明实施例提供的终端设备的结构示意图。为了便于说明，仅示出了与本实施例相关的部分。
在本实施例中，基于神经网络的视频行为识别装置(程序)600安装并运行于终端设备60中。该终端设备60可以是移动终端、掌上电脑、服务器等。该终端设备60可包括，但不仅限于，存储器601、处理器602及显示器603。图5仅示出了具有组件601-603的终端设备60，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器601在一些实施例中可以是所述终端设备60的内部存储单元，例如该终端设备60的硬盘或内存。所述存储器601在另一些实施例中也可以是所述终端设备60的外部存储设备，例如所述终端设备60上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器601还可以既包括所述终端设备60的内部存储单元也包括外部存储设备。所述存储器601用于存储安装于所述终端设备60的应用软件及各类数据，例如所述基于神经网络的视频行为识别装置600的程序代码等。所述存储器601还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器602在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器601中存储的程序代码或处理数据，例如执行所述基于神经网络的视频行为识别装置600等。
所述显示器603在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。所述显示器603用于显示在所述终端设备60中处理的信息以及用于显示可视化的用户界面，例如应用菜单界面、应用图标界面等。所述终端设备60的部件601-603通过系统总线相互通信。
请参阅图6，是本发明实施例提供的基于神经网络的视频行为识别装置600的功能模块图。在本实施例中，所述的基于神经网络的视频行为识别装置600可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器601中，并由一个或多个处理器(本实施例为所述处理器602)所执行，以完成本发明。例如，在图6中，所述的基于神经网络的视频行为识别装置600可以被分割成视频切割单元701、第一视频段处理单元702、第二视频段处理单元703、第三视频段处理单元704和行为识别结果确定单元705。本发明所称的单元是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述基于神经网络的视频行为识别装置600在所述终端设备60中的执行过程。以下描述将具体介绍所述单元701-705。
其中，视频切割单元701，用于将视频数据切割成预设数量的第一视频段；
第一视频段处理单元702，用于从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
第二视频段处理单元703，用于从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
第三视频段处理单元704，用于将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
行为识别结果确定单元705，用于根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
从上述描述可知，本实施例首先将视频数据切割成第一视频段，从每个第一视频段中连续提取第一预设帧数的第一图片，并从各第一以图片中提取行为特征部分得到第二图片，并将提取得到第二图片转化为第二视频段，其中行为特征部分为第一图片中动作发生变化的物体的图像，然后从每个第二视频段中按照预设步长提取第三图片，并将第三图片转化第三视频段，最后将每段第三视频段导入至预设的神经网络模型中，得到每段第三视频段的行为分类系数；根据每段第三视频段的行为分类系数，得到视频数据的行为识别结果，能够分段对视频数据进行图片提取、特征部分提出的预处理，以缩小处理的视频数据的量，再分别对各分段视频进行初步预测，并确定最终的行为识别结果，提高了视频数据红为识别的效率。
在本发明的一个实施例中，所述分辨率转化单元706，用于获取所述预设的神经网络模型的训练视频样本的分辨率；将所述视频数据的分辨率调整为与所述训练视频样本的分辨率相同的分辨率。
在本发明的一个实施例中，所述第一视频段处理单元702，包括：
图片对齐模块7021，用于将所述第一图片中的特征物进行对齐，所述特征物为所述第一图片中动作发生变化的物体；
图片切割模块7022，用于将对齐后的每张第一图片以所述特征物为中心的预设范围内的图像进行切割保留，得到所述第二图片。
在本发明的一个实施例中，所述视频切割单元701，具体用于获取所述视频数据的视频时长；按照所述视频时长将所述视频数据均匀的分割为预设数量的第一视频段。
在本发明的一个实施例中，行为识别结果确定单元705，具体用于根据每段第三视频段在视频数据的位置，确定每段第三视频段的权重；将每段第三视频段的行为分类系数和权重相乘，得到每段第三视频段的行为分类值；将每段第三视频段的分类值相加得到所述视频数据的行为识别参数值；根据所述行为识别参数值确定所述视频数据的行为识别结果。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于神经网络的视频行为识别方法，其特征在于，包括：
将视频数据切割成预设数量的第一视频段；
从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
2.如权利要求1所述的基于神经网络的视频行为识别方法，其特征在于，所述将视频数据切割成预设数量的第一视频段之前，还包括：
获取所述预设的神经网络模型的训练视频样本的分辨率；
将所述视频数据的分辨率调整为与所述训练视频样本的分辨率相同的分辨率。
3.如权利要求1所述的基于神经网络的视频行为识别方法，其特征在于，所述从各第一图片中提取行为特征部分得到第二图片，包括：
将所述第一图片中的特征物进行对齐，所述特征物为所述第一图片中动作发生变化的物体；
将对齐后的每张第一图片以所述特征物为中心的预设范围内的图像进行切割保留，得到所述第二图片。
4.如权利要求1所述的基于神经网络的视频行为识别方法，其特征在于，所述将视频数据切割成预设数量的第一视频段，包括：
获取所述视频数据的视频时长；
按照所述视频时长将所述视频数据均匀的分割为预设数量的第一视频段。
5.如权利要求4所述的基于神经网络的视频行为识别方法，其特征在于，所述根据每段第三视频段的行为分类系数，得到所述视频数据的行为识别结果，包括：
根据每段第三视频段在视频数据的位置，确定每段第三视频段的权重；
将每段第三视频段的行为分类系数和权重相乘，得到每段第三视频段的行为分类值；
将每段第三视频段的分类值相加得到所述视频数据的行为识别参数值；
根据所述行为识别参数值确定所述视频数据的行为识别结果。
6.一种终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
将视频数据切割成预设数量的第一视频段；
从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
7.如权利要求6所述的终端设备，其特征在于，所述处理器执行所述计算机程序时还实现如下步骤：
获取所述预设的神经网络模型的训练视频样本的分辨率；
将所述视频数据的分辨率调整为与所述训练视频样本的分辨率相同的分辨率。
8.如权利要求7所述的终端设备，其特征在于，所述从各第一图片中提取行为特征部分得到第二图片，包括：
将所述第一图片中的特征物进行对齐，所述特征物为所述第一图片中动作发生变化的物体；
将对齐后的每张第一图片以所述特征物为中心的预设范围内的图像进行切割保留，得到所述第二图片。
9.一种基于神经网络的视频行为识别装置，其特征在于，包括：
视频切割单元，用于将视频数据切割成预设数量的第一视频段；
第一视频段处理单元，用于从每个所述第一视频段的起始点开始，连续提取第一预设帧数的第一图片，并从各第一图片中提取行为特征部分得到第二图片，将所述第二图片转化为第二视频段，其中所述行为特征部分为所述第一图片中动作发生变化的物体的图像；
第二视频段处理单元，用于从每个所述第二视频段中按照预设步长提取第三图片，并将所述第三图片转化第三视频段；
第三视频段处理单元，用于将每段所述第三视频段导入至预设的神经网络模型中，得到每段所述第三视频段的行为分类系数；
行为识别结果确定单元，用于根据每段所述第三视频段的行为分类系数，得到所述视频数据的行为识别结果。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于神经网络的视频行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811340770.5A CN109657546A (zh) | 2018-11-12 | 2018-11-12 | 基于神经网络的视频行为识别方法及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811340770.5A CN109657546A (zh) | 2018-11-12 | 2018-11-12 | 基于神经网络的视频行为识别方法及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109657546A true CN109657546A (zh) | 2019-04-19 |
Family
ID=66110850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811340770.5A Pending CN109657546A (zh) | 2018-11-12 | 2018-11-12 | 基于神经网络的视频行为识别方法及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657546A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096605A (zh) * | 2019-04-26 | 2019-08-06 | 北京迈格威科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113055705A (zh) * | 2021-03-25 | 2021-06-29 | 郑州师范学院 | 基于大数据分析的云计算平台数据存储方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740773A (zh) * | 2016-01-25 | 2016-07-06 | 重庆理工大学 | 基于深度学习和多尺度信息的行为识别方法 |
| CN106354816A (zh) * | 2016-08-30 | 2017-01-25 | 东软集团股份有限公司 | 一种视频图像处理方法及装置 |
| CN106599789A (zh) * | 2016-07-29 | 2017-04-26 | 北京市商汤科技开发有限公司 | 视频类别识别方法和装置、数据处理装置和电子设备 |
| CN108073902A (zh) * | 2017-12-19 | 2018-05-25 | 深圳先进技术研究院 | 基于深度学习的视频总结方法、装置及终端设备 |
| CN108154137A (zh) * | 2018-01-18 | 2018-06-12 | 厦门美图之家科技有限公司 | 视频特征学习方法、装置、电子设备及可读存储介质 |
| CN108182416A (zh) * | 2017-12-30 | 2018-06-19 | 广州海昇计算机科技有限公司 | 一种无人机监控场景下的人体行为识别方法、系统及装置 |
| CN108280406A (zh) * | 2017-12-30 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种基于分段双流模型的行为识别方法、系统及装置 |
| CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
| CN108319905A (zh) * | 2018-01-25 | 2018-07-24 | 南京邮电大学 | 一种基于长时程深度时空网络的行为识别方法 |
-
2018
- 2018-11-12 CN CN201811340770.5A patent/CN109657546A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740773A (zh) * | 2016-01-25 | 2016-07-06 | 重庆理工大学 | 基于深度学习和多尺度信息的行为识别方法 |
| CN106599789A (zh) * | 2016-07-29 | 2017-04-26 | 北京市商汤科技开发有限公司 | 视频类别识别方法和装置、数据处理装置和电子设备 |
| CN106354816A (zh) * | 2016-08-30 | 2017-01-25 | 东软集团股份有限公司 | 一种视频图像处理方法及装置 |
| CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
| CN108073902A (zh) * | 2017-12-19 | 2018-05-25 | 深圳先进技术研究院 | 基于深度学习的视频总结方法、装置及终端设备 |
| CN108182416A (zh) * | 2017-12-30 | 2018-06-19 | 广州海昇计算机科技有限公司 | 一种无人机监控场景下的人体行为识别方法、系统及装置 |
| CN108280406A (zh) * | 2017-12-30 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种基于分段双流模型的行为识别方法、系统及装置 |
| CN108154137A (zh) * | 2018-01-18 | 2018-06-12 | 厦门美图之家科技有限公司 | 视频特征学习方法、装置、电子设备及可读存储介质 |
| CN108319905A (zh) * | 2018-01-25 | 2018-07-24 | 南京邮电大学 | 一种基于长时程深度时空网络的行为识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096605A (zh) * | 2019-04-26 | 2019-08-06 | 北京迈格威科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN110096605B (zh) * | 2019-04-26 | 2021-06-04 | 北京迈格威科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113055705A (zh) * | 2021-03-25 | 2021-06-29 | 郑州师范学院 | 基于大数据分析的云计算平台数据存储方法 |
| CN113055705B (zh) * | 2021-03-25 | 2022-08-19 | 郑州师范学院 | 基于大数据分析的云计算平台数据存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN107578453A (zh) | 压缩图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111045814B (zh) | 资源调度方法和终端设备 | |
| CN106664467A (zh) | 实时视频摘要 | |
| CN109360149A (zh) | 一种图片上传方法、系统及终端设备 | |
| CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN110222717A (zh) | 图像处理方法和装置 | |
| US11126821B2 (en) | Information processing method, device, system and storage medium | |
| CN110830807A (zh) | 图像压缩方法、装置及存储介质 | |
| CN109598250A (zh) | 特征提取方法、装置、电子设备和计算机可读介质 | |
| CN116188808B (zh) | 图像特征提取方法和系统、存储介质及电子设备 | |
| CN108960411A (zh) | 一种卷积神经网络调整及相关装置 | |
| CN109657546A (zh) | 基于神经网络的视频行为识别方法及终端设备 | |
| CN112784897A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN109697090A (zh) | 一种控制终端设备的方法、终端设备及存储介质 | |
| CN108052894A (zh) | 一种目标对象的多属性识别方法、设备、介质及神经网络 | |
| CN104391879A (zh) | 层次聚类的方法及装置 | |
| CN110084380A (zh) | 一种迭代训练方法、设备、系统及介质 | |
| CN111680016A (zh) | 分布式服务器集群日志数据处理方法、装置及系统 | |
| CN114861059A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
| CN114781650A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN109657535A (zh) | 图片识别方法、目标设备及云平台 | |
| CN110536087A (zh) | 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置 | |
| WO2021174834A1 (zh) | Yuv图像识别方法、系统和计算机设备 | |
| CN103810694A (zh) | 图片压缩中质量因子的获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |