CN113194359B - 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质 - Google Patents

自动抓取婴儿精彩视频集锦的方法、装置、设备及介质 Download PDF

Info

Publication number
CN113194359B
CN113194359B CN202110465180.0A CN202110465180A CN113194359B CN 113194359 B CN113194359 B CN 113194359B CN 202110465180 A CN202110465180 A CN 202110465180A CN 113194359 B CN113194359 B CN 113194359B
Authority
CN
China
Prior art keywords
image
video
baby
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110465180.0A
Other languages
English (en)
Other versions
CN113194359A (zh
Inventor
陈辉
熊章
杜沛力
张智
雷奇文
艾伟
胡国湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingxun Intelligent Technology Co ltd
Original Assignee
Wuhan Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingxun Intelligent Technology Co ltd filed Critical Wuhan Xingxun Intelligent Technology Co ltd
Priority to CN202211565460.XA priority Critical patent/CN115914741B/zh
Priority to CN202110465180.0A priority patent/CN113194359B/zh
Publication of CN113194359A publication Critical patent/CN113194359A/zh
Application granted granted Critical
Publication of CN113194359B publication Critical patent/CN113194359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于视频剪辑技术领域，解决了采用常规方法剪辑视频无法完成婴儿特定动作有针对性的剪辑，所导致用户体验效果差的技术问题，提供了一种自动抓取婴儿精彩视频集锦的方法、装置、设备及介质。该方法包括:提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，确定各动作的基准图像；根据基准图像抓取婴儿视频中的各动作，得到各类动作对应目标视频。本发明还包括用于执行上述方法的装置、设备及介质。本发明通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。

Description

自动抓取婴儿精彩视频集锦的方法、装置、设备及介质
技术领域
本发明涉及视频剪辑技术领域，尤其涉及自动抓取婴儿精彩视频集锦的方法、装置、设备及介质。
背景技术
随着计算机和网络技术的发展，电子设备的功能越来越多样化。通过视频剪辑手段将感兴趣的视频段拼接成新的视频越来越受用户喜爱。
现有技术中，对于抓取婴儿精彩视频集锦的方法主要有如下几种：一种是采用背景建模的方法剔除掉无效背景，将动态场景组合成视频，这种方法优势在于速度快，但是剪辑效果太差，容易出现鬼影现象；另一种通过检测场景中的目标对象，将包含人物的图片作为关键帧抓取视频，这种方法抓取得到的视频无法得到有意义的信息，相对来说信息并不明确。因此造成用户体验效果差。
发明内容
有鉴于此，本发明实施例提供了一种自动抓取婴儿精彩视频集锦的方法、装置、设备及介质，用以解决采用常规方法剪辑视频无法完成婴儿特定动作有针对性的剪辑，所导致用户体验效果差的技术问题。
本发明采用的技术方案是：
本发明提供了一种婴儿视频自动剪辑的方法，所述方法包括：
S1：提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
S2：计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
S3：基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频；
其中，所述S2包括：
S21：对各帧目标图像进行分割，得到多张同尺寸的子图像；
S22：获取各所述子图像的中心坐标及权重值，所述权重值的大小以各子图像的中心位置距离目标图像的中心位置的距离进行确定；
S23：根据各帧目标图像的各所述子图像的中心坐标和权重值，由公式S＝W1+W2+…+Wq计算各帧目标图像的婴儿肢体关键点的离散值，其中，S为各帧目标图像的婴儿肢体关键点的离散值，W为权重值，Wq表示第q个肢体关键点的权重值，所述第q个肢体关键点的权重值是通过确定婴儿肢体关键点在子图像的位置，依据子图像预设的权重值得到；
S24：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像；
其中，所述权重值的设置方式包括：系统预设、用户自定义设置或系统根据用户的操作进行权重值修正。
优选地，所述S1包括：
S11：获取婴儿视频的帧率；
S12：根据所述帧率将婴儿视频分解成对应的各帧图像；
S13：对各帧所述图像进行婴儿肢体关键点检测，输出包含婴儿肢体关键点的各帧目标图像；
S14：利用预置的动作分类模型对各帧目标图像进行分类，输出所述动作图像集。
优选地，所述S14包括：
S141：获取各帧目标图像的图像尺寸及目标图像中各婴儿肢体关键点对应的关键点坐标；
S142：根据各所述图像尺寸，将与各所述图像尺寸对应的所述目标图像中的各所述关键点坐标进行标准化处理，得到各婴儿肢体关键点的标准化坐标值；
S143：根据各帧目标图像中各婴儿肢体关键点的所述标准化坐标值，对各帧目标图像进行分类，输出所述动作图像集。
优选地，所述S142包括：
S1421：利用公式
Figure 266871DEST_PATH_IMAGE001
,将各所述关键点坐标P（X,Y）转换为对应的浮点值;
S1422：利用公式
Figure 664486DEST_PATH_IMAGE002
,将各所述浮点值转换为对应的标准坐标值；
其中，W为目标图像的宽度，L为目标图像的长度，X为肢体关键点的横坐标，Y为肢体关键点的纵坐标，
Figure 707528DEST_PATH_IMAGE003
为横坐标对应的浮点值，
Figure 391450DEST_PATH_IMAGE004
为纵坐标对应的浮点值，
Figure 683891DEST_PATH_IMAGE005
为横坐标对应的标准坐标值，
Figure 540989DEST_PATH_IMAGE006
为纵坐标对应的标准坐标值。
优选地，所述S3包括：
S31：获取各动作的时间长度和各所述基准图像的时刻先后顺序；
S32：在所述基准图像的前和/或后对所述动作图像集进行抓取，得到所述时间长度的各动作子视频；
S33：根据所述时刻先后顺序对各所述动作子视频进行拼接，输出所述目标视频。
优选地，在所述S1之前还包括：
S01：获取婴儿初始视频的初始颜色空间与HSV颜色空间的转换关系；
S02：根据所述转换关系将所述婴儿初始视频转换为HSV颜色空间的所述婴儿视频。
本发明还提供了一种自动抓取婴儿精彩视频集锦的装置，包括：
图像数据检测模块：用于提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
图像数据处理模块：用于计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
视频数据合成模块：用于基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频；
其中，所述图像数据处理模块包括：
图像分割单元：对各帧目标图像进行分割，得到多张同尺寸的子图像；
子图像参数单元：获取各所述子图像的中心坐标及权重值，所述权重值的大小以各子图像的中心位置距离目标图像的中心位置的距离进行确定；
图像离散值单元：根据各帧目标图像的各所述子图像的中心坐标和权重值，由公式S＝W1+W2+…+Wq计算各帧目标图像的婴儿肢体关键点的离散值，其中，S为各帧目标图像的婴儿肢体关键点的离散值，W为权重值，Wq表示第q个肢体关键点的权重值，所述第q个肢体关键点的权重值是通过确定婴儿肢体关键点在子图像的位置，依据子图像预设的权重值得到；
基准图像计算单元：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像；
其中，所述权重值的设置方式包括：系统预设、用户自定义设置或系统根据用户的操作进行权重值修正。
本发明还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种自动抓取婴儿精彩视频集锦的方法、装置、设备及介质，从婴儿视频中提取出包含有婴儿肢体关键点的各帧目标图像，并将各帧图像中的动作进行分类，得到动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，从而确定出各动作对应的基准图像；以各基准图像为基础对婴儿视频中的各类动作进行抓取，得到各类动作对应数量的图像帧组成的目标视频；通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中自动抓取婴儿精彩视频集锦的方法的流程示意图；
图2为本发明实施例1中获取动作图像集的流程示意图；
图3为本发明实施例1中对婴儿肢体关键点坐标归一化处理的流程示意图；
图4为本发明实施例1中获取婴儿肢体关键点的目标坐标值的流程示意图；
图5为本发明实施例1中获取各动作的基准图像的流程示意图；
图6为本发明实施例1中获取目标视频的流程示意图；
图7为本发明实施例1中获取HSV颜色空间对应的婴儿视频的流程示意图；
图8为本发明实施例2中自动抓取婴儿精彩视频集锦的装置的结构示意图；
图9为本发明实施例3中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施方式一
实施例1
请参见图1，图1为本发明实施例1中自动抓取婴儿精彩视频集锦的方法的流程示意图；所述方法包括：
S1：提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
具体的，对摄像头采集的婴儿视频根据视频的帧率进行分帧，将婴儿视频转化为多帧图像；提取包含婴儿肢体关键点的图像帧，然后按动作类别对提取的各图像帧进行划分，组成区分动作类别的动作图像集；动作图像集至少包括一种动作对应的图像，同时，任一类别的动作至少包括一张图像，通过对各动作的关键帧进行整合分类，有助于同一动作的关键帧之间的对比，筛选出符合要求的关键帧，减少不同动作的图像之间干扰，减少数据处理量。
在一实施例中，请参见图2，所述S1包括：
S11：获取视频视频的帧率；
具体的，视频流的帧率为视频在传输时单位时间内传输的图像帧的数量，如：帧率为20帧每秒，得到每间隔0.05秒传输一张图像。
S12：根据所述帧率将婴儿视频分解成对应的各帧图像；
具体的，根据帧率将婴儿视频转换成各帧图像，其中，包括存在婴儿动作的各帧图像和不存在婴儿动作的各帧图像，如：婴儿在从摄像头监控区域消失或出现对应的视频，部分图像帧存在婴儿，部分图像帧不存在婴儿。
S13：对各帧所述图像进行婴儿肢体关键点检测，输出包含婴儿肢体关键点的各帧目标图像；
具体的，对各帧图像进行检测，判断各帧图像是否包含婴儿特定动作对应的人体关键点，若存在，则将该帧图像提取出来，采用该方法，得到符合特定动作的各帧图像；特定动作至少包括以下之一：握持、吮吸、笑、跳、爬、站立、捂面、抬头、转圈等0至3岁婴幼儿的成长动作。
S14：利用预置的动作分类模型对各帧目标图像进行分类，输出所述动作图像集。
具体的，将各动作对应的婴儿肢体关键点的信息及位置关系存储在动作分类模型中，将采集的对应婴儿肢体关键点及关键点之间的位置信息与预置的历史数据进行对比，从而得到各动作的图像，组成动作图像集；完成动作的分类。
在一实施例中，请参见图3，所述S14包括：
S141：获取各帧目标图像的图像尺寸及目标图像中各婴儿肢体关键点对应的关键点坐标；
具体的，获取各帧图像的长度尺寸La和宽度尺寸Wa，以及各目标图像中婴儿肢体的各关键点的关键点坐标Pa（Xi,Yi），其中，a为第a张目标图像，i为目标图像的第i个肢体关键点，X为横坐标，Y为纵坐标，W为目标图像的宽度，L为目标图像的长度，Pa（Xi,Yi）为第a张目标图像的第i个肢体关键点的坐标。
S142：根据各所述图像尺寸，将与各所述图像尺寸对应的所述目标图像中的各所述关键点坐标进行标准化处理，得到各婴儿肢体关键点的标准化坐标值。
具体的，获取各目标图像的图像尺寸和各目标图像中各婴儿肢体关键点的关键点坐标，然后对各关键点坐标进行标准化处理，也即归一化处理；得到各婴儿肢体关键点的标准化坐标值。
在一实施例中，请参见图4，所述S142包括：
S1421：利用公式
Figure 953385DEST_PATH_IMAGE001
,将各所述关键点坐标P（X,Y）转换为对应的浮点值;
具体的，利用公式
Figure 604946DEST_PATH_IMAGE001
，将得到的目标图像的各关键点对应的横坐标和纵坐标转化为对应的浮点值，如将图像a中第i个关键点的横坐标Xi转化为对应的浮点值
Figure 853525DEST_PATH_IMAGE003
，将图像a中第i个关键点的横坐标Yi转化为对应的浮点值
Figure 248734DEST_PATH_IMAGE004
。
S1422：利用公式
Figure 797527DEST_PATH_IMAGE002
,将各所述浮点值转换为对应的标准坐标值；
具体的，在将关键点坐标转换成对应的浮点值后，利用公式
Figure 354410DEST_PATH_IMAGE002
,将各所述浮点值转换为对应的标准坐标值，从而完成关键点坐标的标准化处理。如将图像a中第i个关键点的横坐标Xi经过标准化处理后，得到坐标标准值
Figure 621443DEST_PATH_IMAGE005
，将图像a中第i个关键点的横坐标Yi经过标准化处理后得到坐标标准值
Figure 765549DEST_PATH_IMAGE006
。
其中，W为目标图像的宽度，L为目标图像的长度，X为肢体关键点的横坐标，Y为肢体关键点的纵坐标，
Figure 168849DEST_PATH_IMAGE003
为横坐标对应的浮点值，
Figure 896633DEST_PATH_IMAGE004
为纵坐标对应的浮点值，
Figure 650963DEST_PATH_IMAGE005
为横坐标对应的标准坐标值，
Figure 387975DEST_PATH_IMAGE006
为纵坐标对应的标准坐标值。
S143：根据各帧目标图像中各婴儿肢体关键点的所述标准化坐标值，对各帧目标图像进行分类，输出所述动作图像集。
具体的，根据各目标图像中所有肢体关键点对应的归一化坐标值，得到目标图像的动作类型，完成各目标图像动作类型的分类，并作为动作图像集输出。将各目标图像中的所有肢体关键点的目标坐标值作为一个组，得到与各目标图像一一对应的各肢体关键点的目标坐标组，然后将各组目标坐标值组输入svm分类器进行各目标图像中的动作分类，输出动作图像集；svm分类器是一种线性分类器，主要用于二分类， svm分类器可以基于输入的特征图确定图像中包括人脸或不包括人脸。将图像帧的特征图输入分类子网络，分类子网络可以输出每个目标检测框中包含各动作类别的概率，从而实现目标图像的动作分类；其中，包括但不仅限于人脸，还可以是胳膊、躯干等。
S2：计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
具体的，根据图像中婴儿肢体的关键点的位置计算关键点的离散度，将离散度符合要求的图像作为基准图像，在后续以基准图像为参考，对相应动作进行各帧图像的抓取，如动作A1的基准图像为a，以图像a为基准按既定抓取方式进行抓取动作A1中对应的图像帧，得到动作A1的抓取动作；动作A2的基准图像为b，以图像b为基准按既定抓取方式进行抓取动作A2中对应的图像帧，得到动作A2的抓取动作。
需要说明的是：预置的分类器包括但不仅限于SVM、softmax等常见的分类器。
在一实施例中，请参见图5，所述S2包括：
S21：对各帧目标图像进行分割，得到多张同尺寸的子图像；
具体的，将各目标图像按既定规则分为多个尺寸相同的子图像，如：将各目标图像以九宫格分为9张子图像。
S22：获取各所述子图像的中心坐标及权重值；
具体的，获取各子图像的中心坐标，同时对各子图像赋予一个权重值，以各子图像的中心位置距离目标图像的中心位置的距离确定权重的大小，如：将各目标图像以九宫格方式划分，得到9张子图像，第1张、第3张、第7张和第9张距离中心点距离最远，设置权重值为2，第2张、第4张、第6张和第8张距离中心点距离近，设置权重值为1，第5张的中心点与目标图像的中心点重合，设置权重值为0。
需要说明的是：权重的设置包括但不仅限于预先设置、使用者根据使用习惯设置、系统根据用户对目标图像的偏好修正的；如：部分用户偏向居中度高的图像或视频，部分用户偏向图像偏移或扭曲的图像或视频。
需要说明的是：图像的中心坐标可以是系统预设的，也可以是用户后期制定的点。
S23：根据各帧目标图像的各所述子图像的中心坐标和权重值，得到各帧目标图像的婴儿肢体关键点的离散值；
具体的，根据各子图像的中心坐标和对应的权重值，由公式S=W1+ W2+…+ Wq计算各目标图像的离散值，其中，S为各目标图像的婴儿肢体关键点的离散值，W为权重值，Wq表示第q个肢体关键点的权重值；以九宫格分割目标图像为例，肢体关键点1和2均位于第1张子图像，则W1和W2的值均为2。
S24：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像。
具体的，对比同一动作类型中各帧目标图像的离散值，离散值越大表示抓拍的婴儿动作的图像效果越好，因此把离散值越大的目标图像作为基准图像。
S3：基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频。
具体的，在确定每一个动作的基准图像后，依据动作抓取规则进行各动作的抓取，得到与各动作一一对应的精彩视频流，然后进行拼接，得到目标视频。
在一实施例中，请参见图6，所述S3包括：
S31：获取各动作的时间长度和各所述基准图像的时刻先后顺序；
具体的，设定一个动作对应的时间长度T，也就是说，确定一个动作包含的图像的总数；以及，确定每一帧基准图像的时刻，得到所有基准图像的时间先后顺序。
S32：在所述基准图像的前和/或后对所述动作图像集进行抓取，得到所述时间长度的各动作子视频；
具体的，根据动作需要的时间长度，从动作图像集中筛选出包括对应基准图像的多张图像；多张图像对应的时间长度小于等于T；如，在基准图像前抓取a张图像，对应时间长度为T1，在基准图像后抓取b张图像，对应时间长度为T2，T1+T2≤T。
S33：根据所述时刻先后顺序对各所述动作子视频进行拼接，输出所述目标视频。
在一实施例中，请参见图7，所述S1之前还包括：
S01：获取婴儿初始视频的初始颜色空间与HSV颜色空间的转换关系；
S02：根据所述转换关系将所述婴儿初始视频转换为HSV颜色空间的所述婴儿视频。
具体的，将非HSV颜色空间的视频转换成HSV颜色空间的视频，H为色调、S为饱和度、V为明度；可以提高提取图像的色调、鲜明程度和明暗程度参数的准确性，减少颜色虚检的问题。
采用本实施例的自动抓取婴儿精彩视频集锦的方法，从婴儿视频中提取出包含有婴儿肢体关键点的各帧目标图像，并将各帧图像中的动作进行分类，得到动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，从而确定出各动作对应的基准图像；以各基准图像为基础对婴儿视频中的各类动作进行抓取，得到各类动作对应数量的图像帧组成的目标视频；通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。
实施例2
本发明还提供了一种自动抓取婴儿精彩视频集锦的装置，请参见图8，包括：
图像数据检测模块：用于提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
图像数据处理模块：用于计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
视频数据合成模块：用于基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频。
采用本实施例的通过自动抓取婴儿精彩视频集锦的装置，从婴儿视频中提取出包含有婴儿肢体关键点的各帧目标图像，并将各帧图像中的动作进行分类，得到动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，从而确定出各动作对应的基准图像；以各基准图像为基础对婴儿视频中的各类动作进行抓取，得到各类动作对应数量的图像帧组成的目标视频；通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。
在一实施例中，获取视频流的帧率：
图像长度单元：获取婴儿视频的帧率；
视频拆分单元：根据所述帧率将婴儿视频分解成对应的各帧图像；
关键点检测单元：对各帧所述图像进行婴儿肢体关键点检测，输出包含婴儿肢体关键点的各帧目标图像；
图像动作分类单元：利用预置的动作分类模型对各帧目标图像进行分类，输出所述动作图像集。
在一实施例中，所述图像动作分类单元包括：
图像参数获取单元：获取各帧目标图像的图像尺寸及目标图像中各婴儿肢体关键点对应的关键点坐标；
标准化处理单元：根据各所述图像尺寸，将与各所述图像尺寸对应的所述目标图像中的各所述关键点坐标进行标准化处理，得到各婴儿肢体关键点的标准化坐标值；
动作图像分类单元：根据各帧目标图像中各婴儿肢体关键点的所述标准化坐标值，对各帧目标图像进行分类，输出所述动作图像集。
在一实施例中，所述动作图像分类单元包括：
坐标浮值单元：利用公式
Figure 114622DEST_PATH_IMAGE001
,将各所述关键点坐标P（X,Y）转换为对应的浮点值；
目标坐标值单元：利用公式
Figure 13308DEST_PATH_IMAGE002
,将各所述浮点值转换为对应的标准坐标值；
动作分类单元：将各帧目标图像中各婴儿肢体关键点的所述目标坐标值输入svm分类器进行各帧目标图像分类，输出所述动作图像集；
其中，W为目标图像的宽度，L为目标图像的长度，X为肢体关键点的横坐标，Y为肢体关键点的纵坐标，
Figure 441884DEST_PATH_IMAGE003
为横坐标对应的浮点值，
Figure 982587DEST_PATH_IMAGE004
为纵坐标对应的浮点值，
Figure 829320DEST_PATH_IMAGE005
为横坐标对应的标准坐标值，
Figure 164487DEST_PATH_IMAGE006
为纵坐标对应的标准坐标值。
在一实施例中，所述图像数据处理模块包括：
图像分割单元：对各帧目标图像进行分割，得到多张同尺寸的子图像；
子图像参数单元：获取各所述子图像的中心坐标及权重值；
图像离散值单元：根据各帧目标图像的各所述子图像的中心坐标和权重值，得到各帧目标图像的婴儿肢体关键点的离散值；
基准图像计算单元：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像。
在一实施例中，所述视频数据合成模块包括：
时间顺序单元：获取各动作的时间长度和各所述基准图像的时刻先后顺序；
子视频抓取单元：在所述基准图像的前和/或后对所述动作图像集进行抓取，得到所述时间长度的各动作子视频；
视频拼接单元：根据所述时刻先后顺序对各所述动作子视频进行拼接，输出所述目标视频。
在一实施例中，在执行图像数据检测模块之前还包括：
颜色空间映射关系单元：获取婴儿初始视频的初始颜色空间与HSV颜色空间的转换关系；
视频颜色空间转换单元：根据所述转换关系将所述婴儿初始视频转换为HSV颜色空间的所述婴儿视频。
采用本实施例的自动抓取婴儿精彩视频集锦的装置，从婴儿视频中提取出包含有婴儿肢体关键点的各帧目标图像，并将各帧图像中的动作进行分类，得到动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，从而确定出各动作对应的基准图像；以各基准图像为基础对婴儿视频中的各类动作进行抓取，得到各类动作对应数量的图像帧组成的目标视频；通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。
实施例3
本发明提供了一种电子设备和介质，如图9所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路，电子设备至少包括以下之一：摄像头、具有摄像头的移动设备、具有摄像头的穿戴设备。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种自动抓取婴儿精彩视频集锦的方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种自动抓取婴儿精彩视频集锦的方法、装置、设备及介质，从婴儿视频中提取出包含有婴儿肢体关键点的各帧目标图像，并将各帧图像中的动作进行分类，得到动作图像集；然后计算各帧图像中婴儿肢体关键点的离散度，从而确定出各动作对应的基准图像；以各基准图像为基础对婴儿视频中的各类动作进行抓取，得到各类动作对应数量的图像帧组成的目标视频；通过该方法可以精准抓取婴儿特定动作对应的视频，然后进行存储、查看，可以节约设备存储空间、提高视频的趣味性和用户体验效果。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种自动抓取婴儿精彩视频集锦的方法，其特征在于，所述方法包括：
S1：提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
S2：计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
S3：基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频；
其中，所述S2包括：
S21：对各帧目标图像进行分割，得到多张同尺寸的子图像；
S22：获取各所述子图像的中心坐标及权重值，所述权重值的大小以各子图像的中心位置距离目标图像的中心位置的距离进行确定；
S23：根据各帧目标图像的各所述子图像的中心坐标和权重值，由公式S＝W1+W2+…+Wq计算各帧目标图像的婴儿肢体关键点的离散值，其中，S为各帧目标图像的婴儿肢体关键点的离散值，W为权重值，Wq表示第q个肢体关键点的权重值，所述第q个肢体关键点的权重值是通过确定婴儿肢体关键点在子图像的位置，依据子图像预设的权重值得到；
S24：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像；
其中，所述权重值的设置方式包括：系统预设、用户自定义设置或系统根据用户的操作进行权重值修正。
2.根据权利要求1所述的自动抓取婴儿精彩视频集锦的方法，其特征在于，所述S1包括：
S11：获取婴儿视频的帧率；
S12：根据所述帧率将婴儿视频分解成对应的各帧图像；
S13：对各帧所述图像进行婴儿肢体关键点检测，输出包含婴儿肢体关键点的各帧目标图像；
S14：利用预置的动作分类模型对各帧目标图像进行分类，输出所述动作图像集。
3.根据权利要求2所述的自动抓取婴儿精彩视频集锦的方法，其特征在于，所述S14包括：
S141：获取各帧目标图像的图像尺寸及目标图像中各婴儿肢体关键点对应的关键点坐标；
S142：根据各所述图像尺寸，将与各所述图像尺寸对应的所述目标图像中的各所述关键点坐标进行标准化处理，得到各婴儿肢体关键点的标准化坐标值；
S143：根据各帧目标图像中各婴儿肢体关键点的所述标准化坐标值，对各帧目标图像进行分类，输出所述动作图像集。
4.根据权利要求3所述的自动抓取婴儿精彩视频集锦的方法，其特征在于，所述S142包括：
S1421：利用公式
Figure 269766DEST_PATH_IMAGE001
,将各所述关键点坐标P（X,Y）转换为对应的浮点值;
S1422：利用公式
Figure 348581DEST_PATH_IMAGE002
,将各所述浮点值转换为对应的标准坐标值；
其中，W为目标图像的宽度，L为目标图像的长度，X为肢体关键点的横坐标，Y为肢体关键点的纵坐标，
Figure DEST_PATH_IMAGE003
为横坐标对应的浮点值，
Figure 49820DEST_PATH_IMAGE004
为纵坐标对应的浮点值，
Figure 759150DEST_PATH_IMAGE005
为横坐标对应的标准坐标值，
Figure 693477DEST_PATH_IMAGE006
为纵坐标对应的标准坐标值，此处i表示第i个肢体关键点，q表示肢体关键点数量。
5.根据权利要求1至4任一项所述的自动抓取婴儿精彩视频集锦的方法，其特征在于，所述S3包括：
S31：获取各动作的时间长度和各所述基准图像的时刻先后顺序；
S32：在所述基准图像的前和/或后对所述动作图像集进行抓取，得到所述时间长度的各动作子视频；
S33：根据所述时刻先后顺序对各所述动作子视频进行拼接，输出所述目标视频。
6.根据权利要求1所述的自动抓取婴儿精彩视频集锦的方法，其特征在于，在所述S1之前还包括：
S01：获取婴儿初始视频的初始颜色空间与HSV颜色空间的转换关系；
S02：根据所述转换关系将所述婴儿初始视频转换为HSV颜色空间的所述婴儿视频。
7.一种自动抓取婴儿精彩视频集锦的装置，其特征在于，包括：
图像数据检测模块：用于提取婴儿视频中的含有婴儿肢体关键点的各帧目标图像，输出划分动作类别的动作图像集；
图像数据处理模块：用于计算所述动作图像集中各帧目标图像的婴儿肢体关键点的离散度，输出各类动作对应的基准图像；
视频数据合成模块：用于基于各所述基准图像对所述婴儿视频中与各类动作对应的视频进行剪辑，输出目标视频；
其中，所述图像数据处理模块包括：
图像分割单元：对各帧目标图像进行分割，得到多张同尺寸的子图像；
子图像参数单元：获取各所述子图像的中心坐标及权重值，所述权重值的大小以各子图像的中心位置距离目标图像的中心位置的距离进行确定；
图像离散值单元：根据各帧目标图像的各所述子图像的中心坐标和权重值，由公式S＝W1+W2+…+Wq计算各帧目标图像的婴儿肢体关键点的离散值，其中，S为各帧目标图像的婴儿肢体关键点的离散值，W为权重值，Wq表示第q个肢体关键点的权重值，所述第q个肢体关键点的权重值是通过确定婴儿肢体关键点在子图像的位置，依据子图像预设的权重值得到；
基准图像计算单元：对比各类动作对应的各帧目标图像的离散值，输出各类动作对应的基准图像；
其中，所述权重值的设置方式包括：系统预设、用户自定义设置或系统根据用户的操作进行权重值修正。
8.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。
9.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202110465180.0A 2021-04-27 2021-04-27 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质 Active CN113194359B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211565460.XA CN115914741B (zh) 2021-04-27 2021-04-27 基于动作分类的婴儿视频集锦抓取方法、装置及设备
CN202110465180.0A CN113194359B (zh) 2021-04-27 2021-04-27 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465180.0A CN113194359B (zh) 2021-04-27 2021-04-27 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211565460.XA Division CN115914741B (zh) 2021-04-27 2021-04-27 基于动作分类的婴儿视频集锦抓取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113194359A CN113194359A (zh) 2021-07-30
CN113194359B true CN113194359B (zh) 2022-12-27

Family

ID=76979679

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110465180.0A Active CN113194359B (zh) 2021-04-27 2021-04-27 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质
CN202211565460.XA Active CN115914741B (zh) 2021-04-27 2021-04-27 基于动作分类的婴儿视频集锦抓取方法、装置及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211565460.XA Active CN115914741B (zh) 2021-04-27 2021-04-27 基于动作分类的婴儿视频集锦抓取方法、装置及设备

Country Status (1)

Country Link
CN (2) CN113194359B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412765B (zh) * 2022-08-31 2024-03-26 北京奇艺世纪科技有限公司 视频精彩片段确定方法、装置、电子设备及存储介质
CN116386671B (zh) * 2023-03-16 2024-05-07 宁波星巡智能科技有限公司 婴幼儿哭声类别识别方法、装置、设备及存储介质
CN118573948A (zh) * 2023-05-26 2024-08-30 武汉星巡智能科技有限公司 婴幼儿就餐行为智能识别方法、装置、设备及存储介质
CN116800976B (zh) * 2023-07-17 2024-03-12 武汉星巡智能科技有限公司 伴睡婴幼儿时音视频压缩和还原方法、装置及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013056311A1 (en) * 2011-10-20 2013-04-25 The University Of Sydney Keypoint based keyframe selection
CN106528884B (zh) * 2016-12-15 2019-01-11 腾讯科技（深圳）有限公司 一种信息展示图片生成方法及装置
CN107220597B (zh) * 2017-05-11 2020-07-24 北京化工大学 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法
CN107566907B (zh) * 2017-09-20 2019-08-30 Oppo广东移动通信有限公司 视频剪辑方法、装置、存储介质及终端
CN108900896A (zh) * 2018-05-29 2018-11-27 深圳天珑无线科技有限公司 视频剪辑方法及装置
CN111507137A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 动作理解方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115914741B (zh) 2024-10-18
CN115914741A (zh) 2023-04-04
CN113194359A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113194359B (zh) 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质
CN110795595B (zh) 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN112052797A (zh) 基于MaskRCNN的视频火灾识别方法及系统
CN109145803B (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN110991506B (zh) 一种车辆品牌识别方法、装置、设备及存储介质
CN103577838A (zh) 一种人脸识别方法和装置
CN113038272B (zh) 婴儿视频自动剪辑的方法、装置、设备及存储介质
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN110502962B (zh) 视频流中目标的检测方法、装置、设备和介质
CN112270237A (zh) 一种高炉煤气流状态识别方法、系统及存储介质
CN111860044A (zh) 人脸换脸方法、装置、设备及计算机存储介质
CN115862115B (zh) 基于视觉的婴幼儿呼吸检测区域定位方法、装置及设备
CN113378762A (zh) 坐姿智能监测方法、装置、设备及存储介质
CN114494321A (zh) 婴幼儿睡眠呼吸实时监测方法、装置、设备及存储介质
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN113269010A (zh) 一种人脸活体检测模型的训练方法和相关装置
CN112802027A (zh) 一种目标对象的分析方法、存储介质及电子装置
CN117690175A (zh) 婴幼儿脸部图像抓取及增强方法、装置、设备及存储介质
CN116761035B (zh) 基于母婴喂食行为识别的视频智能剪辑方法、装置及设备
CN116386671B (zh) 婴幼儿哭声类别识别方法、装置、设备及存储介质
CN112560557A (zh) 人数检测方法、人脸检测方法、装置及电子设备
CN116110129A (zh) 婴幼儿就餐质量智能评估方法、装置、设备及存储介质
CN114297428A (zh) 婴幼儿图像的分类电子相册优化方法、装置、设备及介质
CN110443244A (zh) 一种图形处理的方法以及相关装置
CN109359562A (zh) 目标识别方法、装置、目标识别设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant