CN114297428A - 婴幼儿图像的分类电子相册优化方法、装置、设备及介质 - Google Patents

Abstract

本发明属于视频剪辑技术领域，解决了采用通过自动生成的电子相册无法满足用户差异的审美需求，所导致用户粘性降低的技术问题，提供了一种婴幼儿图像的分类电子相册优化方法、装置、设备及介质。该方法包括:获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

Description

婴幼儿图像的分类电子相册优化方法、装置、设备及介质

技术领域

本发明涉及视频剪辑技术领域，尤其涉及婴幼儿图像的分类电子相册优化方法、装置、设备及介质。

背景技术

随着城市化进程不断深入，年轻父母因为没办法亲力亲为照顾婴幼儿，因此会由老人代为照顾婴幼儿，这导致年轻父母无法更好的关注到婴幼儿的成长，未解决这一问题，年轻父母选择采用AI设备进行婴幼儿辅助看护，为了更好的服务客户，在AI智能看护设备中，AI设备会按预设规则对录制的婴幼儿视频的各帧图像进行分类建立电子相册，从而建立婴幼儿的成长过程中的精彩瞬间，增加用户粘性和看护效果。

然而现有技术中，通过AI智能看护设备既有的分类规则自动生成的电子相册存在分类粗糙，不同用户的电子相册的婴幼儿动作图像无差异，不但不能满足用户之间的审美差异需求，甚至造成用户对电子相册的负面评价，导致用户对商品的兴趣度下降而失去用户粘性，不利于AI智能看护设备的推广。

发明内容

有鉴于此，本发明实施例提供了一种婴幼儿图像的分类电子相册优化方法、装置、设备及介质，用以解决采用通过自动生成的电子相册无法满足用户差异的审美需求，所导致用户粘性降低的技术问题。

本发明采用的技术方案是：

本发明提供了一种婴幼儿图像的分类电子相册优化方法，所述方法包括：

S1：获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

S2：根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

S3：利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

S4：根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

优选地，所述S1包括：

S11：获取图像筛选规则和待处理的基础视频；

S12：利用所述图像筛选规则对所述基础视频的各帧图像进行筛选，得到各所述目标图像；

S13：根据各所述目标图像的拍摄时序，生成所述目标视频。

优选地，所述S12包括：

S121：获取相邻图像之间的第一重合度阈值、至少间隔一帧图像的两帧图像之间的第二重合度阈值和相似度符合要求的连续图像数量阈值；

S122：根据所述第一重合度阈值和所述第二重合度阈值对所述基础视频进行分段，得到各基础视频段；

S123：将各所述基础视频段的图像总数量与所述连续图像阈值进行对比，输出各目标视频段，所述目标视频段为图像总数量大于等于所述连续图像数量阈值的所述基础视频段；

其中，各所述目标图像为各所述目标视频段的各帧图像。

优选地，所述S2包括：

S21：获取与所述操作信息对应的各所述电子相册中各图像在用户操作前与用户操作后对应的各特征向量之间的向量差值和所述预设分类规则；

S22：根据各所述向量差值对所述预设分类规则对应的各特征向量进行调整，得到与各所述电子相册对应的所述目标分类规则。

优选地，所述S3包括：

S31：获取各帧图像中婴幼儿面部成像的第一成像信息和婴幼儿嘴部成像的第二成像信息；

S32：根据各所述第一成像信息的图像占比和笑脸图像对应的所述目标分类规则，筛选出符合要求的笑脸基础图像组；

S33：根据所述第二成像信息的图像占比和图像圆度对所述笑脸基础图像组的各帧图像进行筛选，得到符合笑脸类别要求的所述目标图像组；

其中，所述笑脸类别至少包括以下之一：大笑、微笑和假笑，所述图像圆度为婴幼儿嘴部的成像形状的最大外接圆与最大内接圆的半径比。

优选地，所述S4包括：

S41：获取对各类图像的各图像进行评分的目标评分规则和图像评分阈值；

S42：利用各所述目标评分规则分别对各所述目标图像组和各所述电子相册的各图像进行评分，得到各图像的评分值；

S43：将各图像的所述评分值与所述图像评分阈值进行对比，得到各所述目标图像组和各所述电子相册中符合要求的各目标图像；

S44：根据与各所述目标图像组和各所述电子相册对应的各所述目标图像，生成各所述目标电子相册。

优选地，所述S41包括：

S411：获取图像处于第一状态的第一时长、图像处于第二状态的第二时长和图像处于第一状态对应的时长阈值，其中，所述第一状态为图像未被放大或缩小对应的展示状态，所述第二状态为图像处于放大或缩小对应的展示状态；

S412：根据所述第一时长和各图像被放大区域对应的所述第二时长，对图像的预设评分规则进行调整，得到所述目标评分规则；

其中，调整所述预设评分规则对应的所述第一时长小于等于所述时长阈值。

本发明还提供了一种婴幼儿图像的分类电子相册优化装置，包括：

数据获取模块：用于获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

数据处理模块：用于根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

图像分组模块：用于利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

相册生成模块：用于根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

本发明还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。

本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。

综上所述，本发明的有益效果如下：

本发明提供的一种婴幼儿图像的分类电子相册优化方法、装置、设备及介质，获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1为本发明实施例1中婴幼儿图像的分类电子相册优化方法的流程示意图；

图2为本发明实施例1中获取目标视频的流程示意图；

图3为本发明实施例1中图像分类规则优化的流程示意图；

图4为本发明实施例1中图像按类别分组的流程示意图；

图5为本发明实施例1中生成目标电子相册的流程示意图；

图6为本发明实施例2中婴幼儿图像的分类电子相册优化装置的结构示意图；

图7为本发明实施例3中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

实施例1

随着城市化进程，采用AI设备进行婴幼儿看护逐渐被年轻父母认可，为了更好的服务客户，在AI智能看护设备中，通过预设图像分类规则对抓拍的图像或录制的视频的各帧图像进行分类，得到不同类别的图像组来建立对应的电子相册以供用户观看，电子相册的类别包括不限于：笑、哭、闹、扮鬼脸、俏皮、惊讶等动作对应的相册；然而直接通过预设分类规则生成的电子相册常常存在图像分类错误或不符合用户个体差异，导致电子相册的效果不佳的问题，这将渐渐耗尽用户对商品的感兴趣程度，不利于AI智能看护的推广。

请参见图1，图1为本发明实施例1中婴幼儿图像的分类电子相册优化方法的流程示意图，所述方法包括：

S1：获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

具体的，在通过AI看护器(AI看护器为配置有能够识别婴幼儿各种活动状态程序的智能摄像头)进行婴幼儿24小时看护过程中，监控过程中产生的视频数据按预设时长进行循环录制，为了保存婴幼儿的精彩动作，常常通过预设抓拍规则进行抓拍或者对录制的视频数据中的各帧图像进行分析，从而筛选出符合要求的图像，然后将抓拍的图像和/或筛选的图像按动作类别进行分类，生成对应的电子相册共用户观看；例如抓拍规则或筛选规则为图像中婴幼儿的成像面积占整张图像的占比大于预设值时，进行抓拍或筛选出作为目标图像；然后对各目标图像按动作类别进行分类，包括不限于识别肢体动作或微表情；需要说明的是：预设抓拍规则或筛选规则包括不限于：检测人脸信息、婴幼儿图像的居中度和连续多张图像的重合度等，此处不做具体限定。第一操作信息包括不限于：用户对自动生成的电子相册的名称调整、根据各图像的名称调整、对电子相册内图像的删除、不同电子相册之间图像的调动(包括不限于将电子相册A的图像移动到电子相册B中，将基础视频中未被选入的图像添加至对应的电子相册中，利用调动的图像建立新的电子相册)等，第二操作信息包括不限于对图像进行裁剪、多张图像进行拼接、画面调节(亮度调节、饱和度调节、色调调节等)、图片增加修饰元素(如：动物形态、动漫形态、文字、挂饰、美图等)。

在一实施例中，请参见图2，所述S1包括：

S11：获取图像筛选规则和待处理的基础视频；

S12：利用所述图像筛选规则对所述基础视频的各帧图像进行筛选，得到各所述目标图像；

S13：根据各所述目标图像的拍摄时序，生成所述目标视频。

具体的，图像筛选规则用于对最新存储的基础视频的各帧图像进行筛选，得到符合要求的目标图像，图像筛选规则包括不限于相邻图像之间的重合度、重合度符合要求的连续图像的数量、图像文件大小、婴幼儿成像尺寸、婴幼儿图像的位置和婴幼儿成像的完整性等；例如：设置目标图像的文件大小大于等于512k，相邻两张图像的重合度大于80％，重合度大于50％对应的两帧图像之间的图像数量不少于5张，婴幼儿图像的图像区域占整张图像的比例大于1/2，婴幼儿的图像中需要包含婴幼儿的身体全部部位、或至少包含婴幼儿的腿部以上区域；利用这些图像筛选规则对基础视频的各帧图像进行筛选，得到符合要求的各帧图像组成目标图像。

在一实施例中，所述S12包括：

S121：获取相邻图像之间的第一重合度阈值、至少间隔一帧图像的两帧图像之间的第二重合度阈值和相似度符合要求的连续图像数量阈值；

S122：根据所述第一重合度阈值和所述第二重合度阈值对所述基础视频进行分段，得到各基础视频段；

S123：将各所述基础视频段的图像总数量与所述连续图像阈值进行对比，输出各目标视频段，所述目标视频段为图像总数量大于等于所述连续图像数量阈值的所述基础视频段；

其中，各所述目标图像为各所述目标视频段的各帧图像。

具体的，通过连续对比各帧图像之间的重合度，重合度对比包括相邻两帧图像的对比，以及重合度符合要求的连续各帧图像的首帧图像与当前帧图像的重合度，例如：视频帧率为20帧/秒，每个基础视频为30s，当第9帧图像与第10帧图像的重合度大于第一重合度阈值(符合重合度要求)，当第1帧图像与第10帧图像的重合度小于第二重合度阈值(不符合重合度要求)，第2帧图像至第9帧图像对应的第一重合度和第二重合度均符合要求，此时第1帧图像为上述的首帧图像，上述的当前帧图像依次为上述的第2帧图像至第10帧图像；因为第1帧图像与第10帧图像的重合度小于第二重合度阈值(不符合重合度要求)，所以第10帧图像将作为下一阶段的首帧图像。通过该方式把基础视频分为多个视频端，然后利用连续图像阈值对各基础视频段进行筛选，得到画面稳定的各视频段作为目标视频段，从而完成基础视频的各帧图像筛选，得到各目标图像，通过该方式可以将基础视频中画面变化过快所引起的图像存在虚影等质量不佳的图像删掉，减少后期图像分类的数据处理量。

S2：根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

具体的，获取婴幼儿各类动作的大量图像，各图像对应的动作类别进行标注组成模型训练的样本集，利用样本集中婴幼儿各类动作的图像对模型进行训练，得到与婴幼儿各类动作对应的预设分类规则，当将目标视频的各帧图像送入动作分类模型后，会根据各预设分类规则将各帧图像按类别进行输出，从而依据各动作类别来建立对应的电子相册，用户可以根据自己的个性差异对电子相册中的图像进行操作，根据用户的操作信息来优化图像的预设分类规则，从而使得图像的分类规则更符合不同用户的个性差异，例如：对于婴幼儿笑脸的电子相册中，用户对面部区域存在手部信息的图像全部筛选出来，建立新的电子相册；将面部尺寸过大的笑脸图像删除等，根据操作信息前后对应的图像信息来优化预设分类规则，利用优化后的目标分类规则在进行笑脸图像分类时，将排出上述特征对应的笑脸图像。

在一实施例中，请参见图3，所述S2包括：

S21：获取与所述操作信息对应的各所述电子相册中各图像在用户操作前与用户操作后对应的各特征向量之间的向量差值和所述预设分类规则；

具体的，利用多维特征向量来表针图像的特征信息，如：256维特征向量、512维特征向量等，获取电子相册中用户操作前后各图像的多维特征向量，并计算多维特征向量的向量差值，以及获取图像分类的预设分类规则，需要说明的是，预设分类规则对应的特征信息是与各类动作的特征信息是相对应的，即通过多维向量的向量值来确定图像所属类别。

S22：根据各所述向量差值对所述预设分类规则对应的各特征向量进行调整，得到与各所述电子相册对应的所述目标分类规则。

具体的，根据各向量差值对预设分类规则对应的特征向量的值进行调整，包括不限于利用调整后电子相册中的各帧图像各向量维度对应的各特征向量的平均值对预设分类规则对应的特征向量的向量值进行调节，例如：笑脸的电子相册中用户对图像A的亮度进行了调节，则对电子相册中剩余的所有图像(包括调节亮度后的图像A)表征亮度的特征向量求平均值，然后计算调整前表征亮度的特征向量与调整后表征亮度的特征向量的平均值的差值；以该差值去调整笑脸的预设分类规则中对应的亮度的特征向量的特征值，得到新的表征亮度的特征向量对应的笑脸分类规则的目标分类规则；通过该方式不断优化各动作类别的分类规则，建立符合不同用户需求的电子相册。

在一实施例中，所述S2包括：

第一步：获取所述第一操作信息对应的相册名称信息以及相册中各图像表征图像信息的特征向量；

具体的，相册名称信息包括新建电子相册的名称、对名称进行调整过的已有相册的原始名称和现有名称，特征向量包括图像调整前的特征向量和调整后的特征向量。

第二步，同时将各相册名称与各动作类别的名称进行对比，若存在与电子相册名称对应的动作类别，则用该相册中各图像的特征向量优化该动作类别的预设分类规则，得到该动作的目标分类规则；若不存在与相册名称匹配的已有动作类别，则利用该相册的各帧图像的特征向量建立与该相册名称对应的新的动作类别的预设分类规则；通过该方法可以不断优化动作分类结果，同时，由于婴幼儿成长较快，该优化方法可以适应个体差异进行分类。

S3：利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

具体的，利用目标分类规则对目标视频的各帧图像进行分类，得到与各电子相册类别对应的各组图像，记为第一图像组；以及不属于任何已存在的各电子相册对应的各组图像，记为第二图像组，第一图像组、第二图像组以及各电子相册中对应的各组图像记为各目标图像组，需要说明的是：第一图像组和与第一图像组的动作类别对应的电子相册中的各图像为同一目标图像组；利用目标分类规则会产生已有电子相册之外的图像组，从而实现电子相册的细分，以便实现用户的差异化定制电子相册，增加用户粘性。

在一实施例中，所述S3还包括：

第一步：获取各图像中目标对象的目标图像信息；

第二步：根据所述目标图像信息中目标的尺寸信息和背景图像信息中参照物的尺寸信息，和/或，所述目标图像信息中目标对象身上的图案信息，确定目标对象的年龄信息；

第三步：根据所述年龄信息对各帧图像进行筛选，得到所述目标图像组。具体的，在完成对各帧图像按动作类别进行分类后，再根据目标对象的成像尺寸与所在环境其他参照物的成像尺寸进行对比，参照物包括：沙发、婴儿床、车辆、桌子、电视等；和/或，根据目标对象身上的图案信息和背景图像信息中的图案信息来确定目标对象的年龄，若图案为卡通图案，则认定为婴幼儿，从而筛选出婴幼儿图像。

在一实施例中，请参见图4，所述S3包括：

S31：获取各帧图像中婴幼儿面部成像的第一成像信息和婴幼儿嘴部成像的第二成像信息；

S32：根据各所述第一成像信息的图像占比和笑脸图像对应的所述目标分类规则，筛选出符合要求的笑脸基础图像组；

S33：根据所述第二成像信息的图像占比和图像圆度对所述笑脸基础图像组的各帧图像进行筛选，得到符合笑脸类别要求的所述目标图像组；

其中，所述笑脸类别至少包括以下之一：大笑、微笑和假笑，所述图像圆度为婴幼儿嘴部的成像形状的最大外接圆与最大内接圆的半径比。

具体的，在建立笑脸的电子相册的过程中，首先，根据笑脸图像对应的目标分类规则对目标视频的各帧图像进行筛选，得到笑脸动作对应的笑脸基础图像组，然后获取笑脸基础图像组中各帧图像中婴幼儿面部成像的第一成像信息和婴幼儿嘴部成像的第二成像信息；其中，第一成像信息包括不限于面部图像大小占整个图像的比例、面部图像对应的几何形的点与点的距离、侧脸、正脸等，第二成像信息包括不限于嘴部图像大小占面部的比例、嘴部的几何形状、以及嘴部的圆度等，嘴部圆度可以用公式Q＝r/R，其中，r为嘴部几何形状的最大内接圆半径，R为嘴部的几何形状的最大外接圆半径，Q为圆度，当Q趋近于1时，此时笑脸为大笑笑脸，当Q趋近于0.5时，此时笑脸为微笑笑脸，可以设置对应的取值范围来区分微笑和大笑，同时，取值范围可以通过随用户对微笑和/或大笑的响应操作进行自动调整，如将微笑的图像放进大笑的电子相册；通过嘴部图像大小占面部的比例结合圆度对笑脸的笑脸挤出图像组的各帧图像进行筛选，得到笑脸动作的目标图像组。

S4：根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

在一实施例中，请参见图5，所述S4包括：

S41：获取对各类图像的各图像进行评分的目标评分规则和图像评分阈值；

在一实施例中，所述S41包括：

S411：获取图像处于第一状态的第一时长、图像处于第二状态的第二时长和图像处于第一状态对应的时长阈值，其中，所述第一状态为图像未被放大或缩小对应的展示状态，所述第二状态为图像处于放大或缩小对应的展示状态；

S412：根据所述第一时长和各图像被放大区域对应的所述第二时长，对图像的预设评分规则进行调整，得到所述目标评分规则；

其中，调整所述预设评分规则对应的所述第一时长小于等于所述时长阈值。

具体的，将用户观看图像的操作分为观看阶段和观看结束阶段，用户可以直接观看相册的图像，也可以对相册的图像进行局部放大后观看，将直接观看对应的图像状态记为第一状态，将图像放大进行观看的图像状态记为第二状态，用户观看时间越长，图像的评分越高，并且对第一状态设置第一评分权重，对第二状态设置第二评分权重，第一评分权重小于第二评分权重；根据用户观看的图像对应的特征调节预设评分规则，比如用户对笑脸电子相册中的图像A的婴幼儿眼部位置进行放大观看，则提取该眼部的特征信息，给与较高评分；用户对图像B未进行放大且第一时长极短，则提取图像B中的各部位特征信息，给与较低评分；需要说明的是：当第一时长大于阈值后，则认为用户已离开，此时没有继续观看该图像，即直接观看图像的有效时长小于等于时长阈值；通过该评分方式来筛选用户喜欢的目标图像，增加用户对电子相册的兴趣，有助于AI看护机的推广。

S42：利用各所述目标评分规则分别对各所述目标图像组和各所述电子相册的各图像进行评分，得到各图像的评分值；

S43：将各图像的所述评分值与所述图像评分阈值进行对比，得到各所述目标图像组和各所述电子相册中符合要求的各目标图像；

S44：根据与各所述目标图像组和各所述电子相册对应的各所述目标图像，生成各所述目标电子相册。

在一实施例中，所述S44包括：

S441：获取目标图像数量；

具体的，目标图像数量包括目标图像组与目标图像组的动作类别对应的电子相册中的所有图像。

S442：若所述目标图像数量大于第一数量阈值小于第二数量阈值，根据所述目标图像组和对应的所述电子相册的各所述目标图像生成过渡电子相册；

S443：若所述已有图像数量大于第二数量阈值，则根据各目标图像的排列顺序按预设间隔图像数量进行删除，生成过渡电子相册；

S443：根据所述过渡电子相册中各图像之间的相似度，优化所述过渡电子相册，得到所述目标电子相册。

具体的，对电子相册包含的图像数量设置第一数量阈值和第二数量阈值，当电子相册的图像数量位于第一数量阈值和第二数量阈值之间时，对相似度符合要求的图像进行删减，需要说明的是：在对相册中相似度符合要求的图像进行删减时，删减后的图像数量不小于第一数量阈值，因此，对图像的相似度设置多个相似度阈值，当需要删除较多图像时，相似度阈值较低，当需要删除的图像较少时，相似度阈值较高，优选设置动态相似度阈值，即随着需要删减的图像数量减少而提高相似度阈值要求；当图像数量大于第二数量阈值时，此时采用直接删除和根据相似度删除两种方式结合进行图像删除，直接删除的方式为：按预设间隔图像数量进行删除，如：相册已有图像为70张，第二数量阈值为50张，则需要删除至少20张图像，预设间隔图像数量为每间隔5张删1张，则删除后还剩余56张；在通过图像相似度删除至少6张图像；通过该方式来保证电子相册的图像数量处于一个合理范围内，用户无需花费过多时间观看相册，避免用户兴趣度随着观看时间过长而丧失，提高用户粘性。

需要说明的是：当图像数量小于第一数量阈值时，直接生成目标电子相册，无需进行相似度筛选，从而避免电子相册中图像数量太少，影响用户观看感受。

采用本实施例的婴幼儿图像的分类电子相册优化方法，获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

实施例2

本发明还提供了一种婴幼儿图像的分类电子相册优化装置，请参见图6，包括：

数据获取模块：用于获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

数据处理模块：用于根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

图像分组模块：用于利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

相册生成模块：用于根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

采用本实施例的婴幼儿图像的分类电子相册优化装置，获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

在一实施例中，所述数据获取模块包括：

视频获取单元：获取图像筛选规则和待处理的基础视频；

图像筛选单元：利用所述图像筛选规则对所述基础视频的各帧图像进行筛选，得到各所述目标图像；

视频生成单元：根据各所述目标图像的拍摄时序，生成所述目标视频。

在一实施例中，所述图像筛选单元包括：

图像筛选参数单元：获取相邻图像之间的第一重合度阈值、至少间隔一帧图像的两帧图像之间的第二重合度阈值和相似度符合要求的连续图像数量阈值；

视频分段单元：根据所述第一重合度阈值和所述第二重合度阈值对所述基础视频进行分段，得到各基础视频段；

目标视频单元：将各所述基础视频段的图像总数量与所述连续图像阈值进行对比，输出各目标视频段，所述目标视频段为图像总数量大于等于所述连续图像数量阈值的所述基础视频段；

其中，各所述目标图像为各所述目标视频段的各帧图像。

在一实施例中，所述数据处理模块包括：

操作参数获取单元：获取与所述操作信息对应的各所述电子相册中各图像在用户操作前与用户操作后对应的各特征向量之间的向量差值和所述预设分类规则；

分类规则优化单元：根据各所述向量差值对所述预设分类规则对应的各特征向量进行调整，得到与各所述电子相册对应的所述目标分类规则。

在一实施例中，所述图像分组模块包括：

婴儿成像信息单元：获取各帧图像中婴幼儿面部成像的第一成像信息和婴幼儿嘴部成像的第二成像信息；

笑脸筛选单元：根据各所述第一成像信息的图像占比和笑脸图像对应的所述目标分类规则，筛选出符合要求的笑脸基础图像组；

目标图像筛选单元：根据所述第二成像信息的图像占比和图像圆度对所述笑脸基础图像组的各帧图像进行筛选，得到符合笑脸类别要求的所述目标图像组；

其中，所述笑脸类别至少包括以下之一：大笑、微笑和假笑，所述图像圆度为婴幼儿嘴部的成像形状的最大外接圆与最大内接圆的半径比。

在一实施例中，所述相册生成模块包括：

评分参数获取单元：获取对各类图像的各图像进行评分的目标评分规则和图像评分阈值；

图像评分值单元：利用各所述目标评分规则分别对各所述目标图像组和各所述电子相册的各图像进行评分，得到各图像的评分值；

目标图像生成单元：将各图像的所述评分值与所述图像评分阈值进行对比，得到各所述目标图像组和各所述电子相册中符合要求的各目标图像；

电子相册生成单元：根据与各所述目标图像组和各所述电子相册对应的各所述目标图像，生成各所述目标电子相册。

在一实施例中，所述评分参数获取单元包括：

观看时长单元：获取图像处于第一状态的第一时长、图像处于第二状态的第二时长和图像处于第一状态对应的时长阈值，其中，所述第一状态为图像未被放大或缩小对应的展示状态，所述第二状态为图像处于放大或缩小对应的展示状态；

评分规则优化单元：根据所述第一时长和各图像被放大区域对应的所述第二时长，对图像的预设评分规则进行调整，得到所述目标评分规则；

其中，调整所述预设评分规则对应的所述第一时长小于等于所述时长阈值。

采用本实施例的婴幼儿图像的分类电子相册优化装置，获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

实施例3

本发明提供了一种电子设备和介质，请参见图7，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路，电子设备至少包括以下之一：摄像头、具有摄像头的移动设备、具有摄像头的穿戴设备。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种婴幼儿图像的分类电子相册优化方法。

在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

综上所述，本发明实施例提供了一种婴幼儿图像的分类电子相册优化方法、装置、设备及介质，获取用户对各动作类别的电子相册的操作信息，以该操作信息去优化在先的预设分类规则，从而得到与用户审美观念更接近的目标分类规则；以优化后的目标分类规则对新存储的带分类的目标视频的各帧图像进行分组；得到新的各类动作的目标图像组，通过该方式既能提高已有的电子相册中用户对各帧图像的兴趣度，又能细化出更多的动作类别对应的电子相册，从而得到用户对电子相册的认可，提高用户对产品的粘性。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种婴幼儿图像的分类电子相册优化方法，其特征在于，所述方法包括：

S1：获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

S2：根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

S3：利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

S4：根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

2.根据权利要求1所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S1包括：

S11：获取图像筛选规则和待处理的基础视频；

S12：利用所述图像筛选规则对所述基础视频的各帧图像进行筛选，得到各所述目标图像；

S13：根据各所述目标图像的拍摄时序，生成所述目标视频。

3.根据权利要求2所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S12包括：

S121：获取相邻图像之间的第一重合度阈值、至少间隔一帧图像的两帧图像之间的第二重合度阈值和相似度符合要求的连续图像数量阈值；

S122：根据所述第一重合度阈值和所述第二重合度阈值对所述基础视频进行分段，得到各基础视频段；

S123：将各所述基础视频段的图像总数量与所述连续图像阈值进行对比，输出各目标视频段，所述目标视频段为图像总数量大于等于所述连续图像数量阈值的所述基础视频段；

其中，各所述目标图像为各所述目标视频段的各帧图像。

4.根据权利要求1所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S2包括：

S21：获取与所述操作信息对应的各所述电子相册中各图像在用户操作前与用户操作后对应的各特征向量之间的向量差值和所述预设分类规则；

S22：根据各所述向量差值对所述预设分类规则对应的各特征向量进行调整，得到与各所述电子相册对应的所述目标分类规则。

5.根据权利要求1至4任一项所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S3包括：

S31：获取各帧图像中婴幼儿面部成像的第一成像信息和婴幼儿嘴部成像的第二成像信息；

S32：根据各所述第一成像信息的图像占比和笑脸图像对应的所述目标分类规则，筛选出符合要求的笑脸基础图像组；

S33：根据所述第二成像信息的图像占比和图像圆度对所述笑脸基础图像组的各帧图像进行筛选，得到符合笑脸类别要求的所述目标图像组；

其中，所述笑脸类别至少包括以下之一：大笑、微笑和假笑，所述图像圆度为婴幼儿嘴部的成像形状的最大外接圆与最大内接圆的半径比。

6.根据权利要求5所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S4包括：

S41：获取对各类图像的各图像进行评分的目标评分规则和图像评分阈值；

S42：利用各所述目标评分规则分别对各所述目标图像组和各所述电子相册的各图像进行评分，得到各图像的评分值；

S43：将各图像的所述评分值与所述图像评分阈值进行对比，得到各所述目标图像组和各所述电子相册中符合要求的各目标图像；

S44：根据与各所述目标图像组和各所述电子相册对应的各所述目标图像，生成各所述目标电子相册。

7.根据权利要求6所述的婴幼儿图像的分类电子相册优化方法，其特征在于，所述S41包括：

S411：获取图像处于第一状态的第一时长、图像处于第二状态的第二时长和图像处于第一状态对应的时长阈值，其中，所述第一状态为图像未被放大或缩小对应的展示状态，所述第二状态为图像处于放大或缩小对应的展示状态；

S412：根据所述第一时长和各图像被放大区域对应的所述第二时长，对图像的预设评分规则进行调整，得到所述目标评分规则；

其中，调整所述预设评分规则对应的所述第一时长小于等于所述时长阈值。

8.一种婴幼儿图像的分类电子相册优化装置，其特征在于，包括：

数据获取模块：用于获取待处理的目标视频和用户对自动生成的各类图像分别对应的各电子相册的操作信息，所述操作信息包括对相册本身的第一操作信息和对相册内各图像的第二操作信息；

数据处理模块：用于根据各所述电子相册对应的所述操作信息优化图像的预设分类规则，得到目标分类规则；

图像分组模块：用于利用所述目标分类规则对所述目标视频的各帧图像进行分类，得到与各图像类别一一对应的目标图像组；

相册生成模块：用于根据各所述目标图像组和各所述电子相册及其各所述电子相册中已有的图像，生成与各所述目标图像组对应的各目标电子相册。

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images