CN116489475B - 基于趣味表情的视频剪辑方法、装置、设备及存储介质 - Google Patents
基于趣味表情的视频剪辑方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116489475B CN116489475B CN202310522727.5A CN202310522727A CN116489475B CN 116489475 B CN116489475 B CN 116489475B CN 202310522727 A CN202310522727 A CN 202310522727A CN 116489475 B CN116489475 B CN 116489475B
- Authority
- CN
- China
- Prior art keywords
- video
- scoring
- image
- interesting expression
- interesting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000013077 scoring method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
Abstract
本发明公开了一种基于趣味表情的视频剪辑方法、装置、设备及存储介质，涉及图像处理技术领域，所述方法包括：根据生成目标视频的图像要求或用户喜好设置趣味表情图像；当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值；当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并通过趣味表情图像笑的程度和图像质量形成的评分规则，将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。
Description
本申请是2019年12月31日提交、发明名称为“基于表情的视频生成方法、装置、设备及存储介质”申请号为2019114170937的发明专利申请的分案申请。
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于趣味表情的视频剪辑方法、装置、设备及存储介质。
背景技术
生活中经常会有一些精彩的瞬间或者值得回忆的美好时刻需要保留。例如婴幼儿在成长的过程会不断进步，也会给父母带来很多欢乐的时刻。父母都喜欢用摄像机或数码相机抓怕婴幼儿的趣味相片，以记录婴幼儿美好的瞬间，但由于工作繁忙和其他原因的影响，父母并不能时刻陪伴儿童，也不能抓拍到婴幼儿的每一个趣味表情。因此急需一种能够自动识别趣味表情，并自动抓拍精彩或者美好瞬间的方法。
发明内容
本发明的主要目的在于提出一种基于趣味表情的视频剪辑方法、装置、设备及存储介质，旨在解决现有技术中无法自动抓拍精彩瞬间视频的技术问题。
为实现上述目的，本发明一方面提供一种基于趣味表情的视频剪辑方法，所述方法包括：
根据生成目标视频的图像要求或用户喜好设置趣味表情图像；
当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值；
当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
优选地，所述趣味表情图像至少包括以下之一：指定人群的指定表情图像和用户点击选取的图像。
优选地，所述依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值包括：
根据所述笑脸图像笑的程度的组成因子得到第一评分项；
根据所述笑脸图像图像质量的组成因子得到第二评分项；
根据所述第一评分项与第二评分项的权重之和得到所述趣味表情图像评分值。
优选地，所述笑的程度的组成因子包括微笑、轻笑和大笑，所述图像质量的组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度。
优选地，在所述当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值之前还包括：
分配存储所述待合成视频的临时存储空间；
在预设时间段内存储所述待合成视频；
实时检测所述待合成视频是否包含趣味表情图像。
优选地，当所述趣味表情图像为婴儿笑脸图像，所述实时检测所述待合成视频是否包含趣味表情图像包括：
检测婴儿人脸图像；
当检测到婴儿人脸图像时，通过人脸识别技术确定出嘴巴轮廓；
计算上下嘴唇最外周长度，当最外周长度大于预设值时，则认为检测出笑脸图像。
优选地，所述方法还包括：
当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。
本发明另一方面还提供一种基于趣味表情的视频剪辑装置，所述装置包括：
趣味表情设置模块，用于根据生成目标视频的图像要求或用户喜好设置趣味表情图像；
评分模块，用于当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值；
视频合成模块，用于当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
本发明另一方面还提供一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明另一方面还提供一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
本发明提供的基于趣味表情的视频剪辑方法、装置、设备及存储介质，根据生成目标视频的图像要求或用户喜好设置趣味表情图像；当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值；当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并依据趣味表情图像笑的程度和图像质量形成的评分规则，将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。
附图说明
图1为本发明实施例一提供的一种基于趣味表情的视频剪辑方法流程图；
图2为本发明实施例二提供的一种基于趣味表情的视频剪辑方法流程图；
图3为本发明实施例三提供的一种基于趣味表情的视频剪辑方法流程图；
图4为本发明实施例四提供的一种基于趣味表情的视频剪辑装置的结构示意图；
图5为本发明实施例四提供的一种基于趣味表情的视频剪辑设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
实施例一
本发明实施例一提供一种基于趣味表情的视频剪辑方法，如图1所示，所述方法包括：
S1、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；
其中，预设时间段可以是系统默认时间段，如20分钟，也可以是用户根据需要预先设置的时间段。以20分钟为例，在拍摄视频过程中，本步骤可以临时存储已拍摄的20分钟以内的待合成视频，并通过人脸检测器自动检测待合成视频中的各个帧图像是否包含趣味表情图像。
其中，趣味表情图像可以根据生成目标视频的图像要求或者用户喜好设置。优选的，所述趣味表情图像包括：指定人群的笑脸表情图像。例如，在一种实施方式中，用户想生成包含婴儿笑脸图像的目标视频，以记录婴儿微笑的美好瞬间，则所述趣味表情图像为婴儿笑脸图像；在另一种实施方式中，用户想生成包含老人笑脸的目标视频，以记录老人高兴的瞬间，则所述趣味表情图像为老人笑脸图像。此外，趣味表情图像还可以是指定人群的指定表情图像，例如，在另一种实施方式中，用户想生成包含学生学习图像的目标视频，以记录学生学习的过程，则所述趣味表情图像为学生学习图像；在另一种实施方式中，趣味表情图像可以是根据用户喜好设置的图像，例如在预设趣味表情图像库中，将用户点击选取的图像设为趣味表情图像。
S2、当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
其中，预设值可以根据系统设置，如预设值可以是60，或者70。
本实施例中，第一时间段可以根据用户设置，例如用户设置第一时间段为7分钟，则将待合成视频与检测到趣味表情图像之后7分钟以内的视频合并生成目标视频。
本发明提供的基于趣味表情的视频剪辑方法，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。
实施例二
本发明实施例二提供一种基于趣味表情的视频剪辑方法，如图2所示，该方法包括：
S201、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；
S202、当检测到所述待合成视频包含趣味表情图像时，根据预设评分规则对所述趣味表情图像评分得到评分值，判断所述评分值是否大于预设值；
在一种具体实施方式中，所述趣味表情图像是指定人群的笑脸图像，所述预设评分规则是所述笑脸图像笑的程度和图像质量形成的评分规则。趣味表情图像评分值是根据笑的程度的组成因子得到第一评分项与根据图像质量的组成因子得到第二评分项的权重之和。所述笑的程度组成因子包括微笑、轻笑和大笑，所述图像质量组成因子包括笑脸的方向(即正面笑脸或者侧面笑脸)、笑脸是否被遮挡、环境光线强度和图像清晰度。
具体的，所述根据预设评分规则对所述趣味表情图像评分得到评分值包括：
S21、根据所述笑脸图像笑的程度的组成因子得到第一评分项；
示例性的，一副婴儿笑脸图像笑的程度为微笑，在预设评分规则中，微笑为80分，则第一评分项为80。
S22、根据所述笑脸图像图像质量的组成因子得到第二评分项；
示例性的，一副婴儿笑脸图像笑脸方向为正面笑脸，笑脸未被遮挡，环境光线强度适中，图像清晰；在预设评分规则中，正面笑脸为25分，笑脸未被遮挡为25分，环境光线强度适中为20分，图像清晰为20分，则第二评分项为90。
S23、根据所述第一评分项和所述第二评分项得到所述趣味表情图像评分值。
其中，趣味表情图像评分值是根据笑的程度的组成因子得到第一评分项与根据图像质量的组成因子得到第二评分项的权重之和。例如，第一评分项为80，其对应权重为40％，第二评分项为90，其对应权重为60％，则趣味表情图像评分值为86。
在另一具体实施方式中，所述预设评分规则包括评分项和所述评分项对应的权重，所述趣味表情图像评分值是各个评分项对应权重之和。例如，趣味表情图像为婴儿笑脸图像，则评分项包括笑的程度评分项a1、笑脸的方向评分项a2、笑脸是否被遮挡评分项a3、环境光线强度评分项a4和图像清晰度评分项a5。趣味表情图像评分值A为：a1×r1+a2×r2+a3×r3+a4×r4+a5×r5。
S203、当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
其中，预设值可以根据系统设置，如预设值可以是60，或者70。
本实施例中，第一时间段可以根据用户设置，例如用户设置第一时间段为7分钟，则将待合成视频与检测到趣味表情图像之后7分钟以内的视频合并生成目标视频。
本发明提供的基于趣味表情的视频剪辑方法，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像且根据预设评分规则对所述趣味表情图像评分得到的评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。
实施例三
本发明实施例三提供一种基于趣味表情的视频剪辑方法，如图3所示，所述方法包括：
S301、分配存储待合成视频的临时存储空间。
所述临时存储空间大小可以根据预设时间段内拍摄待合成视频的存储空间大于设置。
S302、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；
示例性的，所述趣味表情图像为婴儿笑脸图像，所述检测所述待合成视频是否包含趣味表情图像包括：
S11、检测婴儿人脸图像；
具体的，本步骤可以通过人脸检测器自动检测视频流中的图像；判断当前帧图像是否存在婴儿人脸。
S12、当检测到婴儿人脸图像时，判断所述婴儿人脸图像是否为笑脸图像。
对于笑脸图像的检测，现有技术有着较为成熟的笑脸检测算法；除此之外，可以用最基本的嘴巴周长检测法，即通过人脸识别技术确定出嘴巴轮廓，然后计算上下嘴唇最外周长度，最外周长度大于经验值的即认为笑脸图像。
S303、当检测到所述待合成视频包含趣味表情图像时，根据预设评分规则对所述趣味表情图像评分得到评分值，判断所述评分值是否大于预设值；
S304、当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
S305、当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。
本步骤中，新存储的待合成视频数据自动覆盖之前存储的待合成视频内容；重复步骤S302～S305，直至生成目标视频为止。
S306、将所述目标视频发送给指定终端；根据所述指定终端的反馈信息删除或者保存所述目标视频。
其中，指定终端可以是对目标视频感兴趣的用户终端设备，例如，对于婴儿笑脸视频，指定终端可以是婴儿父母的手机。
所述反馈信息包括删除或者保存所述目标视频。
本发明实施例提供的基于趣味表情的视频剪辑方法，对视频进行一定时长的预存储和特征实时检测，当为检测到趣味表情图像，或者趣味表情图像评分值小于预设值时，新产生的视频数据自动覆盖预存储的视频内容；当检测到趣味表情图像且趣味表情图像评分值大于预设值时，将待合成视频和趣味表情图像后第一时间段内的视频进行合并，作为独立的小视频进行存储并发送给指定终端。这样，既能及时保存包含趣味图像的视频数据，又可以节省存储空间，提升了用户体验。
基于上述各方法实施例，提出以下装置实施例。
实施例四
本发明实施例四提供一种基于趣味表情的视频剪辑装置3，如图4所示，该基于趣味表情的视频剪辑装置3包括：
临时存储模块30，用于存储待合成视频。
检测模块31，用于在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；
合成模块32，用于当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
更新存储模块33，用于当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。
反馈模块34，用于将所述目标视频发送给指定终端；根据所述指定终端的反馈信息删除或者保存所述目标视频。
在一种具体实施方式中，所述合成模块32包括：
评分模块，用于根据预设评分规则对所述趣味表情图像评分得到评分值；
子合成模块，用于当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。
进一步的，所述预设评分规则是所述趣味表情图像笑的程度和图像质量形成的评分规则；所述评分模块包括：
第一评分模块，用于根据所述趣味表情图像笑的程度的组成因子得到第一评分项；
第二评分模块，用于根据所述趣味表情图像图像质量的组成因子得到第二评分项；
总评分模块，用于根据所述第一评分项和所述第二评分项得到所述趣味表情图像评分值。
其中，所述笑的程度组成因子包括微笑、轻笑和大笑，所述图像质量组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度。
优选地，本发明还公开了一种基于趣味表情的视频剪辑设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现本实施例所述的方法。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的基于趣味表情的视频剪辑方法。
在一个示例中，基于趣味表情的视频剪辑设备还可包括通信接口403和总线410。其中，如图5所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将基于趣味表情的视频剪辑设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的基于趣味表情的视频剪辑方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于趣味表情的视频剪辑方法。
本发明提供的基于趣味表情的视频剪辑方法、装置、设备及存储介质，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (4)
1.一种基于趣味表情的视频剪辑方法，其特征在于，所述方法包括：
根据生成目标视频的图像要求或用户喜好设置趣味表情图像；
当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值，其具体包括：
根据所述趣味表情笑的程度的组成因子得到第一评分项；
根据所述趣味表情图像质量的组成因子得到第二评分项；
对第一评分项和对应权重的乘积与第二评分项和对应权重的乘积进行求和，得到所述趣味表情图像评分值；
其中，所述笑的程度的组成因子包括微笑、轻笑和大笑，所述图像质量的组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度；
当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频；
其中，在所述当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值之前还包括：
分配存储所述待合成视频的临时存储空间；
在预设时间段内存储所述待合成视频；
实时检测所述待合成视频是否包含趣味表情图像；
其中，所述方法还包括：
当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频；
所述趣味表情图像至少包括以下之一：指定人群的指定表情图像和用户点击选取的图像；
当所述趣味表情图像为婴儿笑脸图像，所述实时检测所述待合成视频是否包含趣味表情图像包括：
检测婴儿人脸图像；
当检测到婴儿人脸图像时，通过人脸识别技术确定出嘴巴轮廓；
计算上下嘴唇最外周长度，当最外周长度大于预设值时，则认为检测出笑脸图像；
若趣味表情图像为婴儿笑脸图像，则评分项包括笑的程度评分项a1、笑脸的方向评分项a2、笑脸是否被遮挡评分项a3、环境光线强度评分项a4和图像清晰度评分项a5，趣味表情图像评分值A为：a1×r1+a2×r2+a3×r3+a4×r4+a5×r5，r1~r5分别为各评分项的权重值。
2.一种基于趣味表情的视频剪辑装置，其特征在于，所述装置包括：
趣味表情设置模块，用于根据生成目标视频的图像要求或用户喜好设置趣味表情图像；
评分模块，用于当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值，所述评分模块包括：
第一评分模块，用于根据所述趣味表情笑的程度的组成因子得到第一评分项；
第二评分模块，用于根据所述趣味表情图像质量的组成因子得到第二评分项；
总评分模块，用于对第一评分项和对应权重的乘积与第二评分项和对应权重的乘积进行求和，得到所述趣味表情图像评分值；
其中，所述笑的程度的组成因子包括微笑、轻笑和大笑，所述图像质量的组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度；
视频合成模块，用于当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频；
其中，在所述当检测到待合成视频包含所述趣味表情图像时，依据趣味表情图像笑的程度和图像质量形成的评分规则，对所述趣味表情图像评分，得到评分值之前还包括：
分配存储所述待合成视频的临时存储空间；
在预设时间段内存储所述待合成视频；
实时检测所述待合成视频是否包含趣味表情图像；
其中，所述装置还包括：
更新存储模块，用于当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频；
所述趣味表情图像至少包括以下之一：指定人群的指定表情图像和用户点击选取的图像；
当所述趣味表情图像为婴儿笑脸图像，所述实时检测所述待合成视频是否包含趣味表情图像包括：
检测婴儿人脸图像；
当检测到婴儿人脸图像时，通过人脸识别技术确定出嘴巴轮廓；
计算上下嘴唇最外周长度，当最外周长度大于预设值时，则认为检测出笑脸图像；
若趣味表情图像为婴儿笑脸图像，则评分项包括笑的程度评分项a1、笑脸的方向评分项a2、笑脸是否被遮挡评分项a3、环境光线强度评分项a4和图像清晰度评分项a5，趣味表情图像评分值A为：a1×r1+a2×r2+a3×r3+a4×r4+a5×r5，r1~r5分别为各评分项的权重值。
3.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1所述的方法。
4.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310522727.5A CN116489475B (zh) | 2019-12-31 | 2019-12-31 | 基于趣味表情的视频剪辑方法、装置、设备及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417093.7A CN111199210B (zh) | 2019-12-31 | 2019-12-31 | 基于表情的视频生成方法、装置、设备及存储介质 |
| CN202310522727.5A CN116489475B (zh) | 2019-12-31 | 2019-12-31 | 基于趣味表情的视频剪辑方法、装置、设备及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911417093.7A Division CN111199210B (zh) | 2019-12-31 | 2019-12-31 | 基于表情的视频生成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116489475A CN116489475A (zh) | 2023-07-25 |
| CN116489475B true CN116489475B (zh) | 2024-06-11 |
Family
ID=70746221
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310522727.5A Active CN116489475B (zh) | 2019-12-31 | 2019-12-31 | 基于趣味表情的视频剪辑方法、装置、设备及存储介质 |
| CN201911417093.7A Active CN111199210B (zh) | 2019-12-31 | 2019-12-31 | 基于表情的视频生成方法、装置、设备及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911417093.7A Active CN111199210B (zh) | 2019-12-31 | 2019-12-31 | 基于表情的视频生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116489475B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010198110A (ja) * | 2009-02-23 | 2010-09-09 | Nikon Corp | 画像処理装置及び電子スチルカメラ |
| CN105335691A (zh) * | 2014-08-14 | 2016-02-17 | 南京普爱射线影像设备有限公司 | 笑脸识别鼓励系统 |
| CN106503614A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种照片获取方法及装置 |
| CN106600530A (zh) * | 2016-11-29 | 2017-04-26 | 北京小米移动软件有限公司 | 照片合成方法及装置 |
| WO2018149175A1 (zh) * | 2017-02-20 | 2018-08-23 | 北京金山安全软件有限公司 | 视频录制方法、装置和电子设备 |
| CN108632668A (zh) * | 2018-05-04 | 2018-10-09 | 百度在线网络技术（北京）有限公司 | 视频处理方法及装置 |
| CN109068109A (zh) * | 2018-09-29 | 2018-12-21 | 深圳技威时代科技有限公司 | 一种实时掌握小孩情绪的方法及系统 |
| CN109155136A (zh) * | 2016-04-01 | 2019-01-04 | 奥誓公司 | 从视频自动检测和渲染精彩场面的计算机化系统和方法 |
| US10237615B1 (en) * | 2018-02-15 | 2019-03-19 | Teatime Games, Inc. | Generating highlight videos in an online game from user expressions |
| CN109640017A (zh) * | 2018-11-30 | 2019-04-16 | 江西江铃集团新能源汽车有限公司 | 视频处理方法、系统、可读存储介质及行车记录仪 |
| CN109889920A (zh) * | 2019-04-16 | 2019-06-14 | 威比网络科技(上海)有限公司 | 网络课程视频剪辑方法、系统、设备及存储介质 |
| CN109951664A (zh) * | 2019-03-31 | 2019-06-28 | 联想(北京)有限公司 | 录制方法及装置 |
| CN109982109A (zh) * | 2019-04-03 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 短视频的生成方法及装置、服务器和存储介质 |
| CN110113659A (zh) * | 2019-04-19 | 2019-08-09 | 北京大米科技有限公司 | 生成视频的方法、装置、电子设备及介质 |
| CN110121103A (zh) * | 2019-05-06 | 2019-08-13 | 郭凌含 | 视频自动剪辑合成的方法及装置 |
| CN110418148A (zh) * | 2019-07-10 | 2019-11-05 | 咪咕文化科技有限公司 | 视频生成方法、视频生成设备及可读存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011265090A1 (en) * | 2010-06-07 | 2012-11-29 | Affectiva,Inc. | Mental state analysis using web services |
| US9998722B2 (en) * | 2012-03-13 | 2018-06-12 | Tapshot, Inc. | System and method for guided video creation |
| CN103873914A (zh) * | 2014-02-27 | 2014-06-18 | 深圳市九洲电器有限公司 | 一种观众生活图像拍摄方法、装置及多媒体设备 |
| JP6428066B2 (ja) * | 2014-09-05 | 2018-11-28 | オムロン株式会社 | 採点装置及び採点方法 |
| CN104834898B (zh) * | 2015-04-09 | 2018-05-15 | 华南理工大学 | 一种人物摄影图像的质量分类方法 |
| CN106780296A (zh) * | 2016-11-29 | 2017-05-31 | 北京小米移动软件有限公司 | 照片合成方法及装置 |
| US10475222B2 (en) * | 2017-09-05 | 2019-11-12 | Adobe Inc. | Automatic creation of a group shot image from a short video clip using intelligent select and merge |
| CN109858410A (zh) * | 2019-01-18 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于表情分析的服务评价方法、装置、设备及存储介质 |
| CN110399848A (zh) * | 2019-07-30 | 2019-11-01 | 北京字节跳动网络技术有限公司 | 视频封面生成方法、装置及电子设备 |
-
2019
- 2019-12-31 CN CN202310522727.5A patent/CN116489475B/zh active Active
- 2019-12-31 CN CN201911417093.7A patent/CN111199210B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010198110A (ja) * | 2009-02-23 | 2010-09-09 | Nikon Corp | 画像処理装置及び電子スチルカメラ |
| CN105335691A (zh) * | 2014-08-14 | 2016-02-17 | 南京普爱射线影像设备有限公司 | 笑脸识别鼓励系统 |
| CN109155136A (zh) * | 2016-04-01 | 2019-01-04 | 奥誓公司 | 从视频自动检测和渲染精彩场面的计算机化系统和方法 |
| CN106503614A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种照片获取方法及装置 |
| CN106600530A (zh) * | 2016-11-29 | 2017-04-26 | 北京小米移动软件有限公司 | 照片合成方法及装置 |
| WO2018149175A1 (zh) * | 2017-02-20 | 2018-08-23 | 北京金山安全软件有限公司 | 视频录制方法、装置和电子设备 |
| US10237615B1 (en) * | 2018-02-15 | 2019-03-19 | Teatime Games, Inc. | Generating highlight videos in an online game from user expressions |
| CN108632668A (zh) * | 2018-05-04 | 2018-10-09 | 百度在线网络技术（北京）有限公司 | 视频处理方法及装置 |
| CN109068109A (zh) * | 2018-09-29 | 2018-12-21 | 深圳技威时代科技有限公司 | 一种实时掌握小孩情绪的方法及系统 |
| CN109640017A (zh) * | 2018-11-30 | 2019-04-16 | 江西江铃集团新能源汽车有限公司 | 视频处理方法、系统、可读存储介质及行车记录仪 |
| CN109951664A (zh) * | 2019-03-31 | 2019-06-28 | 联想(北京)有限公司 | 录制方法及装置 |
| CN109982109A (zh) * | 2019-04-03 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 短视频的生成方法及装置、服务器和存储介质 |
| CN109889920A (zh) * | 2019-04-16 | 2019-06-14 | 威比网络科技(上海)有限公司 | 网络课程视频剪辑方法、系统、设备及存储介质 |
| CN110113659A (zh) * | 2019-04-19 | 2019-08-09 | 北京大米科技有限公司 | 生成视频的方法、装置、电子设备及介质 |
| CN110121103A (zh) * | 2019-05-06 | 2019-08-13 | 郭凌含 | 视频自动剪辑合成的方法及装置 |
| CN110418148A (zh) * | 2019-07-10 | 2019-11-05 | 咪咕文化科技有限公司 | 视频生成方法、视频生成设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116489475A (zh) | 2023-07-25 |
| CN111199210A (zh) | 2020-05-26 |
| CN111199210B (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705405B (zh) | 目标标注的方法及装置 | |
| AU2009243442B2 (en) | Detection of abnormal behaviour in video objects | |
| CN110659397B (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
| CN108337153B (zh) | 一种邮件的监控方法、系统与装置 | |
| CN109409238B (zh) | 一种障碍物检测方法、装置及终端设备 | |
| CN105635569B (zh) | 拍摄方法、装置以及终端 | |
| SG135971A1 (en) | Communication apparatus and method | |
| CN110889379B (zh) | 表情包生成方法、装置及终端设备 | |
| CN111523384A (zh) | 一种基于视觉的会议防偷拍方法、装置、存储介质及终端 | |
| CN105718861A (zh) | 一种识别视频流数据类别的方法及装置 | |
| CN112348686B (zh) | 理赔图片的采集方法、装置及通讯设备 | |
| CN113194359B (zh) | 自动抓取婴儿精彩视频集锦的方法、装置、设备及介质 | |
| CN111279684A (zh) | 拍摄控制方法及电子装置 | |
| CN111476124A (zh) | 摄像头检测方法、装置、电子设备及系统 | |
| CN111432114A (zh) | 基于拍摄构图评分方法、装置、设备及存储介质 | |
| CN116489475B (zh) | 基于趣味表情的视频剪辑方法、装置、设备及存储介质 | |
| WO2020168515A1 (zh) | 一种图像处理方法、装置、图像拍摄和处理系统及载体 | |
| CN110414625B (zh) | 确定相似数据的方法、装置、电子设备及存储介质 | |
| CN114297428A (zh) | 婴幼儿图像的分类电子相册优化方法、装置、设备及介质 | |
| CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
| CN112347810A (zh) | 移动目标物体的检测方法、装置及存储介质 | |
| CN112714299B (zh) | 一种图像展示方法及装置 | |
| CN113298122A (zh) | 目标检测方法、装置和电子设备 | |
| CN112269675A (zh) | 数据备份方法、装置和终端设备 | |
| US11798284B2 (en) | System and method for rough handling recognition in a distribution center via a robust visual solution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |