CN117688196A - 图像推荐方法、相关装置 - Google Patents
图像推荐方法、相关装置 Download PDFInfo
- Publication number
- CN117688196A CN117688196A CN202310558291.5A CN202310558291A CN117688196A CN 117688196 A CN117688196 A CN 117688196A CN 202310558291 A CN202310558291 A CN 202310558291A CN 117688196 A CN117688196 A CN 117688196A
- Authority
- CN
- China
- Prior art keywords
- image
- score
- preview
- electronic device
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000009471 action Effects 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 20
- 241001465754 Metazoa Species 0.000 claims description 18
- 210000000887 face Anatomy 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000007704 transition Effects 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 18
- 239000010410 layer Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000003796 beauty Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 238000013475 authorization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请公开了图像推荐方法、相关装置。电子设备可以确定多个图像的主题、分数和重复性,然后根据上述几个因子,从该多个图像中为用户推荐图像,从而让用户能够关注到这部分推荐的图像。
Description
技术领域
本申请涉及终端领域以及图像分析领域,尤其涉及图像推荐方法、相关装置。
背景技术
智能设备如手机上搭载了拍照功能,用户可使用拍照功能拍摄想要的图像,如照片、动态照片、视频等。用户拍摄了大量照片、视频后,很难从中精准地找到自己想要的照片或视频。因而,一些智能设备提供推荐图像的方案,可以为用户推荐一些图像以供用户查看,这样可以节约用户时间,方便快捷。为提升用户体验,智能设备如何推荐图像,是当前及未来研究的方向。
发明内容
本申请提供了图像推荐方法、相关装置,可以为用户推荐图像。
第一方面,提供一种图像推荐方法,应用于电子设备。该方法可包括:显示预览界面,预览界面显示有电子设备的摄像头上报的预览图像帧;检测到用于拍摄图像的用户操作,保存第一图像,第一图像包括预览界面显示的一个或多个预览图像帧;确定第一图像的主题、分数、重复性,第一图像的分数根据第一图像的图像质量、构图、脸部美观度、人物动作中的任一个或多个得到,重复性指示第一图像和历史拍摄图像是否重复;根据多个第一图像各自的分数、主题和重复性,从多个第一图像中确定出推荐图像;显示推荐图像的指示信息。
实施第一方面的方法,电子设备可以在拍摄的多个图像中,根据各个图像的主题、分数以及重复性来为用户推荐图像。
结合第一方面,在一些实施方式中,该方法还可包括:在显示预览界面过程中,确定预览界面显示的每一个预览图像帧的分数,其中,预览图像帧的分数根据预览图像帧的图像质量、构图、脸部美观度、人物动作中的任一个或多个得到。确定第一图像的分数,具体包括:根据第一图像包含的一个或多个预览图像帧的分数,确定第一图像的分数。
基于上一实施方式,在预览图像时即实时确定预览图像帧的分数,可以节约后续确定第一图像分数的执行时间,降低时间成本。并且,由于预览流的存储量较小,这样也便于计算及分析过程的便捷性。
结合上一实施方式,可以通过以下方式来确定预览界面显示的每一个预览图像帧的分数:根据第j预览图像帧的图像质量确定第一分数,第j预览图像帧为预览界面显示的任一个预览图像帧;判断第j预览图像帧是否包含主体,若是,则根据构图确定第j预览图像帧的第二分数;若否,则将第j预览图像帧的第二分数、第三分数、第四分数均置为0;在第j预览图像帧包含主体的情况下,根据第j预览图像帧的主体类别,确定第j预览图像帧的第三分数;在第j预览图像帧包含的主体为人物的情况下,根据人物的动作确定第j预览图像帧的第四分数;计算第一分数、第二分数、第三分数、第四分数的加权平均分;将加权平均分确定为第j预览图像帧的分数。
这样,每一个预览图像帧的分数都可以反映该预览图像帧的图像质量、构图、脸部美观度和人物动作,使得最终第一图像的分数也能反映上述因子。
可选的,第一分数、第二分数、第三分数、第四分数的打分均在第一分数区间内。其中,第一分数区间取决于预设的打分制度,例如可以为十分制、百分制等。
可选的,电子设备可以根据第j预览图像帧的清晰度和/或对称性,确定第一分数;清晰度和/或对称性越高,第一分数越高。
可选的,电子设备可以根据以下方式来确定述第j预览图像帧的第三分数:
在第j预览图像帧的主体包含动物的情况下,若第j预览图像帧包含动物的脸部,则将第三分数置为高分,高分包括和满分之间的差值小于预设值的分数,满分为第三分数的打分区间中的最高分;
或者,
在第j预览图像帧的主体包含人物的情况下,根据第j预览图像帧中是否包含人脸、包含的人脸的睁闭眼情况、人脸的表情、人脸的姿态、人脸在第j预览图像帧中的区域、面积大小、占比大小、人脸数量中的任一个或多个,确定第三分数。
相当于,对于动物来说,只要拍摄到脸部,对于用户来说该图像内容就是可接受的,因为可以给予脸部美观度一个高分。而用户对于人脸的美观度有较高的要求,因而可以考虑图像中人物的表情、脸部的姿态、脸部在图像中的占比大小、人脸数量等因素来对包含任务的脸部美观度进行打分。这样的打分方式更加符合用户期待。
可选的,在第j预览图像帧的主体包含人物的情况下,电子设备可以通过以下公式来确定第三分数:
为第三分数;
Nface为第j预览图像帧包含的人脸个数;
se,i为第i张人脸的睁闭眼得分,第i张人脸睁眼时,se,i置为第一值,第i张人脸闭眼时,se,i置为第二值,第一值高于第二值;
sm,i为第i张人脸的笑脸得分,第i张人脸微笑时,sm,i置为第三值,第i张人脸未微笑时,sm,i置为第四值,第三值高于第四值;
sd,i为第i张人脸的姿态得分,第i张人脸面向镜头时,sd,i置为第五值,第i张人脸未面向镜头时,sd,i置为第六值,第五值高于第六值;
sb为第i张人脸的人脸大小影响系数,第i张人脸的大小在第一范围内时,sb置为第七值,第i张人脸的大小在第一范围外时,sb置为第八值,第七值大于第八值;
sN为第i张人脸的人脸占比系数,第i张人脸的面积占比越大,sN越大;
sc为构图美观系数,第i张人脸位于第j预览图像帧的第一区域时,sc置为第九值,第i张人脸位于第j预览图像帧的第一区域外时,sc置为第十值,第九值高于第十值,第一区域包含第j预览图像帧的中心区域;
sp为无人脸惩罚阈值,第j预览图像帧包含人脸时,sp为0,第j预览图像帧不包含人脸时,sp置为预设的无人脸惩罚阈值。
上述公式提供了一种具体的确定衡量人物脸部美观度的分数的方式。
可选的,在上述公式中,第一值、第三值、第五值,均为高分;第二值、第四值、第六值,均为低分;其中,高分包括和满分之间的差值小于预设值的分数,低分包括和满分之间的差值大于预设值的分数,满分为第三分数的打分区间中的最高分。
可选的,在上述公式中,第i张人脸和电子设备之间的距离不同时,相同的第i张人脸的大小对应不同的sb。这样可以综合不同距离来对人脸美观度进行评价,限制过大和过小人脸的得分。
可选的,电子设备可通过以下方式来确定第j预览图像帧的第四分数:判断第j帧预览图像帧中的人物是否包含预设的精彩动作;若是,则第四分数等于动作评价输出算法输出的置信度和高分的乘积;若否,则将第四分数置为低分;其中,高分包括和满分之间的差值小于预设值的分数,低分包括和满分之间的差值大于预设值的分数,满分为第四分数的打分区间中的最高分。
结合上一实施方式,在一些实施方式中,根据第一图像包含的预览图像帧的分数,确定第一图像的分数,具体包括:根据第一预览图像帧确定第一图像的分数,第一预览图像帧包括第一图像的所有预览图像帧中除转场帧以外的预览图像帧,转场帧包括信息量和图像质量达不到第一阈值的预览图像帧。
通过去除转场帧,可以让第一图像的分数能够更加客观地反映该第一图像的质量。
结合上一实施方式,电子设备可根据以下方式,根据第一预览图像帧确定第一图像的分数:确定第一预览图像帧中分数最高的精彩帧;确定精彩帧、第一预览图像帧中精彩帧之前的第一预设数量个预览图像帧、第一预览图像帧中精彩帧之后的第二预设数量个预览图像帧的加权平均分;将加权平均分确定为第一图像的分数。
可选的,第一预设数量和第二预设数量可以相同,也可以不同。
可选的,精彩帧的加权系数=1,精彩帧向前或向后的其他图像帧的甲醛系数依次递减。
结合第一方面,在一些实施方式中,电子设备可以根据第一图像和历史拍摄图像的分数、包含人物是否运动、主体、相似度中的任一个或多个,确定第一图像的重复性。
结合第一方面,在一些实施方式中,如果第一图像和历史拍摄图像中任一个图像重复,则确定第一图像是重复的;如果第一图像和历史拍摄图像中全部图像都不重复,则确定第一图像是不重复的。
结合上两个实施方式中任一个,仅在以下任一种情况下,第一图像和历史拍摄图像中的第二图像不重复,第二图像为历史拍摄图像中的任一个图像:
第一图像的分数高于第二图像的分数;
或者,第一图像的分数低于第二图像的分数,且,第一图像和第二图像中一个为运动帧,另一个不为运动帧;
或者,第一图像的分数低于第二图像的分数,且,第一图像和第二图像均为运动帧,且,运动时间大于预设的最小时间间隔;
或者,第一图像的分数低于第二图像的分数,且,第一图像和第二图像均为非运动帧,且,主体相同,且,第一图像和第二图像的相似度低于第二阈值。
结合第一方面,在一些实施方式中,第一图像的主题包括以下任一个:儿童、动物、建筑、植物、风景;第一图像的主题根据第一图像的内容确定。
结合第一方面,在一些实施方式中,电子设备可以通过以下方式,从多个第一图像中确定出推荐图像:根据多个第一图像各自的主题,将多个第一图像分为多个主题组;针对每一个主题组,按照第一图像的分数和重复性排序,分数越高的排列在前,不重复的相比重复的排列在前;从每一个主题组中根据先后排列顺序筛选第一图像,形成推荐图像。这样可以为用户推荐高质量的、不同主题的、内容精彩的、不重复的图像。
从每个主题组中均选择一定数量的推荐图像,这样可以保障最终确定的推荐图像的多样性和高质量。
可选的,电子设备从每个主题组中选择的推荐图像的数量可以相同,也可以不同。
结合第一方面,在一些实施方式中,根据多个第一图像各自的分数、主题和重复性,从多个第一图像中确定出推荐图像之前,该方法还可包括:显示通知消息,通知消息用于提示用户查看推荐图像;检测到作用于通知消息的用户操作。
结合上一实施方式,通知消息在以下任意时间点显示:预设的固定时间;在最新拍摄了第三预设数量个图像后;在进入第一地点,并在第一地点拍摄了多个图像,在离开第一地点后。
结合第一方面,在一些实施方式中,显示推荐图像的指示信息的方式可包括以下两种:
1.显示推荐图像的缩略图。
2.显示多个第一图像的指示信息,并且,其中推荐图像的指示信息被选中。
结合第一方面,在一些实施方式中,显示推荐图像的指示信息之后,该方法还可包括:检测到用于生成视频的用户操作;根据推荐图像生成视频。这样可以便于用于一键生成视频,满足用户制作视频的需求。
结合上一实施方式,电子设备可通过以下方式来根据推荐图像生成视频:根据推荐图像匹配音视频模板;根据推荐图像和匹配的音视频模板,生成视频。
结合上一实施方式,根据推荐图像生成视频之后,该方法还可包括:检测到用于分享视频的用户操作;将视频分享至电子设备中的第一应用,或者,将视频分享至不同于电子设备的第一设备。这样便于用户方便快捷地将利用推荐图像制作的视频分享至一些应用或者设备,满足用户分享视频的需求。
结合第一方面,在一些实施方式中,任意一个第一图像的类型为以下任一种:包含一个图像帧的静态照片;包含多个图像帧的动态照片;包含多个图像帧的视频。即,本申请提供的图像推荐方法可以推荐不同类型的图像给用户。
结合第一方面,在一些实施方式中,第一图像为动态照片时,保存第一图像具体包括:将检测到用于拍摄图像的用户操作的时刻、时刻之前、时刻之后,预览界面所显示的预览图像帧以及电子设备检测到的声音,存储为动态照片。
结合第一方面,在一些实施方式中,历史拍摄图像具体包括以下任意一种:在第一图像之前,电子设备拍摄过的全部图像;最近一次启动相机后所拍摄的图像;当天内拍摄的图像;最近拍摄的第四预设数量之内的图像;在进入第一地点后在第一地点所拍摄的图像。
结合第一方面,在一些实施方式中,多个第一图像,具体包括以下任意一种:电子设备拍摄过的全部图像;最近一次启动相机到关闭相机期间所拍摄的图像;当天内拍摄的图像;最近拍摄的第五预设数量个图像;在进入第二地点到离开第二地点期间,在第一地点所拍摄的图像。
第二方面,提供一种电子设备,包括:存储器、一个或多个处理器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行如第一方面或第一方面的任意一种实施方式中电子设备所执行的方法。
第三方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当指令在电子设备上运行时,使得电子设备执行如第一方面或第一方面的任意一种实施方式中电子设备所执行的方法。
第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面或第一方面的任意一种实施方式中电子设备所执行的方法。
第五方面,本申请实施例提供了一种芯片系统,所述芯片系统包括至少一个处理器,用于实现如第一方面或第一方面的任意一种实施方式中电子设备所执行的方法。
实施本申请提供的图像推荐方法,提供一种智能化的图像推荐方案,可以根据各个图像的主题、分数以及重复性来为用户推荐图像,以满足用户的实际需求。
附图说明
图1A-图1C为本申请实施例提供的用于拍摄动态照片的用户界面;
图2A-图2P为本申请实施例提供的用于推荐图像、生成视频以及分享视频的用户界面;
图3A为本申请实施例提供的一种图像推荐方法的流程图;
图3B为本申请实施例提供的另一种图像推荐方法的流程图;
图4为本申请实施例提供的对当前帧预览图像打分的流程图;
图5为本申请实施例提供的人脸大小影响系数sb和人脸大小的映射关系曲线;
图6为本申请实施例提供的判断两个图像的重复性的流程图;
图7为本申请实施例提供的电子设备的硬件结构框图;
图8为本申请实施例提供的电子设备的软件架构。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
本申请提供了图像推荐方法、相关装置。
该图像推荐方法应用于电子设备,电子设备为智能终端设备,可以为各种类型,本申请实施例对其具体类型不作限制。例如,该电子设备可以是手机,还可以包括平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、智慧屏、可穿戴式设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、车机、智能耳机,游戏机,还可以是物联网(internetof things,IOT)设备或智能家居设备如智能电视机等等。不限于此,电子设备还可以包括具有触敏表面或触控面板的膝上型计算机(laptop)、具有触敏表面或触控面板的台式计算机等非便携式终端设备等等。
在该图像推荐方法中,电子设备可以针对多个图像分别打分,以及,判定各个图像之间是否相似。一个图像的分数衡量了该图像的质量以及内容精彩程度,相似度表明一个图像是否和其他图像相似。电子设备可根据各个图像的分数以及相似度,为用户推荐高质量及内容精彩的、不相似(即内容各异)的图像,从而让用户能够关注到这部分推荐的图像。打分策略以及相似性的衡量方式,请参考后文方法实施例的详细介绍,这里暂不赘述。
在一些实施方式中,电子设备可基于这部分推荐的图像做进一步处理。例如,电子设备可利用其推荐的图像生成视频,满足用户制作高质量且内容精彩且内容不重复的视频的需求。利用推荐图像生成视频的功能可以被称为“一键成片”或其他名字。再例如,电子设备还可将生成的视频分享至社交平台或联系人,满足用户分享视频的需求。
本申请提供的图像推荐方法可以是系统的图库应用提供的功能,也可以是其他的第三方应用提供的功能,这里不做限定。系统应用是指电子设备的制造商所提供的应用,第三方应用是非设备制造商提供的应用。
其中,图库是智能手机、平板电脑等电子设备上的一款图像管理的APP,又可以称为“相册”“照片”等,本申请对该应用程序的名称不做限制。图库可以支持用户对存储于电子设备上的图像进行各种操作,例如浏览、编辑、删除、选择等操作。即“图库”管理的对象是图像。在另一些情况下,图库也可以支持用户对存储在云端服务器上的图像进行上述各种操作。本申请以下实施例的图库APP还提供了图像推荐功能。
为了行文简便,后续以图库提供本申请的图像推荐方法为例进行说明。
本申请所提及的图像,可包括以下几种类别:
1.动态照片(livephoto)。动态照片包括拍摄时记录的拍照时刻以及该时刻前后一段时间的画面内容和声音,即包含多帧(如90帧)画面以及相应的声音,可以像短视频一样播放。动态照片中包括的拍照时刻之前帧和之后帧的数量可以相同,也可以不同。动态照片也可称为动图、实况照片等。
2.静态照片。静态照片包括一帧画面,可以是拍摄时记录的拍照时刻的画面内容,也可以是拍照时刻前后的几帧画面融合的一帧画面。静态照片仅包括画面而不包括声音。静态照片和动态照片都可以统称为照片。
3.视频。视频可包括在一段时间内连续记录的画面内容和声音。通常视频的时长要长于动态照片的时长。
电子设备可以展示图像的缩略图,该图像的原图可以存储在电子设备本地,也可以存储在云端。动态照片的缩略图可以是拍照时刻获取到的一帧画面。
电子设备中展示的图像,可以是电子设备利用摄像头捕捉到的,也可以是从其他应用程序中获取到的或者从网络中下载的,还可以是其他电子设备分享的,这里不做限定。
在详细介绍本申请提供的图像推荐方法之前,先提供一组电子设备上的UI示例,用于帮助理解该方法。该组UI中以图像类型为动态照片为例来介绍。
图1A-图1C为电子设备拍摄动态照片的用户界面。
图1A示例性示出了电子设备100上的用于展示已安装应用程序的示例性用户界面11。
用户界面11显示有:状态栏、页面指示符、具有常用应用程序图标的托盘、其他应用程序图标等等。不限于此,用户界面11还可能包括导航栏、侧边栏等等。图1A所示的用户界面11可称为主界面(home screen)。
用户界面11中的应用程序图标例如可包括相机的图标111、图库的图标112,以及一些其他应用程序的图标。相机是电子设备上的一款用于调用摄像头来拍摄图像的APP,本实施例对该应用程序的名称不做限制。相机APP可以是电子设备提供的系统应用,也可以是第三方应用。
如图1A所示,电子设备可接收到作用于相机的图标111的用户操作(如点击操作、触摸操作),然后可响应该操作,启动相机应用,并显示如图1B所示的用户界面12。图1B的用户界面12为相机应用提供的预览界面。
如图1B所示,用户界面12可包括模式栏121、拍照控件122、预览窗123、回看控件124、快捷功能区125。其中:
模式栏121中可包括有多个拍照模式选项,例如“夜景”、“人像”、“拍照”、“录像”等等。不同的拍照模式可为用户提供不同效果的拍照服务。用户可根据不同的需求选择多个拍照模式中的任一拍照模式进行拍照。例如,“拍照”可以为默认的拍照模式,用于拍照照片。“录像”用于录制视频。“夜景”模式适用于光线较暗的拍照场景,例如夜晚。“人像”模式适用于拍照主体为人物的拍照场景。电子设备可检测到切换模式的用户操作,例如在模式栏121中左滑/右滑,并根据该操作变更当前所使用的拍照模式。例如,当检测到拖拽模式栏121向左滑动(左滑操作)并使得浮标停止在“人像”选项时,电子设备可切换到“人像”模式。默认的,电子设备首先使用“拍照”模式。
拍照控件122用于触发拍照。电子设备可检测是否有作用于拍照控件122的用户操作,例如点击操作。当检测到作用于拍照控件122的用户操作后,电子设备可生成拍照指令。电子设备可根据拍照指令获取对应摄像头上报的图像,然后保存为静态照片或动态照片。
预览窗123可用于实时地显示电子设备的摄像头采集的图像。在不同的拍照模式下,电子设备可对摄像头上报的图像进行处理,提升图像的显示效果。例如,在“人像”模式下,电子设备可对摄像头上报的图像中的背景进行虚化以凸显人像。这里,预览窗123可实时地显示经过不同拍照模式对应的图像处理算法处理后的图像,以使得用户可以实时地感知不同拍照模式对应的拍照效果。预览窗123中的图像也可称为预览图像。
回看控件124可用于显示最近拍摄照片或视频的缩略图。当检测到作用于回看控件124的用户操作后,电子设备也可显示该缩略图对应的图像。
快捷功能区125可包括高动态范围图像(high-dynamic range,HDR)功能选项、动态照片功能选项125A、AI功能选项、闪光灯功能选项、色彩模式功能选项、设置功能选项等。HDR功能选项可用于在开启时触发电子设备采用HDR算法对图像进行融合处理。AI功能选项可用于在开启时触发电子设备识别预览画面中的拍照场景,当前AI功能选项处于关闭状态。闪光灯控件可用于触发电子设备开启或关闭闪光灯。色彩模式功能选项可用于触发电子设备使用色彩滤镜对摄像头采集到的图像进行处理。该设置功能选项可用于设置电子设备的拍照参数(例如,图像尺寸、图像的存储格式,等等)等。
动态照片功能选项125A可用于开启或关闭动态照片的拍摄模式。图1B中的动态照片功能选项125A的显示状态表明动态照片的拍摄模式已被开启。
开启动态照片的拍摄模式后,电子设备可以检测到作用于拍照控件122的用户操作(如点击操作、触摸操作等),然后响应于该用户操作,将拍照时刻以及拍照时刻前后一段时间内的预览图像以及采集到的声音保存为动态照片。
如图1C所示,拍摄动态照片后,该动态照片的缩略图将显示在回看控件124中。如果用户此时点击回看控件124,则电子设备将启动图库并跳转至显示图库中展示该缩略图对应的动态照片的用户界面。
按照图1B-图1C相同的操作,用户可以转换电子设备的角度,或者更换切换摄像头等,在取景合适时拍摄更多的动态照片。
图2A为图库提供的展示用户拍摄的多个图像的用户界面21。
如图2A所示,用户界面21中显示有用户拍摄的多张动态照片的缩略图,包括缩略图211A~缩略图211P。每张缩略图的左下角都显示有动态照片的指示符,表明该缩略图对应的图像为动态照片。图2A可以是电子设备检测到作用于图1A中的图库的图标112上的用户操作后,所显示的用户界面。
图2B-图2L为图库推荐图像及生成视频的用户界面。
图2B示出的用户界面22由电子设备的下拉通知栏提供。通知栏为电子设备中提供通知消息的系统应用。该用户界面22中显示有通知栏提供的通知消息221,通知消息221的具体内容来自图库。通知消息221中包括:图库的图标221A、图库的名称221B、该通知消息的生成时间221C、通知内容221D。通知内容221D可以提示用户电子设备推荐了图像,并且用户可以使用这些图像生成视频。该通知内容221D例如可以是“一键大片推荐”“推荐您一键创作大自然精彩短篇”。
通知消息221的生成时间在后续方法实施例中将展开介绍。
如图2B所示,电子设备检测到作用于通知消息221上的用户操作后,可以跳转至显示图2C所示的图库的用户界面23。
如图2C所示,用户界面23中显示有:返回键231、标题栏232、电子设备在一段时间内拍摄的多个图像的缩略图如缩略图211A~缩略图211P,编辑栏233、清空控件234、用于生成视频的控件235。
返回键231用于监听用户操作,电子设备检测到作用于该返回键231的用户操作后,可响应该用户操作,显示图库提供的用于展示图像的主页,或者,也可以回到桌面。
标题栏232用于提示当前的用户界面23中所展示的图像有哪些。例如图2C中的“所有照片”指的是电子设备在一段时间内拍摄的照片。标题栏232旁边还有下拉箭头,用户可点击该下拉箭头,从电子设备中的下拉选项中选择想要查看的图像类型及图像范围(包括时间范围)等。
缩略图211A~缩略图211P对应的图像是电子设备在一段时间内拍摄的多个图像。该一段时间可以有多种定义。例如这些图像可以包括电子设备最近一次启动相机到关闭相机期间所拍摄的图像,或者可以包括电子设备当天内拍摄的图像,或者可以包括电子设备最近拍摄的预设数量个图像,或者可以是电子设备在进入某个地点/区域到离开该地点/区域期间所拍摄的图像,等等。
每个缩略图的左上角可以显示有放大图标,用户可点击该放大图标,电子设备就可以全屏显示对应缩略图的原图,方便用户查看。
每个缩略图的左下角还可以显示图像类别的标识,例如图2C中的各个缩略图对应的图像均为动态照片,因而左下角显示有动态照片的标识。如果图像为视频,则左下角可以显示视频标识;如果图像为静态照片,则左下角可以不显示标识。
每个缩略图的右下角还可显示选择标记框。如图2C所示,多个缩略图中有部分缩略图的选择标记框为空,表示对应的缩略图未被选中;部分缩略图(如缩略图211D、缩略图211E、缩略图211G、缩略图211J、缩略图211K、缩略图211M)的选择标记框的背景被填充,表示对应的缩略图被电子设备选中。被选中的缩略图的选择标记框中还标记有数字,数字由小到大对应着图像被选中的先后顺序,例如从前往后被选中的顺序为:缩略图211M、缩略图211K、缩略图211J、缩略图211G、缩略图211E、缩略图211D。被选中的缩略图对应的原图像为电子设备为用户推荐的图像,具体的推荐策略可参考后文方法实施例的介绍。
电子设备可以检测到用于作用于空白的选择标记框上的用户操作,并将对应的缩略图也标记为被选中的状态。
编辑栏233中显示有部分被电子设备选中的缩略图。电子设备可检测到作用于编辑栏233中的左滑/右滑操作,并响应该操作切换显示其他被电子设备选中的缩略图。编辑栏233中的各缩略图左下角也可显示有图像类别的标识。
编辑栏233可用于编辑被电子设备选中的缩略图,该编辑操作例如包括删除、调整顺序等等。例如,编辑栏233中每个缩略图的右上角显示有删除控件,电子设备可以检测到作用于缩略图的删除控件上的用户操作,然后响应该用户操作,将对应的缩略图标记为未被选中的状态,并将其从编辑栏233中移除。又例如,电子设备还可以检测到长按编辑栏233中的缩略图然后拖拽移动至编辑栏233中的其他位置处的用户操作,然后响应该用户操作,调整对应的缩略图被选中的先后顺序,例如将其顺序提前或者置后等。
清空控件234可用于监听用户操作,电子设备检测到作用于该清空控件234的用户操作后,可响应该用户操作,将之前被选中的缩略图都标记为未被选中的状态,达到清空选择的目的。
控件235之上可以显示有当前被电子设备选中的缩略图的数量,该数量可随着用户添加或删除被选中缩略图的操作更改。
控件235可用于监听用户操作,电子设备检测到作用于该控件235的用户操作后,可响应该用户操作,将被选中的缩略图对应的原图像合成为视频。
如果电子设备是首次启用“一键成片”功能,则电子设备检测到作用于控件235的用户操作后,还可以显示图2D所示的用户界面24。用户界面24用于获取针对“一键成片”功能所需的相关权限的授权。
如图2D所示,用户界面24中显示有:提示信息241、提示信息242、取消控件243、同意控件244。
提示信息241用于提示用户开启“一键成片”后即将启动的服务或应用,也即用于支持实现“一键成片”的服务或应用。例如图2D中提及的“剪辑”服务,“剪辑”服务提供视频截取、调节、剪裁等功能。“剪裁”服务也可以被称为其他名称,这里不做限定。“剪裁”服务可以是系统服务,也可以是第三方服务。
提示信息242用于提示用户启动“剪辑”服务所需要获取的用户权限。例如,图2D中表明使用该“剪辑”服务需要获取网络权限。提示信息242中还可以提供一些控件,以供用户点击后查看更加详细的使用说明。
取消控件243用于监听用户操作,电子设备检测到作用于该取消控件243的用户操作后,可响应该用户操作,退回显示图2C所示的用户界面23。
同意控件244用于监听用户操作,电子设备检测到作用于该同意控件244的用户操作后,可响应该用户操作,电子设备可获取使用“剪辑”服务的用户授权,因而可以利用网络来使用“剪辑”服务。
电子设备检测到作用于同意控件244的用户操作后,可以先后显示图2E所示的用户界面25,图2F所示的用户界面26。
如图2E所示,用户界面25显示有提示信息,用于提示用户授予“剪辑”服务访问电子设备中音乐和音频的提示信息,以及,禁止授权控件,和,始终允许控件。电子设备检测到作用于始终允许控件之后,可以将音乐及音频的访问权限长久地授予“剪辑”服务。
电子设备检测到作用于图2E中始终允许控件之后,如图2F所示,用户界面26显示有提示信息,用于提示用户授予“剪辑”服务访问电子设备中照片和视频的提示信息,以及,禁止授权控件,和,始终允许控件。电子设备检测到作用于始终允许控件之后,可以将照片及视频的访问权限长久地授予“剪辑”服务。
电子设备检测到作用于图2F中始终允许控件之后,电子设备可以开始合成视频。
当然,如果电子设备为非首次,如果非首次启用“一键成片”功能,则无需显示图2D-图2F所示的用户界面,在检测到作用于图2C中控件235的用户操作后,如果已经获取用户授权,则可以直接开始合成视频。
合成视频的具体过程包括如下:
首先,分析电子设备选择的缩略图(即编辑栏233包含的缩略图)对应的原图像(也可称为素材),例如获取其各类信息,如大小、数量、主题等。在分析过程中,电子设备可显示图2G所示的用户界面27。用户界面27中显示有:提示信息271,用于提示用户电子设备正在分析素材;进度条及进度数值272,用于提示用户分析的进度;停止控件273,用于中断分析操作以及后续的生成视频的操作。
完成分析后,为选择的原图像匹配视频模板。在匹配过程中,电子设备可显示图2H所示的用户界面28。用户界面28中显示有:提示信息281,用于提示用户电子设备正在匹配素材;进度条及进度数值282,用于提示用户匹配的进度;停止控件283,用于中断匹配操作以及后续的生成视频的操作。
分析、匹配的具体过程,可参考后文方法实施例的详细介绍,在此不赘述。
完成匹配后,开始生成视频。在生成视频过程中,电子设备可显示图2I所示的用户界面29。
如图2I所示,用户界面29中显示有:返回键291、分享键292、提示信息293、播放/暂停控件294、视频进度条295,以及底部的菜单栏296。
返回键291可用于重新回到图2C所示的用户界面23。
分享键292可用于将制作完成的视频分享至其他应用或联系人。
提示信息293用于提示用户当前正在生成视频中。当电子设备制作完视频后,可以在提示信息293所在的区域297自动播放该视频。
视频进度条295用于提示播放进度以及视频的总长度。在还未制作完视频之前,播放进度以及视频总长度均可以为0。
菜单栏296中包括多个控件,如:
模板控件296A,用户可点击其以查看更多的视频模板并选择合适的模板来合成之前选择的原图像;
音乐控件296B,用户可点击其以查看可选的音乐并将其合成至视频中;
导出控件296C,用于将生成的视频导出,即存储为视频文件;在生成视频之前,导出控件296C可处于不可点击状态;
片段控件296D,用户可点击其已查看生成视频中的各个片段;
编辑控件296E,用于编辑已经生成的视频,如裁剪、添加滤镜等。
参考图2J,图2J示例性示出了电子设备制作完视频之后,自动播放该视频时显示的一帧用户界面30。
如果用户观看区域297中的视频后,决定保存该视频,则可以向用户界面30中的导出控件296C输入用户操作,电子设备可响应该操作,将该视频导出为某一种视频格式并且存储到电子设备的存储区中。
图2K示例性示出了电子设备导出视频过程中所显示的用户界面31。如图2K所示,用户界面31中显示有:提示信息311,用于提示用户电子设备正在导出视频;进度条及进度数值312,用于提示用户导出视频的进度;停止控件313,用于中断导出视频的操作。
完成视频导出后,电子设备可以显示图2L所示的用户界面32。用户界面32显示有提示信息321,用于提示用户已将生成的视频保存到图库中的哪一个相册,以及,已将该视频保存到“剪辑”服务的模板草稿中。即,电子设备导出视频后,除了将其存储到图库下的相册存储路径,还可将其存储至“剪辑”服务下的模板草稿的存储路径。
提示信息321可以在显示一段时间后自动消失,也可以响应于用户操作(例如用户点击图2L中“知道了”的操作)而消失,之后电子设备可继续显示类似图2J的用户界面。
存储视频之后,电子设备就可以在图库的对应相册中查看并分享该视频。
图2M-图2P为在图库中查看视频及分享视频的用户界面。
图2M示出了电子设备中的图库展示相册的用户界面33。这里的相册指图库中对图像分类结果的呈现。如图2M所示,用户界面33中显示有“视频”相册的缩略图331以及该相册中包含的视频数量。
电子设备检测到作用于“视频”相册的缩略图上的用户操作后,可以显示图2N所示的用户界面34,用户界面34用于展示该“视频”相册包含的各个视频的缩略图以及视频时长。如图2N所示,用户界面34中显示有之前电子设备生成的视频的缩略图341以及对应的时长。
电子设备可以检测到作用于图2N中电子设备生成的视频的缩略图341的用户操作,然后显示图2O所示的用户界面35,并在用户界面35的视频播放区域351中播放该视频。该用户界面25还显示有针对该视频的各类操作控件,如进度条、分享控件352、收藏控件353、编辑控件354、删除控件355等等。
如图2O所示,电子设备可检测到作用于分享控件352的用户操作,然后响应于该用户操作,显示图2P所示的用户界面36。用户界面36显示有以下任一个或多个:一个或多个应用选项、一个或多个联系人选项、一个或多个设备选项等。其中,一个应用选项对应一个应用,用于将视频分享至该应用;联系人选项对应电子设备的联系人,用于将该视频分享至联系人的设备;设备选项对应于电子设备发现的附近设备,用于将该视频分享至该附近设备。
示例性地,如图2P所示,电子设备检测到作用于应用选项361的用户操作之后,响应该操作,将当前显示的视频分享至该应用选项361对应的应用中。当然,用户也可以根据实际需求将该视频分享至其他应用,或者其他设备,或者,其他联系人。
图3A示例性示出了本申请提供的图像推荐方法的一种流程。该方法由电子设备执行。
如图3A所示,该方法可包括如下步骤:
S101,电子设备拍摄多个图像。
电子设备拍摄的图像可以是静态照片、动态照片或视频,这里不做限定。
电子设备拍摄多个图像的具体过程,可参考后续图3B所示方法中的S301-S304。
S102,电子设备确定拍摄的每一个图像的主题、分数、重复性。
其中,每一个图像的分数可以由电子设备根据该图像的图像质量、构图、脸部美观度、任务动作中的任意一个或多个得到。重复性指一个图像和在该图像之前的历史拍摄图像是否重复。主题是指图像所反映的场景。
电子设备确定图像的主题、分数、重复性的具体实现,可参考图3B中的S305。
S103,电子设备根据拍摄的多个图像各自的分数、主题和重复性,从该多个图像中确定出推荐图像。
S103的具体实现,可参考图3B中的S306-S310。
S104,电子设备显示推荐图像的指示信息。
S104的具体实现,可参考图3B中的S311。
图3B示例性示出了本申请提供的图像推荐方法的另一种流程。该方法由电子设备执行。
如图3B所示,该方法可包括如下步骤:
S301,电子设备启动摄像头,并显示预览图像。
电子设备可以运行系统类应用,或者运行第三方应用,从而启动摄像头来采集图像,并接收摄像头上报的预览流,基于该预览流在显示屏显示的预览界面中显示预览图像。电子设备启动的摄像头可以是任意一个摄像头,这取决于用户需求。
电子设备启动摄像头后,可以持续地接收到摄像头上报的预览流,因而电子设备显示的预览图像也将包含持续的多帧画面(即多帧的预览图像帧)。
例如,参考1A-图1B,电子设备可以运行相机应用,并在图1B的预览窗123中显示预览图像帧。图1B所示的用户界面12可以被称为预览界面。
S302,从预览流中分析当前帧预览图像,获取该帧预览图像的标签(tag),该标签包括以下信息:分数、主题、是否是转场帧。
当前预览帧图像是指,当前显示在显示屏上的一帧预览图像。当前帧预览图像,也可称为预览图像帧。
电子设备可以从预览流中多当前预览帧图像进行分析。
对一帧预览图像打分时,可考虑以下任意一项或多项因子:
1.图像质量。
图像质量包括图像的清晰度和/或对称性。清晰度越高,和/或,对称性越好,则图像质量越高,图像的分数也越高。对称性指图像内容的对称程度(如建筑的左右对称),可以[0,满分]的得分体现。
2.脸部的美观度。
每一帧图像均包括主体,图像的主体是指画面中占比较大的人物、动物等类别的对象。一帧图像中可包括一个或多个主体。电子设备可使用主体检测算法检测识别图像中的主体类别,主体检测算法可以是卷积神经网络(convolutional neural networks,CNN)。
如果图像主体为人物、动物,则可以依据该图像中人物、动物脸部的美观度来对该图像打分。
图像中脸部的美观度越高,则图像的分数也越高。
3.图像中人物的动作。
如果图像主体包括人物,则可以根据人物动作的精彩程度来对图像进行打分。人物有运动的动作并且该动作为预设的精彩动作时,则可以认为该图像是精彩的。预设的精彩运动动作例如可包括跳跃、奔跑、抬手、抬腿等。
图像中人物动作越精彩,则图像的分数也越高。
4.构图。
构图指图像中各个对象的排列、规划、位置等。各个对象的排列及位置越协调、完整,则构图也就越美观,图像的分数也越高。
在根据上述4个因子中的任意一个或多个来对当前帧预览图像打分时,各个因子对最终分数的影响权重可以相同,也可以不同。各个因子对最终分数的权重可以根据实际需求预设,这里不做具体限定。
下面以同时考虑上述4个因子为例,说明如何对当前帧预览图像打分。
公式1示例性示出了电子设备计算当前帧预览图像的公式:
score=a1*score1+a2*score2+a3*score3+a4*score4 公式1
其中,score为当前帧预览图像的分数,score1为在图像质量这一维度的得分,score2为在构图这一维度的得分,score3为在脸部美观度这一维度的得分,score4为在人物动作这一维度的得分。分数越高,表明对应维度的因子也越优秀。score1、score2、score3、score4也可分别被称为第一分数、第二分数、第三分数、第四分数。
各个维度的打分制度一致。该打分制度可以是任意分数制,例如百分制、十分制等。该打分制度的分数区间,如十分制的[0,10]、百分制的[0,100]可以被称为第一分数区间。第一分数区间中的最高分如十分制的10分,百分制的100分,可称为满分。
在以下介绍打分过程的各实施方式中,高分包括和满分之间的差值小于预设值的分数,例如十分制中的9-10分,例如百分制中90-100分等;低分包括和满分之间的差值大于预设值的分数,例如十分制中的0-2分,例如百分制中0-20分等。
a1、a2、a3、a4分别为图像质量、构图、脸部美观度、人物动作对最终分数的影响权重。a1、a2、a3、a4的总和为1。
参考图4,图4示例性示出了电子设备对当前帧预览图像打分的过程。该过程包括如下步骤:
步骤1,将初始的score1、score2、score3、score4均置为0。
步骤2,计算当前帧预览图像的图像质量得分score1。
score1可基于图像质量评价(image quality assessment,IQA)算法计算得到。
步骤3,判断当前帧预览图像是否包含主体,如果不包含主体,则直接转到步骤9;如果包含主体,则转到步骤4。
步骤4,计算当前帧预览图像的构图得分score2。
score2可基于构图得分算法计算得到。构图得分算法可以用于对存在主体的图像进行打分,用于评价主体在整体画面中的构图是否美观。构图得分算法可以是基于人体骨骼节点的计算方法。
步骤5,判断图像主体类别,如果是动物,则转到步骤6;如果是人物,则转到步骤7。
步骤6,如果检测到动物的脸部,将脸部美观度得分score3置为高分,高分可以预设,例如可以为满分(例如百分制的100分)或者接近满分的数值(例如百分制中90-100分)。
对于动物来说,只要拍摄到脸部,对于用户来说该图像内容就是可接受的,因为可以给予脸部美观度一个高分。在一个具体的实施方式中,可以在检测到动物正脸的情况下,给予脸部美观度一个高分。
高分可以设定为是和满分之间的差值小于预设值的分数。
步骤7,计算人物的脸部美观度得分score3。
通常用户对人脸的美观度有较高的要求,因而可以采用更加详细的计算方式。例如,可根据图像中人物的表情、脸部的姿态、脸部在图像中的占比大小、人脸数量等,来计算score3。其中,人物的表情可包括任务是否睁眼、是否有笑容等,脸部姿态包括人脸是否正面面向镜头等。
在一种实施方式中,score3可基于公式2计算:
在公式2中,
为人脸脸部美观度的总得分score3,Nface为人脸个数,se,i为第i张人脸的睁闭眼得分,sm,i为第i张人脸的笑脸得分,sd,i为第i张人脸的姿态端正得分,sb为人脸大小影响系数,sN为多张人脸时人脸占比系数,sc为构图美观系数,sp为无人脸惩罚阈值。
其中,其中,睁闭眼得分se,i、笑脸得分sm,i、姿态端正得分sd,i的打分范围均在脸部美观度得分score3的打分区间内。例如,如果采用百分制对score3进行打分,则上述三个因子的得分也在[0,100]区间内。
人脸大小影响系数sb,多张人脸时人脸占比系数sN,构图美观系数sc,无人脸惩罚阈值sp取值均在[0,1]区间内。
下面展开介绍公式2中的各个参数:
睁闭眼得分se,i:人物睁眼认为表情美观,赋第一值;人物闭眼认为不美观,赋第二值,第一值高于第二值。第一值可以是高分,第二值可以是低分。
笑脸得分sm,i:人物微笑认为表情美观,赋第三值;人物无表情认为不美观,赋第四值,第三值高于第四值。第三值可以是高分,第四值可以是低分。
姿态端正得分sd,i:人脸面向镜头认为姿态端正,赋第五值;仰头、低头等非正脸面对镜头,画面中人脸姿态认为不端正,赋第六值,第五值高于第六值。第五值可以是高分,第六值可以是低分。人脸大小影响系数sb:合适大小的人脸面积(如第一范围内的人脸面积)赋第七值,面积过大(如人脸面积在第一范围外)时人脸不完整,认为不美观;面积过小时拍摄人物非主体(可能是路人),为背景干扰,认为不美观;不美观时人脸大小影响系数sb赋第八值,第七值高于第八值。第七值可以是取值范围内的较高值,第八值可以是取值氛围内的较低值。
人脸大小影响系数sb可以根据图5示出的三条高斯曲线查询得到。具体根据三条高斯曲线交点以上的部分计算。其中横轴为表示人脸框的面积和图像面积的比值开平方,纵轴为人脸大小影响系数sb。三条曲线从左到右依次代表远、中、近距离人脸大小和人脸大小影响系数sb的映射关系。这样可以综合不同距离人脸主观评价,限制过大和过小人脸的得分。
其中,三条高斯曲线从左至右分别为:
μ=0.1278,sigma=9.5远距离
μ=0.3819,sigma=3.5中距离
μ=0.65,sigma=9.5近距离
图5示出的三条依次代表远、中、近距离人脸大小和人脸大小影响系数sb的映射关系的高斯曲线为预设的。其中,参数μ代表均值,sig代表标准差的倒数,三条线表示主体在近中远距离都存在一个最佳构图系数,曲线峰值即代表最佳的位置,采用交点以上的位置可以保证在合理距离内的系数值都维持一个较高的得分,w指人脸框宽度,h指人脸框高度,W指图像宽度,H指图像高度。人脸框是指电子设备分析当前帧预览图像时,将人脸所在位置用矩形或正方形框住所得到的一个框。
多个人脸时每个人脸占比系数sN:按照各人脸面积由大到小,认为各人脸对总体画面的影响能力依次降低。多个人脸的人脸占比系数sN为预设权重,其总和为1。即预设几个依次降低的人脸占比系数sN,然后根据图像中每个人脸的面积大小,对应到各个人脸。
构图美观系数主体人物要求人脸在画面中心一定范围(如第一区域)内;人脸处于边缘时认为不是主体人物,此时人脸不完整,认为构图不美观,因此该人脸会乘以惩罚系数k,降低该人脸的得分。惩罚系数k为预设的值。第九值高于第十值。第九值可以是取值范围内的较高值,第十值可以是取值氛围内的较低值。
无人脸时惩罚阈值sp:检测到人体但未检测到人脸,可能存在人脸不在画面中、人物背身等情况,认为不美观,降低对应人脸脸部美观度的得分score3。
按照上述公式2的计算方式,人脸姿态端正、睁眼微笑、面积大小适中时的score3较高,画面中人物都为主体人物时的score3较高。
上述提及的高分、低分均是相对概念,可以由电子设备根据实际需求来设置,本申请对其具体数值不做限定。
在一些实施方式中,如果当前帧预览图像的主体既包括人物,又包括动物,则可以结合步骤6和步骤7的算法,利用权重来计算综合的脸部美观度得分score3。
步骤7之后,可以转到步骤8。
步骤8,计算人物动作得分score4。
如果图像中人物没有精彩动作,则将score4置为低分(例如0)。
如果图像中人物有精彩动作,则可以将动作评价算法输出的置信度乘以高分(例如满分)得到的数值,置为score4的值。其中,动作评价算法是一种评价图像中人物的动作以及该动作的概率的算法,可以是CNN算法。置信度是动作评价算法输出的图像中人物的动作是确定的动作的概率。score4的值在[0,满分]的范围内。
步骤9,基于公式1计算当前帧预览图像的分数score。
基于图4所示的方法来对当前帧预览图像打分,则当前帧预览图像的分数可以反映该图像的质量、图像中脸部的美观度、人物动作的精彩程度、构图等,分数越高时,则说明该图像的质量、图像中脸部的美观度、人物动作的精彩程度、构图等也都越优秀。
当然,不限于同时考虑图4所示流程的4个因子,在其他一些实施方式中,也可以仅考虑其中的部分因子来对当前帧预览图像打分。如果仅考虑部分因子,则各因子的权重可以发生变化,其权重总和始终为1。
例如,在上述步骤5中,如果当前帧预览图像不包括动物、人物的等主题,例如拍摄的是风景时,则公式1中score3对应的权重系数a3置为0,其余权重a1、a2、a4相应视情况增加。
在一些实施方式中,电子设备还可以分析当前帧预览图像是否为转场帧。当用户快速移动电子设备时,该电子设备的摄像头上报的预览流为转场帧,转场帧的成像信息量低且图像质量较差,即信息量和图像质量达不到第一阈值的图像帧。电子设备可利用转场检测算法来识别转场帧。
在一些实施方式中,电子设备还可以分析当前帧预览图像的主题。主题是指图像所包含的场景,例如可包括儿童、动物、建筑、植物、风景等主题。主题可以根据图像的内容分析得到。
在本申请一些实施方式中,电子设备可使用感知引擎对当前帧预览图像打分,以及,分析其是否为转场帧以及其主题等。感知引擎上可搭载上述提及的各类算法,用于计算所需的结果。
S303,对当前帧预览图像进行图像编码,并保存当前帧预览图像的标签。
图像编码也称图像压缩,是指在满足一定质量(如信噪比的要求)的条件下,以较少比特数表示图像或图像中所包含信息的技术。这样可以节约电子设备的存储空间。
在一些实施方式中,电子设备可以将当前帧预览图像的标签单独编码到该当前帧预览图像的音频流里,可以和画面数据分开存储。
在用户输入拍摄图像的指令之前,电子设备的摄像头将持续不断地上报预览流,在此过程中电子设备将持续显示多帧预览图像。因而,上述S302-S303的步骤将持续执行多次,电子设备可保存多帧预览图像的压缩图像以及标签。保存的这部分数据都可以临时存储在电子设备中,和后续真正拍摄图像时保存的数据存储在不同位置。
在一些实施方式中,电子设备可以仅保存预设数量的预览图像的压缩图像以及标签,生成时间靠前的超过该数量的预览图像的压缩图像及标签可以被丢弃。这样既不影响后续本方案的实施,还可以节约电子设备的存储空间。
通过上述S302-S303,在预览图像时即分析预览图像的标签信息,可以节约后续步骤的执行时间,降低时间成本。并且,由于预览流的存储量较小,这样也便于计算及分析过程的便捷性。
S304,检测到用于拍摄图像的用户操作,响应该用户操作,保存对应的图像。
用于拍摄图像的用户操作可以分为以下几种类别:
1.在电子设备启动动态照片功能的情况下,输入的拍照操作。此种情况下,电子设备将预览流存储为动态照片。该拍照操作的形式可以包括多种,例如作用于显示屏的触摸操作、语音指令、特定表情等。例如,参考图1B,该拍照操作可以是电子设备的动态照片功能启动的情况下,作用于拍照控件122的用户操作。
针对动态照片,除了在S302-S303中分析拍摄图像的用户操作之前的预览图像的标签,还需要分析该用户操作之后一段时间内的摄像头上报的预览流图像的标签,具体分析方式参考前文。即,电子设备需要分析得到动态照片中各帧图像各自的标签。
2.在电子设备未启动动态照片功能的情况下,接收到的拍照操作。此种情况下,电子设备将预览流存储为静态照片。该拍照操作的形式可以为多种,这里不做限定。
3.在电子设备启动“录像”模式后,接收到的启动录制的操作和结束录制的操作,将在此期间的预览流存储为视频。
可见,电子设备保存的图像可以包括预览界面所显示的一个或多个预览图像帧。
S304中的拍摄图像操作也可以多次执行,这样电子设备可以根据用户的需求保存多个图像。电子设备保存的多个图像可以包括一种或多种类型,例如可以同时包括动态照片、静态照片和视频等。
示例性地,参考图2A,用户界面21展示有电子设备拍摄的多张动态照片的缩略图,包括缩略图211A~缩略图211P。
不限于S301-S304所示的电子设备通过自身摄像头拍摄图像,在本申请其他一些实施方式中,电子设备可以保存相机以外的其他应用发送的图像,或者,从网络中下载图像,或者,接收其他电子设备分享的图像,并基于这些图像执行后续步骤。
电子设备保存的图像可以被称为第一图像。
S305,获取所保存图像的标签(tag),该标签包括以下信息:所保存图像的主题、分数、是否是重复帧。
所保存图像的主题
针对动态照片,将动态照片包含的多帧画面中出现次数最高的主题作为该动态照片的主题。如果次数最高的主题包括多个,则可以按照预设的主题优先级从中选择优先级最高的主题,并将其作为该动态照片的主题。
针对静态照片,该静态照片包含的一帧画面的主题即为该静态照片的主题。
针对视频,其主题的确认方式和动态照片相同,可参考相关描述。
所保存图像的分数
保存图像之后,电子设备将计算该图像的分数。
该保存图像的分数由其包含的一帧或多帧画面来衡量,当其包含的一帧或多帧画面的分数越高,该保存图像的分数也越高。
针对动态照片,示例性提供一种打分方式:遍历动态照片中的图像队列,找到其包含的所有帧;可选的,去除其中的转场帧得到剩余帧序列FrameSeq[frameStart,…,frameEnd],此步骤可以保证最终评分的有效性;然后从FrameSeq中找到分数score最高的帧记为精彩帧WonderfulFrame,在精彩帧前后均寻找K帧,如果遇到不足K帧则按照得分为0补齐;设置精彩帧权重为1,前后K帧权重依次递减0.1。计算2K+1帧得分的加权平均分数weightAvgScore作为动态照片的打分结果。去除其中的转场帧得到剩余帧序列FrameSeq中包含的图像帧,也可以被称为第一预览图像帧。
当然,上述仅为一种示例,可以基于上述示例的方法中做调整。例如,可以在精彩帧前寻找K帧,在精彩帧之后寻找不同于K的K’帧,计算1+K+K’帧的加权平均得分。
相当于,电子设备可以将精彩帧、剩余帧序列FrameSeq中精彩帧之前的第一预设数量个预览图像帧、剩余帧序列FrameSeq中精彩帧之后的第二预设数量个预览图像帧的加权平均法,确定为所保存图像的分数。
针对静态照片,该静态照片包含的一帧画面的分数即为该静态照片的分数。
针对视频,其分数的确认方式和动态照片相同,可参考相关描述。
所保存图像的重复性
如果有历史图像和该保存图像是重复的,则认为该保存图像是重复的;如果所有历史图像和该保存图像均不重复,则认为该保存图像是非重复的。
其中,历史拍摄图像的数量可以为一个或多个。历史拍摄图像的定义可以包括以下任意一种:
1.电子设备存储的全部图像,例如图库中的全部图像。
2.电子设备最近一次启动相机后所拍摄的图像。
3.电子设备当天内拍摄的图像。
4.电子设备最近拍摄的第四预设数量之内的图像。
5.电子设备在进入某个地点/区域后在此地点/区域所拍摄的图像。
上述仅为历史拍摄图像的几种示例性定义,不应构成限定。本申请中的电子设备可以根据实际需求来定义历史拍摄图像,这里不做限定。
下面示例性提供一种将保存图像和历史图像中任一个图像做重复性判断的方式:
参考图6,图6示例性示出了对两个动态图像做重复性判断的过程。该过程可包括如下步骤:
步骤1,将初始的相似度分数similarScore置为0。
步骤2,判断a.imageScore是否大于b.imageScore,若是,则转到步骤3;若否,则转到步骤4。
a代表电子设备当前所保存的图像,b代表历史图像中的一个图像。a.imageScore是电子设备所保存图像的分数,b.imageScore是历史图像中的一个图像的分数。
步骤3,将similarScore置为0。
这样可以将分数较高的图像a标记为非重复帧,则后续有较大概率推荐分数较高的图像a,使得推荐结果呈现高质量。
步骤4,判断图像a、图像b是否一个是运动帧,另一个不是运动帧,若是,则转到步骤5;若否,则转到步骤6。
图像是否为运动帧可基于动作评价算法确定。
步骤5,将similarScore置为0。
步骤6,判断图像a、图像b是否均是运动帧,若是,则转到步骤7;若否,则转到步骤10。
步骤7,图像a和图像b中的运动帧生成的时间间隔是否小于最小间隔intervalMin,若是,则转到步骤8;若否,则转到步骤9。最小间隔intervalMin可以按需预设。
步骤8,将similarScore置为1。
步骤9,将similarScore置为0。
步骤10,判断图像a和图像b中的主体是否相同,若是,则转到步骤11;若否,则转到步骤12。
这里的主体相同不仅是指同一个类别,还是指主体是相同的一个,例如同一个人、同一个动物等。
步骤11,将similarScore置为1。
步骤12,利用均值哈希算法、欧式距离算法、余弦距离算法、汉明距离算法等任一个计算图像a和图像b的相似度,将similarScore置为计算得到的值。
步骤13,判断similarScore是否大于相似阈值threshold,若是,则转到步骤14;若否,则转到步骤15。相似阈值threshold可以按需预设。
步骤14,确定保存图像为重复图像。
步骤15,确定保存图像为非重复图像。
由于电子设备可以保存多个图像,因而S305也可以多次执行,用于分别计算保存的多个图像的分数。
在一些实施方式中,电子设备可以将保存图像的标签单独编码到该图像的音频流里,可以和画面数据分开存储。
S306,检测到用于获取推荐图像的用户操作。
在一些实施方式中,电子设备可以生成并显示通知消息,该通知消息可用于提示当前可以推荐图像,或者,可提示当前可以创作视频。该通知消息可以由图库应用发送给通知应用,最终由通知应用展示出来。用于获取推荐图像的用户操作可包括作用于该通知消息的用户操作(如点击操作、触摸操作等)。
示例性地,参考图2B,用户界面22中的通知消息221为一种可能的实现形式。不限于在下拉通知栏中显示通知消息,电子设备还可以在生成通知消息后将其显示在显示屏顶端,如无用户与其交互,则可以在停留一段时间后自动消失。
该通知消息的生成及显示时间可包括以下任一种:
1.周期性地生成通知消息,例如每天下午4点或9点自动生成,或者,在每周的固定时间生成。即,可以在预设的固定时间生成并显示固定消息。
2.在电子设备新保存了第三预设数量个图像后生成通知消息。
3.在电子设备进入某个地点/区域,在该地点/区域拍摄了多个图像,之后离开该地点/区域后生成通知消息。该地点/区域可以被称为第一地点。
在另一些实施方式中,提供图像推荐功能的应用(如图库应用或其他应用)的用户界面中可以显示有“一键推荐”控件,用户可以在该“一键推荐”控件上输入用户操作,以触发后续步骤。电子设备检测到的作用于该“一键推荐”控件的用户操作,即为用于获取推荐图像的用户操作。本申请实施例对应用在哪个用户界面提供“一键推荐”控件、该“一键推荐”控件的形式均不作限定。“一键推荐”控件的名称仅为示例,其作用已经介绍清楚,该控件也可以被称为其他名字。
S307,遍历多个图像,获取各个图像的标签。
这里的多个图像可以包括以下任意一种:
1.电子设备存储的全部图像,例如图库中的全部图像。
2.电子设备最近一次启动相机到关闭相机期间所拍摄的图像。
3.电子设备当天内拍摄的图像。
4.电子设备最近拍摄的第五预设数量个图像。
5.电子设备在进入某个地点/区域到离开该地点/区域期间所拍摄的图像。
电子设备可以从存储器中提取各个图像的标签。
示例性地,参考图2A,假设缩略图211A-缩略图211P均为电子设备最近一次启动相机到关闭相机器件所拍摄的图像,则电子设备可以提取这些缩略图对应的原图像的标签。
S308,按照主题,将S307中遍历的多个图像分组。
示例性地,如果该多个图像包括缩略图211A-缩略图211P对应的原图像,则可以将该多个图像分为以下几组:
风景组:缩略图211A、缩略图211B、缩略图211F、缩略图211J、缩略图211L、缩略图211N、缩略图211O、缩略图211P,对应的原图像。
人物组:缩略图211G、缩略图211H、缩略图211I、缩略图211K、缩略图211M,对应的原图像。
猫组:缩略图211E,对应的原图像。
狗组:缩略图211C、缩略图211D,对应的原图像。
S309,对每组内的图像按照重复性,以及,分数进行排序。
在一些实施方式中,针对每组图像,先将非重复的图像排列在前,重复的图像排列在后;然后在非重复的图像中再按照分数由高到低排序,在重复的图像中也按照分数由高到低排序。
在另一些实施方式中,针对每组图像,先按照分数由高到低排序,当存在分数相同的图像时,将非重复的图像排在前面,将重复的图像排在后面。
S310,从各组图像中分别选择排序靠前的图像,作为推荐图像。
在一些实施方式中,电子设备可以从不同主题组中分别选择排序靠前的top K个图像形成推荐序列。这样可以保障推荐图像的多样性和高质量。K可以预设,这里对其具体数值不做限定。
在另一些实施方式中,电子设备也可以从不同主题组中选择不同数量的排序靠前个图像形成推荐序列。例如,电子设备可以根据每个主题组包含的实际图像数量,从中选取一定比例值的数量出来形成推荐序列。
在又一些实施方式中,电子设备也可以仅从部分主题组中选择图像形成推荐序列,例如电子设备可以从预设的主题组中选择图像。
上述几种实施方式仅为示例,具体实现中,也可以有其他的选择推荐序列的方式。
电子设备获取多个推荐图像之后,还可以对多个推荐图像进行排序,本申请对该排序方式不做限定,例如可以按照分数由高到低排序,按照一定的主题顺序排序,按照保存时间的先后顺序排序等等。
S311,显示推荐图像的指示信息。
推荐图像的指示信息可以包括缩略图,也可以包括名称、被选中的选择标记框或其他的指示信息,这里不做限定。
在一些实施方式中,电子设备可以启动提供图像推荐功能的应用,然后在该应用提供的用户界面中,显示推荐图像的指示信息。
示例性地,参考图2C,电子设备可以在图库应用的用户界面23中显示S307中遍历的多个图像的缩略图,并将电子设备推荐的图像通过选中选择标记框的方式标记出来,并且还在对应的选择标记框中添加数字,以表明对应的图像在推荐图像中的排序。
可选的,S312,根据用户操作调整推荐图像。
针对推荐图像的调整可包括:调整多个推荐图像的排序、增加推荐图像、删除推荐图像等等。
用于调整推荐图像的用户操作的实现形式可以有多种,这里不做限定。
示例性地,可参考前文图2C的相关文字介绍,其示例性给出了几种调整推荐图像的方式。
S313,检测到用于生成视频的用户操作。
用于生成视频的用户操作可以实现为多种形式,例如作用于显示屏上的用户操作、语音指令、手势、表情等等,这里不做限定。
在一些实施方式中,S313也可以是可选步骤,电子设备无需接收到该用户操作,可以在确定推荐图像之后,直接利用该推荐图像生成视频。
S314,根据推荐图像生成视频。
在一些实施方式中,电子设备检测到用于生成视频的用户操作后,可以首先询问用户以获取使用“一键成片”功能的相关权限。向用户获取授权的示例性用户界面可参考图2D-图2F所示的用户界面,这里不再赘述。
根据推荐图像生成视频的过程可包括如下步骤:
首先,分析素材(即推荐图像)。例如可分析其大小、数量、时长、主题等信息。
然后,根据素材信息匹配音视频模板。音视频模板可以分为视频模板和音频模板,也可以合成为一个模板。其中,视频模板可包括转场特效、滤镜、图像裁剪方式、可视化元素(如贴纸)等等。音频模板包括音频。音视频模板可以存储于电子设备中,也可以由电子设备通过网络从云端服务器获取到。在一些实施方式中,匹配音视频模板之后,用户还可根据实际需求将其调整至自己想要的形式。
再然后,电子设备开始根据匹配的音视频模板和推荐素材生成视频。生成视频中各个图像出现的先后顺序可以和电子设备确定的各个图像在推荐图像中的顺序一致。如果推荐图像包含动态照片,则视频中包含的该动态照片可以呈现完整的时长,视频同理。在其他实施方式中,用户可以自行选择音视频模板。
在上述分析素材、匹配模板、生成视频过程中,电子设备均可以输出一些提示信息,以提示用户当前正在执行的步骤。这些提示信息的示例可参考图2G-图2I的相关描述。
在一些实施方式中,电子设备生成视频后,还可以自动播放视频,以便用户查看视频效果。示例性地,参考图2K,用户界面30示出了一种生成视频后自动播放视频的效果。当然,电子设备也可以在接收到用户触发播放视频的操作后,再播放视频。
S315,电子设备保存生成的视频。
电子设备可以在生成视频之后,自动保存视频。
或者,电子设备也可以在生成视频之后,响应于接收到的用户操作,再保存该视频。示例性地,该用户操作例如可以是作用于图2J所示用户界面30中的导出控件296C上的用户操作。
电子设备可以将视频保存至提供图像推荐功能的应用(例如图库)下的存储路径,还可将其存储至“剪辑”服务下的存储路径,或者同时存储至两个路径,这里不做限定。
S316,检测到用于分享视频的用户操作,将该视频分享至对应的对象。
电子设备保存生成的视频之后,就可以在基于其存储路径的用户界面中展示该视频,以供用户查看。示例性地,图2M-图2O示例性示出了电子设备展示该视频的一种方式。
电子设备检测到用于分享视频的用户操作后,可以将该视频分享至对应的对象。其中,该用于分享视频的用户操作可以实现为多种形式,这里不做限定,例如可包括图2O中作用于分享控件352上的用户操作。分享对象可以是联系人的设备、电子设备中的应用(如社交平台、备忘录、笔记等)、发现的附近设备、应用中的联系人所在的设备等等。电子设备将视频分享至的应用可以被称为第一应用,将视频分享至的设备可被称为第一设备。
不限于电子设备先展示视频,然后再分享该视频,在其他一些实施方式中,电子设备也可以先展示各个对象,然后选中其中的一个或多个对象,然后从图库或其他应用中找到生成的视频分享至该一个或多个对象。
上述图3B所示的图像推荐方法可以为用户推荐高质量及内容精彩的、不相似(即内容各异)的图像,从而让用户能够关注到这部分推荐的图像。并且,电子设备还可利用其推荐的图像生成视频,满足用户制作高质量且内容精彩且内容不重复的视频的需求。电子设备还可将生成的视频分享至社交平台或联系人,满足用户分享视频的需求。
上述图3B所示方法中,S305中评判图像是否是重复帧后,还可以利用判断结果执行重复图像的删除。此删除可以由电子设备直接执行,或者,由电子设备将建议删除的图像展示给用户并由用户决定是否删除重复图像。
上述图3B所示的方法中,S305中确定了图像的主题后,电子设备还可以向用户推荐同主题图像,以便用户查看到更多的同主题图像。
下面介绍本申请实施例提供的电子设备。
图7示出了本申请实施例提供的电子设备100的硬件结构示意图。该电子设备100用于执行前文方法实施例提供的图像推荐方法。
电子设备100可以包括处理器101,存储器102,无线通信模块103,移动通信模块104,天线103A,天线104A,电源开关105,传感器模块106,对焦马达107,摄像头108,显示屏109等。其中,传感器模块106可以包括陀螺仪传感器106A,加速度传感器106B,环境光传感器106C,图像传感器106D,距离传感器106E等。其中,无线通信模块103可以包括WLAN通信模块,蓝牙通信模块等。上述多个部分可以通过总线传输数据。
处理器101可以包括一个或多个处理单元,例如:处理器101可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
存储器102可以用于存储计算机可执行程序代码,可执行程序代码可以包括指令。处理器101通过运行存储在存储器102的指令,从而执行电子设备100的各种功能应用以及数据处理。
电子设备100的无线通信功能可以通过天线103A,天线104A,移动通信模块104,无线通信模块103,调制解调处理器以及基带处理器等实现。
天线103A和天线104A可以用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块104可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块104可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块104可以由天线104A接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块104还可以对经调制解调处理器调制后的信号放大,经天线104A转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。
无线通信模块103可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块103经由天线103A接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器101。无线通信模块103还可以从处理器101接收待发送的信号,对其进行调频,放大,经天线103A转为电磁波辐射出去。
电子设备100可以通过ISP,摄像头108,视频编解码器,GPU,显示屏109以及应用处理器等实现拍摄功能。
ISP用于处理摄像头108反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头108中。
摄像头108可用于捕获静态照片或动态照片或视频。物体通过镜头生成光学图像投射到图像传感器。图像传感器可以把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP可以将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
视频编解码器用于对数字图像压缩或解压缩。电子设备100可以支持一种或多种图像编解码器。这样,电子设备100代开或保存多种编码格式的图片或视频。
电子设备100可以通过GPU,显示屏109,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏109和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器101可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏109用于显示图像,视频等。显示屏109包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏109,N为大于1的正整数。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在本申请实施例中,摄像头108可用于采集图像。处理器101中的AP或GPU等可用于分析当前帧预览图像以获取该预览图像的标签,分析用户指定保存的图像以获取该图像的标签,还用于从多个图像中确定出推荐图像。处理器101中的AP或GPU等还可用于根据推荐图像生成视频。
存储器102可用于存储预览图像及该预览图像的标签,用户指定保存的图像以及该图像的标签,以及,基于推荐图像生成的视频。
显示屏109可用于显示展示给用户的各类信息,如上述实施例提及的用户界面等。
显示屏109、摄像头108、麦克风等信息输入器件还可用于接收用户操作,电子设备可响应这些用户操作执行对应的功能。
无线通信模块103、移动通信模块104等可用于将电子设备基于推荐图像生成的视频分享至其他设备。
电子设备100中各器件所执行的操作,具体可参考前文方法实施例的相关描述,这里不再详细展开。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的移动操作系统为例,示例性说明电子设备100的软件结构。
图8是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将移动操作系统分为四层,从上至下分别为应用程序层,应用程序框架层/核心服务层,系统库和运行时,以及内核层。
应用程序层可以包括一系列应用程序包。
如图8所示,应用程序包可以包括相机,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。应用程序层还可包括前文实施例提及的用于提供图像推荐功能的应用,如图库或其他的第三方应用。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。
电话管理器用于提供电子设备的通信功能。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。
运行时可以指程序运行时所需的一切代码库、框架等。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
应理解,上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本申请还提供一种电子设备,该电子设备可以包括:存储器和处理器。其中,存储器可用于存储计算机程序;处理器可用于调用所述存储器中的计算机程序,以使得该电子设备执行上述任意一个实施例中电子设备侧执行的方法。
本申请还提供一种电子设备,该电子设备可以包括:存储器和处理器。其中,存储器可用于存储计算机程序;处理器可用于调用所述存储器中的计算机程序,以使得该电子设备执行上述任意一个实施例中电子设备侧执行的方法。
本申请还提供了一种芯片系统,所述芯片系统包括至少一个处理器,用于实现上述任一个实施例中电子设备侧所涉及的功能。
在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存程序指令和数据,存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
可选地,该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
可选地,该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置,本申请实施例并不限定。示例性地,存储器可以是非瞬时性处理器,例如只读存储器ROM,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型,以及存储器与处理器的设置方式不作具体限定。
示例性地,该芯片系统可以是现场可编程门阵列(field programmable gatearray,FPGA),可以是专用集成芯片(application specific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processorunit,CPU),还可以是网络处理器(network processor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logic device,PLD)或其他集成芯片。
本申请还提供一种计算机程序产品,所述计算机程序产品包括:计算机程序(也可以称为代码,或指令),当所述计算机程序被运行时,使得计算机执行上述任一个实施例中电子设备侧所执行的方法。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)。当所述计算机程序被运行时,使得计算机执行上述任一个实施例中电子设备侧所执行的方法。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solidstate disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上所述仅为本申请技术方案的实施例而已,并非用于限定本申请的保护范围。凡根据本申请的揭露,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (26)
1.一种图像推荐方法,其特征在于,所述方法应用于电子设备,所述方法包括:
显示预览界面,所述预览界面显示有所述电子设备的摄像头上报的预览图像帧;
检测到用于拍摄图像的用户操作,保存第一图像,所述第一图像包括所述预览界面显示的一个或多个预览图像帧;
确定所述第一图像的主题、分数、重复性,所述第一图像的分数根据所述第一图像的图像质量、构图、脸部美观度、人物动作中的任一个或多个得到,所述重复性指示所述第一图像和历史拍摄图像是否重复;
根据多个所述第一图像各自的分数、主题和重复性,从所述多个第一图像中确定出推荐图像;
显示所述推荐图像的指示信息。
2.根据权利要求1所述的方法,其特征在于,
所述方法还包括:在显示所述预览界面过程中,确定所述预览界面显示的每一个预览图像帧的分数,其中,所述预览图像帧的分数根据所述预览图像帧的图像质量、构图、脸部美观度、人物动作中的任一个或多个得到;
确定所述第一图像的分数,具体包括:根据所述第一图像包含的一个或多个预览图像帧的分数,确定所述第一图像的分数。
3.根据权利要求2所述的方法,其特征在于,确定所述预览界面显示的每一个预览图像帧的分数,具体包括:
根据第j预览图像帧的图像质量确定第一分数,所述第j预览图像帧为所述预览界面显示的任一个预览图像帧;
判断所述第j预览图像帧是否包含主体,若是,则根据构图确定所述第j预览图像帧的第二分数;若否,则将所述第j预览图像帧的第二分数、第三分数、第四分数均置为0;
在所述第j预览图像帧包含主体的情况下,根据所述第j预览图像帧的主体类别,确定所述第j预览图像帧的第三分数;
在所述第j预览图像帧包含的主体为人物的情况下,根据所述人物的动作确定所述第j预览图像帧的第四分数;
计算所述第一分数、第二分数、第三分数、第四分数的加权平均分;
将所述加权平均分确定为所述第j预览图像帧的分数。
4.根据权利要求3所述的方法,其特征在于,根据第j预览图像帧的图像质量确定第一分数,具体包括:
根据所述第j预览图像帧的清晰度和/或对称性,确定第一分数;所述清晰度和/或对称性越高,所述第一分数越高。
5.根据权利要求3或4所述的方法,其特征在于,根据所述第j预览图像帧的主体类别,确定所述第j预览图像帧的第三分数,具体包括:
在所述第j预览图像帧的主体包含动物的情况下,若所述第j预览图像帧包含所述动物的脸部,则将所述第三分数置为高分,所述高分包括和满分之间的差值小于预设值的分数,所述满分为所述第三分数的打分区间中的最高分;
或者,
在所述第j预览图像帧的主体包含人物的情况下,根据所述第j预览图像帧中是否包含人脸、包含的人脸的睁闭眼情况、人脸的表情、人脸的姿态、人脸在所述第j预览图像帧中的区域、面积大小、占比大小、人脸数量中的任一个或多个,确定所述第三分数。
6.根据权利要求3-5任一项所述的方法,其特征在于,在所述第j预览图像帧的主体包含人物的情况下,确定所述第三分数,具体包括:
根据以下公式确定所述第三分数:
为所述第三分数;
Nface为所述第j预览图像帧包含的人脸个数;
se,i为第i张人脸的睁闭眼得分,所述第i张人脸睁眼时,se,i置为第一值,所述第i张人脸闭眼时,se,i置为第二值,所述第一值高于所述第二值;
sm,i为所述第i张人脸的笑脸得分,所述第i张人脸微笑时,sm,i置为第三值,所述第i张人脸未微笑时,sm,i置为第四值,所述第三值高于所述第四值;
sd,i为所述第i张人脸的姿态得分,所述第i张人脸面向镜头时,sd,i置为第五值,所述第i张人脸未面向镜头时,sd,i置为第六值,所述第五值高于所述第六值;
sb为所述第i张人脸的人脸大小影响系数,所述第i张人脸的大小在第一范围内时,sb置为第七值,所述第i张人脸的大小在第一范围外时,sb置为第八值,所述第七值大于所述第八值;
sN为所述第i张人脸的人脸占比系数,所述第i张人脸的面积占比越大,sN越大;
sc为构图美观系数,所述第i张人脸位于所述第j预览图像帧的第一区域时,sc置为第九值,所述第i张人脸位于所述第j预览图像帧的第一区域外时,sv置为第十值,所述第九值高于所述第十值,所述第一区域包含所述第j预览图像帧的中心区域;
sp为无人脸惩罚阈值,所述第j预览图像帧包含人脸时,sp为0,所述第j预览图像帧不包含人脸时,sp置为预设的无人脸惩罚阈值。
7.根据权利要求6所述的方法,其特征在于,
所述第一值、所述第三值、第五值,均为高分;
所述第二值、所述第四值、第六值,均为低分;
其中,所述高分包括和满分之间的差值小于预设值的分数,所述低分包括和满分之间的差值大于预设值的分数,所述满分为所述第三分数的打分区间中的最高分。
8.根据权利要求6或7所述的方法,其特征在于,所述第i张人脸和所述电子设备之间的距离不同时,相同的所述第i张人脸的大小对应不同的sb。
9.根据权利要求3-8任一项所述的方法,其特征在于,根据所述人物的动作确定所述第j预览图像帧的第四分数,具体包括:
判断所述第j帧预览图像帧中的人物是否包含预设的精彩动作;
若是,则所述第四分数等于动作评价输出算法输出的置信度和高分的乘积;
若否,则将所述第四分数置为低分;
其中,所述高分包括和满分之间的差值小于预设值的分数,所述低分包括和满分之间的差值大于预设值的分数,所述满分为所述第四分数的打分区间中的最高分。
10.根据权利要求2-9任一项所述的方法,其特征在于,根据所述第一图像包含的一个或的多个预览图像帧的分数,确定所述第一图像的分数,具体包括:
根据第一预览图像帧确定所述第一图像的分数,所述第一预览图像帧包括所述第一图像的所有预览图像帧中除转场帧以外的预览图像帧,所述转场帧包括信息量和图像质量达不到第一阈值的预览图像帧。
11.根据权利要求10所述的方法,其特征在于,根据第一预览图像帧确定所述第一图像的分数,具体包括:
确定所述第一预览图像帧中分数最高的精彩帧;
确定所述精彩帧、所述第一预览图像帧中所述精彩帧之前的第一预设数量个预览图像帧、所述第一预览图像帧中所述精彩帧之后的第二预设数量个预览图像帧的加权平均分;
将所述加权平均分确定为所述第一图像的分数。
12.根据权利要求1-11任一项所述的方法,其特征在于,确定所述第一图像的重复性,具体包括:
根据所述第一图像和所述历史拍摄图像的分数、包含人物是否运动、主体、相似度中的任一个或多个,确定所述第一图像的重复性。
13.根据权利要求1-12中任一项所述的方法,其特征在于,确定所述第一图像的重复性,具体包括:
如果所述第一图像和所述历史拍摄图像中任一个图像重复,则确定所述第一图像是重复的;如果所述第一图像和所述历史拍摄图像中全部图像都不重复,则确定所述第一图像是不重复的。
14.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:
仅在以下任一种情况下,所述第一图像和所述历史拍摄图像中的第二图像不重复,所述第二图像为所述历史拍摄图像中的任一个图像:
第一图像的分数高于第二图像的分数;
或者,所述第一图像的分数低于所述第二图像的分数,且,所述第一图像和所述第二图像中一个为运动帧,另一个不为运动帧;
或者,所述第一图像的分数低于所述第二图像的分数,且,所述第一图像和所述第二图像均为运动帧,且,运动时间大于预设的最小时间间隔;
或者,所述第一图像的分数低于所述第二图像的分数,且,所述第一图像和所述第二图像均为非运动帧,且,主体相同,且,所述第一图像和所述第二图像的相似度低于第二阈值。
15.根据权利要求1-14任一项所述的方法,其特征在于,所述第一图像的主题包括以下任一个:儿童、动物、建筑、植物、风景;所述第一图像的主题根据所述第一图像的内容确定。
16.根据权利要求1-15任一项所述的方法,其特征在于,根据多个所述第一图像各自的分数、主题和重复性,从所述多个第一图像中确定出推荐图像,具体包括:
根据多个所述第一图像各自的主题,将多个所述第一图像分为多个主题组;
针对每一个所述主题组,按照所述第一图像的分数和重复性排序,分数越高的排列在前,不重复的相比重复的排列在前;
从每一个主题组中根据先后排列顺序筛选所述第一图像,形成推荐图像。
17.根据权利要求1-16任一项所述的方法,其特征在于,根据多个所述第一图像各自的分数、主题和重复性,从所述多个第一图像中确定出推荐图像之前,所述方法还包括:
显示通知消息,所述通知消息用于提示用户查看推荐图像;
检测到作用于所述通知消息的用户操作。
18.根据权利要求17所述的方法,其特征在于,所述通知消息在以下任意时间点显示:
预设的固定时间;
在最新拍摄了第三预设数量个图像后;
在进入第一地点,并在所述第一地点拍摄了多个图像,在离开所述第一地点后。
19.根据权利要求1-18任一项所述的方法,其特征在于,显示所述推荐图像的指示信息,具体包括:
显示所述推荐图像的缩略图。
20.根据权利要求1-19任一项所述的方法,其特征在于,显示所述推荐图像的指示信息,具体包括:
显示所述多个所述第一图像的指示信息,并且,其中所述推荐图像的指示信息被选中。
21.根据权利要求1-20任一项所述的方法,其特征在于,显示所述推荐图像的指示信息之后,所述方法还包括:
检测到用于生成视频的用户操作;
根据所述推荐图像生成视频。
22.根据权利要求21所述的方法,其特征在于,根据所述推荐图像生成视频,具体包括:
根据所述推荐图像匹配音视频模板;
根据所述推荐图像和匹配的音视频模板,生成视频。
23.根据权利要求21或22所述的方法,其特征在于,根据所述推荐图像生成视频之后,所述方法还包括:
检测到用于分享视频的用户操作;
将所述视频分享至所述电子设备中的第一应用,或者,将所述视频分享至不同于所述电子设备的第一设备。
24.根据权利要求1-23任一项所述的方法,其特征在于,所述第一图像为动态照片时,保存所述第一图像具体包括:
将检测到用于拍摄图像的用户操作的时刻、所述时刻之前、所述时刻之后,所述预览界面所显示的预览图像帧以及所述电子设备检测到的声音,存储为动态照片。
25.一种电子设备,其特征在于,包括:存储器、一个或多个处理器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-24中任一项所述的方法。
26.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行,使得所述电子设备执行如权利要求1-24任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310558291.5A CN117688196A (zh) | 2023-05-17 | 2023-05-17 | 图像推荐方法、相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310558291.5A CN117688196A (zh) | 2023-05-17 | 2023-05-17 | 图像推荐方法、相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117688196A true CN117688196A (zh) | 2024-03-12 |
Family
ID=90125171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310558291.5A Pending CN117688196A (zh) | 2023-05-17 | 2023-05-17 | 图像推荐方法、相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117688196A (zh) |
-
2023
- 2023-05-17 CN CN202310558291.5A patent/CN117688196A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10127945B2 (en) | Visualization of image themes based on image content | |
WO2017157272A1 (zh) | 一种信息处理方法及终端 | |
EP4322027A2 (en) | Systems and methods that leverage deep learning to selectively store audiovisual content | |
CN115002340B (zh) | 一种视频处理方法和电子设备 | |
CN113727017B (zh) | 拍摄方法、图形界面及相关装置 | |
CN103327188B (zh) | 一种使用移动终端的自拍方法和移动终端 | |
US20220223181A1 (en) | Method for synthesizing videos and electronic device therefor | |
US11792504B2 (en) | Personalized videos | |
WO2022068511A1 (zh) | 视频生成方法和电子设备 | |
CN114827342A (zh) | 视频处理方法、电子设备及可读介质 | |
CN114926351A (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
US20230188830A1 (en) | Image Color Retention Method and Device | |
CN115242983B (zh) | 拍摄方法、电子设备及可读存储介质 | |
CN117688196A (zh) | 图像推荐方法、相关装置 | |
CN113875227A (zh) | 信息处理设备、信息处理方法和程序 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115002336A (zh) | 视频信息的生成方法、电子设备及介质 | |
CN115225756A (zh) | 确定目标对象的方法、拍摄方法和装置 | |
US20140153836A1 (en) | Electronic device and image processing method | |
CN115002337B (zh) | 视频处理方法及装置 | |
CN116347009B (zh) | 视频生成方法及电子设备 | |
CN117714774B (zh) | 视频特效封面的制作方法、装置、电子设备及存储介质 | |
WO2022228010A1 (zh) | 一种生成封面的方法及电子设备 | |
CN116708650A (zh) | 视频的浏览方法及装置 | |
CN116700550A (zh) | 视频处理方法、电子设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |