CN110401868B - 一种素材展示方法及装置 - Google Patents

一种素材展示方法及装置 Download PDF

Info

Publication number
CN110401868B
CN110401868B CN201910784262.4A CN201910784262A CN110401868B CN 110401868 B CN110401868 B CN 110401868B CN 201910784262 A CN201910784262 A CN 201910784262A CN 110401868 B CN110401868 B CN 110401868B
Authority
CN
China
Prior art keywords
display
point
part group
display part
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910784262.4A
Other languages
English (en)
Other versions
CN110401868A (zh
Inventor
刘雨晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910784262.4A priority Critical patent/CN110401868B/zh
Publication of CN110401868A publication Critical patent/CN110401868A/zh
Application granted granted Critical
Publication of CN110401868B publication Critical patent/CN110401868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及计算机技术领域,特别涉及一种素材展示方法及装置,以至少解决相关技术中进行素材展示时展示部位的选取不够灵活,部分展示部位不准确的问题,本公开方法包括:针对当前帧图像中预先设定的任意一个展示部位组,根据展示部位组中包含的展示部位在当前帧图像中的关键点确定展示部位组在当前帧图像中的第一展示点;若第一展示点与展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在第一展示点上展示展示部位组对应的素材。由于本公开实施例通过缓存前一帧的数据来校验两个展示点的位置是否处于偏移量之内,并以此来修正当前展示部位的位置,可以有效的减小贴图部位展示点选取的误差,使素材展示更加准确。

Description

一种素材展示方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种素材展示方法及装置。
背景技术
随着短视频应用、拍照与录像应用或小程序等应用的迅速发展,用户可以在录制视频、拍摄照片时使用应用里提供的各种素材来变换不同的风格或者增加一些魔法特效,使得摄影、录像更加具有趣味性。
目前,应用中提供的素材不仅可以添加在图像的背景中,还可以通过应用所具有的识别功能添加在人体某些部位上,例如面部贴图、身体关键点贴图等,使得用户可以轻松拍摄出各种可爱、搞笑或者具有奇幻风格的视频和图片。
在相关技术中,通过视频的方式在人体部位上进行素材展示时,首先需要获取人体展示部位的关键点,然后将素材在获取到的关键点上进行展示。然而相关技术在获取人体展示部位的关键点时,一次只能获取一个人体展示部位的关键点,这样素材只能在一个展示部位的关键点上进行展示,针对需要在不同展示部位之间进行展示的素材,目前还没有一种具体的展示方案。
发明内容
本公开提供一种素材展示方法、装置,以至少解决相关技术中进行素材展示时展示部位的选取不够灵活,部分展示部位不准确的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种素材展示方法,包括:
针对当前帧图像中预先设定的任意一个展示部位组,根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点;
若所述第一展示点与所述展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在所述第一展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,该方法还包括:
若所述第一展示点与所述第二展示点的位置偏移量大于所述预设值,则根据所述第二展示点和预设位置偏移量确定所述展示部位组在所述当前帧图像中的第三展示点,并在所述第三展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,所述一个展示部位组中包含两个展示部位;所述根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点步骤包括:
将所述展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心作为所述第一展示点。
一种可选的实施方式为,所述一个展示部位组中包含两个展示部位;在所述第一展示点上展示所述展示部位组对应的素材的步骤之前还包括:
确定所述展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据所述斜率确定所述展示部位组对应的素材相对于当前帧图像的第一旋转角度;
所述在所述第一展示点上展示所述展示部位组对应的素材步骤包括:
将所述展示部位组对应的素材按照预设方向旋转所述第一旋转角度后,在所述第一展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,所述在所述第三展示点上展示所述展示部位组对应的素材步骤包括:
将所述展示部位组对应的素材按照预设方向旋转第二旋转角度后,在所述第三展示点上展示所述展示部位组对应的素材;
其中,所述第二旋转角度为在前一帧图像中进行素材展示时所述展示部位组对应的素材相对于前一帧图像的旋转角度。
根据本公开实施例的第二方面,提供一种素材展示装置,包括:
第一确定单元,被配置为执行针对当前帧图像中预先设定的任意一个展示部位组,根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点;
素材展示单元,被配置为执行若所述第一展示点与所述展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在所述第一展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,所述第一确定单元被配置为执行若所述第一展示点与所述第二展示点的位置偏移量大于所述预设值,则根据所述第二展示点和预设位置偏移量确定所述展示部位组在所述当前帧图像中的第三展示点;
所述素材展示单元被配置为执行在所述第三展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,所述第一确定单元被配置为执行将所述展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心作为所述第一展示点;
一种可选的实施方式为,所述第一确定单元被配置为执行确定所述展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据所述斜率确定所述展示部位组对应的素材相对于当前帧图像的第一旋转角度;
所述素材展示单元,被配置为执行将所述展示部位组对应的素材按照预设方向旋转所述第一旋转角度后,在所述第一展示点上展示所述展示部位组对应的素材。
一种可选的实施方式为,所述素材展示单元,被配置为执行将所述展示部位组对应的素材按照预设方向旋转第二旋转角度后,在所述第三展示点上展示所述展示部位组对应的素材;
其中,所述第二旋转角度为在前一帧图像中进行素材展示时所述展示部位组对应的素材相对于前一帧图像的旋转角度。
根据本公开实施例的第三方面,提供一种素材展示的电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现本公开实施例第一方面中任一项所述的素材展示方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由素材展示的装置的处理器执行时,使得素材展示装置能够执行本公开实施例第一方面中任一项所述的素材展示方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
由于本公开实施例在进行素材展示时,不再是在获取的一个关键点上进行展示,而是预先设定一个展示部位组;其中展示部位组中包含两个展示部位,然后将展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心点作为第一展示点,这就扩大了素材可以展示部位的范围,在不同展示部位之间也可以素材的展示,而且,本公开实施例设置了一个位置偏移量,在确定素材第一展示点之前,如果第一展示点和展示部位组在前一帧图像中的对应的第二展示点的位置偏移量不大于预设值,则在第一展示点上展示素材,否则,就根据第二展示点与预设的位置偏移量来确定新的第三展示点,并在第三展示点上展示素材。通过缓存前一帧的数据来校验两个展示部位的位置是否处于偏移量之内,并以此来修正当前展示部位的位置,可以有效的减小贴图部位展示点选取的误差,使素材能更准确的在用户想要展示的部位展示。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种人体展示部位的示意图。
图2是根据一示例性实施例示出的一种素材展示方法的流程图。
图3是根据一示例性实施例示出的确定展示部位关键点的示意图。
图4是根据一示例性实施例示出的第一种确定第一展示点的示意图。
图5是根据一示例性实施例示出的第二种确定第一展示点的示意图。
图6是根据一示例性实施例示出的确定位置偏移量的示意图。
图7是根据一示例性实施例示出的第一种确定第一旋转角度的示意图。
图8是根据一示例性实施例示出的第二种确定第一旋转角度的示意图。
图9是根据一示例性实施例示出的确定第三展示点的示意图。
图10a是根据一示例性实施例示出的第一种确定第二旋转角度的示意图。
图10b是根据一示例性实施例示出的旋转第二角度后素材展示的示意图。
图11是根据一示例性实施例示出的素材展示的完整方法的流程图。
图12是根据一示例性实施例示出的一种素材展示装置的框图。
图13是根据一示例性实施例示出的一种素材展示的电子设备的框图。
图14是根据一示例性实施例示出的一种素材展示的电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下,对本公开实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)本公开实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
(2)“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(3)终端设备,为可以安装各类应用程序,并且能够将已安装的应用程序中提供的对象进行显示的设备,该终端设备可以是移动的,也可以是固定的。例如,手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)或其它能够实现上述功能的终端设备等。
(4)应用程序,为可以完成某项或多项特定工作的计算机程序,它具有可视的显示界面,能与用户进行交互。比如电子地图和快手等都可以称为应用程序。
(5)展示部位:
本公开实施例中的展示部位是指对象的展示部位,以对象是人为例,如图1所示的人体展示部位,包括但不限于:
头部、脖子、肩膀、肘关节、手腕、手、脊柱、臀部、大腿、膝盖、脚腕、脚。
(6)素材:
本公开实施例中的素材可以为应用于短视频中的魔法表情、贴纸、文字等。
本公开实施例可适用于使用魔法表情的短视频拍摄过程中,例如使用短视频APP录制人体相关魔法表情的短视频,此外本公开实施例同样适用于魔法表情的开发,实际过程中,魔法表情的开发过程就是模拟使用的过程。
在魔法表情的开发或使用的相关技术中,在素材展示时只能在人体的一个展示部位的关键点进行素材展示;例如,在展示部位为手时,在进行手势相关魔法表情时,由于手部抖动会造成在手上展示的素材晃动。
因此,相关技术中,由于在素材展示时仅根据一个身体展示部位的展示点进行素材展示,会导致素材晃动、在短视频中身体贴图不够平稳流畅。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
(7)短视频:
是指适合在休闲和移动时观看的视频,其长度从几秒到几分钟不等。
图2是根据一示例性实施例示出的一种素材展示方法的流程图,如图2所示,包括以下步骤:
在步骤S21中,针对当前帧图像中预先设定的任意一个展示部位组,根据展示部位组中包含的展示部位在当前帧图像中的关键点确定展示部位组在当前帧图像中的第一展示点;
在步骤S22中,若第一展示点与展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在第一展示点上展示展示部位组对应的素材。
本公开实施例中针对当前帧图像,可以预先定义多个展示部位组,且每个展示部位组中可以包含的多个展示部位;例如,将人体展示部位中的头和脖子作为一个展示部位组,将肩膀和肘关节作为一个展示部位组,将脚腕和脚作为一个展示部位组,等等。
一种可选的实施方式为,本公开实施例将当前帧图像中相邻的展示部位作为一个展示部位组;并且,将当前帧图像中包含的展示部位对应的关键点作为已生效的关键点。例如,以人体展示部位为例,在当前帧图像中包含的展示部位包括肘关节、手腕、脚腕、脚;则肘关节、手腕作为一个展示部位组,脚腕、脚作为一个展示部位组。
需要说明的是,本公开实施例在有多个展示部位组时,针对每一个展示部位组,均可以采用如图2所示的素材展示方法。
本公开实施例针对当前帧图像中任意一个展示部位组确定出一个第一展示点,该第一展示点为确定出的在当前帧图像中用于展示该展示部位组对应素材的位置。
实施中,在确定展示部位组在当前帧图像中的第一展示点时,可以根据展示部位组中每个展示部位在当前帧图像中的关键点来确定。其中,本公开实施例中一个展示部位对应一个关键点,一种可选的实施方式为展示部位对应的关键点可以为该展示部位的中心点。
如图3所示,以人体展示为例,当前帧图像展示部位组中包含颈部和肩胛,颈部在当前帧图像中的关键点为颈部的中心点A点,肩胛在当前帧图像中的关键点为肩胛的中心点B点。
一种可选的实施方式为,本公开实施例根据下列方式确定展示部位组在当前帧图像中的第一展示点:
将展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心点作为第一展示点。
例如,如图4所示,展示部位组中包含颈部和肩胛,颈部在当前帧图像中的关键点为颈部的中心点A点,肩胛在当前帧图像中的关键点为肩胛的中心点B点,将点A和点B组成线段的中心点C作为该展示部位组在当前帧图像中的第一展示点。
实施中,在确定展示部位组在当前帧图像中的第一展示点时,一种可选的方式为,根据展示部位组中两个展示部位在当前帧图像中的关键点的坐标,确定展示部位组在当前帧图像中的第一展示点;
具体的,可以以当前帧图像的某一点作为原点建立直角坐标系,从而确定展示部位在当前帧图像中的关键点的坐标。
例如,如图5所示,假设以当前帧图像左下角的像素点为原点建立直角坐标系,两个展示部位在当前帧图像中的关键点分别为点A、点B,其中,点A的坐标为(x1,y1),点B的坐标(x2,y2)。在根据这两个关键点确定第一展示点时,可以将这两个关键点的中心点确定为第一展示点,点A、点B的中心点C的坐标为(x3,y3);
其中,x3=(x1+x2)/2;
y3=(y1+y2)/2。
需要说明的是,针对本公开实施例中每一个展示部位组,均可以采用如图3、图4、图5所示的第一展示点的确定方法。
本公开实施例在根据展示部位组中每个展示部位在当前帧图像中的关键点确定出第一展示点之后,还需要判断确定出的第一展示点是否准确。
实施中,本公开实施例在确定出展示部位组在当前帧图像中的第一展示点之后,获取该展示部位组在前一帧图像中的第二展示点的位置,计算第一展示点与第二展示点之间的位置偏移量,根据计算出的位置偏移量判断通过展示部位组中的每个展示部位确定出的第一展示点是否准确,这样能减小由于图像的抖动所造成的误差,使展示素材能更准确的贴合在用户需要展示的部位。具体的,在第一展示点与第二展示点之间的位置偏移量不大于预设值时,确定通过展示部位组中的每个展示部位确定出的第一展示点准确,在第一展示点上展示该展示部位组对应的素材。
本公开实施例在确定展示部位组在前一帧图像中的第二展示点时,是将在前一帧图像中展示该展示部位组对应的素材时确定出的展示点作为第二展示点;
一种可选的方式为,本公开实施例在确定出在前一帧图像中该展示部位组对应的展示点之后,存储该展示点的位置信息。在需要判断确定出的该展示部位组在当前帧图像中的第一展示点是否准确时,可以直接获取前一帧图像中该展示部位组对应的展示点的位置信息。
本公开实施例在确定第一展示点和第二展示点之间的位置偏移量时,根据第一展示点在当前帧图像中的坐标以及第二展示点在前一帧图像中的坐标计算;
这里需要说明的是,在获取第一展示点在当前帧图像中的坐标以及第二展示点在前一帧图像中的坐标时,本公开实施例需要采用相同的方式为当前帧图像和前一帧图像建立直角坐标系。在确定第一展示点和第二展示点之间的位置偏移量时,将第一展示点的坐标和第二展示点坐标转换至在同一坐标系下,计算第一展示点的坐标和第二展示点坐标之间的距离。
例如,如图6所示,以当前帧图像和前一帧图像的左下角像素点为原点建立直角坐标系,将第一展示点的坐标和第二展示点坐标转换至在同一坐标系下,第一展示点的坐标为(x4,y4),第二展示点的坐标为(x5,y5),位置偏移量d为两点之间距离,则位置偏移量d可以通过下列公式计算:
Figure BDA0002177518830000101
本公开实施例在第一展示点和第二展示点之间的位置偏移量不大于预设值时,确定通过展示部位组中的每个展示部位确定出的第一展示点准确。
其中,本公开实施例的预设值为预先设定的数值,具体可以是本领域技术人员的经验数值或者本领域技术人员根据大量样本实验后得出的数值。
由于在录制视频时,两帧图像之间间隔的时间非常短,大约为0.1秒,正常情况下,在这0.1秒内同一个展示部位移动的距离会非常小,相应的两帧图像中针对同一个展示部位组确定出的两个展示点之间的位置偏移量也会非常的小,若确定出的第一展示点和第二展示点之间的位置偏移量不大于预设值,可以认为通过展示部位组中的每个展示部位确定出的第一展示点准确,在第一展示点展示该展示部位组对应的素材。
在第一展示点进行素材展示时,还需要确定素材相对于展示部位组的旋转角度,这样素材能够更好的贴合需要展示的展示部位组,让素材展示的更加自然、美观。因此,本公开实施例确定出展示部位组在当前帧图像的展示点之后,还需要确定素材相对于当前帧图像的旋转角度。
一种可选的实施方式为,根据下列方式确定素材相对于当前帧图像的第一旋转角度:
确定展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率确定素材相对于当前帧图像的第一旋转角度。
实施中,获取展示部位组中包含的两个展示部位在当前帧图像中的关键点的位置坐标,根据两个展示部位在当前帧图像中的关键点的位置坐标,计算两个关键点所在直线的斜率;根据计算出的斜率确定两个关键点所在直线与坐标轴的夹角,将确定出的直线与坐标轴的夹角作为第一旋转角度;
其中,第一旋转角度可以为直线与直角坐标系中的横轴的夹角,或者第一旋转角度为直线与直角坐标系中纵轴的夹角。
在第一展示点进行素材展示时,将展示部位组对应的素材按照预设方向旋转第一旋转角度后,在第一展示点上展示该展示部位组对应的素材;
其中,本公开实施例的预设方向为本领域技术人员预先设定的方向,预设方向可以为沿顺时针方向或沿逆时针方向。
例如,如图7所示,以当前帧图像左下角的像素点为原点建立直角坐标系,假设展示部位组中包含的两个展示部位在当前帧图像中的关键点为点A和点B,点A的坐标为(x6,y6),点B的坐标为(x7,y7),点A和点B所在直线的斜率k为:
k=(y7-y6)/(x7-x6);
根据点A和点B所在直线的斜率,确定点A和点B所在直线与y轴的夹角;并将点A和点B所在直线与y轴的夹角作为第一旋转角度。
在进行素材展示时,将展示部位组对应的素材沿着顺时针方向旋转该第一旋转角度后在第一展示点上进行展示。
又例如,如图8所示,以当前帧图像左下角的像素点为原点建立直角坐标系,假设展示部位组中包含的两个展示部位在当前帧图像中的关键点为点A和点B,点A的坐标为(x8,y8),点B的坐标为(x9,y9),点A和点B所在直线的斜率k为:
k=(y9-y8)/(x9-x8);
根据点A和点B所在直线的斜率,确定点A和点B所在直线与x轴的夹角;并将点A和点B所在直线与x轴的夹角作为第一旋转角度。
在进行素材展示时,将展示部位组对应的素材沿着逆时针方向旋转该第一旋转角度后在第一展示点上进行展示。
由于在录制视频时两帧图像之间间隔的时间非常短,在两帧图像之间同一个展示部位移动的距离会非常小,相应的两帧图像中针对同一个展示部位组确定出的两个展示点之间的位置偏移量也会非常的小,如果确定出的第一展示点和第二展示点之间的位置偏移量过大,那么可以确定通过展示部位组中的每个展示部位确定出的第一展示点不准确。
另外,在计算出第一展示点和第二展示点位置偏移量之后,如果第一展示点与第二展示点之间的位置偏移量大于预设值,确定通过展示部位组中的每个展示部位确定出的第一展示点不准确,则应该重新确定展示部位组在当前帧图像中的展示点。
具体的,本公开实施例根据展示部位组在前一帧图像中的第二展示点和预设位置偏移量确定展示部位组在当前帧图像中的第三展示点,并在第三展示点上展示该展示部位组对应的素材。
一种可选的实施方式为,将第二展示点的位置与预设的位置偏移量之和作为第三展示点。
具体的,获取展示部位组在前一帧图像中的第二展示点的位置的坐标;获取展示部位组在当前帧图像中的第一展示点的位置的坐标,在从第二展示点到第一展示点连线的方向上,在第二展示点的位置上加上预设的位置偏移量,所得为第三展示点。
如图9所示,将当前帧图像中的第一展示点与前一帧图像中的第二展示点转换到一个直角坐标系下,如图9中点A为前一帧图像中的第二展示点,点B为当前帧图像中的第一展示点,假设预设的位置偏移量为m,则根据点A的坐标以及预设的位置偏移量为m确定第三展示点位置,具体的,沿点A到点B的方向,在与点A之间的距离为m的位置确定为第三展示点位置。
在第三展示点进行素材展示时,不仅要确定素材展示的位置,还需要确定素材相对于展示部位组的旋转角度,这样素材能够更好的贴合需要展示的展示部位组,让素材展示的更加自然、美观。因此,本公开实施例确定出展示部位组在当前帧图像的展示点之后,还需要确定素材相对于当前帧图像的旋转角度。
一种可选的实施方式为,根据下列方式确定素材相对于当前帧图像的第二旋转角度:
第二旋转角度为在前一帧图像中进行素材展示时展示部位组对应的素材相对于前一帧图像的旋转角度。
具体的,本公开实施例在确定出前一帧图像中该展示部位组对应的素材相对于前一帧图像的旋转角度后,存储该素材相对于前一帧图像的旋转角度,在确定该素材需要在第三展示点上展示时,可以直接获取存储的该素材相对于前一帧图像的旋转角度,作为在第三展示点上进行素材展示时展示部位组对应的素材相对于当前帧图像的第二旋转角度。
在第三展示点进行素材展示时,将展示部位组对应的素材按照预设方向旋转第二旋转角度后,在第二展示点上展示该展示部位组对应的素材;
其中,本公开实施例的预设方向为本领域技术人员预先设定的方向,预设方向可以为沿顺时针方向或沿逆时针方向。
例如,如图10a所示,在前一帧图像中进行素材展示时,以前一帧图像左下角的像素点为原点建立直角坐标系,假设展示部位组中包含的两个展示部位在前一帧图像中的关键点为点C和点D,点C的坐标为(x10,y10),点D的坐标为(x11,y11),且将点C和点D所在直线与y轴的夹角作为前一帧图中展示部位组对应素材相对于前一帧图像的旋转角度,并存储展示部位组对应素材相对于前一帧图像的旋转角度。
在对当前帧图像进行素材展示时,获取展示部位组对应素材相对于前一帧图像的旋转角度作为素材相对于当前帧图像的第二旋转角度。
如图10b所示,假设在当前帧图像中确定出的需要展示该展示部位组对应的素材的第三展示点为点E,且获取到的展示部位组对应素材相对于前一帧图像的旋转角度为45,则将素材旋转45之后在点E进行展示,展示效果如图10b所示。
图11是根据一示例性实施例示出的一种素材展示的完整方法流程图,其中以在预先设定的任意一个展示部位组进行素材展示为例进行说明,如图11所示,包括以下步骤:
在步骤S1101中,根据展示部位组中包含的展示部位在当前帧图像中的关键点确定展示部位组在当前帧图像中的第一展示点;
在步骤S1102中,根据展示部位组中包含的展示部位在前一帧图像中的关键点确定展示部位组在当前帧图像中的第二展示点;
这里需要说明的是,步骤S1101和步骤S1102执行的先后顺序不作限定,可以先执行步骤S1101后执行S1102,或者先执行步骤S1102后执行S1101,还可以同时执行步骤S1101和S1102;
在步骤S1103中,判断第一展示点和第二展示点位置偏移量是否大于预设值;若是,执行S1106,若否执行S1104;
在步骤S1104中,确定展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据斜率确定展示部位组对应的素材相对于当前帧图像的第一旋转角度;
在步骤S1105中,在第一展示点上根据第一旋转角度展示展示部位组对应的素材;
在步骤S1106中,根据第二展示点和预设位置偏移量确定展示部位组在当前帧图像中的第三展示点;
在步骤S1107中,根据前一帧图像中进行素材展示时展示部位组对应的素材相对于前一帧图像的旋转角度确定第二旋转角度;
在步骤S1108中,在第三展示点上根据第二旋转角度展示展示部位组对应的素材。
基于同一发明构思,本申请实施例中还提供了一种素材展示装置,由于装置解决问题的原理与上述素材展示的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
图12是根据一示例性实施例示出的一种素材展示装置框图。参照图12,该装置包括第一确定单元1201、素材展示单元1202;
第一确定单元1201,被配置为执行针对当前帧图像中预先设定的任意一个展示部位组,根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点;
素材展示单元1202,被配置为执行若所述第一展示点与所述展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在所述第一展示点上展示所述展示部位组对应的素材。
可选地,所述第一确定单元1201具体用于:
若所述第一展示点与所述第二展示点的位置偏移量大于所述预设值,则根据所述第二展示点和预设位置偏移量确定所述展示部位组在所述当前帧图像中的第三展示点。
可选地,所述第一确定单元1201具体用于:
将所述展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心作为所述第一展示点。
可选地,所述第一确定单元1201具体用于:
确定所述展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据所述斜率确定所述展示部位组对应的素材相对于当前帧图像的第一旋转角度。
可选地,所述素材展示单元1202具体用于:
在所述第三展示点上展示所述展示部位组对应的素材。
可选地,所述素材展示单元1202具体用于:
将所述展示部位组对应的素材按照预设方向旋转所述第一旋转角度后,在所述第一展示点上展示所述展示部位组对应的素材。
图13是根据一示例性实施例示出的一种用于素材展示的电子设备1300的框图,该装置包括:
处理器1310;
用于存储所述处理器1310可执行指令的存储器1320;
其中,所述处理器1310被配置为执行所述指令,以实现本公开实施例中的素材展示方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器1320,上述指令可由电子设备1300的处理器1310执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是,本公开实施例的电子设备可以为终端设备或服务器;其中,在电子设备为终端设备时,如图14所示的电子设备1400包括:射频(Radio Frequency,RF)电路1410、电源1420、处理器1430、存储器1440、输入单元1450、显示单元1460、摄像头1470、通信接口1480、以及无线保真(Wireless Fidelity,WiFi)模块1490等部件。本领域技术人员可以理解,图14中示出的终端的结构并不构成对终端的限定,本申请实施例提供的终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图14对所述电子设备1400的各个构成部件进行具体的介绍:
所述RF电路1410可用于通信或通话过程中,数据的接收和发送。特别地,所述RF电路1410在接收到基站的下行数据后,发送给所述处理器1430处理;另外,将待发送的上行数据发送给基站。通常,所述RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。
此外,RF电路1410还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobilecommunication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
WiFi技术属于短距离无线传输技术,所述电子设备1400通过WiFi模块1490可以连接的接入点(Access Point,AP),从而实现数据网络的访问。所述WiFi模块1490可用于通信过程中,数据的接收和发送。
所述电子设备1400可以通过所述通信接口1480与其他终端实现物理连接。可选的,所述通信接口1480与所述其他终端的通信接口通过电缆连接,实现所述电子设备1400和其他终端之间的数据传输。
由于在本申请实施例中,所述电子设备1400能够实现通信业务,向其他联系人发送信息,因此所述电子设备1400需要具有数据传输功能,即所述电子设备1400内部需要包含通信模块。虽然图14示出了所述RF电路1410、所述WiFi模块1490、和所述通信接口1480等通信模块,但是可以理解的是,所述电子设备1400中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块),以进行数据传输。
例如,当电子设备1400为手机时,所述电子设备1400可以包含所述RF电路1410,还可以包含所述WiFi模块1490;当所述电子设备1400为计算机时,所述电子设备1400可以包含所述通信接口1480,还可以包含所述WiFi模块1490;当所述电子设备1400为平板电脑时,所述电子设备1400可以包含所述WiFi模块。
所述存储器1440可用于存储软件程序以及模块。所述处理器1430通过运行存储在所述存储器1440的软件程序以及模块,从而执行所述电子设备1400的各种功能应用以及数据处理,并且当处理器1430执行存储器1440中的程序代码后,可以实现本公开实施例素材展示的全部过程。
可选的,所述存储器1440可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、各种应用程序(比如通信应用)以及进行WLAN连接的各个模块等;存储数据区可存储根据所述终端的使用所创建的数据等。
此外,所述存储器1440可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元1450可用于接收用户输入的数字或字符信息,以及产生与所述电子设备1400的用户设置以及功能控制有关的键信号输入。
可选的,输入单元1450可包括触控面板1451以及其他输入终端1452。
其中,所述触控面板1451,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板1451上或在所述触控面板1451附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,所述触控面板1451可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给所述处理器1430,并能接收所述处理器1430发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板1451。
可选的,所述其他输入终端1452可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元1460可用于显示由用户输入的信息或提供给用户的信息以及所述电子设备1400的各种菜单。所述显示单元1460即为所述电子设备1400的显示系统,用于呈现界面,实现人机交互。
所述显示单元1460可以包括显示面板1461。可选的,所述显示面板1461可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置。
进一步的,所述触控面板1451可覆盖所述显示面板1461,当所述触控面板1451检测到在其上或附近的触摸操作后,传送给所述处理器1430以确定触摸事件的类型,随后所述处理器1430根据触摸事件的类型在所述显示面板1461上提供相应的视觉输出。
虽然在图14中,所述触控面板1451与所述显示面板1461是作为两个独立的部件来实现所述电子设备1400的输入和输入功能,但是在某些实施例中,可以将所述触控面板1451与所述显示面板1461集成而实现所述电子设备1400的输入和输出功能。
所述处理器1430是所述电子设备1400的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在所述存储器1440内的软件程序和/或模块,以及调用存储在所述存储器1440内的数据,执行所述电子设备1400的各种功能和处理数据,从而实现基于所述终端的多种业务。
可选的,所述处理器1430可包括一个或多个处理单元。可选的,所述处理器1430可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到所述处理器1430中。
所述摄像头1470,用于实现所述电子设备1400的拍摄功能,拍摄图片或视频。
所述电子设备1400还包括用于给各个部件供电的电源1420(比如电池)。可选的,所述电源1420可以通过电源管理系统与所述处理器1430逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出,所述电子设备1400还可以包括至少一种传感器、音频电路等,在此不再赘述。
本公开实施例还提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述任意一项素材展示方法或任意一项素材展示方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种素材展示方法,其特征在于,该方法包括:
针对当前帧图像中预先设定的任意一个展示部位组,根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点;所述一个展示部位组包括两个展示部位;
若所述第一展示点与所述展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在所述第一展示点上展示所述展示部位组对应的素材;
若所述第一展示点与所述第二展示点的位置偏移量大于所述预设值,则根据所述第二展示点和预设位置偏移量确定所述展示部位组在所述当前帧图像中的第三展示点,并在所述第三展示点上展示所述展示部位组对应的素材;
所述根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点步骤包括:将所述展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心作为所述第一展示点。
2.如权利要求1所述的方法,其特征在于,所述一个展示部位组中包含两个展示部位;在所述第一展示点上展示所述展示部位组对应的素材的步骤之前还包括:
确定所述展示部位组中包含的两个展示部位在当前帧图像中的关键点所在直线的斜率,根据所述斜率确定所述展示部位组对应的素材相对于当前帧图像的第一旋转角度;
所述在所述第一展示点上展示所述展示部位组对应的素材步骤包括:
将所述展示部位组对应的素材按照预设方向旋转所述第一旋转角度后,在所述第一展示点上展示所述展示部位组对应的素材。
3.如权利要求1所述的方法,其特征在于,所述在所述第三展示点上展示所述展示部位组对应的素材步骤包括:
将所述展示部位组对应的素材按照预设方向旋转第二旋转角度后,在所述第三展示点上展示所述展示部位组对应的素材;
其中,所述第二旋转角度为在前一帧图像中进行素材展示时所述展示部位组对应的素材相对于前一帧图像的旋转角度。
4.一种素材展示装置,其特征在于,包括:
第一确定单元,被配置为执行针对当前帧图像中预先设定的任意一个展示部位组,根据所述展示部位组中包含的展示部位在当前帧图像中的关键点确定所述展示部位组在所述当前帧图像中的第一展示点;所述一个展示部位组包括两个展示部位;
素材展示单元,被配置为执行若所述第一展示点与所述展示部位组在前一帧图像中的第二展示点的位置偏移量不大于预设值,则在所述第一展示点上展示所述展示部位组对应的素材;所述第一确定单元被配置为执行若所述第一展示点与所述第二展示点的位置偏移量大于所述预设值,则根据所述第二展示点和预设位置偏移量确定所述展示部位组在所述当前帧图像中的第三展示点;
所述素材展示单元被配置为执行在所述第三展示点上展示所述展示部位组对应的素材;
所述第一确定单元被配置为执行将所述展示部位组中包含的两个展示部位在当前帧图像中的关键点的中心作为所述第一展示点。
5.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求3中任一项所述的素材展示方法。
6.一种存储介质,其特征在于,当所述存储介质中的指令由素材展示的装置的处理器执行时,使得素材展示的装置能够执行如权利要求1至权利要求3中任一项所述的素材展示方法。
CN201910784262.4A 2019-08-23 2019-08-23 一种素材展示方法及装置 Active CN110401868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910784262.4A CN110401868B (zh) 2019-08-23 2019-08-23 一种素材展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910784262.4A CN110401868B (zh) 2019-08-23 2019-08-23 一种素材展示方法及装置

Publications (2)

Publication Number Publication Date
CN110401868A CN110401868A (zh) 2019-11-01
CN110401868B true CN110401868B (zh) 2023-01-20

Family

ID=68328977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910784262.4A Active CN110401868B (zh) 2019-08-23 2019-08-23 一种素材展示方法及装置

Country Status (1)

Country Link
CN (1) CN110401868B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483892A (zh) * 2017-09-08 2017-12-15 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
CN107967693B (zh) * 2017-12-01 2021-07-09 北京奇虎科技有限公司 视频关键点处理方法、装置、计算设备及计算机存储介质
CN108830900B (zh) * 2018-06-15 2021-03-12 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN109068053B (zh) * 2018-07-27 2020-12-04 香港乐蜜有限公司 图像特效展示方法、装置和电子设备
CN109241956B (zh) * 2018-11-19 2020-12-22 Oppo广东移动通信有限公司 合成图像的方法、装置、终端及存储介质
CN110084204B (zh) * 2019-04-29 2020-11-24 北京字节跳动网络技术有限公司 基于目标对象姿态的图像处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN110401868A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN108668083B (zh) 一种拍照方法及终端
CN108958615B (zh) 一种显示控制方法、终端及计算机可读存储介质
CN107977144B (zh) 一种截屏处理方法及移动终端
CN109992231B (zh) 投屏方法及终端
CN108495029B (zh) 一种拍照方法及移动终端
CN109525874B (zh) 一种截屏方法及终端设备
CN108495045B (zh) 图像拍摄方法、装置、电子装置以及存储介质
CN107087137B (zh) 呈现视频的方法和装置及终端设备
US20190116320A1 (en) Multiple Streaming Camera Navigation Interface System
CN111309218A (zh) 信息显示方法、装置及电子设备
CN108038825B (zh) 一种图像处理方法及移动终端
EP3561667B1 (en) Method for displaying 2d application in vr device, and terminal
US10963100B2 (en) Interactive object control method and apparatus, terminal, and computer-readable storage medium
CN108024073B (zh) 视频编辑方法、装置及智能移动终端
CN110944139B (zh) 一种显示控制方法及电子设备
CN115525383A (zh) 壁纸显示方法、装置、移动终端及存储介质
WO2022156598A1 (zh) 蓝牙连接方法、装置和电子设备
CN111124706A (zh) 一种应用程序分享方法及电子设备
CN108174109B (zh) 一种拍照方法及移动终端
CN110941378B (zh) 视频内容显示方法及电子设备
CN108881742B (zh) 一种视频生成方法及终端设备
CN108833791B (zh) 一种拍摄方法和装置
CN111064896A (zh) 设备控制方法及电子设备
CN109002245B (zh) 一种应用界面的操作方法及移动终端
CN105513098B (zh) 一种图像处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant