CN110503010B - 素材显示方法、装置以及电子设备、存储介质 - Google Patents

素材显示方法、装置以及电子设备、存储介质 Download PDF

Info

Publication number
CN110503010B
CN110503010B CN201910720432.2A CN201910720432A CN110503010B CN 110503010 B CN110503010 B CN 110503010B CN 201910720432 A CN201910720432 A CN 201910720432A CN 110503010 B CN110503010 B CN 110503010B
Authority
CN
China
Prior art keywords
determining
feature point
edge
feature points
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910720432.2A
Other languages
English (en)
Other versions
CN110503010A (zh
Inventor
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910720432.2A priority Critical patent/CN110503010B/zh
Publication of CN110503010A publication Critical patent/CN110503010A/zh
Application granted granted Critical
Publication of CN110503010B publication Critical patent/CN110503010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开公开了一种素材显示方法、装置以及电子设备、存储介质,涉及图像处理技术领域,该素材显示方法包括:响应于对素材标识的用户选择操作指令,确定待显示素材;确定待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息;根据检测到的特征点在当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;在当前帧图像中显示指定素材元素,指定素材元素为待显示素材对应的素材元素中刨除边缘特征点对应的素材元素之外的素材元素。通过该方式可以找出检测准确度低的特征点,而这些特征点是造成抖动的主要原因,故此在展示时通过仅展示准确度高的特征点的素材来减少甚至避免素材显示出现抖动的问题。

Description

素材显示方法、装置以及电子设备、存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种素材显示方法、装置以及电子设备、存储介质。
背景技术
随着社会的不断发展,人们越来越注重精神生活,希望通过视频、文字以及音乐等方式记录当下的美好生活。例如,通常人们利用视频拍摄软件内置的素材拍摄视频,以获得用户需求的视频效果。有些素材的使用,需要用户通过相应手势来控制素材的展示,如:通过张开手掌、伸出手指召唤闪电效果的素材等。
通过动作识别技术为视频增加特效素材,可以提高用户的体验。在通过动作识别以及特征点检测为视频增加特效时,需要检测手势操作的特征点,但是相关技术中检测手势操作的特征点的准确性较低,使得显示的素材有时会出现抖动,故此,需要改善此问题。
发明内容
本公开提供了一种素材显示方法、装置以及电子设备,用至少解决相关技术中由于检测特征点的准确度低造成的显示素材抖动的问题。
根据本公开实施例的第一方面,提供一种素材显示方法,包括:
响应于对素材标识的用户选择操作指令,确定待显示素材;
确定所述待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,其中,所述待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点;
根据检测到的所述特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;
在所述当前帧图像中显示指定素材元素,所述指定素材元素为所述待显示素材对应的素材元素中刨除所述边缘特征点对应的素材元素之外的素材元素。
可选的,所述在所述当前帧图像中显示指定素材元素之前,还包括:
确定所述边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。
可选的,所述根据检测到的特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点,包括:
根据各特征点的位置信息,确定所述各特征点与所述屏幕的各边界的距离;针对各特征点,若该特征点与至少一个边界的距离小于距离阈值,则确定该特征点为边缘特征点;若该特征点与各边界的距离均大于或等于所述距离阈值,则确定该特征点为非边缘特征点。
可选的,所述在所述当前帧图像中显示指定素材元素之前,还包括:
根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度;确定所述边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;所述其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
可选的,所述根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度,包括:
获取以所述当前帧图像为基准的连续多帧图像中所述各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量;根据各特征点的所述位置偏移量确定各特征点的运动速度。
根据本公开实施例的第二方面,提供一种素材显示装置,包括:
第一确定单元,被配置为响应于对素材标识的用户选择操作指令,确定待显示素材;
检测单元,被配置为确定所述待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,其中,所述待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点;
第二确定单元,被配置为根据检测到的所述特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;
显示单元,被配置为在所述当前帧图像中显示指定素材元素,所述指定素材元素为所述待显示素材对应的素材元素中刨除所述边缘特征点对应的素材元素之外的素材元素。
可选的,还包括:
边缘特征点位置确定单元被配置为在所述当前帧图像中显示指定素材元素之前,确定所述边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。
可选的,所述第二确定单元,被配置为:
根据各特征点的位置信息,确定所述各特征点与所述屏幕的各边界的距离;针对各特征点,若该特征点与至少一个边界的距离小于距离阈值,则确定该特征点为边缘特征点;若该特征点与各边界的距离均大于或等于所述距离阈值,则确定该特征点为非边缘特征点。
可选的,还包括:
特征点运动速度确定单元被配置为在当前帧图像中显示指定素材元素之前,根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度;确定所述边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;所述其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
可选的,所述特征点运动速度确定单元,被配置为:
获取以所述当前帧图像为基准的连续多帧图像中所述各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量;根据各特征点的所述位置偏移量确定各特征点的运动速度。
根据本公开实施例的第三方面,提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本公开实施例的第四方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开公开的一种素材显示方法、装置以及电子设备,首先响应于对素材标识的用户选择操作指令,确定待显示素材,然后确定待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,之后根据检测到的特征点在当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点,最后在当前帧图像中显示指定素材元素,指定素材元素为待显示素材对应的素材元素中刨除边缘特征点对应的素材元素之外的素材元素。通过该方式可以找出检测准确度低的特征点,而这些特征点是造成抖动的主要原因,故此在展示时通过仅展示准确度高的特征点的素材来减少甚至避免素材显示出现抖动的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1为本公开实施例提供的一种素材显示方法的流程示意图;
图2为本公开实施例提供的一种非显示素材元素的确定方法的流程示意图;
图3为本公开实施例提供的确定边缘特征点的流程示意图;
图4为本公开实施例提供的非显示素材元素的确定方法的流程示意图;
图5为本公开实施例提供的非显示素材元素的确定方法的流程示意图;
图6为本公开实施例提供的确定展示部位的各特征点的运动速度的方法的流程示意图;
图7为本申请实施例提供的一种素材显示装置的结构示意图;
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应理解这样的描述在适当情况下可以互换,以便本公开的实施例能够以除了本公开的图示或描述的内容以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开不仅适用于手势操作控制素材展示,也适用于其他的方式来控制素材展示。例如,张大嘴巴可唤出喷火效果的素材、用四肢的指定形态召唤素材,用道具控制素材等。在后文中将能够召唤出素材的对象统称为目标对象,唤出素材需要的特征点统称为特征点。
发明人发现,在拍摄视频时通过目标对象的特征点控制素材,增加拍摄的乐趣,给用户带来良好的体验,然而相关技术中通过目标对象的特征点控制素材时,由于未准确检测出准确性较低的特征点,使得屏幕中会出现显示素材不断抖动的状况,严重影响了视频的拍摄效果。
基于此,本公开提供了一种素材显示方法,如图1所示,该方法包括:
步骤101:响应于对素材标识的用户选择操作指令,确定待显示素材。
需要说明的是,用户打开视频拍摄软件后,可以根据拍摄需要选择所需的素材为待显示素材。例如,界面中可展示多个素材的缩略图,供用户查看选择相应的素材。
步骤102:确定待显示素材后,在当前帧图像中检测目标对象的特征点在当前帧图像中的位置信息,其中,所述待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点。
通常不同素材的显示对应不同的目标对象的特征点,如:手指闪电素材对应的展示部位为手指,其中手指的各个指腹为手指闪电素材对应的特征点。此外还要说明的是,待显示素材对应至少一个可独立控制的素材元素,其中,不同的素材元素对应不同的特征点,如:手指的各个指腹可单独控制相应的素材元素,小拇指的指腹对应的素材元素为小猫图案,无名指的指腹对应的素材元素为小狗图案,中指的指腹对应的素材元素为小兔子图案,食指的指腹对应的素材元素为小鸭子图案,大拇指的指腹对应的素材元素为小鸡图案。除了上述的不同素材元素对应不同的特征点外,还包括:同一素材中有关联关系的素材元素分别对应不同的特征点,如:上述的手指闪电素材可包括不同闪电点作为素材元素,也即是闪电素材元素对应不同的手指的指腹。
步骤103:根据检测到的特征点在当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点。
步骤104:在当前帧图像中显示指定素材元素,所述指定素材元素为待显示素材对应的素材元素中刨除所述边缘特征点对应的素材元素之外的素材元素。
当目标对象的特征点移出视频图像屏幕时,相关技术可能依然在不断寻找所有特征点,而这些特征点在视频图像中显示位置可能不断变化,使得显示的素材不停的抖动,影响了视频的拍摄效果,而本公开通过检测特征点的位置信息确定处于预设的屏幕边缘位置的边缘特征点后,之后在当前帧图像中显示指定素材元素,使得素材元素的显示更加切合用户的实际需求。
在一个实施例中,为便于理解,将步骤104中需要显示的指定素材元素之外的素材元素统称为非显示素材元素。确定非显示素材元素之后,即可确定哪些素材元素需要显示。本公开中,非显示素材元素的确定方法可包含如下两种方案及其结合。
非显示素材元素的确定方案一:
如图2所示,可包括以下步骤:
步骤1041:针对各边缘特征点,判断该边缘特征点在连续的预设帧数的图像中是否均处于预设的屏幕边缘位置,若是,则执行步骤1042,若否,则执行步骤1043。
步骤1042:将该边缘特征点对应的素材元素确定为非显示素材元素。
步骤1043:确定该边缘特征点对应的素材元素不为非显示素材元素。
在确定显示哪些素材元素时,也可实施为,对边缘特征点进行进一步的筛选以便于能够更加准确的确定哪些素材元素需要显示。可实施为在当前帧图像中显示指定素材元素之前,确定边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。由此,可以将偶尔一帧图像中成为边缘特征点的特征点剔除,因为这些特征点偶尔出现在边缘位置并不会造成视觉上严重的抖动,故此,这些特征点对应的素材元素也可以显示。通过对边缘特征点的严格筛选使得最终确定的需要显示的素材元素更加准确。
本公开实施例中,通过应用该方法确定的非显示素材元素是指在连续预设帧图像中均处于预设的边缘位置的特征点对应的素材元素。采用特征点在连续帧图像的位置能够准确的反应出该特征点一直处于边缘位置,使得确定的非显示素材元素更加准确合理,能够避免特征点偶尔在一帧图像中处于边缘位置就取消显示相应的素材元素导致的误判的可能性、以及频繁确定哪些素材元素为显示素材元素引发的需要更多的处理资源的问题,使得素材元素的显示更加切合用户的实际需求,故而对素材的控制准确度更高。
其中,步骤103实施时,可包括如图3所示的步骤:
步骤1031:根据各特征点的位置信息,确定各特征点与屏幕的各边界的距离。
步骤1032:针对各特征点,判断该特征点与至少一个边界的距离是否小于距离阈值,若是,则执行步骤1033,若否,则执行步骤1034。
步骤1033:确定该特征点为边缘特征点。
步骤1034:确定该特征点为非边缘特征点。
采用该方法只需要确定点到边界的距离,方案易于实现和实施。
当然,具体实施时,还可以采用其他的方法来确定特征点是否处于预设的屏幕边缘位置,均适用于本公开实施例。
非显示素材元素的确定方案二:
该方案可简述为进一步结合特征点的运动速度来筛选使用哪些边缘特征点对应的素材元素为显示素材元素。可实施为:在确定边缘特征点对应的素材元素为非显示素材元素之前,还可进一步的根据检测到的特征点在当前帧图像中的位置信息,确定各特征点的运动速度;并确定边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;其他特征点包括非边缘特征点,或其他特征点包括非边缘特征点以及边缘特征点。也即,采用运动速度差异大于或等于预设差值的边缘特征点对应素材元素为非显示素材元素。具体实施时,可如图4所示,包括如下步骤:
步骤401:根据检测到的特征点在当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点,以及确定各特征点的运动速度。
实施时,确定边缘特征点和确定特征点的运动速度的执行时机不受限制,也可以先确定各特征点的运动速度后,再确定处于预设的屏幕边缘位置的边缘特征点,也可以同时确定处于预设的屏幕边缘位置的边缘特征点以及各特征点的运动速度。
步骤402:在边缘特征点中,确定与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
步骤403:确定与至少一个其他特征点的运动速度差异大于或等于预设差值的边缘特征点对应的素材元素为非显示素材元素。
本公开通过该方式在边缘特征点中,选择与至少一个其他特征点的运动速度差异大于等于预设差值的边缘特征点对应的素材元素为非显示元素,该方式选择的非显示元素结合边缘特征点的速度信息,准确的挑选出特征点位置不断变化的特征点,使得确定的非显示素材元素更加准确。
图4所示的方法中,示出了从边缘特征点中挑选出速度差异大的边缘特征点,在另一个实施例中,提供另一种非显示素材元素确定方法,如图5所示该方法与图4所示方法的区别在于步骤502中采用剔除特征点的方式确定非显示素材元素,具体可包括如下步骤:
步骤501:根据检测到的特征点在当前帧图像中的位置信息,确定各特征点的运动速度。
步骤502:在位于预设的屏幕边缘位置的边缘特征点中,剔除与其他特征点的运动速度差异均小于预设差值的边缘特征点,得到剩余边缘特征点;其他特征点包括非边缘特征点,或其他特征点包括非边缘特征点以及边缘特征点。
步骤503:确定剩余边缘特征点对应的素材元素为非显示素材元素。
本公开在剔除了与其他特征点的运动速度差异均小于预设差值的边缘特征点后,得到剩余边缘特征点,剩余边缘特征点中处于预设的屏幕边缘位置的特征点对应的素材元素构成非显示素材元素,与图4提供的非显示素材元素的确定方法均可以提高非显示素材元素确定的准确度。
同理除了前述筛选出非显示素材元素外,也可实施为筛选出准确的边缘特征点,从而实现在减少或避免抖动的同时尽可能的展示更多的素材元素。可实施为在当前帧图像中显示指定素材之前,将连续的预设帧图像的图像处于预设屏幕边缘位置的特征点按照图4或图5所示的方法确定运动速度,进一步根据运动速度筛选边缘特征点,即:将与其他特征点的运动速度差异大于或等于预设差值的特征点确定为边缘特征点。由此,特征点经常变换位置也即用于较大的运动速度时造成抖动的原因之一,故此,将速度差异较大的特征点作为边缘特征点,并将其对的素材元素不进行显示,可以从视觉上避免抖动现象,提高对素材元素控制的准确性。
需要说明的是,步骤401和步骤501中,确定展示部位的各特征点的运动速度的方法,可实施为如图6所示,包括:
步骤601:获取以当前帧图像为基准的连续多帧图像中各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量。
步骤602:根据各特征点的位置偏移量确定各特征点的运动速度。
本公开通过该方式可以确定各特征点的运动速度。
非显示素材的确定方案一和方案二的结合,可实施为寻找满足方案一和方案二的条件的边缘特征点,即在连续的预设帧数的图像中均处于预设的屏幕边缘位置、并且运动速度差异大于或等于预设差值的边缘特征点。然后使用满足方案一和方案二的条件的边缘特征点对应的素材元素作为非显示素材元素。
参阅图7,为本公开实施例中一种素材显示装置的结构示意图,该装置包括:第一确定单元71、检测单元72、第二确定单元73以及显示单元74。
第一确定单元71,被配置为响应于对素材标识的用户选择操作指令,确定待显示素材;检测单元72,被配置为确定待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,其中,待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点;第二确定单元73,被配置为根据检测到的特征点在当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;显示单元74,被配置为在当前帧图像中显示指定素材元素,指定素材元素为待显示素材对应的素材元素中刨除边缘特征点对应的素材元素之外的素材元素。
可选的,还包括:边缘特征点位置确定单元,被配置为在所述当前帧图像中显示指定素材元素之前,确定所述边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。
可选的,第二确定单元73,被配置为:根据各特征点的位置信息,确定各特征点与屏幕的各边界的距离;针对各特征点,若该特征点与至少一个边界的距离小于距离阈值,则确定该特征点为边缘特征点;若该特征点与各边界的距离均大于或等于距离阈值,则确定该特征点为非边缘特征点。
可选的,还包括:特征点运动速度确定单元,被配置为在当前帧图像中显示指定素材元素之前,根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度;
确定所述边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;所述其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
可选的,特征点运动速度确定单元,被配置为:获取以当前帧图像为基准的连续多帧图像中各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量;根据各特征点的位置偏移量确定各特征点的运动速度。
在介绍了本公开示例性实施方式中的素材显示方法和装置之后,接下来,介绍本公开的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的图像处理方法中的步骤。例如,处理器可以执行如图1中所示的步骤101-步骤104。
下面参照图8来描述根据本申请的这种实施方式的电子设备130。图8显示的电子设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,电子设备130以通用计算装置的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得目标对象能与电子设备130交互的设备通信,和/或与使得所述电子设备130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,计算装置130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的素材显示方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像处理方法中的步骤,例如,计算机设备可以执行如图1中所示的步骤101-步骤104。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于素材显示的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,所述程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,所述可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在目标对象计算装置上执行、部分地在目标对象设备上执行、作为一个独立的软件包执行、部分在目标对象计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中,远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到目标对象电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照所述特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在所述计算机可读存储器中的指令产生包括指令装置的制造品,所述指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种素材显示方法,其特征在于,包括:
响应于对素材标识的用户选择操作指令,确定待显示素材;
确定所述待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,其中,所述待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点;
根据检测到的所述特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;
在所述当前帧图像中显示指定素材元素,所述指定素材元素为所述待显示素材对应的素材元素中刨除所述边缘特征点对应的素材元素之外的素材元素。
2.根据权利要求1所述的方法,其特征在于,所述在所述当前帧图像中显示指定素材元素之前,还包括:
确定所述边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。
3.根据权利要求1所述的方法,其特征在于,所述根据检测到的特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点,包括:
根据各特征点的位置信息,确定所述各特征点与所述屏幕的各边界的距离;
针对各特征点,若该特征点与至少一个边界的距离小于距离阈值,则确定该特征点为边缘特征点;若该特征点与各边界的距离均大于或等于所述距离阈值,则确定该特征点为非边缘特征点。
4.根据权利要求1或2所述的方法,其特征在于,所述在所述当前帧图像中显示指定素材元素之前,还包括:
根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度;
确定所述边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;所述其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
5.根据权利要求4所述的方法,其特征在于,所述根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度,包括:
获取以所述当前帧图像为基准的连续多帧图像中所述各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量;
根据各特征点的所述位置偏移量确定各特征点的运动速度。
6.一种素材显示装置,其特征在于,包括:
第一确定单元,被配置为响应于对素材标识的用户选择操作指令,确定待显示素材;
检测单元,被配置为确定所述待显示素材后,在当前帧图像中检测目标对象的特征点并确定各特征点在当前帧图像中的位置信息,其中,所述待显示素材对应至少一个可独立控制的素材元素,且不同的素材元素对应不同的特征点;
第二确定单元,被配置为根据检测到的所述特征点在所述当前帧图像中的位置信息,确定处于预设的屏幕边缘位置的边缘特征点;
显示单元,被配置为在所述当前帧图像中显示指定素材元素,所述指定素材元素为所述待显示素材对应的素材元素中刨除所述边缘特征点对应的素材元素之外的素材元素。
7.根据权利要求6所述的装置,其特征在于,还包括:
边缘特征点位置确定单元,被配置为在所述当前帧图像中显示指定素材元素之前,确定所述边缘特征点在连续的预设帧数的图像中均处于预设的屏幕边缘位置。
8.根据权利要求6所述的装置,其特征在于,所述第二确定单元,被配置为:
根据各特征点的位置信息,确定所述各特征点与所述屏幕的各边界的距离;
针对各特征点,若该特征点与至少一个边界的距离小于距离阈值,则确定该特征点为边缘特征点;若该特征点与各边界的距离均大于或等于所述距离阈值,则确定该特征点为非边缘特征点。
9.根据权利要求6或7所述的装置,其特征在于,还包括:
特征点运动速度确定单元,被配置为在当前帧图像中显示指定素材元素之前,根据检测到的特征点在所述当前帧图像中的位置信息,确定各特征点的运动速度;
确定所述边缘特征点与其他特征点的运动速度差异大于或等于预设差值的边缘特征点;所述其他特征点包括非边缘特征点,或所述其他特征点包括非边缘特征点以及边缘特征点。
10.根据权利要求9所述的装置,其特征在于,所述特征点运动速度确定单元,被配置为:
获取以所述当前帧图像为基准的连续多帧图像中所述各特征点在各帧图像中的位置信息,并根据各特征点在不同帧图像中的位置信息计算各特征点在不同帧图像中的位置偏移量;
根据各特征点的所述位置偏移量确定各特征点的运动速度。
11.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-5中任一权利要求所述的方法。
12.一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行如权利要求1-5中任一权利要求所述的方法。
CN201910720432.2A 2019-08-06 2019-08-06 素材显示方法、装置以及电子设备、存储介质 Active CN110503010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720432.2A CN110503010B (zh) 2019-08-06 2019-08-06 素材显示方法、装置以及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720432.2A CN110503010B (zh) 2019-08-06 2019-08-06 素材显示方法、装置以及电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110503010A CN110503010A (zh) 2019-11-26
CN110503010B true CN110503010B (zh) 2022-05-06

Family

ID=68586286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720432.2A Active CN110503010B (zh) 2019-08-06 2019-08-06 素材显示方法、装置以及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110503010B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344068B (zh) * 2021-05-31 2023-10-17 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072289A (zh) * 2007-06-11 2007-11-14 北京中星微电子有限公司 一种图像特效的自动生成方法及装置
CN108346171A (zh) * 2017-01-25 2018-07-31 阿里巴巴集团控股有限公司 一种图像处理方法、装置、设备和计算机存储介质
CN109240579A (zh) * 2018-09-26 2019-01-18 努比亚技术有限公司 一种触摸操作方法、设备和计算机可存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007138858A1 (ja) * 2006-05-25 2009-10-01 日本電気株式会社 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072289A (zh) * 2007-06-11 2007-11-14 北京中星微电子有限公司 一种图像特效的自动生成方法及装置
CN108346171A (zh) * 2017-01-25 2018-07-31 阿里巴巴集团控股有限公司 一种图像处理方法、装置、设备和计算机存储介质
CN109240579A (zh) * 2018-09-26 2019-01-18 努比亚技术有限公司 一种触摸操作方法、设备和计算机可存储介质

Also Published As

Publication number Publication date
CN110503010A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
US20200058270A1 (en) Bullet screen display method and electronic device
CN106970735B (zh) 一种信息处理方法及电子设备
WO2016109027A2 (en) Dynamic video summarization
CN110166842B (zh) 一种视频文件操作方法、装置和存储介质
US20160011755A1 (en) User interface usage simulation generation and presentation
US10901612B2 (en) Alternate video summarization
CN106921883B (zh) 一种视频播放处理的方法及装置
US11209915B2 (en) Method and apparatus for performing display of content according to detected moving track
US20160103574A1 (en) Selecting frame from video on user interface
JP6617041B2 (ja) プログラム、作業分析装置及び作業分析方法
CN111797733A (zh) 一种基于图像的行为识别方法、装置、设备和存储介质
CN110503010B (zh) 素材显示方法、装置以及电子设备、存储介质
CN112118483A (zh) 视频处理方法、装置、设备和存储介质
CN109034032B (zh) 图像处理方法、装置、设备及介质
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
CN111970560B (zh) 视频获取方法、装置、电子设备及存储介质
CN114374868A (zh) 调节视频播放速度的方法、装置、介质和计算设备
US20160034125A1 (en) List display control method and device
CN106569675B (zh) 一种提示框显示方法及装置
EP4221241A1 (en) Video editing method and apparatus, electronic device, and medium
CN111010606B (zh) 视频处理方法和装置
CN113923392A (zh) 视频录制方法、视频录制装置和电子设备
US10957085B2 (en) Methods and systems for adding content to images based on negative space recognition
CN109725804B (zh) 基于投影的轨迹识别方法、投影设备及存储介质
CN111970559A (zh) 视频获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant