CN113297416A - 视频数据存储方法、装置、电子设备和可读存储介质 - Google Patents

视频数据存储方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113297416A
CN113297416A CN202110560239.4A CN202110560239A CN113297416A CN 113297416 A CN113297416 A CN 113297416A CN 202110560239 A CN202110560239 A CN 202110560239A CN 113297416 A CN113297416 A CN 113297416A
Authority
CN
China
Prior art keywords
video
pair information
target
frame pair
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110560239.4A
Other languages
English (en)
Inventor
舒科
闫嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202110560239.4A priority Critical patent/CN113297416A/zh
Publication of CN113297416A publication Critical patent/CN113297416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种视频数据存储方法、装置、电子设备和可读存储介质,涉及计算机技术领域,通过本申请实施例,在存储视频片段之前,用于视频数据存储的电子设备可以先确定多个视频片段之间的帧对信息。然后,以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。由于帧对信息可以表征两个视频片段之间具有关联关系,所以,本申请实施例可以在存储各视频片段时保留各视频片段之间的关联关系,在后续进行视频合成时,可以基于上述关联关系实现视频合成素材的快速检索,提高了视频合成的效率。

Description

视频数据存储方法、装置、电子设备和可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频数据存储方法、装置、电子设备和可读存储介质。
背景技术
目前,随着互联网技术的发展,线上服务平台的数量越来越多,人们可以通过终端设备来与线上服务平台进行交互,以获取相应的线上服务。
在线上服务的过程中,为了使得用户能够获得更好的体验,线上服务平台可以通过相应的应用程序在用户侧终端设备的显示屏显示一段合成视频。例如,该合成视频可以是带有虚拟人物形象的合成视频(该虚拟人物形象可以是在线客服界面所展示的虚拟客服人员,也可以是在线课堂界面所展示的虚拟老师等等),再例如,该合成视频也可以是带有虚拟卡通形象的合成视频。
然而,在相关技术中,若视频合成的素材数量过多,则在视频合成时需要花费大量的时间对视频合成的素材进行检索,这样,会导致视频合成的效率降低,因此,如何提高视频合成时的效率是目前亟需解决的问题。
发明内容
有鉴于此,本申请实施例提供一种视频数据存储方法、装置、电子设备和可读存储介质,以提高视频合成时的效率。
第一方面,提供了一种视频数据存储方法,所述方法应用于电子设备,所述方法包括:
获取多个视频片段。
确定多个视频片段之间的帧对信息,所述帧对信息用于表征对应的两个视频片段之间的关联关系。
以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储。
第二方面,提供了一种视频数据存储装置,所述装置应用于电子设备,所述装置包括:
获取模块,用于获取多个视频片段。
帧对信息模块,用于确定多个视频片段之间的帧对信息,所述帧对信息用于表征对应的两个视频片段之间的关联关系。
存储模块,用于以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储。
第三方面,本申请实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
通过本申请实施例,在存储视频片段之前,用于视频数据存储的电子设备可以先确定多个视频片段之间的帧对信息,其中,帧对信息可以用于表征对应两个视频片段之间具有较强的关联性。然后,可以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。这样,可以在存储各视频片段时保留各视频片段之间的关联关系,进而,当后续进行视频合成时,可以基于上述关联关系实现视频合成素材的快速检索,提高了视频合成的效率。
附图说明
通过以下参照附图对本申请实施例的描述,本申请实施例的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1为本申请实施例视频数据存储系统的示意图;
图2为本申请实施例视频数据存储方法的流程图;
图3为本申请实施例确定视频片段过程的流程图;
图4为本申请实施例数据库的示意图;
图5为本申请实施例图形数据库的示意图;
图6为本申请实施例确定合成视频过程的流程图;
图7为本申请实施例确定目标视频片段的流程图;
图8为本申请实施例视频数据存储装置的结构示意图;
图9为本申请实施例电子设备的结构示意图。
具体实施方式
以下基于实施例对本申请进行描述,但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了解决上述问题,本申请实施例提供一种视频数据存储系统,具体的,如图1所示,图1为本申请实施例的视频数据存储系统的示意图,该示意图包括:视频片段集合11、用于进行视频数据存储的电子设备12和数据库13。
其中,视频片段集合11中包括多个视频片段(视频片段111、视频片段112、视频片段113和视频片段114),在本申请实施例中,视频片段集合11中的各视频片段可以作为待存储的视频片段。
需要说明的,视频片段集合11包括的视频片段数量为大于等于2的自然数,本申请实施例对视频片段的数量不做限定。
电子设备12可以是终端,也可以是服务器。其中,终端可以是智能手机、平板电脑或者个人计算机(Personal Computer,PC)等,服务器可以是单个服务器,也可以是以分布式方式配置的服务器集群,还可以是云服务器。
数据库13中可以包括多个作为合成素材的视频片段。在本申请实施例中,若电子设备12将视频片段集合11中的各视频片段存入数据库13,则被存入的视频片段可以作为后续视频合成的素材。
在进行视频数据存储的过程中,电子设备12可以接收视频片段集合11中的各视频片段,然后确定视频片段集合11中各视频片段之间的帧对信息,其中,帧对信息可以用于表征两个视频片段之间的关联关系,该关联关系可以用于表征对应两个视频片段之间具有较强的关联性,也就是说,具有帧对信息的两个视频片段可以进行拼接合成。
需要说明的,在数据库13中,并不是任意两个视频片段之间均具有帧对信息,也就是说,在数据库13中,可以包括存在帧对信息的两个视频片段,也可以包括不存在帧对信息的两个视频片段。
当电子设备12确定帧对信息之后,可以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,将各视频片段和各帧对信息存储至数据库13。
在后续进行视频合成时,用于视频合成的电子设备可以根据数据库13中各视频片段之间的关联关系,快速确定视频合成的素材。
通过本申请实施例,在存储视频片段之前,用于视频数据存储的电子设备可以先确定多个视频片段之间的帧对信息,其中,帧对信息可以用于表征对应两个视频片段之间具有较强的关联性。然后,可以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。这样,可以在存储各视频片段时保留各视频片段之间的关联关系,进而,当后续进行视频合成时,可以基于上述关联关系实现视频合成素材的快速检索,提高了视频合成的效率。
下面将结合具体实施方式,对本申请实施例提供的视频数据存储方法进行详细的说明,如图2所示,具体步骤如下:
在步骤21,获取多个视频片段。
其中,步骤21中的多个视频片段可以是来自于同一视频的不同视频片段,也可以是来自于不同视频的不同视频片段。
在一种优选的实施方式中,本申请实施例可以针对一段原始视频确定各视频片段。
具体的,该过程可以执行为:确定原始视频,针对原始视频进行目标检测,确定各目标帧,以及基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段。
其中,原始视频为一段适用于本申请的视频,例如,原始视频可以是通过摄像设备录制的视频,当该视频经过合法授权之后,本申请实施例可以将该视频用于视频片段的确定。
在一个在线课堂的场景下,原始视频可以是通过摄像设备对老师进行拍摄而录制的视频,当在线课堂平台接收到该原始视频后,可以基于该原始视频确定视频片段。
另外,目标帧至少包括目标检测对应的检测对象,该检测对象可以通过预先训练的目标检测模型确定。具体的,目标检测模型通过对原始视频中的视频帧进行区域选择、特征提取以及特征分类,可以检测原始视频中的视频帧是否包含检测对象。
在本申请实施例中,目标检测的结果可以用于表征原始视频各视频帧中是否存在被检测的目标(即检测对象),具体的,目标检测的结果可以通过数值进行表示,若目标检测结果大于0,则表征原始视频的视频帧中存在被检测的目标,反之则不存在。当然,目标检测的结果也可以通过其它方式进行表示,例如,可以通过分类结果的方式表示目标检测的结果,其中,分类结果可以包括“是”和“否”,分类结果“是”可以表征原始视频的视频帧中存在被检测的目标,分类结果“否”可以表征原始视频的视频帧中不存在被检测的目标。
需要说明的,本申请实施例可以对原始视频的各个视频帧同时进行目标检测,也可以对原始视频的各个视频帧逐个进行目标检测。
在确定各目标帧之后,本申请实施例可以对各目标帧进行合并,确定各视频片段。
其中,本申请实施例确定的各视频片段可以用于后续的视频合成。
在实际应用中,本申请实施例可以将内容较为连贯的多个目标帧确定为一个视频片段,反之,若两个目标帧之间间隔过远,则表征该两个目标帧的内容大概率不连贯,因此,本申请实施例可以将这两个目标帧作为两个视频片段中的视频帧。
在本申请实施例中,可以基于对原始视频的目标检测,选取带有检测对象的目标帧。然后,本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段,其中,由于目标帧之间的间隔长短可以表征目标帧之间是否连续,因此,通过各目标帧之间的间隔,本申请实施例可以确定内容连贯的多个视频片段。这样,通过本申请实施例可以确定既带有检测对象,又内容连贯的多个视频片段,使得后续进行视频合成时可以得到质量较高的合成视频。
另一方面,在确定各视频片段之后,本申请实施例还可以确定各视频片段对应的类别。具体的,该过程可以执行为:确定视频片段中各目标帧对应的检测对象,以及将出现次数最多的检测对象的类别作为视频片段的视频类别。
其中,该视频类别可以通过目标检测后,检测对象的类别进行表示,例如,视频类别可以包括“OK”、“挥手”、“点头”等等。若视频片段A对应的视频类别为“挥手”,在表征该视频片段A的主要内容与挥手动作相关。
进一步的,在确定视频片段的视频类别之后,可以将视频片段、帧对信息以及视频类别一起进行存储。
通过本申请实施例,可以基于对原始视频的目标检测,选取带有检测对象的目标帧。然后,本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段并分类存储,其中,由于目标帧之间的间隔长短可以表征目标帧之间是否连续,因此,通过各目标帧之间的间隔,本申请实施例可以确定内容连贯的多个视频片段。这样,通过本申请实施例可以确定既带有检测对象,又内容连贯的多个待处理视频片段,使得后续进行视频合成时可以得到质量较高的合成视频。另外,由于本申请实施例还可以对视频片段进行分类存储,所以,通过本申请实施例还可以使得后续进行视频合成时具有较高的视频片段检索效率。
结合上述方法步骤,如图3所示,图3为本申请实施例的一种确定视频片段过程的流程图,具体包括如下步骤:
在步骤31,确定原始视频。
其中,原始视频为一段适用于本申请的视频,例如,原始视频可以是通过摄像设备录制的视频,当该视频经过合法授权之后,本申请实施例可以将该视频用于视频片段的确定。
在步骤32,对原始视频进行目标检测,确定目标检测结果。
其中,目标检测结果可以用于表征原始视频各视频帧中是否存在被检测的目标,具体的,目标检测结果可以通过数值进行表示,若目标检测结果大于0,则表征原始视频的视频帧中存在被检测的目标,反之则不存在。
需要说明的,本申请实施例可以对原始视频的各个视频帧同时进行目标检测,也可以对原始视频的各个视频帧逐个进行目标检测,图3将以逐个进行目标检测的方式进行说明。
在步骤33,判断目标检测结果是否大于0,若目标检测结果大于0,则执行步骤34,若目标检测结果小于等于0,则执行步骤31。
在实际应用中,目标检测结果一般通过“0”和“1”来表示,其中,“0”用于表征对应视频帧中不包含检测对象,“1”用于表征对应视频帧中包含检测对象。也就是说,在步骤33中,若目标检测结果大于0,则表征目标检测结果为“1”,即对应视频帧中包含检测对象。
在步骤34,确定目标帧,并将目标帧的帧序号加入预定列表。
在本申请实施例中,将以相邻目标帧之间视频帧的数量表示二者之间的间隔为例进行举例说明。其中,预定列表用于存储目标帧的帧序号,也就是说,预定列表中的帧序号对应的视频帧中均存在被检测的目标。
在步骤35,确定预定列表中相邻目标帧之间的间隔。
其中,图3以相邻目标帧之间视频帧的数量表示相邻目标帧之间的间隔。在实际应用中,也可以通过相邻目标帧之间的时间间隔表示相邻目标帧之间的间隔,也可以通过其它适用的方式进行表示。
在步骤36,判断相邻目标帧之间的间隔是否小于间隔阈值,若相邻目标帧之间的间隔小于间隔阈值,则执行步骤37,若相邻目标帧之间的间隔大于等于间隔阈值,则执行步骤38。
其中,步骤36对应判断条件中的间隔阈值可以通过数值进行表示,例如,该间隔阈值可以是1帧、2帧、3帧、4帧等等。
在步骤37,将目标帧加入临时列表。
在本申请实施例中,临时列表用于存储满足步骤36对应条件的目标帧,也就是说,临时列表中所存储的各目标帧可以用于组成一段连续的视频片段。
在步骤38,基于临时列表生成视频片段。
在基于临时列表生成视频片段的过程中,可以对临时列表所存储的目标帧进行补帧处理,具体的,若相邻目标帧之间存在视频帧间隔,则可以在该相邻目标帧之间进行补帧,以使得视频片段具有良好的连贯性。
在步骤39,确定视频片段的类别并存储视频片段。
通过本申请实施例,可以基于对原始视频的目标检测,选取带有检测对象的目标帧。然后,本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段并分类存储,其中,由于目标帧之间的间隔长短可以表征目标帧之间是否连续,因此,通过各目标帧之间的间隔,本申请实施例可以确定内容连贯的多个视频片段。这样,通过本申请实施例可以确定既带有检测对象,又内容连贯的多个待处理视频片段,使得后续进行视频合成时可以得到质量较高的合成视频。另外,由于本申请实施例还可以对视频片段进行分类存储,所以,通过本申请实施例还可以使得后续进行视频合成时具有较高的视频片段检索效率。
在步骤22,确定多个视频片段之间的帧对信息。
其中,帧对信息用于表征对应的两个视频片段之间的关联关系。具体的,帧对信息可以通过两个待处理视频片段之间的合成评价参数确定,该合成评价参数可以包括像素相似度、色彩相似度、比例相似度和光流值等等,本申请实施例可以通过其中的一种或多种参数对两个待处理视频片段是否可以拼接进行合成评价。
在一种优选的实施方式中,上述步骤22可以执行为:从各视频片段中确定第一视频片段和第二视频片段,计算各第一视频帧分别与各第二视频帧之间的合成评价参数,以及响应于合成评价参数满足预定条件,生成第一视频片段和第二视频片段之间的帧对信息。
其中,第一视频片段包括至少一个第一视频帧,第二视频片段包括至少一个第二视频帧,合成评价参数包括像素相似度、色彩相似度、比例相似度和光流值中的至少一种
在本申请实施例中,帧对信息是用于表征两个视频片段可以进行拼接的信息,因此,可以通过两个视频片段中适当位置的视频帧来判断该两个视频片段是否可以进行拼接。
例如,第一视频帧可以是第一视频片段的最后n帧中的任一帧,第二视频帧可以是第二视频片段的起始m帧中的任一帧。当然,第一视频帧也可以是第一视频片段的起始n帧中的任一帧,第二视频帧也可以是第二视频片段的最后m帧中的任一帧。其中,m和n为自然数,其数值可以根据实际情况进行设置。
在确定各第一视频帧和各第二视频帧之后,本申请实施例可以确定各第一视频帧分别与各第二视频帧之间的合成评价参数,基于合成评价参数,本申请实施例可以对各第一视频帧与各第二视频帧之间的关联性进行评价,若合成评价参数满足预定条件,则可以生成第一视频片段和第二视频片段之间的帧对信息。
以合成评价参数中的色彩相似度为例,通过色彩相似度可以基于两个视频片段之间的颜色差异度对这两个视频片段进行合成评价,若这两个视频片段之间的颜色差异度没有超出预定的差异度阈值,则说明这两个视频片段可以进行视频拼接,进而,可以针对这两个视频片段生成一个帧对信息,以表征这两个视频片段之间的关联关系。
另外,若合成评价参数中包括多项参数,则在一种情况下,响应于合成评价参数(也即任一第一视频帧与任一第二视频帧之间的合成评价参数)中任一项参数满足该预定条件,生成帧对信息。
在另一种情况下,响应于合成评价参数中预定比例的参数满足该预定条件,生成帧对信息。其中,该预定比例可以是根据实际情况进行设置的比例,例如50%、70%、90%等等。
在另一种情况下,响应于合成评价参数中全部的参数满足该预定条件,生成帧对信息。
通过设置帧对信息,可以确保在视频合成过程中,相邻两个素材之间是具有相关性的,即增加了合成视频整体的流畅程度,相较于直接合成的视频,本申请实施例基于帧对信息可以得到具有连贯、流畅等优点的合成视频。
在步骤23,以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。
通过本申请实施例,在存储视频片段之前,用于视频数据存储的电子设备可以先确定多个视频片段之间的帧对信息,其中,帧对信息可以用于表征对应两个视频片段之间具有较强的关联性。然后,可以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。这样,可以在存储各视频片段时保留各视频片段之间的关联关系,进而,当后续进行视频合成时,可以基于上述关联关系实现视频合成素材的快速检索,提高了视频合成的效率。
在一种优选的实施方式中,本申请实施例对视频片段和帧对信息进行存储时,还可以将视频片段对应的视频类别一并存储。具体的,步骤23可以执行为:确定各视频片段分别对应的视频类别,以及以各视频片段作为视频节点、以各帧对信息作为各视频节点之间的关联关系、以各视频类别作为类别节点,以类别所属关系作为各视频节点与类别节点的关联关系,对各视频片段、各帧对信息以及各视频类别进行存储。
也就是说,本申请实施例针对各视频片段进行存储后,数据库中至少包括各视频片段、各帧对信息以及各视频类别,例如,如图4所示,图4为本申请实施例的一种数据库的示意图,该示意图包括:数据库41、数据库41下的类别A、类别B、类别C、类别D以及帧对信息。
其中,在每个类别下均包括多个视频片段,视频片段与视频片段之间的关联关系可以通过数据库41中的帧对信息进行表示。
通过图4所示的数据库,可以存储各视频片段、各视频片段之间的帧对信息以及各视频片段对应的视频类别,当后续进行视频合成时,可以基于帧对信息实现视频合成素材的快速检索,提高了视频合成的效率。
在另一种优选的实施方式中,用于存储视频片段的数据库可以是图形数据库(Graph Database,Graph DB),具体的,上述步骤23可以执行为:以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,建立数据库。
如图5所示,图5为本申请实施例提供的一种图形数据库的示意图,该示意图包括多个节点(节点51-节点58)以及各节点之间的关联关系。
其中,每个节点可以分别对应一个视频片段。图5中的箭头用于表征两个节点之间存在关联关系,而且,箭头的方向用于表征在对应的关联关系中视频拼接的顺序。
需要说明的,在图5所示的图形数据库中可以存在没有关联关系的2个节点,例如,节点54和节点56之间没有直接的关联关系。
因此,在本申请实施例中,图形数据库中的各个节点之间可以存在关联关系,也可以不存在关联关系。但是,上述图形数据库中的每个节点都与至少一个其它节点存在关联关系。
在本申请实施例中,通过图形数据库中的节点以及关联关系,可以清楚简要的表示图形数据库中各个视频片段之间的关系。另外,由于图形数据库相较于传统数据库具有结构简单的优点,所以,通过图形数据库可以实现快速的存储以及快速查询,进而,在本申请实施例中,当需要存储或者检索大量视频片段以及大量帧对信息时,基于图形数据库可以实现快速存储视频片段以及快速检索视频片段。
在另一种情况下,图形数据库中还可以包括视频片段类别节点,在此情况下,图形数据库中的一部分节点可以分别对应一个视频片段,另一部分节点可以分别对应一个视频片段类别,此时,对应视频片段类别的节点即为视频片段类别节点。其中,该视频片段类别节点可以对应至少一个视频片段(即可以对应至少一个视频片段的节点)。
当电子设备基于视频片段类别进行检索时,通过在图像数据库中设置视频片段类别节点,可以使得电子设备能够快速检索到对应类别下的视频片段,提高了视频检索的效率。
另一方面,在确定并存储视频片段之后,若用于视频合成的电子设备接收到视频合成指令,则该电子设备可以根据接受到的视频合成指令以及各视频片段确定合成视频。
具体的,如图6所示,确定合成视频的过程可以包括如下步骤:
在步骤61,响应于接收到视频合成指令,根据视频合成指令确定多个目标视频片段。
其中,视频合成指令用于指定各目标视频片段的连接顺序。
由上述方法步骤可知,用于存储视频片段的数据库中包括各视频片段以及各视频片段之间的帧对信息。
在一种优选的实施方式中,用于存储视频片段的数据库中还可以包括各视频片段对应的视频类别,进而,步骤61可以执行为:响应于接收到视频合成指令,确定视频合成指令中的各目标类别标识,以及根据各目标类别标识和帧对信息,确定各目标类别标识分别对应的类别下的各目标视频片段。
其中,目标类别标识用于指定目标视频片段对应的类别。
具体的,如图7所示,图7为本申请实施例的一种确定目标视频片段的流程图。
在确定目标视频片段的过程中,用于视频合成的电子设备72可以接收视频合成指令71,其中,视频合成指令71中包括目标类别标识(类别A、类别C和类别D)和指定的连接顺序(C-D-A)。
当电子设备72接收到该视频合成指令71后,可以根据视频合成指令71中的目标类别标识和视频片段的连接顺序从数据库73中检索并获取对应的视频片段作为目标视频片段74。
其中,数据库73中包括多个类别的视频片段以及各视频片段对应的帧对信息,目标视频片段74包括视频片段a1、a3、c1、c2和d3。另外,数据库73中类别的数量不仅限于图7所示的4个类别。
由图7可知,数据库73中的帧对信息可以用于表征2个视频片段之间的关联关系,其中,该关联关系可以表征该2个视频片段可以进行拼接,同时,关联关系还可以包括该2个视频片段的连接顺序。例如,帧对信息“a1-b1”可以用于表征视频片段a1和视频片段b1可以进行拼接,同时视频片段a1和视频片段b1的连接顺序为a1在前、b1在后。
基于上述图7所示的内容,电子设备72可以基于视频合成指令71中的目标类别标识、视频合成指令71所指定的视频片段连接顺序和数据库73中的帧对信息,从数据库73中确定各目标视频片段74。
另外,图7中的数据库73也可以是如图5所示的图形数据库。
在另一种优选的实施方式中,视频合成指令也可以直接指定视频片段,具体的,该过程可以执行为:响应于接收到视频合成指令,确定视频合成指令中的各目标视频标识,以及根据各目标视频标识,确定各目标视频标识分别对应的目标视频片段。
其中,目标视频标识用于指定目标视频片段。
在步骤62,基于视频合成指令指定的连接顺序,对各目标视频片段进行合成操作,确定合成视频。
通过本申请实施例,由于在存储视频片段时还存储了各视频片段之间的帧对信息,所以在合成视频中,相邻两个目标视频片段之间具有较强的关联关系,使得合成视频具有较高的流程程度。
基于相同的技术构思,本申请实施例还提供了一种视频数据存储装置,如图8所示,该装置包括:获取模块81、帧对信息模块82和存储模块83。
获取模块81,用于获取多个视频片段。
帧对信息模块82,用于确定多个视频片段之间的帧对信息,所述帧对信息用于表征对应的两个视频片段之间的关联关系。
存储模块83,用于以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储。
在一些优选的实施例中,所述存储模块83,具体用于:
确定各视频片段分别对应的视频类别。
以各所述视频片段作为视频节点、以各帧对信息作为各视频节点之间的关联关系、以各视频类别作为类别节点,以类别所属关系作为各视频节点与类别节点的关联关系,对各所述视频片段、各帧对信息以及各视频类别进行存储。
在一些优选的实施例中,所述存储模块83,具体用于:
以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,建立数据库,所述数据库为图形数据库Graph Database。
在一些优选的实施例中,所述帧对信息模块82,具体用于:
从各视频片段中确定第一视频片段和第二视频片段,所述第一视频片段包括至少一个第一视频帧,所述第二视频片段包括至少一个第二视频帧。
计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数,所述合成评价参数包括像素相似度、色彩相似度、比例相似度和光流值中的至少一种。
响应于所述合成评价参数满足预定条件,生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中,所述获取模块81,具体用于:
确定原始视频。
针对所述原始视频进行目标检测,确定各目标帧,所述目标帧至少包括目标检测对应的检测对象。
基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段。
在一些优选的实施例中,所述装置还包括:
第一确定模块,用于确定所述视频片段中各目标帧对应的检测对象。
视频类别模块,用于将出现次数最多的检测对象的类别作为所述视频片段的视频类别。
在一些优选的实施例中,所述装置还包括:
第二确定模块,用于响应于接收到视频合成指令,根据所述视频合成指令确定多个目标视频片段,所述视频合成指令用于指定各目标视频片段的连接顺序。
合成模块,用于基于所述视频合成指令指定的连接顺序,对各目标视频片段进行合成操作,确定合成视频。
在一些优选的实施例中,所述第二确定模块,具体用于:
响应于接收到视频合成指令,确定所述视频合成指令中的各目标类别标识,所述目标类别标识用于指定目标视频片段对应的类别。
根据各所述目标类别标识和所述帧对信息,确定各所述目标类别标识分别对应的类别下的各目标视频片段。
通过本申请实施例,在存储视频片段之前,用于视频数据存储的电子设备可以先确定多个视频片段之间的帧对信息,其中,帧对信息可以用于表征对应两个视频片段之间具有较强的关联性。然后,可以各视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各视频片段和各帧对信息进行存储。这样,可以在存储各视频片段时保留各视频片段之间的关联关系,进而,当后续进行视频合成时,可以基于上述关联关系实现视频合成素材的快速检索,提高了视频合成的效率。
图9是本申请实施例的电子设备的示意图。如图9所示,图9所示的电子设备为通用地址查询装置,其包括通用的计算机硬件结构,其至少包括处理器91和存储器92。处理器91和存储器92通过总线93连接。存储器92适于存储处理器91可执行的指令或程序。处理器91可以是独立的微处理器,也可以是一个或者多个微处理器集合。由此,处理器91通过执行存储器92所存储的指令,从而执行如上所述的本申请实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线93将上述多个组件连接在一起,同时将上述组件连接到显示控制器94和显示装置以及输入/输出(I/O)装置95。输入/输出(I/O)装置95可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出装置95通过输入/输出(I/O)控制器96与系统相连。
本领域的技术人员应明白,本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现流程图一个流程或多个流程中指定的功能。
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
本申请的另一实施例涉及一种非易失性存储介质,用于存储计算机可读程序,所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域技术人员而言,本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频数据存储方法,其特征在于,所述方法包括:
获取多个视频片段;
确定多个视频片段之间的帧对信息,所述帧对信息用于表征对应的两个视频片段之间的关联关系;以及
以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储。
2.根据权利要求1所述的方法,其特征在于,所述以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储,包括:
确定各视频片段分别对应的视频类别;以及
以各所述视频片段作为视频节点、以各帧对信息作为各视频节点之间的关联关系、以各视频类别作为类别节点,以类别所属关系作为各视频节点与类别节点的关联关系,对各所述视频片段、各帧对信息以及各视频类别进行存储。
3.根据权利要求1所述的方法,其特征在于,所述以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储,包括:
以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,建立数据库,所述数据库为图形数据库Graph Database。
4.根据权利要求1所述的方法,其特征在于,所述确定多个视频片段之间的帧对信息,包括:
从各视频片段中确定第一视频片段和第二视频片段,所述第一视频片段包括至少一个第一视频帧,所述第二视频片段包括至少一个第二视频帧;
计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数,所述合成评价参数包括像素相似度、色彩相似度、比例相似度和光流值中的至少一种;以及
响应于所述合成评价参数满足预定条件,生成所述第一视频片段和所述第二视频片段之间的帧对信息。
5.根据权利要求1所述的方法,其特征在于,所述获取多个视频片段,包括:
确定原始视频;
针对所述原始视频进行目标检测,确定各目标帧,所述目标帧至少包括目标检测对应的检测对象;以及
基于各目标帧之间的间隔对各目标帧进行合并,确定各视频片段。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
确定所述视频片段中各目标帧对应的检测对象;以及
将出现次数最多的检测对象的类别作为所述视频片段的视频类别。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到视频合成指令,根据所述视频合成指令确定多个目标视频片段,所述视频合成指令用于指定各目标视频片段的连接顺序;以及
基于所述视频合成指令指定的连接顺序,对各目标视频片段进行合成操作,确定合成视频。
8.根据权利要求7所述的方法,其特征在于,所述响应于接收到视频合成指令,根据所述视频合成指令确定多个目标视频片段,包括:
响应于接收到视频合成指令,确定所述视频合成指令中的各目标类别标识,所述目标类别标识用于指定目标视频片段对应的类别;以及
根据各所述目标类别标识和所述帧对信息,确定各所述目标类别标识分别对应的类别下的各目标视频片段。
9.一种视频数据存储装置,其特征在于,所述装置包括:
获取模块,用于获取多个视频片段;
帧对信息模块,用于确定多个视频片段之间的帧对信息,所述帧对信息用于表征对应的两个视频片段之间的关联关系;以及
存储模块,用于以各所述视频片段作为视频节点,以各帧对信息作为各视频节点之间的关联关系,对各所述视频片段和各帧对信息进行存储。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法。
CN202110560239.4A 2021-05-21 2021-05-21 视频数据存储方法、装置、电子设备和可读存储介质 Pending CN113297416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110560239.4A CN113297416A (zh) 2021-05-21 2021-05-21 视频数据存储方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110560239.4A CN113297416A (zh) 2021-05-21 2021-05-21 视频数据存储方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113297416A true CN113297416A (zh) 2021-08-24

Family

ID=77323816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110560239.4A Pending CN113297416A (zh) 2021-05-21 2021-05-21 视频数据存储方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113297416A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704539A (zh) * 2021-09-09 2021-11-26 北京跳悦智能科技有限公司 一种视频序列存储与搜索方法及系统、计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704539A (zh) * 2021-09-09 2021-11-26 北京跳悦智能科技有限公司 一种视频序列存储与搜索方法及系统、计算机设备

Similar Documents

Publication Publication Date Title
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
CN113301385B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
CN106326391B (zh) 多媒体资源推荐方法及装置
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
WO2016187888A1 (zh) 基于字符识别的关键词通知方法及设备、计算机程序产品
CN109871490B (zh) 媒体资源匹配方法、装置、存储介质和计算机设备
CN109508406B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
US20220172476A1 (en) Video similarity detection method, apparatus, and device
CN111182367A (zh) 一种视频的生成方法、装置及计算机系统
CN111314732A (zh) 确定视频标签的方法、服务器及存储介质
CN110580508A (zh) 视频分类方法、装置、存储介质和移动终端
CN112199582A (zh) 一种内容推荐方法、装置、设备及介质
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
WO2024002092A1 (zh) 视频的推送方法、装置和存储介质
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
JP5984880B2 (ja) 画像処理装置
JP6917788B2 (ja) 要約映像生成装置及びプログラム
JP6793169B2 (ja) サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム
JP7268739B2 (ja) 学習データ生成装置、学習装置、識別装置、生成方法及びプログラム
CN111354013A (zh) 目标检测方法及装置、设备和存储介质
CN115269919A (zh) 一种短视频质量的确定方法、装置、电子设备及存储介质
CN111754518B (zh) 图像集合的扩充方法、装置及电子设备
CN113779403A (zh) 书籍资讯的获取方法、展示方法、服务端以及用户终端
JP6129815B2 (ja) 情報処理装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination