CN111275097A - 视频处理方法及系统、图片处理方法及系统、设备、介质 - Google Patents
视频处理方法及系统、图片处理方法及系统、设备、介质 Download PDFInfo
- Publication number
- CN111275097A CN111275097A CN202010054717.XA CN202010054717A CN111275097A CN 111275097 A CN111275097 A CN 111275097A CN 202010054717 A CN202010054717 A CN 202010054717A CN 111275097 A CN111275097 A CN 111275097A
- Authority
- CN
- China
- Prior art keywords
- picture
- pictures
- clustering
- reference picture
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
视频处理方法及系统、图片处理方法及系统、设备、介质,所述方法包括:获取待处理视频的视频帧,得到各待聚类图片;从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。采用上述方案,使用户能够快速获取自身需要的内容信息。
Description
技术领域
本说明书实施例涉及信息处理技术领域,尤其涉及一种视频处理方法及系统、图片处理方法及系统、设备、介质。
背景技术
随着现代信息技术的进步,用户可以随时随地通过互联网浏览视频。但是,由于互联网上视频的数量过多或者单个视频的篇幅较长,用户需要花费不少时间去手动翻看,才能确定哪些视频或者单个视频中哪些片段包含自身需要的内容信息。
为了便于后续翻看和使用,用户通常会采取截图、剪辑、摘抄等人为操作方式获取视频中自身需要的内容信息。这些人为操作方式费时费力,且难以实现规模化处理,使得用户无法快速获取自身需要的内容信息。
发明内容
有鉴于此,本说明书实施例的一个方面,提供一种视频处理方法及系统、设备、介质,可以提供自动聚类的视频资源,使得用户能够快速获取自身需要的内容信息。
本说明书实施例的另一个方面,还提供一种图片处理方法及系统、设备、介质,可以提供自动聚类的图片资源,使得用户能够快速获取自身需要的内容信息。
本说明书实施例提供了一种视频处理方法,包括:
获取待处理视频的视频帧,得到各待聚类图片;
对各所述待聚类图片执行聚类处理,包括:
从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;
计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;
获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
可选地,视频处理方法还包括:
确定是否满足预设的聚类终止条件,如果否,继续对各所述待聚类图片执行下一轮的聚类处理;
其中,每一轮生成的聚类标签均不同。
可选地,所述视频处理方法还包括:
获取各所述图片集合中的图片的文本信息,并将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配;
在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
可选地,在所述将所述匹配的字符串作为所述图片集合中相应的图片的标题之后,还包括:
根据各所述图片集合中的图片的标题,确定所述图片集合中的图片的标题是否存在不同,获取所述图片的标题存在不同的图片集合,得到待处理图片集合;
按照预设的归一规则对所述待处理图片集合中的图片的标题进行归一化处理,得到归一化处理后的归一标题;
将所述归一标题替换为所述待处理图片集合中的图片的标题,得到处理后的图片集合。
可选地,在所述将所述归一标题替换为所述待处理图片集合中的图片的标题,得到处理后的图片集合之后,还包括:
将所述图片集合中的图片的标题与预设的第二关键字集合中的第二关键字进行匹配,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到待处理图片,其中,所述第二关键字集合为所述第一关键字集合的子集;
对各所述待处理图片执行标题替换处理,包括:
从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并生成一第三关键字,将所述第三关键字替换为所述第二基准图片的标题,其中,所述第三关键字未包含于所述第二关键字集合;
计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,并获取所述第二相似度值大于第二相似度阈值的第二非基准图片,得到待替换图片,将所述第三关键字替换为所述待替换图片的标题,其中,所述第二相似度阈值大于所述第一相似度阈值;
获取所述第二基准图片和所述待替换图片,得到标题处理图片;
确定是否满足预设的替换终止条件,如果否,继续对各所述待处理图片执行下一轮的标题替换处理,其中,每一轮生成的第三关键字均不同;
获取所述标题处理图片的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。
可选地,所述计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,包括以下任意一种:
计算各所述第二非基准图片中指定区域的图像特征与所述第二基准图片中指定区域的图像特征的第二图像相似度,将计算得到的各第二图像相似度值作为相应的第二非基准图片的第一相似度值;
计算各所述第二非基准图片中指定区域的文本特征与所述第二基准图片中指定区域的文本特征的第二文本相似度,将计算得到的各第二文本相似度值作为相应的第二非基准图片的第二相似度值;
计算各所述第二非基准图片中指定区域与所述第二基准图片中指定区域的第二图像相似度和第二文本相似度,得到各所述第二非基准图片的第二图像相似度值和第二文本相似度值,并对所述第二非基准图片的第二图像相似度值和第二文本相似度值分配权重系数并进行计算,将计算得到的各第二加权相似度值作为相应的第二非基准图片的第二相似度值。
本说明书实施例还提供了一种图片处理方法,包括:
获取待聚类图片;
对各所述待聚类图片执行聚类处理,包括:
从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;
计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;
获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
本说明书实施例还提供了一种视频处理系统,包括:
图片获取单元,适于获取待处理视频的视频帧,得到各待聚类图片;
聚类处理单元,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元包括:
图片选取子单元,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
本说明书实施例还提供了一种图片处理系统,包括:
图片获取单元,适于获取待聚类图片;
聚类处理单元,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元包括:
图片选取子单元,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
本说明书实施例还提供了一种数据处理设备,包括存储器和处理器;其中,所述存储器适于存储一条或多条计算机指令,所述处理器运行所述计算机指令时执行上述任一实施例所述方法的步骤。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述任一实施例所述方法的步骤。
采用本说明书实施例的视频处理方案或图片处理方案,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,通过计算各第一非基准图片的第一相似度值,可以对大于第一相似度阈值的第一非基准图片标注与第一基准图片相同的聚类标签,从而可以对待聚类图片进行自动聚类,得到标注聚类标签图片由此,可以为用户提供自动聚类的视频资源或图片资源,使得用户能够快速获取自身需要的内容信息。
进一步地,通过确定是否满足预设的聚类终止条件,如果否,继续对各所述待聚类图片执行下一轮的聚类处理;其中,每一轮生成的聚类标签均不同。在这一处理过程中,通过预设的聚类终止条件可以自动进行多轮聚类处理,每一轮生成的聚类标签均不相同,确保可以通过聚类标签区分获得的标注聚类标签图片,用户通过标注的聚类标签可以直观地进行筛选标注聚类标签图片,从而用户可以更加快捷、准确地找到所需的内容信息。
进一步地,通过获取所述标注聚类标签图片的帧时刻信息和聚类标签,并根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合,进而根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成,得到各所述聚类标签相应的子视频。采用上述方式,通过聚类标签和帧时刻信息可以自动生成各所述聚类标签相应的子视频,从而可以避免用户手动剪辑视频的操作过程,方便快捷,此外,也便于用户直接播放相应的子视频以获取相应的内容信息,从而可以提高用户交互体验。
进一步地,通过第二关键字集合中的第二关键字,可以获取需要执行标题替换处理的图片,作为待处理图片,之后,从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并通过大于所述第一相似度阈值的第二相似度阈值,将相似度更高的图片的标题替换为相同的标题,使得图片的标题可以起到更加准确的区分识别作用,通过聚类标签和标题可以对图片做更精细的聚类,提高图片集合的可靠性。
进一步地,通过计算各所述第二非基准图片中指定区域的图像特征与各所述第二基准图片中指定区域的图像特征的第二图像相似度;或者,可以计算各所述第二非基准图片中指定区域的文本特征与各所述第二基准图片中指定区域的文本特征的第二文本相似度;又或者,可以对各所述第二非基准图片中指定区域的第二图像相似度值和第二文本相似度值采用预设的权重系数进行计算。由此,通过指定区域可以避开图片中的干扰特征,提高第二相似度值的准确性。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对本说明书实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例中一种视频处理方法的流程图。
图2是本说明书实施例中另一种视频处理方法的流程图。
图3是本说明书实施例中一种标注聚类标签图片合成处理的流程图。
图4是本说明书实施例中一种生成图片标题的流程图。
图5是本说明书实施例中一种图片集合优化处理的流程图。
图6是本说明书实施例中一种获取子视频相应音频的方法的流程图。
图7是本说明书实施例中一种获取帧时刻区间的方法的流程图。
图8是本说明书实施例中一种图片处理方法的流程图。
图9是本说明书实施例中另一种获取图片标题的流程图。
图10是本说明书实施例中另一种图片集合优化处理的流程图。
图11是本说明书实施例中一种视频处理系统的结构示意图。
图12是本说明书实施例中一种图片处理系统的结构示意图。
具体实施方式
如背景技术所述,随着现代信息技术的进步,用户可以随时随地通过互联网浏览视频。但是,由于互联网上视频的数量过多或者单个视频的篇幅较长,用户需要花费不少时间去手动翻看,才能确定哪些视频或者单个视频中哪些片段包含自身需要的内容信息。为了便于后续翻看和使用,用户通常会采取截图、剪辑、摘抄等人为操作方式获取视频中自身需要的内容信息。这些人为操作方式费时费力,且难以实现规模化处理,使得用户无法快速获取自身需要的内容信息。
针对上述问题,本说明书实施例提供了一种视频处理方案,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,包括:可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;可以计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并可以获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;以及,可以获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
采用本说明书实施例的视频处理方案,可以提供自动聚类的视频资源,使得用户能够快速获取自身需要的内容信息。
为使本领域技术人员更加清楚地了解及实施本说明书实施例的构思、实现方案及优点,以下参照附图,通过具体应用场景进行详细说明。
参照图1所示的本说明书实施例中一种视频处理方法的流程图,在本说明书实施例中,可以包括如下步骤:
S11,获取待处理视频的视频帧,得到各待聚类图片。
在具体实施中,可以按照预设的采样频率或者帧间隔数,从待处理视频的视频流中获取视频帧。例如,可以按照每秒采集一帧的频率,从待处理视频的视频流中获取视频帧。又例如,可以按照每间隔10帧选取一帧,从待处理视频的视频流中获取视频帧。或者,也可以根据用户的选择,从待处理视频的视频流中获取用户所选中的视频帧。
其中,待处理视频可以是已录制完成的离线视频,也可以是直播中的在线视频。由此得到的各视频帧后续需进行聚类处理。为描述方便,在本说明书实施例中,可以将得到的视频帧称为待聚类图片。
并且,在得到各待聚类图片后,可以对各待聚类图片进行初始化处理,例如,分别为各待聚类图片分配第一状态标签,用于表示各待聚类图片的标签标注状态,通过对所述第一状态标签设置不同的标签值,可以表示是否已标注标签。例如,所述第一状态标签为1时,可以表示已标注标签;所述第一状态标签设置为0时,可以表示未标注标签。
S12,对各所述待聚类图片执行聚类处理,所述聚类处理可以包括如下步骤S121~S123:
S121,从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签。
其中,所述聚类标签的标签值可以为随机值,也可以为预设值。所述聚类标签的标签值可以为数值、字符或字符串中的至少一种。本说明书实施例对标签值的类型和长度不做限制。
在具体实施中,可以按照预设的选取规则从各所述待聚类图片中确定一待聚类图片作为第一基准图片。例如,可以按照各所述待聚类图片的排序,选取各所述待聚类图片中排序最前的待聚类图片或者排序最后的待聚类图片作为第一基准图片。又例如,可以按照各所述待聚类图片的排序,从各所述待聚类图片中随机选取一待聚类图片作为第一基准图片。或者,也可以让用户从各所述待聚类图片中选取一待聚类图片作为第一基准图片。
在为所述第一基准图片标注所述当前聚类标签后,可以为所述第一基准图片相应的第一状态标签设置表示已标注标签的标签值。
S122,计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签。
其中,可以根据实际情况设置第一相似度阈值。
在具体实施时,可以获取所述第一基准图片的特征和各所述第一非基准图片的特征,通过相似度算法可以分别计算所述第一基准图片的特征与各所述第一非基准图片的特征之间的第一相似度,计算得到的第一相似度值可以作为各所述第一非基准图片的第一相似度值。
并且,根据各所述第一非基准图片的第一相似度值和第一相似度阈值,确定所述第一非基准图片是否可以标注所述当前聚类标签。当所述第一非基准图片的第一相似度值大于第一相似度阈值时,可以为所述第一非基准图片标注所述当前聚类标签,当所述第一非基准图片的第一相似度值不大于第一相似度阈值时,不为所述第一非基准图片标注所述当前聚类标签。
对于所述第一相似度值大于第一相似度阈值的第一非基准图片,后续需进行聚类标签标注。为描述方便,本说明书实施例中,可以将获取到的所述第一相似度值大于第一相似度阈值的第一非基准图片,称为待标注图片。
在为所述待标注图片标注所述当前聚类标签后,可以为所述待标注图片相应的第一状态标签设置表示已标注标签的标签值。
在实施步骤S122时,可以对多个所述第一非基准图片执行并行处理,也可以按照各所述第一非基准图片的排序执行顺序处理,只要各第一非基准图片均得到处理即可。本说明书实施例对于步骤S122的具体实施方式不做限制。
例如,在一具体实施中,有1张第一非基准图片S,6张第一非基准图片,分别为第一非基准图片NS1~NS6。可以并行计算所述6张第一非基准图片NS1~NS6与所述第一基准图片S的第一相似度,得到第一非基准图片NS1~NS6的第一相似度值。然后,并行判断第一非基准图片NS1~NS6的第一相似度值是否大于第一相似度阈值,根据判断结果得到待标注图片,并为所述待标注图片标注所述当前聚类标签。
又例如,在另一具体实施中,有1张第一非基准图片S,6张第一非基准图片,分别为第一非基准图片NS1~NS6。可以先计算第一非基准图片NS1与所述第一基准图片S的第一相似度,得到第一非基准图片NS1的第一相似度值,并判断第一非基准图片NS1的第一相似度值是否大于第一相似度阈值,若是,则可以为第一非基准图片NS1标注所述当前聚类标签。以此类推,按照其余第一非基准图片NS2~NS6的排序,依次与所述第一基准图片S进行第一相似度计算,并判断得到的第一相似度值是否大于第一相似度阈值,根据判断结果得到待标注图片,并为所述待标注图片标注所述当前聚类标签。
在具体实施中,为了识别所有的第一非基准图片是否均已进行聚类处理,可以在确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片之后,为各所述第一非基准图片进行初始化处理。例如,分别为各所述第一非基准图片分配第二状态标签,用于表示各所述第一非基准图片在本轮聚类处理的相似度处理状态,通过为所述第二状态标签设置不同的标签值,可以表示是否已与所述第一相似度阈值完成匹配运算。例如,所述第二状态标签为1时,可以表示已与所述第一相似度阈值完成匹配运算;所述第二状态标签设置为0时,可以表示未与所述第一相似度阈值完成匹配运算。
当通过各所述第一非基准图片的第二状态标签的标签值,确定各所述第一非基准图片均已与所述第一相似度阈值完成匹配运算时,可以继续执行步骤S123。
S123,获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
在具体实施中,可以根据第一状态标签的标签值,确定标注当前聚类标签的待聚类图片,即所述第一基准图片和所述待标注图片,得到本轮的标注聚类标签图片,本轮聚类处理结束,得到的一组标注聚类标签图片可以作为与所述待处理视频相关的视频资源提供给用户。
由上述方案可知,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,通过计算各第一非基准图片的第一相似度值,可以对大于第一相似度阈值的第一非基准图片标注与第一基准图片相同的聚类标签,从而可以对待聚类图片进行自动聚类,得到标注聚类标签图片。由此,可以为用户提供自动聚类的视频资源,使得用户能够快速获取自身需要的内容信息。
在具体实施中,视频内容具有多样性,仅通过一轮聚类处理,所聚类得到的视频资源可能无法完全满足用户的需求。为此,用户可能需要手动进行多次聚类,操作相对复杂,影响用户体验。
为使用户能够更加快捷地从一个待处理视频中获得所需要的多样的视频资源,可以进行多轮聚类处理。具体而言,可以在每轮聚类处理结束后,预设有判断条件,根据判断结果确定是否对待聚类图片进行下一轮聚类处理。
参照图2,为本说明书实施例中另一种视频处理方法的流程图,与前述实施例不同之处在于,在执行完步骤S11和S12后,所述视频处理方法还可以包括:
S21,确定是否满足预设的聚类终止条件,如果否,则返回上述步骤S12,继续对各所述待聚类图片执行下一轮的聚类处理;如果是,则结束流程。
在具体实施中,在确定不满足预设的聚类终止条件时,可以继续执行下一轮的聚类处理,并通过第一状态标签确定各所述待聚类图片,从而执行步骤S121至步骤S123。以此类推,直至满足预设的聚类终止条件,即可结束处理流程。
其中,每一轮生成的聚类标签均不同。具体而言,在第一轮聚类处理中,生成的聚类标签的标签值为随机值或预设的初始值。为了确保每一轮生成的聚类标签均不同,在执行下一轮聚类处理时,可以采用以下至少一种方式生成聚类标签:
1)为本轮的聚类标签分配一随机值。
在具体实施中,随机值可以采用随机函数生成得到,并判断所述随机函数本轮生成的随机值是否不同于前几轮聚类标签的标签值,若所述随机函数本轮生成的随机值不同于前几轮聚类标签的标签值,则所述随机函数本轮产生的随机值可以作为本轮的聚类标签的标签值,否则重新生成随机值,直至所述随机函数本轮生成的随机值不同于前几轮聚类标签的标签值。
其中,所述随机值可以为数值、字符或字符串中的至少一种。本说明书实施例对随机值的类型和长度不做限制。
2)为本轮的聚类标签分配一累加值。
在具体实施中,累加值可以采用累加函数生成得到。所述累加函数为在上一轮聚类标签的标签值的基础上累加预设增量值。
其中,所述初始值可以为数值、字符或字符串中的至少一种,所述预设增量值可以为数值、字符或字符串中的至少一种。本说明书实施例对初始值和预设增量值的类型和长度不做限制。
采用上述任意一种方式或者采用上述组合方式,在进行多轮聚类处理时,可灵活生成每一轮的聚类标签,且可以确保每一轮的聚类标签均不同,从而无需提前人为设置相应数量的聚类标签,节约聚类处理的前期准备时间。
可以理解的是,所述聚类终止条件的具体内容可以根据实际需求进行设定,本说明书实施例不做具体限制。
例如,为了可以执行指定次数的聚类处理,所述确定是否满足预设的聚类终止条件可以包括:确定所述聚类处理的执行次数是否达到预设次数。当所述聚类处理的执行次数达到预设次数时,确定满足预设的聚类终止条件;当所述聚类处理的执行次数未达到预设次数时,确定不满足预设的聚类终止条件。
又例如,为了可以确保不存在待聚类图片,所述确定是否满足预设的聚类终止条件可以包括:确定是否存在所述待聚类图片。当不存在所述待聚类图片时,确定满足预设的聚类终止条件;当存在所述待聚类图片时,确定不满足预设的聚类终止条件,则重新就待聚类图片进行下一轮的聚类处理。
采用上述方案,通过预设的聚类终止条件可以自动进行多轮聚类处理,每一轮生成的聚类标签均不相同,确保可以通过聚类标签区分获得的标注聚类标签图片,用户通过标注的聚类标签可以直观地进行筛选标注聚类标签图片,从而用户可以更加快捷、准确地找到所需的内容信息。
在具体实施中,所述图片的特征可以包括图像特征或文本特征中的至少一种。由此,可以基于所述图片的图像特征或文本特征来计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,以下给出几种实现示例:
1)计算各所述第一非基准图片的图像特征与各所述第一基准图片的图像特征的第一图像相似度,将计算得到的各第一图像相似度值作为相应的第一非基准图片的第一相似度值;
其中,可以采用图像特征提取方法,获取颜色特征、纹理特征、形状特征或空间关系特征中至少一种作为所述第一基准图片或相应的第一非基准图片的图像特征。
并且,为了可以降低图像特征的复杂度,可以对图像特征做进一步地后处理,将后处理得到的图像特征作为图片的图像特征。后处理具体可以包括:特征提取和特征选择,从而保留图像特征中最相关的特征信息,降低图像特征的维度,消除图像特征中不相关的特征信息和冗余特征信息。例如,可以采用哈希(Hash)算法对图像特征进行后处理。
2)计算各所述第一非基准图片的文本特征与各所述第一基准图片的文本特征的第一文本相似度,将计算得到的各第一文本相似度值作为相应的第一非基准图片的第一相似度值。
其中,可以采用光学字符识别(Optical Character Recognition,OCR)方法,分别获得所述第一基准图片的文本信息和各所述的第一非基准图片的文本信息,并分别对所述第一基准图片的文本信息和各所述的第一非基准图片的文本信息进行分词处理和编码处理,得到的词向量可以作为所述第一基准图片或相应的第一非基准图片的文本特征。
在具体实施中,可以采用闵可夫斯基距离(Minkowski Distance)算法,余弦相似度(Cosine Similarity)算法、马氏距离(Mahalanobis Distance)算法、汉明距离(HammingDistance)算法等相似度算法,计算各所述第一非基准图片与所述第一基准图片的第一相似度。
由此,可以根据第一非基准图片和第一基准图片的特征,灵活选择相似度算法,从而进行第一图像相似度或者第一文本相似度的计算。
由于特征的多样性,仅通过图像特征或者文本特征计算得到的相似度值难以代表所述第一非基准图片与所述第一基准图片之间的相似度,由此可能导致各所述非基准图片的第一相似度值之间差异性不突出,难以通过第一相似度阈值来确定哪些非基准图片可以标注当前聚类标签。
在具体实施中,为了可以获得更加突出差异性的第一相似度值,可以计算各所述第一非基准图片与各所述第一基准图片的第一图像相似度和第一文本相似度,得到各所述第一非基准图片的第一图像相似度值和第一文本相似度值,并对各所述第一非基准图片相应的第一图像相似度值和第一文本相似度值采用预设的权重系数进行计算,将计算得到的各第一加权相似度值作为相应的第一非基准图片的第一相似度值。
其中,根据各所述第一非基准图片的特征,可以为差异性较大的特征对应的相似度值分配较大的权重系数,为差异性较小的特征对应的相似度值分配较小的权重系数,由此可以突出所述第一非基准图片与所述第一基准图片之间的差异性。
可以理解的是,“差异性较大”和“差异性较小”是特征之间的相对比较,由此分配的“较大的权重系数”和“较小的权重系数”也是权重系数大小之间的相对比较,本说明书实施例对于各相似度值分配的权重系数的大小不做具体限制。
由此,通过预设的权重系数,得到更加能够反映所述第一非基准图片与所述第一基准图片之间相似度的数值,可以突出各所述第一非基准图片之间的差异性,从而提高图片聚类处理的准确性。
在本说明书实施例中,获取待处理视频的100个视频帧,得到100张待聚类图片,即待聚类图片A1~A100。然后,分别为待聚类图片A1~A100设置第一状态标签La1~La100。其中,第一状态标签La的标签值为1时,表示已标注标签,第一状态标签La的标签值为0时,表示未标注标签,各第一状态标签La1~La100的初始值均为0。
(A1)对所述待聚类图片A1至待聚类图片A100执行第一轮聚类处理,可以包括:
(a1)将所述待聚类图片A1至待聚类图片A100中排序最前的待聚类图片A1作为第一基准图片A1,将其余待聚类图片A2~A100作为第一非基准图片A2~A100;
(a2)生成一聚类标签Label1作为当前聚类标签Label1,为所述第一基准图片A1标注所述当前聚类图片Label1,将第一基准图片A1的第一状态标签La1的标签值设置为1;
(a3)分别为各所述第一非基准图片A2~A100分配第二状态标签Lb1至第二状态标签Lb5,第二状态标签Lb的标签值为1时,表示已与所述第一相似度阈值完成匹配运算,第二状态标签Lb的标签值为0时,表示未与所述第一相似度阈值完成匹配运算,各第二状态标签Lb1~Lb5的初始值均为0;
(a4)获取第二状态标签为0且排序最前的第一非基准图片,得到第一非基准图片A2;
(a5)采用图像特征提取方法分别获取第一非基准图片A2的图像特征与第一基准图片A1的图像特征,并分别对第一非基准图片A2的图像特征与第一基准图片A1的图像特征采用感知哈希(Perceptual Hash,PHash)算法进行后处理,将得到的第一非基准图片A2的哈希值作为所述第一非基准图片A2的图像特征,将计算得到的第一基准图片A1的哈希值作为所述第一基准图片A1的图像特征,再采用汉明距离算法计算第一非基准图片A2的图像特征与所述第一基准图片A1的图像特征的汉明距离,将得到的汉明距离值作为第一非基准图片A2的第一图像相似度值IMGa1;
(a6)采用OCR方法分别获取第一非基准图片A2的文本信息与第一基准图片A1的文本信息,分别对第一非基准图片A2的文本信息与第一基准图片A1的文本信息进行分词处理和编码处理,将处理得到的第一非基准图片A2的词向量作为所述第一非基准图片A2的文本特征,将处理得到的第一非基准图片A2的词向量作为所述第一非基准图片A2的文本特征,采用余弦相似度算法计算第一非基准图片A2的文本特征与所述第一基准图片A1的文本特征的余弦相似度,将得到的余弦相似度值作为第一非基准图片A2的第一图像相似度值OCRa1;
(a7)采用以下公式计算第一非基准图片A2的第一相似度值Sima1:
Sima1=λ1*IMGa1+λ2*OCRa1;
其中,λ1和λ2为预设的权重系数。当图片特征与文本特征分布平均时,λ1可以为0.5,λ2可以为0.5/max(len(A1),len(A2)),len(A1)表示待聚类图片A1的文本信息的字符串长度值,len(A2)表示第一非基准图片A2的文本信息的字符串长度值,max(len(A1),len(A2))表示取待聚类图片A1与第一非基准图片A2中字符串长度值较大的一个;
(a8)将第一非基准图片A2的第一相似度值Sima1与预设的第一相似度阈值比较。例如,所述第一相似度阈值为0.8,若Sima1大于0.8,则为第一非基准图片A2标注所述当前聚类标签Label1,若Sima1不大于0.8,则不为第一非基准图片A2标注所述当前聚类标签Label1,且第一非基准图片A2的第一状态标签La1的标签值设置为1。然后,将第一非基准图片A2的第二状态标签L21的标签值设置为1;
(a9)对于其他的第一非基准图片,参照上述步骤(a4)至(a8),类似地,可以计算得到对应的第一非基准图片的第一相似度值,并分别判断其他第一非基准图片的第一相似度值是否大于第一相似度阈值,根据判断结果进行相应的操作,并将相应的第一非标准图片的第二状态标签的标签值设置为1,直至所有第一非标准图片的第二状态标签的标签值均设置为1,为描述方便,可以将所述第一相似度值大于第一相似度阈值的第一非基准图片,作为待标注图片,假设经过步骤(a8)和步骤(a9),得到的待标注图片为A2~A50以及A80~A95;
(a10)获取所述第一基准图片A1和待标注图片A2~A50以及A80~A95,得到标注聚类标签图片A2~A50以及A80~A95;
(A2)根据第一状态标签的标签值确定存在所述待聚类图片,继续对待聚类图片A51~A79以及待聚类图片A96~A100,继续执行下一轮的聚类处理,以此类推,直至不存在所述待聚类图片,其中,每一轮生成的聚类标签均不同,生成聚类标签采用的方式可以参考上文,此处不再赘述。
在实际应用中,聚类标签、第一状态标签、第二状态标签、文本信息以及时间信息等可以根据预先设置存储于图片的属性信息中。上文中的“待聚类图片”、“第一基准图片”、“第一非基准图片”、“待标注图片”和“标注聚类标签图片”等名称仅用于分处于不同处理阶段的视频帧,以便于理解本说明书实施例中的视频处理原理,基于各图片的相对关系而进行的命名,并不用于限定各图片的属性或图片的内容的差别。
在具体实施中,所述标注聚类标签图片的属性信息可以包括帧时刻信息和聚类标签,由此,还可以根据帧时刻信息和聚类标签对所述标注聚类标签图片进行合成处理,如图3所示,所述视频处理方法具体还可以包括如下步骤:
S31,获取所述标注聚类标签图片的帧时刻信息和聚类标签。
S32,根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合。
例如,所述聚类标签有两种,即聚类标签Label1和聚类标签Label2,分别确定具有聚类标签Label1的标注聚类标签图片和具有聚类标签Label2的标注聚类标签图片,得到聚类标签Label1对应的图片集合P1和聚类标签Label2对应的图片集合P2。
S33,根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成,得到各所述聚类标签相应的子视频。
例如,在聚类标签Label1相应的图片集合P1中可以包括标注聚类标签图片B1、B2、B4,在聚类标签Label2相应的图片集合P2中可以包括标注聚类标签图片B3、B5。
根据标注聚类标签图片B1、B2和B4的帧时刻信息,可以对图片集合P1中的图片(即标注聚类标签图片B1、B2和B4)进行排序和合成,得到聚类标签Label1相应的子视频V1;以及,根据标注聚类标签图片B3和B5的帧时刻信息,可以对图片集合P2中的图片(即标注聚类标签图片B3和B5)进行排序和合成,得到聚类标签Label2相应的子视频V2。
可以理解的是,所述子视频是指相对于所述待处理视频的一段视频,所述子视频的起始时刻信息和结束时刻信息由相应的图片集合中各图片的帧时刻信息决定。例如,聚类标签Label1相应的图片集合P1中包括标注聚类标签图片B1、标注聚类标签图片B2和标注聚类标签图片B4,根据各帧时刻信息的排序,可以确定所述,标注聚类标签图片B1第一,标注聚类标签图片B4最后,因此,所述子视频V1的起始时刻信息为标注聚类标签图片B1的帧时刻信息“290000”,结束时刻信息为标注聚类标签图片B4的帧时刻信息“300000”。其中,帧时刻信息的时间单位可以根据实际情景,选择秒、毫秒、微秒等。本说明书实施例对帧时刻信息的时间单位不做限制。
在实际应用中,可以结合参考图1和图3,在执行完步骤S11和S12后,可以继续执行步骤S31~S33。也可以结合参考图2和图3,在执行步骤S11和S12后,通过步骤S21确定是否满足预设的聚类终止条件,如果否,返回步骤S12,如果是,则执行步骤S31~S33。
由上可知,通过聚类标签和帧时刻信息可以自动生成各所述聚类标签相应的子视频,从而可以避免用户手动剪辑视频的操作过程,方便快捷,此外,也便于用户直接播放相应的子视频以获取相应的内容信息,从而可以提高用户交互体验。
在具体实施时,在根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成时,若所述图片集合中存在不连续的图片,由此获得的子视频可能存在内容信息跳跃或重复的问题,因此,在对各所述图片集合中的图片进行排序和编码时,可以采用以下方式确定各所述图片集合中的图片之间是否连续:
根据获取视频帧时采用的采样频率或者帧间隔数,以及各所述图片集合中的图片的帧时刻信息,确定所述图片集合中各图片的帧时刻信息与相邻图片的帧时刻信息之间是否符合采样频率或者帧间隔数。
例如,获取视频帧时采用的采样频率为f0,则可以从所述图片集合中的第一个图片开始,直至倒数第二个图片,判断当前图片的帧时刻信息与后一个图片的帧时刻信息之间是否符合采样频率f0。若符合,则当前图片与后一个图片之间是连续的;否则,当前图片与后一个图片之间是不连续的。
对于图片之间存在不连续的图片集合后续需进行处理。为描述方便,本说明书实施例中,可以将所述图片之间存在不连续的图片集合称为不连续图片集合。
对于不连续图片集合,作为示例,可以采用如下方式进行处理:
一种是,将所述不连续图片集合中连续的图片进行排序并合成,由此得到数个子视频片段,并根据所述不连续图片集合中各图片的帧时刻信息,分别计算各子视频片段的帧时刻区间,将帧时刻区间最长的子视频片段作为所述不连续图片集合相应的聚类标签的子视频。
另一种是,在确定所述不连续图片集合中存在不连续的图片时,可以将所述不连续图片集合中连续的图片进行排序并合成,由此得到数个子视频片段,并根据所述不连续图片集合中各图片的帧时刻信息,分别计算各子视频片段的帧时刻区间,删除排序在帧时刻区间最长的子视频片段之前的子视频片段,将剩余的子视频片段根据相应的帧时刻区间进行合并,将合并得到的子视频作为所述不连续图片集合相应的聚类标签的子视频。
此外,还可以对子视频片段做进一步地处理后,再进行合并,例如,可以删除帧时刻区间的两端差值过小的子视频片段。
在具体实施中,对于聚类处理后的某一图片集合,若用户不打开图片,可能仍然无法明了所述图片集合的特点,为便于用户了解所述图片集合的特点,可以为各图片生成相应的标题。如图4所示,为一种生成图片标题的流程图,具体可以包括:
S41,获取各所述图片集合中的图片的文本信息,并将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配。
在具体实施中,若之前进行第一相似度计算时,采用OCR方法获得所述第一基准图片和第一非基准图片的文本信息,则可以在所述图片集合中的图片的属性信息中获取相应的文本信息;否则,可以使用OCR方法获取各所述图片集合中的图片的文本信息。
S42,在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
其中,所述第一关键字可以是任意字符组成的字符串,所述字符可以是数字、文字、符号中任意一种,且所述字符串至少包括一个字符。第一关键字可以根据具体情境做限定,本说明书实施例对此不做限定。
由此,便于用户直接通过标题初步筛选子视频,快速获取相应的内容信息的速度,提高用户交互体验。
在具体实施中,可以将所述第一关键字集合中的第一关键字输入第一正则表达式(Regular Expression)模板,通过得到的第一正则表达式与各所述图片集合中的图片的文本信息进行匹配。其中,所述第一正则表达式模板可以根据实际需求进行设定。
例如,在实际应用中,待处理视频若是授课视频,可以将题目标题作为第一关键字,得到第一关键字集合,在将所述第一关键字集合中的第一关键字输入第一正则表达式模板之后,可以得到如下所示第一正则表达式:
“((?:例题|探索|题目|巩固|练一练|拓展|挑战)[0-1]{0,1}[0-9]{0,1})”;
当图片集合P中一图片C的文本信息包括“题目1abc”,通过所述第一正则表达式可以确定所述文本信息中存在与所述第一关键字匹配的字符串“题目1”,可以将字符串“题目1”作为所述图片C的标题。
在具体实施中,为了使匹配结果更加准确,可以对各所述图片集合中的图片的文本信息进行预处理,删除文本信息中的干扰数据,所述预处理可以包括:根据预设的无效字集合,将各所述图片集合中的图片的文本信息与预设的无效字集合中的无效字进行匹配,对匹配的字符串进行删除、替换等处理。从而可以去除文本信息中的干扰数据,使得文本信息中的数据更加简明
其中,所述无效字可以是任意字符组成的字符串,所述字符可以是数字、文字、符号中任意一种,且所述字符串至少包括一个字符。无效字可以根据具体情境做限定,本说明书实施例对此不做限定。
在实际应用中,可以将所述无效字集合中的无效字输入第二正则表达式模板中,得到第二正则表达式,通过所述第二正则表达式与各所述图片集合中的图片的文本信息进行匹配。其中,所述第二正则表达式模板可以根据实际需求进行设定。
本说明书一实施例中,将所述无效字集合中的无效字输入第二正则表达式模板后,可以得到如下所示的第二正则表达式:
“[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。?、~@#¥%……&*”\?()]+·()〔◎、⊙☆′□,〕。”;
例如,当通过所述第二正则表达式识别出图片的文本信息中存在匹配的字符串“!”和“?”时,可以去除匹配的字符串“!”和“?”。
本说明书另一实施例中,继续以授课视频为例,将所述无效字集合中的无效字符输入第二正则表达式模板后,可以得到如下所示的第二正则表达式:
“((?:例题|探索|题目|巩固)[0-1]{0,1}[0-9]+((?:[.-]+[0-9]{1}){0,1}(?:[.-]+[0-9]{1})))”;
例如,当图片的文本信息中存在与所述第二正则表达式匹配的字符串“例题2.1”时,可以将匹配的字符串“例题2.1”替换为“例题2”。
本说明书又一实施例中,继续以授课视频为例,将所述无效字集合中的无效字符输入第二正则表达式模板后,可以得到如下所示的第二正则表达式,:
“(([0-9]+))”;
例如,当图片的文本信息中存在与所述第二正则表达式匹配的字符串“(1)”时,可以将匹配的字符串“(1)”替换为“1”,使得文本信息中不存在无效字。
在具体实施中,为了使各图片集合中的图片均具有标题,若图片集合中所有图片的文本信息中均不存在匹配的字符串,则可以将预设的默认字符串作为所述图片集合中所有图片的标题。
在具体实施中,可以并行执行步骤S33与步骤S41~S42,也可以按照预设的顺序执行执行步骤S33与步骤S41~S42,本说明书对步骤的执行顺序不做限定。
在所述图片集合中各图片都具有标题且得到各所述聚类标签相应的子视频之后,可以将各所述图片集合中的图片的标题作为相应的子视频的标题。在具体实施中,由于图片中部分文字被遮挡,或者部分文字存在书写问题,为了确保各图片集合中的图片的标题名称完整、统一、准确,如图4所示,在步骤S42之后,将各所述图片集合中的图片的标题作为相应的子视频的标题之前,还可以对图片的标题进行优化处理,具体可以包括:
S43,根据各所述图片集合中的图片的标题,确定所述图片集合中的图片的标题是否存在不同,获取所述图片的标题存在不同的图片集合,得到待处理图片集合。
S44,按照预设的归一规则对所述待处理图片集合中的图片的标题进行归一化处理,得到归一化处理后的归一标题。
S45,将所述归一标题替换为所述待处理图片集合中的图片的标题,得到处理后的图片集合。
例如,根据图片集合P1、图片集合P2和图片集合P3中的图片的标题,确定图片集合P1和图片集合P3中的图片的标题存在不同,图片集合P1和图片集合P3后续需进行归一化处理。为描述方便,本说明书实施例中,可以将所述图片的标题存在不同的图片集合称为待处理图片集合。获取所述图片集合P1和图片集合P3,可以得到待处理图片集合P1和待处理图片集合P3。
例如,预设的归一规则可以为:保留字符串长度值最大的标题。由此,获取所述待处理图片集合P1中的图片的标题,根据各图片的标题的字符串长度值,选取字符串长度值最大的标题作为归一标题,将所述归一标题替换为所述待处理图片集合P1中的图片的标题,得到处理后的图片集合P1’。以此类推,得到处理后的图片集合P3’。
在具体实施中,对于同一图片集合中的图片,可能存在标题相同但是内容信息上存在区别的图片,为了可以将这些图片识别出来,需要对各所示图片集合进行优化处理。参考图4和图5,在步骤S45之后,所述视频处理方法还包括:
S51,将所述图片集合中的图片的标题与预设的第二关键字集合中的第二关键字进行匹配,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到待处理图片,其中,所述第二关键字集合为所述第一关键字集合的子集。
在具体实施中,从所述第一关键字集合中确定一个或多个第一关键字相应的图片需要进行优化处理,从而获得所述第一关键字集合的子集,即所述第二关键字集合。例如,所述第一关键字集合为KW1={kw1,kw2,kw3,kw4},确定kw1和kw4相应的图片需要进行优化处理,则所述第二关键字集合为KW2={kw1,kw4}。其中,确定的一个或多个第一关键字可以是计算机通过大数据分析得到的,也可以是人为设定的。
然后,可以将所述第二关键字集合中的第二关键字输入正则表达式,并通过正则表达式与各所述图片集合中的图片的标题进行匹配,得到待处理图片。并且,在得到各待处理图片后,可以对各待处理图片进行初始化处理,例如,分别为待处理图片分配第三状态标签,用于表示各待处理图片的标题替换状态,通过对所述第三状态标签设置不同的标签值,可以表示是否已替换标题。例如,所述第三状态标签为1时,可以表示已替换标题;所述第三状态标签设置为0时,可以表示未替换标题。
S52,对各所述待处理图片执行标题替换处理,可以包括如下步骤S521~S523:
S521,从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并生成一第三关键字,将所述第三关键字替换为所述第二基准图片的标题,其中,所述第三关键字未包含于所述第二关键字集合。
其中,所述第三关键字可以为数值、字符或字符串中的至少一种,且所述第三关键字可以是随机生成的关键字,也可以是预设的关键字。
在具体实施中,可以按照预设的选取规则从各所述待处理图片中确定一待处理图片作为第二基准图片,例如,可以按照各所述待处理图片的排序,选取各所述待处理图片中排序最前的待处理图片或者排序最后的待处理图片作为第二基准图片。又例如,可以按照各所述待处理图片的排序,从各所述待处理图片中随机选取一待处理图片作为第二基准图片。或者,也可以让用户从各所述待处理图片中选取一待处理图片作为第二基准图片。
在将所述第三关键字替换为所述第二基准图片的标题后,可以为所述第二基准图片相应的第三状态标签设置表示已替换标题的标签值。
S522,计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,并获取所述第二相似度值大于第二相似度阈值的第二非基准图片,得到待替换图片,将所述第三关键字替换为所述待替换图片的标题,其中,所述第二相似度阈值大于所述第一相似度阈值。
其中,可以根据实际情况设置第二相似度阈值。
在具体实施时,可以获取所述第二基准图片的特征和各所述第二非基准图片的特征,通过相似度算法可以分别计算所述第二基准图片的特征与各所述第二非基准图片的特征之间的第二相似度,计算得到的第二相似度值可以作为各所述第二非基准图片的第二相似度值。其中,计算所述第二相似度值的算法可以与计算第一相似度值的算法一样,也可以根据实际情况选择其他相似度算法,本说明书实施例对此不作限制。
并且,所述第二相似度阈值大于所述第一相似度阈值,根据各所述第二非基准图片的第二相似度值和第二相似度阈值,确定所述第二非基准图片是否可以替换标题。当所述第二非基准图片的第二相似度值大于第二相似度阈值时,可以将所述第三关键字替换为所述待替换图片的标题,当所述第二非基准图片的第二相似度值不大于第二相似度阈值时,所述第二非基准图片不替换标题。
对于所述第二相似度值大于第二相似度阈值的第二非基准图片,后续需进行标题替换。为描述方便,本说明书实施例中,可以将获取的所述第二相似度值大于第二相似度阈值的第二非基准图片称为待替换图片。
在为所述待替换图片替换标题后,可以为所述待替换图片相应的第三状态标签设置表示已替换标题的标签值。
在实施步骤S522时,可以对多个所述第二非基准图片执行并行处理,也可以按照各所述第二非基准图片的排序执行顺序处理,只要各第二非基准图片均得到处理即可。具体可参考上述步骤S122的描述,本说明书实施例对于步骤S522的具体实施方式不做限制。
在具体实施中,为了识别所有的第二非基准图片是否均已进行标题替换处理,可以在确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片之后,为各所述第二非基准图片进行初始化处理,例如,分别为各所述第二非基准图片分配第四状态标签,用于表示各所述第二非基准图片在本轮标题替换处理的替换处理状态,通过为所述第四状态标签设置不同的标签值,可以表示是否已与所述第二相似度阈值完成匹配运算。例如,所述第四状态标签为1时,可以表示已与所述第二相似度阈值完成匹配运算;所述第四状态标签设置为0时,可以表示未与所述第二相似度阈值完成匹配运算。
当通过各所述第二非基准图片的第四状态标签的标签值,确定各所述第二非基准图片均已与所述第二相似度阈值完成匹配运算时,可以继续执行步骤S523。
S523,获取所述第二基准图片和所述待替换图片,得到标题处理图片。
在具体实施中,可以根据第三状态标签的标签值,确定替换标题的待处理图片,即所述第二基准图片和所述待替换图片,得到本轮的标题处理图片,本轮标题替换处理结束。
S53,确定是否满足预设的替换终止条件,如果否,则返回上述步骤S52,继续对各所述待处理图片执行下一轮的标题替换处理;如果是,则继续步骤S54。
其中,所述聚类终止条件的具体内容可以根据实际需求进行设定,本说明书实施例不做具体限制。
在具体实施中,在确定不满足预设的替换终止条件时,可以继续执行下一轮的标题替换处理,并通过第三状态标签确定各所述待处理图片,从而执行步骤S521至步骤S523。以此类推,直至满足预设的替换终止条件。
其中,每一轮生成的第三关键字均不同。具体而言,每一轮的生成第三关键字的方式可以参考上文生成聚类标签的方式,也可以采用以下方式:
将所述第二基准图片的标题与预设的标题区分标识进行组合,获得的组合信息作为所述第三关键字。在具体实施中,所述标题区分标识可以采用以下方式进行设置:
1)为每一轮的标题区分标识分配一随机值。
在具体实施中,随机值可以采用随机函数生成得到,从第二轮开始判断所述随机函数本轮生成的随机值是否不同于前几轮标题区分标识的标识值,若所述随机函数本轮生成的随机值不同于前几轮标题区分标识的标识值,则所述随机函数本轮产生的随机值可以作为本轮的标题区分标识的标识值,否则重新生成随机值,直至所述随机函数本轮生成的随机值不同于前几轮标题区分标识的标识值。
例如,第一轮的第二基准图片的标题为“ABC”,标题区分标识为“1”,可以将“ABC”与“1”进行组合,得到组合信息“ABC1”;第二轮的第二基准图片的标题为“DEF”,标题区分标识为“a”,可以将“DEF”与“a”进行组合,得到组合信息“DEFa”。
2)为第一轮的标题区分标识分配一初始值,为之后每一轮的标题区分标识分配一累加值,其中,累加值可以采用累加函数生成得到。所述累加函数为在上一轮标题区分标识的标识值的基础上累加预设增量值。
例如,预设增量值为1,初始值为1,则第一轮的第二基准图片的标题为“ABC”,标题区分标识为“1”,可以将“ABC”与“1”进行组合,得到组合信息“ABC1”;第二轮的第二基准图片的标题为“DEF”,标题区分标识为“2”,可以将“DEF”与“2”进行组合,得到组合信息“DEF2”。
S54,获取所述标题处理图片的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。可以理解的是,步骤S53与步骤S54之间没有先后顺序,可以先执行步骤S53,也可以先执行步骤S54,本说明书实施例对此不做限制。
由上可知,通过第二关键字集合中的第二关键字,可以获取需要执行标题替换处理的图片,作为待处理图片,之后,从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并通过大于所述第一相似度阈值的第二相似度阈值,将相似度更高的图片的标题替换为相同的标题,使得图片的标题可以起到更加准确的区分识别作用,通过聚类标签和标题可以对图片做更精细的聚类,提高图片集合的可靠性。
在具体实施中,为了可以提高相似度计算的准确性,可以对指定区域的特征进行相似度计算。由此,所述计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,包括以下任意一种:
计算各所述第二非基准图片中指定区域的图像特征与所述第二基准图片中指定区域的图像特征的第二图像相似度,将计算得到的各第二图像相似度值作为相应的第二非基准图片的第一相似度值;
计算各所述第二非基准图片中指定区域的文本特征与所述第二基准图片中指定区域的文本特征的第二文本相似度,将计算得到的各第二文本相似度值作为相应的第二非基准图片的第二相似度值;
计算各所述第二非基准图片中指定区域与所述第二基准图片中指定区域的第二图像相似度和第二文本相似度,得到各所述第二非基准图片的第二图像相似度值和第二文本相似度值,并对所述第二非基准图片的第二图像相似度值和第二文本相似度值分配权重系数并进行计算,将计算得到的各第二加权相似度值作为相应的第二非基准图片的第二相似度值。
由此,通过指定区域可以避开图片中的干扰特征,提高第二相似度值的准确性。
在本说明书实施例中,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到6张待处理图片,即待处理图片D1~D6。然后,分别为待处理图片D1~D6设置第三状态标签Lc1~Lc6。其中,第三状态标签Lc的标签值为1时,表示已替换标题,第三状态标签Lc的标签值为0时,表示未替换标题,各第三状态标签Lc1至第三状态标签Lc6的初始值均为0。
(B1)对所述待处理图片D1~D6执行第一轮标题替换处理,可以包括:
(b1)将所述待处理图片D1~D6中排序最前的待处理图片D1作为第二基准图片D1,将其余待处理图片D2~D6作为第二非基准图片D2~D6;
(b2)生成一第三关键字TE1,将所述第三关键字TE1替换为所述第二基准图片D1的标题,将第二基准图片D1的第三状态标签Lc1的标签值设置为1;
(b3)分别为各所述第二非基准图片分配第四状态标签Ld1~Ld5,第四状态标签的标签值为1时,表示已与所述第二相似度阈值完成匹配运算,第四状态标签的标签值为0时,表示未与所述第二相似度阈值完成匹配运算,各第四状态标签Ld1至第四状态标签Ld5的初始值均为0;
(b4)获取第四状态标签为0且排序最前的第二非基准图片D2;
(b5)采用OCR方法分别获取第二非基准图片D2的文本信息与第二基准图片D1的文本信息,分别对第二非基准图片D2的文本信息与第二基准图片D1的文本信息进行分词处理和编码处理,将处理得到的第二非基准图片D2的词向量作为所述第二非基准图片D2的文本特征,将处理得到的第二非基准图片D2的词向量作为所述第二非基准图片D2的文本特征,采用余弦相似度算法计算第二非基准图片D2的前X个文本特征与所述第二基准图片D1的前X个文本特征的余弦相似度,将得到的余弦相似度值作为第二非基准图片D2的第二相似度值Simb1,其中X可以为任意自然数,例如,X可以为20、40、60、80等;
(b6)将第二非基准图片D2的第一相似度值Simb1与预设的第二相似度阈值比较,例如,所述第二相似度阈值为0.85,若Simb1大于0.85,则将所述第三关键字TE1替换为第二非基准图片D2的标题,若Simb1不大于0.8,则不替换第二非基准图片D2的标题,且第二非基准图片D2的第三状态标签LC1的标签值设置为1。然后,将第二非基准图片D2的第四状态标签Ld1的标签值设置为1;
(b7)对于其他的第一非基准图片,参照上述步骤(b4)至(b6),类似地,可以计算得到对应的,可以计算得到对应的第二非基准图片的第二相似度值,并分别判断其他第二非基准图片的第二相似度值是否大于第二相似度阈值,根据判断结果进行相应的操作,并将相应的第二非标准图片的第四状态标签的标签值设置为1,直至所有非标准图片的第四状态标签的标签值均设置为1,为描述方便,可以将所述第二相似度值大于第二相似度阈值的第二非基准图片,作为待替换图片,假设经过步骤(b6)和步骤(b7),得到的待替换图片为D2和D4;
(b8)获取所述第二基准图片D1以及待替换图片D2和D4,得到标题处理图片D1、D2和D4;
(B2)根据第三状态标签的标签值确定存在所述待处理图片,继续对待处理图片D3,待处理图片D5和待处理图片D6执行下一轮的标题替换处理,以此类推,直至不存在所述待处理图片,其中,每一轮生成的第三关键字不同,生成第三关键字采用的方式可以参考上文,此处不再赘述。
(B3)获取所述标题处理图片D1至标题处理图片D6的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。
在具体实施中,可以为子视频添加音频,如图6所示,为一种获取子视频相应音频的方法的流程图,在得到各所述聚类标签相应的子视频之后,所述视频处理方法还可以包括:
S61,根据各所述图片集合中的图片的帧时刻信息,得到各所述子视频相应的帧时刻区间。
在具体实施中,若所述图片集合中的图片的帧时刻信息之间符合获取视频帧时采用的采样频率或者帧间隔数,则可以将帧时刻信息从小到大排序后,将第一个帧时刻信息和最后一个帧时刻信息作为所述帧时刻区间的两端。
例如,所述图片集合中各图片的帧时刻信息分别为:“290000”、“30000”和“310000”,获取视频帧时采用的采样频率为1秒一帧,所述图片集合中的图片的帧时刻信息之间符合采样频率,则帧时刻区间为[290000,310000],可以从所述待处理视频的音频数据中获时刻区间为[290000,310000]的子音频数据,然后可以将子音频数据与相应的子视频进行合成。
若所述图片集合中存在不连续的图片的情况,如图7所示,可以通过以下方法获取帧时刻区间:
S611,根据各所述图片集合中的图片的帧时刻信息,确定各所述图片集合中的图片之间是否连续。
S612,获取所述图片之间存在不连续的图片集合,得到不连续图片集合。
S613,确定所述不连续图片集合中连续的图片相应的连续帧时刻区间,将各所述连续帧时刻区间作为相应的子视频的帧时刻区间。
例如,所述图片集合中各图片的帧时刻信息分别为:“290000”、“30000”、“320000”和“330000”,获取视频帧时采用的采样频率为1秒一帧,所述图片集合中的图片的帧时刻信息之间存在不符合采样频率的情况,得到不连续图片集合,确定所述不连续图片集合中连续的图片相应的连续帧时刻区间,即[290000,300000]和[32000,330000],则帧时刻区间为[290000,310000]U[32000,330000],可以从所述待处理视频的音频数据中获时刻区间为[290000,310000]U[32000,330000]的子音频数据,然后可以将子音频数据与相应的子视频进行合成。
继续参照图6,在步骤S61之后,还包括以下步骤S62~S63,以将上述子视频与相应音频合成:
S62,从所述待处理视频的音频数据中获取各所述帧时刻区间相应的子音频数据。
S63,将各所述子音频数据与相应的子视频进行合成,得到相应的合成子视频。
在具体实施中,还可以检测所述子音频数据中的静默起始时刻信息,并将所述静默起始时刻信息作为所述子视频的结束时刻信息。由此,可以使合成子视频的结束时间更加准确。例如,可以采用语音活动检测(Voice Activity Detection,VAD)技术检测所述子音频数据中的静默起始时刻信息。
本说明书实施例还提供了一种图片处理方法,参照图8所示,为本说明书实施例中一种图片处理方法的流程图,可以包括如下步骤:
S81,获取待聚类图片。
其中,待聚类图片可以是用户输入或截取的图片,也可是计算机自动捕获的图片。
并且,可以在获取待聚类图片后,可以对各待聚类图片进行初始化处理,例如,分别为各待聚类图片分配第一状态标签,用于表示各待聚类图片的标签标注状态,通过对所述第一状态标签设置不同的标签值,可以表示是否已标注标签。例如,所述第一状态标签为1时,可以表示已标注标签;所述第一状态标签设置为0时,可以表示未标注标签。
S82,对各所述待聚类图片执行聚类处理,包括:
S821,从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签。
其中,所述聚类标签的标签值可以为随机值,也可以为预设值。所述聚类标签的标签值可以为数值、字符或字符串中的至少一种。
在具体实施中,可以按照预设的选取规则从各所述待聚类图片中确定一待聚类图片作为第一基准图片,例如,可以按照各所述待聚类图片的排序,选取各所述待聚类图片中排序最前的待聚类图片或者排序最后的待聚类图片作为第一基准图片。又例如,可以按照各所述待聚类图片的排序,从各所述待聚类图片中随机选取一待聚类图片作为第一基准图片。或者,也可以让用户从各所述待聚类图片中选取一待聚类图片作为第一基准图片。
在为所述第一基准图片标注所述当前聚类标签后,可以为所述第一基准图片相应的第一状态标签设置表示已标注标签的标签值。
S822,计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签。
其中,可以根据实际情况设置第一相似度阈值。
在具体实施时,可以获取所述第一基准图片的特征和各所述第一非基准图片的特征,通过相似度算法可以分别计算所述第一基准图片的特征与各所述第一非基准图片的特征之间的第一相似度,计算得到的第一相似度值可以作为各所述第一非基准图片的第一相似度值。其中,计算第一相似度值的具体过程可以参考上文视频处理方法的相关部分,此处不再赘述。
在实施步骤S822时,可以对多个所述第一非基准图片执行并行处理,也可以按照各所述第一非基准图片的排序执行顺序处理,只要各第一非基准图片均得到处理即可。具体可参考上述步骤S122的描述,本说明书实施例对于步骤S822的具体实施方式不做限制。
在具体实施中,为了识别所有的第一非基准图片是否均已进行聚类处理,可以在确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片之后,为各所述第一非基准图片进行初始化处理,第一非基准图片的具体初始化处理过程可参照上文视频处理方法的相应部分,此处不再赘述。
当通过各所述第一非基准图片的第二状态标签的标签值,确定各所述第一非基准图片均已与所述第一相似度阈值完成匹配运算,可以继续执行步骤S823。
S823,获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
在具体实施中,可以根据第一状态标签的标签值,确定标注当前聚类标签的待聚类图片,即所述第一基准图片和所述待标注图片,得到本轮的标注聚类标签图片,本轮聚类处理结束,得到的一组标注聚类标签图片可以作为图片资源提供给用户。
由上述方案可知,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,通过计算各第一非基准图片的第一相似度值,可以对大于第一相似度阈值的第一非基准图片标注与第一基准图片相同的聚类标签,从而可以对待聚类图片进行自动聚类,得到标注聚类标签图片由此,可以为用户提供自动聚类的图片资源,使得用户能够快速获取自身需要的内容信息。
在具体实施中,为了能够实现多轮聚类处理,可以在本轮聚类处理结束后,预设有判断条件,根据判断结果确定是否对待聚类图片进行下一轮聚类处理。例如,继续参照图8,所述图片处理方法还可以包括:
S83,确定是否满足预设的聚类终止条件,如果否,则返回上述步骤S82,继续对各所述待聚类图片执行下一轮的聚类处理,如果是,则结束流程。
在具体实施中,在确定不满足预设的聚类终止条件时,可以继续执行下一轮的聚类处理,并通过第一状态标签确定各所述待聚类图片,从而执行步骤S821至步骤S823。以此类推,直至满足预设的聚类终止条件。
其中,每一轮生成的聚类标签均不同。具体而言,在第一轮聚类处理中,生成的聚类标签的标签值为随机值或预设的初始值。为了确保每一轮生成的聚类标签均不同,在执行下一轮聚类处理时,生成聚类标签的方式可以参考上文视频处理方法的相关部分,此处不再赘述。从而在进行多轮聚类处理时,可灵活生成每一轮的聚类标签,且可以确保每一轮的聚类标签均不同,从而无需提前人为设置相应数量的聚类标签,节约聚类处理的前期准备时间。
可以理解的是,所述聚类终止条件的具体内容可以根据实际需求进行设定,本说明书实施例不做具体限制。
采用上述方案,通过预设的聚类终止条件可以自动进行多轮聚类处理,每一轮生成的聚类标签均不相同,确保可以通过聚类标签区分获得的标注聚类标签图片,用户通过标注的聚类标签可以直观地进行筛选标注聚类标签图片,从而用户可以更加快捷、准确地找到所需的内容信息。
在具体实施中,如图9所示,所述标注聚类标签图片的属性信息包括聚类标签,在得到标注聚类标签图片之后,所述图片处理方法还包括:
S91,获取所述标注聚类标签图片的聚类标签。
S92,根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合。
例如,所述聚类标签有两种,即聚类标签Label1和聚类标签Label2,分别确定具有聚类标签Label1的标注聚类标签图片和具有聚类标签Label2的标注聚类标签图片,得到聚类标签Label1对应的图片集合P1和聚类标签Label2对应的图片集合P2。
S93,获取各所述图片集合中的图片的文本信息。
在具体实施中,若之前进行第一相似度计算时,采用OCR方法获得所述第一基准图片和第一非基准图片的文本信息,则可以在所述图片集合中的图片的属性信息中获取相应的文本信息;否则,可以使用OCR方法获取各所述图片集合中的图片的文本信息。
S94,将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配。
其中,所述第一关键字可以是任意字符组成的字符串,所述字符可以是数字、文字、符号中任意一种。关键可以根据具体情境做限定,本说明书实施例对此不做限定。
在具体实施中,可以将所述第一关键字集合中的第一关键字输入正则表达式(Regular Expression),通过正则表达式与各所述图片集合中的图片的文本信息进行匹配。
S95,在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
在实际应用中,可以结合参考图8和图9,可以在执行完步骤S81和S82后,继续执行步骤S91至S95;也可以在执行步骤S81和S82后,通过步骤S83确定是否满足预设的聚类终止条件,如果否,返回步骤S82,如果是,则执行步骤S91至S95。
在具体实施中,由于图片中部分文字被遮挡,或者部分文字存在书写问题,为了确保各图片集合中的图片的标题名称完整、统一、准确,可以在确定所述图片集合中的图片的标题存在不同时,按照预设的归一规则对该图片集合中的图片的标题进行归一化处理,将归一化处理后的归一标题替换为所述待处理图片集合中的图片的标题。
在具体实施中,对于同一图片集合中的图片,可能存在标题相同但是内容信息上存在区别的图片,为了可以将这些图片识别出来,需要对各所示图片集合进行优化处理,如图10所示,在步骤S95之后,所述图片处理方法还可以包括:
S101,将所述图片集合中的图片的标题与预设的第二关键字集合中的第二关键字进行匹配,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到待处理图片,其中,所述第二关键字集合为所述第一关键字集合的子集。
S102,对各所述待处理图片执行标题替换处理,可以包括:
S1021,从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并生成一第三关键字,将所述第三关键字替换为所述第二基准图片的标题,其中,所述第三关键字未包含于所述第二关键字集合;
S1022,计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,并获取所述第二相似度值大于第二相似度阈值的第二非基准图片,得到待替换图片,将所述第三关键字替换为所述待替换图片的标题,其中,所述第二相似度阈值大于所述第一相似度阈值;
S1023,获取所述第二基准图片和所述待替换图片,得到标题处理图片;
S103,确定是否满足预设的替换终止条件,如果否,则返回上述步骤S102,继续对各所述待处理图片执行下一轮的标题替换处理,其中,每一轮生成的第三关键字均不同;如果是,则继续步骤S104;
S104,获取所述标题处理图片的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。
可以理解的是,步骤S103与步骤S104之间没有先后顺序,可以先执行步骤S103,也可以先执行步骤S104,本说明书实施例对此不做限制。
由上可知,通过第二关键字集合中的第二关键字,可以获取需要执行标题替换处理的图片,作为待处理图片,之后,从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并通过大于所述第一相似度阈值的第二相似度阈值,将相似度更高的图片的标题替换为相同的标题,使得图片的标题可以起到更加准确的区分识别作用,通过聚类标签和标题可以对图片做更精细的聚类,提高图片集合的可靠性。
本说明书实施例还提供了一种实现视频处理方法的视频处理系统,参照图11所示,为本说明书实施例中一种视频处理系统的结构示意图,所述视频处理系统110可以包括:
图片获取单元111,适于获取待处理视频的视频帧,得到各待聚类图片;
聚类处理单元112,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元82包括:
图片选取子单元1121,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元1122,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元1123,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元1124,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元1125,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元1126,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
其中,待处理视频可以是已录制完成的离线视频,也可以是直播中的在线视频。
在具体实施中,所述图片获取单元111可以按照预设的采样频率或者帧间隔数,从待处理视频的视频流中获取视频帧。例如,可以按照每秒采集一帧的频率,从待处理视频的视频流中获取视频帧。又例如,可以按照每间隔10帧选取一帧,从待处理视频的视频流中获取视频帧。或者,所述图片获取单元111也可以根据用户的选择,从待处理视频的视频流中获取用户所选中的视频帧。
并且,所述图片获取单元111在得到各待聚类图片后,可以对各待聚类图片进行初始化处理,各待聚类图片的具体初始化处理过程可以参考上文视频处理方法的相关部分,此处不再赘述。
聚类标签标注子单元1125在为所述第一基准图片标注所述当前聚类标签后,可以为所述第一基准图片相应的第一状态标签设置表示已标注标签的标签值。
其中,所述聚类标签的标签值可以为随机值,也可以为预设值。所述聚类标签的标签值可以为数值、字符或字符串中的至少一种。
在具体实施中,图片选取子单元1121可以按照预设的选取规则从各所述待聚类图片中确定一待聚类图片作为第一基准图片,例如,可以按照各所述待聚类图片的排序,选取各所述待聚类图片中排序最前的待聚类图片或者排序最后的待聚类图片作为第一基准图片。又例如,可以按照各所述待聚类图片的排序,从各所述待聚类图片中随机选取一待聚类图片作为第一基准图片。或者,也可以让用户从各所述待聚类图片中选取一待聚类图片作为第一基准图片。
在具体实施时,相似度计算子单元1122可以获取所述第一基准图片的特征和各所述第一非基准图片的特征,通过相似度算法可以分别计算所述第一基准图片的特征与各所述第一非基准图片的特征之间的第一相似度,计算得到的第一相似度值可以作为各所述第一非基准图片的第一相似度值。其中,计算第一相似度值的具体过程可以参考上文视频处理方法的相关部分,此处不再赘述。
并且,所述相似度计算子单元1122可以对多个所述第一非基准图片执行并行处理,也可以按照各所述第一非基准图片的排序执行顺序处理,只要各第一非基准图片均得到处理即可。本说明书实施例对于所述相似度计算子单元1122的具体实施方式不做限制。
在具体实施中,所述图片选取子单元821可以在确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片之后,为各所述第一非基准图片进行初始化处理,第一非基准图片的具体初始化处理过程可参照上文视频处理方法的相应部分,此处不再赘述。
标注聚类标签图片获取子单元1126通过各所述第一非基准图片的第二状态标签的标签值,在确定各所述第一非基准图片均已与所述第一相似度阈值完成匹配运算后,可以根据第一状态标签的标签值,确定标注当前聚类标签的待聚类图片,即所述第一基准图片和所述待标注图片,得到本轮的标注聚类标签图片,本轮聚类处理结束。得到的一组标注聚类标签图片可以作为与所述待处理视频相关的视频资源提供给用户。
由上述方案可知,通过计算第一非基准图片的第一相似度值,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,通过计算各第一非基准图片的第一相似度值,可以对大于第一相似度阈值的第一非基准图片标注与第一基准图片相同的聚类标签,从而可以对待聚类图片进行自动聚类,得到标注聚类标签图片由此,可以为用户提供自动聚类的视频资源,使得用户能够快速获取自身需要的内容信息。
在具体实施中,如图11所示,为了能够实现多轮聚类处理,所述视频处理系统110还包括:
条件判断单元113,适于确定是否满足预设的聚类终止条件,如果否,继续触发所述聚类处理单元112,其中,所述聚类处理单元112每一轮生成的聚类标签均不同。
在具体实施中,所述条件判断单元113在确定不满足预设的聚类终止条件时,可以继续触发所述聚类处理单元112执行下一轮的聚类处理,并通过第一状态标签确定各所述待聚类图片。以此类推,直至满足预设的聚类终止条件,所述条件判断单元113不继续触发所述聚类处理单元112。
其中,所述聚类标签生成子单元1124每一轮生成的聚类标签均不同。具体而言,在第一轮聚类处理中,所述聚类标签生成子单元1124生成的聚类标签的标签值为随机值或预设的初始值。为了确保每一轮生成的聚类标签均不同,在执行下一轮聚类处理时,所述聚类标签生成子单元1124生成聚类标签的方式可以参考上文视频处理方法的相关部分,此处不再赘述。
可以理解的是,所述聚类终止条件的具体内容可以根据实际需求进行设定,本说明书实施例不做具体限制。
采用上述方案,通过预设的聚类终止条件可以自动进行多轮聚类处理,每一轮生成的聚类标签均不相同,确保可以通过聚类标签区分获得的标注聚类标签图片,用户通过标注的聚类标签可以直观地进行筛选标注聚类标签图片,从而用户可以更加快捷、准确地找到所需的内容信息。
在具体实施中,如图11所示,所述视频处理系统110还包括:
第一信息获取单元114,适于获取所述标注聚类标签图片的帧时刻信息和聚类标签;
图片集合获取单元115,适于根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合;
子视频合成单元116,适于根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成,得到各所述聚类标签相应的子视频。
在实际应用中,可以结合参考图1和图3,所述聚类处理单元112可以直接连接第一信息获取单元114,也可以通过条件判断单元113连接第一信息获取单元114。
由上可知,通过聚类标签和帧时刻信息可以自动生成各所述聚类标签相应的子视频,从而可以避免用户手动剪辑视频的操作过程,方便快捷,此外,也便于用户直接播放相应的子视频以获取相应的内容信息,从而可以提高用户交互体验。
在具体实施中,如图11所示,所述视频处理系统110还包括:
第二信息获取单元117,适于获取各所述图片集合中的图片的文本信息,
关键字匹配单元118,适于将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配;
图片标题获取单元119,适于在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
在实际应用中,可以结合参考图1和图3,所述聚类处理单元112可以直接连接第二信息获取单元117,也可以通过条件判断单元113连接第一信息获取单元117。由此,便于用户直接通过标题初步筛选子视频,以快速获取相应的内容信息的速度,提高用户交互体验。
本说明书实施例还提供了一种实现图片处理方法的图片处理系统,参照图12所示,为本说明书实施例中一种图片处理系统的结构示意图,所述图片处理系统120可以包括:
图片获取单元121,适于获取待聚类图片;
聚类处理单元122,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元122包括:
图片选取子单元1221,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元1222,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元1223,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元1224,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元1225,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元1226,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
在具体实施中,所述图片获取单元121可以获取用户输入或截取的图片,也可是计算机自动捕获的图片。
并且,图片获取单元121在得到各待聚类图片后,可以对各待聚类图片进行初始化处理,各待聚类图片的具体初始化处理过程可以参考上文视频处理方法的相关部分,此处不再赘述。
聚类标签标注子单元1225在为所述第一基准图片标注所述当前聚类标签后,可以为所述第一基准图片相应的第一状态标签设置表示已标注标签的标签值。
其中,所述聚类标签的标签值可以为随机值,也可以为预设值。所述聚类标签的标签值可以为数值、字符或字符串中的至少一种。
在具体实施中,图片选取子单元1221可以按照预设的选取规则从各所述待聚类图片中确定一待聚类图片作为第一基准图片,例如,可以按照各所述待聚类图片的排序,选取各所述待聚类图片中排序最前的待聚类图片或者排序最后的待聚类图片作为第一基准图片。又例如,可以按照各所述待聚类图片的排序,从各所述待聚类图片中随机选取一待聚类图片作为第一基准图片。或者,也可以让用户从各所述待聚类图片中选取一待聚类图片作为第一基准图片。
在具体实施时,相似度计算子单元1122可以获取所述第一基准图片的特征和各所述第一非基准图片的特征,通过相似度算法可以分别计算所述第一基准图片的特征与各所述第一非基准图片的特征之间的第一相似度,计算得到的第一相似度值可以作为各所述第一非基准图片的第一相似度值。其中,计算第一相似度值的具体过程可以参考上文视频处理方法的相关部分,此处不再赘述。
并且,所述相似度计算子单元1122可以对多个所述第一非基准图片执行并行处理,也可以按照各所述第一非基准图片的排序执行顺序处理,只要各第一非基准图片均得到处理即可。本说明书实施例对于所述相似度计算子单元1122的具体实施方式不做限制。
在具体实施中,为了识别所有的第一非基准图片是否均已进行聚类处理,所述图片选取子单元1121可以在确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片之后,为各所述第一非基准图片进行初始化处理,第一非基准图片的具体初始化处理过程可参照上文视频处理方法的相应部分,此处不再赘述。。
标注聚类标签图片获取子单元1126通过各所述第一非基准图片的第二状态标签的标签值,在确定各所述第一非基准图片均已与所述第一相似度阈值完成匹配运算后,可以根据第一状态标签的标签值,确定标注当前聚类标签的待聚类图片,即所述第一基准图片和所述待标注图片,得到本轮的标注聚类标签图片,本轮聚类处理结束。得到的标注聚类标签图片可以作为待处理视频相关的视频资源提供给用户。
由上述方案可知,通过计算第一非基准图片的第一相似度值,可以在得到各待聚类图片后,对各所述待聚类图片执行聚类处理,可以从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,通过计算各第一非基准图片的第一相似度值,可以对大于第一相似度阈值的第一非基准图片标注与第一基准图片相同的聚类标签,从而可以对待聚类图片进行自动聚类,得到标注聚类标签图片由此,可以为用户提供自动聚类的图片资源,使得用户能够快速获取自身需要的内容信息。
在具体实施中,如图12所示,为了能够实现多轮聚类处理,所述图片处理系统120还包括:
条件判断单元123,适于确定是否满足预设的聚类终止条件,如果否,继续触发所述聚类处理单元122,其中,所述聚类处理单元122每一轮生成的聚类标签均不同。
在具体实施中,所述条件判断单元123在确定不满足预设的聚类终止条件时,可以继续触发所述聚类处理单元122执行下一轮的聚类处理,并通过第一状态标签确定各所述待聚类图片。以此类推,直至满足预设的聚类终止条件,所述条件判断单元123不继续触发所述聚类处理单元122。
其中,所述聚类标签生成子单元1224每一轮生成的聚类标签均不同。具体而言,在第一轮聚类处理中,所述聚类标签生成子单元1224生成的聚类标签的标签值为随机值或预设的初始值。为了确保每一轮生成的聚类标签均不同,在执行下一轮聚类处理时,所述聚类标签生成子单元1224生成聚类标签的方式可以参考上文视频处理方法的相关部分,此处不再赘述。
可以理解的是,所述聚类终止条件的具体内容可以根据实际需求进行设定,本说明书实施例不做具体限制。
采用上述方案,通过预设的聚类终止条件可以自动进行多轮聚类处理,每一轮生成的聚类标签均不相同,确保可以通过聚类标签区分获得的标注聚类标签图片,用户通过标注的聚类标签可以直观地进行筛选标注聚类标签图片,从而用户可以更加快捷、准确地找到所需的内容信息。
在具体实施中,如图12所示,所述视频处理系统120还包括:
第一信息获取单元124,适于获取所述标注聚类标签图片的聚类标签;
图片集合获取单元125,适于根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合;
第二信息获取单元126,适于获取各所述图片集合中的图片的文本信息;
关键字匹配单元127,适于将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配;
图片标题获取单元128,适于在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
由此,便于用户直接通过标题初步筛选图片,快速获取相应的内容信息的速度,提高用户交互体验。
本发明实施例还提供了一种数据处理设备,可以包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时可以执行本发明上述任一实施例所述的方法的步骤。所述计算机指令运行时执行的方法具体实现可以参照上述的方法的步骤,不再赘述。其中,所述数据处理设备可以为手机等手持终端、平板电脑、个人台式电脑等。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时可以执行本发明上述任一实施例方法的步骤。其中,所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。所述计算机可读存储介质上存储的指令执行上述任一实施例所述的方法,具体可参照上述实施例,不再赘述。
可以理解的是,本文中的“第一”、“第二”、“第三”等名词前缀仅用于区分不同作用的名词,并不代表顺序、大小或重要性等。
虽然本公开实施例披露如上,但本公开实施例并非限定于此。任何本领域技术人员,在不脱离本公开实施例的精神和范围内,均可作各种更动与修改,因此本公开实施例的保护范围应当以权利要求所限定的范围为准。
Claims (23)
1.一种视频处理方法,其特征在于,包括:
获取待处理视频的视频帧,得到各待聚类图片;
对各所述待聚类图片执行聚类处理,包括:
从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;
计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;
获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
2.根据权利要求1所述的视频处理方法,其特征在于,还包括:
确定是否满足预设的聚类终止条件,如果否,继续对各所述待聚类图片执行下一轮的聚类处理;
其中,每一轮生成的聚类标签均不同。
3.根据权利要求2所述的视频处理方法,其特征在于,所述确定是否满足预设的聚类终止条件,包括:
当不存在所述待聚类图片或者所述聚类处理的执行次数达到预设次数时,确定满足预设的聚类终止条件。
4.根据权利要求1所述的视频处理方法,其特征在于,所述计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,包括以下任意一种:
计算各所述第一非基准图片的图像特征与各所述第一基准图片的图像特征的第一图像相似度,将计算得到的各第一图像相似度值作为相应的第一非基准图片的第一相似度值;
计算各所述第一非基准图片的文本特征与各所述第一基准图片的文本特征的第一文本相似度,将计算得到的各第一文本相似度值作为相应的第一非基准图片的第一相似度值;
计算各所述第一非基准图片与各所述第一基准图片的第一图像相似度和第一文本相似度,得到各所述第一非基准图片的第一图像相似度值和第一文本相似度值,并对各所述第一非基准图片相应的第一图像相似度值和第一文本相似度值采用预设的权重系数进行计算,将计算得到的各第一加权相似度值作为相应的第一非基准图片的第一相似度值。
5.根据权利要求1至4任一项所述的视频处理方法,其特征在于,所述标注聚类标签图片的属性信息包括帧时刻信息和聚类标签,所述视频处理方法还包括:
获取所述标注聚类标签图片的帧时刻信息和聚类标签;
根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合;
根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成,得到各所述聚类标签相应的子视频。
6.根据权利要求5所述的视频处理方法,其特征在于,还包括:
获取各所述图片集合中的图片的文本信息,并将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配;
在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
7.根据权利要求6所述的视频处理方法,其特征在于,在所述将所述匹配的字符串作为所述图片集合中相应的图片的标题之后,还包括:
根据各所述图片集合中的图片的标题,确定所述图片集合中的图片的标题是否存在不同,获取所述图片的标题存在不同的图片集合,得到待处理图片集合;
按照预设的归一规则对所述待处理图片集合中的图片的标题进行归一化处理,得到归一化处理后的归一标题;
将所述归一标题替换为所述待处理图片集合中的图片的标题,得到处理后的图片集合。
8.根据权利要求7所述的视频处理方法,其特征在于,在所述将所述归一标题替换为所述待处理图片集合中的图片的标题,得到处理后的图片集合之后,还包括:
将所述图片集合中的图片的标题与预设的第二关键字集合中的第二关键字进行匹配,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到待处理图片,其中,所述第二关键字集合为所述第一关键字集合的子集;
对各所述待处理图片执行标题替换处理,包括:
从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并生成一第三关键字,将所述第三关键字替换为所述第二基准图片的标题,其中,所述第三关键字未包含于所述第二关键字集合;
计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,并获取所述第二相似度值大于第二相似度阈值的第二非基准图片,得到待替换图片,将所述第三关键字替换为所述待替换图片的标题,其中,所述第二相似度阈值大于所述第一相似度阈值;
获取所述第二基准图片和所述待替换图片,得到标题处理图片;
确定是否满足预设的替换终止条件,如果否,继续对各所述待处理图片执行下一轮的标题替换处理,其中,每一轮生成的第三关键字均不同;
获取所述标题处理图片的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。
9.根据权利要求8所述的视频处理方法,其特征在于,采用以下生成方法生成所述第三关键字:
将所述第二基准图片的标题与预设的标题区分标识进行组合,获得的组合信息作为所述第三关键字。
10.根据权利要求8所述的视频处理方法,其特征在于,所述计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,包括以下任意一种:
计算各所述第二非基准图片中指定区域的图像特征与所述第二基准图片中指定区域的图像特征的第二图像相似度,将计算得到的各第二图像相似度值作为相应的第二非基准图片的第一相似度值;
计算各所述第二非基准图片中指定区域的文本特征与所述第二基准图片中指定区域的文本特征的第二文本相似度,将计算得到的各第二文本相似度值作为相应的第二非基准图片的第二相似度值;
计算各所述第二非基准图片中指定区域与所述第二基准图片中指定区域的第二图像相似度和第二文本相似度,得到各所述第二非基准图片的第二图像相似度值和第二文本相似度值,并对所述第二非基准图片的第二图像相似度值和第二文本相似度值分配权重系数并进行计算,将计算得到的各第二加权相似度值作为相应的第二非基准图片的第二相似度值。
11.根据权利要求6所述的视频处理方法,其特征在于,在所述根据各所述帧时刻信息,对各所述图片集合中的图片进行排序和合成,得到各所述聚类标签相应的子视频之后,还包括:
将各所述图片集合中的图片的标题作为相应的子视频的标题。
12.根据权利要求5所述的视频处理方法,其特征在于,还包括:
根据各所述图片集合中的图片的帧时刻信息,得到各所述子视频相应的帧时刻区间;
从所述待处理视频的音频数据中获取各所述帧时刻区间相应的子音频数据;
将各所述子音频数据与相应的子视频进行合成,得到相应的合成子视频。
13.根据权利要求12所述的视频处理方法,其特征在于,所述根据各所述图片集合中的图片的帧时刻信息,得到各所述子视频相应的帧时刻区间,包括:
根据各所述图片集合中的图片的帧时刻信息,确定各所述图片集合中的图片之间是否连续;
获取所述图片之间存在不连续的图片集合,得到不连续图片集合;
确定所述不连续图片集合中连续的图片相应的连续帧时刻区间,将各所述连续帧时刻区间作为相应的子视频的帧时刻区间。
14.一种图片处理方法,其特征在于,包括:
获取待聚类图片;
对各所述待聚类图片执行聚类处理,包括:
从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片,并生成一聚类标签作为当前聚类标签,为所述第一基准图片标注所述当前聚类标签;
计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值,并获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片,为所述待标注图片标注所述当前聚类标签;
获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
15.根据权利要求14所述的图片处理方法,其特征在于,还包括:
确定是否满足预设的聚类终止条件,如果否,继续对各所述待聚类图片执行下一轮的聚类处理;
其中,每一轮生成的聚类标签均不同。
16.根据权利要求14或15所述的图片处理方法,其特征在于,所述标注聚类标签图片的属性信息包括聚类标签,所述图片处理方法还包括:
获取所述标注聚类标签图片的聚类标签;
根据各所述聚类标签,确定具有相同聚类标签的标注聚类标签图片,得到各所述聚类标签相应的图片集合;
获取各所述图片集合中的图片的文本信息;
将各所述图片集合中的图片的文本信息与预设的第一关键字集合中的第一关键字进行匹配;
在确定所述文本信息中存在与所述第一关键字集合中的第一关键字匹配的字符串时,将所述匹配的字符串作为所述图片集合中相应的图片的标题。
17.根据权利要求16所述的图片处理方法,其特征在于,在所述将所述匹配的字符串作为所述图片集合中相应的图片的标题之后,还包括:
将所述图片集合中的图片的标题与预设的第二关键字集合中的第二关键字进行匹配,获取所述标题与所述第二关键字集合中的第二关键字匹配的图片,得到待处理图片,其中,所述第二关键字集合为所述第一关键字集合的子集;
对各所述待处理图片执行标题替换处理,包括
从各所述待处理图片中确定一待处理图片作为第二基准图片,将其余各所述待处理图片作为第二非基准图片,并生成一第三关键字,将所述第三关键字替换为所述第二基准图片的标题,其中,所述第三关键字未包含于所述第二关键字集合;
计算各所述第二非基准图片与所述第二基准图片的第二相似度,得到各所述第二非基准图片的第二相似度值,并获取所述第二相似度值大于第二相似度阈值的第二非基准图片,得到待替换图片,将所述第三关键字替换为所述待替换图片的标题,其中,所述第二相似度阈值大于所述第一相似度阈值;
获取所述第二基准图片和所述待替换图片,得到标题处理图片;
确定是否满足预设的替换终止条件,如果否,继续对各所述待处理图片执行下一轮的标题替换处理,其中,每一轮生成的第三关键字均不同;
获取所述标题处理图片的聚类标签和标题,并根据各所述聚类标签和各所述标题,确定具有相同聚类标签和相同标题的标题处理图片,得到各所述聚类标签和标题相应的图片集合。
18.一种视频处理系统,其特征在于,包括:
图片获取单元,适于获取待处理视频的视频帧,得到各待聚类图片;
聚类处理单元,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元包括:
图片选取子单元,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
19.根据权利要求18所述的视频处理系统,其特征在于,还包括:
条件判断单元,适于确定是否满足预设的聚类终止条件,如果否,继续触发所述聚类处理单元,其中,所述聚类处理单元每一轮生成的聚类标签均不同。
20.一种图片处理系统,其特征在于,包括:
图片获取单元,适于获取待聚类图片;
聚类处理单元,适于对各所述待聚类图片执行聚类处理,所述聚类处理单元包括:
图片选取子单元,适于从各所述待聚类图片中确定一待聚类图片作为第一基准图片,将其余各所述待聚类图片作为第一非基准图片;
相似度计算子单元,适于计算各所述第一非基准图片与所述第一基准图片的第一相似度,得到各所述第一非基准图片的第一相似度值;
待标注图片获取子单元,适于获取所述第一相似度值大于第一相似度阈值的第一非基准图片,得到待标注图片;
聚类标签生成子单元,适于生成一聚类标签作为当前聚类标签;
聚类标签标注子单元,适于为所述第一基准图片标注所述当前聚类标签,并为所述待标注图片标注所述当前聚类标签;
标注聚类标签图片获取子单元,适于获取所述第一基准图片和所述待标注图片,得到标注聚类标签图片。
21.根据权利要求20所述的图片处理系统,其特征在于,还包括:
条件判断单元,适于确定是否满足预设的聚类终止条件,如果否,继续触发所述聚类处理单元,其中,所述聚类处理单元每一轮生成的聚类标签均不同。
22.一种数据处理设备,包括存储器和处理器;其中,所述存储器适于存储一条或多条计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至13任一项,或权利要求14至17任一项所述方法的步骤。
23.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至13任一项,或权利要求14至17任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010054717.XA CN111275097B (zh) | 2020-01-17 | 2020-01-17 | 视频处理方法及系统、图片处理方法及系统、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010054717.XA CN111275097B (zh) | 2020-01-17 | 2020-01-17 | 视频处理方法及系统、图片处理方法及系统、设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275097A true CN111275097A (zh) | 2020-06-12 |
CN111275097B CN111275097B (zh) | 2021-06-18 |
Family
ID=71001709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010054717.XA Active CN111275097B (zh) | 2020-01-17 | 2020-01-17 | 视频处理方法及系统、图片处理方法及系统、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275097B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464865A (zh) * | 2020-06-18 | 2020-07-28 | 北京美摄网络科技有限公司 | 一种视频生成方法、装置、电子设备及计算机可读存储介质 |
CN111984812A (zh) * | 2020-08-05 | 2020-11-24 | 沈阳东软智能医疗科技研究院有限公司 | 一种特征提取模型生成方法、图像检索方法、装置及设备 |
CN112861981A (zh) * | 2021-02-22 | 2021-05-28 | 每日互动股份有限公司 | 数据集标注方法、电子设备和介质 |
CN114693735A (zh) * | 2022-03-23 | 2022-07-01 | 成都智元汇信息技术股份有限公司 | 一种基于目标识别的视频融合方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100894A (zh) * | 2014-08-26 | 2015-11-25 | Tcl集团股份有限公司 | 面部自动标注方法及系统 |
CN107153817A (zh) * | 2017-04-29 | 2017-09-12 | 深圳市深网视界科技有限公司 | 行人重识别数据标注方法和装置 |
CN107977645A (zh) * | 2017-12-19 | 2018-05-01 | 北京奇艺世纪科技有限公司 | 一种视频新闻海报图的生成方法及装置 |
CN108241856A (zh) * | 2018-01-12 | 2018-07-03 | 新华智云科技有限公司 | 资讯信息生成方法及设备 |
US10057644B1 (en) * | 2017-04-26 | 2018-08-21 | Disney Enterprises, Inc. | Video asset classification |
CN108470195A (zh) * | 2018-05-11 | 2018-08-31 | 东方网力科技股份有限公司 | 视频身份管理方法及装置 |
CN108960297A (zh) * | 2018-06-15 | 2018-12-07 | 北京金山云网络技术有限公司 | 图片的标注方法、标注装置、设备及存储介质 |
CN109213895A (zh) * | 2017-07-05 | 2019-01-15 | 合网络技术(北京)有限公司 | 一种视频摘要的生成方法及装置 |
CN109618222A (zh) * | 2018-12-27 | 2019-04-12 | 北京字节跳动网络技术有限公司 | 一种拼接视频生成方法、装置、终端设备及存储介质 |
CN110502664A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 视频标签索引库创建方法、视频标签生成方法及装置 |
CN110602552A (zh) * | 2019-09-16 | 2019-12-20 | 广州酷狗计算机科技有限公司 | 视频合成的方法、装置、终端及计算机可读存储介质 |
-
2020
- 2020-01-17 CN CN202010054717.XA patent/CN111275097B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100894A (zh) * | 2014-08-26 | 2015-11-25 | Tcl集团股份有限公司 | 面部自动标注方法及系统 |
US10057644B1 (en) * | 2017-04-26 | 2018-08-21 | Disney Enterprises, Inc. | Video asset classification |
CN107153817A (zh) * | 2017-04-29 | 2017-09-12 | 深圳市深网视界科技有限公司 | 行人重识别数据标注方法和装置 |
CN109213895A (zh) * | 2017-07-05 | 2019-01-15 | 合网络技术(北京)有限公司 | 一种视频摘要的生成方法及装置 |
CN107977645A (zh) * | 2017-12-19 | 2018-05-01 | 北京奇艺世纪科技有限公司 | 一种视频新闻海报图的生成方法及装置 |
CN108241856A (zh) * | 2018-01-12 | 2018-07-03 | 新华智云科技有限公司 | 资讯信息生成方法及设备 |
CN108470195A (zh) * | 2018-05-11 | 2018-08-31 | 东方网力科技股份有限公司 | 视频身份管理方法及装置 |
CN108960297A (zh) * | 2018-06-15 | 2018-12-07 | 北京金山云网络技术有限公司 | 图片的标注方法、标注装置、设备及存储介质 |
CN109618222A (zh) * | 2018-12-27 | 2019-04-12 | 北京字节跳动网络技术有限公司 | 一种拼接视频生成方法、装置、终端设备及存储介质 |
CN110502664A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 视频标签索引库创建方法、视频标签生成方法及装置 |
CN110602552A (zh) * | 2019-09-16 | 2019-12-20 | 广州酷狗计算机科技有限公司 | 视频合成的方法、装置、终端及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
SUN ZH ET AL: "《Image Annotation Based on Semantic Clustering and Relevance Feedback》", 《IEEE》 * |
彭太乐: "《基于镜头及场景上下文的短视频标注方法研究》", 《中国博士学位论文全文数据库信息科技辑》 * |
钟玉琢: "《多媒体技术基础及应用》", 30 August 2000, 清华大学出版社 * |
陈颉: "《基于偏好的图像标注与检索技术研究》", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464865A (zh) * | 2020-06-18 | 2020-07-28 | 北京美摄网络科技有限公司 | 一种视频生成方法、装置、电子设备及计算机可读存储介质 |
CN111464865B (zh) * | 2020-06-18 | 2020-11-17 | 北京美摄网络科技有限公司 | 一种视频生成方法、装置、电子设备及计算机可读存储介质 |
CN111984812A (zh) * | 2020-08-05 | 2020-11-24 | 沈阳东软智能医疗科技研究院有限公司 | 一种特征提取模型生成方法、图像检索方法、装置及设备 |
CN111984812B (zh) * | 2020-08-05 | 2024-05-03 | 沈阳东软智能医疗科技研究院有限公司 | 一种特征提取模型生成方法、图像检索方法、装置及设备 |
CN112861981A (zh) * | 2021-02-22 | 2021-05-28 | 每日互动股份有限公司 | 数据集标注方法、电子设备和介质 |
CN114693735A (zh) * | 2022-03-23 | 2022-07-01 | 成都智元汇信息技术股份有限公司 | 一种基于目标识别的视频融合方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111275097B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275097B (zh) | 视频处理方法及系统、图片处理方法及系统、设备、介质 | |
CN104598644B (zh) | 喜好标签挖掘方法和装置 | |
EP2685450B1 (en) | Device and method for recognizing content using audio signals | |
US9711117B2 (en) | Method and apparatus for recognising music symbols | |
US8135579B2 (en) | Method of analyzing conversational transcripts | |
CN107229627B (zh) | 一种文本处理方法、装置及计算设备 | |
WO2020124002A1 (en) | Video highlight recognition and extraction systems, tools, and methods | |
CN114242070B (zh) | 一种视频生成方法、装置、设备及存储介质 | |
Parida et al. | Coordinated joint multimodal embeddings for generalized audio-visual zero-shot classification and retrieval of videos | |
WO2005050472A2 (en) | Text segmentation and topic annotation for document structuring | |
CN112784581B (zh) | 文本纠错方法、装置、介质及电子设备 | |
CN110740389A (zh) | 视频定位方法、装置、计算机可读介质及电子设备 | |
CN114297439A (zh) | 一种短视频标签确定方法、系统、装置及存储介质 | |
WO2020135756A1 (zh) | 视频段的提取方法、装置、设备及计算机可读存储介质 | |
CN113283327A (zh) | 一种视频文本生成方法、装置、设备及存储介质 | |
CN111276149A (zh) | 语音识别方法、装置、设备及可读存储介质 | |
JP2009510509A (ja) | セグメント別特徴比較によりプレイリストを自動生成する方法及び装置 | |
US10915569B2 (en) | Associating metadata with a multimedia file | |
WO2008062822A1 (fr) | Dispositif d'exploration de texte, procédé d'exploration de texte et programme d'exploration de texte | |
CN110909768A (zh) | 一种标注数据获取方法及装置 | |
CN110413770B (zh) | 将群消息归类到群话题的方法及装置 | |
US20230169988A1 (en) | Method and apparatus for performing speaker diarization based on language identification | |
CN114780757A (zh) | 短媒体标签抽取方法、装置、计算机设备和存储介质 | |
KR20200101643A (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
JP5144557B2 (ja) | 映像分類方法、映像分類装置および映像分類プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |