CN114625917A - 视频搜索纠错方法、装置、设备及存储介质 - Google Patents

视频搜索纠错方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114625917A
CN114625917A CN202210239409.3A CN202210239409A CN114625917A CN 114625917 A CN114625917 A CN 114625917A CN 202210239409 A CN202210239409 A CN 202210239409A CN 114625917 A CN114625917 A CN 114625917A
Authority
CN
China
Prior art keywords
video
representation
search content
field
video knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210239409.3A
Other languages
English (en)
Inventor
陈小帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210239409.3A priority Critical patent/CN114625917A/zh
Publication of CN114625917A publication Critical patent/CN114625917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种视频搜索纠错方法、装置、设备及存储介质,可应用于视频搜索、云技术、人工智能、智慧交通、辅助驾驶等各种场景,该方法包括:响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示;根据至少一个字段对应的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容,并根据目标纠正搜索内容进行视频搜索。本申请的视频知识向量表中的视频知识表示可以表征出视频相关的视频知识的语义信息,这样基于视频知识向量进行搜索内容的纠错判断时,可以实现对搜索内容中视频知识逻辑类错误的准确判断和纠正。

Description

视频搜索纠错方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种视频搜索纠错方法、装置、设备及存储介质。
背景技术
目前的视频资源较多,对象可以根据自己的喜好,在视频播放平台上搜索感兴趣的视频或视频片段进行播放。
对象在搜索感兴趣视频时,是根据自己的记忆进行搜索,这样容易出现输入的搜索内容错误的问题。因此,视频播放平台可以对对象输入的错误搜索内容进行纠错,并将纠错后的搜索内容对应的视频呈现在给对象,提高对象的视频观看体验。
但是,目前的搜索内容纠错方法,主要对搜索内容进行文本建模,以对搜索内容中的文字错误进行纠正,没有考虑搜索内容中的视频知识,导致当对象输入的搜索内容中存在视频知识逻辑错误时,不能有效的进行错误判定与纠正。
发明内容
本申请提供一种视频搜索纠错方法、装置、设备及存储介质,实现对视频搜索内容错误的准确判断和纠正。
第一方面,本申请提供一种视频搜索纠错方法,包括:
响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,所述视频知识向量表包括不同视频知识实体的视频知识表示,所述视频知识向量表基于视频资源数据构建而成;
根据所述至少一个字段对应的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,并根据所述目标纠正搜索内容进行视频搜索。
第二方面,提供了一种视频搜索纠错装置,包括:
查询单元,用于响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,所述视频知识向量表包括不同视频知识实体的视频知识表示,所述视频知识向量表基于视频资源数据构建而成;
处理单元,用于根据所述至少一个字段对应的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,并根据所述目标纠正搜索内容进行视频搜索。
第三方面,提供了一种计算设备,包括处理器和存储器。所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行上述第一方面或其各实现方式中的方法。
第四方面,提供了一种芯片,用于实现上述第一方面中任一方面或其各实现方式中的方法。具体地,所述芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述第一方面中任一方面或其各实现方式中的方法。
第五方面,提供了一种计算机可读存储介质,用于存储计算机程序,所述计算机程序使得计算机设备执行上述第一方面中任一方面或其各实现方式中的方法。
第六方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序使得计算机设备执行上述第一方面中任一方面或其各实现方式中的方法。
第七方面,提供了一种计算机程序,当其在计算机设备上运行时,使得计算机设备执行上述第一方面中任一方面或其各实现方式中的方法。
综上,本申请响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示,视频知识向量表包括不同视频知识实体的视频知识表示,视频知识向量表基于视频资源数据构建而成;根据至少一个字段对应的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容,并根据目标纠正搜索内容进行视频搜索。本申请中,视频知识向量表基于视频资源数据构建而成,所包括的不同视频知识实体的视频知识表示可以表征出视频相关的视频剧、任务和情节看点等视频知识的语义信息,这样基于视频知识向量进行搜索内容的纠错判断时,可以实现对搜索内容中视频知识逻辑类错误的准确判断和纠正,降低对象错输时的搜索代价,提高对象的视频搜索体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例涉及的一种应用场景示意图;
图2为一种视频搜索纠错示意图;
图3为一种视频搜索纠错示意图;
图4为本申请一实施例提供的视频知识向量表的构建流程示意图;
图5为本申请涉及的一种异构图示意图;
图6是本申请涉及的构建视频知识向量表的网络结构示意图;
图7为本申请一实施例提供的视频搜索纠错方法流程示意图;
图8为本申请涉及的确定视频知识类型的网络结构示意图;
图9为本申请涉及的确定字段错误概率的网络结构示意图;
图10为本申请涉及的确定第二相似度的网络结构示意图;
图11是本申请一实施例提供的视频搜索纠错装置的示意性框图;
图12是本申请实施例提供的计算设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应理解,在本发明实施例中,“与A对应的B”表示B与A相关联。在一种实现方式中,可以根据A确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。
另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
为了便于理解本申请的实施例,首先对本申请实施例涉及到的相关概念进行如下简单介绍:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请可应用于各种视频搜索纠错场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
图1为本申请实施例涉及的一种应用场景示意图,包括终端设备101、视频播放平台102、服务器103。
其中,终端设备101可以是指部署有视频播放平台102的设备,在一些实施例中视频播放平台102也可以理解为可以播放视频的任意客户端。本申请实施例的终端设备101可包括但不限于:PC(Personal Computer,个人计算机)、PDA(平板电脑)、手机、可穿戴智能设备、智能语音交互设备、智能家电、车载终端、飞行器等等。终端设备101往往配置有显示装置,显示装置也可为显示器、显示屏、触摸屏等等,触摸屏也可为触控屏、触控面板等等,显示装置可用来显示视频画面等等。
服务器103可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器103也可以成为区块链的节点。
终端设备101与服务器103之间可以通过有线通信或者无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例的终端设备101中安装并运行视频播放平台102,视频播放平台102中可运行至少一个视频。对象(例如用户)点击视频播放平台102,启动视频播放平台102,在视频播放平台102中输入感兴趣的搜索内容。视频播放平台102将该搜索内容发送给服务器103。服务器103接收到该搜索内容后,首先判断该搜索内容是否正确,若确定该搜索内容错误时,进行纠错,并根据纠错后的搜索内容在海量的视频资源中进行搜索,得到最符合该搜索内容的至少一条视频内容。服务器103将搜索到的最符合该搜索内容的至少一条视频内容发送给视频播放平台102进行显示。
需要说明的是,本申请实施例的应用场景包括但不限于图1所示。
目前的视频搜索纠错方法,主要是对对象输入的搜索内容的文本内容进行建模,例如,首先通过文本卷积神经网络(Text Convolutional Neural Networks,简称TextCNN)、基于变换器的双向编码器表征(Bidirectional Encoder Representationsfrom Transformer,简称BERT)等模型,对对象输入的搜索内容进行错误判定,如果存在错误,再基于拼音相似、字形相似、编辑距离等构建纠正候选,然后对纠正候选进行正确性打分排序,将得分最高的候选作为纠正形式返回对象进行搜索。例如,图2所示,对象输入的搜索内容为“精彩搞小片段”,服务器对该搜索内容进行错误判断,在判断该搜索内容错误时,生成该搜索内容正确性得分最高的纠正搜索内容“精彩搞笑片段”,并根据该纠正搜索内容“精彩搞笑片段”进行搜索,将与该纠正搜索内容匹配的视频内容发送给视频播放平台进行显示。
但是,已有的视频搜索纠错方法主要对对象输入的搜索内容的文本内容进行建模,例如对错误字进行纠正,没有考虑搜索内容中的视频知识,导致当对象输入的搜索内容中存在视频知识逻辑错误时,不能有效的进行错误判定与纠正。例如图3所示,对象输入的搜索内容为“电视剧A演员B精彩片段”,该搜索内容,单从中文语法上看没有错误,但演员与影视剧之间逻辑混乱,目前的纠错方法不能很好地解决此类错误。
为了解决上述技术问题,本申请基于视频播放平台海量的行为数据、大量的视频资源数据,构建视频知识向量表,该视频知识向量表包括不同视频知识实体的视频知识表示,其中视频知识实体可以理解为视频名称、演员、剧情看点等等。这样,对象在视频播放平台上输入搜索内容时,服务器响应于该搜索内容,在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示,并根据至少一个字段的视频知识表示判断该搜索内容是否错误,若该搜索内容错误时,确定该搜索内容的目标纠正搜索内容。由此可知,本申请的视频知识向量表中各视频知识表示学习了视频资源数据中各视频知识实体之间的关联关系,这样基于视频知识向量表,可以实现对搜索内容中视频知识逻辑类错误的准确判断和纠正,降低对象错输时的搜索代价,提高对象的视频搜索体验。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
首先对视频知识向量表的构建过程进行介绍。
图4为本申请一实施例提供的视频知识向量表的构建流程示意图。
本申请实施例执行主体为计算机设备,该计算机设备可以是服务器或终端设备。下面以执行主体为服务器为例进行说明。
如图4所示,本申请实施例的方法包括:
S401、获取视频资源和历史视频访问数据。
在一些实施例中,视频资源是当前视频播放平台上的视频资源。
在一些实施例中,视频资源是不同视频播放平台,以及服务器可以从其他渠道,例如视频存储设备处获得的视频资源。也就是说,该视频资源可以是服务器通过任意渠道获得的视频资源。
在一些实施例中,历史视频访问数据可以是历史对象在当前视频播放平台上的搜索行为和/或观看行为。
在一些实施例中,历史视频访问数据还可以是历史对象在不同的视频播放平台上的搜索行为和/或观看行为等。
在一些实施例中,上述对象可以为用户。
也就是说,本步骤获得的视频资源和历史视频访问数据为海量数据。
S402、根据视频资源和历史视频访问数据,构建视频知识向量表。
视频知识实体可以理解为与视频相关的知识实体,例如为视频剧、人物、情节等等。
在一些实施例中,本申请实施例涉及的视频知识实体主要包括三大类,分别为包括视频剧、人物、情节。
示例性的,视频剧包括影视综艺、动漫、体育、游戏、音乐等。
示例性的,人物包括演员、角色、主持人、歌手等。
示例性的,情节包括打斗、搞笑、枪战、反转等。
本申请实施例对根据视频资源和历史视频访问数据,构建视频知识向量表的方法不做限制。
在一些实施例中,上述S401可以是以视频知识实体为节点,以不同视频知识实体之间的关联关系为边的权重,构建的异构图,针对该异构图中的每一个节点,根据与该节点的边权重最大的至少一个节点,确定该节点的视频知识表示。例如,将与该节点的边权重最大的至少一个节点的视频知识输入一个网络模型中,该网络模型输出该节点的视频知识表示,不同视频知识实体的视频知识表示构成视频知识向量表。
在一些实施例中,上述S402包括如下S402-A至S402-C(图中未示出)的步骤:
S402-A、根据视频资源和历史视频访问数据,以不同的视频知识为节点,构建异构图,并确定异构图中不同视频知识之间的边权重。
具体的,提取视频资源和历史视频访问数据中的视频知识,以视频知识为节点,构建异构图。
以视频知识实体包括视频剧、人物、情节为例,构建的异构图如图5所示,图5中V表示视频剧,其中V1、V2、V3为不同的视频剧,P表示人物,其中P1、P2、P3为不同的人物,T表示情节,其中T1、T2、T3为不同的情节。需要说明的是,图5只是一种示例中,实际情况下,本申请实施例的异构图所包括的节点数量远远大于图5。
如图5所示,构建异构图后,根据视频资源和历史视频访问数据,确定异构图中不同两个节点之间的边的权重。其中,若两个视频知识实体在视频资源和历史视频访问数据中关联出现的概率越高,则说明这两个视频知识之间的边权重越大。
在一些实施例中,以视频剧、人物、情节为例,根据如下示例,确定不同视频知识实体之间的边权重:
示例1,将平台所有对象播放视频剧Vi后下一次播放视频剧Vj的总次数与系数1的乘积,作为视频剧Vi与视频剧Vj之间的边权重。
例如,视频剧Vi与视频剧Vj之间的边权重=平台所有对象播放Vi后下一次播放Vj的总次数*系数1。
示例2,若人物Pj为剧中演员/角色,则根据历史视频访问数据,将视频资源中标题同时包含视频剧Vi与人物Pj的所有视频的总播放次数与系数2的乘积,作为视频剧Vi与人物Pj之间的边权重。
例如,视频剧Vi与人物Pj之间的边权重=标题中同时包含剧名Vi与人物Pj的所有视频的总播放次数*系数2。
若人物Pj不是剧中演员/角色,则确定视频剧Vi与人物Pj之间的边权重为0。
示例3,若视频剧Vi的标签中存在情节Tj时,则根据历史视频访问数据,将视频资源中视频剧Vi播放完成度满足一定阈值的总播放次数与系数3的乘积,确定为视频剧Vi与情节Tj之间的边权重。
例如,视频剧Vi与情节Tj之间的边权重=视频剧Vi播放完成度满足一定阈值的总播放次数*系数3。
若视频剧Vi的标签中不存在情节Tj时,则确定视频剧Vi与情节Tj之间的边权重为0。
示例4,根据历史视频访问数据,将视频资源中同时包含情节Ti和情节Tj标签的所有视频的总播放次数与系数4的乘积,确定为情节Ti与情节Tj之间的边权重。
例如,情节Ti与情节Tj之间的边权重=同时包含Ti、Tj标签的所有视频的总播放次数*系数4。
示例5,根据历史视频访问数据,将视频资源中标题同时包括情节Ti与人物Pj的所有视频的总播放次数与系数5的乘积,确定为情节Ti与人物Pj之间的边权重。
例如,情节Ti与人物Pj之间的边权重=标题中同时包括情节Ti与人物Pj的所有视频的总播放次数*系数5。
示例6,根据历史视频访问数据,将视频资源中标题同时包括人物Pi与人物Pj的所有视频的总播放次数与系数6的乘积,或者将视频资源中视频演员/角色等同时包括Pi与Pj的所有视频的总播放次数与系数6的乘积,作为人物Pi与人物Pj之间的边权重。
例如,人物Pi与人物Pj之间的边权重=(标题中同时包括人物Pi与人物Pj的或者是视频演员/角色等同时包括Pi与Pj的所有视频的总播放次数)*系数6。
需要说明的是,本申请实施例对上述系数1至系数6的具体取值不做限制。上述系数1至系数6是为了将各种边的权重可比。
S402-B、根据异构图中的边权重,在异构图中的节点之间随机游走,构建K条路径,K为正整数。
具体的,以异构图中的任意一个节点为出发点,将异构图中与该出发点的边权重最大的一个点作为该出发点的下一个节点,与该出发点相连。接着,将该下一个节点作为新的出发点,将异构图中与该新的出发点的边权重最大的一个点作为该出发点的下一个节点,与该新的出发点相连,以此类推,得到一条路径。该条路径的构建结束的条件为边权重小于某一预设值,或者路径的长度等于预设值。
参照上述方法,可以在异构图中的节点之间随机游走,可以构建出K条路径。
可选的,本申请实施例可以采用深度行走(deep walk)方法,根据各节点之间的边权重,在异构图中的节点之间随机游走,构建出K条路径。
示例性的,得到的K条路径如表1所示:
表1
路径序号 随机路径
0 V3->P2->V1->P3->V6->P4->V7->T2
1 V7->P13->T3->V9->V2->P2->V11->T6->V12
K-1 P4->T21->V7->P2->V18->P9->V15
采用上述方法,在异构图中的节点之间随机游走,生成如表1所示的K条路径,由于上述K条路径中的每一条路径均是根据异构图中的边权重确定的,使得同一条路径中的各节点对应的视频知识实体关联性强,例如同一条路径中的两个视频知识实体为视频剧和该视频剧的演员。这样使用视频知识关联性强的路径,生成视频知识表示时,该视频知识表示可以隐含表征出视频相关的视频知识,例如能表征出视频相关的视频剧、人物和情节的语义信息。后期使用视频知识表示判断搜索内容的正确性时,可以实现对搜索内容中视频相关知识的准确判断。
本申请实施例中,使用K条路径生成视频知识向量表的方法可以采用如下S402-C的步骤。
S402-C、使用K条路径对第四网络模型进行训练,得到视频知识向量表。
本申请实施例对第四网络模型的具体网络结构不做限制,例如为BERT或TextCNN等文本网络模型。
本申请实施例,使用K条路径对第四网络模型进行训练,在对第四网络模型的训练过程中,同步更新视频知识向量表,进而在第四网络模型训练结束后,得到趋于稳定的视频知识向量表。
本申请实施例对使用K条路径对第四网络模型进行训练,得到视频知识向量表的方式不做限制。例如,将K条路径输入第四网络模型,使得第四网络模型学习K条路径中每条路径中视频知识实体之间的语义信息,进而得到不同视频知识实体的表征向量,将该表征向量作为该视频知识实体的视频知识表示,不同视频知识实体的视频知识表示构成本申请实施例的视频知识向量表。
在一些实施例中,S402-C通过如下S402-C1至S402-C3(图中未示出)的步骤,得到视频知识向量表:
S402-C1、针对K条路径中的第k条路径,将第k条路径中的至少一个节点进行替换,并将替换后的第k条路径输入第四网络模型中,得到第k条路径中被替换节点的预测值,k为从1到K的正整数;
S402-C2、根据第k条路径中被替换节点的预测值和真值之间的损失,对第四网络模型进行训练,且对视频知识向量表中的视频知识表示进行更新;
S402-C3、将第四网络模型训练结束后,所更新得到的视频知识向量表作为最终的视频知识向量表。
本申请实施例中,使用K条路径对第四网络模型进行迭代训练,其中每一条路径的训练过程一致,为了便于描述,以K条路径中的第k条路径为例进行说明。
具体的,将第k条路径中的至少一个节点随机替换掉,使用第四网络模型还原第k条路径中被替换节点的值,来实现对视频知识表示的训练。例如,将至少一个节点被随机替换掉的第k条路径输入第四网络模型中,得到该第四网络模型输出的被替换节点的预测值。确定被替换节点的预测值和真值之间的损失,使用该损失对第四网络模型进行训练,同时对视频知识向量表中的视频知识表示进行更新。
上述S402-C1中,将替换后的第k条路径输入所述第四网络模型中,得到第k条路径中被替换节点的预测值的实现方式包括但不限于如下几种:
方式一,在第k-1次更新后的视频知识向量表中,确定至少一个节点替换后的第k条路径中每个节点的视频知识表示。将替换后的第k条路径中每个节点的视频知识表示输入第四网络模型中,得到该第四网络模型输出的第k条路径中被替换节点的预测值。
方式二,在第k-1次更新后的视频知识向量表中,确定至少一个节点替换后的第k条路径中每个节点的视频知识表示。确定替换后的第k条路径中每个节点的位置表示和类型表示,其中类型表示为该节点的视频知识类型表示,可选的,本申请实施例可以为不同的视频知识类型表示设置不同的预设值进行表示,例如若节点的类型为视频剧,则该节点的类型表示为1,若节点的类型为人物,则该节点的类型表示为0,若节点的类型为情节看点,则该节点的类型表示为2。可选的,不同的视频知识类型表示可以随模型的训练进行更新。接着,将替换后的第k条路径中每个节点的视频知识表示、位置表示和类型表示进行叠加后输入第四网络模型中,得到该第四网络模型输出的第k条路径中被替换节点的预测值。
需要说明的是,若k=1,则第k-1次更新后的视频知识向量表为初始视频知识向量表。
本申请实施例中,在训练第四网络模型之前,首先构建初始视频知识向量表,该初始视频知识向量表中包括不同视频知识实体的初始视频知识表示。
在一种示例中,上述初始视频知识向量表是随机生成的,也就是说,不同视频知识实体的初始视频知识表示是随机生成的。
在另一种示例中,视频知识向量表中各视频知识实体的初始视频知识表示,是通过预先训练好的语言模型预测的各视频知识实体的文本内容表示。
本申请实施例,首先构建初始视频知识向量表,接着对表1中的第k条路径中的至少一个节点进行替换,在初始视频知识向量表中查询至少一个节点被替换后的第k条路径中每个节点对应的视频知识表示。将至少一个节点被替换后的第k条路径中每个节点对应的视频知识表示输入第四网络模型中,得到该第四网络模型输出的第k条路径中被替换节点的预测值,若被替换节点的预测值和真实值之间的损失较大,则说明初始视频知识向量表未训练好,根据上述损失对视频知识向量表进行更新,并将更新后的视频知识向量表作为新的视频知识向量表,执行后续的更新步骤。依次类推,待第四网络模型训练收敛后,视频知识向量表中的各视频知识表示趋于稳定,能够表征视频相关的视频剧、人物和情节的语义信息,用于后续搜索内容的纠错判断。
本申请实施例对上述生成的视频知识向量表的具体表示形式不做限制。
在一种示例中,上述视频知识向量为一个表格,包括不同视频类型下不同视频知识实体对应的视频知识表示。
在另一种示例中,上述视频知识向量表包括不同视频知识类型下的视频知识子向量表,例如包括3个视频知识子向量表,分别为视频向量表、人物向量表和情节看点向量表。
下面结合具体实施例,以更新不同视频知识类型下的视频知识子向量表为例,对视频知识向量表的生成过程进行介绍。
例如,如图6所示,本申请实施例以第四网络模型为BERT模型,第k条路径为表1中的路径V3->P2->V1->P3->V6->P4->V7->T2为例。如图6所示,将路径V3->P2->V1->P3->V6->P4->V7->T2中的节点P3替换为MASK,将节点V7替换为V8。替换掉的路径为:V3->P2->V1->MASK->V6->P4->V8->T2。在当前更新后的视频知识向量表,即视频向量表、人物向量表和情节看点向量表中查询V3->P2->V1->MASK->V6->P4->V8->T2中每个节点的视频知识表示。同时,确定V3->P2->V1->MASK->V6->P4->V8->T2中每个节点的位置表示和类型表示。将每个节点的视频知识表示、位置表示和类型表示进行叠加后输入BERT模型中,BERT模型输出序列V3->P2->V1->MASK->V6->P4->V8->T2中节点MASK位置的预测值和节点V8位置的预测值。若MASK位置的预测值为P3,V8位置的预测值为V7时,则说明该BERT模型收敛,将此时的视频知识向量表趋于稳定。若MASK位置的预测值不为P3,和/或V8位置的预测值不为V7时,则说明该BERT模型不收敛,此时将对BERT模型中的参数进行更新,且对当前的视频知识向量表进行更新,即对当前的视频知识表示、位置表示和类型表示进行更新。接着使用其他的路径,采用上方方法,对BERT模型和视频知识向量表进行更新,直达BERT模型训练结束,得到更新趋于稳定的视频知识向量表。
本申请实施例中K个路径中,每个节点被替换的概率为第一数值。本申请实施例对第一数值的具体取值不做限制。
示例性的,上述K条路径中每个节点的替换概率为20%,保持不变的概率为80%。可选的,在进行替换时,以85%概率替换为[mask],15%概率随机替换为其他节点。
在一些实施例中,本申请的视频知识表示也称为视频知识嵌入。
本申请实施例,基于海量的视频资源和历史视频访问数据,构建视频知识向量表,该视频知识向量表中包括不同视频知识实体的视频知识表示,该视频知识表示可以表征出视频相关的视频剧、任务和情节看点的语义信息,这样基于视频知识向量进行搜索内容的纠错判断时,可以提高搜索内容纠错判断的准确性。
上述对生成视频知识向量表的过程进行介绍,下面结合上述视频知识向量表,对对象的搜索内容进行视频搜索纠错的过程进行介绍。
图7为本申请一实施例提供的视频搜索纠错方法流程示意图。本申请实施例的执行主体为计算机设备,该计算机设备可以是服务器或终端设备。下面以执行主体为服务器为例进行说明。
如图7所示,本申请实施例的纠错方法包括:
S701、响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示。
由上述可知,视频知识向量表包括不同视频知识实体的视频知识表示,视频知识向量表基于视频资源数据构建而成。
其中,搜索内容中的一个字段可以理解为具有完整语义的区间片段,例如为视频剧名、人物、情节看点、普通文本等。
上述对象可以包括用户。
在实际应用过程中,如图1所示,对象在终端设备的视频播放平台上输入搜索内容,视频播放平台将该搜索内容发送给服务器,服务器执行本申请实施例的方法,对对象输入的搜索内容进行纠错。
本申请实施例中,根据视频知识向量表的表达格式不同,查询搜索内容中至少一个字段对应的视频知识表示的方式至少包括如下几种实现方式:
方式一,若视频知识向量表为一个表,该表中包括不同视频知识类型下的各视频知识实体的视频知识表示,此时,针对搜索内容中的至少一个字段,可以在该视频知识向量表中,查询至少一个字段中每个字段的视频知识实体对应的视频知识表示。
方式二,若视频知识向量表包括不同视频知识类型下的视频知识子向量表,则上述S701中在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示包括如下S701-A和S702-B(图中未示出)的步骤:
S701-A、确定至少一个字段中每个字段的视频知识类型;
S702-B、针对至少一个字段中的第i个字段,在第i个字段的视频知识类型下的视频知识子向量表中,查询第i个字段的视频知识实体对应的视频知识表示。
该方式二,若视频知识向量表包括不同视频知识类型下的视频知识子向量表,则服务器在查表确定搜索内容中各字段的视频知识表示之前,首先需要确定各字段的视频知识类型,进而根据视频知识类型确定待查询的视频知识子向量表,进而在对应的待查询的视频知识子向量表中,查询搜索内容中各字段的视频知识表示。
本申请实施例对确定搜索内容中至少一个字段的视频知识类型的方法不做限制。
在一种示例中,将搜索内容输入预先训练好的语言分类模型中,该语言分类模型可以识别出搜索内容中各字段的视频知识类型。
在另一种示例中,上述S701-A包括如下S701-A1和S701-A2(图中未示出)的步骤:
S701-A1、将搜索内容输入第一网络模型,得到搜索内容中至少一个字段的内容表示和上下文表示;
S701-A2、针对至少一个字段中的第i个字段,根据第i个字段的内容表示和上下文表示,得到第i个字段的视频知识类型,i为正整数。
上述第一网络模型为可以提取出搜索内容中字段的内容表示和上下文表示的任意网络模型。
在该示例中,通过将搜索内容输入第一网络模型中,首先得到搜索内容中至少一个字段的内容表示和上下文表示,接着,根据至少一个字段中每个字段的内容表示和上下文表示,确定每个字段的视频知识类型。
上述S701-A1中得到搜索内容中至少一个字段的内容表示和上下文表示的方式包括但不限于如下几种示例:
示例1,服务器将搜索内容输入预先训练好的第一网络模型中,该第一网络模型输出搜索内容中每个字的内容表示和上下文表示。根据搜索内容中至少一个字段中的每个字段所包括的字的内容表示,得到搜索内容中每个字段的内容表示,根据搜索内容中至少一个字段中的每个字段所包括的字的上下文表示,得到搜索内容中每个字段的上下文表示。
示例2,上述S701-A1包括如下S701-A11和S701-A12(图中未示出)的步骤:
S701-A11、确定搜索内容的文本表示;
S701-A12、将搜索内容的文本表示输入第一网络模型中,得到至少一个字段中每个字段的内容表示和上下文表示。
其中,搜索内容的文本表示包括搜索内容中每个字的文本表示。
示例性的,文本表示包括位置表示、字形表示、字音表示、字表示中的至少一个。
其中,字形表示可以是,对字笔画序列经过双向长短期记忆(Bi-directionalLong short-term memory,BiLSTM)构建的。
其中,字音表示可以是,对字拼音序列经过BiLSTM构建的。
也就是说,本申请实施例,通过查表得到搜索内容中每个字的位置表示、字形表示、字音表示和字表示。
即将搜索内容中每个字的位置表示、字形表示、字音表示和字表示进行叠加后,输入第一网络模型中,得到搜索内容的至少一个字段中每个字段的内容表示和上下文表示。
在一些实施例中,将搜索内容输入第一网络模型中,得到第一网络模型输出的搜索内容中每个字的表征向量;针对第i个字段,将搜索内容中,第i个字段的上下文内容所包括的各字的表征向量进行下采样,得到第i个字段的上下文表示;将搜索内容中,第i个字段所包括的各字的表征向量进行下采样,得到第i个字段的内容表示。
示例性的,本申请实施例可以通过平均池化或最大池化的方法,将第i个字段的上下文内容所包括的各字的表征向量进行下采样,得到第i个字段的上下文表示,将第i个字段所包括的各字的表征向量进行下采样,得到第i个字段的内容表示。
根据上述方法,确定出搜索内容中至少一个字段中每个字段的内容表示和上下文表示后,根据每个字段的内容表示和上下文表示,确定每个字段的视频知识类型。
本申请实施例中,确定搜索内容中至少一个字段中每个字段的视频知识类型的过程一致,为了便于描述,以至少一个字段中的第i个字段为例。
针对至少一个字段中的第i个字段,根据该第i个字段的内容表示和上下文表示,得到第i个字段的视频知识类型。例如,将该第i个字段的内容表示和上下文表示输入分类层中,得到第i个字段的视频知识类型。
在一些实施例中,本申请实施例,将搜索内容输入第一网络模型,除了得到搜索内容中每个字的表征向量外,还输出搜索内容的语义表示,该语义表示用于任务分类。此时,上述S701-A2包括如下步骤:
S701-A21、根据第i个字段的内容表示和上下文表示,以及搜索内容的语义表示,得到第i个字段的视频知识类型。
例如,将第i个字段的内容表示和上下文表示,以及搜索内容的语义表示进行拼接后输入第一网络模型对应的第一分类层,得到第i个字段的视频知识类型。
本申请实施例对第一网络模型的具体网络结构不做限制。
示例性的,以第一网络模型为BERT模型为例,如图8所示,首先,确定搜索内容中每个字的位置表示、字形表示、字音表示和字表示,将位置表示、字形表示、字音表示和字表示进行叠加后,输入BERT模型中,该BERT模型输出搜索内容中每个字的表征向量。以确定搜索内容中第一字段和第二字段的视频知识类型为例进行说明。第一字段包括两个字,将这两个字的表征向量通过最大池化方法进行下采样,得到该第一字段的内容表示。将该第一字段的上下文内容所包括的字的表征向量进行下采样,得到该第一字段的上下文表示。同理,第二字段包括3个字,将这三个字的表征向量通过最大池化方法进行下采样,得到该第二字段的内容表示。将该第二字段的上下文内容所包括的字的表征向量进行下采样,得到该第二字段的上下文表示。如图8所示,第一网络模型还输出该搜索内容的语义表示CLS(classification,分类)。接着,将第一字段的内容表示和上下文表示,以及搜索内容的语义表示CLS拼接后输入第一分类层(图8中未示出),得到该第一分类层输出的第一字段的视频知识类型。同理,将第二字段的内容表示和上下文表示,以及搜索内容的语义表示CLS拼接后输入第一分类层(图8中未示出),得到该第一分类层输出的第二字段的视频知识类型。
根据上述方法,确定出搜索内容中至少一个字段的视频知识类型后,执行上述S701-B的步骤,针对至少一个字段中的第i个字段,在第i个字段的视频知识类型下的视频知识子向量表中,查询第i个字段的视频知识实体对应的视频知识表示。例如,第i个字段的视频知识类型为人物,则在人物向量表中查询第i个字段的视频知识实体(例如演员A)对应的视频知识表示。
在一些实施例中,若搜索内容中第i个字段为普通文本时,则确定该第i个字段的视频知识表示为默认值。
S702、根据至少一个字段的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容,并根据目标纠正搜索内容进行视频搜索。
本申请实施例,服务器根据上述步骤,确定出搜索内容中至少一个字段中每个字段的视频知识表示,接着,根据至少一个字段中每个字段的视频知识表示,判断该搜索内容是否存在视频知识错误,例如判断搜索内容是否存在视频知识逻辑错误。在确定搜索内容错误时,确定该搜索内容的目标纠正搜索内容。
上述S702中根据至少一个字段的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容的方式包括但不限于如下几种:
方式1,计算至少一个字段中每两个字段的视频知识表示之间的距离,若两个字段的视频知识表示之间的距离越小,则说明这两个字段之间的相关性越强。这样,可以根据搜索内容中字段的视频知识表示之间的距离大小,来判断该搜索内容是否正确。例如,若搜索内容中任意两个字段的视频知识表示之间的距离大于某一预设值,则确定该搜索内容存在视频知识相关的错误。此时,确定搜索内容的目标纠正搜索内容,并根据目标纠正搜索内容进行视频搜索。
方式2,上述S702中根据至少一个字段的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容包括如下S702-A至S702-C(图中未示出)的步骤:
S702-A、针对搜索内容中的第i个字段,将第i字段的视频知识表示、内容表示和上下文表示输入第一网络模型对应的第二分类层,得到第i个字段的错误概率。
本申请实施例中,判断搜索内容中至少一个字段中每个字段的是否错误的方法相同。为了便于描述,以至少一个字段中的第i个字段为例。
具体的,将第i个字段的视频知识表示、内容表示和上下文表示拼接后,输入第二分类层,得到该第i个字段的错误概率。
示例性的,以第一网络模型为BERT模型为例,如图9所示,根据上述图8所示的方法,得到第一字段的内容表示和上下文表示,第二字段的内容表示和上下文表示,以及搜索内容的语义表示CLS。接着,根据第一字段的视频知识类型,在构建的视频知识向量表中查询第一字段的视频知识表示,以及根据第二字段的视频知识类型,在构建的视频知识向量表中查询第二字段的视频知识表示。如图9所示,将第一字段的视频知识表示、内容表示和上下文表示拼接后输入第二分类层(图9中未示出)中,得到第一字段的错误概率。同理,将第二字段的视频知识表示、内容表示和上下文表示拼接后输入第二分类层(图9中未示出)中,得到第二字段的错误概率。
如图9所示,第一网络模型融入了视频剧、任务、情节看点等视频知识实体的视频知识表示。这样在对第一网络模型训练时,可以通过在大量标注好错误的视频搜索内容数据集上进行训练,使得第一网络模型能对视频知识逻辑类错误具备较好的辨别能力。另外上述构建的视频知识向量表也可以随图9所示的第一网络模型的训练进行动态更新,使得视频知识表示与视频搜索内容的文本上下文相关,为后续基于搜索内容的文本上下文召回相关视频知识实体做准备。
根据上述方法,确定出搜索内容中至少一个字段中每个字段的错误概率后,确定至少一个字段中的错误字段,根据如下S702-B的方法,确定错误字段的至少一个候选纠正搜索内容,进而根据各错误字段的候选纠正搜索内容,确定搜索内容的目标纠正搜索内容。
本申请实施例,以至少一个字段中的第i字段为例,执行如下S702-B的步骤。
S702-B、根据第i个字段的错误概率,在确定第i个字段为错误字段时,生成第i个字段的M个候选纠正搜索内容,M为正整数。
确定第i个字段是否为错误字段的方法可以是,将第i个字段的错误概率与预设阈值进行比较,若第i个字段的错误概率大于预设阈值时,确定第i字段为错误字段;若第i个字段的错误概率小于或等于预设阈值时,则确定第i个字段为正确字段。
在确定该第i个字段为错误字段时,生成这第i个字段的M个候选纠正搜索内容。
本申请实施例中,生成第i个字段的M个候选纠正搜索内容的方式包括如下几种示例。
示例1,若第i个字段的视频知识类型为普通文本,则基于拼音、字形相似为该第i个字段构建M个相似的候选纠正搜索内容,此处候选纠正搜索内容与搜索内容之间的相似度称为第一相似度。
该示例1中可以采用任意一种计算文本相似度的方法,计算上述M个候选纠正搜索内容中每个候选纠正搜索内容与搜索内容之间的第一相似度。
示例2,若第i个字段的视频知识类型为视频剧、人物和情节中的任意一个时,则上述S702-B中生成第i个字段的M个候选纠正搜索内容的方法包括如下S702-B1至S702-B3(图中未示出)的步骤:
S702-B1、确定第i个字段的上下文表示,与视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度。
本步骤通过计算第i个字段的上下文表示,与视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度,确定与第i个字段的上下文表示相似的视频知识表示。
本申请实施例对确定第i个字段的上下文表示,与视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度的具体计算方法不做限制。
示例性的,通过余弦距离计算方法,确定第i个字段的上下文表示,与视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度。
S702-B2、从视频知识向量表中,选出第一相似度最大的M个视频知识实体。
根据上述步骤,确定出第i个字段的上下文表示,与视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度后,从视频知识向量表中,选出第一相似度最大的M个视频知识实体。
S702-B3、使用M个视频知识实体,替换搜索内容中的第i个字段,得到第i个字段的M个候选纠正搜索内容。
具体的,使用M个视频知识实体,一一替换搜索内容中的第i个字段,得到第i个字段的M个候选纠正搜索内容。
上述步骤是以搜索内容中错误字段,以第i个字段为例,对第i个字段的M个候选纠正搜索内容的构建过程进行介绍。搜索内容中其他错误字段的候选纠正搜索内容的构建过程,与第i个字段的M个候选纠正搜索内容的构建过程一样,这样可以参照上述描述,构建出搜索内容中其他错误字段的候选纠正搜索内容,接着,执行如下S702-C。
S702-C、根据搜索内容中错误字段的候选纠正搜索内容,确定搜索内容的目标纠正搜索内容。
本申请实施例对从搜索内容中错误字段的候选纠正搜索内容中,确定出搜索内容的目标纠正搜索内容的过程不做限制。
示例1,将搜索内容中错误字段的候选纠正搜索内容中,第一相似度最大的候选纠正搜索内容,确定为搜索内容的目标纠正搜索内容。
示例2,上述S702-C包括如下S702-C1和S702-C2(图中未示出)步骤:
S702-C1、确定搜索内容的每个候选纠正搜索内容的正确性得分;
S702-C2、将正确性得分最高的候选纠正搜索内容,确定为目标纠正搜索内容。
具体的,将搜索内容的每一个候选纠正搜索内容与搜索内容进行比较,确定每个候选纠正搜索内容的正确性得分,将正确性得分最高的候选纠正搜索内容,确定为目标纠正搜索内容。
本申请实施例对确定候选纠正搜索内容的正确性得分的方法不做限制。例如,将候选纠正搜索内容输入一网络模型中,该网络模型输出候选纠正搜索内容的正确性得分。
在一些实施例中,上述S702-C1包括如下S702-C11和S702-C12(图中未示出)的步骤:
S702-C11、针对搜索内容的第j个候选纠正搜索内容,确定第j个候选纠正搜索内容与搜索内容之间的第二相似度,j为正整数。
本申请实施例中,确定搜索内容的每个候选纠正搜索内容与搜索内容之间的第二相似度的方法相同,为了便于表示,以搜索内容的第j个候选纠正搜索内容为例进行说明。
本申请实施例对确定第j个候选纠正搜索内容与搜索内容之间的第二相似度的方式不做限制。
例如,将第j个候选纠正搜索内容与搜索内容之间的距离,确定为第j个候选纠正搜索内容与搜索内容之间的第二相似度。
在一些实施例中,S702-C11中确定第j个候选纠正搜索内容与搜索内容之间的第二相似度包括如下步骤:
S702-C111、将第j个候选纠正搜索内容中各字段的视频知识表示,以及第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到第j个候选纠正搜索内容的深度表示。
上述第二网络模型为可以提取出候选纠正搜索内容的深度表示的任意网络模型。
在一种示例中,将第j个候选纠正搜索内容中各字段的视频知识表示,以及第j个候选纠正搜索内容的文本表示输入第二网络模型中,该第二网络模型输出第j个候选纠正搜索内容的深度表示。
在另一种示例中,将第j个候选纠正搜索内容中各字段的视频知识表示,以及第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到第二网络模型输出的第j个候选纠正搜索内容中每个字的表征向量;对第j个候选纠正搜索内容中每个字的表征向量进行下采样,例如通过最大池化处理,得到第j个候选纠正搜索内容的深度表示。
S702-C112、根据第j个候选纠正搜索内容的深度表示,得到第j个候选纠正搜索内容对应的第二相似度。
例如,将第j个候选纠正搜索内容的深度表示输入第二网络模型对应的第三分类层中,得到第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,上述第二网络模型除了输出第j个候选纠正搜索内容的深度表示,还输出该第j个候选纠正搜索内容的语义表示。此时,上述S702-C12包括如下S702-C1121(图中未示出):
S702-C1121、将第j个候选纠正搜索内容的深度表示和语义表示输入第三分类层,得到第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,本申请实施例还包括步骤:
步骤1,获取上述对象的对象数据,并基于该对象数据,确定对象的兴趣标签序列;
步骤2,在视频知识向量表中,查询兴趣标签序列中各字段对应的视频知识表示;
步骤3,将兴趣标签序列对应的视频知识表示,以及兴趣标签序列的文本表示输入第三网络模型中,得到兴趣标签序列的深度表示。
上述第三网络模型为可以提取出兴趣标签序列的深度表示的任意网络模型。
在一些实施例中,上述对象数据包括对象的兴趣数据。
在一些实施例中,将兴趣标签序列对应的视频知识表示,以及兴趣标签序列的文本表示输入第三网络模型中,第三网络模型输出兴趣标签序列的深度表示。
在一些实施例中,将兴趣标签序列对应的视频知识表示,以及兴趣标签序列的文本表示输入第三网络模型中,得到第三网络模型输出的兴趣标签序列中每个字的表征向量;对兴趣标签序列中每个字的表征向量进行下采样,得到兴趣标签序列的深度表示。
在一些实施例中,第三网络模型还输出兴趣标签序列的语义表示,即将兴趣标签序列对应的视频知识表示,以及兴趣标签序列的文本表示输入第三网络模型中,得到兴趣标签序列的语义表示,语义表示用于任务分类。此时上述S702-C1121包括如下步骤:将第j个候选纠正搜索内容的深度表示和语义表示,以及兴趣标签序列的深度表示和兴趣标签序列的语义表示输入第三分类层,,得到第j个候选纠正搜索内容对应的第二相似度。
本申请实施例对上述第二网络模型和第三网络模型的具体网络结构不做限制。
在一些实施例中,第二网络模型和第三网络模型为BERT模型,此时,如图10所示,本申请实施例,生成第j个候选纠正搜索内容的第二相似度过程为:根据当前对象数据,得到该对象兴趣标签序列。在视频知识向量表中,查询兴趣标签序列中各字段对应的视频知识表示,将兴趣标签序列对应的视频知识表示,以及兴趣标签序列的文本表示(例如位置表示、字形表示、字音表示和字表示)叠加后输入第三网络模型中,第三网络模型输出该兴趣标签序列中每个字的表征向量,以及该兴趣标签序列的语义表示,对兴趣标签序列中每个字的表征向量进行下采样,得到该兴趣标签序列的深度表示。
同理,对于第j个候选纠正搜索内容,首先在视频知识向量表中,查询第j个候选纠正搜索内容中各字段对应的视频知识表示,将第j个候选纠正搜索内容对应的视频知识表示,以及第j个候选纠正搜索内容的文本表示(例如位置表示、字形表示、字音表示和字表示)叠加后输入第二网络模型中,第二网络模型输出该第j个候选纠正搜索内容中每个字的表征向量,以及该第j个候选纠正搜索内容的语义表示,对第j个候选纠正搜索内容中每个字的表征向量进行下采样,得到该第j个候选纠正搜索内容的深度表示。
接着,将兴趣标签序列的深度表示和语义表示,以及第j个候选纠正搜索内容的深度表示和语义表示平均后,输入第三分类层(图10中未示出),得到第j个候选纠正搜索内容对应的第二相似度。
S702-C12、根据第二相似度,确定第j个候选纠正搜索内容的正确性得分。
根据上述方法,确定出第j个候选纠正搜索内容对应的第二相似度后,根据第二相似度,确定第j个候选纠正搜索内容的正确性得分,例如,将第j个候选纠正搜索内容与搜索内容的第二相似度值,确定为第j个候选纠正搜索内容的正确性得分。
在一些实施例中,将第j个候选纠正搜索内容对应的第一相似度和第二相似度之和,确定为第j个候选纠正搜索内容的正确性得分。
上述以第j个候选纠正搜索内容的正确性得分为例进行说明。搜索内容中,其他候选纠正搜索内容的正确性得分的确定过程与上述第j个候选纠正搜索内容的正确性得分的确定过程一致,参照即可,在此不再赘述。
根据上述方法,确定出搜索内容的各错误字段的候选纠正搜索内容中,每个候选纠正搜索内容的正确性得分,将正确性得分最高的候选纠正搜索内容,确定为搜索内容的目标纠正搜索内容,并根据该目标纠正搜索内容进行视频搜索。
在一些实施例中,服务器直接根据该目标纠正搜索内容进行视频搜索,将搜索结果发送给视频播放平台进行显示。
在一些实施例中,服务器首先将确定的目标纠正搜索内容发送给视频播放平台进行显示。对象可以判断视频播放平台显示的目标纠正搜索内容是否为自己所需的搜索内容。若是,则对象触发该目标纠正搜索内容,响应于对象的触发操作,视频播放平台向服务器发送指示对象接收目标纠正搜索内容的响应信息,服务器根据该响应信息,搜索目标纠正搜索内容相关的视频发送给视频播放平台。若对象不接收上述目标纠正搜索内容时,例如对象点击取消选项,此时,视频播放平台向服务器发送指示对象不接收目标纠正搜索内容的响应信息,服务器根据该响应信息,停止视频搜索,或者,根据对象输入的原始搜索内容进行相关视频内容的搜索。
本申请实施例提供的视频搜索纠错方法,响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询搜索内容中至少一个字段对应的视频知识表示,视频知识向量表包括不同视频知识实体的视频知识表示,视频知识向量表基于视频资源数据构建而成;根据至少一个字段对应的视频知识表示,在检测到搜索内容错误时,确定搜索内容的目标纠正搜索内容,并根据目标纠正搜索内容进行视频搜索。本申请中,视频知识向量表基于视频资源数据构建而成,所包括的不同视频知识实体的视频知识表示可以表征出视频相关的视频剧、任务和情节看点等视频知识的语义信息,这样基于视频知识向量进行搜索内容的纠错判断时,可以实现对搜索内容中视频知识逻辑类错误的准确判断和纠正,降低对象错输时的搜索代价,提高对象的视频搜索体验。
上文结合图4至图10,详细描述了本申请的方法实施例,下文结合图11至图12,详细描述本申请的装置实施例。
图11是本申请一实施例提供的视频搜索纠错装置的示意性框图。
如图11所示,视频搜索纠错装置10可包括:
查询单元11,用于响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,所述视频知识向量表包括不同视频知识实体的视频知识表示,所述视频知识向量表基于视频资源数据构建而成;
处理单元12,用于根据所述至少一个字段对应的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,并根据所述目标纠正搜索内容进行视频搜索。
在一些实施例中,若所述视频知识向量表包括不同视频知识类型下的视频知识子向量表,则查询单元11,具体用于确定所述至少一个字段中每个字段的视频知识类型;针对所述至少一个字段中的第i个字段,在所述第i个字段的视频知识类型下的视频知识子向量表中,查询所述第i个字段的视频知识实体对应的视频知识表示。
在一些实施例中,查询单元11,具体用于将所述搜索内容输入第一网络模型,得到所述至少一个字段的内容表示和上下文表示;针对所述至少一个字段中的第i个字段,根据所述第i个字段的内容表示和上下文表示,得到所述第i个字段的视频知识类型,所述i为正整数。
在一些实施例中,查询单元11,具体用于确定所述搜索内容的文本表示;将所述搜索内容的文本表示输入所述第一网络模型中,得到所述至少一个字段中每个字段的内容表示和上下文表示。
在一些实施例中,查询单元11,具体用于将所述搜索内容输入第一网络模型中,得到所述第一网络模型输出的所述搜索内容中每个字的表征向量;针对所述第i个字段,将所述搜索内容中,所述第i个字段的上下文内容所包括的各字的表征向量进行下采样,得到所述第i个字段的上下文表示;将所述搜索内容中,所述第i个字段所包括的各字的表征向量进行下采样,得到所述第i个字段的内容表示。
在一些实施例中,在一些实施例中,查询单元11,还用于将所述搜索内容输入所述第一网络模型,得到所述搜索内容的语义表示,所述语义表示用于任务分类;根据所述第i个字段的内容表示和上下文表示,以及所述搜索内容的语义表示,得到所述第i个字段的视频知识类型。
在一些实施例中,查询单元11,具体用于将所述第i个字段的内容表示和上下文表示,以及所述搜索内容的语义表示进行拼接后输入第一分类层,得到所述第i个字段的视频知识类型。
在一些实施例中,查询单元11,具体用于若所述第i个字段的视频知识类型为普通文本,则确定所述第i个字段的视频知识表示为默认值。
在一些实施例中,处理单元12,具体用于针对所述至少一个字段中的第i个字段,将所述第i字段的视频知识表示、内容表示和上下文表示输入第二分类层,得到所述第i个字段的错误概率;根据所述第i个字段的错误概率,在确定所述第i个字段为错误字段时,生成所述第i个字段的M个候选纠正搜索内容,所述M为正整数;根据所述搜索内容中错误字段的候选纠正搜索内容,确定所述搜索内容的目标纠正搜索内容。
在一些实施例中,处理单元12,具体用于若所述第i个字段的视频知识类型为视频剧、人物和情节中的任意一个时,确定所述第i个字段的上下文表示,与所述视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度;从所述视频知识向量表中,选出所述第一相似度最大的M个视频知识实体;使用所述M个视频知识实体,替换所述搜索内容中的第i个字段,得到所述第i个字段的M个候选纠正搜索内容。
在一些实施例中,处理单元12,具体用于确定所述搜索内容的每个候选纠正搜索内容的正确性得分;将正确性得分最高的候选纠正搜索内容,确定为所述目标纠正搜索内容。
在一些实施例中,处理单元12,具体用于针对所述搜索内容的第j个候选纠正搜索内容,确定所述第j个候选纠正搜索内容与所述搜索内容之间的第二相似度,所述j为正整数;根据所述第二相似度,确定所述第j个候选纠正搜索内容的正确性得分。
在一些实施例中,处理单元12,具体用于将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第j个候选纠正搜索内容的深度表示;根据所述第j个候选纠正搜索内容的深度表示,得到所述第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,处理单元12,具体用于将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第二网络模型输出的所述第j个候选纠正搜索内容中每个字的表征向量;对所述第j个候选纠正搜索内容中每个字的表征向量进行下采样,得到所述第j个候选纠正搜索内容的深度表示。
在一些实施例中,处理单元12,还用于将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第j个候选纠正搜索内容的语义表示,所述语义表示用于任务分类;将所述第j个候选纠正搜索内容的深度表示和语义表示输入所述第二网络模型对应的第三分类层,得到所述第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,处理单元12,还用于获取所述对象的对象数据,基于所述对象数据,确定所述对象的兴趣标签序列;在所述视频知识向量表中,查询所述兴趣标签序列中各字段对应的视频知识表示;将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述兴趣标签序列的深度表示;将所述第j个候选纠正搜索内容的深度表示和语义表示,以及所述兴趣标签序列的深度表示输入所述第三分类层,得到所述第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,处理单元12,具体用于将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述第三网络模型输出的所述兴趣标签序列中每个字的表征向量;对所述兴趣标签序列中每个字的表征向量进行下采样,得到所述兴趣标签序列的深度表示。
在一些实施例中,处理单元12,还用于将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述兴趣标签序列的语义表示,所述语义表示用于任务分类;将所述第j个候选纠正搜索内容的深度表示和语义表示,以及所述兴趣标签序列的深度表示和所述兴趣标签序列的语义表示输入所述第三分类层,,得到所述第j个候选纠正搜索内容对应的第二相似度。
在一些实施例中,处理单元12,具体用于将所述第j个候选纠正搜索内容对应的第一相似度和第二相似度之和,确定为所述第j个候选纠正搜索内容的正确性得分。
在一些实施例中,处理单元12,还用于获取视频资源和历史视频访问数据;根据所述视频资源和历史视频访问数据,构建所述视频知识向量表。
在一些实施例中,处理单元12,具体用于根据所述视频资源和历史视频访问数据,以不同的视频知识为节点,构建异构图,并确定所述异构图中不同视频知识之间的边权重;根据所述异构图中的边权重,在所述异构图中的节点之间随机游走,构建K条路径,所述K为正整数;使用所述K条路径对第四网络模型进行训练,得到所述视频知识向量表。
在一些实施例中,处理单元12,具体用于针对K条路径中的第k条路径,将所述第k条路径中的至少一个节点进行替换,并将替换后的所述第k条路径输入所述第四网络模型中,得到所述第k条路径中被替换节点的预测值,所述k为从1到K的正整数;根据所述第k条路径中被替换节点的预测值和真值之间的损失,对所述第四网络模型进行训练,且对所述视频知识向量表中的视频知识表示进行更新;将所述第四网络模型训练结束后,所更新得到的视频知识向量表作为所述视频知识向量表。
在一些实施例中,处理单元12,具体用于在第k-1次更新后的视频知识向量表中,确定替换后的所述第k条路径中每个节点的视频知识表示;将替换后的所述第k条路径中每个节点的视频知识表示、位置表示和类型表示输入所述第四网络模型中,得到所述被替换节点的预测值。
在一些实施例中,所述视频知识向量表中各视频知识实体的初始视频知识表示,是通过预先训练好的语言模型预测的各视频知识实体的文本内容表示。
可选的,所述文本表示包括位置表示、字形表示、字音表示、字表示中的至少一个。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图11所示的装置可以执行上述方法的实施例,并且装置中的各个模块的前述和其它操作和/或功能分别为了实现计算机设备对应的方法实施例,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图12是本申请实施例提供的计算机设备的示意性框图,该计算机设备用于执行上述方法实施例。
如图12所示,该计算机设备30可包括:
存储器31和处理器32,该存储器31用于存储计算机程序33,并将该计算机程序33传输给该处理器32。换言之,该处理器32可以从存储器31中调用并运行计算机程序33,以实现本申请实施例中的方法。
例如,该处理器32可用于根据该计算机程序33中的指令执行上述方法步骤。
在本申请的一些实施例中,该处理器32可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器31包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序33可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器31中,并由该处理器32执行,以完成本申请提供的录制页面的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序33在该计算机设备中的执行过程。
如图12所示,该计算机设备30还可包括:
收发器34,该收发器34可连接至该处理器32或存储器31。
其中,处理器32可以控制该收发器34与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器34可以包括发射机和接收机。收发器34还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该计算机设备30中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
在一些实施例中,本申请实施例还提供了一种计算机存储介质,用于存储计算机程序,该计算机程序使得计算机设备执行上述方法实施例的方法。
在一些实施例中,本申请实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序使得计算机设备执行上述方法实施例。
在一些实施例中,本申请实施例还提供了一种计算机程序,当其在计算机设备上运行时,使得计算机设备执行上述方法实施例。
需要说明的是,若上述对象为用户时,则上述用户相关数据的获取均是经过用户授权的,符合相关法律规定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。

Claims (20)

1.一种视频搜索纠错方法,其特征在于,包括:
响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,所述视频知识向量表包括不同视频知识实体的视频知识表示,所述视频知识向量表基于视频资源数据构建而成;
根据所述至少一个字段对应的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,并根据所述目标纠正搜索内容进行视频搜索。
2.根据权利要求1所述的方法,其特征在于,若所述视频知识向量表包括不同视频知识类型下的视频知识子向量表,则所述在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,包括:
确定所述至少一个字段中每个字段的视频知识类型;
针对所述至少一个字段中的第i个字段,在所述第i个字段的视频知识类型下的视频知识子向量表中,查询所述第i个字段的视频知识实体对应的视频知识表示。
3.根据权利要求2所述的方法,其特征在于,所述确定所述至少一个字段中每个字段的视频知识类型,包括:
将所述搜索内容输入第一网络模型,得到所述至少一个字段的内容表示和上下文表示;
针对所述至少一个字段中的第i个字段,根据所述第i个字段的内容表示和上下文表示,得到所述第i个字段的视频知识类型,所述i为正整数。
4.根据权利要求3所述的方法,其特征在于,所述将所述搜索内容输入第一网络模型,得到所述至少一个字段的内容表示和上下文表示,包括:
确定所述搜索内容的文本表示;
将所述搜索内容的文本表示输入所述第一网络模型中,得到所述至少一个字段中每个字段的内容表示和上下文表示。
5.根据权利要求4所述的方法,其特征在于,所述将所述搜索内容的文本表示输入所述第一网络模型中,得到所述至少一个字段中每个字段的内容表示和上下文表示,包括:
将所述搜索内容输入第一网络模型中,得到所述第一网络模型输出的所述搜索内容中每个字的表征向量;
针对所述第i个字段,将所述搜索内容中,所述第i个字段的上下文内容所包括的各字的表征向量进行下采样,得到所述第i个字段的上下文表示;
将所述搜索内容中,所述第i个字段所包括的各字的表征向量进行下采样,得到所述第i个字段的内容表示。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述至少一个字段的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,包括:
针对所述至少一个字段中的第i个字段,将所述第i字段的视频知识表示、内容表示和上下文表示输入第二分类层,得到所述第i个字段的错误概率;
根据所述第i个字段的错误概率,在确定所述第i个字段为错误字段时,生成所述第i个字段的M个候选纠正搜索内容,所述M为正整数;
根据所述搜索内容中错误字段的候选纠正搜索内容,确定所述搜索内容的目标纠正搜索内容。
7.根据权利要求6所述的方法,其特征在于,所述生成所述第i个字段的M个候选纠正搜索内容,包括:
若所述第i个字段的视频知识类型为视频剧、人物和情节中的任意一个时,确定所述第i个字段的上下文表示,与所述视频知识向量表中各视频知识实体的视频知识表示之间的第一相似度;
从所述视频知识向量表中,选出所述第一相似度最大的M个视频知识实体;
使用所述M个视频知识实体,替换所述搜索内容中的第i个字段,得到所述第i个字段的M个候选纠正搜索内容。
8.根据权利要求7所述的方法,其特征在于,所述根据所述搜索内容中错误字段的候选纠正搜索内容,确定所述搜索内容的目标纠正搜索内容,包括:
确定所述搜索内容的每个候选纠正搜索内容的正确性得分;
将正确性得分最高的候选纠正搜索内容,确定为所述目标纠正搜索内容。
9.根据权利要求8所述的方法,其特征在于,所述确定所述搜索内容的每个候选纠正搜索内容的正确性得分,包括:
针对所述搜索内容的第j个候选纠正搜索内容,确定所述第j个候选纠正搜索内容与所述搜索内容之间的第二相似度,所述j为正整数;
根据所述第二相似度,确定所述第j个候选纠正搜索内容的正确性得分。
10.根据权利要求9所述的方法,其特征在于,所述确定所述第j个候选纠正搜索内容与所述搜索内容之间的第二相似度,包括:
将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第j个候选纠正搜索内容的深度表示;
根据所述第j个候选纠正搜索内容的深度表示,得到所述第j个候选纠正搜索内容对应的第二相似度。
11.根据权利要求10所述的方法,其特征在于,所述将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第j个候选纠正搜索内容的深度表示,包括:
将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第二网络模型输出的所述第j个候选纠正搜索内容中每个字的表征向量;
对所述第j个候选纠正搜索内容中每个字的表征向量进行下采样,得到所述第j个候选纠正搜索内容的深度表示。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
将所述第j个候选纠正搜索内容中各字段的视频知识表示,以及所述第j个候选纠正搜索内容的文本表示输入第二网络模型中,得到所述第j个候选纠正搜索内容的语义表示,所述语义表示用于任务分类;
所述根据所述第j个候选纠正搜索内容的深度表示,得到所述第j个候选纠正搜索内容对应的第二相似度,包括:
将所述第j个候选纠正搜索内容的深度表示和语义表示输入所述第二网络模型对应的第三分类层,得到所述第j个候选纠正搜索内容对应的第二相似度。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
获取所述对象的对象数据,基于所述对象数据,确定所述对象的兴趣标签序列;
在所述视频知识向量表中,查询所述兴趣标签序列中各字段对应的视频知识表示;
将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述兴趣标签序列的深度表示;
所述将所述第j个候选纠正搜索内容的深度表示和语义表示输入所述第二网络模型对应的第三分类层,得到所述第j个候选纠正搜索内容对应的第二相似度,包括:
将所述第j个候选纠正搜索内容的深度表示和语义表示,以及所述兴趣标签序列的深度表示输入所述第三分类层,得到所述第j个候选纠正搜索内容对应的第二相似度。
14.根据权利要求13所述的方法,其特征在于,所述将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述兴趣标签序列的深度表示,包括:
将所述兴趣标签序列对应的视频知识表示,以及所述兴趣标签序列的文本表示输入第三网络模型中,得到所述第三网络模型输出的所述兴趣标签序列中每个字的表征向量;
对所述兴趣标签序列中每个字的表征向量进行下采样,得到所述兴趣标签序列的深度表示。
15.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
获取视频资源和历史视频访问数据;
根据所述视频资源和历史视频访问数据,以不同的视频知识为节点,构建异构图,并确定所述异构图中不同视频知识之间的边权重;
根据所述异构图中的边权重,在所述异构图中的节点之间随机游走,构建K条路径,所述K为正整数;
使用所述K条路径对第四网络模型进行训练,得到所述视频知识向量表。
16.根据权利要求15所述的方法,其特征在于,所述使用所述K条路径对第四网络模型进行训练,得到所述视频知识向量表,包括:
针对所述K条路径中的第k条路径,将所述第k条路径中的至少一个节点进行替换,并将替换后的所述第k条路径输入所述第四网络模型中,得到所述第k条路径中被替换节点的预测值,所述k为从1到K的正整数;
根据所述第k条路径中被替换节点的预测值和真值之间的损失,对所述第四网络模型进行训练,且对所述视频知识向量表中的视频知识表示进行更新;
将所述第四网络模型训练结束后,所更新得到的视频知识向量表作为所述视频知识向量表。
17.根据权利要求16所述的方法,其特征在于,所述将替换后的所述第k条路径输入所述第四网络模型中,得到所述第k条路径中被替换节点的预测值,包括:
在第k-1次更新后的视频知识向量表中,确定替换后的所述第k条路径中每个节点的视频知识表示;
将替换后的所述第k条路径中每个节点的视频知识表示、位置表示和类型表示输入所述第四网络模型中,得到所述被替换节点的预测值。
18.一种视频搜索纠错装置,其特征在于,包括:
查询单元,用于响应于对象在视频播放平台上输入的搜索内容,在构建的视频知识向量表中,查询所述搜索内容中至少一个字段对应的视频知识表示,所述视频知识向量表包括不同视频知识实体的视频知识表示,所述视频知识向量表基于视频资源数据构建而成;
处理单元,用于根据所述至少一个字段对应的视频知识表示,在检测到所述搜索内容错误时,确定所述搜索内容的目标纠正搜索内容,并根据所述目标纠正搜索内容进行视频搜索。
19.一种计算机设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序以实现如上述权利要求1至17任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机设备执行如上述权利要求1至17任一项所述的方法。
CN202210239409.3A 2022-03-11 2022-03-11 视频搜索纠错方法、装置、设备及存储介质 Pending CN114625917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210239409.3A CN114625917A (zh) 2022-03-11 2022-03-11 视频搜索纠错方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210239409.3A CN114625917A (zh) 2022-03-11 2022-03-11 视频搜索纠错方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114625917A true CN114625917A (zh) 2022-06-14

Family

ID=81901600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210239409.3A Pending CN114625917A (zh) 2022-03-11 2022-03-11 视频搜索纠错方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114625917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268282A (zh) * 2022-06-29 2022-11-01 青岛海尔科技有限公司 家电设备的控制方法、装置、存储介质及电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268282A (zh) * 2022-06-29 2022-11-01 青岛海尔科技有限公司 家电设备的控制方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN111626362B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111061946A (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN113011172B (zh) 文本处理方法、装置、计算机设备和存储介质
CN110399454B (zh) 一种基于变压器模型和多参照系的文本编码表示方法
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN110532469B (zh) 一种信息推荐方法、装置、设备及存储介质
US20150104065A1 (en) Apparatus and method for recognizing object in image
Patel et al. Recent advances in video question answering: A review of datasets and methods
CN115115984A (zh) 视频数据处理方法、装置、程序产品、计算机设备和介质
CN114625917A (zh) 视频搜索纠错方法、装置、设备及存储介质
CN114239805A (zh) 跨模态检索神经网络及训练方法、装置、电子设备、介质
CN112100509B (zh) 信息推荐方法、装置、服务器和存储介质
KR101955920B1 (ko) 속성 언어를 이용한 검색 방법 및 장치
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN114443916B (zh) 一种面向试验数据的供需匹配方法及系统
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN111222011B (zh) 一种视频向量确定方法和装置
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN115129885A (zh) 实体链指方法、装置、设备及存储介质
CN115131600A (zh) 检测模型训练方法、检测方法、装置、设备及存储介质
CN114281942A (zh) 问答处理方法、相关设备及可读存储介质
CN114357950A (zh) 数据改写方法、装置、存储介质及计算机设备
CN113569867A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN111897943A (zh) 会话记录搜索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070925

Country of ref document: HK