CN109977303A - 多媒体信息的交互方法、装置及存储介质 - Google Patents
多媒体信息的交互方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109977303A CN109977303A CN201910188271.7A CN201910188271A CN109977303A CN 109977303 A CN109977303 A CN 109977303A CN 201910188271 A CN201910188271 A CN 201910188271A CN 109977303 A CN109977303 A CN 109977303A
- Authority
- CN
- China
- Prior art keywords
- labeled data
- initial video
- multimedia messages
- video
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本申请是关于一种多媒体信息的交互方法、装置及存储介质，包括：获取初始视频；根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。在本申请提供的方案，操作过程简单、流畅，而且，用户可以个性化上传用户对于标注数据的观点信息，提高了用户互动的趣味性，进而提高了用户体验。
Description
技术领域
本申请属于计算机软件应用领域，尤其是一种多媒体信息的交互方法、装置及存储介质。
背景技术
随着移动互联网的发展，视频呈现出移动化、碎片化和社交化的趋势。例如，手机等移动终端用户可以拍摄短视频发布到社交平台，和好友一起分享精彩视频。通常，在短视频平台中，用户仅能对短视频进行点赞、评论、转发等有限形式的互动，互动的形式较为单一。
相关技术中，为了增加用户间互动的多样性，有些短视频平台上提供音视频列表，用户必须从列表中选择音视频进行互动。音视频列表中的音视频并不能表达用户真实的想法。一方面，这限制了用户表达个性化思想的可能性，降低了用户互动的趣味性，进而降低了用户体验；另一方面，用户从列表中选择音视频进行操作，整个操作过程繁琐。
发明内容
为克服相关技术中存在的用户间利用音视频进行互动时所使用的音视频固定的问题，本申请公开一种多媒体信息的交互方法、装置及存储介质，对于初始视频可以自动生成与其相关的标注数据，用户可以通过终端上应用程序的界面上传与标注数据相关联的多媒体信息，整个操作过程简单、流畅，减少了操作步骤，简化了操作流程；而且，用户可以个性化上传用户对于标注数据的观点信息，提高了用户互动的趣味性，进而提高了用户体验。
根据本申请实施例的第一方面，提供一种多媒体信息的交互方法，包括：
获取初始视频；
根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；
通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
可选地，所述根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，包括：
基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征；
获取与每个所述衍生特征相对应的标注数据。
可选地，所述获取与每个所述衍生特征相对应的标注数据，包括：
从数据库中匹配与所述衍生特征对应的标注数据；或者，
提取所述衍生特征中的关键词，生成包含有所述关键词的标注数据。
可选地，所述基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征，包括：
从所述初始视频的内容理解结果中获取所述初始视频的描述信息，其中，所述描述信息用于描述所述初始视频的内容；
对所述描述信息进行特征学习，得到所述衍生特征。
可选地，用于标注同一所述衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同。
可选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括下述至少之一：
在播放所述初始视频的过程中，在所述界面上展示部分或全部所述多个标注数据；
在播放完成所述初始视频时，在所述界面上展示部分或全部所述多个标注数据；
将部分或全部所述多个标注数据作为所述初始视频的标签，展示在所述界面上；
将部分或全部所述多个标注数据作为所述初始视频的封面，展示在所述界面上。
可选地，在所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据之后，所述交互方法，还包括：
接收上传的与所述标注数据相关联的多媒体信息，其中，所述多媒体信息为基于所述多个标注信息中的部分或全部信息而生成，上传的全部或部分所述多媒体信息被设置为所述初始视频。
可选地，在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据，所述N级标注数据基于所述初始视频和/或所述多媒体信息而生成，N为自然数。
可选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括：
按照所述N级标注数据的从属关系，展示所述多个标注数据；
其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。
根据本申请实施例的第二方面，提供一种多媒体信息的交互装置，包括：
初始视频获取单元，被配置为获取初始视频；
标注数据生成单元，被配置为根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；
交互单元，被配置为通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
可选地，所述根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，包括：
基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征；
获取与每个所述衍生特征相对应的标注数据。
可选地，所述获取与每个所述衍生特征相对应的标注数据，包括：
从数据库中匹配与所述衍生特征对应的标注数据；或者，
提取所述衍生特征中的关键词，生成包含有所述关键词的标注数据。
可选地，所述基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征，包括：
从所述初始视频的内容理解结果中获取所述初始视频的描述信息，其中，所述描述信息用于描述所述初始视频的内容；
对所述描述信息进行特征学习，得到所述衍生特征。
可选地，用于标注同一所述衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同。
可选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括下述至少之一：
在播放所述初始视频的过程中，在所述界面上展示部分或全部所述多个标注数据；
在播放完成所述初始视频时，在所述界面上展示部分或全部所述多个标注数据；
将部分或全部所述多个标注数据作为所述初始视频的标签，展示在所述界面上；
将部分或全部所述多个标注数据作为所述初始视频的封面，展示在所述界面上。
可选地，在所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据之后，所述交互装置，还包括：
接收上传的与所述标注数据相关联的多媒体信息，其中，所述多媒体信息为基于所述多个标注信息中的部分或全部信息而生成，上传的全部或部分所述多媒体信息被设置为所述初始视频。
可选地，在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据，所述N级标注数据基于所述初始视频和/或所述多媒体信息而生成，N为自然数。
可选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括：
按照所述N级标注数据的从属关系，展示所述多个标注数据；
其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。
根据本申请实施例的第三方面，提供一种多媒体信息的交互控制装置，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任意一项所述的多媒体信息的交互方法。
根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种音视频的互动方法，所述方法包括上述任意一项所述的多媒体信息的交互方法。
根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被移动终端执行时，使所述移动终端执行上述多媒体信息的交互方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
获取初始视频。根据初始视频的特征，生成与初始视频对应的多个标注数据。标注数据用于标注初始视频的衍生特征。上述的与初始视频对应的多个标注数据中的至少两个标注数据用于标注同一衍生特征。通过终端上应用程序的界面展示初始视频的多个标注数据。终端上应用程序的界面还可以用于上传与标注数据相关联的多媒体信息。多媒体信息可以是表达用户对于标注数据的观点的视频，也可以是表达用户对于标注数据的观点的音频。对于初始视频可以自动生成与其相关的标注数据，通过终端上应用程序的界面展示初始视频的多个标注数据。用户可以通过终端上应用程序的界面上传与标注数据相关联的多媒体信息，整个操作过程简单、流畅，减少了操作步骤，而且，用户可以个性化上传用户对于标注数据的观点信息，提高了用户互动的趣味性，进而提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种多媒体信息的交互方法的流程图；
图2是根据一示例性实施例示出的一种多媒体信息的交互方法的流程图；
图3是根据一示例性实施例示出的一种多媒体信息的交互装置的框图；
图4是根据一示例性实施例示出的一种执行多媒体信息的交互方法的装置的框图；
图5是根据一示例性实施例示出的一种执行多媒体信息的交互方法的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种多媒体信息的交互方法的流程图。具体包括以下步骤：
在步骤S101中，获取初始视频。
在该步骤中，获取初始视频。可以理解的是初始视频是用户上传到终端的应用程序例如短视频平台的一个视频。初始视频引发用户在终端的应用程序中进行多媒体信息的交互。
在步骤S102中，根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征。
在该步骤中，根据初始视频的特征，生成与初始视频对应的多个标注数据。标注数据用于标注初始视频的衍生特征。上述的与初始视频对应的多个标注数据中的至少两个标注数据用于标注同一衍生特征。
其中，衍生特征是指对原始数据进行特征学习而得到的新的特征。产生衍生特征的原因一般有两种：原始数据自身的变化，使原始数据中出现很多原来没有的特征；对原始数据进行特征学习时，算法根据特征之间的某种关系，产生了衍生特征。有时衍生特征更能反应原始数据的多个特征之间的关系。
在步骤S103中，通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
在该步骤中，通过终端上应用程序的界面展示初始视频的多个标注数据。其中，终端上应用程序的界面还可以用于上传与标注数据相关联的多媒体信息。多媒体信息可以是表达用户对于标注数据的观点的视频，也可以是表达用户对于标注数据的观点的音频。
根据本申请的实施例，获取初始视频。根据初始视频的特征，生成与初始视频对应的多个标注数据。标注数据用于标注初始视频的衍生特征。上述的与初始视频对应的多个标注数据中的至少两个标注数据用于标注同一衍生特征。通过终端上应用程序的界面展示初始视频的多个标注数据。终端上应用程序的界面还可以用于上传与标注数据相关联的多媒体信息。多媒体信息可以是表达用户对于标注数据的观点的视频，也可以是表达用户对于标注数据的观点的音频。对于初始视频可以自动生成与其相关的标注数据，通过终端上应用程序的界面展示初始视频的多个标注数据。用户可以通过终端上应用程序的界面上传与标注数据相关联的多媒体信息，整个操作过程简单、流畅，减少了操作步骤，而且，用户可以个性化上传用户对于标注数据的观点信息，提高了用户互动的趣味性，进而提高了用户体验。
图2是根据一示例性实施例示出的一种多媒体信息的交互方法的流程图，是比前述实施例更加完善的实施例。该多媒体信息的交互方法，包括以下步骤：
在步骤S201中，获取初始视频。
该步骤与图1中的步骤S101一致，这里就不再赘述。
在步骤S202中，根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征。
在该步骤中，基于初始视频的内容理解结果，得到初始视频的衍生特征。具体地，从初始视频的内容理解结果中获取初始视频的描述信息。其中，描述信息用于描述初始视频的内容。对初始视频的描述信息进行特征学习，得到对应的衍生特征。
获取与每个衍生特征相对应的标注数据。标注数据用于标注初始视频的衍生特征。同一衍生特征至少有两个标注数据来标注。用于标注同一衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同。
具体地，从数据库中匹配与衍生特征对应的标注数据。可以理解的是，这里的匹配可以是语义匹配，也可以是字符串匹配。或者，提取衍生特征中的关键词，生成包含有该关键词的标注数据。例如，衍生特征为“内在美与外在美的关系”。衍生特征中的关键词为“内在美”和“外在美”。根据衍生特征中的关键词，生成包含有该关键词的两个标注数据为“内在美重要”和“外在美重要”。“内在美重要”和“外在美重要”的语义相反，同时包含有语义相同的关键词“重要”。
在步骤S203中，通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
在该步骤中，通过终端上应用程序的界面展示初始视频的多个标注数据。可以是在播放初始视频的过程中，在终端上应用程序的界面上展示部分或全部所述多个标注数据。也可以是在播放完成初始视频时，在终端上应用程序的界面上展示部分或全部所述多个标注数据。还可以是将部分或全部所述多个标注数据作为初始视频的标签，展示在终端上应用程序的界面上。还可以是将部分或全部所述多个标注数据作为初始视频的封面，展示在终端上应用程序的界面上。
其中，终端上应用程序的界面还用于上传与标注数据相关联的多媒体信息。其中，多媒体信息为基于多个标注信息中的部分或全部信息而生成。上传的全部或部分多媒体信息被设置为初始视频，从而可以进一步引发用户在终端的应用程序中进行多媒体信息的交互。
任何用户都可以自由选择观看初始视频和/或上传的多媒体信息。
在步骤S204中，接收上传的与所述标注数据相关联的多媒体信息，其中，所述多媒体信息为基于所述多个标注信息中的部分或全部信息而生成，上传的全部或部分所述多媒体信息被设置为所述初始视频。
在该步骤中，接收通过终端上应用程序的界面上传的与标注数据相关联的多媒体信息。其中，多媒体信息为基于所述多个标注信息中的部分或全部信息而生成。多媒体信息可以是表达用户对于所述多个标注信息中的部分或全部信息的观点的视频，也可以是表达用户对于所述多个标注信息中的部分或全部信息的音频。该观点不限于用户对所述多个标注信息中的部分或全部信息的支持、反对、部分赞同等态度。上传的全部或部分多媒体信息被设置为初始视频，从而可以进一步引发用户在终端的应用程序中进行多媒体信息的交互。
可选地，用户基于初始视频的标注数据上传的多媒体信息可以被设置为初始视频。对全部或部分的初始视频均可以执行上述的图1或图2示出的实施方式。
具体地，不断接收通过终端上应用程序的界面上传的与标注数据相关联的多媒体信息。上传的全部或部分多媒体信息被设置为初始视频，从而进一步引发用户在终端的应用程序中进行多媒体信息的交互。随着多媒体信息的不断交互，基于初始视频和/或多媒体信息，生成N级标注数据，N为自然数。N级标注数据在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据。
容易理解的是，可以通过终端上应用程序的界面，按照N级标注数据的从属关系，展示所述多个标注数据。其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。可以理解的是，按照N级标注数据的从属关系，展示所述多个标注数据的同时，生成所述标注数据的初始视频和/或多媒体信息的展示形式为树状。
初始视频的衍生特征可以是初始视频对应的一个视频话题。该衍生特征对应于第一议题和第二议题这两个标注数据。其中，第一议题和第二议题反映视频话题的正反两个方面的观点。例如，用户上传一个女士随着音乐翩翩起舞的初始视频V_1，通过算法对初始视频V_1的内容进行理解后，基于视频内容的理解结果，得到初始视频V_1的衍生特征：女生的长相和特长才艺的关系。根据该衍生特征生成了初始视频V_1的两个标注数据。这两个标注数据为第一议题(topic1)：女生长得好看更重要和第二议题(topic2)：女生有特长才艺更重要。
终端上应用程序的界面，例如短视频平台的视频互动界面，将初始视频V_1和对应的两个标注数据展示给用户，诱导用户针对这两个标注数据来进行观点辩论。上传该初始视频V_1的用户或者其他用户可以上传音频或视频等多媒体信息的方式来对这两个标注数据进行回应。从而用户可以基于标注数据进行音频或视频等多媒体信息的交互。
对于上述的两个标注数据：第一议题(topic1)：女生长得好看更重要和第二议题(topic2)：女生有特长才艺更重要，可能会有用户上传视频或者音频等多媒体信息来发布观点，认为有的特长很重要，但是有的特长很鸡肋，则可以将标注数据继续细化下去。将标注数据：第二议题(topic2)：女生有特长才艺更重要，进行一级细化，得到第二一级子议题(topic3)：有文艺方面的特长更重要和第二一级子议题(topic4)：有体育特长更重要。同理，第二一级子议题(topic3)和/或第二一级子议题(topic4)可以被二级细化为一个或多个第二二级子议题。以此类推，在多媒体信息的不断交互过程中，针对初始视频的一个或者多个标注数据，用户可自由细化其中的分支，产生新角度下的新的标注数据。
随着标注数据的不断分化，多媒体信息不断交互，可以理解的是，按照N级标注数据的从属关系，展示所述多个标注数据的同时，生成所述标注数据的初始视频和/或多媒体信息的展示形式为树状。例如，将初始视频V_1作为根视频展示。第一议题(topic1)和第二议题(topic2)对应的多媒体信息作为初始视频V_1的子视频展示。第二一级子议题(topic3)和第二一级子议题(topic4)对应的多媒体信息作为第二议题(topic2)的多媒体信息中一个或者多个多媒体信息的子视频展示。同理，第二一级子议题(topic3)和/或第二一级子议题(topic4)对应的多媒体信息可以作为一个或多个第二二级子议题对应的多媒体信息的父视频展示，其中，可选地，在展示视频的过程中，可以将标注数据与视频一并展示。以此类推，在多媒体信息的不断交互过程中，N级标注数据对应的初始视频和/或多媒体信息的展示形式为树状。
根据本申请实施例，从初始视频的内容理解结果中获取初始视频的描述信息。其中，描述信息用于描述初始视频的内容。对初始视频的描述信息进行特征学习，得到对应的衍生特征。获取与每个衍生特征相对应的标注数据。标注数据用于标注初始视频的衍生特征。同一衍生特征至少有两个标注数据来标注。用于标注同一衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同。通过终端上应用程序的界面展示初始视频的多个标注数据。接收通过终端上应用程序的界面上传的与标注数据相关联的多媒体信息。其中，多媒体信息为基于所述多个标注信息中的部分或全部信息而生成。多媒体信息可以是表达用户对于所述多个标注信息中的部分或全部信息的观点的视频，也可以是表达用户对于所述多个标注信息中的部分或全部信息的音频。该观点不限于用户对所述多个标注信息中的部分或全部信息的支持、反对、部分赞同等态度。上传的全部或部分多媒体信息被设置为初始视频，从而可以进一步引发用户在终端的应用程序中进行多媒体信息的交互。从而用户可以通过上传多媒体信息的方式来对各层级的标注数据进行讨论，进一步提高了用户互动的趣味性，提高了用户体验。
图3是根据一示例性实施例示出的多媒体信息的交互装置的框图。如图3所示，该装置30包括：初始视频获取单元301、标注数据生成单元302和交互单元303。
初始视频获取单元301，被配置为获取初始视频。
该单元被配置为获取初始视频。可以理解的是初始视频是用户上传到终端的应用程序例如短视频平台的一个视频。初始视频引发用户在终端的应用程序中进行多媒体信息的交互。
标注数据生成单元302，被配置为根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征。
该单元被配置为根据初始视频的特征，生成与初始视频对应的多个标注数据。标注数据用于标注初始视频的衍生特征。上述的与初始视频对应的多个标注数据中的至少两个标注数据用于标注同一衍生特征。
其中，衍生特征是指对原始数据进行特征学习而得到的新的特征。产生衍生特征的原因一般有两种：原始数据自身的变化，使原始数据中出现很多原来没有的特征；对原始数据进行特征学习时，算法根据特征之间的某种关系，产生了衍生特征。有时衍生特征更能反应原始数据的多个特征之间的关系。
交互单元303，被配置为通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
该单元被配置为通过终端上应用程序的界面展示初始视频的多个标注数据。其中，终端上应用程序的界面还可以用于上传与标注数据相关联的多媒体信息。多媒体信息可以是表达用户对于标注数据的观点的视频，也可以是表达用户对于标注数据的观点的音频。
根据本申请的一个可选的实施例，标注数据生成单元302，被配置为基于初始视频的内容理解结果，得到初始视频的衍生特征。具体地，从初始视频的内容理解结果中获取初始视频的描述信息。其中，描述信息用于描述初始视频的内容。对初始视频的描述信息进行特征学习，得到对应的衍生特征。
获取与每个衍生特征相对应的标注数据。标注数据用于标注初始视频的衍生特征。同一衍生特征至少有两个标注数据来标注。用于标注同一衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同。
具体地，从数据库中匹配与衍生特征对应的标注数据。可以理解的是，这里的匹配可以是语义匹配，也可以是字符串匹配。或者，提取衍生特征中的关键词，生成包含有该关键词的标注数据。例如，衍生特征为“内在美与外在美的关系”。衍生特征中的关键词为“内在美”和“外在美”。根据衍生特征中的关键词，生成包含有该关键词的两个标注数据为“内在美重要”和“外在美重要”。“内在美重要”和“外在美重要”的语义相反，同时包含有语义相同的关键词“重要”。
交互单元303，被配置为通过终端上应用程序的界面展示初始视频的多个标注数据。可以是在播放初始视频的过程中，在终端上应用程序的界面上展示部分或全部所述多个标注数据。也可以是在播放完成初始视频时，在终端上应用程序的界面上展示部分或全部所述多个标注数据。还可以是将部分或全部所述多个标注数据作为初始视频的标签，展示在终端上应用程序的界面上。还可以是将部分或全部所述多个标注数据作为初始视频的封面，展示在终端上应用程序的界面上。
其中，终端上应用程序的界面还用于上传与标注数据相关联的多媒体信息。其中，多媒体信息为基于多个标注信息中的部分或全部信息而生成。上传的全部或部分多媒体信息被设置为初始视频，从而可以进一步引发用户在终端的应用程序中进行多媒体信息的交互。
任何用户都可以自由选择观看初始视频和/或上传的多媒体信息。
交互单元303，被配置为接收通过终端上应用程序的界面上传的与标注数据相关联的多媒体信息。其中，多媒体信息为基于所述多个标注信息中的部分或全部信息而生成。多媒体信息可以是表达用户对于所述多个标注信息中的部分或全部信息的观点的视频，也可以是表达用户对于所述多个标注信息中的部分或全部信息的音频。该观点不限于用户对所述多个标注信息中的部分或全部信息的支持、反对、部分赞同等态度。上传的全部或部分多媒体信息被设置为初始视频，从而可以进一步引发用户在终端的应用程序中进行多媒体信息的交互。
可选地，用户基于初始视频的标注数据上传的多媒体信息可以被设置为初始视频。对全部或部分的初始视频均可以执行上述的图1或图2示出的实施方式。
具体地，不断接收通过终端上应用程序的界面上传的与标注数据相关联的多媒体信息。上传的全部或部分多媒体信息被设置为初始视频，从而进一步引发用户在终端的应用程序中进行多媒体信息的交互。随着多媒体信息的不断交互，基于初始视频和/或多媒体信息，生成N级标注数据，N为自然数。N级标注数据在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据。
容易理解的是，可以通过终端上应用程序的界面，按照N级标注数据的从属关系，展示所述多个标注数据。其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。可以理解的是，按照N级标注数据的从属关系，展示所述多个标注数据的同时，生成所述标注数据的初始视频和/或多媒体信息的展示形式为树状。
初始视频的衍生特征可以是初始视频对应的一个视频话题。该衍生特征对应于第一议题和第二议题这两个标注数据。其中，第一议题和第二议题反映视频话题的正反两个方面的观点。例如，用户上传一个女士随着音乐翩翩起舞的初始视频V_1，通过算法对初始视频V_1的内容进行理解后，基于视频内容的理解结果，得到初始视频V_1的衍生特征：女生的长相和特长才艺的关系。根据该衍生特征生成了初始视频V_1的两个标注数据。这两个标注数据为第一议题(topic1)：女生长得好看更重要和第二议题(topic2)：女生有特长才艺更重要。
终端上应用程序的界面，例如短视频平台的视频互动界面，将初始视频V_1和对应的两个标注数据展示给用户，诱导用户针对这两个标注数据来进行观点辩论。上传该初始视频V_1的用户或者其他用户可以上传音频或视频等多媒体信息的方式来对这两个标注数据进行回应。从而用户可以基于标注数据进行音频或视频等多媒体信息的交互。
对于上述的两个标注数据：第一议题(topic1)：女生长得好看更重要和第二议题(topic2)：女生有特长才艺更重要，可能会有用户上传视频或者音频等多媒体信息来发布观点，认为有的特长很重要，但是有的特长很鸡肋，则可以将标注数据继续细化下去。将标注数据：第二议题(topic2)：女生有特长才艺更重要，进行一级细化，得到第二一级子议题(topic3)：有文艺方面的特长更重要和第二一级子议题(topic4)：有体育特长更重要。同理，第二一级子议题(topic3)和/或第二一级子议题(topic4)可以被二级细化为一个或多个第二二级子议题。以此类推，在多媒体信息的不断交互过程中，针对初始视频的一个或者多个标注数据，用户可自由细化其中的分支，产生新角度下的新的标注数据。
随着标注数据的不断分化，多媒体信息不断交互，可以理解的是，按照N级标注数据的从属关系，展示所述多个标注数据的同时，生成所述标注数据的初始视频和/或多媒体信息的展示形式为树状。例如，将初始视频V_1作为根视频展示。第一议题(topic1)和第二议题(topic2)对应的多媒体信息作为初始视频V_1的子视频展示。第二一级子议题(topic3)和第二一级子议题(topic4)对应的多媒体信息作为第二议题(topic2)的多媒体信息中一个或者多个多媒体信息的子视频展示。同理，第二一级子议题(topic3)和/或第二一级子议题(topic4)对应的多媒体信息可以作为一个或多个第二二级子议题对应的多媒体信息的父视频展示，其中，可选地，在展示视频的过程中，可以将标注数据与视频一并展示。以此类推，在多媒体信息的不断交互过程中，N级标注数据对应的初始视频和/或多媒体信息的展示形式为树状。
图4是根据一示例性实施例示出的一种用于执行音视频的互动方法的装置1200的框图。例如，装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的互动。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的互动。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被移动终端执行时，使所述移动终端执行上述多媒体信息的交互方法的步骤：获取初始视频；根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
图5是根据一示例性实施例示出的一种用于执行音视频的互动方法的装置1300的框图。例如，装置1300可以被提供为一服务器。参照图5，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述信息列表显示方法方法。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种多媒体信息的交互方法，其特征在于，包括：
获取初始视频；
根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；
通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
2.根据权利要求1所述的交互方法，其特征在于，所述根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，包括：
基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征；
获取与每个所述衍生特征相对应的标注数据。
3.根据权利要求2所述的交互方法，其特征在于，所述获取与每个所述衍生特征相对应的标注数据，包括：
从数据库中匹配与所述衍生特征对应的标注数据；或者，
提取所述衍生特征中的关键词，生成包含有所述关键词的标注数据。
4.根据权利要求2所述的交互方法，其特征在于，所述基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征，包括：
从所述初始视频的内容理解结果中获取所述初始视频的描述信息，其中，所述描述信息用于描述所述初始视频的内容；
对所述描述信息进行特征学习，得到所述衍生特征；
优选地，用于标注同一所述衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同；
优选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括下述至少之一：
在播放所述初始视频的过程中，在所述界面上展示部分或全部所述多个标注数据；
在播放完成所述初始视频时，在所述界面上展示部分或全部所述多个标注数据；
将部分或全部所述多个标注数据作为所述初始视频的标签，展示在所述界面上；
将部分或全部所述多个标注数据作为所述初始视频的封面，展示在所述界面上；
优选地，在所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据之后，所述交互方法，还包括：
接收上传的与所述标注数据相关联的多媒体信息，其中，所述多媒体信息为基于所述多个标注信息中的部分或全部信息而生成，上传的全部或部分所述多媒体信息被设置为所述初始视频；
优选地，在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据，所述N级标注数据基于所述初始视频和/或所述多媒体信息而生成，N为自然数；
优选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括：
按照所述N级标注数据的从属关系，展示所述多个标注数据；
其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。
5.一种多媒体信息的交互装置，其特征在于，包括：
初始视频获取单元，被配置为获取初始视频；
标注数据生成单元，被配置为根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，其中，所述标注数据用于标注所述初始视频的衍生特征，所述多个标注数据中的至少两个标注数据用于标注同一所述衍生特征；
交互单元，被配置为通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，其中，所述界面还用于上传与所述标注数据相关联的多媒体信息。
6.根据权利要求5所述的交互装置，其特征在于，所述根据所述初始视频的特征，生成与所述初始视频对应的多个标注数据，包括：
基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征；
获取与每个所述衍生特征相对应的标注数据。
7.根据权利要求6所述的交互装置，其特征在于，所述获取与每个所述衍生特征相对应的标注数据，包括：
从数据库中匹配与所述衍生特征对应的标注数据；或者，
提取所述衍生特征中的关键词，生成包含有所述关键词的标注数据。
8.根据权利要求6所述的交互装置，其特征在于，所述基于所述初始视频的内容理解结果，得到所述初始视频的衍生特征，包括：
从所述初始视频的内容理解结果中获取所述初始视频的描述信息，其中，所述描述信息用于描述所述初始视频的内容；
对所述描述信息进行特征学习，得到所述衍生特征；
优选地，用于标注同一所述衍生特征的至少两个标注数据中包含有语义相同的关键词，且所述至少两个标注数据的语义不同；
优选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括下述至少之一：
在播放所述初始视频的过程中，在所述界面上展示部分或全部所述多个标注数据；
在播放完成所述初始视频时，在所述界面上展示部分或全部所述多个标注数据；
将部分或全部所述多个标注数据作为所述初始视频的标签，展示在所述界面上；
将部分或全部所述多个标注数据作为所述初始视频的封面，展示在所述界面上；
优选地，在所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据之后，所述交互装置，还包括：
接收上传的与所述标注数据相关联的多媒体信息，其中，所述多媒体信息为基于所述多个标注信息中的部分或全部信息而生成，上传的全部或部分所述多媒体信息被设置为所述初始视频；
优选地，在所述多个标注数据中包括N级标注数据，其中，第N级标注数据从属于第(N-1)级标注数据，所述N级标注数据基于所述初始视频和/或所述多媒体信息而生成，N为自然数；
优选地，所述通过终端上应用程序的界面展示所述初始视频的所述多个标注数据，包括：
按照所述N级标注数据的从属关系，展示所述多个标注数据；
其中，在展示所述多个标注数据的同时，展示生成所述标注数据的初始视频和/或多媒体信息。
9.一种多媒体信息的交互控制装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1-4任意一项所述的多媒体信息的交互方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种音视频的互动方法，所述方法包括上述权利要求1-4任意一项所述的多媒体信息的交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188271.7A CN109977303A (zh) | 2019-03-13 | 2019-03-13 | 多媒体信息的交互方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188271.7A CN109977303A (zh) | 2019-03-13 | 2019-03-13 | 多媒体信息的交互方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109977303A true CN109977303A (zh) | 2019-07-05 |
Family
ID=67078701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910188271.7A Pending CN109977303A (zh) | 2019-03-13 | 2019-03-13 | 多媒体信息的交互方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109977303A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026746A (zh) * | 2019-10-16 | 2020-04-17 | 中国平安财产保险股份有限公司 | 多渠道数据调用的方法、装置、计算机设备及存储介质 |
| CN112099723A (zh) * | 2020-09-23 | 2020-12-18 | 努比亚技术有限公司 | 一种关联操控方法、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102780921A (zh) * | 2011-05-10 | 2012-11-14 | 华为终端有限公司 | 在观看节目时获取评论信息的方法、系统和装置 |
| US20130145269A1 (en) * | 2011-09-26 | 2013-06-06 | University Of North Carolina At Charlotte | Multi-modal collaborative web-based video annotation system |
| CN108174247A (zh) * | 2017-12-27 | 2018-06-15 | 优酷网络技术（北京）有限公司 | 视频互动方法及装置 |
| CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置及可读介质 |
| CN108933964A (zh) * | 2017-05-23 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 一种弹幕显示方法、播放设备及控制终端 |
-
2019
- 2019-03-13 CN CN201910188271.7A patent/CN109977303A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102780921A (zh) * | 2011-05-10 | 2012-11-14 | 华为终端有限公司 | 在观看节目时获取评论信息的方法、系统和装置 |
| US20130145269A1 (en) * | 2011-09-26 | 2013-06-06 | University Of North Carolina At Charlotte | Multi-modal collaborative web-based video annotation system |
| CN108933964A (zh) * | 2017-05-23 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 一种弹幕显示方法、播放设备及控制终端 |
| CN108174247A (zh) * | 2017-12-27 | 2018-06-15 | 优酷网络技术（北京）有限公司 | 视频互动方法及装置 |
| CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置及可读介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026746A (zh) * | 2019-10-16 | 2020-04-17 | 中国平安财产保险股份有限公司 | 多渠道数据调用的方法、装置、计算机设备及存储介质 |
| CN111026746B (zh) * | 2019-10-16 | 2023-07-07 | 中国平安财产保险股份有限公司 | 多渠道数据调用的方法、装置、计算机设备及存储介质 |
| CN112099723A (zh) * | 2020-09-23 | 2020-12-18 | 努比亚技术有限公司 | 一种关联操控方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI720062B (zh) | 語音輸入方法、裝置和終端設備 | |
| WO2020043149A1 (en) | Video interaction method and apparatus | |
| CN104168503B (zh) | 共享视频信息的方法及装置 | |
| CN110662083A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| WO2015196709A1 (zh) | 信息获取方法及装置 | |
| CN105162693B (zh) | 消息显示方法及装置 | |
| CN106126687A (zh) | 界面主题的推荐方法、装置、终端及服务器 | |
| CN105302315A (zh) | 图片处理方法及装置 | |
| CN104133956A (zh) | 处理图片的方法及装置 | |
| CN106789551B (zh) | 会话消息展示方法及装置 | |
| CN104079964B (zh) | 传输视频信息的方法及装置 | |
| CN109168062A (zh) | 视频播放的展示方法、装置、终端设备及存储介质 | |
| CN104574299A (zh) | 人脸图片处理方法及装置 | |
| US20140031086A1 (en) | System of servicing famous people's characters in smart phone and operation method thereof | |
| CN104915104B (zh) | 键盘界面的显示方法及装置 | |
| US20210029304A1 (en) | Methods for generating video, electronic device and storage medium | |
| CN109917996A (zh) | 互动内容展示方法、装置、电子设备及存储介质 | |
| CN106128440A (zh) | 一种歌词显示处理方法、装置、终端设备及系统 | |
| CN112464031A (zh) | 交互方法、装置、电子设备以及存储介质 | |
| CN109977303A (zh) | 多媒体信息的交互方法、装置及存储介质 | |
| CN108040280A (zh) | 内容项目显示方法及装置、存储介质 | |
| CN105430469B (zh) | 音视频数据的播放方法、装置、终端及服务器 | |
| CN108717403B (zh) | 一种处理方法、装置和用于处理的装置 | |
| CN110019897B (zh) | 显示图片的方法及装置 | |
| CN111615007A (zh) | 视频展示方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |