CN111741362A - 与视频用户互动的方法和装置 - Google Patents

与视频用户互动的方法和装置 Download PDF

Info

Publication number
CN111741362A
CN111741362A CN202010799209.4A CN202010799209A CN111741362A CN 111741362 A CN111741362 A CN 111741362A CN 202010799209 A CN202010799209 A CN 202010799209A CN 111741362 A CN111741362 A CN 111741362A
Authority
CN
China
Prior art keywords
video
user
focus
watching
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010799209.4A
Other languages
English (en)
Inventor
李阳
杜思军
高雷
李春燕
岳军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Original Assignee
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evergrande New Energy Automobile Investment Holding Group Co Ltd filed Critical Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority to CN202010799209.4A priority Critical patent/CN111741362A/zh
Publication of CN111741362A publication Critical patent/CN111741362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书实施例提供了一种与视频用户互动的方法和装置，其中，方法包括：获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或所述视频内容对应的历史观看用户的行为反应；根据所述视频内容的属性信息，预测观看所述视频内容的当前观看用户的行为反应；根据预测的所述当前观看用户的行为反应，输出第一互动内容，以在视频播放的场景中提供陪伴的能力，改善用户在观看视频时因缺乏互动而感到孤独的问题。

Description

与视频用户互动的方法和装置
技术领域
本文件涉及信息技术领域，尤其涉及一种与视频用户互动的方法和装置。
背景技术
随着视频传媒的不断发展，越来越多的人喜欢通过观看视频的方式来度过闲暇时间，特别是针对旅途中的用户，为了帮助他们消除旅途中的无聊感，在很多公共交通（飞机、火车、汽车）的乘客舱坐上都设置了视频播放显示屏供乘客观看视频，以提高旅途中的乐趣。但即使是这样，用户在视频观看过程中仍会因很难与周围人进行交流互动而难免会感到孤独。
发明内容
本说明书提供了一种与视频用户互动的方法和装置，用于在视频播放的场景中提供陪伴的能力，以改善用户在观看视频时因缺乏互动而感到孤独的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本说明书实施例提供了一种与视频用户互动的方法。该方法包括：
获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或所述视频内容对应的历史观看用户的行为反应；
根据所述视频内容的属性信息，预测观看所述视频内容的当前观看用户的行为反应；
根据预测的所述当前观看用户的行为反应，输出第一互动内容。
第二方面，本说明书实施例提供了一种与视频用户互动的装置。该装置包括：
获取模块，获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或所述视频内容对应的历史观看用户的行为反应；
预测模块，根据所述视频内容的属性信息，预测观看所述视频内容的当前观看用户的行为反应；
第一输出模块，根据预测的所述当前观看用户的行为反应，输出第一互动内容。
本说明书实施例提供的与视频用户互动的方法和装置，通过获取当前所播放视频内容的属性信息，该属性信息包括视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应；根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应；根据预测的当前观看用户的行为反应，输出第一互动内容，以与当前观看用户实现互动，提供针对视频用户的陪伴能力，减轻用户在观看视频时的孤独感，提高用户情感共鸣体验。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图;
图1为本说明书实施例提供的与视频用户互动的方法的应用场景示意图；
图2为本说明书实施例提供的与视频用户互动的方法的流程示意图一；
图3为本说明书实施例提供的与视频用户互动的方法的流程示意图二；
图4为本说明书实施例提供的视频数据库构建方法的流程示意图一；
图5为本说明书实施例提供的视频数据库构建方法的流程示意图二；
图6为本说明书实施例提供的视频数据库构建方法的流程示意图三；
图7为本说明书实施例提供的视频数据库构建方法的流程示意图四；
图8为本说明书实施例提供的视频数据库构建方法的流程示意图五；
图9为本说明书实施例提供的与视频用户互动的方法的流程示意图三；
图10为本说明书实施例提供的与视频用户互动的装置的结构示意图一；
图11为本说明书实施例提供的与视频用户互动的装置的结构示意图二；
图12为本说明书实施例提供的与视频用户互动的装置的结构示意图三；
图13为本说明书实施例提供的与视频用户互动的装置的结构示意图四；
图14为本说明书实施例提供的与视频用户互动的装置的结构示意图五；
图15为本说明书实施例提供的与视频用户互动的装置的结构示意图六；
图16为本说明书实施例提供的与视频用户互动的装置的结构示意图七。
具体实施方式
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
图1为本说明书实施例提供的与视频用户互动的方法的应用场景示意图，如图1所示，该场景包括：显示屏、与显示屏连接的与视频用户互动的装置。其中，显示屏可以是任何视频播放场景中的显示设备，例如该显示设备可以是专属用于视频播放的显示设备，如家庭场景中使用的电视机，公共交通场景中位于汽车、飞机、地铁列车等交通工具的坐舱中的移动电视等；又例如该显示设备也可以是附属在其他电子设备上的显示设备，比如设置在手机、平板电脑、台式计算机、便携笔记本式计算机等终端设备上的显示设备等。本说明书实施例对于显示屏的应用场景以及存在形式不进行限定，任何可以正常进行视频播放的设备均属于本说明书显示屏的保护范围。与显示屏连接的与视频用户互动的装置可以与显示屏分开设置，并通过有线或者无线的方式与显示屏进行连接实现信息交互，例如在汽车的座舱内车载显示屏可以与车载语音助手连接，其中，车载语音助手视为与视频用户互动的装置；或者，与显示屏连接的与视频用户互动的装置可以与显示屏一体化设置，例如，设置有显示屏的终端设备上同时设置了与视频用户互动的装置，该与视频用户互动的装置可以具体为内置在终端设备上的插件、组件、应用等。
具体地，在实现与视频用户互动的过程中，上述互动装置会先获取显示屏上当前所播放视频内容的属性信息，该属性信息包括视频内容对应的情景标签，和/或该视频内容对应的历史观看用户的行为反应；其中，情景标签可根据视频内容所展现的具体内容场景进行划分，比如“煽情桥段”，“高燃场面”，“主角面临危机”，“大楼发生爆炸”等，针对同一段视频内容可以同时对应多个情景标签；观看用户的行为反应泛指用户在观看视频内容所做出的能够反映当时用户情感的比较激进的反应，而对于用户所做出的比较平静的反应（或者维持常态的反应）则可视为用户未针对当前视频内容做出行为反应。
比如，上述观看用户的行为反应可包括能够反映用户情感变化的以语音、表情和动作中的至少一种方式所做出的反应，如开心的笑（语音），伤心的神情（表情），或者其他能够体现用户情感的肢体动作等。
在实际应用中，可以根据人们的常识性认知来理解和定义观看用户的行为反应。根据所获取的视频内容的属性信息，即视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应，可以间接预测观看视频内容的当前观看用户可能的行为反应。
进一步地，可以预先建立视频数据库，该视频数据库中预存有多个视频在多个视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。
相应地，在获取当前所播放视频内容的属性信息时，可以根据当前视频播放进度，从预设的视频数据库中，查找与该视频播放进度对应的情景标签，和/或历史观看用户的行为反应。
进一步地，在构建视频数据库时，可从弹幕视频网站提取出相同或相似弹幕的焦点视频片段；对相同或相似弹幕的焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签；基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
进一步地，在构建视频数据库时，可从弹幕视频网站提取出现相同或相似弹幕的焦点视频片段；对相同或相似弹幕的焦点视频片段中的弹幕内容，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别；根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应；基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，在构建视频数据库时，可获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；对焦点视频片段中包含的音频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签；基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
进一步地，在构建视频数据库时，可获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；对焦点视频片段对应的用户的行为反应，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别；根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应；基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，在构建视频数据库时，可获取视频样本，采用经深度学习获取的多媒体分类和情感分类的联合模型对视频样本中的视频片段进行分类，得到视频片段对应的情景标签和情感类别；根据视频片段对应的情感类别，确定视频片段对应的历史观看用户的行为反应；基于视频片段对应的视频播放进度、视频片段对应的情景标签以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，在当前观看用户做出行为反应后，可输出附和当前观看用户行为反应的第二互动内容。
进一步地，上述用户的行为反应可包括：通过语音、表情、动作中的至少一种方式所做出的行为反应；第一互动内容、第二互动内容可包括：通过语音或者图像形式输出的互动内容。
下面通过多个实施例来进一步说明本说明书的技术方案。
实施例一
基于上述应用场景架构，图2为本说明书实施例提供的与视频用户互动的方法的流程示意图一，图2中的方法能够由图1中的与视频用户互动的装置执行，如图2所示，该方法包括以下步骤：
S102，获取当前所播放视频内容的属性信息，所述属性信息包括视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应。
其中，情景标签可根据视频内容所展现的具体内容场景进行划分，比如“煽情桥段”，“高燃场面”，“主角面临危机”，“大楼发生爆炸”等，通常，对于一段视频内容其包含的内容场景是比较复杂的，因此针对同一段视频内容可以同时对应多个情景标签，并且为了标识同一类情景标签所对应的不同内容场景的场景特征程度，可以为每种情景标签设置情景等级，比如从1-9设置9个情景等级，等级越高代表场景特征程度越高；观看用户的行为反应泛指用户在观看视频内容所做出的能够反映当时用户情感的比较激进的反应，而对于用户所做出的比较平静的反应（或者维持常态的反应）则可视为用户未针对当前视频内容做出行为反应。
比如，上述观看用户的行为反应可包括能够反映用户情感变化的以语音、表情和动作中的至少一种方式所做出的反应，如开心的笑（语音），伤心的神情（表情），或者其他能够体现用户情感的肢体动作等。根据观看用户的人像特征，可以对不同观看用户的同类行为反应进行区别性描述，以语音方式所做出的行为反应为例，活泼女性语音反应可为“好厉害！”，激情男性语音反应可为“太强了！”。
在实际应用中，可以根据人们的常识性认知来理解和定义观看用户的行为反应。历史观看用户泛指在过去时间段内进行视频播放时所对应的观看用户。
具体地，在针对当前观看用户播放视频内容时，可以实时的根据当前所播放视频内容，获取该视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应。
S104，根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应。
在实际应用场景中，无论是视频内容对应的情景标签，或是视频内容对应的历史观看用户的行为反应，都可以间接用来推断或者参考得到当前观看用户的行为反应。比如，当所播放视频内容对应“煽情桥段”的情景标签，或所播放视频内容对应的历史观看用户的行为反应是“感动”的反应（具体可通过语音、表情、动作的特征信息进行描述）时，都可以间接的预测出当前观看用户在观看到该视频内容时所做出的行为反应较大概率为“感动”的行为反应，比如说出煽情话语、做出感动的表情、或者肢体动作等。
S106，根据预测的当前观看用户的行为反应，输出第一互动内容。
具体地，在预测得到当前观看用户在观看到当前所播放的视频内容时可能做出的行为反应时，可以针对这些行为反应输出与之呼应的第一互动内容，从而达到与当前观看用户互动的目的。
具体地，上述第一互动内容可包括：通过语音或者图像形式输出的互动内容。例如，在预测出当前用户可能做出“感动”的行为反应时，可以通过语音或者图像形式输出与“感动”相呼应的互动内容。例如，可以语音输出“好感动啊”，或者可以在播放视频内容的显示屏上设置虚拟卡通形象，并通过该虚拟卡通形象做出“感动”的表情或者肢体动作。
并且，在输出第一互动内容时，还可以结合当前观看用户的人像特征，针对不同用户的同类互动内容进行区别性输出展示，以语音方式做出的第一互动内容为“称赞”的语言为例，当通过图像采集装置采集并识别当前观看用户为女性时，可输出“好厉害！”，为男性时可输出“太强了！”。在参考当前观看用户的人像特征输出第一互动内容时，可使第一互动内容更贴合当前观看用户的互动需求特点，达到过更好的互动效果。通过当前所播放视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应来预测当前观看用户的行为反应，并输出针对该预测的行为反应的互动内容，从而对当前用户可能做出的行为反应进行提早或者及时回应，可以提高对视频用户的陪伴能力。
本说明书实施例提供的与视频用户互动的方法，通过获取当前所播放视频内容的属性信息，该属性信息包括视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应；根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应；根据预测的当前观看用户的行为反应，输出第一互动内容，以与当前观看用户实现互动，提供针对视频用户的陪伴能力，减轻用户在观看视频时的孤独感，提高用户情感共鸣体验。
实施例二
本实施例在实施例一的基础上，对图2所示的与视频用户互动的方法进行拓展和补充。
进一步地，如图3所示，步骤S102可包括：
S102-2，根据当前视频播放进度，从预设的视频数据库中，查找与该视频播放进度对应的情景标签，和/或历史观看用户的行为反应；所述视频数据库中预存有多个视频在多个视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。
为了在视频播放过程中，快速的获取到当前所播放视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应，可预先构建一视频数据库。该视频数据库中预存有大量视频所对应的多个视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。
其中，在一个视频中，根据视频的播放顺序可将视频以固定时间步长划分为多个播放时间区间，每个播放时间区间对应一个视频播放进度，同时每个播放时间区间也对应一个视频片段。根据当前视频的播放时间可以确定其所属的播放时间区间，进而确定出当前视频的播放进度。
在视频数据库中，预存有大量的视频对应所包含的其部分或者全部视频播放进度（以播放时间区间的起始时间和结束时间进行标注），以及与这些视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。其中历史观看用户的行为反应可通过描述语音、表情、动作中的至少一种的特征内容信息记录在视频数据库中。根据观看用户的人像特征，可以对不同观看用户的同类行为反应进行区别性描述，以语音方式所做出的行为反应为例，活泼女性语音反应可为“好厉害！”，激情男性语音反应可为“太强了！”。
具体地，在播放视频过程中，可以根据当前播放时间所属的播放时间区间，确定当前视频播放进度，根据当前视频播放进度，先从预设的视频数据库中，查找到当前所播放的视频，并从该视频对应的视频播放进度中，确定出当前所播放视频内容的视频播放进度，进而确定该视频播放进度对应的情景标签，和/或历史观看用户的行为反应，并将其作为当前所播放视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应。
进一步地，如图4所示，构建视频数据库的步骤可包括：
S11，从弹幕视频网站提取出相同或相似弹幕的焦点视频片段。
从提供弹幕视频的弹幕视频网站中提取大量出现相同/相似弹幕的焦点视频片段。在确定弹幕的相似性时，可采用通过机器学习/深度学习弹幕所得到的语义相似模型来进行相似判断。该语义相似模型可以是MITRE模型。
S12，对焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签。
针对所提取出的具有相同/相似弹幕的焦点视频片段，或者进一步还包括从这些焦点视频片段中所提取的音频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签。其中，该多媒体分类模型包含对焦点视频片段进行分类的多个情景标签。
S13，基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
进一步地，如图5所示，构建视频数据库的步骤可包括：
S21，从弹幕视频网站提取出现相同或相似弹幕的焦点视频片段。
从提供弹幕视频的弹幕视频网站中提取大量出现相同/相似弹幕的焦点视频片段。在确定弹幕的相似性时，可采用通过机器学习/深度学习弹幕所得到的语义相似模型来进行相似判断。该语义相似模型可以是MITRE模型。
S22，对相同或相似弹幕的焦点视频片段中的弹幕内容，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别。
针对所提取出的具有相同/相似弹幕的焦点视频片段，提取其包括的弹幕内容，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别。其中，该情感分类模型包含对弹幕内容进行分类的多个情感类别，如高兴、悲伤、害怕等。该情感分类模型可以是基于自然语言处理（Natural Language Processing，NLP）所形成的分类模型。
S23，根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应。
根据焦点视频片段对应的情感类别，可以按照设定的情感类别到用户行为反应的映射规则确定出历史观看用户的行为反应，该行为反应可包括以语音、表情、动作中的至少一种方式所做出的行为反应。其中，语言反应可以直接参考弹幕内容，此外根据观看用户的人像特征，可以对不同观看用户的同类行为反应进行区别性描述，以语音方式所做出的行为反应为例，活泼女性语音反应可为“好厉害！”，激情男性语音反应可为“太强了！”。
S24，基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，如图6所示，构建视频数据库的步骤可包括：
S31，获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段。
在用户观看视频时，可以通过设置在视频播放场景中的摄像头、麦克风等监测用户观看视频内容时所做出的行为反应，并将用户做出行为反应的视频片段确定为焦点视频片段。
S32，对焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签。
对根据用户所做出行为反应而确定的焦点视频片段，或者进一步还包括从这些焦点视频片段中所提取的音频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签。其中，该多媒体分类模型包含对焦点视频片段进行分类的多个情景标签。
S33，基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
进一步地，如图7所示，构建视频数据库的步骤可包括：
S41，获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段。
在用户观看视频时，可以通过设置在视频播放场景中的摄像头、麦克风等监测用户观看视频内容时所做出的行为反应，并将用户做出行为反应的视频片段确定为焦点视频片段。
S42，对焦点视频片段对应的用户的行为反应，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别。
可将焦点视频片段对应的用户的行为反应转换为相应内容的文字信息，并采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别。其中，该情感分类模型包含对用户的行为反应对应的文字信息进行分类的多个情感类别。该情感分类模型可以是基于NLP所形成的分类模型。
S43，根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应。
根据焦点视频片段对应的情感类别，可以按照设定的情感类别到用户行为反应的映射规则确定出历史观看用户的行为反应，该行为反应可包括以语音、表情、动作中的至少一种方式所做出的行为反应。其中，语言反应可以直接参考麦克风监测到的语音内容，此外根据观看用户的人像特征，可以对不同观看用户的同类行为反应进行区别性描述，以语音方式所做出的行为反应为例，活泼女性语音反应可为“好厉害！”，激情男性语音反应可为“太强了！”。
S44，基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，如图8所示，构建视频数据库的步骤可包括：
S51，获取视频样本，采用经深度学习获取的多媒体分类和情感分类的联合模型对视频样本中的视频片段进行分类，得到视频片段对应的情景标签和情感类别。
可预先基于大量视频片段训练深度学习模型得到用于多媒体分类（视频内容所属情景标签的分类）和情感分类（视频内容所属情感类别的分类）的联合模型，训练该联合模型的训练数据可以是上述实施例中基于弹幕视频获取的焦点视频片段，也可以是上述实施例中基于用户观看视频过程中做出行为反应而确定的焦点视频片段。还可以采用人工标注的方式形成的训练数据。
在获取到用于构建视频数据库的视频样本后，可以以固定时长将视频样本截取为多个视频片段依次输入到上述联合模型中进行分类，以得到各视频片段对应的情景标签和情感类别。
S52，根据视频片段对应的情感类别，确定视频片段对应的历史观看用户的行为反应。
根据视频片段对应的情感类别，可以按照设定的情感类别到用户行为反应的映射规则确定出历史观看用户的行为反应，该行为反应可包括以语音、表情、动作中的至少一种方式所做出的行为反应。其中，语言反应可以直接参考弹幕内容，或者麦克风监测到的语音内容，此外根据观看用户的人像特征，可以对不同观看用户的同类行为反应进行区别性描述，以语音方式所做出的行为反应为例，活泼女性语音反应可为“好厉害！”，激情男性语音反应可为“太强了！”。
S53，基于视频片段对应的视频播放进度、视频片段对应的情景标签以及对应的历史观看用户的行为反应构建视频数据库。
进一步地，如图9所示，在上述步骤S106之后还可包括：
S108，在当前观看用户做出行为反应后，输出附和当前观看用户行为反应的第二互动内容。
具体地，在上述针对当前观看用户可能做出的行为反应而输出与之呼应的第一互动内容后，存在两种可能情况：第一种是预测的当前用户的行为反应与当前用户实际做出的行为反应一致，输出的第一互动内容与当前观看用户的行为反应之间达成了很好的互动效果；第二种是预测的当前用户的行为反应与当前用户实际做出的行为反应不一致，输出的第一互动内容与当前观看用户的行为反应之间未达成很好的互动效果。而不管是哪种情况，最终都应该以当前观看用户实际做出的行为反应作为基础来进行互动，才更能与用户情感产生共鸣。
因此，本实施例在当前观看用户做出行为反应后，针对该行为反应输出附和当前观看用户行为反应的第二互动内容，以加强或者改善之前通过预测当前用户行为反应所输出的第一互动内容所带来的影响。其中，该附和当前观看用户行为反应的第二互动内容可以是与当前观看用户行为反应所属与同一感情类别的行为反应。
其中，第二互动内容可与第一互动内容相似，也包括：通过语音或者图像形式输出的互动内容。例如，在当前用户实际做出“感动”的行为反应时，可以通过语音或者图像形式输出与“感动”相呼应的互动内容。例如，可以语音输出“好感动啊”，或者可以在播放视频内容的显示屏上设置虚拟卡通形象，并通过该虚拟卡通形象做出“感动”的表情或者肢体动作。
另外，当通过前述实施例中的视频数据库，未预测出当前观看用户的行为反应时，也可以直接根据当前观看用户的实际行为反应，输出上述第二互动内容，从而在未能对当前用户可能做出的行为反应进行提早或者及时回应时，仍可以与用户进行互动，保证对视频用户的陪伴能力。
本说明书实施例提供的与视频用户互动的方法，通过获取当前所播放视频内容的属性信息，该属性信息包括视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应；根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应；根据预测的当前观看用户的行为反应，输出第一互动内容，以与当前观看用户实现互动，提供针对视频用户的陪伴能力，减轻用户在观看视频时的孤独感，提高用户情感共鸣体验。
实施例三
对应上述图2至图9描述的与视频用户互动的方法，基于相同的技术构思，本说明书实施例还提供一种与视频用户互动的装置。图10为本说明书实施例提供的与视频用户互动的装置的模块组成示意图，该装置用于执行图2至图9描述的与视频用户互动的方法，如图10所示，该装置包括：
获取模块201，获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应；
预测模块202，根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应；
第一输出模块203，根据预测的当前观看用户的行为反应，输出第一互动内容。
可选地，预测模块202，根据当前视频播放进度，从预设的视频数据库中，查找与该视频播放进度对应的情景标签，和/或历史观看用户的行为反应；所述视频数据库中预存有多个视频在多个视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。
可选地，如图11所示，上述图10所示装置中还可包括：
第一生成模块204，从弹幕视频网站提取出相同或相似弹幕的焦点视频片段；对相同或相似弹幕的焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签；基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
可选地，如图12所示，上述图10所示装置中还可包括：
第二生成模块205，从弹幕视频网站提取出现相同或相似弹幕的焦点视频片段；对相同或相似弹幕的焦点视频片段中的弹幕内容，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别；根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应；基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建所述视频数据库。
可选地，如图13所示，上述图10所示装置中还可包括：
第三生成模块206，获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；对焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到焦点视频片段对应的情景标签；基于焦点视频片段对应的视频播放进度及对应的情景标签构建视频数据库。
可选地，如图14所示，上述图10所示装置中还可包括：
第四生成模块207，获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；对焦点视频片段对应的用户的行为反应，采用经深度学习获取的情感分类模型进行分类，得到焦点视频片段对应的情感类别；根据焦点视频片段对应的情感类别，确定焦点视频片段对应的历史观看用户的行为反应；基于焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建视频数据库。
可选地，如图15所示，上述图10所示装置中还可包括：
第五生成模块208，获取视频样本，采用经深度学习获取的多媒体分类和情感分类的联合模型对视频样本中的视频片段进行分类，得到视频片段对应的情景标签和情感类别；根据视频片段对应的情感类别，确定视频片段对应的历史观看用户的行为反应；基于视频片段对应的视频播放进度、视频片段对应的情景标签以及对应的历史观看用户的行为反应构建所述视频数据库。
可选地，如图16所示，上述图10所示装置中还可包括：
第二输出模块209，在当前观看用户做出行为反应后，输出附和当前观看用户行为反应的第二互动内容。
可选地，上述用户的行为反应可包括：通过语音、表情、动作中的至少一种方式所做出的行为反应；第一互动内容、第二互动内容可包括：通过语音或者图像形式输出的互动内容。
本说明书实施例提供的与视频用户互动的装置，通过获取当前所播放视频内容的属性信息，该属性信息包括视频内容对应的情景标签，和/或视频内容对应的历史观看用户的行为反应；根据视频内容的属性信息，预测观看视频内容的当前观看用户的行为反应；根据预测的当前观看用户的行为反应，输出第一互动内容，以与当前观看用户实现互动，提供针对视频用户的陪伴能力，减轻用户在观看视频时的孤独感，提高用户情感共鸣体验。
需要说明的是，本说明书中关于与视频用户互动的装置的实施例与本说明书中关于与视频用户互动的方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的与视频用户互动的方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device，PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种与视频用户互动的方法，包括：
获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或所述视频内容对应的历史观看用户的行为反应；
根据所述视频内容的属性信息，预测观看所述视频内容的当前观看用户的行为反应；
根据预测的所述当前观看用户的行为反应，输出第一互动内容。
2.根据权利要求1所述的方法，其中，所述获取当前所播放视频内容的属性信息，包括：
根据当前视频播放进度，从预设的视频数据库中，查找与该视频播放进度对应的情景标签，和/或历史观看用户的行为反应；所述视频数据库中预存有多个视频在多个视频播放进度所对应的情景标签，和/或历史观看用户的行为反应。
3.根据权利要求2所述的方法，其中，所述方法还包括：
从弹幕视频网站提取出相同或相似弹幕的焦点视频片段；
对所述相同或相似弹幕的焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到所述焦点视频片段对应的情景标签；
基于所述焦点视频片段对应的视频播放进度及对应的情景标签构建所述视频数据库。
4.根据权利要求2所述的方法，其中，所述方法还包括：
从弹幕视频网站提取出现相同或相似弹幕的焦点视频片段；
对所述相同或相似弹幕的焦点视频片段中的弹幕内容，采用经深度学习获取的情感分类模型进行分类，得到所述焦点视频片段对应的情感类别；
根据所述焦点视频片段对应的情感类别，确定所述焦点视频片段对应的历史观看用户的行为反应；
基于所述焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建所述视频数据库。
5.根据权利要求2所述的方法，其中，所述方法还包括：
获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；
对所述焦点视频片段，采用经深度学习获取的多媒体分类模型进行分类，得到所述焦点视频片段对应的情景标签；
基于所述焦点视频片段对应的视频播放进度及对应的情景标签构建所述视频数据库。
6.根据权利要求2所述的方法，其中，所述方法还包括：
获取用户观看视频过程中做出行为反应的视频片段作为焦点视频片段；
对所述焦点视频片段对应的用户的行为反应，采用经深度学习获取的情感分类模型进行分类，得到所述焦点视频片段对应的情感类别；
根据所述焦点视频片段对应的情感类别，确定所述焦点视频片段对应的历史观看用户的行为反应；
基于所述焦点视频片段对应的视频播放进度，以及对应的历史观看用户的行为反应构建所述视频数据库。
7.根据权利要求2所述的方法，其中，所述方法还包括：
获取视频样本，采用经深度学习获取的多媒体分类和情感分类的联合模型对视频样本中的视频片段进行分类，得到所述视频片段对应的情景标签和情感类别；
根据所述视频片段对应的情感类别，确定所述视频片段对应的历史观看用户的行为反应；
基于所述视频片段对应的视频播放进度、所述视频片段对应的情景标签以及对应的历史观看用户的行为反应构建所述视频数据库。
8.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：
在所述当前观看用户做出行为反应后，输出附和所述当前观看用户行为反应的第二互动内容。
9.根据权利要求8所述的方法，其中，用户的行为反应包括：通过语音、表情、动作中的至少一种方式所做出的行为反应；所述第一互动内容、所述第二互动内容包括：通过语音或者图像形式输出的互动内容。
10.一种与视频用户互动的装置，包括：
获取模块，获取当前所播放视频内容的属性信息，所述属性信息包括所述视频内容对应的情景标签，和/或所述视频内容对应的历史观看用户的行为反应；
预测模块，根据所述视频内容的属性信息，预测观看所述视频内容的当前观看用户的行为反应；
第一输出模块，根据预测的所述当前观看用户的行为反应，输出第一互动内容。
CN202010799209.4A 2020-08-11 2020-08-11 与视频用户互动的方法和装置 Pending CN111741362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010799209.4A CN111741362A (zh) 2020-08-11 2020-08-11 与视频用户互动的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010799209.4A CN111741362A (zh) 2020-08-11 2020-08-11 与视频用户互动的方法和装置

Publications (1)

Publication Number Publication Date
CN111741362A true CN111741362A (zh) 2020-10-02

Family

ID=72658352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010799209.4A Pending CN111741362A (zh) 2020-08-11 2020-08-11 与视频用户互动的方法和装置

Country Status (1)

Country Link
CN (1) CN111741362A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237401A (zh) * 2021-12-28 2022-03-25 广州卓远虚拟现实科技有限公司 一种多种虚拟场景的无缝链接方法及系统
CN114969431A (zh) * 2021-04-13 2022-08-30 中移互联网有限公司 一种影像处理方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802031A (zh) * 2012-07-13 2012-11-28 李映红 针对电视节目的交互系统和方法
CN103997691A (zh) * 2014-06-02 2014-08-20 合一网络技术(北京)有限公司 视频交互的方法和系统
US20160127775A1 (en) * 2014-10-31 2016-05-05 Microsoft Corporation Individualized content presentation for increased user interaction performance in group settings
CN107105314A (zh) * 2017-05-12 2017-08-29 北京小米移动软件有限公司 视频播放方法及装置
CN108846431A (zh) * 2018-06-05 2018-11-20 成都信息工程大学 基于改进贝叶斯模型的视频弹幕情感分类方法
CN109104630A (zh) * 2018-08-31 2018-12-28 北京优酷科技有限公司 视频互动方法及装置
CN109635155A (zh) * 2018-12-17 2019-04-16 杭州柚子街信息科技有限公司 为用户推送视频的方法、装置、电子设备及存储介质
CN109660853A (zh) * 2017-10-10 2019-04-19 腾讯科技（北京）有限公司 视频直播中的互动方法、装置及系统
CN110198482A (zh) * 2019-04-11 2019-09-03 华东理工大学 一种视频重点桥段标注方法、终端及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802031A (zh) * 2012-07-13 2012-11-28 李映红 针对电视节目的交互系统和方法
CN103997691A (zh) * 2014-06-02 2014-08-20 合一网络技术(北京)有限公司 视频交互的方法和系统
US20160127775A1 (en) * 2014-10-31 2016-05-05 Microsoft Corporation Individualized content presentation for increased user interaction performance in group settings
CN107105314A (zh) * 2017-05-12 2017-08-29 北京小米移动软件有限公司 视频播放方法及装置
CN109660853A (zh) * 2017-10-10 2019-04-19 腾讯科技（北京）有限公司 视频直播中的互动方法、装置及系统
CN108846431A (zh) * 2018-06-05 2018-11-20 成都信息工程大学 基于改进贝叶斯模型的视频弹幕情感分类方法
CN109104630A (zh) * 2018-08-31 2018-12-28 北京优酷科技有限公司 视频互动方法及装置
CN109635155A (zh) * 2018-12-17 2019-04-16 杭州柚子街信息科技有限公司 为用户推送视频的方法、装置、电子设备及存储介质
CN110198482A (zh) * 2019-04-11 2019-09-03 华东理工大学 一种视频重点桥段标注方法、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969431A (zh) * 2021-04-13 2022-08-30 中移互联网有限公司 一种影像处理方法、装置及电子设备
CN114237401A (zh) * 2021-12-28 2022-03-25 广州卓远虚拟现实科技有限公司 一种多种虚拟场景的无缝链接方法及系统

Similar Documents

Publication Publication Date Title
Wahlster Smartkom: Symmetric multimodality in an adaptive and reusable dialogue shell
US20200371741A1 (en) Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium
Deldjoo et al. Towards multi-modal conversational information seeking
Wahlster Towards symmetric multimodality: Fusion and fission of speech, gesture, and facial expression
US11521111B2 (en) Device and method for recommending contact information
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
Somandepalli et al. Computational media intelligence: Human-centered machine analysis of media
CN116227474B (zh) 一种对抗文本的生成方法、装置、存储介质及电子设备
CN112052333B (zh) 文本分类方法及装置、存储介质和电子设备
CN111741362A (zh) 与视频用户互动的方法和装置
Dressman Reading as the interpretation of signs
CN111512617A (zh) 推荐联系人信息的装置和方法
CN111523289A (zh) 一种文本格式生成方法、装置、设备和可读介质
CN108304412A (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN112291614A (zh) 一种视频生成方法及装置
Wahlster Dialogue systems go multimodal: The smartkom experience
KR101543393B1 (ko) 이동 단말기의 사용자의 상황에 적합한 컨텐츠 추천 방법 및 이를 수행하는 컨텐츠 추천 시스템
US20240079002A1 (en) Minutes of meeting processing method and apparatus, device, and medium
Wang A mobile world made of functions
CN115526602A (zh) 备忘提醒方法、装置、终端及存储介质
Chang et al. Report of 2017 NSF workshop on multimedia challenges, opportunities and research roadmaps
KR20240001239A (ko) 미디어 자산에 대한 컨텍스트-인식 이벤트 기반 주석부기 시스템
Lanius et al. The new data: Argumentation amid, on, with, and in data
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
Tang Producing informative text alternatives for images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002