CN115152242A - 用于选择和显示的视频的机器学习管理 - Google Patents

用于选择和显示的视频的机器学习管理 Download PDF

Info

Publication number
CN115152242A
CN115152242A CN202180012538.2A CN202180012538A CN115152242A CN 115152242 A CN115152242 A CN 115152242A CN 202180012538 A CN202180012538 A CN 202180012538A CN 115152242 A CN115152242 A CN 115152242A
Authority
CN
China
Prior art keywords
web page
short
videos
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012538.2A
Other languages
English (en)
Inventor
E·邱
S·巴卡
冯石
李吴熙
刘富宏
J·T·K·陆
V·杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Instant Cycle Technology Co ltd
Original Assignee
Instant Cycle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Instant Cycle Technology Co ltd filed Critical Instant Cycle Technology Co ltd
Publication of CN115152242A publication Critical patent/CN115152242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了用于基于机器学习视频管理进行视频操纵的技术。加载网页内容，其中所述内容包括用于短视频的框架。针对文本信息分析所述网页的所述内容。访问短视频服务器。从所述短视频服务器中选择短视频，其中所述选择包括自动管理所述短视频。基于用户的网页行为使用自适应学习进行所述选择。所述自适应学习包括在所述选择之前收集所述用户的网页行为。自动管理包括通过神经网络选择适合于所述网页的短视频的子集。利用从所述视频服务器获得的所述短视频填充所述网页框架。在所述网页上的所述框架内显示所述短视频的表示。在所述框架内自动播放所述短视频。

Description

用于选择和显示的视频的机器学习管理
相关申请
本申请要求2020年2月5日提交的美国临时专利申请“用于选择和显示的视频的机器学习管理(Machine Learned Curating of Videos for Selection and Display)”序列号62/970,364和2020年10月1日提交美国临时专利申请的“机器学习的视频模板使用(Machine Learned Video Template Usage)”序列号63/086,077号的优先权。
前述申请中的每一个在允许的管辖范围内特此通过引用整体并入本文。
技术领域
本申请总体上涉及视频操纵，并且更具体地，涉及用于选择和显示的视频的机器学习管理。
背景技术
一种非常受欢迎的数字消遣是“网上冲浪”，其中网上冲浪通常是指在互联网上度过生产时间、休闲时间和拖延时间。事实上，人们喜欢网上冲浪。虽然网上冲浪可以包括有意义的活动，诸如研究、教育或工作，但更多情况下，进行网上冲浪是为了购物、娱乐、游戏、寻找儿童或宠物的可爱视频，或只是消磨时间。人们使用各种各样的电子设备进行网上冲浪，以便接触在各种网站处找到的大量在线信息和内容。为了访问特定网站，人们在她或他的电子设备上启动网络浏览器，并通过键入网址或统一资源定位符(URL)来导航到该网站。URL指的是特定的数字地址，本质上是物理地址的数字等价物。URL将人们带到主页或登录页面。网站主页提供了各种各样的内容，这些内容包括新闻、体育、政治、可爱的小狗视频、小猫做古怪事情的视频、待售产品或服务等。人们可以点击故事、体育比分、阴谋论或她或他感兴趣的任何内容。从用户的角度来看，找到感兴趣的网站通常是从导航到熟悉的网站或利用网络搜索开始的。无论使用哪种技术，用户必须在头脑中有目的地或主题来开始他们的网上冲浪体验。
替代性地被描述为“狂野西部(The Wild West)”、或者其整个收藏散落在地板上的图书馆，当涉及到寻找特定内容时，网络面临着重大搜索挑战。为了帮助从数十亿在线网站中定位所期望的内容，已经开发了搜索引擎。人们将如“可爱的小狗视频”或“小型计算机”的搜索字符串输入到搜索引擎中并发起搜索。然而，此类整体性搜索字符串会产生大量的命中——仅针对可爱的小狗为将近3000亿个。无效的搜索产生太多的结果，从而对发起搜索的人来说没有用或没有意义。虽然编写简洁的搜索字符串提供了对该问题的解决方案，但过于简洁的搜索可能消除“近似匹配”，这些近似匹配可能实际上更接近人们所寻找的内容。从供应商的角度来看，如从在线零售商的角度来看，他们业务的成功或失败取决于向潜在客户呈现商品和服务，并且然后将潜在客户转化为买家。“正确的”网页需要快速地被呈现给寻找商品或服务的潜在客户。如果不进行此类呈现，客户将去别处，或者由于失去兴趣或缺少时间将简单地放弃。
网页创建者使用搜索引擎优化(SEO)技术来创建他们的网页，这些技术提高了他们的网页的排名，并增加了他们的网页将首先被呈现给搜索网页的用户的机会。搜索引擎供应商检查使用SEO技术的网页以在搜索结果中对网页进行排序。这些经排序的搜索结果被呈现给用户，从而希望将该用户引导到她或他将进行购买的网页。SEO有点像猫捉老鼠的游戏。创建者试图创建排序更高的网页，而搜索引擎开发者试图确定更高的排序是合法的还是非法的。明显的欺骗性和卑劣的技术(如自动访问特定页面以增加其点击率并且因此增加其明显的受欢迎程度)是强烈不鼓励的。然而，搜索引擎优化的合法方法是受到鼓励的。这种后一类包括用于创建网页的指南，如在网页代码内嵌入元标题、描述符和关键词；构建URL使得搜索引擎可以轻松跟踪它们；并用适当的关键词标记图像；以及其他动作。当恰当地进行时，使用SEO技术创建的网页成功地在网页排名方面提升，并将用户吸引到网页上。
发明内容
电子设备(如台式计算机、膝上型计算机、平板电脑、智能手机和PDA)被想要观察网页内容并与之交互的人们广泛使用。网页内容(其通常在网页浏览器内被呈现为网页)呈现新闻、政府信息、娱乐、教育材料等。网页内容通常包括文本、包括直播视频的视频、音频等。与网页交互的个人可以选择了解关于新闻故事、运动队、产品或服务等的更多信息。寻找进一步的信息可以包括进行网络搜索，这可以导致数百、数千或更多的搜索命中。然后，个人必须决定是否尝试搜索结果中的一些、进行进一步的搜索等。如果搜索涉及寻找关于名人的最新八卦或追踪突发新闻故事，那么前面的搜索结果的数量和相关性可以很小并且非常容易管控，从而允许用户选择她或他偏好的信息源。相比之下，如果搜索是针对产品或服务，并且个人受到太多的低相关性结果轰炸，那么该个人极不可能“转换”或购买该商品或服务。为了控制搜索结果的数量和质量，管理搜索结果并选择与个人的信息寻求高度相关的一些结果可能更有效。个人很快地被呈现有合理数量的相关选择，可以安全地选择前面的结果，选择他们最喜欢的源等。进一步地，通过应用如自适应学习的人工智能(AI)技术，可以显著提高管理搜索结果的选择和显示的质量和效率。通过观察个人在与网页交互时她或他的行为，可以极大地增强对前面的搜索结果的选择，从而提炼结果的相关性、改善个人的用户体验(UX)，并增加个人从浏览者“转换”为购买者或消费者的可能性。
视频操纵是基于用于选择和显示的视频的机器学习管理。公开了一种用于视频操纵的处理器实施的方法，该方法包括：加载网页的内容，其中内容包括用于多个短视频的框架；针对文本信息分析网页的内容；访问短视频服务器；基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频；利用从短视频服务器获得的多个短视频填充网页上的框架；以及在网页上的框架内显示多个短视频的表示。自动管理可以包括使用如递归神经网络的神经网络来选择适合于网页的多个短视频的子集。神经网络可以实施如长短期记忆模型的模型，其中长短期记忆模型使用神经网络内的反馈来处理数据的序列。数据的序列可以包括语音或视频。自动管理可以基于机器学习，如深度学习。机器学习可以包括通过将训练数据应用于神经网络来训练神经网络用于进行自动管理。可以在网页上的框架内自动播放短视频。可以接收对嵌入在网页上的框架内的行动呼吁的响应。基于来自短视频服务器的对行动呼吁的响应，可以提供第二多个短视频。用于第二多个短视频的标准可以修改多个短视频的自动管理。
可以使用自适应学习来增强或更新自动管理。自适应学习是这样的技术，其可以包括收集与个人相关联的信息、分析该信息、并且使用分析结果来更新与神经网络相关联的各种参数或互连。更新与神经网络相关联的参数可以包括更新与神经网络相关联的权重、偏差、系数等。所收集的可能与自适应学习相关联的信息可以包括个人的网页行为、网页上的滑动和/或点击、与其他个人的网页行为的比较等。来自网页的上下文信息和与个人相关联的人口统计数据也可以用于自适应学习。随着收集和分析更多的数据，对神经网络进行的改进质量也越来越高。个人可以选择“选择加入”以实现与在给定网站上的用户的使用或网站行为、在附加网站上的行为等相关联的进一步的信息的收集。
各种实施例的各种特征、方面和优点从下面的进一步描述中将变得更加明显。
附图说明
通过参考以下附图可以理解某些实施例的以下详细描述，其中：
图1A是视频的机器学习管理的流程图。
图1B是显示经管理的视频的流程图。
图2是带有框架的示例网页。
图3示出了台式计算机/膝上型计算机设备上的嵌入式视频。
图4示出了移动设备上的嵌入式视频。
图5是与源通信的网页的框图。
图6是用于自适应学习使用的流程图。
图7是用于视频操纵的系统图。
具体实施方式
公开了基于用于选择和显示的视频的机器学习管理进行视频操纵的技术。个人可以使用如台式计算机、膝上型计算机、平板电脑、智能手机、个人数字助理(PDA)等电子设备来加载网页。可以被加载的网页可以包括文本、图像、视频、音频以及呈现与网页相关或相关联的消息、感觉或本能反应、主题、体验等的其他内容。虽然给定网页上的信息可能是有用的，但是众所周知，在个人消费网页内容时，访问相似或相关的网页可以极大地增强用户体验。例如，如果个人正在消费新闻报道，并希望了解关于特定主题的更多信息，简单的搜索就可以很容易地产生数百或数千个搜索结果或命中。大量的结果可能包括相似的关键词、主题、名称等，但是绝大部分结果的有用性或价值是有问题的。“智能搜索”可以减少搜索结果的数量，但知道如何进行此类增强的搜索可能是耗时的且是令人困惑的。搜索结果的经管理的选择极大地增强了个人对其所选择的网页的体验。
用于选择和显示的视频的机器学习管理实现了视频操纵。加载网页的内容，其中该内容包括用于多个短视频的框架。针对文本信息分析网页的内容。可以针对视频信息、音频信息等进一步分析网页的内容。访问短视频服务器，其中短视频服务器根据存储和内容分散用于网页的剩余部分。基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频。自动管理包括使用神经网络来挑选适合于网页的多个短视频的子集。利用从短视频服务器获得的多个短视频填充网页上的框架。框架可以包括可水平滚动的框架、网格等。在网页上的框架内显示多个短视频的表示。在框架内播放多个短视频。接收对嵌入在网页上的框架内的行动呼吁的响应。基于来自短视频服务器的对行动呼吁的响应，提供第二多个短视频，其中用于第二多个短视频的标准修改多个短视频的自动管理。在观察到用户的网页行为时，自适应学习可以用于选择短视频。自适应学习实现了用于选择和显示的视频的机器学习管理。自适应学习可以基于用户的网页行为。自适应学习可以包括在选择发生之前收集用户的网页行为，即先前的网页行为。自适应学习可以包括收集用户在网页或与网页相关的网页上的滑动和/或点击。
图1A是视频的机器学习管理的流程图。可以包括短视频在内的视频可以包括各种媒体类型，如新闻视频、娱乐视频、政治消息视频等。短视频可以包括具有几秒、一分钟等的持续时间的视频。视频可以在由个人使用的电子设备上观看。视频可以被包括在网页的附加内容中，其中附加内容可以包括文本和音频。网页可以包括框架。短视频可以存储在视频服务器上，其中视频服务器从网页内容的剩余部分分散。短视频可以从服务器中进行选择，并用于填充由个人正在观看的网页上的框架。由短视频填充的框架可以包括水平取向、竖直取向、网格等。该框架可以以水平取向、以竖直取向和以网格配置滚动。框架内的短视频可以自动播放。
流程100包括加载网页110的内容。网页内容的加载可以使用网络浏览器来完成。网页可以包括由个人选择的网页。网页可以包括来自各种网站的内容，如新闻网站、电子商务网站、政府网站等。网页内容可以包括文本、图像、视频、音频等。文本可以包括字体、字符、表情符号等。视频和音频可以基于各种标准或协议，对于视频为如MPEG-4TM、FlashTM、QuickTimeTM等，并且对于音频为MPEG-3TM、WAVTM、AIFFTM等。被加载的网页的内容可以基于由个人用来观看网页的内容的电子设备。个人可以使用台式计算机、膝上型计算机、平板电脑、智能手机、PDA或其他电子设备来加载网页内容。被加载的网页内容可以基于显示器尺寸、显示器分辨率、由个人配置的下载设置等来确定。在流程100中，内容包括用于多个短视频的框架112。如通篇所讨论，框架可以是可滚动的，并且可以以水平取向、竖直取向或网格取向包括在内。在实施例中，如下所讨论那样，可以将框架添加到现有网页，以便于显示相关的短视频。框架可以被定位在网页内、可以包括网页上的浮动框等。在进一步的实施例中，网页上的框架可以从短视频服务器拉取多个短视频。短视频可以在网页上的框架内显示。
流程100包括针对文本信息120分析网页的内容。分析文本信息可以包括针对一个或多个关键词、一个或多个关键短语等处理文本。文本数据可以包括用户看到的网页上的实际词语。文本数据可以是比SEO元数据等更纯粹的网页内容的表示。分析可以进一步包括对视频信息的分析。视频信息可以包括与视频相关联的关键词；视频内的物体、人或动物等。该分析还可以包括对音频信息的分析。分析音频信息可以包括自然语言处理。流程100进一步包括利用元数据扩充文本信息130。除了分析的结果之外，元数据或“关于数据的数据”还可以提供信息。元数据可以包括时间戳、网页旅程信息(例如，页面访问、所点击的按钮)、用户信息、SEO数据、cookies等。如下讨论的，利用元数据扩充文本信息可以用于基于元数据选择多个短视频。利用元数据进行扩充也可以应用于视频信息和音频信息。流程100进一步包括利用图像信息扩充文本信息132，并基于图像信息选择多个短视频。利用图像信息扩充文本信息可以包括图像描述、关键词或短语；图像内容的描述；等等。流程100进一步包括利用从网页提取的主题扩充文本信息134，其中主题的选择基于元数据与短视频主题信息的排名的关联性。网页主题可以包括由网页传达的外观、风格、情绪或“感觉”。主题可以包括快乐或悲伤、恐怖或激励、呼吁采取动作、娱乐或恼火等。流程100包括访问短视频服务器140。短视频可以包括其持续时间包括几秒钟(如15秒钟)、一分钟等的视频。短视频可以包括用于营销、商业、新闻、政府、教育或其他目的的视频。视频服务器可以包括本地服务器、远程服务器、基于云的服务器、网格服务器等。视频服务器可以包括根据网页内容和再现中涉及的其他计算和存储能力分散的服务器。
流程100包括基于文本信息从短视频服务器选择多个短视频150。多个短视频可以包括两个或更多个视频，其中两个或更多个视频可以包括基本相似的内容。该简短形式可以提供可能一般相关的内容范围，其中一般相关可以包括“新闻”、“娱乐”、“旅行”等。在使用示例中，短视频的选择可以包括各种目的地的旅行视频，如加勒比海的潜水、喜马拉雅山的徒步旅行或澳大利亚的蹦极。在流程100中，选择包括自动管理152多个短视频。管理对短视频的选择可以基于用户偏好、营销消息等。在进一步的实施例中，自动管理可以基于长短期记忆模型，该长短期记忆模型跟踪访问网页的用户的最近行为。由用户的最近行为可以包括访问的网页、进行的菜单选择、点击的按钮等。在实施例中，管理可以使用访问网页的用户的时间加权行为。时间加权行为可以包括由用户在给定网页上花费的时间量、如按钮点击或滚动的动作之间的时间量等。
在流程100中，自动管理包括通过神经网络154选择适合于网页的多个短视频的子集。神经网络可以包括卷积神经网络。在实施例中，神经网络可以基于长短期记忆模型，其中长短期记忆模型可以在递归神经网络上执行。可以使用其他神经网络模型和配置。在实施例中，自动管理可以包括机器学习。机器学习可以在如深度学习神经网络的神经网络上实现。可以使用用于训练神经网络的监督、非监督或半监督技术来实现机器学习。训练神经网络可以包括使用已知良好的数据，这些数据的预期结果已经通过计算、估计、人类专家等确定。在其他实施例中，自动管理基于来自网页的上下文信息来提供视频子集。上下文信息可以包括与网页相关联的关键词、隐藏文本、标签等。上下文信息可以包括网页信息，如网页是否是主页、产品页面、新闻故事页面等。在其他实施例中，上下文信息可以基于来自网页的视频信息。视频信息可以包括视频的类型、视频内容等。
流程100包括使用自适应学习156。自适应学习可以基于用户的网页行为。如通篇所讨论，可以基于如文本信息的标准来选择短视频。选择可以进一步包括短视频的自动管理。在观察到用户的网页行为时，自适应学习可以用于选择短视频。自适应学习实现了用于选择和显示的视频的机器学习管理。自适应学习可以基于用户的网页行为。自适应学习可以包括在选择发生之前收集用户的网页行为，即先前的网页行为。自适应学习可以包括收集用户在网页或与网页相关的网页上的滑动和/或点击。自适应学习可以包括将其他用户的网页行为的历史模式与用户的当前网页行为进行比较。自适应学习可以将用户的网页行为与来自网页的上下文信息进行组合。自适应学习可以包括关于用户的人口统计数据。由用户进行的“选择加入”可以实现关于用户的附加网页行为的收集。附加网页行为的收集可以包括监测用户在附加网站上的网页行为。用户可以因选择加入而获得奖励。
在不脱离所公开的概念的情况下，流程100中的各个步骤可以在顺序方面进行改变、重复、省略等。流程100的各种实施例可以包括在体现在计算机可读介质中的计算机程序产品中，该计算机可读介质包括可由一个或多个处理器执行的代码。
图1B是显示经管理的视频的流程图。流程102包括利用从短视频服务器获得的多个短视频填充网页上的框架160。填充可以包括从服务器获得多个短视频，并将短视频加载到网页上的框架中。流程102包括在网页上的框架内显示多个短视频的表示170。表示可以包括短视频的减小尺寸或“缩略图”版本。可以通过选择或点击视频的表示来观看全尺寸视频。在实施例中，框架可以以线性方式示出多个短视频的表示。框架可以包括水平配置或竖直配置。填充框架的短视频的数量可能不会一次全部可见。框架可以是可滚动的。在其他实施例中，框架可以以网格方式示出多个短视频的表示。网格也可以是可滚动的。
流程102进一步包括在框架内自动播放多个短视频180。一旦框架被填充，自动播放就可以发生。自动播放短视频可以包括自动播放在框架内可见的视频。当在框架内发生滚动时，在框架内变得可见的短视频可以自动播放。当与网页交互的个人将光标移动到框架内的短视频表示上时，可以发生自动播放。流程102进一步包括接收对嵌入在网页上的框架内的行动呼吁190的响应。行动呼吁可以包括敦促观看网页的个人采取一些动作。行动呼吁可以包括签署请愿书、进行购买、订阅时事通讯等。对行动呼吁的响应可以包括按钮点击、数据输入到网络表单中等。流程102还进一步包括基于对行动呼吁的响应，从短视频服务器提供第二多个短视频192。用于第二多个短视频的标准可以用于修改多个短视频的自动管理。第二多个短视频可以包括第一多个短视频的子集、短视频的附加集合、短视频的不同集合等。
在不脱离所公开的概念的情况下，流程102中的各个步骤可以在顺序方面进行改变、重复、省略等。流程102的各种实施例可以包括在体现在计算机可读介质中的计算机程序产品中，该计算机可读介质包括可由一个或多个处理器执行的代码。
图2是带有框架的示例网页。可以在显示器上再现包括框架的网页。框架可以利用基于对网页内分析的文本信息的分析而选择的短视频进行填充。基于用于选择和显示的视频的机器学习管理来选择框架的内容。加载网页的内容，其中该内容包括用于多个短视频的框架。针对文本信息分析网页的内容。访问短视频服务器。基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频。利用从短视频服务器获得的多个短视频填充网页上的框架。在网页上的框架内显示多个短视频的表示。实施例包括在框架内自动播放多个短视频。
示出了具有框架的示例网页200。网页和框架可以被再现在显示器210上，其中显示器可以包括与计算设备(如膝上型计算机或台式计算机等)、个人电子设备(如平板电脑、智能手机或PDA)等相关联的显示器。网页可以包括网页内容220。网页内容可以包括文本、图像、视频剪辑、视频、音频、音频剪辑等。如通篇所讨论，针对文本信息、视频信息、音频信息等来分析网页内容。基于对从网页搜集的信息的分析，选择多个短视频。所选择的短视频可以用于填充包括在网页内容中的框架230。短视频可以包括短视频1 240、短视频2242、短视频3244、短视频4246、短视频5248和短视频6250。虽然示出了六个短视频，但是其他数量的短视频也可以填充网页上的框架。
图3示出了台式计算机/膝上型计算机设备300上的嵌入式视频。各种网页浏览器可以用于在如膝上型计算机、台式计算机等电子设备上显示网页。被显示的网页可以包括框架，该框架可以利用从短视频服务器选择的多个短视频中选择的短视频进行填充。框架内的短视频可以被管理，其中管理基于与视频选择相关的机器学习。
网页和包括在网页中的框架可以在如膝上型计算机、台式计算机等用户设备上显示。例如，在给定显示在膝上型计算机上的网页以水平取向再现的情况下，网页内的框架也可以以水平取向再现。回想一下，从短视频服务器中选择多个短视频，并且利用所选择的短视频填充网页内的框架。为了访问框架内表示的短视频，用户可以在框架内水平滚动310。当用户向下滚动网页时，可以支持框架内的水平滚动。即使在文章312或网页的其他网页内容的底部，水平滚动框架也保持可见。其他配置技术可以用于网页内的框架。在实施例中，网格314可以用于显示从短视频服务器中选择的多个短视频的表示，并且将其用于填充网页内的框架。
视频播放器可以用于播放短视频或由用户选择的其他视频。视频播放器可以包括MPEG-4TM播放器、FlashTM播放器、QuickTimeTM播放器等。视频播放器可以用于以各种配置播放所选择的短视频。在实施例中，其中视频播放器播放短视频的配置可以包括竖直320或纵向配置或取向。由用户选择用于播放的所选择的短视频可以被放大、缩放、裁剪等，以便在竖直配置内适应。在其他实施例中，用于播放短视频的配置可以包括水平322或横向配置。水平配置可以包括各种纵横比，包括常见的纵横比，如4∶3、16∶9等。在进一步的实施例中，用于播放短视频的配置可以包括方形324配置。方形配置可以通过放大、缩放、裁剪短视频等实现。
图4示出了移动设备上的嵌入式视频。可以使用移动设备来访问网页，在该网页上可以显示包括所选择的短视频的表示的框架。显示短视频可以基于用于选择和显示的视频的机器学习管理。加载网页的内容。该内容包括用于多个短视频的框架。针对文本信息分析网页的内容。访问短视频服务器。基于文本信息从短视频服务器中选择多个短视频。选择包括自动管理多个短视频。利用从短视频服务器获得的多个短视频填充网页上的框架，并且在网页上的框架内显示多个短视频的表示。
示出了在移动设备上显示的嵌入式视频的示例400。网页的内容(其中该内容包括框架)可以包括水平滚动410。水平滚动可以包括在从短视频服务器中选择并显示在框架内的视频中水平滚动。水平滚动可以包括向左滑动、向右滑动等以找到期望的短视频。然后可以通过轻击短视频的表示来选择或播放短视频。实现在所选择的视频的表示之间水平滚动的框架可以持续存在，而不管用户正在网页上的何处与网页内容进行交互。在412中，用户已经滚动到网页上的网页内容的末尾。注意，仍然显示实现在所选择的短视频之间水平滚动的框架。可以包括其他的框架配置。在实施例中，框架可以在网格414中显示所选择的短视频的表示。网格可以水平和竖直地实现滚动。
用户可以通过运行视频播放器来观看所选择的短视频。视频播放器可以包括可以安装在电子设备上的视频播放器应用程序。视频播放器可以以各种取向播放所选择的短视频。这些取向可以包括由网页的开发者编码的取向、电子设备的取向、由用户选择的取向等。在实施例中，视频播放器可以在竖直方向420上播放短视频。可以对短视频进行缩放、裁剪等，以适应竖直方向。在其他实施例中，视频播放器可以在水平取向422上播放短视频。水平取向可以包括各种显示比例，如4∶3、16∶9、“信箱式”等。至于竖直取向，视频播放器可以对短视频进行缩放、裁剪、调节等，以便在水平取向上进行显示。在进一步的实施例中，视频播放器可以以方形配置424播放短视频。短视频可以被缩放和裁剪，以使短视频适合方形配置。方形配置可以用于最大化短视频的中心，以便于观看短视频。
图5是与源500通信的网页的框图。网页和源之间的通信实现了用于选择和显示的视频的机器学习管理。加载网页的内容，其中该内容包括用于多个短视频的框架。针对文本信息分析网页内容，并访问短视频服务器。基于文本信息从短视频服务器中选择多个短视频，其中选择包括自动管理多个短视频。利用从短视频服务器获得的多个短视频填充网页上的框架。在网页上的框架内显示多个短视频的表示。
如通篇所述，可以从由短视频服务器托管的多个短视频中选择短视频。选择可以基于由用户访问的网页。网页可以包括可以由用户观看的多个网页中的一个。基于网页的分析，短视频从服务器中选择，并被显示在由用户观看的网页上。用户可以使用电子设备510访问网页。电子设备可以包括台式计算机或膝上型计算机、平板电脑或智能手机、个人数字助理(PDA)等。电子设备联接到显示器512，在该显示器上可以再现网页514。网页上的框架516利用如视频1 518、视频N 520等视频进行填充。虽然示出了两个视频，但是可以在框架内填充其他数量的视频。电子设备可以与网页内容检测器530通信。电子设备和网页内容检测器之间的通信可以使用如无线通信信道532的通信信道来完成。网页内容检测器可以针对文本信息分析网页。可以通过搜索网页上的文本来检测文本信息。此外，网页标签、隐藏文本等可以扩充文本信息。可以基于对来自网页的音频数据的自然语言分析来检测文本信息。网页内容检测器可以由人工智能(AI)引擎540控制。可以基于如卷积神经网络或递归神经网络的神经网络的AI引擎可以用于管理一个或多个短视频的选择或挑选。被选择的短视频可以用于填充网页514内的框架516。AI引擎540可以包括自适应学习542。目前描述的自适应学习可以嵌入在AI引擎540中，或者可以以分布式方式实施。
网页内容检测器530可以访问短视频服务器550。短视频服务器可以根据与网页相关的其他计算和存储能力分散。短视频服务器可以经由通信信道552与电子设备通信，其中通信信道可以包括无线通信信道。短视频服务器可以提供多个短视频。短视频可以从短视频数据存储554中选择。短视频数据存储可以包括分散式存储。由短视频服务器选择的短视频可以用于填充电子设备510上的框架516。短视频的表示可以显示在网页上的框架内，其中显示可以包括自动播放短视频。
图6是用于自适应学习使用的流程图。如通篇所讨论，可以基于如文本信息的标准来选择短视频。选择可以进一步包括短视频的自动管理。在观察到用户的网页行为时，自适应学习可以用于选择短视频。自适应学习实现了用于选择和显示的视频的机器学习管理。加载网页的内容，其中该内容包括用于多个短视频的框架。针对文本信息分析网页的内容。访问短视频服务器。基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频。利用从短视频服务器获得的多个短视频填充网页上的框架。在网页上的框架内显示多个短视频的表示。
流程600包括使用自适应学习610进行选择。自适应学习可用于调节用户对短视频的选择。自适应学习可以包括由用户进行的选择、访问的网站、观看的内容等。自适应学习可以基于由用户呈现的偏好、用户标识(ID)等。在流程600中，自适应学习包括在选择之前收集用户的网页行为612。用户的网页行为可以包括访问的网站、选择的菜单项、点击的单选按钮等。网站行为可以用于推断用户偏好。在使用示例中，网站行为可以用于确定用户对包含狗而不是猫的短视频的偏好、荒岛上的山景、死亡金属狂潮上的巴洛克弦乐四重奏等。在选择之前，可以观察用户行为以进行自适应学习。用户行为可以基于一定时间量(如一小时、一天、一周、自订阅网络服务或启用应用程序以来的时间等)内的过去使用。对于单个页面，对于如新闻页面或娱乐页面等的网页类型，用户行为可以基于观看的内容、选择的菜单、按下的单选按钮等。用户行为可以基于多个网页上的内容或选择。
在流程600中，自适应学习包括收集用户在网页上的滑动和/或点击620。由用户执行的一个或多个滑动可以包括向上、向下、向左或向右滑动；以顺时针或逆时针旋转运动滑动等。一个或多个滑动可以实现选择或取消选择、批准或不批准、移动通过如选项列表的列表等。一个或多个点击可以包括使用人手指触摸或按压触摸屏、使用鼠标或触控板等点击对象、单选按钮、菜单选择等。在流程600中，自适应学习包括收集用户在与网页相关622的网页上的滑动和/或点击。可以与该网页相关的网页可以包括通过该网页可访问的网页；提供类似内容的网页，如新闻源、购物站点或社交网络；提供类似短视频(如可爱的小狗或小猫视频、动画音乐视频(AMV)等)的网页。
在流程600中，自适应学习包括将其他用户的网页行为的历史模式与用户的网页行为进行比较630。用户的网页行为与其他用户的历史模式的比较对于预测用户可能想要访问的站点、如与用户访问网页的目的相关的短视频等的内容是有用的。其他用户可以是该用户的朋友或以其他方式与该用户相关联、其他用户的选择等。在流程600中，自适应学习将用户的网页行为与来自网页的上下文信息640组合。上下文信息可以包括用户正在与其交互的网页的一部分或区域、一天中的时间、一周中的某一天等。上下文信息可以实现用于选择和显示的视频(如短视频)的管理。上下文信息可以包括当前事件、流行模因等。
在流程600中，自适应学习包括关于用户的人口统计数据650。人口统计数据可以包括与用户相关联的信息，如年龄、性别或性别身份、种族、民族、宗教信仰(如果有的话)等。人口统计数据可以包括社会经济信息，如就业状况、教育水平、收入水平、婚姻或家庭伴侣状态等。人口统计数据可以进一步包括更一般的数据，如居住的州、地区或国家。人口统计数据可以实现基于适当的管理来选择视频，如选择适合年龄的材料、适合文化的材料等。流程600进一步包括由用户660选择加入以收集附加网页行为。可以通过登记、提供用户凭据、单击按钮、选中框等方式来实现选择加入。选择加入可以用于收集研究数据、增强用户体验等。在流程600中，附加网页行为包括监测662用户在附加网站上的网页行为。附加网站可以包括与该网站相关联的网站、联接到该网站或该网站可访问的网站等。附加网站可以包括由用户随机访问的网站。流程600进一步包括因选择加入而奖励用户664。对用户的奖励可以包括补偿用户，如在第一次购买时提供折扣、向用户付费、分配可用于访问如短视频的视频的用户信用、贷记区块链息票等。
图7是用于视频操纵的系统图。视频操纵是基于用于选择和显示的视频的机器学习管理。系统700可以包括附接到存储指令的存储器712的一个或多个处理器710。系统700可以包括联接到一个或多个处理器710的显示器714，该显示器用于显示数据、视频、中间步骤、指令、短视频等。在实施例中，一个或多个处理器710附接到存储器712，其中一个或多个处理器在执行所存储的指令时被配置为：加载网页的内容，其中内容包括用于多个短视频的框架；针对文本信息分析网页的内容；访问短视频服务器；基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频；利用从短视频服务器获得的多个短视频填充网页上的框架；以及在网页上的框架内显示多个短视频的表示。
系统700可以包括视频和数据720的集合。视频和数据720可以存储在存储装置中，如联接到一个或多个处理器的电子存储装置、数据库、一个或多个静态链接库、一个或多个动态链接库或其他适当的视频或数据格式。视频可以包括短视频。短视频可以包括能够以包括几秒、若干秒、一分钟等的时间量显示的视频。短视频可以快速有效地向短视频的观看者传达内容。短视频可以呈现故事、广告、政治消息等。短视频可以包括来自多个视频当中的视频，其中这些视频可以包括大范围或各种各样的内容。如下所讨论那样，数据可以包括文本信息或可以与网页相关联的数据。可以利用图像信息、主题等来扩充文本信息。系统700可以包括加载组件730。加载组件730可以包括用于加载网页的内容的功能和指令。内容可以包括框架，如网页内的框架。框架可以用于多个短视频。在实施例中，框架可以被添加到现有网页。实施例可以包括接收对嵌入在网页上的框架内的行动呼吁的响应。行动呼吁可以包括“单击此处”、“立即注册”、“立即购买”等。行动呼吁可以包括注册、金融活动、政治动作等。
系统700可以包括分析组件740。分析组件740可以包括用于针对文本信息分析网页的内容的功能和指令。文本信息可以包括横幅广告文本、标题文本、内容文本、隐藏文本等。文本信息可以包括与图像、视频、GIF等相关联的文本。文本信息可以包括赞助商名称或信息、网页所有权或责任名称或信息等。系统700可以包括访问组件750。访问组件750可以包括用于访问短视频服务器的功能和指令。短视频服务器可以包括本地服务器、基于云的服务器、网格服务器等。可通过视频服务器访问的短视频可以包括广告视频、社交视频、新闻和信息视频、政治消息视频等。可通过短视频服务器访问的短视频可以包括各种视频格式的视频，如MPEG-4TM、FlashTM、QuickTimeTM等。
系统700可以包括选择组件760。选择组件760可以包括用于基于文本信息从短视频服务器选择多个短视频的功能和指令。选择包括自动管理多个短视频。选择可以包括选择包括基本相似的内容、基本不相似的内容等的短视频。选择可以包括用户的网页行为的自适应学习。实施例包括利用元数据扩充文本信息，并基于元数据执行选择多个短视频。元数据或“关于数据的数据”可以包括一天中的时间、一周中的某一天或某个其他时间段。元数据可以基于推断关于用户的人口统计数据、从用户简档获得数据、确定网页历史等。其他实施例包括利用图像信息扩充文本信息，并基于图像信息执行选择多个短视频。图像信息可以包括图像内容信息，如它是否包含广告、娱乐或政治消息。图像内容可以包括环境信息，如城市或农村；发达或不发达；海洋或山脉；动物，如狗、猫或野生生物；白天或夜间等。进一步的实施例包括利用从网页提取的主题扩充文本信息，其中选择基于对元数据与短视频主题信息的关联性进行排名。网页主题可以包括由网页传达的外观、风格或“感觉”。主题可以包括快乐或悲伤、恐怖或激励、娱乐或恼火等。来自给定网页的元数据可以与来自一个或多个其他网页的元数据进行比较或与其相关联。
多个短视频的自动管理可以通过选择短视频来完成。选择短视频可以基于“脚本”、预定策略、广告活动、政治消息等。在实施例中，自动管理包括通过神经网络选择适合于网页的多个短视频的子集。神经网络可以用于推断对短视频的适当选择、预测适当选择等。神经网络可以包括卷积神经网络、递归神经网络等。在实施例中，自动管理包括机器学习。机器学习可以包括利用训练数据集训练神经网络，其中训练数据集包括已知的好数据和基于该数据的预期结果。机器学习可以包括深度学习，并且可以基于无监督学习、监督学习等。在其他实施例中，自动管理可以基于来自网页的上下文信息来提供子集。来自网站的上下文信息可以包括网站的类型，如新闻网站、娱乐网站、电子商务网站等。在实施例中，上下文信息可以基于对来自网页的音频信息的自然语言处理。音频信息可以是当用户第一次访问网站时提供的音频信息、由用户基于菜单选择或按钮点击导航网站而产生的音频信息等。在进一步的实施例中，上下文信息可以基于来自网页的视频信息。视频信息可以由网站提供、由用户选择等。在其他实施例中，自动管理可以基于长短期记忆模型，该长短期记忆模型跟踪访问网页的用户的最近行为。长短期记忆模型可以在递归神经网络上实施。长短期记忆模型可以处理单个数据点(如一个或多个图像)、数据序列(如音频或视频)等。在实施例中，管理使用访问网页的用户的时间加权行为。时间加权行为可以包括在网页、视频、音频等上花费的时间量。时间加权行为可以基于按钮点击或菜单选择的频率、按钮点击或菜单选择之间的时间量等。
系统700可以包括填充组件770。填充组件770可以包括用于利用从短视频服务器获得的多个短视频来填充网页上的框架的功能和指令。框架可以以水平取向、竖直取向、矩阵配置等来配置。在实施例中，利用短视频进行填充的框架可以被添加到现有网页，以便于相关短视频的显示。系统700可以包括显示组件780。显示组件780可以包括用于在网页上的框架内显示多个短视频的表示的功能和指令。显示表示可以包括重新确定短视频的大小以在用户配置的网页宽度或高度内适合。显示表示可以基于正在由用户使用的设备，如膝上型计算机、平板电脑或智能手机。实施例包括在框架内自动播放多个短视频。自动播放短视频可以包括循环播放短视频的一部分、播放整个视频等。显示组件780可以包括沉浸式观看体验。虽然常规视频观看指的是简单地盯着显示短视频的移动设备，但是视频观看可以被转换成交互式和参与性的体验。沉浸式观看体验使用户能够在看视频的同时旋转、移动和倾斜用于观看视频的移动设备。因此，此类沉浸式观看体验不再是使用全景/球形视频录制的视频或使用VR(虚拟现实)设备观看的视频独有的。具体而言，可以限定良好/平滑的观看体验，其中视频保持在界限内(用户不能看到视频之外，这导致不期望的部分黑屏)，用户可以仅在必要时放大(以使用户能够尽可能多地观看视频)，提供稳定的视图(以避免旋转或倾斜时的剧烈移动或缩放)，提供智能视图(当仅视频的部分视图可见时，如果可能的话显示重要部分)；并且保证了视频质量(在观看的每个角度/倾斜中)。
系统700可以包括体现在计算机可读介质中用于视频操纵的计算机程序产品，该计算机程序产品包括使得一个或多个处理器执行以下操作的代码：加载网页的内容，其中内容包括用于多个短视频的框架；针对文本信息分析网页的内容；访问短视频服务器；基于文本信息从短视频服务器选择多个短视频，其中选择包括自动管理多个短视频；利用从短视频服务器获得的多个短视频填充网页上的框架；以及在网页上的框架内显示多个短视频的表示。
以上方法中的每一种可以在一个或多个计算机系统上的一个或多个处理器上执行。实施例可以包括各种形式的分布式计算、客户端/服务器计算和基于云的计算。进一步地，将理解的是，包含在本公开的流程图中的所描绘的步骤或框仅仅是说明性和解释性的。在不脱离本公开的范围的情况下，可以修改、省略、重复或重新排序这些步骤。进一步地，每个步骤可以包含一个或多个子步骤。虽然前述附图和描述阐述了所公开的系统的功能方面，但是除非明确陈述或者从上下文中清楚，否则不应该从这些描述中推断出软件和/或硬件的特定实施或布置。软件和/或硬件的所有此类布置都旨在落入本公开的范围内。
框图和流程图描绘了方法、装置、系统和计算机程序产品。框图和流程图中的元件和元件组合示出了方法、装置、系统、计算机程序产品和/或计算机实施的方法的功能、步骤或步骤群组。任何和所有此类功能——在本文中一般称为“电路”、“模块”或“系统”——可以通过计算机程序指令由基于专用硬件的计算机系统、由专用硬件和计算机指令的组合、由通用硬件和计算机指令的组合等来实施。
执行以上提及的计算机程序产品或计算机实施的方法中的任何一者的可编程装置可以包括一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器、可编程器件、可编程门阵列、可编程阵列逻辑、存储器件、专用集成电路等。每一个可以被适当地采用或配置来处理计算机程序指令、执行计算机逻辑、存储计算机数据等。
应当理解的是，计算机可以包括来自计算机可读存储介质的计算机程序产品，并且该介质可以是内部的或外部的、可移动的和可替换的或者固定的。此外，计算机可以包括有可以包括本文描述的软件和硬件、与其对接或支持其的基本输入/输出系统(BIOS)、固件、操作系统、数据库等。
本发明的实施例既不局限于常规计算机应用，也不局限于运行它们的可编程装置。作为说明，当前要求保护的发明的实施例可以包括光学计算机、量子计算机、模拟计算机等。计算机程序可以被加载到计算机上，以产生可以执行所描述的功能中的任何一个和全部的特定机器。该特定机器提供了用于实行所描绘的功能中的任何一个和全部的手段。
可以利用一个或多个计算机可读介质的任意组合，包括但不限于：用于存储的非暂时性计算机可读介质；电子、磁、光、电磁、红外或半导体计算机可读存储介质或前述介质的任何合适组合；便携式计算机磁盘；硬盘；随机存取存储器(RAM)；只读存储器(ROM)、可擦除可编程只读存储器(EPROM、闪存、MRAM、FeRAM或相变存储器)；光纤；便携式光盘；光学存储设备；磁性存储设备；或者前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储用于由指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。
应当理解的是，计算机程序指令可以包括计算机可执行代码。用于表达计算机程序指令的各种语言可以包括但不限于C、C++、Java、JavaScriptTM、ActionScriptTM、汇编语言、Lisp、Perl、Tcl、Python、Ruby、硬件描述语言、数据库编程语言、函数式编程语言、命令式编程语言等。在实施例中，计算机程序指令可以被存储、编译或解释为在计算机、可编程数据处理装置、处理器或处理器架构的异构组合等上运行。非限制性地，本发明的实施例可以采取基于网页的计算机软件的形式，其包括客户端/服务器软件、软件即服务、对等软件等。
在实施例中，计算机可以实现包括多个程序或线程的计算机程序指令的执行。可以近似同时地处理多个程序或线程，以提高处理器的利用率并促进基本上同时的功能。作为实施方式，本文描述的任何和所有方法、程序代码、程序指令等可以在一个或多个线程中实施，该一个或多个线程又可以产生其他线程，这些线程本身可以具有与其相关联的优先级。在一些实施例中，计算机可以基于优先级或其他顺序来处理这些线程。
除非明确说明或从上下文中清楚，动词“执行”和“处理”可以互换使用，以指示执行、处理、解释、编译、汇编、链接、加载或前述的组合。因此，执行或处理计算机程序指令、计算机可执行代码等的实施例可以以所描述方式中的任何和全部对指令或代码进行操作。进一步地，所示的方法步骤旨在包括使一方或多方或实体执行这些步骤的任何合适的方法。执行步骤或步骤的一部分的各方不需要位于特定的地理位置或国家边界内。例如，如果位于美国境内的实体导致方法步骤或其一部分在美国境外执行，则该方法被认为是由于因果实体而在美国执行的。
虽然已经结合详细示出和描述的优选实施例公开了本发明，但是对本领域技术人员来说，各种修改和改进将变得显而易见。因此，前述示例不应限制本发明的精神和范围；相反，它应该在法律所允许的最广泛的意义上被理解。

Claims (46)

1.一种用于视频操纵的计算机实施的方法，其包括：
加载网页的内容，其中所述内容包括用于多个短视频的框架；
针对文本信息分析所述网页的所述内容；
访问短视频服务器；
基于所述文本信息从所述短视频服务器中选择多个短视频，其中所述选择包括自动管理所述多个短视频；
利用从所述短视频服务器获得的所述多个短视频填充所述网页上的所述框架；以及
在所述网页上的所述框架内显示所述多个短视频的表示。
2.根据权利要求1所述的方法，其中所述自动管理包括通过神经网络选择适合于所述网页的所述多个短视频的子集。
3.根据权利要求2所述的方法，其中所述自动管理包括机器学习。
4.根据权利要求2所述的方法，其中所述自动管理基于来自所述网页的上下文信息提供所述视频子集。
5.根据权利要求4所述的方法，其中所述上下文信息基于对来自所述网页的音频信息的自然语言处理。
6.根据权利要求4所述的方法，其中所述上下文信息基于来自所述网页的视频信息。
7.根据权利要求1所述的方法，其中所述自动管理基于长短期记忆模型，所述长短期记忆模型跟踪访问所述网页的用户的最近行为。
8.根据权利要求1所述的方法，其中所述管理使用访问所述网页的用户的时间加权行为。
9.根据权利要求1所述的方法，其中所述框架被添加到现有网页，以便于显示相关的短视频。
10.根据权利要求1所述的方法，其中所述网页上的所述框架从所述短视频服务器中拉出所述多个短视频。
11.根据权利要求1所述的方法，其进一步包括利用元数据扩充所述文本信息，并基于所述元数据执行所述选择所述多个短视频。
12.根据权利要求11所述的方法，其进一步包括利用图像信息扩充所述文本信息，并基于所述图像信息执行所述选择所述多个短视频。
13.根据权利要求11所述的方法，其进一步包括利用从所述网页提取的主题扩充所述文本信息，并且其中所述选择基于对元数据与短视频主题信息的关联性进行排名。
14.根据权利要求1所述的方法，其进一步包括在所述框架内自动播放所述多个短视频。
15.根据权利要求1所述的方法，其进一步包括接收对嵌入在所述网页上的所述框架内的行动呼吁的响应。
16.根据权利要求15所述的方法，其进一步包括基于对所述行动呼吁的所述响应，从所述短视频服务器提供第二多个短视频，其中用于所述第二多个短视频的标准修改所述多个短视频的所述自动管理。
17.根据权利要求1所述的方法，其中所述框架以线性方式示出所述多个短视频的表示。
18.根据权利要求1所述的方法，其中所述框架以网格方式示出所述多个短视频的表示。
19.根据权利要求1所述的方法，其进一步包括基于用户的网页行为使用自适应学习进行所述选择。
20.根据权利要求19所述的方法，其中所述自适应学习包括在所述选择之前收集所述用户的网页行为。
21.根据权利要求19所述的方法，其中所述自适应学习包括收集所述用户在所述网页上的滑动和/或点击。
22.根据权利要求21所述的方法，其中所述自适应学习包括收集所述用户在与所述网页相关的网页上的滑动和/或点击。
23.根据权利要求19所述的方法，其中所述自适应学习包括将其他用户的网页行为的历史模式与所述用户的网页行为进行比较。
24.根据权利要求19所述的方法，其中所述自适应学习将所述用户的网页行为与来自所述网页的上下文信息进行组合。
25.根据权利要求19所述的方法，其中所述自适应学习包括关于所述用户的人口统计数据。
26.根据权利要求19所述的方法，其进一步包括由所述用户进行的选择加入以收集附加网页行为。
27.根据权利要求26所述的方法，其中所述附加网页行为包括监测所述用户在附加网站上的网页行为。
28.根据权利要求26所述的方法，其进一步包括因选择加入而奖励所述用户。
29.一种体现在计算机可读介质中用于视频操纵的计算机程序产品，所述计算机程序产品包括使一个或多个处理器执行以下操作的代码：
加载网页的内容，其中所述内容包括用于多个短视频的框架；
针对文本信息分析所述网页的所述内容；
访问短视频服务器；
基于所述文本信息从所述短视频服务器中选择多个短视频，其中所述选择包括自动管理所述多个短视频；
利用从所述短视频服务器获得的所述多个短视频填充所述网页上的所述框架；以及
在所述网页上的所述框架内显示所述多个短视频的表示。
30.根据权利要求29所述的计算机程序产品，其中所述自动管理包括通过神经网络选择适合于所述网页的所述多个短视频的子集。
31.根据权利要求30所述的计算机程序产品，其中所述自动管理包括机器学习。
32.根据权利要求30所述的计算机程序产品，其中所述自动管理基于来自所述网页的上下文信息提供所述视频子集。
33.根据权利要求32所述的计算机程序产品，其中所述上下文信息基于对来自所述网页的音频信息的自然语言处理。
34.根据权利要求32所述的计算机程序产品，其中所述上下文信息基于来自所述网页的视频信息。
35.根据权利要求29所述的计算机程序产品，其中所述自动管理基于长短期记忆模型，所述长短期记忆模型跟踪访问所述网页的用户的最近行为。
36.根据权利要求29所述的计算机程序产品，其中所述管理使用访问所述网页的用户的时间加权行为。
37.根据权利要求29所述的计算机程序产品，其进一步包括用于基于用户的网页行为使用自适应学习进行所述选择的代码。
38.一种用于视频操纵的计算机系统，其包括：
存储器，所述存储器存储指令；
附接到所述存储器的一个或多个处理器，其中所述一个或多个处理器在执行所存储的所述指令时被配置成为：
加载网页的内容，其中所述内容包括用于多个短视频的框架；
针对文本信息分析所述网页的所述内容；
访问短视频服务器；
基于所述文本信息从所述短视频服务器中选择多个短视频，其中所述选择包括自动管理所述多个短视频；
利用从所述短视频服务器获得的所述多个短视频填充所述网页上的所述框架；以及
在所述网页上的所述框架内显示所述多个短视频的表示。
39.根据权利要求38所述的计算机系统，其中所述自动管理包括通过神经网络选择适合于所述网页的所述多个短视频的子集。
40.根据权利要求39所述的计算机系统，其中所述自动管理包括机器学习。
41.根据权利要求39所述的计算机系统，其中所述自动管理基于来自所述网页的上下文信息提供所述视频子集。
42.根据权利要求41所述的计算机系统，其中所述上下文信息基于对来自所述网页的音频信息的自然语言处理。
43.根据权利要求41所述的计算机系统，其中所述上下文信息基于来自所述网页的视频信息。
44.根据权利要求38所述的计算机系统，其中所述自动管理基于长短期记忆模型，所述长短期记忆模型跟踪访问所述网页的用户的最近行为。
45.根据权利要求38所述的计算机系统，其中所述管理使用访问所述网页的用户的时间加权行为。
46.根据权利要求38所述的计算机系统，其进一步被配置为基于用户的网页行为使用自适应学习进行所述选择。
CN202180012538.2A 2020-02-05 2021-02-04 用于选择和显示的视频的机器学习管理 Pending CN115152242A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062970364P 2020-02-05 2020-02-05
US62/970,364 2020-02-05
US202063086077P 2020-10-01 2020-10-01
US63/086,077 2020-10-01
PCT/US2021/016505 WO2021158719A1 (en) 2020-02-05 2021-02-04 Machine learned curating of videos for selection and display

Publications (1)

Publication Number Publication Date
CN115152242A true CN115152242A (zh) 2022-10-04

Family

ID=77062130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012538.2A Pending CN115152242A (zh) 2020-02-05 2021-02-04 用于选择和显示的视频的机器学习管理

Country Status (5)

Country Link
US (1) US11880423B2 (zh)
EP (1) EP4101176A4 (zh)
JP (1) JP2023513095A (zh)
CN (1) CN115152242A (zh)
WO (1) WO2021158719A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381853B1 (en) * 2021-01-28 2022-07-05 Meta Platforms, Inc. Systems and methods for generating and distributing content for consumption surfaces
WO2024081178A1 (en) * 2022-10-10 2024-04-18 Loop Now Technologies, Inc. Dynamic population of contextually relevant videos in an ecommerce environment

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069414A (en) 1961-06-09 1962-12-18 Ruggieri Pietro De 3-hydrazone steroids of the androstane and estrane series and derivatives thereof
US8069414B2 (en) 2007-07-18 2011-11-29 Google Inc. Embedded video player
US9824372B1 (en) 2008-02-11 2017-11-21 Google Llc Associating advertisements with videos
US8504426B2 (en) * 2008-05-08 2013-08-06 Ingenio Llc Systems and methods to connect people via videos for real time communications
KR20100070060A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 촬상 장치, 촬상 방법 및 프로그램
US8244707B2 (en) 2010-01-15 2012-08-14 Hulu Llc Method and apparatus for providing supplemental video content for third party websites
US8918330B1 (en) 2010-01-20 2014-12-23 Google Inc. Display of videos based on referrers
WO2011105992A1 (en) 2010-02-24 2011-09-01 Thomson Licensing Subtitling for stereoscopic images
US9076041B2 (en) * 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9118712B2 (en) 2010-12-30 2015-08-25 Everis, Inc. Network communication system with improved security
US8533754B2 (en) 2011-06-03 2013-09-10 Limelight Networks, Inc. Embedded video player with modular ad processing
US20130246141A1 (en) 2011-06-22 2013-09-19 Michael A. Liberty Disruptively priced or free financial services or items in exchange for participation in opt in advertising
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9569097B2 (en) 2011-12-01 2017-02-14 Microsoft Technology Licesing, LLC Video streaming in a web browser
US8682809B2 (en) 2012-04-18 2014-03-25 Scorpcast, Llc System and methods for providing user generated video reviews
US9237367B2 (en) 2013-01-28 2016-01-12 Rhythmone, Llc Interactive video advertisement in a mobile browser
US20150195175A1 (en) 2014-01-06 2015-07-09 Safe Frontier Llc Method and apparatus for providing remote support for an embedded system
US20150213516A1 (en) 2014-01-25 2015-07-30 Leo Jeremias Computer system for displaying video ads on web pages
US9710546B2 (en) * 2014-03-28 2017-07-18 Microsoft Technology Licensing, Llc Explicit signals personalized search
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
CN104731959B (zh) * 2015-04-03 2017-10-17 北京威扬科技有限公司 基于文本的网页内容生成视频摘要的方法、装置及系统
AU2016249106A1 (en) * 2015-04-16 2017-11-02 W.S.C. Sports Technologies Ltd. System and method for creating and distributing multimedia content
US20170109584A1 (en) * 2015-10-20 2017-04-20 Microsoft Technology Licensing, Llc Video Highlight Detection with Pairwise Deep Ranking
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
US10033686B2 (en) * 2016-05-23 2018-07-24 Oath Inc. Computerized system and method for automatically creating and communicating media streams of digital content
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
EP3475848B1 (en) 2016-09-05 2019-11-27 Google LLC Generating theme-based videos
US9785717B1 (en) 2016-09-29 2017-10-10 International Business Machines Corporation Intent based search result interaction
US10958890B2 (en) 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
WO2019178582A1 (en) 2018-03-16 2019-09-19 Turbine Corporate Holdings, Inc. Contextual content collection, filtering, enrichment, curation and distribution
US11093644B2 (en) * 2019-05-14 2021-08-17 Google Llc Automatically detecting unauthorized re-identification
US11281717B2 (en) * 2019-09-23 2022-03-22 Adobe Inc. Customized selection of video thumbnails to present on social media webpages
US11636313B2 (en) * 2019-12-03 2023-04-25 Sap Se Recommendation system based on neural network models to improve efficiencies in interacting with e-commerce platforms

Also Published As

Publication number Publication date
EP4101176A1 (en) 2022-12-14
EP4101176A4 (en) 2024-02-07
US11880423B2 (en) 2024-01-23
WO2021158719A1 (en) 2021-08-12
JP2023513095A (ja) 2023-03-30
US20210240794A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11012753B2 (en) Computerized system and method for determining media based on selected motion video inputs
US10645142B2 (en) Video keyframes display on online social networks
CN110781321B (zh) 一种多媒体内容推荐方法及装置
US9712587B1 (en) Identifying and rendering content relevant to a user's current mental state and context
US8296660B2 (en) Content recommendation using third party profiles
RU2725659C2 (ru) Способ и система для оценивания данных о взаимодействиях пользователь-элемент
CN107430630A (zh) 用于聚集和呈现与特定视频游戏相关的内容的方法、系统和介质
CN111818370B (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
US10846517B1 (en) Content modification via emotion detection
US20220382814A1 (en) Systems and Methods for Generating Real-Time Recommendations
US10620801B1 (en) Generation and presentation of interactive information cards for a video
WO2020215977A1 (zh) 用于展示信息的系统、方法及装置
US11880423B2 (en) Machine learned curating of videos for selection and display
CN116821475A (zh) 基于客户数据的视频推荐方法、装置及计算机设备
Yoon et al. What content and context factors lead to selection of a video clip? The heuristic route perspective
CN112533050B (zh) 一种视频处理方法、装置、设备及介质
CN114611023A (zh) 搜索结果的显示方法、装置、设备、介质及程序产品
US20220317866A1 (en) Inline frame based video rendering within browser
US20240161176A1 (en) Cluster-based dynamic content with multi-dimensional vectors
Haugen Mobile News: Design, User Experience and Recommendation
JP2024514484A (ja) ブラウザ内のインラインフレームベースの動画のレンダリング
WO2022256986A1 (en) Systems and methods for generating enquiries and responses based on application metadata
US20230336845A1 (en) System and a method for generating and distributing multimedia content
Constantinides Interaction-driven User Interface Personalisation for Mobile News Systems
WO2021030147A1 (en) Systems and methods for pushing content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40076429

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination