CN110019934A - 识别视频的相关性 - Google Patents

识别视频的相关性 Download PDF

Info

Publication number
CN110019934A
CN110019934A CN201811103162.2A CN201811103162A CN110019934A CN 110019934 A CN110019934 A CN 110019934A CN 201811103162 A CN201811103162 A CN 201811103162A CN 110019934 A CN110019934 A CN 110019934A
Authority
CN
China
Prior art keywords
video
text
user
instruction
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811103162.2A
Other languages
English (en)
Other versions
CN110019934B (zh
Inventor
A.萨哈斯拉布德
C.吴
李鹏飞
J.L.舍尔曼-普雷泽
M.伯什泰恩
S.阿夫萨
Y.李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110019934A publication Critical patent/CN110019934A/zh
Application granted granted Critical
Publication of CN110019934B publication Critical patent/CN110019934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文公开了用于识别视频的相关性的技术。在一些实施例中,计算机实现的方法包括:使视频在用户的设备上播放;从设备接收与另一用户分享视频的指令,该指令对应于视频中的时间点;基于时间点识别视频的转录本中的文本;使所识别文本基于分享视频的指令在设备上显示;从设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令,用户批准文本包括所识别文本的至少一部分;并使用户批准文本基于分享和包括的指令而与视频相关联地在其他用户的设备上显示。

Description

识别视频的相关性
技术领域
本申请总体涉及修改视频的呈现,并且在一个具体示例中,涉及识别视频的相关性的方法和系统。
背景技术
视频是用于传达信息的强大媒介。然而,特定视频与用户的相关性对于该用户来说并不总是明显的,特别是当视频持续时间长时。在涉及长视频的情况下,即使视频中存在与用户相关的事物,也通常存在与用户无关的视频部分。因此,用户播放视频的不相关部分以试图找到一个或多个相关部分。结果,过度消耗了电子资源(例如,传输视频的网络带宽、播放视频的设备的电池)。
附图说明
本公开的一些实施例通过示例而非限制的方式在附图的图中图示,在附图中相同的附图标记指示相似的元件。
图1是图示根据示例实施例的客户端-服务器系统的框图。
图2是示出根据示例实施例的联网系统内的社交联网服务的功能组件的框图。
图3是图示根据示例实施例的视频相关性系统的组件的框图。
图4图示了根据示例实施例的显示视频的图形用户接口(GUI)。
图5图示了根据示例实施例的GUI,其中用户可以编辑在分享视频时要包括的文本。
图6图示了根据示例实施例的与视频相关联地显示的用户批准文本的一个示例实施例。
图7图示了根据示例实施例的与视频相关联地显示的用户批准文本的另一示例实施例。
图8图示了根据示例实施例的与视频相关联地显示的用户批准文本的又一示例实施例。
图9图示了根据示例实施例的与视频相关联地显示的用户批准文本的又一示例实施例。
图10图示了根据示例实施例的视频时间跨度。
图11图示了根据示例实施例的包括针对不同用户播放视频的不同起始和结束时间的活动信号。
图12是图示根据示例实施例的识别正被分享的视频的相关性的方法的流程图。
图13是图示根据示例实施例的在分享视频时接收将用户批准文本与视频包括在一起的指令的方法的流程图。
图14是图示根据示例实施例的与视频的预览同时显示用户批准文本的方法的流程图。
图15是图示根据示例实施例的在播放视频同时显示用户批准文本的方法的流程图。
图16是图示根据一些示例实施例的移动设备的框图。
图17是根据示例实施例的可以在其上执行本文描述的方法论的示例计算机系统的框图。
具体实施方式
公开了识别视频的相关性的示例方法和系统。在下面描述中,出于解释的目的,阐述了许多具体细节以便提供对示例实施例的透彻理解。然而,对于本领域技术人员而言将明显的是,可以在没有这些具体细节的情况下实践本实施例。
在一些示例实施例中,操作由具有至少一个存储器和至少一个硬件处理器的机器执行,其中操作包括:使视频在第一用户的第一设备上播放;从第一用户的第一设备接收与一个或多个其他用户分享视频的指令,该指令对应于视频中的第一时间点;访问视频的转录本(transcript);基于第一时间点识别转录本中的文本;使所识别文本基于分享视频的指令在第一设备上显示;从第一设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令,用户批准文本包括所识别文本的至少一部分;并使用户批准文本基于分享视频的指令和包括用户批准文本的指令而与视频相关联地在一个或多个其他用户的一个或多个其他设备上显示。
在一些示例实施例中,用户批准文本包括已经从用户接收了在分享视频时将文本与视频包括在一起的意图的指示的文本。例如,响应于用户选择与包含文本(例如,由本申请的计算机系统经由文本域的自动填充输入的文本、由用户输入的文本、自动填充的文本和由用户输入的文本的组合)的文本域相关联的可选用户接口元素(例如,“发送”按钮),本申请的计算机系统可以将文本域中的文本识别为用户批准文本。
在一些示例实施例中,接收分享视频的指令包括在在第一设备上播放视频期间检测对图形用户接口元素的用户选择,用户选择是在在第一设备上播放视频期间在视频中的第一时间点进行的。
在一些示例实施例中,接收包括用户批准文本的指令包括从第一设备接收所识别文本的经编辑的版本,经编辑的版本表示第一用户对所识别文本的至少一个编辑,至少一个编辑包括对所识别文本的至少一个文本添加或者从所识别文本的至少一个文本删除。在一些示例实施例中,操作还包括基于所识别文本的至少一个编辑来编辑视频的转录本的所存储版本。在一些示例实施例中,操作还包括:使用语音到文本算法生成视频的转录本;并且基于所识别文本的至少一个编辑来修改语音到文本算法。
在一些示例实施例中,使用户批准文本被显示包括使用户批准文本在一个或多个其他用户的一个或多个其他设备上与在一个或多个其他设备上的视频的预览同时显示,该视频包括多个帧,视频的预览包括视频的多个帧中的至少一个并且少于视频的所有多个帧。在一些示例实施例中,操作还包括:基于视频中的第一时间点选择多个帧中的至少一个;并且,基于所选择的多个帧中的至少一个生成预览,预览包括所选择的多个帧中的至少一个。在一些示例实施例中,选择多个帧中的至少一个还基于视频中的至少一个补充时间点,该至少一个补充时间点对应于从至少一个其他用户接收的分享视频的至少一个其他指令。在一些示例实施例中,操作还包括,基于对从其接收至少一个其他指令的至少一个其他用户的至少一个特性与第一用户的至少一个特性或者与视频的至少一个特性的比较,选择用于在选择多个帧中的至少一个时使用的至少一个补充时间点。
在一些示例实施例中,使用户批准文本被显示包括使用户批准文本在一个或多个其他用户的一个或多个其他设备上与在一个或多个其他设备上播放视频同时显示。在一些示例实施例中,操作还包括:基于第一时间点确定视频中的起始时间点,在该起始时间点开始在一个或多个其他设备上播放视频;并且使视频在起始时间点开始在一个或多个其他设备上播放。在一些示例实施例中,确定起始时间点包括:使用第一时间点分析视频和视频的转录本中的至少一个;并且基于分析确定起始时间点,起始时间点是视频中比第一时间点更早的时间。在一些示例实施例中,确定起始时间点还基于视频中的至少一个补充时间点,至少一个补充时间点对应于从至少一个其他用户接收的分享视频的至少一个其他指令。在一些示例实施例中,操作还包括,基于对从其接收至少一个其他指令的至少一个其他用户的至少一个特性与第一用户的至少一个特性或者与视频的至少一个特性的比较,选择用于在确定起始时间点时使用的至少一个补充时间点。
在一些示例实施例中,使用户批准文本被显示包括使兴趣点沿着一个或多个其他设备上的视频进度条与在一个或多个其他设备上播放视频同时显示,基于第一时间点确定兴趣点,用户批准文本与兴趣点相关联地显示。
本文公开的方法或实施例可以实现为具有一个或多个模块(例如,硬件模块或软件模块)的计算机系统。这样的模块可以由计算机系统的一个或多个处理器执行。本文公开的方法或实施例可以体现为存储在机器可读介质上的指令,当由一个或多个处理器执行时,使一个或多个处理器执行指令。
图1是图示根据示例实施例的客户端-服务器系统100的框图。联网系统102经由网络104(例如,因特网或广域网(WAN))向一个或多个客户端提供服务器端功能性。图1图示了例如在相应客户端机器110和112上执行的web客户端106(例如,浏览器)和编程式客户端108。
应用程序接口(API)服务器114和web服务器116耦合到一个或多个应用服务器118并分别向一个或多个应用服务器118提供编程接口和web接口。应用服务器118托管一个或多个应用120。应用服务器118相应地示出为耦合到一个或多个数据库服务器124,该一个或多个数据库服务器124有助于访问一个或多个数据库126。尽管图1中示出的应用120形成联网系统102的一部分,将领会到,在可替换的实施例中,应用120可以形成与联网系统102分离且不同的服务的一部分。
此外,尽管图1中示出的系统100采用客户端-服务器架构,但是本公开当然不限于这种架构,并且同样可以在例如分布式或对等架构系统中良好地找到应用。各种应用120也可以实现为独立的软件程序,其不一定具有联网能力。
Web客户端106经由web服务器116支持的web接口访问各种应用120。类似地,编程式客户端108经由API服务器114提供的编程接口访问应用120提供的各种服务和功能。
图1还图示了第三方应用128,当其具有经由API服务器114提供的编程接口的对联网系统102的编程访问时,在第三方服务器机器130上执行。例如,第三方应用128可以利用从联网系统102检索的信息,支持由第三方托管的网站上的一个或多个特征或功能。例如,第三方网站可以提供由联网系统102的相关应用支持的一个或多个功能。
在一些实施例中,本文提及的任何网站可以包括可以在各种设备(包括但不限于台式个人计算机、膝上型计算机和移动设备(例如,平板计算机、智能电话,等))上呈现的在线内容。在这方面,用户可以采用这些设备中的任一个来使用本公开的特征。在一些实施例中,用户可以使用移动设备(机器110、112和130中的任一个可以是移动设备)上的移动应用来访问和浏览在线内容,诸如本文公开的任意在线内容。移动服务器(例如,API服务器114)可以与移动app和(多个)应用服务器118通信,以便使得本公开的特征在移动设备上可用。
在一些实施例中,联网系统102可以包括社交联网服务的功能组件。图2是示出了与本公开的一些实施例一致的、用于在社交联网系统210中使用的社交联网系统210的功能组件的框图,该社交联网系统210包括在本文中称为视频相关性系统216的数据处理模块。在一些实施例中,视频相关性系统216驻留在图1中的(多个)应用服务器118上。然而,预期的是,其他配置也在本公开的范围内。
如图2所示,前端可以包括用户接口模块(例如,web服务器)212,其接收来自各种客户端计算设备的请求,并向请求客户端设备传送适当的响应。例如,(多个)用户接口模块212可以以超文本传输协议(HTTP)请求或其他基于web的应用程序接口(API)请求的形式接收请求。另外,可以提供成员交互检测模块213以检测成员具有的与所呈现的不同应用、服务和内容的各种交互。如图2所示,在检测到特定交互时,成员交互检测模块213在成员活动和行为数据库222中记录交互,包括交互的类型和与交互有关的任何元数据。
应用逻辑层可以包括一个或多个各种应用服务器模块214,其结合(多个)用户接口模块212,生成具有从数据层中的各种数据源检索的数据的各种用户接口(例如,网页)。对于一些实施例,各个应用服务器模块214用于实现与由社交联网服务提供的各种应用和/或服务相关联的功能性。在一些示例实施例中,应用逻辑层包括视频相关性系统216。
如图2所示,数据层可以包括若干数据库,诸如用于存储简介数据的数据库218,该简介数据包括成员简介数据和各种组织(例如,公司,学校等)的简介数据两者。与一些实施例一致,当一人最初注册成为社交联网服务的成员时,将提示该人提供一些个人信息,诸如他或她的姓名、年龄(例如,出生日期)、性别、兴趣、联系信息、家乡、地址,成员配偶和/或家庭成员的姓名、教育背景(例如学校、专业、入学和/或毕业日期等)、工作经历、技能、专业组织等。此信息存储在例如数据库218中。类似地,当组织的代表最初向社交联网服务注册组织时,可以提示该代表提供关于该组织的某些信息。此信息可以存储在例如数据库218或另一个数据库(未示出)中。在一些示例实施例中,可以处理简介数据(例如,在后台或离线)以生成各种导出的简介数据。例如,如果成员提供了有关成员在同一公司或不同公司持有的各种职位以及持有多长时间的信息,此信息可以用于推断或导出指示成员的整体资历水平、或在特定公司内的资历水平的成员简介属性。在一些示例实施例中,从一个或多个外部托管数据源导入或以其他方式访问数据可以增强成员和组织两者的简介数据。例如,特别是对于公司,可以从一个或多个外部数据源导入财务数据,并将其作为公司简介的一部分。
一旦注册,成员可以邀请其他成员,或者被其他成员邀请,以经由社交联网服务进行连接。“连接”可能要求或指示成员的双向同意,使得两个成员都确认连接的建立。类似地,对于一些实施例,成员可以选择“跟随”另一个成员。与建立连接相比,“跟随”另一个成员的概念通常是单向操作,并且至少对于一些实施例,不需要被跟随的成员的确认或批准。当一个成员跟随另一个成员时,正在跟随的成员可以接收状态更新(例如,在活动或内容流中)或由被跟随的成员发布的、或者与被跟随的成员从事的各种活动有关的其他消息。类似地,当成员跟随组织时,该成员变得有资格接收代表组织发布的消息或状态更新。例如,代表成员所关注的组织发布的消息或状态更新将出现在成员的个性化数据馈送中,通常称为活动流或内容流。在任何情况下,成员与其他成员或与其他实体和对象建立的各种关联和关系被存储和维护在社交图(图2中用数据库220所示)中。
当成员与经由社交联网系统210可获得的各种应用、服务和内容交互时,成员的交互和行为(例如,所观看的内容、所选择的链接或按钮、所响应的消息,等)可以被跟踪,并且关于成员的活动和行为的信息可以被记录或存储,例如,如图2中由数据库222所指示。然后,视频相关性系统216可以使用该所记录的活动信息。
在一些实施例中,数据库218、220和222可以并入到图1中的(多个)数据库126中。然而,其他配置也在本公开的范围内。
尽管未示出,但是在一些实施例中,社交联网系统210提供应用程序接口(API)模块,经由该模块,应用和服务可以访问由社交联网服务提供或维护的各种数据和服务。例如,使用API,应用可能能够请求和/或接收一个或多个导航推荐。这种应用可以是基于浏览器的应用,或者可以是特定于操作系统的应用。特别地,一些应用可以在具有移动操作系统的一个或多个移动设备(例如,电话或平板计算设备)上(至少部分地)驻留和执行。此外,虽然在许多情况下,利用API的应用或服务可能是由操作社交联网服务的实体开发和维护的应用和服务,除了数据隐私问题之外,没有什么阻止API被提供给公众或在特殊安排下被提供给某些第三方,从而使导航推荐可用于第三方应用和服务。
虽然视频相关性系统216在本文中被提及在社交联网服务的情况下使用,但是预期的是,它也可以在任何网站或在线服务的情况下采用。另外,尽管可以在网页的情况下使用或呈现本公开的特征,但是预期的是,任何用户接口视图(例如,移动设备上或桌面软件上的用户接口)都在本公开的范围内。
图3是图示根据示例实施例的视频相关性系统216的组件的框图。在一些实施例中,视频相关性系统216包括转录本模块310、呈现模块320、分享模块330、文本确定模块340和一个或多个数据库350中的一个或多个的任何组合。模块310、320、330和340以及(多个)数据库350可以驻留在具有存储器和至少一个处理器(未示出)的机器上。在一些实施例中,模块310、320、330和340以及(多个)数据库350可以并入到图1中的(多个)应用服务器118中。在一些示例实施例中,(多个)数据库350被并入到图1中的(多个)数据库126中,并且可以包括图2中的数据库218、220和222中的一个或多个的任何组合。然而,预期的是,模块310、320、330和340以及(多个)数据库350的其他配置也在本公开的范围内。
在一些示例实施例中,模块310、320、330和340中的一个或多个被配置为提供各种用户接口功能性,诸如生成用户接口、交互地向用户呈现用户接口、从用户接收信息(例如,与用户接口的交互)等。向用户呈现信息可以包括使向用户呈现信息(例如,利用向用户呈现信息的指令向设备传送信息)。可以使用各种手段来呈现信息,包括可视地显示信息和使用其他设备输出(例如,音频、触觉等)。类似地,可以经由各种手段接收信息,包括字母数字输入或其他设备输入(例如,一个或多个触摸屏、相机、触觉传感器、光传感器、红外传感器、生物传感器、麦克风、陀螺仪、加速度计、其他传感器等)。在一些示例实施例中,模块310、320、330和340中的一个或多个被配置为接收用户输入。例如,模块310、320、330和340中的一个或多个可以呈现用户可以用来提交输入的一个或多个GUI元素(例如,下拉菜单、可选按钮、文本域)。稍后将进一步详细讨论的图4-9提供了图形用户接口的示例。
在一些示例实施例中,模块310、320、330和340中的一个或多个被配置为执行各种通信功能以促进本文描述的功能性,诸如通过使用有线或无线连接经由网络104与社交联网系统210通信。模块310、320、330和340中的一个或多个的任何组合还可以提供各种web服务或功能,诸如从第三方服务器130和社交联网系统210检索信息。由模块310、320、330和340中的任一个检索的信息可以包括与社交联网系统210的社交联网服务的成员和用户相对应的简介数据。
另外,模块310、320、330和340中的一个或多个的任何组合可以提供各种数据功能性,诸如与(多个)数据库350或服务器交换信息。例如,模块310、320、330和340中的任一个可以访问包括来自(多个)数据库350的简介数据的成员简介,以及从成员简介的简介数据中提取的属性和/或特性。此外,模块310、320、330和340中的一个或多个可以从(多个)数据库350访问社交图数据和成员活动和行为数据,以及与第三方服务器130、客户端机器110、112和其他信息源交换信息。
在一些示例实施例中,转录本模块310被配置为使用语音到文本算法而生成视频的转录本。例如,转录本模块310可以访问、检索或以其他方式接收视频的音频,并且然后使用语音识别来将音频翻译成文本,从而生成视频的音频的文本转录本,该文本转录本可以存储在数据库(例如,(多个)数据库350)中以用于后续访问。在一些示例实施例中,所生成的转录本包括文本的多个部分的序列,其中文本的每个部分具有对应的时间戳并且与对应的时间戳相关联地存储。例如,序列中的文本的第一部分可以具有到视频中的5秒的对应时间戳,序列中的文本的第二部分可以具有到视频中的13秒的对应时间戳,序列中的文本的第三部分可以具有到视频中的19秒的对应时间戳,等等,从而能够实现将文本部分的序列映射到视频中的时间点的时间系列,在这些时间点,文本的那些部分对应的音频发生。
在一些示例实施例中,呈现模块320被配置为使视频在一个或多个用户的一个或多个设备上播放。例如,呈现模块320可以使视频在第一用户的第一设备上播放。在一些示例实施例中,使视频或任何其他内容被播放或显示包括将指令和/或内容传输到设备,其中设备上的一个或多个应用然后响应于接收到的指令而使内容被播放或显示。图4图示了根据示例实施例的显示视频420的用户的设备的GUI 400。视频可以包括一组图像的数字记录,诸如视频内容的帧。例如,视频内容可以包括给出关于特定主题的讲座的发言者,或者可以包括包含可视内容和音频内容的任何其他内容。在一些示例实施例中,视频420被显示在GUI 400内的专用面板410中,与视频420一起的还有用于控制视频420的各方面的一个或多个用户接口元素,诸如用于播放视频420的可选元素、用于暂停视频420的可选元素和用于控制视频420的音量的可选元素。
在一些示例实施例中,呈现模块320还被配置为使视频进度条430与视频420同时显示在GUI 400内。视频进度条430包括被配置为提供视频420的播放的进展的可视化的GUI元素。例如,视频进度条430可以包括图形控制元素432,诸如滑块或轨道条,其示出了视频420的当前回放位置(例如,如果当前视频420的播放在视频420的整个持续时间的中途,则图形控制元素432将定位于视频进度条430的大约一半处)。在一些示例实施例中,图形控制元素432被配置为由用户操纵以便改变视频420的当前回放位置(例如,通过用户在视频进度条430的任何点处点击/敲击,或者通过用户将图形控制元素432沿着视频进度条430拖动到不同的位置)。在一些示例实施例中,呈现模块320还被配置为使视频420的回放位置的当前时间点434与视频420同时显示在GUI 400内。
在一些示例实施例中,呈现模块320还被配置为使关于视频420的信息440与视频420同时显示在GUI 400内。这样的信息440可以包括但不限于视频420的标题或其他标识符(例如,“JAVA 编程教程”)以及视频420的作者或出版商的指示(例如,“由ACME公司发布”)。预期的是,也可以显示其他类型的信息440。
在一些示例实施例中,呈现模块320还被配置为使可选的用户接口元素450与视频420同时显示在GUI 400内。可选的用户接口元素450被配置为响应于或以其他方式基于用户对它的选择而提供与一个或多个其他用户分享视频420的指令。
在一些示例实施例中,分享模块330被配置为接收与一个或多个其他用户分享视频420的指令。该指令可以对应于视频420中的时间点,诸如在视频420中用户选择可选用户接口元素450的时间点,其可以由沿着视频进度条430的图形控制元素432的位置或视频420的回放位置的当前时间点434指示。例如,在图4中,如果用户在到视频420中的38分34秒的时间点(在图4中示出为38:34”)选择了可选用户接口元素450(例如,可选的“分享”按钮),则可以与由可选用户接口元素450的选择产生的分享视频420的指令相关联地存储时间点38分34秒,诸如以与(多个)数据库350中的指令相关联地存储的“38:34”的时间戳的形式。
在一些示例实施例中,文本确定模块340被配置为访问视频420的所存储转录本并且识别转录本中与对应于分享视频420的指令的时间点对应的文本。例如,文本确定模块340可以使用与指令相关联的时间点作为关键字来查找和识别转录本内与视频中的那个时间点对应的文本的部分,诸如通过访问存储在数据库350中的转录本以及在所存储转录本中找到具有对应于与指令相关联的时间点的时间戳的文本部分(例如,具有在指令的时间点的预定范围内的时间戳的文本部分,诸如在指令的时间点的5秒内)。在图4中所示的示例中,文本确定模块340可以使用分享指令的38:34时间戳作为关键字来查找与视频420内的那个时间点同步的音频的文本表示。在一些示例实施例中,文本确定模块340被配置为执行即时语音到文本转换或翻译,作为访问所存储转录本的替代方案,这在所存储转录本不可用的情况下可能是有用的。在这种即时实施例中,文本确定模块340可以采用与上面讨论的相同的时间戳查找技术来识别文本的部分。
在一些示例实施例中,分享模块330被配置为基于分享视频420的指令使所识别文本在用户的设备上显示。图5图示了根据示例实施例的GUI 400,在该GUI 400中用户可以编辑在分享视频时要包括的文本。在图5中,响应于或以其他方式基于接收分享视频420的指令,分享模块330使已由文本确定模块340识别的文本显示在GUI 400内。在图5所示的示例中,文本确定模块340可以识别“JAVA使用自动垃圾收集器来管理对象生命周期中的存储器”,作为与分享指令对应于的视频420内38分钟34秒(38:34)时间点同步的音频的文本表示,诸如通过使用上面讨论的查找技术。结果,在图5中,分享模块330使此所识别文本显示在文本域520中。在一些示例实施例中,分享模块330被配置为使用户能够编辑所识别文本,诸如通过经由文本域520向所显示的所识别文本添加文本或从所显示的所识别文本删除文本。在这方面,文本域520预先填充有所识别文本,然后用户可以编辑或补充该所识别文本。例如,用户可以在将视频420的音频翻译为音频的文本表示中识别错误并尝试纠正错误。附加地或可替换地,用户可以使用文本域520来用附加信息补充所识别文本。
分享模块330还可以使用户能够提供识别要与其分享视频420的一个或多个其他用户的输入。例如,分享模块330可以提供文本域510,用户可以在其内输入其他用户的一个或多个电子邮件地址。
当用户完成识别要与其分享视频420的(多个)其他用户并且已批准在与(多个)其他用户分享视频420时视频420要包括的文本,用户可以选择可选的用户接口元素530(例如,“发送”按钮),以便指示将文本域520中的文本识别为在分享视频420时将用户批准文本与视频420包括在一起的意图。响应于可选用户接口元素530的选择,分享模块330可以生成在与(多个)其他用户分享视频时将用户批准文本与视频包括在一起的指令。在一些示例实施例中,用户批准文本包括所识别文本的至少一部分。
在一些示例实施例中,转录本模块310被配置为基于用户对所识别文本的任何编辑来编辑视频420的转录本的所存储版本。例如,如果用户通过纠正拼写错误或误译来编辑所识别文本,则此编辑可以用于纠正视频420的所存储转录本中的相同拼写错误或误译。附加地或可替换地,如果用户编辑所识别文本以添加补充信息,则此编辑可以用于将相同的补充信息添加到视频420的所存储转录本中。
在一些示例实施例中,转录本模块310被配置为基于用户对所识别文本的一个或多个编辑来修改语音到文本算法。转录本模块310可以采用机器学习技术,使用所识别文本的一个或多个编辑来修改用于生成转录本的语音到文本算法,从而提高语音到文本算法的准确性。在一些示例实施例中,编辑和用户批准文本被存储为对应于视频的元数据或者对应于转录本或两者的元数据。在一些示例实施例中,编辑和用户批准文本被存储为与跟编辑和用户批准文本对应于的视频或转录本的特定部分相关联的对应时间戳相关联的元数据,诸如通过使用分享视频的指令的时间点作为时间戳的参考。然后,转录本模块310随后可以在其执行的任何机器学习过程中使用此元数据。例如,转录本模块310在使用与视频的音频的对应部分一起的编辑和用户批准文本来训练语音到文本算法、学习如何解释在音频部分内的特定声音或语音并将其恰当地转换为文本时可以采用人工神经网络和深度学习。
在一些示例实施例中,呈现模块320被配置为使用户批准文本基于分享视频420的指令和包括用户批准文本的指令而与视频420相关联地在一个或多个其他用户的一个或多个其他设备上显示。用户批准文本可以以各种方式与视频420相关联地在(多个)其他用户的(多个)其他设备上显示。
在一些示例实施例中,呈现模块320被配置为使用户批准文本与(多个)其他设备上的视频420的预览同时在(多个)其他用户的(多个)其他设备上显示。图6图示了根据示例实施例的与视频420相关联地显示的用户批准文本630的一个示例实施例,其中用户批准文本630与视频420的预览620同时显示。在图6中,另一用户的另一设备(例如,第一用户与其分享视频的另一用户的设备)的GUI 600显示视频420的预览620。在一些示例实施例中,视频420包括多个帧,并且视频420的预览620包括视频420的多个帧中的至少一个并且少于视频420的所有多个帧。例如,预览620可以包括视频420的一个静止图像(例如,一个帧)或者以动画图形交换格式(GIF)的视频420的多个图像(例如,多个帧)。多个图像可以包括对应于视频420的连续时间跨度的一组帧(例如,覆盖视频420的第一五秒的帧)或者可以包括对应于视频420的非连续时间点的一组帧(例如,来自视频420中的五个不同时间点的五个不同帧,其一个接一个地隔开10秒)。
在一些示例实施例中,GUI 600还可以显示正在分享视频420的通知610和关于视频420的信息440(例如,视频420的标题或其他标识符、视频420的作者或发布者)。预览620和用户批准文本630可以以各种方式呈现给(多个)其他用户,包括但不限于,以向(多个)其他用户的电子邮件消息的形式以及以(多个)其他用户的馈送的形式。在一些示例实施例中,呈现模块320在GUI 600内提供可选的链接以使(多个)其他用户能够导航到或以其他方式触发视频420的呈现。例如,预览620和信息440中的至少一个包括可选链接,该可选链接被配置为将其他用户的设备导航到视频的呈现或以其他方式触发视频420的呈现。
在一些示例实施例中,呈现模块320被配置为使用户批准文本630在(多个)其他用户的(多个)其他设备上与在(多个)其他设备上播放视频420同时显示。图7图示了根据示例实施例的与播放视频420同时显示的用户批准文本630的另一示例实施例。视频420以及用户批准文本630向另一个用户的这种呈现可以由提供分享视频420的指令的原始用户触发,或者以其他方式基于提供分享视频420的指令的原始用户或基于提供观看视频420的指令的另一个用户 (例如,通过选择可选的链接,诸如上面关于图6讨论的可选链接中的一个)。视频420可以使用与上面关于图4中向原始用户的视频420呈现所讨论的元素类似的元素而呈现给其他用户。然而,在向另一个用户呈现视频420时,呈现模块320还显示用户批准文本630。在一些示例实施例中,呈现模块320使视频420在与分享视频420的指令相关联的相同时间点开始播放,从而将指示的原始用户感兴趣的视频420的部分立即提供给另一个用户,而另一个用户不必等待视频420的那个部分之前的所有视频内容。通过采用这些技术方案,视频相关性系统216显著减少了用户播放视频不相关部分的情况,从而解决了伴随播放这些不相关部分的电子资源(例如,传输视频的网络带宽、播放视频的设备的电池)过度消耗的技术问题。
在图7中,用户批准文本630显示在显示视频420的专用面板410下方。然而,预期的是,其他实施例也在本公开的范围内。图8图示了根据示例实施例的与播放视频420同时显示的用户批准文本630的另一示例实施例。在图8中,代替用户批准文本630在视频420的GUI400的分离部分中显示,用户批准文本630显示在在其内播放视频420的专用面板410内。在一些示例实施例中,用户批准文本630显示在覆盖视频420的位置。
在一些示例实施例中,呈现模块320被配置为使一个或多个兴趣点沿着视频进度条在(多个)其他用户的(多个)其他设备上与在(多个)其他设备上播放视频420同时显示。图9图示了根据示例实施例的与播放视频420同时显示的用户批准文本的又一示例实施例,其中沿着视频进度条430显示兴趣点910。如图9中看到,用户批准文本可以与兴趣点910相关联地显示。例如,包括用户批准文本630的标注框920可以被显示为连接到兴趣点910。在一些示例实施例中,响应于指向兴趣点910的用户动作(诸如用户点击或敲击兴趣点910或用户将指针悬停在兴趣点910上),与兴趣点910相关联地显示用户批准文本。通过显示与兴趣点910相关联的用户批准文本,用户可以看到沿着视频进度条430跳过视频420中哪些时刻,从而使得视频420的呈现和观看更高效。
在一些示例实施例中,呈现模块320被配置为基于与分享视频的指令相关联的时间点来确定视频的兴趣点。例如,与分享视频的指令相关联的时间点的时间戳可以用作兴趣点。然而,有时与分享视频的指令相关联的时间点与用户发现有兴趣或相关并且想要分享的视频的一部分的开始没有恰当对齐。例如,用户可能正在观看视频的特定部分并且到视频的那个部分中20秒决定分享视频。结果,用户选择用户接口元素以分享视频的时间点可能定位于正在讲着的句子的中间。
图10图示了根据示例实施例的视频时间跨度1000。视频时间跨度1000从视频的开始持续到视频的结束。用户提交分享视频的指令(例如,点击“分享”按钮)的沿着视频时间跨度1000的位置,提供了视频的兴趣点的强烈指示。在一个示例中,用户可以在时间T0提交分享视频的指令。这种场景呈现三种可能性:(1)兴趣点从T1起始并在T0结束,其中T1 <T0;(2)兴趣点从T0起始并且到T2结束,其中T0 <T2;以及(3)兴趣点从T1起始并且到T2结束,其中T1 <T0 <T2。在一些示例实施例中,呈现模块320被配置为基于与来自原始用户分享视频的指令相关联的时间点来确定兴趣点的起始和兴趣点的结束。除了将此确定基于与来自原始用户分享视频的指令相关联的时间点之外,呈现模块320还可以将此确定也基于一个或多个其他因素。
在一些示例实施例中,这些其他因素中的一个包括使用与指令相关联的时间点作为从何时执行分析的参考点来分析视频和视频的转录本中的至少一个。呈现模块320可以分析视频的音轨或视频的转录本,以识别满足预定阈值的安静部分,其可以用于识别视频的主题之间的分离。例如,如果与分享的指令相关联的时间点与句子的中间对齐,则呈现模块320可以通过找到持续至少一秒的安静时刻来分析音轨以找到句子的开始,或者可以分析转录本以基于标点符号(例如,在句子之前找到第一句点'。')找到句子的开始。在一些示例实施例中,呈现模块320执行音轨或转录本的语义分析以识别主题的改变。
在一些示例实施例中,因素中的另一个包括一个或多个其他用户的活动信号。这样的活动信号可以包括但不限于与其他用户分享相同视频的指令相关联的时间点、其他用户起始播放视频的时间点、其他用户停止播放视频的时间点、以及其他用户跳过视频播放的时间点。
在基于不同用户的活动信号确定兴趣点时出现的一个问题是不同用户之间关于与其活动信号对应的时间点的潜在差异。图11图示了根据示例实施例的包括针对不同用户播放视频的不同起始和结束时间的活动信号1100。在图11中,沿视频时间跨度示出了用户A、B和C的活动信号。用户A、B和C可以在显著不同的时间提供兴趣起始点(例如,起始在兴趣起始点播放视频,跳到兴趣起始点)的指示,其中用户A的兴趣起始点充分地早于用户C的兴趣起始点,并且用户C的兴趣起始点充分地早于用户B的兴趣起始点。在此示例中,由于这些兴趣起始点显著分散,因此可以使用兴趣起始点的不同时间的众数或中位数来确定作为集合的所有用户A、B和C的单个兴趣起始点,诸如通过将单个起始兴趣点设置为不同时间的众数或中位数。如果确定兴趣结束点沿视频时间跨度足够地分散,也可以采用相同的技术来确定作为集合的所有用户的单个兴趣结束点。
在一些示例实施例中,呈现模块320被配置为选择其活动信号要被用于确定视频的一个或多个兴趣点的一个或多个其他用户。一个或多个其他用户的选择可以基于对其他用户的至少一个特性与原始用户的至少一个特性的比较。例如,呈现模块320可以基于其他用户与原始用户的连接度水平来选择其他用户(例如,可以基于他们的连接来选择被识别为原始用户的连接的其他用户),以及基于其他用户关于社交联网简介特性(诸如职称、工作行业、公司、技能、专业兴趣、教育和资历水平等)的相似性水平来选择其他用户(例如,满足关于一个或多个特性的相似度的最小阈值水平的其他用户可以基于他们对此阈值的满足度而被选择)。
一个或多个其他用户的选择可以附加地或可替换地基于对其他用户的至少一个特性与视频的至少一个特性的比较。例如,呈现模块320可以基于其他用户与视频的相关性水平来选择其他用户,诸如通过将其他用户的社交联网简介特性(例如,职称、工作行业、公司、技能、专业兴趣和教育)与视频特性进行比较,诸如与视频标题、视频描述、视频作者或出版商、视频评论以及在视频的转录本中所识别的文字或主题、以及其他内容的相似性或其他相关性。
图12是图示根据示例实施例的识别正被分享的视频的相关性的方法1200的流程图。方法1200可以由处理逻辑执行,处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理设备上运行的指令)或其组合。在一个实施方式中,方法1200由图2-3的视频相关性系统216或其如上所述的模块中的一个或多个的任何组合执行。
在操作1210,视频相关性系统216使视频在第一用户的第一设备上播放。在操作1220,视频相关性系统216从第一用户的第一设备接收与一个或多个其他用户分享视频的指令。在一些示例实施例中,指令对应于视频中的第一时间点。在一些示例实施例中,视频相关性系统216在在第一设备上播放视频期间检测对图形用户接口元素的用户选择,其中用户选择是在在第一台设备上播放视频期间在视频中的第一时间点进行的。在操作1230,视频相关性系统216访问视频的转录本。在一些示例实施例中,视频的转录本存储在数据库(例如,数据库350)上,并且视频相关性系统216访问数据库以访问所存储转录本。在操作1240,视频相关性系统216基于第一时间点识别转录本中的文本。在操作1250,视频相关性系统216响应于或以其他方式基于分享视频的指令使所识别文本在第一设备上显示。在操作1260,视频相关性系统216从第一设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令。在一些示例实施例中,用户批准文本包括所识别文本的至少一部分。在操作1270,视频相关性系统216使用户批准文本基于分享视频的指令和包括用户批准文本的指令而与视频相关联地在一个或多个其他用户的一个或多个其他设备上显示。
预期的是,本公开内描述的其他特征的中任一个可以并入到方法1200中。
图13是图示根据示例实施例的在分享视频时接收将用户批准文本与视频包括在一起的指令的方法1300的流程图。方法1300可以由处理逻辑执行,处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理设备上运行的指令)或其组合。在一个实施方式中,方法1300由图2-3的视频相关性系统216或其如上所述的模块中的一个或多个的任何组合执行。
在操作1310,视频相关性系统216从第一设备接收所识别文本的经编辑的版本。在一些示例实施例中,经编辑的版本表示第一用户对所识别文本的至少一个编辑,其中至少一个编辑包括对所识别文本的至少一个文本添加或者从所识别文本的至少一个文本删除。在操作1320,视频相关性系统216基于所识别文本的至少一个编辑来编辑视频的转录本的所存储版本。
在一些示例实施例中,视频相关性系统216被配置为使用语音到文本算法而生成视频的转录本。在一些示例实施例中,方法1300还包括在操作1330,基于所识别文本的至少一个编辑来修改语音到文本算法,并且然后在操作1340使用经修改的语音到文本算法来生成另一视频的转录本。
预期的是,本公开内描述的其他特征中的任一个可以并入到方法1300中。
图14是图示根据示例实施例的与视频的预览同时显示用户批准文本的方法1400的流程图。方法1400可以由处理逻辑执行,处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理设备上运行的指令)或其组合。在一个实施方式中,方法1400由图2-3的视频相关性系统216或其如上所述模块中的一个或多个的任何组合执行。
在操作1410,视频相关性系统216基于视频中的第一时间点选择要分享的视频的多个帧中的至少一个。在一些示例实施例中,多个帧中的至少一个的选择还基于视频中的至少一个补充时间点,其中至少一个补充时间点对应于从至少一个其他用户接收的分享视频的至少一个其他指令。在一些示例实施例中,基于对从其接收至少一个其他指令的至少一个其他用户的至少一个特性与第一用户的至少一个特性或者与视频的至少一个特性的比较,选择用于在选择多个帧中的至少一个时使用的至少一个补充时间点。在操作1420,视频相关性系统216基于(多个)所选择帧生成视频的预览,其中预览包括(多个)所选择帧。在一些示例实施例中,预览包括视频的多个帧中的至少一个并且少于视频的所有多个帧。在操作1430,视频相关性系统216使用户批准文本在一个或多个其他用户的一个或多个其他设备上与在一个或多个其他设备上的视频预览同时显示。
预期的是,本公开内描述的其他特征中的任一个可以并入到方法1400中。
图15是图示根据示例实施例的与播放视频同时显示用户批准文本的方法1500的流程图。方法1500可以由处理逻辑执行,处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理设备上运行的指令)或其组合。在一个实施方式中,方法1500由图2-3的视频相关性系统216或其如上所述的模块中的一个或多个的任何组合执行。
在操作1510,视频相关性系统216基于第一时间点确定视频中的起始时间点,在该起始时间点开始在一个或多个其他设备上播放视频。在一些示例实施例中,确定起始时间点包括使用第一时间点来分析视频和视频的转录本中的至少一个,并且基于该分析确定起始时间点,其中起始时间点是视频中比第一个时间点更早的时间。在一些示例实施例中,确定起始时间点还基于视频中的至少一个补充时间点,其中至少一个补充时间点对应于从至少一个其他用户接收的分享视频的至少一个其他指令。在一些示例实施例中,基于对从其接收至少一个其他指令的至少一个其他用户的至少一个特性与第一用户的至少一个特性或者与视频的至少一个特性的比较,选择用于在确定起始时间点时使用的至少一个补充时间点。在操作1520,视频相关性系统216使视频在起始时间点开始在一个或多个其他设备上播放。
预期的是,本公开内描述的其他特征中的任一个可以并入到方法1500中。
示例移动设备
图16是图示根据示例实施例的移动设备1600的框图。移动设备1600可以包括处理器1602。处理器1602可以是适用于移动设备1600的商业可用处理器的各种不同类型的中的任一种(例如,XScale架构微处理器、没有互锁流水线级(MIPS)架构处理器的微处理器、或其他类型的处理器)。存储器1604(诸如随机存取存储器(RAM)、闪存或其他类型的存储器)通常可由处理器1602访问。存储器1604可以适配成存储操作系统(OS)1606,以及应用程序1608,诸如可以向用户提供基于位置的服务(LBS)的支持移动位置(mobile location-enabled)的应用。处理器1602可以直接或经由适当的中间硬件而耦合到显示器1610和一个或多个输入/输出(I/O)设备1612,诸如键盘、触摸板传感器、麦克风等。类似地,在一些实施例中,处理器1602可以耦合到与天线1616接口连接的收发器1614。收发器1614可以被配置为取决于移动设备1600的特质而经由天线1616兼备发送和接收蜂窝网络信号、无线数据信号或其他类型的信号。此外,在一些配置中,GPS接收器1618还可以利用天线1616来接收GPS信号。
模块、组件和逻辑
某些实施例在本文中被描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如,(1)在非暂时性机器可读介质上或者(2)在传输信号中体现的代码)或硬件实现模块。硬件实现模块是能够执行某些操作的有形单元,并且可以以某种方式配置或布置。在示例实施例中,一个或多个计算机系统(例如,独立的、客户端或服务器计算机系统)或一个或多个处理器可以由软件(例如,应用或应用部分)配置为操作以执行如本文所描述的某些操作的硬件实现模块。
在各种实施例中,硬件实现模块可以机械地或电子地实现。例如,硬件实现模块可以包括永久配置的专用电路或逻辑(例如,作为特殊用途处理器,诸如现场可编程门阵列(FPGA)或具体用途集成电路(ASIC))以执行某些操作。硬件实现模块还可以包括可编程逻辑或电路(例如,如包含在通用处理器或其他可编程处理器内),其由软件临时配置以执行某些操作。将领会到,在专用和永久配置的电路中或在临时配置的电路(例如,由软件配置)中机械地实现硬件实现模块的决定可以由成本和时间考虑来驱动。
因此,术语“硬件实现模块”应该被理解为包含有形实体,即物理构造、永久配置(例如,硬连线)或临时或暂时配置(例如,编程)以以某种方式操作和/或执行本文所描述的某些操作的实体。考虑其中临时配置(例如,编程)硬件实现模块的实施例,不需要在任一个时刻配置或实例化硬件实现模块中的每个。例如,在硬件实现模块包括使用软件来配置的通用处理器的情况下,通用处理器可以在不同时间被配置为相应的不同硬件实现模块。因此,软件可以配置处理器,例如,在一个时刻构成特定的硬件实现模块,并在不同的时刻构成不同的硬件实现模块。
硬件实现模块可以向其他硬件实现模块提供信息并从其他硬件实现模块接收信息。因此,所描述的硬件实现模块可以被视为通信地耦合。在多个这样的硬件实现模块同时存在的情况下,可以通过连接硬件实现模块的信号传输(例如,通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件实现模块的实施例中,可以实现这些硬件实现模块之间的通信,例如,通过在多个硬件实现模块可访问的存储器结构中存储和检索信息。例如,一个硬件实现模块可以执行操作,并将那个操作的输出存储在与其通信耦合的存储器设备中。则另一硬件实现模块可以在稍后的时间访问存储器设备,以检索和处理所存储的输出。硬件实现模块还可以启动与输入或输出设备的通信,并且可以在资源(例如,信息集合)上操作。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如,通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置,这样的处理器可以构成操作以执行一个或多个操作或功能的处理器实现模块。在一些示例实施例中,本文提到的模块可以包括处理器实现模块。
类似地,本文描述的方法可以是至少部分处理器实现的。例如,方法的操作的至少一些可以由一个或多个处理器或处理器实现模块执行。某些操作的性能可以分布在一个或多个处理器中,不仅驻留在单个机器内,而且跨过多个机器而部署。在一些示例实施例中,一个或多个处理器可以位于单个位置(例如,在家庭环境、办公室环境内或作为服务器群),而在其他实施例中,处理器可以跨过多个位置而分布。
一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的性能或者作为“软件即服务”(SaaS)。例如,通过一组计算机(作为包括处理器的机器的示例)可以执行操作中的至少一些,这些操作可经由网络(例如,因特网)和经由一个或多个适当的接口(例如,应用程序接口(API))而访问。
电子设备和系统
示例实施例可以在数字电子电路中、或者在计算机硬件、固件、软件中或它们的组合中实现。示例实施例可以使用计算机程序产品(例如,有形地体现在信息载体中的计算机程序,例如,体现在用于由数据处理装置执行或控制数据处理装置(例如,可编程处理器、计算机或多个计算机)的操作的机器可读介质中)来实现。
计算机程序可以用任何形式的编程语言(包括编译或解释语言)编写,并且它可以以任何形式被部署,包括作为独立程序或作为适用于计算环境的模块、子例程或其他单元。可以将计算机程序部署成在位于一个站点处或者跨过多个站点而分布的一个计算机上或在多个计算机上执行,并通过通信网络互连。
在示例实施例中,操作可以由一个或多个可编程处理器执行,该一个或多个可编程处理器执行计算机程序以通过对输入数据进行操作并生成输出来执行功能。方法操作也可以由特殊用途逻辑电路(例如现场可编程门阵列(FPGA)或具体用途集成电路(ASIC))执行,并且示例实施例的装置可以实现为特殊用途逻辑电路(例如现场可编程门阵列(FPGA)或具体用途集成电路(ASIC))。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器的关系由于在相应的计算机上运行并且具有彼此的客户端-服务器关系的计算机程序而出现。在部署可编程计算系统的实施例中,将领会到,硬件和软件架构两者都值得考虑。具体地,将领会到,选择是在永久配置的硬件(例如,ASIC)中、在临时配置的硬件(例如,软件和可编程处理器的组合)中、还是在永久和临时配置的硬件的组合中实现某个功能性可能是设计选择。下面列出了在各种示例实施例中可以部署的硬件(例如,机器)和软件架构。
示例机器结构和机器可读介质
图17是根据示例实施例的可以在其上执行本文描述的方法论的示例计算机系统1700的框图。在可替换的实施例中,机器作为独立设备操作或者可以连接(例如,联网)到其他机器。在联网部署中,机器可以在服务器-客户端网络环境中以服务器或客户端机器的容量操作,或者作为对等(或分布式)网络环境中的对等机器操作。该机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web设备、网络路由器、交换机或网桥,或能够(顺序地或其他方式)执行指定那个机器采取的动作的指令任何机器。此外,虽然仅图示了单个机器,但术语“机器”还应被采取为包括单独或联合执行一组(或多组)指令以执行本文所讨论的方法论中的任何一个或多个的机器的任何集合。
示例计算机系统1700包括处理器1702(例如,中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器1704和静态存储器1706,它们经由总线1708彼此通信。计算机系统1700还可以包括图形显示单元1710(例如,液晶显示器(LCD)或阴极射线管(CRT))。计算机系统1700还包括字母数字输入设备1712(例如,键盘或触敏显示屏)、用户接口(UI)导航设备1714(例如,鼠标)、存储单元1716、信号生成设备1718(例如,扬声器)和网络接口设备1720。
机器可读介质
存储单元1716包括机器可读介质1722,在机器可读介质1722上存储体现本文所描述的方法论或功能中的任一个或多个或由本文所描述的方法论或功能中的任一个或多个利用的一组或多组指令和数据结构(例如,软件)1724。指令1724还可以完全或至少部分地驻留在主存储器1704内和/或处理器1702内(在由计算机系统1700执行其期间),主存储器1704和处理器1702也构成机器可读介质。
虽然机器可读介质1722在示例实施例中被示为单个介质,但是术语“机器可读介质”可以包括存储一个或多个指令1724或数据结构的单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存和服务器)。术语“机器可读介质”还应被采取为包括能够存储、编码或携带用于由机器执行并且使机器执行本公开的方法论中的任一个或多个的指令(例如,指令1724),或者能够存储、编码或携带由这些指令利用或与这些指令相关联的数据结构的任何有形介质。因此,术语“机器可读介质”应被采取为包括但不限于固态存储器、以及光学和磁性介质。机器可读介质的具体示例包括非易失性存储器,包括以示例方式的半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电气可擦除可编程只读存储器(EEPROM)和闪存设备;磁盘,诸如内部硬盘和可移动盘;磁光盘;以及CD-ROM和DVD-ROM盘。
传输介质
还可以使用传输介质通过通信网络1726传输或接收指令1724。可以使用网络接口设备1720和多个公知的传输协议(例如,HTTP)中的任一个来传输指令1724。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、因特网、移动电话网络、普通老式电话服务(POTS)网络和无线数据网络(例如,WiFi和WiMax网络)。术语“传输介质”应被采取为包括能够存储、编码或携带用于由机器执行的指令的任何无形介质,并且包括用于促进这种软件的通信的数字或模拟通信信号或其他无形介质。
尽管已经参考具体示例实施例描述了实施例,但是将明显的是,在不脱离本公开的更广泛的精神和范围的情况下,可以对这些实施例进行各种修改和改变。因此,说明书和附图要被视为说明性的意义而非限制性的意义。形成附图一部分的附图通过说明并且不是限制性的方式示出可以实践主题的具体实施例。所说明的实施例以足够的细节进行描述,以使本领域技术人员能够实践本文所公开的教导。可以利用其他实施例并从中导出其他实施例,使得可以在不脱离本公开的范围的情况下进行结构和逻辑的替换和改变。因此,此详细描述不要被采取为限制意义,并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。尽管本文已经说明和描述了具体实施例,应领会到,为实现相同目的而计算的任何布置可以代替所示的具体实施例。本公开旨在涵盖各种实施例的任何和所有改编或变型。在阅读上面描述后,上面实施例的组合以及本文未具体描述的其他实施例对于本领域技术人员而言将是明显的。

Claims (10)

1.一种计算机实现的方法,包括:
由至少一个硬件处理器使视频在第一用户的第一设备上播放;
由所述至少一个硬件处理器从第一用户的第一设备接收与一个或多个其他用户分享视频的指令,所述指令对应于视频中的第一时间点;
由所述至少一个硬件处理器访问视频的转录本;
由所述至少一个硬件处理器基于第一时间点识别转录本中的文本;
由所述至少一个硬件处理器使所识别文本基于分享视频的指令在第一设备上显示;
由所述至少一个硬件处理器从第一设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令,所述用户批准文本包括所识别文本的至少一部分;以及
由所述至少一个硬件处理器使用户批准文本基于分享视频的指令和包括用户批准文本的指令而与视频相关联地在一个或多个其他用户的一个或多个其他设备上显示。
2.根据权利要求1所述的计算机实现的方法,其中接收分享视频的指令包括在在第一设备上播放视频期间检测对图形用户接口元素的用户选择,所述用户选择是在在第一设备上播放视频期间在视频中的第一时间点进行的。
3.根据权利要求1所述的计算机实现的方法,其中所述接收包括用户批准文本的指令包括从第一设备接收所识别文本的经编辑的版本,经编辑的版本表示第一用户对所识别文本的至少一个编辑,所述至少一个编辑包括对所识别文本的至少一个文本添加或者从所识别文本的至少一个文本删除。
4.根据权利要求3所述的计算机实现的方法,还包括基于所识别文本的至少一个编辑来编辑视频的转录本的所存储版本。
5.根据权利要求3所述的计算机实现的方法,还包括:
使用语音到文本算法生成视频的转录本;并且
基于所识别文本的至少一个编辑来修改所述语音到文本算法。
6.根据权利要求1所述的计算机实现的方法,其中使用户批准文本被显示包括使用户批准文本在一个或多个其他用户的一个或多个其他设备上与在一个或多个其他设备上的视频的预览同时显示,所述视频包括多个帧,所述视频的预览包括视频的多个帧中的至少一个并且少于视频的所有多个帧。
7.根据权利要求6所述的计算机实现的方法,还包括:
基于视频中的第一时间点选择多个帧中的至少一个;并且
基于所选择的多个帧中的至少一个生成预览,所述预览包括所选择的多个帧中的至少一个。
8.根据权利要求7所述的计算机实现的方法,其中选择多个帧中的至少一个还基于视频中的至少一个补充时间点,所述至少一个补充时间点对应于从至少一个其他用户接收的分享视频的至少一个其他指令。
9.一种系统,包括:
至少一个硬件处理器;和
体现一组指令的非暂时性机器可读介质,当由所述至少一个硬件处理器执行时,所述一组指令使所述至少一个处理器执行操作,所述操作包括:
使视频在第一用户的第一设备上播放;
从第一用户的第一设备接收与一个或多个其他用户分享视频的指令,所述指令对应于视频中的第一时间点;
访问视频的转录本;
基于第一时间点识别转录本中的文本;
使所识别文本基于分享视频的指令在第一设备上显示;
从第一设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令,所述用户批准文本包括所识别文本的至少一部分;以及
使用户批准文本基于分享视频的指令和包括用户批准文本的指令而与视频相关联地在一个或多个其他用户的一个或多个其他设备上显示。
10.一种体现一组指令的非暂时性机器可读介质,当由至少一个硬件处理器执行时,所述一组指令使所述处理器执行操作,所述操作包括:
使视频在第一用户的第一设备上播放;
从第一用户的第一设备接收与一个或多个其他用户分享视频的指令,所述指令对应于视频中的第一时间点;
访问视频的转录本;
基于第一时间点识别转录本中的文本;
使所识别文本基于分享视频的指令在第一设备上显示;
从第一设备接收在与一个或多个其他用户分享视频时将用户批准文本与视频包括在一起的指令,所述用户批准文本包括所识别文本的至少一部分;以及
使用户批准文本基于分享视频的指令和包括用户批准文本的指令而与视频相关联地在一个或多个其他用户的一个或多个其他设备上显示。
CN201811103162.2A 2017-09-20 2018-09-20 识别视频的相关性 Active CN110019934B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/710,035 US10129573B1 (en) 2017-09-20 2017-09-20 Identifying relevance of a video
US15/710035 2017-09-20

Publications (2)

Publication Number Publication Date
CN110019934A true CN110019934A (zh) 2019-07-16
CN110019934B CN110019934B (zh) 2023-07-14

Family

ID=64050898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811103162.2A Active CN110019934B (zh) 2017-09-20 2018-09-20 识别视频的相关性

Country Status (2)

Country Link
US (2) US10129573B1 (zh)
CN (1) CN110019934B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532433A (zh) * 2019-09-03 2019-12-03 北京百度网讯科技有限公司 视频场景的实体识别方法、装置、电子设备和介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805269B2 (en) * 2015-11-20 2017-10-31 Adobe Systems Incorporated Techniques for enhancing content memorability of user generated video content
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
US10311913B1 (en) 2018-02-22 2019-06-04 Adobe Inc. Summarizing video content based on memorability of the video content
US11626139B2 (en) * 2020-10-28 2023-04-11 Meta Platforms Technologies, Llc Text-driven editor for audio and video editing
US11875016B2 (en) 2021-05-17 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying media items shared from distinct applications
US11941237B2 (en) * 2021-05-17 2024-03-26 Apple Inc. Devices, methods, and graphical user interfaces for automatically providing shared content to applications

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914719A (en) * 1996-12-03 1999-06-22 S3 Incorporated Index and storage system for data provided in the vertical blanking interval
CN102591912A (zh) * 2006-10-06 2012-07-18 联合视频制品公司 在交互媒体导引应用程序中获得、分类以及传送媒体的系统和方法
CN103635892A (zh) * 2011-07-07 2014-03-12 索尼电脑娱乐美国公司 自动创建用于分享照片的群体
US20140169767A1 (en) * 2007-05-25 2014-06-19 Tigerfish Method and system for rapid transcription
US20140188997A1 (en) * 2012-12-31 2014-07-03 Henry Will Schneiderman Creating and Sharing Inline Media Commentary Within a Network
US20170161382A1 (en) * 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
WO2017124116A1 (en) * 2016-01-15 2017-07-20 Bao Sheng Searching, supplementing and navigating media

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US6898620B1 (en) * 1996-06-07 2005-05-24 Collaboration Properties, Inc. Multiplexing video and control signals onto UTP
US6772229B1 (en) * 2000-11-13 2004-08-03 Groupserve, Inc. Centrifugal communication and collaboration method
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US8068546B2 (en) * 2002-08-29 2011-11-29 Riip, Inc. Method and apparatus for transmitting video signals
US7142848B2 (en) * 2004-02-26 2006-11-28 Research In Motion Limited Method and system for automatically configuring access control
US8538393B1 (en) * 2004-09-21 2013-09-17 Advanced Ground Information Systems, Inc. Method to provide ad hoc and password protected digital and voice networks
US20060161620A1 (en) * 2004-12-30 2006-07-20 Microsoft Corporation Extensible activities within collaboration sessions
WO2007130400A2 (en) * 2006-05-01 2007-11-15 Zingdom Communications, Inc. Web-based system and method of establishing an on-line meeting or teleconference
US20080254434A1 (en) * 2007-04-13 2008-10-16 Nathan Calvert Learning management system
US8194117B2 (en) * 2007-08-08 2012-06-05 Qnx Software Systems Limited Video phone system
US10395187B2 (en) * 2008-02-11 2019-08-27 Clearshift Corporation Multilevel assignment of jobs and tasks in online work management system
US20090313546A1 (en) * 2008-06-16 2009-12-17 Porto Technology, Llc Auto-editing process for media content shared via a media sharing service
US20110289155A1 (en) * 2010-05-20 2011-11-24 Kambiz David Pirnazar Method and Apparatus for the Implementation of a Real-Time, Sharable Browsing Experience
CN102271376B (zh) * 2010-06-02 2015-04-08 宏达国际电子股份有限公司 处理分组交换以及电路交换通讯服务的方法
US9124757B2 (en) * 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US8826354B2 (en) * 2010-12-01 2014-09-02 At&T Intellectual Property I, L.P. Method and system for testing closed caption content of video assets
WO2012175556A2 (en) * 2011-06-20 2012-12-27 Koemei Sa Method for preparing a transcript of a conversation
US8826150B1 (en) * 2012-01-25 2014-09-02 Google Inc. System and method for tagging images in a social network
US20130198629A1 (en) * 2012-01-28 2013-08-01 Microsoft Corporation Techniques for making a media stream the primary focus of an online meeting
JP6171263B2 (ja) * 2012-03-19 2017-08-02 株式会社リコー 遠隔会議システム及び遠隔会議端末
US9792285B2 (en) * 2012-06-01 2017-10-17 Excalibur Ip, Llc Creating a content index using data on user actions
US8963986B2 (en) * 2012-07-26 2015-02-24 Cisco Technology, Inc. System and method for scaling a video presentation based on presentation complexity and room participants
US9174085B2 (en) * 2012-07-31 2015-11-03 John Paul Foley Exercise system and method
US9749367B1 (en) * 2013-03-07 2017-08-29 Cisco Technology, Inc. Virtualization of physical spaces for online meetings
US9282124B2 (en) * 2013-03-14 2016-03-08 Twilio, Inc. System and method for integrating session initiation protocol communication in a telecommunications platform
EP2974294B1 (en) * 2013-03-15 2021-04-21 Verizon Patent and Licensing Inc. Provision of video conferencing services using a micropop to extend media processing into enterprise networks
US9781385B2 (en) * 2013-03-15 2017-10-03 Blue Jeans Network User interfaces for presentation of audio/video streams
WO2015002984A1 (en) * 2013-07-01 2015-01-08 Commercial Arts & Sciences Apparatus, system, and method for facilitating skills training
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
US20160253910A1 (en) * 2014-02-26 2016-09-01 Cynthia A. Fisher System and Method for Computer Guided Interaction on a Cognitive Prosthetic Device for Users with Cognitive Disabilities
US9516269B2 (en) * 2014-06-04 2016-12-06 Apple Inc. Instant video communication connections
US9813670B2 (en) * 2014-08-20 2017-11-07 Liveoak Technologies, Inc. Online conference system with real-time document transaction platform
US9344681B2 (en) * 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
US10666696B2 (en) * 2014-09-05 2020-05-26 Minerva Project, Inc. System and method for a virtual conference interactive timeline
US9473742B2 (en) * 2014-10-27 2016-10-18 Cisco Technology, Inc. Moment capture in a collaborative teleconference
US20160142450A1 (en) * 2014-11-17 2016-05-19 General Electric Company System and interface for distributed remote collaboration through mobile workspaces
JP6503148B1 (ja) * 2016-02-26 2019-04-17 アマゾン テクノロジーズ インコーポレイテッド 音声/ビデオ記録通信装置からのビデオ映像のシェアリング関連出願の相互参照
US10397528B2 (en) * 2016-02-26 2019-08-27 Amazon Technologies, Inc. Providing status information for secondary devices with video footage from audio/video recording and communication devices
US10489438B2 (en) * 2016-05-19 2019-11-26 Conduent Business Services, Llc Method and system for data processing for text classification of a target domain
US10250848B2 (en) * 2016-06-03 2019-04-02 Avaya Inc. Positional controlled muting
US20170371496A1 (en) * 2016-06-22 2017-12-28 Fuji Xerox Co., Ltd. Rapidly skimmable presentations of web meeting recordings
US20180124359A1 (en) * 2016-10-31 2018-05-03 Microsoft Technology Licensing, Llc Phased experiences for telecommunication sessions
US10592867B2 (en) * 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US20180139413A1 (en) * 2016-11-17 2018-05-17 Jie Diao Method and system to accommodate concurrent private sessions in a virtual conference
US20180143956A1 (en) * 2016-11-18 2018-05-24 Microsoft Technology Licensing, Llc Real-time caption correction by audience
US9942519B1 (en) * 2017-02-21 2018-04-10 Cisco Technology, Inc. Technologies for following participants in a video conference
US10375125B2 (en) * 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US20180341374A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Populating a share-tray with content items that are identified as salient to a conference session
US20180359293A1 (en) * 2017-06-07 2018-12-13 Microsoft Technology Licensing, Llc Conducting private communications during a conference session
US10439835B2 (en) * 2017-08-09 2019-10-08 Adobe Inc. Synchronized accessibility for client devices in an online conference collaboration

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914719A (en) * 1996-12-03 1999-06-22 S3 Incorporated Index and storage system for data provided in the vertical blanking interval
CN102591912A (zh) * 2006-10-06 2012-07-18 联合视频制品公司 在交互媒体导引应用程序中获得、分类以及传送媒体的系统和方法
US20140169767A1 (en) * 2007-05-25 2014-06-19 Tigerfish Method and system for rapid transcription
CN103635892A (zh) * 2011-07-07 2014-03-12 索尼电脑娱乐美国公司 自动创建用于分享照片的群体
US20140188997A1 (en) * 2012-12-31 2014-07-03 Henry Will Schneiderman Creating and Sharing Inline Media Commentary Within a Network
CN104956357A (zh) * 2012-12-31 2015-09-30 谷歌公司 在网络内创建和共享内联媒体评论
US20170161382A1 (en) * 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
WO2017124116A1 (en) * 2016-01-15 2017-07-20 Bao Sheng Searching, supplementing and navigating media

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532433A (zh) * 2019-09-03 2019-12-03 北京百度网讯科技有限公司 视频场景的实体识别方法、装置、电子设备和介质

Also Published As

Publication number Publication date
US11463748B2 (en) 2022-10-04
US10129573B1 (en) 2018-11-13
CN110019934B (zh) 2023-07-14
US20190089994A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
US11657094B2 (en) Memory grounded conversational reasoning and question answering for assistant systems
CN110019934A (zh) 识别视频的相关性
US10999650B2 (en) Methods and systems for multimedia content
US10924808B2 (en) Automatic speech recognition for live video comments
US11328116B2 (en) Intelligently identifying collaborators for a document
KR101667220B1 (ko) 소셜 네트워킹 시스템에서 유연한 문장의 생성을 위한 방법 및 시스템
US8799300B2 (en) Bookmarking segments of content
US10645460B2 (en) Real-time script for live broadcast
US20190130185A1 (en) Visualization of Tagging Relevance to Video
US20150339295A1 (en) Methods and systems for storage of media item metadata
AU2016423749A1 (en) Video keyframes display on online social networks
US20130268826A1 (en) Synchronizing progress in audio and text versions of electronic books
US11190557B1 (en) Collaborative remote interactive platform
US20150287069A1 (en) Personal digital engine for user empowerment and method to operate the same
CN109643540A (zh) 用于人工智能语音演进的系统和方法
CN110476162B (zh) 使用导航助记符控制显示的活动信息
US11036984B1 (en) Interactive instructions
EP3374879A1 (en) Provide interactive content generation for document
JP7225380B2 (ja) 音声パケット記録機能のガイド方法、装置、デバイス、プログラム及びコンピュータ記憶媒体
US20170004859A1 (en) User created textbook
CN106030572B (zh) 与外部内容项的经编码的关联
US20230289382A1 (en) Computerized system and method for providing an interactive audio rendering experience
Chang et al. Report of 2017 NSF workshop on multimedia challenges, opportunities and research roadmaps
US11861736B1 (en) Social-network communications with music compositions
WO2023135449A1 (en) System and method for interactive synchronized transcription

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant