CN105009599B - 精彩时刻的自动标识 - Google Patents

精彩时刻的自动标识 Download PDF

Info

Publication number
CN105009599B
CN105009599B CN201380073574.5A CN201380073574A CN105009599B CN 105009599 B CN105009599 B CN 105009599B CN 201380073574 A CN201380073574 A CN 201380073574A CN 105009599 B CN105009599 B CN 105009599B
Authority
CN
China
Prior art keywords
module
wonderful time
video
wonderful
criterion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380073574.5A
Other languages
English (en)
Other versions
CN105009599A (zh
Inventor
T·S·圣克莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/731,681 external-priority patent/US9712800B2/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN105009599A publication Critical patent/CN105009599A/zh
Application granted granted Critical
Publication of CN105009599B publication Critical patent/CN105009599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions

Abstract

本发明公开了精彩时刻的自动标识,其中公开了一种用于从视频数据标识一个或多个精彩时刻的系统和方法。在一个实施例中,该系统包括视频接收模块、标识准则模块、时刻标识模块和呈现模块。该视频接收模块接收视频数据。该标识准则模块确定用于标识精彩时刻的一个或多个准则。该一个或多个准则至少部分基于以下各项中的一项或多项:视频指示符和面部指示符。该时刻标识模块至少部分基于该一个或多个准则在视频数据中自动标识至少一个精彩时刻。该至少一个精彩时刻基于视频数据的子集。该呈现模块发送所标识的至少一个精彩时刻以用于向至少一个用户呈现。

Description

精彩时刻的自动标识
相关申请的交叉引用
本申请在35U.S.C.§120下要求2012年12月20日提交的名称为“Segmenting aRecording of a Multi-Party Communication Session into Question and AnswerUnits”的美国专利申请第13/722,683号和2012年12月31日提交的名称为“AutomaticIdentification of a Notable Moment”的美国专利申请第13/731,681号的优先权,其全部内容由此通过引用并入于此。
背景技术
摄影师试图拍摄重要时刻。特别地,摄影师试图拍摄“不可思议的”或者其它可标识的事情所发生的这些时刻,例如当一个人的爱人求婚时或者当异常兴奋的事情发生时,拍摄他/她的表情。视频通过拍摄一段时间而使得拍摄一个时刻更容易。然而,例如在视频很长时,回放整个视频以查看某个时刻很浪费时间并且通常不可取。可以编辑视频以在例如从视频帧得到的视频剪辑或者图像中仅仅包括精彩时刻(notable moment)。然而,当前用于将视频仅仅编辑为精彩时刻的系统很浪费时间并且通常表现不好。这在其中不存在专用摄影师的情况下格外如此。所缺少的一件事情是自动标识视频中的一个或多个精彩时刻以及自动生成包括一个或多个精彩时刻的视频的子集的能力。所缺少的另一件事情是公司可以将通信会话呈现作为它们的广告的一部分并且在多方通信会话的视频中标识一个或多个精彩时刻的过程。
发明内容
说明书至少部分通过提供一种用于从视频数据标识一个或多个精彩时刻的系统和方法客服了现有技术的缺陷和限制。说明书涉及从视频数据标识一个或多个精彩时刻。
根据本公开中所描述的主题的一个新颖性方面,视频接收模块接收视频数据。标识准则模块确定用于标识精彩时刻的一个或多个准则。一个或多个准则至少部分基于以下各项中的一项或多项:音频指示符和面部指示符。时刻标识模块至少部分基于一个或多个准则在视频数据中自动标识至少一个精彩时刻。至少一个精彩时刻基于视频数据的子集。呈现模块发送所标识的至少一个精彩时刻以用于向至少一个用户呈现。
总体上,本公开中所描述的主题的另一新颖性方面可以在方法中实施,所述方法包括:使用一个或多个设备接收视频数据;使用所述一个或多个设备确定用于标识精彩时刻的一个或多个准则,所述一个或多个准则至少部分基于以下各项中的一项或多项:音频指示符和面部指示符;使用所述一个或多个设备至少部分基于所述一个或多个准则在所述视频数据中自动标识至少一个精彩时刻,所述精彩时刻基于所述视频数据的子集;以及使用所述一个或多个设备发送所标识的至少一个精彩时刻以用于向至少一个用户呈现。
其它方面包括对应的方法、系统、装置和计算机程序产品。这些和其它实现每个可以可选地包括以下特征中的一个或多个。比如,这些特征还包括:响应于标识多个精彩时刻,使用所述一个或多个设备将所述多个精彩时刻中的每个精彩时刻相互比较;使用所述一个或多个设备确定所述多个精彩时刻包括了相似精彩时刻;以及使用所述一个或多个设备从所述相似精彩时刻中选择第一相似精彩时刻,并且其中发送所述第一相似精彩时刻以用于呈现。比如,这些特征包括以下中的一个或多个:至少部分基于颜色饱和度来选择所述第一精彩时刻;所接收的视频数据是视频数据流,并且所述精彩时刻的自动标识与所述视频数据流的接收同步;所述视频数据是来自多方通信会话的直播视频流;所述音频指示符包括以下各项中的一项或多项:音量尖峰、欢呼和欢笑;所述面部指示符至少部分基于面部识别并且包括以下各项中的一项或多项:一张或多张人脸的存在、面对相机的一张或多张人脸、当前睁眼的人脸和当前微笑的人脸;所述精彩时刻是基于视频帧的图像;以及所述精彩时刻是视频剪辑。
本文中所描述的特征和优点不是包括一切的,并且很多附加特征和优点鉴于这些特征和优点会变得显而易见。另外,应当注意,说明书中所使用的语言原则上出于可读性和指令目的而被选择,而非限制本文中所公开的主题的范围。
附图说明
在附图的各图中,通过示例而非限制的方式来图示实施例,在附图中,相似的附图标记用于指代相似的元件。
图1图示根据一个实施例的用于从视频数据标识一个或多个精彩时刻的系统。
图2是图示根据一个实施例的计算设备的框图。
图3是图示根据一个实施例的多方通信应用的框图。
图4是图示根据一个实施例的问答模块的框图。
图5是图示根据一个实施例的用于将多方通信会话的记录分段成问答单元的方法的流程图。
图6是图示根据一个实施例的用于将多方通信会话的记录分段成问答单元的另一方法的流程图。
图7是图示根据一个实施例的时刻模块的框图。
图8是图示根据一个实施例的用于从视频数据标识一个或多个精彩时刻的方法的流程图。
图9是图示根据一个实施例的用于从视频数据标识一个或多个精彩时刻的方法的流程图。
具体实施方式
公开了用于从视频数据标识一个或多个精彩时刻的系统和方法。作为一个示例,在一个时刻未上演和/或转瞬即逝(例如适时的笑话、击球的棒球手或者触地得分的运动员)时,拍摄该时刻特别困难。通过记录视频并且将视频存储为视频数据使得拍摄该时刻更容易。该视频持续包括精彩时刻的时间段;然而,该视频通常可以包括不明显和不可取的时刻。使用现有的后期制作编辑方法在视频数据中标识精彩时刻(即明显的和/或可取的时刻)很浪费时间并且不理想;因此,期望一种减少或者消除用户标识精彩时刻必须花费的时间的机制。
例如,在一个实施例中,时刻模块接收视频数据,确定一个或多个准则,基于该一个或多个准则自动标识一个或多个精彩时刻以及向至少一个用户呈现该一个或多个精彩时刻。该准则可以包括音频指示符(例如音量尖峰、欢笑、欢呼等)和面部指示符(微笑、睁眼、惊奇的面部表情等)。该一个或多个精彩时刻基于视频数据的子集,并且在一个实施例中包括图像、视频剪辑或者其组合。
在下面的描述中,出于说明的目的,阐述大量特定细节以便提供对实施例的透彻理解。然而,本领域技术人员将显而易见,可以在没有这些特定细节的情况下来实践实施例。在其它情况下,用框图形式来示出结构和设备,以便避免对实施例的混淆。例如,下面参考用户界面和特定硬件来描述一个实施例。然而,本实施例适于能够接收数据和命令的任何类型的计算设备以及提供服务的任何外围设备。
在说明书中提及“一个实施例”或者“实施例”表示结合该实施例描述的特定的特征、结构或者特性被包括在至少一个实施例中。短语“在一个实施例中”在本说明书中的各个地方的出现不必要全部涉及同一实施例。
下面的详细描述的一些部分针对计算机存储器内的数据比特的操作的算法和符号表示来呈现。这些算法描述和表示是由数据处理领域技术人员用于最有效地向本领域其它技术人员传达他们的工作实质的手段。算法在这里并且通常被认为是产生期望的结果的步骤的自相容的序列。步骤是需要物理量的物理操纵的步骤。通常而非必须,这些量采用能够被存储、传送、组合、比较和以其它方式操纵的电信号或者磁信号的形式。已经证明,主要出于一般使用的目的而将这些信号称为比特、值、元件、符号、字符、项、数字等有时很方便。
然而,应当牢记,所有这些和类似的术语要与适当的物理量关联并且仅是适于这些物理量的方便的标签。除非特别声明,否则如根据下面的讨论显而易见的,应当理解,贯穿说明书,使用包括例如“处理”或者“计算”或者“运算”或者“确定”或者“显示”等术语的讨论是指计算机系统或者类似的电子计算设备的动作和处理,该类似的电子计算设备将被表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和变换成为类似地被表示为计算机系统存储器或者寄存器或者其它这样的信息存储、传输或者显示设备内的物理量的其它数据。
本实施例还涉及用于执行本文中的操作的装置。这一装置可以特别构造以用于所需要的目的,或者它可以包括由计算机中所存储的计算机程序来选择性地激活或者重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中,该计算机可读存储介质包括但不限于任何类型的盘(包括软盘、光盘、CD-ROM和磁盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或者光卡、闪存存储器(包括具有非易失性存储器的USB密钥)或者适合于存储电子指令的任何类型的介质,它们均耦合到计算机系统总线。
各实施例可以采用完全硬件实施例、完全软件实施例或者包含硬件和软件元件二者的实施例的形式。示例性实施例用软件来实现,该软件包括但不限于固件、常驻软件、微代码等。
另外,实施例可以采用计算机可用或者计算机可读介质可访问的计算机程序产品的形式,该计算机可用或者计算机可读介质提供用于通过或者结合计算机或者任何指令执行系统来使用的程序代码。出于这一描述的目的,计算机可用或者计算机可读介质可以是能够包含、存储、传输、传播或者输送程序用于通过或者结合指令执行系统、装置或者设备来使用的任何装置。
适于存储和/或执行程序代码的数据处理系统将包括直接或者通过系统总线间接耦合到存储器元件的至少一个处理器。该存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置以及提供至少一些程序代码的暂时存储以便减少在执行期间必须从大容量存储装置获取代码的次数的高速缓冲存储器。
输入/输出或者I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接或者通过中间I/O控制器耦合到系统。
网络适配器也可以耦合到系统,以使得数据处理系统能够变为通过中间专用或者公共网络耦合到其它数据处理系统或者远程打印机或者存储设备。调制解调器、线缆调制解调器和以太网卡仅是当前可用类型的网络适配器中的几个。
最后,本文中所呈现的算法和显示并不是固有地涉及任何特定的计算机或者其它装置。根据本文中的教导,各种通用系统可以与的程序一起使用,或者可以证明方便的是,构造更专用装置以执行所需要的方法步骤。用于各种这些系统的所需要的结构将从下面的描述中显而易见。另外,本实施例没有参考任何特定编程语言来描述。将理解,各种编程语言可以用于实现如本文中所描述的实施例的教导。
图1图示了根据一个实施例的用于从视频数据标识一个或多个精彩时刻的系统100的框图。所图示的系统100包括由用户125a、125b和125n(也被统称为用户125或者分别被称为用户125)访问的用户设备115a、115b和115n(也被统称为用户设备115或者分别被称为用户设备115)、服务器101、多方通信空间服务器170、电子邮件服务器123、搜索服务器180、社交网络服务器190和第三方应用服务器107。在图示的实施例中,这些实体经由网络105通信地耦合。虽然仅图示了3个用户设备115,然而任何数目的用户设备115可用于任何数目的用户125。
图1中的用户设备115通过示例方式来使用。虽然图1图示了3个用户设备115,然而本说明书适用于具有一个或多个用户设备115的任何系统架构。另外,虽然仅一个网络105被耦合到用户设备115、第三方应用服务器107、广告服务器101、搜索服务器180、电子邮件服务器123、社交网络服务器190和多方通信空间服务器170,然而实际上,任何数目的网络105可以连接到这些实体。另外,虽然仅示出一个第三方服务器107、一个电子邮件服务器123、一个搜索服务器180和一个社交网络服务器190,然而系统100可以包括任何数目的服务器107、123、180和190。
虽然仅示出一个多方通信空间服务器170,然而将认识到,可以存在多个服务器170。在一个实施例中,多方通信空间服务器170包括社交网络,或者被包括在社交网络内。社交网络是其中用户通过公共特征而被连接的任何类型的社交结构。实施例包括但不限于博客、微博和因特网论坛。公共特征包括友谊、家庭、共同兴趣等。
在一个实施例中,多方通信应用109a被包括在多方通信空间服务器170中并且在多方通信空间服务器170上可操作,该多方通信空间服务器170经由信号线146连接到网络105。在另一实施例中,多方通信应用109b被包括在第三方应用服务器107中并且在第三方应用服务器107上可操作,该第三方应用服务器107经由信号线106连接到网络105。在另一实施例中,多方通信应用109c被包括在社交网络服务器190中并且在社交网络服务器190上可操作,社交网络服务器190经由信号线140连接到网络105。在又一实施例中,第三方通信应用(未示出)可以分别被包括在其它计算设备115、123中的一个或多个中并且在一个或多个其它设备115、123上可操作。将认识到,多方通信应用109a/109b/109c(统称为第三方通信应用109)可以按照任意组合存储在服务器101、107、170、190和用户设备115上。在一些实施例中,多方通信应用109包括彼此协作以执行下面描述的功能的多个分布式模块。根据一个实施例,下面参考图3、4和7进一步详细地说明描述多方通信应用109的功能和部件的细节。
虽然仅示出一个广告服务器101,然而将认识到,可以存在多个广告服务器101。在一个实施例中,广告模块209a被包括在广告服务器101中并且在广告服务器101上可操作,该广告服务器101经由信号线104连接到网络105。在另一实施例中,广告模块209b被包括在第三方应用服务器107中并且在第三方应用服务器107上可操作,该第三方应用服务器107经由信号线106连接到网络105。在另一实施例中,广告模块209c被包括在社交网络服务器190中并且在社交网络服务器190上可操作,该社交网络服务器190经由信号线140连接到网络105。在又一实施例中,广告模块(未示出)可以分别被包括在其它计算设备115、123中的一个或多个中并且在一个或多个其它设备115、123上可操作。将认识到,广告模块209a/209b/209c(统称为广告模块209)可以按照任意组合存储在服务器101、107、170、190和用户设备115上。在一些实施例中,广告模块209包括彼此协作以执行下面描述的功能的多个分布式模块。下面关于图2进一步详细地说明描述广告模块209的功能和部件的细节。
网络105实现用户设备115、广告服务器101、多方通信空间服务器170、搜索服务器180、电子邮件服务器123、社交网络服务器190和第三方应用107服务器之间的通信。因此,网络105可以包括使用包括例如以下的技术的链路:Wi-Fi、Wi-Max、2G、通用移动通信系统(UMTS)、3G、Ethernet、802.11、综合业务数字网(ISDN)、数字用户线(DSL)、异步传输模式(ATM)、无限带宽技术、PCI Express高级交换等。类似地,网络105上所使用的连网协议可以包括传输控制协议/因特网协议(TCP/IP)、多协议标记切换(MPLS)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)、轻量级目录访问协议(LDAP)、码分多址(CDMA)、宽带码分多址(WCDMA)、全球移动通信系统(GSM)、高速下行链路分组接入(HSDPA)等。通过网络105交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的各种技术和/或格式来表示。另外,链路中的全部或者一些链路可以使用传统的加密技术(例如安全套接层(SSL)、安全HTTP和/或虚拟专用网络(VPN)或者因特网协议安全(IPsec))来加密。在另一实施例中,代替或者除了以上描述的技术,实体可以使用定制和/或专用数据通信技术。取决于实施例,网络105还可以包括到其它网络的链路。
在一个实施例中,网络105是部分公共网络或者完全公共网络,例如因特网。网络105还可以是专用网络或者包括一个或多个不同的或者逻辑专用网络(例如虚拟专用网络、广域网(“WAN”)和/或局域网(“LAN”))。另外,去往和来自网络105的通信链路可以是有线的或者无线的(即基于陆地或者卫星的收发器)。在一个实施例中,网络105是基于IP的广域网或者城域网。
在一些实施例中,网络105帮助形成用户125之间的在线关系的集合,其中这些关系例如由如下一个或多个社交网络系统提供的那些关系,该社交网络系统包括清楚地定义的关系和由与其它在线用户的社交连接隐含的关系,其中这些关系形成社交图。在一些示例中,该社交图可以反映这些用户的映射以及它们如何相关。
在图示的实施例中,用户设备115a、115b和115n分别经由信号线108、112和114耦合到网络105。用户125a可以与用户设备115a交互。类似地,用户125b可以与用户设备115b交互,用户125n可以与用户设备115n交互。第三方应用服务器107经由信号线106通信地耦合到网络105。电子邮件服务器123经由信号线144通信地耦合到网络105。搜索服务器180经由信号线142通信地耦合到网络150。广告服务器101经由信号线104通信地耦合到网络105。多方通信空间服务器170经由信号线146通信地耦合到网络105。在一个实施例中,该多方通信空间服务器170经由信号线102通信地耦合到数据存储装置110。社交网络服务器190经由信号线140通信地耦合到网络105。
在一个实施例中,数据存储装置110存储包括多方通信会话数据及其分段中的一个或多个的数据和信息。在一个实施例中,多方通信会话数据包括多方通信会话的记录,并且多方通信会话数据的分段包括多方通信会话的记录的分段。在一个实施例中,多方通信会话数据包括视频数据。在下面讨论的一个实施例中,存储设备214(参见图2)被包括在多方通信空间服务器170(即计算设备200)中,并且存储设备214存储包括多方通信会话数据及其分段中的一个或多个的数据和信息。
在一个实施例中,用户设备115是具有用于经由网络105来与系统100的各种服务器101、107、123、170、180、190和用户设备115交互的网页浏览器(未示出)的电子设备,并且用户125使用该用户设备115访问系统100中的信息。该用户设备115可以是例如膝上型计算机、台式计算机、平板计算机、移动电话、个人数字助理(PDA)、移动电子邮件设备、便携式游戏机、便携式音乐播放器或者能够访问网络的任何其它电子设备。本领域技术人员将认识到,其它类型的客户端设备115是可能的。在一个实施例中,系统100包括不同类型的客户端设备115的组合。例如,个人计算机、移动电话和平板计算机的组合。用户125是用户设备115的个人用户。
图2是根据一个实施例的计算设备200的框图。如图2中所图示的,计算设备200包括耦合到总线204的网络适配器202、处理器206、存储器208和存储设备214。在一个实施例中,存储器包括广告模块209和多方通信应用109中的一个或多个。在一个实施例中,总线204的功能由互连芯片集来提供。根据一个实施例,还耦合到总线204的是图形适配器210、输入设备212、图形适配器210和显示器218,该显示器218耦合到图形适配器210。
网络适配器202向各种系统100部件(例如用户设备115、第三方应用服务器107、社交网络服务器190等)发送数据并且从各种系统100部件接收数据。网络适配器202耦合到总线204。在一个实施例中,网络适配器202包括将物理连接引导至网络105或者另一通信信道的端口。例如,网络适配器202包括USB、SD、CAT-5或者用于与网络105有线连接的类似的端口。在另一实施例中,网络适配器202包括用于使用一个或多个无线通信方法(诸如IEEE802.11、IEEE 802.16、近场通信(NFC)或者另一合适的无线通信方法)来与网络105或者与另一通信信道交换数据的无线收发器。
处理器206可以是任何通用处理器。处理器206包括算术逻辑单元、微处理器、通用控制器或者用以执行计算并且执行代码和例程的某个其它处理器阵列。处理器206耦合到总线204用于与计算设备200的其它部件通信。处理器206处理数据信号并且可以包括各种计算架构,该计算架构包括复杂指令集计算机(CISC)架构、精简指令集计算机(RISC)架构或者实现指令集的组合的架构。虽然图2仅示出单个处理器,然而可以包括多个处理器。处理能力可以限于支持图像的显示以及图像的拍摄和传输。处理能力可以足以执行更复杂的任务,包括各种类型的特征提取和采样。计算设备200还包括由处理器可执行的操作系统,该操作系统包括但不限于基于MacOSX、Android或者的操作系统。本领域技术人员将清楚,其它处理器、操作系统、传感器、显示器和物理配置都是可能的。
存储器208是非暂态存储介质。存储器208保存可以由处理器206来执行的指令和/或数据。在一个实施例中,在存储器208上存储的指令和/或数据包括用于执行本文中所描述的技术中的任何和/或全部技术的代码。存储器208可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存存储器或者本领域已知的某个其它存储器设备。在一个实施例中,存储器208还包括非易失性存储器或者类似的永久性存储设备和介质,例如硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪存存储器设备、或者本领域已知的用于在更永久的基础上存储信息的某个其它大容量存储设备。存储器208通过总线204耦合以用于与计算设备200的其它部件的通信。在一个实施例中,广告模块209和多方通信应用109中的一个或多个存储在存储器208中并且由处理器206可执行。
在一个实施例中,计算设备200包括广告模块209。例如,在一个实施例中,计算设备200是广告服务器101。该广告模块209包括由处理器206可执行的用于基于一个或多个关键字信号来选择广告用显示的代码和例程。在一个实施例中,广告模块209是由处理器206可执行的指令的集合。在另一实施例中,广告模块209存储在存储器208中,并且由处理器206可访问和可执行。
在一个实施例中,广告模块209至少部分基于关键字信号来选择与多方通信会话关联的广告。在一个实施例中,与多方通信会话关联的广告构建与广告关联的品牌。例如,在一个实施例中,与广告关联的多方通信会话由广告商的用作主持人并且可以回答问题的代表或者雇员所组成。广告商获得来自接收问题的答案的用户的好感,并且广告商由于与用户的交互而具有更强的品牌。
在一个实施例中,计算设备200包括多方通信应用109。例如,在一个实施例中,计算设备200是多方通信空间服务器170。多方通信应用109包括由处理器206可执行用于开始和维持多方通信会话以及用于将多方通信会话的记录分段成问题单元和回答单元的代码和例程。在一个实施例中,多方通信应用109是由处理器206可执行的指令的集合。在另一实施例中,多方通信应用109存储在存储器208中并且由处理器206可访问和可执行。下面参考图3、4和7进一步详细说明描述多方通信应用109的功能和部件的细节。
在一个实施例中,计算设备200是社交网络服务器190。社交网络服务器190的实施例使得用户设备115的用户125能够在系统100内的用户设备115的其它用户125之间执行社交功能。在一个实施例中,数据网络服务器190包括社交网络,或者被包括在社交网络内。在另一实施例中,计算设备200是电子邮件服务器123。在另一实施例中,计算设备200是第三方服务器107。在另一实施例中,计算设备200是搜索服务器180。
存储设备214是能够保存数据的任何设备,如硬盘驱动器、光盘只读存储器(CD-ROM)、DVD或者固态存储器设备。存储设备214是非易失性存储器设备或者类似的永久性存储设备和介质。存储设备214存储用于处理器208的数据和指令,并且包括如下一个或多个设备,该一个或多个设备包括硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪存存储器设备或者本领域已知的某些其它大容量存储设备。在一个实施例中,计算设备200是广告服务器101,并且存储设备214存储广告服务器101的每个广告的数据和信息。在一个实施例中,计算设备200是多方通信空间服务器170,并且存储设备214存储包括多方通信会话数据及其分段中的一个或多个的数据和信息。
输入设备212可以包括鼠标、轨迹球或者用以向计算设备200中输入数据的其它类型的定点设备。输入设备212还可以包括键盘,例如QWERTY键盘或者使用任何语言的任何其它物理键盘或者软键盘。输入设备212还可以包括麦克风、网页相机或者类似的音频或视频拍摄设备。图形适配器210在显示器218上显示图像和其它信息。显示器218是传统的类型,例如液晶显示器(LCD)或者任何其它类似地被配备的显示设备、屏幕、触摸屏或者监视器。显示器218表示被配备成显示如本文中所描述的电子图像和数据的任何设备。网络适配器202将计算设备200耦合到局域网或者广域网。
如本领域已知的,计算设备200可以具有与图2所示的那些不同的或者其它的部件。例如,计算设备可以具有扬声器或者另一形式的音频输出。另外,计算设备200可以缺少某些图示的部件。例如,在一个实施例中,计算设备200是多方通信空间服务器170并且缺少输入设备212、图形适配器210和/或显示器218。另外,存储设备214可以是计算设备200的本地和/或远程设备(例如存储区域网(SAN))。
如本领域已知的,计算设备200被适配成执行用于提供本文中所描述的功能的计算机程序模块。如本文中所使用的,术语“模块”是指用于提供指定功能的计算机程序逻辑。因此,模块可以用硬件、固件和/或软件来实现。在一个实施例中,程序模块存储在存储设备214上,被加载到存储器208中并且由处理器206来执行。
本文中所描述的实体的实施例可以包括与这里所描述的那些不同的或者其它的模块。另外,向模块分配的功能可以由在其它实施例中的其它的或者不同的模块来执行。另外,本说明书出于清楚和方便的目的偶尔省略术语“模块”。
现在参考图3,根据一个实施例更详细地示出多方通信应用109。图3是根据一个实施例的计算设备200(例如多方通信空间服务器170)中所包括的多方通信应用109的框图。
在一个实施例中,多方通信应用109包括通信接口302、参与者管理模块304、会话管理模块306、会话记录模块308、问答模块310和时刻模块312。问答模块310在本文中偶尔被称为QA模块310。在一个实施例中,多方通信应用109包括时刻模块,并且QA模块310可选地被省略(未示出)。
将认识到,多方通信应用109中所包括的模块302、304、306、308、310、312并非必须全部在同一计算设备200上。在一个实施例中,模块302、304、306、308、310、312分布在多个计算设备200上。例如,在一个实施例中,时刻模块312被包括在一个多方通信空间服务器170中,并且其它模块302、304、306、308、310被包括在另一多方通信空间服务器170中。在另一示例中,时刻模块312被包括在社交网络服务器190中,并且其它302、304、306、308、310被包括在多方通信空间服务器170中。将认识到,以上仅是在多个计算设备200上分布模块的示例并且存在其它示例。
通信接口302包括用于处理参与者管理模块304、会话管理模块306、会话记录模块308、问答模块310、时刻模块312和计算设备200的其它部件之间的通信的代码和例程。在一个实施例中,通信接口302是由处理器206可执行的指令的集合。在另一实施例中,通信接口302存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,通信接口302被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。
通信接口302处理参与者管理模块304、会话管理模块306、会话记录模块308、问答模块310和计算设备200的其它部件之间的通信。例如,通信接口202与会话记录模块308以及QA模块310和时刻模块312中的一个或多个通信,以向QA模块310和/或时刻模块312传递会话记录模块308的输出(即多方通信会话数据)。然而,本说明书可以出于清楚和方便的目的偶尔省略对通信接口302的提及。例如,出于清楚和方便的目的,以上场景可以被描述为向QA模块310和/或时刻模块312传递多方通信会话数据的会话记录模块308。
参与者管理模块304包括用于管理多方通信会话的参与者的代码和例程。在一个实施例中,参与者管理模块304是由处理器206可执行的指令的集合。在另一实施例中,参与者管理模块304存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,参与者管理模块304被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。
参与者管理模块304管理多方通信会话的参与者。例如,参与者管理模块304向多方通信会话添加参与者以及从多方通信会话去除参与者。多方通信应用109的实施例使得多方通信会话的参与者能够通信。例如,在一个实施例中,多方通信会话的参与者全部连接到计算设备200,该计算设备200是包括多方通信应用109的中央服务器(例如多方通信空间服务器170)。在另一实施例中,多方通信会话使用点到点通信。
多方通信会话实现音频和视频通信中的一个或多个。多方通信会话的示例包括但不限于聊天会话、语音会议、视频会议等中的一个或多个。在一个实施例中,多方通信会话显示参与用户的视频或者其它表示。在一个这样的实施例中,多方通信会话包括音频和视频通信二者。
在一个实施例中,多方通信会话包括主要参与者(例如主持人)以及一个或多个次要参与者,并且多方通信应用109使得用户能够彼此通信。
参与者管理模块304向多方通信会话添加用户。在一个实施例中,参与者管理模块304响应于该用户选择与广告关联的选择元件来向与广告关联的多方通信会话添加次要的参与者。例如,假定用户选择与多方通信会话关联的广告的选择元件,则在一个实施例中,参与者管理模块304向与该广告关联的多方通信会话添加用户作为参与者。
在一个实施例中,用户可以选择成为多方通信会话中的被动参与者或者主动参与者,并且参与者管理模块304相应地向多方通信会话添加用户。在一个实施例中,与多方通信会话关联的广告包括多个选择元件,并且响应于对第一选择元件的选择,参与者管理模块304添加用户作为主动参与者,并且响应于对第二选择元件的选择,参与者管理模块304添加用户作为被动参与者。
在一个实施例中,被动参与者是能够查看和/或倾听多方通信会话但是不能被其它参与者看到和/或听到的参与者,即,在一个实施例中,被动参与者从多方通信会话的主动参与者接收单边通信。在一个实施例中,主动参与者是除了查看和/或倾听多方通信会话之外还能够被多方通信会话中的其它参与者查看到和/或倾听到的参与者,即,在一个实施例中,主动参与者发送和接收多方通信会话的双边通信。在一个实施例中,仅主动参与者可以询问或者响应问题。在一个实施例中,主持人是主动参与者。
在一个实施例中,多方通信会话是公开的以使得任何用户能够加入多方通信会话。在一些实施例中,参与者管理模块304向经历用户登录的多方通信会话添加用户。例如,在一个实施例中,用户必须登录多方通信空间服务器170以便加入多方通信会话。
参与者管理模块304从多方通信会话去除参与者。例如,参与者管理模块304在用户注销时或者响应于主持人从多方通信会话去除参与者的请求而从多方通信会话去除参与者。
会话管理模块306包括用于管理多方通信会话的代码和例程。在一个实施例中,会话管理模块306是由处理器206可执行的指令的集合。在另一实施例中,会话管理模块306存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,会话管理模块306被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。
会话管理模块306管理多方通信会话。管理多方通信会话的示例包括但不限于对参与者排队、维护多方通信会话的礼仪等中的一个或多个。
在一个实施例中,会话管理模块306包括可选的礼仪模块(未示出)。该礼仪模块执行一个或多个惩戒措施。该惩戒措施的示例包括但不限于使参与者禁言、从多方通信会话去除参与者等中的一个或多个。在一个实施例中,该惩戒措施由礼仪模块响应于从主要用户接收到请求来执行。例如,假定主持人请求从多方通信会话去除破坏性或者没礼貌的参与者。在一个实施例中,礼仪模块去除该参与者或者与参与者管理模块304协调以使得该参与者从多方通信会话被去除。
在一个实施例中,多方通信会话是问答多方通信会话。问答多方通信会话在本文中偶尔被称为“QA会话”。QA会话是包括其中参与者询问问题并且从另一参与者接收答案的问答格式的多方通信会话。在一个实施例中,与广告关联的多方通信会话是QA会话。
在一个实施例中,会话管理模块306包括可选的排队模块(未示出)。在一个实施例中,会话管理模块306对QA会话的参与者排队。例如,在一个实施例中,会话管理对QA会话的参与者排队,并且参与者各自按照所排序的顺序询问问题,使得每个参与者被给予询问他/她问题并且接收答案的机会。在一个实施例中,主要的用户回答QA会话中的问题。例如,主持人依次回答每个参与者的问题。在一个实施例中,任何主动参与者都可以回答另一参与者的问题。例如,当某个人到达队列前面时,他/她询问问题,并且其它参与者(可以包括或者可以不包括主持人)回答问题,讨论备选答案等。
会话记录模块308包括用于记录多方通信会话的代码和例程。在一个实施例中,会话记录模块308是由处理器206可执行的指令的集合。在另一实施例中,会话记录模块308存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,会话记录模块308被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。
会话记录模块308记录多方通信会话作为多方会话数据。例如,会话记录模块308接收QA会话的参与者的视频流和音频流并且将这些流存储作为多方通信会话数据,其在本文中偶尔被称为“会话数据”。在一个实施例中,会话记录模块308记录与广告关联的QA会话的多方通信会话。
根据一些实施例,QA会话可以持续几个小时,并且包括与各种不同话题有关的问答的评分。例如,假定QA会话包括与洗衣粉公司关联的主持人,则在一个实施例中,会话记录模块记录QA会话持续了主持人班次的持续时间并且包括主持人对几十个问题的回答,这些问题包括例如如何去除各种特定衣服污渍(包括血渍、草渍、油脂污渍和红酒污渍)、前置式洗衣机和顶置式洗衣机的优点和缺点、高效洗衣粉和一般洗衣粉之间的区别、冷水清洗的优点和缺点等。
在一个实施例中,会话记录模块308向QA模块310和时刻模块312中的一个或多个传递会话数据。例如,会话记录模块308通信地耦合到QA模块310,以向QA模块310和时刻模块312中的一个或多个发送会话数据。在另一实施例中,会话记录模块308(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储会话数据。包括QA模块310和时刻模块312中的一个或多个的多方通信应用109的其它模块可以通过访问存储设备214(或者其它非暂态存储介质)来获取会话数据。
QA模块310包括用于将多方通信会话数据分段成问答单元的代码和例程,该问答单元在本文中偶尔被称为“QA单元”。在一个实施例中,QA模块310是由处理器206可执行的指令的集合。在另一实施例中,QA模块310存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,QA模块310被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。下面关于图4进一步详细地说明描述QA模块310的功能和部件的细节。
在一个实施例中,QA单元是包括参与者的问题和对该问题的响应的记录的多方通信会话数据的一部分。例如,假定多方通信会话数据是来自以上示例的QA会话的会话数据,则在一个实施例中,QA模块将多方通信会话数据分段成多个QA单元,使得第一QA单元包括关于如何去除血渍的数据,第二QA单元包括关于如何去除草渍的数据,第三QA单元包括关于如何去除油脂污渍的数据,第四QA单元包括关于如何去除红酒污渍的数据,第五QA单元包括关于前置式洗衣机和顶置式洗衣机的优点和缺点的数据等。
将多方通信会话数据分成QA单元可以提供大量优点。例如,假定一般的洗衣问题是如何去除草渍,则在一个实施例中,包括问题“如何去除草渍”和主持人的响应的数据的QA单元可以在频繁询问的问题(“FAQ”)网页或者用于与草渍去除关联的搜索的搜索结果页面上被链接。用户然后可以选择该链接并且查看该响应,而不查看/倾听先前记录的多方通信会话的无关部分直至主持人解决草渍去除,以及不加入正在进行的QA会话并且等待询问关于去除草渍的机会。换言之,会话数据的分段可以生成如下内容:该内容使得用户能够高效地接收对用户的问题的回答,而不必在多方通信会话队列中等待以询问问题,或者播放多方通信会话记录直至播放到与用户的问题相关的会话的部分。
会话数据的分段可以使得主持人能够将参与者引向包括先前记录的对先前询问的类似问题的响应的QA单元,从而减少主持人重复这些所花费的时间量并且增加所解决的不同话题和问题的数目。另外,会话数据的分段可以通过将主持人和QA会话关联的品牌/公司包含在QA单元的创建和随后的回放中而增加与该主持人和QA会话关联的品牌/公司所接收的主动曝光量。例如,假定在用于去除草渍的搜索结果中显示关于去除草渍的QA单元。洗衣粉公司可以通过在因特网搜索结果中的QA单元中出现说明用于从衣服去除草渍的最佳实践的、佩戴公司标志的雇员之一来获得客户好感。下面关于图4进一步详细说明描述QA模块310的功能和部件的另外的细节。
时刻模块312包括用于从视频数据标识一个或多个精彩时刻的代码和例程。在一个实施例中,时刻模块312是由处理器206可执行的指令的集合。在另一实施例中,时刻模块312存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,时刻模块312被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109的其它部件的协作和通信。
由时刻模块312对精彩时刻的标识可以有益地使得摄影师更容易地拍摄电影上的时刻。例如,不是使得人们为了图片摆姿势,以及使得人们拍摄一张或多张照片以希望当照片拍摄时拍摄对象全部都在笑并且没有人眨眼,而是可以记录视频作为视频数据,并且在一个实施例中,时刻模块312从视频数据标识其中所有拍摄对象都在笑并且没有人闭眼的视频帧,并且将该图像呈现作为精彩时刻。在另一示例中,不是设法拍摄棒球手接触球的时刻的照片,而是可以记录视频作为视频数据,并且在一个实施例中,时刻模块312基于对球棒的击球声(即音量尖峰)而从视频数据标识视频帧,并且呈现该视频帧的图像。由时刻模块312对精彩时刻的标识可以有益地减少编辑视频所花费的时间量。例如,假定讲话的视频包括笑话,不是用户手动编辑视频以创建包括笑话的视频剪辑,而是在一个实施例中,时刻模块312在视频数据中标识欢笑并且呈现包括在欢笑之前的部分视频的视频剪辑。下面关于图7进一步详细说明描述时刻模块312的功能和部件的细节。
现在参考图4,更详细地示出根据一个实施例的QA模块310。图4是根据一个实施例的多方通信应用109的QA模块310的框图。
在一个实施例中,QA模块310包括会话数据接收模块404、单元信号标识模块406、可选的反馈模块408和单元分段模块410。
会话数据接收模块404包括用于接收多方通信会话数据的代码和例程。在一个实施例中,会话数据接收模块404由处理器206可执行的指令的集合。在另一实施例中,会话数据接收模块404存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,会话数据接收模块404被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109和QA模块310的其它部件的协作和通信。
会话数据接收模块404接收多方通信会话数据。在一个实施例中,会话数据接收模块实时地接收会话数据。例如,在一个实施例中,会话数据接收模块404接收会话数据,该会话数据通过会话记录模块308来记录。这样的实施例可以有益地实现如下的(在多方通信会话正在进行时的)同步,即通过单元信号标识模块406来标识单元信号以及通过单元分段模块410来将会话数据分段成为QA单元。在另一实施例中,通过单元信号标识模块406来标识单元信号以及通过单元分段模块410来将会话数据分段成为QA单元与多方通信会话是异步的。例如,在一个实施例中,会话数据接收模块404在多方通信会话结束时接收会话数据。例如,当多方通信会话已经结束时,在一个实施例中,会话记录模块308发送会话数据,并且会话数据接收模块404响应于多方通信会话结束来接收会话数据。
在一个实施例中,会话数据接收模块404向单元信号标识模块406发送多方通信会话数据。例如,会话数据接收模块404通信地耦合到单元信号标识模块406以向该单元信号标识模块406发送多方通信会话数据。在另一实施例中,会话数据接收模块404(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储多方通信会话数据。包括单元信号标识模块406的QA模块310的其它部件能够通过访问存储设备214(或者其它非暂态存储介质)来获取多方通信会话数据。
单元信号标识模块406包括用于标识一个或多个单元信号的代码和例程。在一个实施例中,单元信号标识模块406是由处理器206可执行的指令的集合。在另一实施例中,单元信号标识模块406存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,单元信号标识模块406被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109和QA模块310的其它部件的协作和通信。
单元信号标识模块406标识一个或多个单元信号。在一个实施例中,单元信号是表示对问题的响应的结束以及问题的开始中的一个或多个的信号。在一个实施例中,单元信号标识模块406用时间戳标识一个或多个单元信号。单元信号的示例包括主持人单元信号和社交线索中的一个或多个。
在一个实施例中,单元信号是主持人单元信号。主持人单元信号是从主持人接收到的表示对问题的响应已经完成、表示问题正在开始、或者表示这二者的信号。主持人单元信号的示例包括排队信号和主持人标记中的一个或多个。例如,假定由会话管理模块306在QA会话中对参与者排队并且当主持人使队列前进时,队列中的下一参与者询问他的/她的问题。在一个实施例中,单元信号标识模块406接收主持人使队列前进作为表示前一参与者的问题已经被回答并且下一参与者即将询问问题的排队信号,并且信号标识模块406生成表示主持人使队列前进的时间的时间戳。在另一示例中,假定在图形用户界面中向主持人显示单元标记按钮,主持人在问题开始和/或响应完成时选择该单元标记按钮,在一个实施例中,单元信号标识模块406基于对主持人标记按钮的选择来标识单元信号。
在一个实施例中,单元信号是社交线索。社交线索是人们认识为指示如下内容的指示符,该指示符指示问题已经被询问或者指示对问题的响应已经完成。在一个实施例中,社交线索基于姿势或者讲话中的一个或多个。为了清楚和方便,基于讲话的社交线索的示例使用英文。然而,将认识到,社交线索可以随着语言和文化而变化并且认识到本说明书的实现不限于仅一种语言或者文化。
在一个实施例中,基于讲话的社交线索基于措辞和韵律中的一个或多个。为了总结和简化,在一个实施例中,基于讲话的社交线索基于说了什么(即措辞)以及如何说(即韵律)中的一个或多个。在一个实施例中,基于讲话的社交线索至少部分基于讲话的措辞。表示问题的开始的讲话的措辞的示例包括但不限于参与者陈述的以下内容中的一个或多个:“我的问题是”、“我刚在想”、“我是不是应当/能够/可以”、“你是不是能够/可以/会”、“谁”、“什么”、“哪里”、“为什么”、“如何”等。指示对问题的响应的讲话的示例包括但不限于参与者/主持人陈述的以下内容中的一个或多个:跟随有“是”的“还有任何其它问题吗”、“我还能帮你什么吗”、“下一问题”、“那个回答了你的问题吗”等。
在一个实施例中,基于讲话的社交线索至少部分基于一个或多个韵律。例如,假定在发布问题时某个人的节奏减慢,在一个实施例中,单元信号标识模块406使用时间戳来标识参与者的节奏何时减慢。在另一示例中,假定在QA会话中,主持人是回答问题的参与者并且其它参与者在等待回答问题时保持沉默,则在一个实施例中,单元信号标识模块406(例如基于音高、音调、通信信道等中的一个或多个)确定不同的参与者正在讲话并且标识指示在不同的参与者开始谈论时前一参与者的响应已经完成的单元信号以及不同的参与者的问题在他/她开始讲话时开始的时间戳。
在一个实施例中,社交线索至少部分基于姿势。例如,假定QA会话包括音频并且在参与者开始询问问题时该参与者向前倾斜,则在一个实施例中,单元信号标识模块406确定参与者何时向前倾斜并且生成与参与者何时向前倾斜关联的时间戳。在另一示例中,假定QA会话包括视频并且在响应于问题时参与者的手势更频繁和显著,则在一个实施例中,单元信号标识模块406确定参与者的姿势何时在频率和比例方面减少并且生成指示响应完成的时间戳。
在一个实施例中,单元信号标识模块406使用学习算法来标识一个或多个单元信号。在一个实施例中,该学习算法至少部分基于主持人单元信号来训练。例如,在一个实施例中,单元信号标识模块406接收主持人单元信号并且训练学习算法以识别在主持人单元信号前面或后面的社交线索。在一个实施例中,单元信号标识模块406随后使用该算法来自动标识单元信号。
在一个实施例中,单元信号包括单元信号是否为响应的结束、问题的开始、或者这二者的指示符。这样的指示符可以有益地使得能够消除无关的数据。例如,假定在第一参与者的问题被回答之后,第二参与者介绍他自己/她自己并且询问问题。在一个实施例中,单元信号标识模块406用第一指示符类型来标识对第一参与者的问题的响应的完成,并且用第二指示符类型来标识第二参与者的问题的开始。在一个这样的实施例中,以下讨论的单元分段模块410对会话数据分段,使得在QA单元中不包括与第一指示符类型与第二指示符类型之间的、第二参与者的介绍关联的数据(即无关数据)。
在一个实施例中,单元信号标识模块406向反馈模块408和单元分段模块410中的一个或多个发送一个或多个标识的单元信号。例如,单元信号标识模块406通信地耦合到反馈模块408和单元分段模块410中的一个或多个,以向反馈模块408和单元分段模块410中的一个或多个发送一个或多个标识的单元信号。在另一实施例中,单元信号标识模块406(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储一个或多个标识的单元信号。包括反馈模块408和单元分段模块410中的一个或多个的QA模块310的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取一个或多个标识的单元信号。
反馈模块408包括用于接收与一个或多个标识的单元信号相关的反馈的代码和例程。在一个实施例中,反馈模块408是由处理器206可执行的指令的集合。在另一实施例中,反馈模块408存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,反馈模块408被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109和QA模块310的其它部件的协作和通信。
反馈模块408接收与标识的单元信号相关的用户反馈。取决于实施例,反馈模块408在由单元分段模块410对会话数据分段之前或者之后接收反馈。取决于实施例,反馈可以是隐含的或者明确的。
在一个实施例中,反馈模块408向用户呈现GUI并且播放会话的紧接在标识的单元信号之前和/或之后的一部分(例如2-5秒)并且从用户接收验证该单元信号是否正确(即该单元信号是否在会话数据内标识响应的结束和/或问题的开始)的反馈。在一个这样的实施例中,反馈模块408向单元分段模块410发送一个或多个验证的单元信号。这样的实施例有益地实现了在不必播放大部分会话的情况下来验证正确地标识单元信号,从而节约了时间。
在一个实施例中,当单元信号不正确时,反馈模块408接收反馈以通过去除或者消除不正确的单元信号来纠正单元信号。在一个这样的实施例中,反馈模块408向单元分段模块410发送一个或多个经校正的单元信号。在一个实施例中,验证是隐含的。例如,在一个实施例中,当反馈模块408不接收反馈以校正单元信号时,隐含地验证一个或多个单元信号。
在一个实施例中,由反馈模块408接收的反馈被用于修改由单元信号标识模块406用以自动标识单元信号的算法。在一个这样的实施例中,反馈模块408向单元信号标识模块406发送反馈,其修改学习算法。这样的实施例可以有益地增加未来的由单元信号标识模块406对单元信号的自动标识的精度,这可以有益地减少或者消除用户对单元信号的验证、校正或者手动标识。
在一个实施例中,反馈模块408向单元信号标识模块406发送反馈。例如,反馈模块408通信地耦合到单元信号标识模块406以向单元信号标识模块406发送反馈。在另一实施例中,反馈模块408(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储反馈。包括单元信号标识模块406的QA模块310的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取反馈。
在一个实施例中,反馈模块408向单元分段模块410发送经验证的单元信号和经校正的单元信号中的一个或多个。例如,反馈模块408通信地耦合到单元分段模块410以向单元分段模块410发送经验证的单元信号和经校正的单元信号中的一个或多个。在另一实施例中,反馈模块408(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储经验证的单元信号和经校正的单元信号中的一个或多个。包括单元分段模块410的QA模块310的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取经验证的单元信号和经校正的单元信号中的一个或多个。
单元分段模块410包括用于基于一个或多个单元信号来对多方通信会话数据分段的代码和例程。在一个实施例中,单元分段模块410是由处理器206可执行的指令的集合。在另一实施例中,单元分段模块410存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,单元分段模块410被适配用于与处理器206、计算设备200的其它部件以及多方通信应用109和QA模块310的其它部件的协作和通信。
单元分段模块410基于一个或多个单元信号来对多方通信会话数据分段。在一个实施例中,单元分段模块410至少部分基于由单元信号标识模块406标识的一个或多个单元信号来对会话数据分段。例如,在一个实施例中,单元分段模块410接收由会话记录模块404记录的会话数据、由单元信号标识模块406标识的一个或多个单元信号,并且至少部分基于所标识的单元信号来生成和存储多个会话数据的分段。
在一个实施例中,单元分段模块410至少部分基于由反馈模块408验证或者校正的一个或多个单元信号来对会话数据分段。例如,假定先于分段而接收反馈,则在一个实施例中,单元分段模块410接收由会话记录模块404记录的会话数据并且接收来自反馈模块408的经验证的和/或经校正的单元信号并且至少部分基于经验证的和/或经校正的单元信号来生成和存储多个会话数据的分段。
在一个实施例中,一旦对会话数据分段,则不保留未分段的会话数据。在另一实施例中,保留未分段的会话数据的副本。例如,在一个实施例中,在单元信号不正确并且必须使用经校正的单元信号来对会话数据重新分段的情况下保留未分段的会话数据。
在一个实施例中,QA模块有益地减少了在后期制作中对音频和/或视频分段所需要的时间和精力。在另一实施例中,QA模块有益地完全消除了在后期制作中对音频和/或视频分段的需要。不管实施例如何,QA模块有益地提供了在尺度方面很重要的分段的自动化和关联的效率。
在一个实施例中,单元分段模块410发送QA单元用于呈现。例如,会话数据分段模块410通信地耦合到用户设备115以向用户设备115发送QA单元用于呈现。在另一实施例中,单元分段模块410(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储QA单元。包括用户设备115的系统100的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取QA单元。
图5和6描绘由以上关于图1-4描述的系统来执行的各种方法500、600。
图5是图示根据一个实施例的用于将多方通信会话的记录分段成问答单元的方法500的流程图。在框502,QA模块310的会话数据接收模块404接收多方通信会话数据。在框504,单元信号标识模块406标识多方通信会话数据的一个或多个单元信号。在框506,单元分段模块410基于在框504处标识的一个或多个单元信号来对多方通信会话数据分段。在框508,单元分段模块410发送多方通信会话数据分段用于存储。
图6是图示根据一个实施例的用于将多方通信会话的记录分段成问答单元的另一方法600的流程图。在框602,QA模块310的会话数据接收模块404接收多方通信会话数据。在框604,单元信号标识模块406标识多方通信会话数据的一个或多个单元信号。在框606,反馈模块408接收反馈。在框608,反馈模块408确定在框604处标识的一个或多个单元信号是否基于在框606处接收的反馈而验证。
如果反馈模块408确定在框604处标识的一个或多个单元信号是基于在框606处接收的反馈而验证(608-是),则方法600在框612处继续。如果反馈模块408确定在框604处标识的一个或多个单元信号不是基于在框606处接收的反馈而验证(608-否),则方法600在框610处继续。在框610,反馈模块408基于在框606处接收的反馈来校正单元信号中的一个或多个单元信号中的至少一个单元信号。在框612,单元分段模块410基于在框608处验证的单元信号和/或在框610处校正的单元信号来对多方通信会话数据分段。在框614,单元分段模块410发送多方通信会话用于存储。
现在参考图7,更详细地示出根据一个实施例的时刻模块312。在一个实施例中,时刻模块312被包括在如图3所示的多方通信应用109中。在另一实施例中,时刻模块312是与多方通信应用109分离和分开的独立的模块,其可以被包括在系统100的服务器和用户设备115中的一个或多个中(未示出)。
在一个实施例中,时刻模块312包括视频接收模块704、标识准则模块706、时刻标识模块708、相似性检测模块710和呈现模块712。在一个实施例中,时刻模块312的模块并非全部都包括在同一计算设备200上。
视频接收模块704包括用于接收视频数据的代码和例程。在一个实施例中,视频接收模块704是由处理器206可执行的指令的集合。在另一实施例中,视频接收模块704存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,视频接收模块704被适配用于与处理器206、计算设备200的其它部件以及时刻模块312的其它部件的协作和通信。
视频接收模块704接收视频数据。在一个实施例中,视频接收模块704接收多方通信会话的视频数据。例如,假定多方通信会话包括视频并且时刻模块312通信地耦合到会话记录模块308,则在一个实施例中,视频接收模块704从多方通信应用109的会话记录模块308接收包括多方通信会话的记录的多方通信会话数据(即视频数据)。
在另一实施例中,视频接收模块704接收由用户上传的视频。例如,假定用户向与社交网络服务器190关联的社交网络上传婚礼视频(即视频数据);则在一个实施例中,视频接收模块704通信地耦合以从社交网络服务器190接收视频数据。在另一示例中,假定用户向第三方应用服务器107上传婚礼视频(即视频数据),则在一个实施例中,视频接收模块704通信地耦合以接收视频数据。在一个实施例中,视频接收模块704响应于用户上传视频来接收用户上传的视频的视频数据。例如,在一个实施例中,响应于用户上传视频数据,视频接收模块704自动接收视频数据,并且时刻模块312至少部分基于该视频数据来自动标识精彩时刻。
在又一实施例中,时刻模块312是客户端侧应用,并且视频接收模块704从用户设备115的存储设备214接收视频数据。例如,假定用户选择在用户的用户设备115上存储的视频数据,则在一个实施例中,视频接收模块704通信地耦合以接收所选择的视频数据。
在一个实施例中,视频接收模块704接收同步视频数据,其可以实现精彩时刻的同步标识。例如,在一个实施例中,视频接收模块704从会话记录模块308接收直播多方通信会话的视频数据,并且将精彩时刻标识为所接收的视频数据。在另一实施例中,视频接收模块704接收异步视频数据,并且精彩时刻的标识是异步的。例如,假定视频数据属于多方通信会话,则在一个实施例中,视频接收模块704在多方通信会话已经结束之后从会话记录模块308接收多方通信会话的视频数据(即异步地),并且随后标识精彩时刻。在另一示例中,假定视频数据属于由用户上传的婚礼视频,则在一个实施例中,视频接收模块704接收视频数据并且随后标识精彩时刻。下面进一步详细地提供标识精彩时刻的描述。
在一个实施例中,视频接收模块704向时刻标识模块708发送视频数据。例如,视频接收模块704通信地耦合到时刻标识模块708以向时刻标识模块708发送视频数据。在另一实施例中,视频接收模块704(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储视频数据。包括时刻标识模块708的时刻模块312的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取视频数据。
标识准则模块706包括用于确定用于标识精彩时刻的一个或多个准则的代码和例程。在一个实施例中,标识准则模块706是由处理器206可执行的指令的集合。在另一实施例中,标识准则模块706存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,标识准则模块706被适配用于与处理器206、计算设备200的其它部件以及时刻模块312的其它部件的协作和通信。
标识准则模块706确定用于标识精彩时刻的一个或多个准则。在一个实施例中,用于标识精彩时刻的一个或多个准则至少部分基于音频指示符和面部指示符中的一个或多个。音频指示符是一个时刻为精彩时刻的音频指示。音频指示符的示例包括但不限于欢呼、欢笑、喝彩、嘲弄、起哄、喘息、兴奋的尖叫、音量尖峰等中的一个或多个。将认识到,以上仅是音频指示符的示例并且存在其它示例。面部指示符是至少部分基于面部特征的、一个时刻为精彩时刻的视觉指示。面部指示符的示例包括但不限于至少一个脸部的存在、朝向相机的脸部(例如检测两只眼睛的存在)、睁眼、微笑、张嘴、扬眉、面部表情等中的一个或多个。将认识到,以上仅是面部指示符的示例并且存在其它示例。
在一个实施例中,用于标识精彩时刻的至少一个准则至少部分基于机器学习。例如,假定提供欢笑的示例以训练用以将欢笑识别作为音频指示符的学习算法;则在一个实施例中,标识欢笑的算法是用于标识精彩时刻的准则。在另一示例中,提供人脸的示例以训练用以识别何时存在人脸、人脸何时睁眼、人脸何时面对相机(例如两个眼睛可见)以及人脸何时微笑的一个或多个学习算法;在一个实施例中,标识一个或多个脸部何时存在、何时睁眼并且微笑面对相机的算法是用于标识精彩时刻的准则。在又一示例中,提供具有面部表情(例如惊喜)的人脸的示例以训练用以至少部分基于面部表情来识别人的情绪反应的一个或多个学习算法;在一个实施例中,至少部分基于面部表情来标识一个人具有特定情绪反应的算法是用于标识精彩时刻的准则。
在一个实施例中,由标识准则模块706确定的一个或多个准则是用户不可选择的。在另一实施例中,标识准则模块706确定用于基于用户的选择来标识精彩时刻的一个或多个准则。例如,在一个实施例中,标识准则模块706向用户(多方通信服务器的主持人、社交网络用户等)呈现一个或多个准则,从用户125接收对一个或多个准则的选择,以及确定由用户选择的一个或多个准则是用于标识精彩时刻的一个或多个准则。在一个实施例中,该一个或多个准则分别是单独可选择的。例如,标识准则模块706单独呈现每个准则。例如,假定用户想要将包括惊喜的时刻标识为精彩时刻。还假定睁大眼、张嘴、扬眉和拱眉、尖叫、喘息或者音量的尖峰以单独或者组合的形式指示惊喜的情绪反应。在一个实施例中,标识准则模块706呈现并且用户单独选择包括以下检测内容中的一个或多个的准则:睁大眼、张嘴、扬眉、拱眉、尖叫、喘息和音量的尖峰。
在一个实施例中,至少部分基于用户反馈使用机器学习来确定由标识准则模块706确定的一个或多个准则。例如,假定在训练阶段期间或者使用反馈机制,用户标识精彩时刻。例如,用户在视频的回放期间选择GUI按钮以标记视频剪辑的开始,并且再次选择GUI按钮以标记包含精彩时刻的视频剪辑的结束。在另一示例中,用户选择GUI按钮将视频回放减慢至逐帧回放,并且用户选择第二GUI按钮以捕获帧。在一个实施例中,标识准则模块706接收用户的选择(例如视频剪辑和/或视频帧)并且使用用户的选择来训练学习算法,该标识准则模块706使用该学习算法来自动确定一个或多个准则。例如,标识准则模块706分析视频帧和/或用户的选择的音频(或者在用户的选择的周围的音频)以训练用以标识精彩时刻的学习算法。这样的实施例可以有益地使用由多个用户做出的选择来确定准则和/或其权重,使得由时刻标识模块708标识的时刻是用户已经手动选择的时刻,从而节约用户的时间和精力。
在另一实施例中,对一个或多个准则分组。例如,再次假定用户想要将包括惊喜的时刻标识为精彩时刻;则在一个实施例中,标识准则模块706呈现并且用户选择与情绪反应惊喜关联的按钮并且该按钮与包括以下检测内容中的一个或多个的准则关联:睁大眼、张嘴、扬眉或者拱眉、尖叫、喘息和音量的尖峰。
在一个实施例中,标识准则模块706向时刻标识模块708发送一个或多个准则。例如,标识准则模块706通信地耦合到时刻标识模块708以向时刻标识模块708发送一个或多个准则。在另一实施例中,标识准则模块706(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储一个或多准则。包括时刻标识模块708的时刻模块312的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取一个或多个准则。
时刻标识模块708包括用于标识至少一个精彩时刻的代码和例程。在一个实施例中,时刻标识模块708是由处理器206可执行的指令的集合。在另一实施例中,时刻标识模块708存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,时刻标识模块708被适配用于与处理器206、计算设备200的其它部件以及时刻模块312的其它部件的协作和通信。
时刻标识模块708标识至少一个精彩时刻。在一个实施例中,时刻标识模块708至少部分基于由标识准则模块706确定的一个或多个准则来标识视频数据的至少一个精彩时刻。精彩时刻至少部分基于视频数据的子集。精彩时刻的示例包括但不限于图像和视频剪辑中的一个或多个。
例如,假定时刻标识模块708从视频接收模块704接收婚礼视频(即视频数据),并且从标识准则模块706接收一个或多个准则,该一个或多个准则包括欢笑以及面对相机并且睁眼笑着的人。在一个实施例中,时刻标识模块708基于视频数据的视频帧(即子集)来标识图像。例如,时刻标识模块708标识其中视频帧中的所有婚礼出席者都微笑并且睁眼面对相机的视频帧。在另一实施例中,时刻标识模块708从视频数据标识视频剪辑(即视频数据的子集)。例如,时刻标识模块708将婚礼的出席者微笑的时刻标识作为难忘的时刻。
在一个实施例中,时刻标识模块708基于一个或多个准则从视频数据标识视频剪辑,并且该视频剪辑包括基于视频数据的在基于一个或多个准则被标识的时刻前面和/或后面的部分。例如,假定视频数据包括伴郎在婚礼上的讲话,并且该讲话包括幽默时刻;则在一个实施例中,时刻标识模块708将视频剪辑标识作为难忘的时刻并且该视频剪辑包括欢笑何时开始以及基于视频数据的在欢笑之前的部分。这样的实施例可以有益地提供用于可标识的时刻的情境。例如,什么事情引起了欢笑、掌声、惊喜的反应等和/或之后发生了什么。取决于实施例,在精彩时刻之前和/或之后的部分可以变化。例如,这一部分可以是预定的时间量(例如5秒)、预定的视频帧数目(例如200个帧)、某个人在精彩时刻之前讲话的持续时间(例如引起欢笑、惊喜、欢呼等的某个人的评述)。将认识到,上述内容仅是在精彩时刻之前和/或之后的部分的示例并且存在其它示例。
在一个实施例中,时刻标识模块708向相似性检测模块710和呈现模块712中的一个或多个发送至少一个精彩时刻。例如,时刻标识模块708通信地耦合到相似性检测模块710和呈现模块712中的一个或多个,以向相似性检测模块710和呈现模块712中的一个或多个发送至少一个精彩时刻。在另一实施例中,时刻标识模块708(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储至少一个精彩时刻。包括相似性检测模块710和呈现模块712中的一个或多个的时刻模块312的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取至少一个精彩时刻。
相似性检测模块710包括用于从包括至少两个相似精彩时刻的多个精彩时刻中选择相似精彩时刻的代码和例程。在一个实施例中,相似性检测模块710是由处理器206可执行的指令的集合。在另一实施例中,相似性检测模块710存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,相似性检测模块710被适配用于与处理器206、计算设备200的其它部件以及时刻模块312的其它部件的协作和通信。
相似性检测模块710从包括至少两个相似精彩时刻的多个精彩时刻中选择相似精彩时刻。在一个实施例中,相似性检测模块710确定多个精彩时刻是否包括了相似精彩时刻。在一个实施例中,相似性检测模块710将由时刻标识模块708标识的多个精彩时刻相互比较,并且确定来自多个精彩时刻的两个或多个精彩时刻是否相似,即,在一个实施例中,相似性检测模块710确定多个精彩时刻是否包括了相似精彩时刻。例如,假定一个或多个准则包括睁眼并且微笑地面对相机的人并且时刻标识模块708从视频数据的视频帧中标识了三张微笑的人的图像(即三个精彩时刻)。在一个实施例中,相似性检测模块710接收三张图像,并且响应于接收到三张图像,将三张图像彼此比较并且确定三张图像是否相似。
在一个实施例中,相似性检测模块710至少部分基于面部识别、时间戳、直方图匹配等中的一个或多个来确定精彩时刻相似还是不同。在一个实施例中,相似性检测模块710应用面部识别并且在两个精彩时刻包括同一人的面部时确定两个精彩时刻相似。
在一个实施例中,相似性检测模块710至少部分基于精彩时刻具有接近或者重叠的时间戳来确定两个精彩时刻相似。例如,相似性检测模块710使用时间戳、基于连续的视频帧或者在彼此的预定数目的帧或者时间内确定精彩时刻相似。在另一示例中,相似性检测模块710使用时间戳、在视频剪辑包括预定数目的相同视频帧或者包括部分的相同视频帧时确定精彩时刻相似。在一个实施例中,将具有重叠时间戳和/或相同视频帧的相似视频剪辑组合成单个更大的视频剪辑。
在一个实施例中,相似性检测模块710使用直方图匹配来确定两个精彩时刻相似。例如,在一个实施例中,相似性检测模块710基于作为图像的精彩时刻来生成直方图并且将直方图相比较。当直方图匹配时,在一个实施例中,相似性检测模块710确定与直方图关联的精彩时刻相似。将认识到,以上仅是用于确定精彩时刻是否相似的示例基础并且存在其它示例。
相似性检测模块710从包括至少两个相似精彩时刻的多个精彩时刻中选择相似精彩时刻。在一个实施例中,相似性检测模块710至少部分基于一个或多个基础来从至少两个相似精彩时刻中选择相似精彩时刻。基础的示例包括但不限于以下各项中的一项或多项:颜色饱和度、对比度、焦距、三分法、两个焦点、直线水平和黄金分割等。将认识到,以上基础仅是基础的示例并且存在其它基础,包括另外的基于视觉合成的原理的基础。例如,假定相似精彩时刻是基于视频帧的图像。在一个实施例中,相似性检测模块710基于具有期望的颜色饱和度水平的第一相似度来选择第一相似精彩时刻。例如,假定期望稍微在饱和度以上,则在一个实施例中,相似性检测模块710在第一相似精彩时刻是稍微高于饱和度的图像并且其它相似精彩时刻在饱和度以下时选择第一相似精彩时刻。在另一示例中,假定期望在照片中在焦距上具有任何面部,则在一个实施例中,相似性检测模块710在第一相似精彩时刻是包括在焦距处的面部的图像并且其它相似精彩时刻是其中面部小于焦距的图像时选择第一相似精彩时刻。
在一个实施例中,相似性检测模块710至少部分基于学习算法来从至少两个相似精彩时刻中选择相似精彩时刻。例如,假定在训练阶段期间或者在使用反馈机制时,当向用户呈现至少两个相似精彩时刻时,用户选择相似精彩时刻并且相似性检测模块710接收用户的选择;则在一个实施例中,相似性检测模块710使用用户的选择来训练学习算法,该学习算法随后用于自动选择相似精彩时刻。这样的实施例可以有益地使用由多个用户做出的选择来确定基础和/或其权重,使得相似性检测模块710可以自动标识相似可标识时刻(其可以由用户已经手动选择),从而节约用户的时间和精力。
在一个实施例中,相似性检测模块710向呈现模块712发送所选择的相似精彩时刻。例如,相似性检测模块710通信地耦合到呈现模块712以向呈现模块712发送所选择的相似精彩时刻。在另一实施例中,相似性检测模块710(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储所选择的相似精彩时刻。包括呈现模块712的时刻模块312的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取所选择的相似精彩时刻。
在一个实施例中,相似性检测模块710向呈现模块712发送不同的精彩时刻。例如,相似性检测模块710通信地耦合到呈现模块712以向呈现模块712发送不同的精彩时刻。在另一实施例中,相似性检测模块710(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储不同的精彩时刻。包括呈现模块712的时刻模块312的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取不同的精彩时刻。
呈现模块712包括用于发送至少一个精彩时刻以用于向至少一个用户呈现的代码和例程。在一个实施例中,呈现模块712是由处理器206可执行的指令的集合。在另一实施例中,呈现模块712存储在存储器208中并且由处理器206可访问和可执行。在任一实施例中,呈现模块712被适配用于与处理器206、计算设备200的其它部件以及时刻模块312的其它部件的协作和通信。
呈现模块712发送至少一个精彩时刻以用于向至少一个用户呈现。在一个实施例中,呈现模块712获得由时刻标识模块708标识的精彩时刻并且发送可标识的时刻以用于向至少一个用户显示。例如,呈现模块712接收包括副本的精彩时刻并且发送精彩时刻以用于经由用户的用户设备115来向用户125(例如与视频数据关联的多方通信会话的主持人或者上传视频数据的用户)显示。在一个实施例中,用户可以手动消除不可取的精彩时刻。例如,用户手动选择用户期望的图像和/或视频剪辑并且不选择相似精彩时刻。
在另一实施例中,呈现模块712从相似性检测模块710获得所选择的相似精彩时刻和不同精彩时刻并且发送这些精彩时刻以用于向至少一个用户显示。在一个实施例中,用户可以手动消除不可取的精彩时刻。例如,用户手动选择用户期望的图像和/或视频剪辑。
在一个实施例中,呈现模块712选择至少一个精彩时刻以用于呈现。例如,呈现模块712通信地耦合到用户设备115以向用户设备115发送至少一个精彩时刻以用于呈现。在另一实施例中,呈现模块712(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储至少一个精彩时刻。包括用户设备115的系统100的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取至少一个精彩时刻。
在一个实施例中,用户可以保存和/或分发精彩时刻。例如,用户可以在用户设备115上或者在与服务器上与用户简档关联地保存视频剪辑和图像。在一个实施例中,呈现模块712自动向多个用户分发至少一个精彩时刻。在一个实施例中,呈现模块712经由电子邮件、经由社交网络、私人消息、多媒体文本消息等来分发精彩时刻。例如,假定视频数据属于与广告关联的多方通信会话;则在一个实施例中,向与关联于多方通信会话的公司的社交网络简档关联的内容流自动发布精彩时刻。在另一示例中,假定视频数据是多方通信会话;则在一个实施例中,经由电子邮件、私人消息以及使得精彩时刻与参与者的社交网络简档关联中的一个或多个方式来向多方通信会话的参与者中的每个参与者自动分发精彩时刻。在又一示例中,在一个实施例中,经由电子邮件向联系人列表自动分发精彩时刻。
在一个实施例中,呈现模块712发送至少一个精彩时刻以用于分发。例如,呈现模块712通信地耦合到电子邮件服务器123、第三方应用服务器和社交网络服务器中的一个或多个,以向电子邮件服务器123、第三方应用服务器和社交网络服务器中的一个或多个发送至少一个精彩时刻以用于分发。在另一实施例中,呈现模块712(或者通信接口302)在存储设备214(或者通信上可访问的任何其它非暂态存储介质)中存储至少一个精彩时刻。包括电子邮件服务器123、第三方应用服务器和社交网络服务器中的一个或多个的系统100的其它部件可以通过访问存储设备214(或者其它非暂态存储介质)来获取至少一个精彩时刻。图8和9描绘由以上关于图1-3和7描述的系统来执行的各种方法800、900。
图8是图示根据一个实施例的用于从视频数据标识一个或多个精彩时刻的方法800的流程图。在框802,时刻模块312的视频接收模块704接收视频数据。在框804,标识准则模块706确定用于标识精彩时刻的一个或多个准则。该一个或多个准则至少部分基于音频指示符和面部指示符中的一个或多个。在框806,时刻标识模块708至少部分基于在框804处确定的一个或多个准则在视频数据中标识至少一个精彩时刻。在框808,呈现模块712发送在框806处标识的至少一个精彩时刻以用于向至少一个用户呈现。
图9是图示根据一个实施例的用于从视频数据标识一个或多个精彩时刻的另一方法900的流程图。在框902,时刻模块312的视频接收模块704接收视频数据。在框904,标识准则模块706确定用于标识精彩时刻的一个或多个准则。该一个或多个准则至少部分基于音频指示符和面部指示符中的一个或多个。在框906,时刻标识模块708至少部分基于在框804处确定的一个或多个准则在视频数据中标识多个精彩时刻。在框908,相似性检测模块710将在框906处标识的多个精彩时刻相比较。在框910,相似性检测模块710确定是否至少两个精彩时刻相似。
如果相似性检测模块710确定在框906处标识的精彩时刻中的至少两个相似(910-是),则该方法900在框914处继续。如果相似性检测模块710确定在框906处标识的精彩时刻中没有精彩时刻相似(910-否),则该方法900在框912处继续。在框912,呈现模块712发送多个精彩时刻以用于向至少一个用户呈现。在框914,相似性检测模块710从相似精彩时刻的每个组中选择相似精彩时刻。在框916,呈现模块712发送在框914处选择的一个或多个相似精彩时刻以及任何非相似精彩时刻以用于向至少一个用户呈现。
出于说明和描述的目的,已经呈现对实施例的前述描述。其并非旨在穷举或者将本实施例限于所公开的精确形式。很多修改和变型鉴于以上教导是可能的。其旨在,本实施例的范围不受这一详细描述的限制,而受本申请的权利要求的限制。如本领域技术人员将理解的,本实施例可以在不偏离其精神或者本质特性的情况下采用其它具体形式。同样,模块、例程、特征、属性、方法和其它方面的特定命名和划分不是强制的或者重要的,并且实现一个实施例或者其特征的机制可以具有不同的名称、划分和/或格式。另外,如将显而易见的,可以将实施例的模块、例程、特征、属性、方法和其它方面实现为软件、硬件、固件或者这三者的任意组合。另外,无论部件(其示例是模块)被实现为软件的任何情况,该部件都可以被实现为单独的程序,作为更大程序的一部分,作为多个单独的程序,作为静态或者动态地链接的库,作为内核可加载模块,作为设备驱动器,和/或以现在和将来的任何已知的方式。另外,各实施例绝不限于用任何特定的编程语言或者针对任何特定操作系统或者环境来实现。因此,本公开旨在说明而非限制在下面的权利要求中阐述的范围。

Claims (18)

1.一种用于从视频标识精彩时刻的计算机实现的方法,包括:
由一个或多个计算设备接收所述视频;
由所述一个或多个计算设备从第一用户接收对情绪反应的类型的选择;
由所述一个或多个计算设备确定用于标识多个精彩时刻的第一准则,所述第一准则基于面部表情指示符;
由所述一个或多个计算设备确定用于标识所述多个精彩时刻的第二准则,所述第二准则基于音频指示符;
由所述一个或多个计算设备基于所述第一准则在所述视频的第一部分中标识第一精彩时刻,以及在所述视频的第二部分中标识第二精彩时刻;
由所述一个或多个计算设备基于所述第二准则在所述视频中标识包括所述第一精彩时刻的第一持续时间的第一视频剪辑以及包括所述第二精彩时刻的第二持续时间的第二视频剪辑;
由所述一个或多个计算设备对所述第一精彩时刻和所述第二精彩时刻进行比较;
基于对所述第一精彩时刻和所述第二精彩时刻的比较,确定所述第一精彩时刻和所述第二精彩时刻是否包括所选择的类型的情绪反应;
响应于确定所述第一精彩时刻和所述第二精彩时刻包括所选择的类型的情绪反应,将包括所述第一精彩时刻的所述第一持续时间的所述第一视频剪辑以及包括所述第二精彩时刻的所述第二持续时间的所述第二视频剪辑组合成第三视频剪辑;以及
向所述第一用户发送所述第三视频剪辑以供在所述第一用户的用户设备上显示。
2.根据权利要求1所述的方法,其中所述视频是视频数据流,并且标识所述第一精彩时刻和所述第二精彩时刻与所述视频数据流的接收同步。
3.根据权利要求1所述的方法,其中所述视频是来自包括所述第一用户的多方通信会话的直播视频流。
4.根据权利要求1所述的方法,其中所述音频指示符包括来自以下的组中的一项:音量尖峰、欢呼和欢笑。
5.根据权利要求1所述的方法,其中所述面部表情指示符基于面部识别并且包括来自以下的组中的一项:人脸的存在、对焦的所述人脸的所述存在、睁眼的所述人脸的所述存在、和具有微笑表情的所述人脸的所述存在。
6.根据权利要求1所述的方法,还包括从所述第一用户接收对第三精彩时刻的选择,并且其中确定所述第一准则和所述第二准则是基于对所述第三精彩时刻的所述选择。
7.根据权利要求1所述的方法,其中所述第一精彩时刻和所述第二精彩时刻基于以下各项中的一项或多项而选择:颜色饱和度、对比度、焦距、三分法、两个焦点、直线水平和黄金分割。
8.根据权利要求1所述的方法,其中,对所述第一精彩时刻和所述第二精彩时刻进行比较包括确定所述第一精彩时刻和所述第二精彩时刻是否具有重叠的时间戳。
9.根据权利要求1所述的方法,其中,对所述第一精彩时刻和所述第二精彩时刻进行比较包括确定基于所述第一精彩时刻的第一直方图是否与基于所述第二精彩时刻的第二直方图相似。
10.一种用于从视频标识精彩时刻的系统,包括:
一个或多个处理器;
视频接收模块,所述视频接收模块存储在存储器上并且能够由所述一个或多个处理器执行以接收视频;
标识准则模块,所述标识准则模块存储在所述存储器上并且能够由所述一个或多个处理器执行以从第一用户接收对情绪反应的类型的选择,确定用于标识多个精彩时刻的第一准则,所述第一准则基于面部表情指示符,并且确定用于标识所述多个精彩时刻的第二准则,所述第二准则基于音频指示符,所述标识准则模块通信地耦合以接收所述第一准则和所述第二准则;
时刻标识模块,所述时刻标识模块存储在所述存储器上并且能够由所述一个或多个处理器执行以基于所述第一准则在所述视频的第一部分中标识第一精彩时刻以及在所述视频的第二部分中标识第二精彩时刻,并且基于所述第二准则在所述视频中标识包括所述第一精彩时刻的第一持续时间的第一视频剪辑和包括所述第二精彩时刻的第二持续时间的第二视频剪辑;
相似性检测模块,所述相似性检测模块存储在所述存储器上并且能够由所述一个或多个处理器执行以将所述第一精彩时刻与所述第二精彩时刻进行比较,基于对所述第一精彩时刻和所述第二精彩时刻的比较确定所述第一精彩时刻和所述第二精彩时刻是否包括所选择的类型的情绪反应,并且响应于确定所述第一精彩时刻和所述第二精彩时刻包括所选择的类型的情绪反应而将包括所述第一精彩时刻的所述第一持续时间的所述第一视频剪辑与包括所述第二精彩时刻的所述第二持续时间的所述第二视频剪辑组合成第三视频剪辑,所述相似性模块通信地耦合以接收所述第一视频剪辑和所述第二视频剪辑;以及
呈现模块,所述呈现模块存储在所述存储器上并且能够由所述一个或多个处理器执行以向所述第一用户发送所述第三视频剪辑以供在所述第一用户的用户设备上显示。
11.根据权利要求10所述的系统,其中,相似性检测模块能够操作以基于确定基于所述第一精彩时刻的第一直方图与基于所述第二精彩时刻的第二直方图是否相似,来对所述第一精彩时刻和所述第二精彩时刻进行比较。
12.根据权利要求10所述的系统,其中所述第一精彩时刻和所述第二精彩时刻基于以下各项中的一项或多项而选择:颜色饱和度、对比度、焦距、三分法、两个焦点、直线水平和黄金分割。
13.根据权利要求10所述的系统,其中所述视频是视频数据流,并且所述时刻标识模块被配置成标识所述第一精彩时刻和所述第二精彩时刻与所述视频数据流的接收同步。
14.根据权利要求10所述的系统,其中所述视频是来自包括所述第一用户的多方通信会话的直播视频流。
15.根据权利要求10所述的系统,其中所述音频指示符包括来自以下的组中的一项:音量尖峰、欢呼和欢笑。
16.根据权利要求10所述的系统,其中所述面部表情指示符基于面部识别并且包括来自以下的组中的一项:人脸的存在、对焦的所述人脸的所述存在、睁眼的所述人脸的所述存在、和具有微笑表情的所述人脸的所述存在。
17.根据权利要求10所述的系统,其中所述标识准则模块被配置成从所述第一用户接收对第三精彩时刻的选择,并且其中所述标识准则模块被配置成基于对所述第三精彩时刻的所述选择来确定所述第一准则和所述第二准则。
18.根据权利要求10所述的系统,其中所述相似性检测模块被配置成基于确定所述第一精彩时刻和所述第二精彩时刻是否具有重叠的时间戳来对所述第一精彩时刻和所述第二精彩时刻进行比较。
CN201380073574.5A 2012-12-31 2013-12-23 精彩时刻的自动标识 Active CN105009599B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/731,681 2012-12-31
US13/731,681 US9712800B2 (en) 2012-12-20 2012-12-31 Automatic identification of a notable moment
PCT/US2013/077471 WO2014105816A1 (en) 2012-12-31 2013-12-23 Automatic identification of a notable moment

Publications (2)

Publication Number Publication Date
CN105009599A CN105009599A (zh) 2015-10-28
CN105009599B true CN105009599B (zh) 2018-05-18

Family

ID=51022026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073574.5A Active CN105009599B (zh) 2012-12-31 2013-12-23 精彩时刻的自动标识

Country Status (3)

Country Link
EP (1) EP2939439A4 (zh)
CN (1) CN105009599B (zh)
WO (1) WO2014105816A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380264B1 (en) * 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
CN106803987B (zh) * 2015-11-26 2021-09-07 腾讯科技(深圳)有限公司 视频数据的获取方法、装置和系统
US9916866B2 (en) * 2015-12-22 2018-03-13 Intel Corporation Emotional timed media playback
CN105959710B (zh) * 2016-05-26 2018-10-26 简极科技有限公司 一种运动视频直播、剪切及存储系统
US10157638B2 (en) * 2016-06-24 2018-12-18 Google Llc Collage of interesting moments in a video
CN107071534B (zh) * 2017-03-17 2019-12-10 深圳市九洲电器有限公司 一种用户与机顶盒互动方法及系统
CN106851424B (zh) * 2017-04-07 2019-08-30 腾讯科技(深圳)有限公司 视频播放方法及装置
CN107241644B (zh) * 2017-05-31 2018-09-07 腾讯科技(深圳)有限公司 一种视频直播过程中的图像处理方法和装置
CN107277617A (zh) * 2017-07-26 2017-10-20 深圳Tcl新技术有限公司 预览视频的生成方法、电视机和计算机可读存储介质
CN107613289B (zh) * 2017-10-19 2019-02-05 何翔 一种基于眨眼检测的视频内容分析方法及装置
CN113395416A (zh) * 2017-12-29 2021-09-14 深圳市大疆创新科技有限公司 视频数据处理方法、设备、系统及存储介质
CN108810620B (zh) * 2018-07-18 2021-08-17 腾讯科技(深圳)有限公司 识别视频中的关键时间点的方法、装置、设备及存储介质
CN109194978A (zh) * 2018-10-15 2019-01-11 广州虎牙信息科技有限公司 直播视频剪辑方法、装置和电子设备
CN110113659A (zh) * 2019-04-19 2019-08-09 北京大米科技有限公司 生成视频的方法、装置、电子设备及介质
CN110505519B (zh) * 2019-08-14 2021-12-03 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN113473174B (zh) * 2020-04-28 2022-09-30 海信集团有限公司 一种视频录制方法、装置、设备和介质
CN111901627B (zh) * 2020-05-28 2022-12-30 北京大米科技有限公司 视频处理方法、装置、存储介质及电子设备
CN111818091B (zh) * 2020-08-07 2022-10-25 重庆虚拟实境科技有限公司 多人语音交互系统及方法
CN113395542B (zh) * 2020-10-26 2022-11-08 腾讯科技(深圳)有限公司 基于人工智能的视频生成方法、装置、计算机设备及介质
CN116684665B (zh) * 2023-06-27 2024-03-12 广东星云开物科技股份有限公司 娃娃机精彩片段的剪辑方法、装置、终端设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787762B2 (en) * 2007-06-25 2010-08-31 Sony Corporation Image photographing apparatus, image photographing method, and computer program
CN102103408A (zh) * 2009-12-18 2011-06-22 微软公司 姿势风格识别和奖励
CN102708120A (zh) * 2011-02-18 2012-10-03 微软公司 生活流式传输

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026529A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 키프레임 기반 비디오 요약 시스템
WO2007122541A2 (en) * 2006-04-20 2007-11-01 Nxp B.V. Data summarization system and method for summarizing a data stream
US20100017716A1 (en) * 2006-08-25 2010-01-21 Koninklijke Philips Electronics N.V. Method and apparatus for generating a summary
JP4360425B2 (ja) * 2007-06-15 2009-11-11 ソニー株式会社 画像処理装置、その処理方法およびプログラム
US8503523B2 (en) * 2007-06-29 2013-08-06 Microsoft Corporation Forming a representation of a video item and use thereof
KR101384526B1 (ko) * 2007-10-08 2014-04-11 삼성전자주식회사 디지털 영상 처리기에서 동영상으로부터 추출된 정지영상의슬라이드쇼 재생 장치 및 방법
JPWO2010001512A1 (ja) * 2008-07-03 2011-12-15 パナソニック株式会社 印象度抽出装置および印象度抽出方法
US20110304774A1 (en) * 2010-06-11 2011-12-15 Microsoft Corporation Contextual tagging of recorded data
JP5092000B2 (ja) * 2010-09-24 2012-12-05 株式会社東芝 映像処理装置、方法、及び映像処理システム
KR20120063273A (ko) * 2010-12-07 2012-06-15 주식회사 다이렉트미디어 동영상 카투닝을 위한 프레임 추출 장치 및 방법
JP5765927B2 (ja) * 2010-12-14 2015-08-19 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787762B2 (en) * 2007-06-25 2010-08-31 Sony Corporation Image photographing apparatus, image photographing method, and computer program
CN102103408A (zh) * 2009-12-18 2011-06-22 微软公司 姿势风格识别和奖励
CN102708120A (zh) * 2011-02-18 2012-10-03 微软公司 生活流式传输

Also Published As

Publication number Publication date
CN105009599A (zh) 2015-10-28
WO2014105816A1 (en) 2014-07-03
EP2939439A1 (en) 2015-11-04
EP2939439A4 (en) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105009599B (zh) 精彩时刻的自动标识
US10608831B2 (en) Analysis of multi-modal parallel communication timeboxes in electronic meeting for automated opportunity qualification and response
CN103634681B (zh) 直播互动方法、装置、客户端、服务器及系统
US9712800B2 (en) Automatic identification of a notable moment
CN109615961A (zh) 一种课堂教学师生互动网络系统与方法
US9282287B1 (en) Real-time video transformations in video conferences
CN103548339B (zh) 用于会议的时间相关的活动流
US8363084B2 (en) Method and system for correlating content with linear media
Biel et al. VlogSense: Conversational behavior and social attention in YouTube
US9129258B2 (en) Systems, methods, and devices for communicating during an ongoing online meeting
JP2017537412A (ja) イベントを追跡し、仮想会議のフィードバックを提供するシステム及び方法
Witschge Changing audiences, changing journalism?
WO2013107184A1 (zh) 记录会议的方法和会议系统
US20180308524A1 (en) System and method for preparing and capturing a video file embedded with an image file
CN106134149A (zh) 通信事件历史
CN114727047A (zh) 用于解决通信会话中重叠语音的系统和方法
JP6140375B2 (ja) 映像音声クリップを利用した自律的学習システム
CN105727560B (zh) 一种视频会话和游戏的互动融合方法及装置
Lopez A media campaign for ourselves: Building organizational media capacity through participatory action research
Siciliano Intermediaries in the age of platformized gatekeeping: The case of YouTube “creators” and MCNs in the US
US20140012792A1 (en) Systems and methods for building a virtual social network
US10719696B2 (en) Generation of interrelationships among participants and topics in a videoconferencing system
CN109862375A (zh) 云录播系统
US20150007054A1 (en) Capture, Store and Transmit Snapshots of Online Collaborative Sessions
Craig et al. Excellence in journalistic use of social media through the eyes of social media editors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant