CN109964490A - 增强实况视频 - Google Patents
增强实况视频 Download PDFInfo
- Publication number
- CN109964490A CN109964490A CN201680090893.0A CN201680090893A CN109964490A CN 109964490 A CN109964490 A CN 109964490A CN 201680090893 A CN201680090893 A CN 201680090893A CN 109964490 A CN109964490 A CN 109964490A
- Authority
- CN
- China
- Prior art keywords
- user
- video source
- setting
- source modeling
- display elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002708 enhancing effect Effects 0.000 claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012217 deletion Methods 0.000 claims abstract description 38
- 230000037430 deletion Effects 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims description 116
- 230000004044 response Effects 0.000 claims description 56
- 238000003860 storage Methods 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 40
- 230000003993 interaction Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 22
- 230000001960 triggered effect Effects 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 description 144
- 230000000694 effects Effects 0.000 description 59
- 230000015654 memory Effects 0.000 description 24
- 238000013500 data storage Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000013461 design Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000013475 authorization Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000013370 mutualism Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000518 rheometry Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
- H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
- H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
- H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开涉及用于增强实况视频流的系统和方法。例如,本文描述的系统和方法使得广播者能够选择与实况视频流增强相关联的各种设置。本文描述的系统和方法根据广播者的设置将一个或多个实况视频流增强应用于实况视频流。此外,本文描述的系统和方法还根据广播者的一个或多个删除设置自动删除一个或多个实况视频流增强。
Description
背景技术
视频通信是一种越来越流行的使用移动计算装置进行联系的方法。例如,在用户曾经仅限于书面电子通信的情况下,用户现在可以通过从移动计算装置(例如,智能手机)获取的视频进行电子通信。最近的进步使得用户能够提供实况视频流,作为与其他用户通信的手段。举例来说,通信系统用户可以向一个或多个共同用户广播由智能手机摄像头捕获的实况视频流。实况视频流在非时移显示(例如,实况显示)中描画广播者(broadcaster)。
尽管与实况视频通信相关联的使用很容易,但是广播实况视频是有问题的,因为视频通信通常限于简单的视频。例如,通常从客户端装置(例如,智能手机)广播实况视频。因此,广播者通常没有机会向实况视频流添加任何特殊的图形效果(例如,计算机生成的图像)或其他增强。这些视频添加通常要求广播者能够使用庞大且耗费资源的软件。对于个人计算装置来支持这种类型的软件的需求,如果并非不可能,通常也是有苦难的。
此外,结合预先录制的视频来执行向视频添加增强的现有方法。例如,普通的视频编辑软件只能为已经录制并保存为数字文件的视频添加增强和其他特殊效果。这样,想要广播实况视频流(例如,未预先录制的)的广播者,仅限于广播平淡的未编辑视频。
然而,平淡的视频并不能吸引观看者。例如,当观看者习惯了电影和电视中的特效时,一段平淡的视频通常会让人觉得无聊和没有创意。因此,需要一种方法,用于广播者向实况视频流添加增强,而不会使个人计算装置(例如,智能手机或平板电脑)的资源负担过重。
发明内容
本文描述的一个或多个实施例利用用于增强实况视频流的系统和方法提供益处和/或解决本领域中的一个或多个前述或其他问题。例如,在一个或多个实施例中,本文描述的系统和方法使得广播者能够实时地向实况视频流添加一个或多个增强(例如,特殊图形效果)。具体而言,一个或多个实施例使得广播者能够在实况视频流的广播期间从个人计算装置(例如,智能手机)向实况视频流添加增强。
另外,本文描述的一个或多个实施例自动从实况视频流中删除增强。例如,响应于广播者定义一个或多个触发(例如,时间触发、运动触发、跟踪触发等),响应于检测到一个或多个触发,本文描述的系统和方法自动删除广播者添加的增强。因此,广播者可以不断增加新的增强,而不会使实况视频流变得混乱和难以观看。
本发明的额外特征和优点将在下面的描述中阐述,并且部分将从描述中显而易见,或者可以通过实践这种示例性实施例来了解。这些实施例的特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现和获得。通过以下描述和所附权利要求,这些和其他特征将变得更加明显,或者可以通过实践如下所述的这种示例性实施例来了解。
特别地,在所附权利要求中公开根据本发明的实施例,涉及一种方法、系统、存储介质和计算机程序产品,其中,可以在一权利要求类别(例如,系统)中要求保护在另一个权利要求类别(例如,方法)中提到的任何特征。仅出于形式原因而选择所附权利要求中的从属关系或后向引用。然而,可以要求保护从任何先前的权利要求(特别是多个从属关系)的有意后向引用产生的任何主题,以便公开并且可以要求保护权利要求及其特征的任何组合,而不管在所附权利要求中选择的从属性。可以要求保护的主题不仅包括在所附权利要求中阐述的特征的组合,而且还包括在权利要求中的特征的任何其他组合,其中,权利要求中提及的每个特征可以与权利要求中的任何其他特征或者其他特征的组合相结合。此外,本文描述或描绘的任何实施例和特征可以以单独的权利要求和/或与本文描述或描绘的任何实施例或特征或者与所附权利要求的任何特征的任何组合来要求保护。
在根据本发明的实施例中,一种方法包括:检测实况视频流;识别一个或多个视频增强设置;响应于检测到的用户交互与一个或多个视频增强设置中的至少一个对应(一致),将视频增强显示元素嵌入到实况视频流中;检测与视频增强显示元素相关联的一个或多个删除触发(trigger,触发器);并且基于检测到的删除触发,从实况视频流中删除视频增强显示元素。
在根据本发明的实施例中,一种计算机实现的方法,包括:特别由通信系统的视频增强系统检测特别是来自广播客户端装置的实况视频流;识别一个或多个视频增强设置,特别是来自广播客户端装置的视频增强设置;响应于检测到的用户交互,特别是在广播客户端装置上的用户交互,与一个或多个视频增强设置中的至少一个对应,特别在视频增强系统的服务器或客户端装置上,将视频增强显示元素嵌入实况视频流中;检测与视频增强显示元素相关联的一个或多个删除触发;并且基于检测到的删除触发,从实况视频流中删除视频增强显示元素。
识别一个或多个视频增强设置可以包括识别增强外观设置和识别增强删除触发设置中的一个或多个。
识别增强外观设置可以包括识别颜色设置、识别形状设置、识别不透明度设置和识别用户交互设置中的一个或多个。
识别增强删除触发设置可以包括识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置中的一个或多个。
该方法还可以包括响应于识别跟踪删除触发设置:分析所述实况视频流,以识别在所述实况视频流中显示的与所述视频增强显示元素具有空间关联的对象;检测与所识别的对象相关联的运动;并且重新定位视频增强显示元素,使得保持在视频增强显示元素和所识别的对象之间的空间关联。
检测与视频增强显示元素相关联的一个或多个删除触发可以包括以下一个或多个:检测从视频增强显示元素嵌入实况视频流时开始的阈值时间量的期满;检测所述实况视频流内超过阈值的运动量;和检测被跟踪对象从实况视频流中退出。
该方法还可以包括响应于检测到被跟踪对象重新出现在实况视频流中,将视频增强显示元素重新嵌入到实况视频流中。
删除视频增强显示元素可以包括逐步删除与视频增强显示元素相关联的线段。
在根据本发明的实施例中,一种系统包括:至少一个处理器;以及至少一个在其上存储指令的非暂时性计算机可读存储介质,当所述指令被所述至少一个处理器执行时,使所述系统:检测实况视频流;识别一个或多个视频增强设置;响应于检测到的用户交互与一个或多个视频增强设置中的至少一个对应,将视频增强显示元素嵌入到实况视频流中;检测与视频增强显示元素相关联的一个或多个删除触发;并且基于检测到的删除触发,从实况视频流中删除视频增强显示元素。
识别一个或多个视频增强设置可以包括识别增强外观设置和识别增强删除触发设置中的一个或多个。
识别增强外观设置可以包括识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置中的一个或多个。
识别增强删除触发设置可以包括识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置中的一个或多个。
该系统还可以包括非暂时性计算机可读存储介质上的以下指令,当所述指令被所述至少一个处理器执行时,使所述系统响应于识别跟踪删除触发设置而:分析所述实况视频流,以识别在所述实况视频流中显示的与所述视频增强显示元素具有空间关联的对象;检测与所识别的对象相关联的运动;并且重新定位视频增强显示元素,使得保持在视频增强显示元素和所识别的对象之间的空间关联。
检测与视频增强显示元素相关联的一个或多个删除触发可以包括以下一个或多个:检测从视频增强显示元素嵌入实况视频流时开始的阈值时间量的期满;检测所述实况视频流内超过阈值的运动量;和检测被跟踪对象从实况视频流中退出。
该系统还可以包括非暂时性计算机可读存储介质上的以下指令,当所述指令被所述至少一个处理器执行时,促使所述系统响应于检测到被跟踪对象重新出现在实况视频流中,将视频增强显示元素重新嵌入到实况视频流中。
删除视频增强显示元素可以包括逐步删除与视频增强显示元素相关联的线段。
在根据本发明的实施例中,一种非暂时性计算机可读介质,可以在其上存储指令,当所述指令被至少一个处理器执行时,可以促使计算机系统:检测实况视频流;识别一个或多个视频增强设置;响应于检测到的用户交互与一个或多个视频增强设置中的至少一个对应,将视频增强显示元素嵌入到实况视频流中;检测与视频增强显示元素相关联的一个或多个删除触发;并且基于检测到的删除触发,从实况视频流中删除视频增强显示元素。
识别一个或多个视频增强设置可以包括识别增强外观设置和识别增强删除触发设置中的一个或多个。
识别增强外观设置可以包括识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置中的一个或多个。
识别增强删除触发设置可以包括识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置中的一个或多个。
在根据本发明的另一实施例中,一种或多种计算机可读非暂时性存储介质,包含软件,所述软件当被执行时可操作为执行根据本发明或任何上述实施例的方法。
在根据本发明的另一实施例中,一种系统包括:一个或多个处理器;以及耦接到处理器并包括可由处理器执行的指令的至少一个存储器,所述处理器在执行指令时可操作为执行根据本发明或任何上述实施例的方法。
在根据本发明的另一实施例中,一种计算机程序产品,优选地包括计算机可读非暂时性存储介质,其在数据处理系统上执行时可操作为执行根据本发明或任何上述实施例的方法。
附图说明
为了描述可以获得上述和其他优点和特征的方式,将通过参考在附图中示出的特定的实施例来给出上面简要描述的一个或多个实施例的各方面的更具体的描述。应该注意的是,附图没有按比例绘制,并且具有相似结构或功能的元件在整个附图中通常由用于说明目的的相同的附图标记来表示。要理解的是,这些附图仅描绘了典型的实施例,因此不认为是对其范围的限制,通过使用附图,以更多的特征和细节来描述和解释一个或多个实施例,其中:
图1示出了根据一个或多个实施例的视频增强系统的示意图;
图2A-图2M示出了根据一个或多个示出视频增强系统的各种特征的实施例的视频增强系统的一系列图形用户界面;
图3示出了根据一个或多个实施例的视频增强系统的详细示意图;
图4示出了根据一个或多个实施例的增强实况视频流的方法中的一系列动作的流程图;
图5示出了根据一个或多个实施例的示例计算装置的方框图;
图6是根据一个或多个实施例的社交网络系统的示例网络环境;以及
图7示出了根据一个或多个实施例的社交图。
具体实施方式
本文描述的一个或多个实施例利用用于增强实况视频流的系统和方法提供了益处和/或解决了本领域中的一个或多个前述或其他限制和缺点。例如,在一个或多个实施例中,视频增强系统使得广播者(例如,发起实况视频流并且从其计算装置提供该实况视频流的用户)能够配置与实况视频流相关的一个或多个增强。在一些实施例中,视频增强系统使得广播者能够在实况视频流广播之前配置一个或多个实况视频流增强。在另外的实施例中,视频增强系统使得广播者能够在实况视频流的广播期间配置实况视频流增强。
在一个或多个实施例中,视频增强系统使得广播者能够通过利用与实况视频流相关联的各种用户交互来增强实况视频流。例如,广播者可以利用触摸手势在实况视频流的一部分上绘制单词或符号。视频增强系统使单词或符号根据广播者的增强配置而显示,作为实况视频流的相应部分上的叠加。这样,实况视频流的一个或多个观看者实时看到广播者的实况视频增强。
此外,视频增强系统还根据广播者的增强配置自动从实况视频流中删除广播者的增强。例如,广播者可以定义一个或多个触发,这些触发促使视频增强系统自动删除实况视频流增强。这样,广播者可以快速更新或添加新的实况视频流增强,而不必删除旧的增强。
如本文所使用的,“增强”是指视频增强系统覆盖在或嵌入在实况视频流中的图形显示元素。例如,增强可以是广播者画的涂鸦。在这种情况下,视频增强系统将涂鸦覆盖并嵌入到实况视频流中,直到触发涂鸦的删除。此时,视频增强系统从实况视频流中删除涂鸦。
为了说明视频增强系统的各种示例特征和功能,示例实施例可以包括与通信系统交互以发起实况视频流的通信系统用户(例如,广播者)。响应于检测到发起实况视频流,视频增强系统可以提供各种选项,使得广播者能够配置增强的外观。例如,如果广播者正在配置涂鸦工具增强,则视频增强系统使广播者能够选择涂鸦颜色、涂鸦风格、涂鸦线宽、涂鸦线不透明度等。
此外,视频增强系统可以提供各种选项,使得广播者能够选择一个或多个用于增强的删除触发。在一个或多个实施例中,视频增强系统使得广播者能够选择与增强相关联的到期时间删除触发、跟踪删除触发、运动删除触发等。例如,如果广播者已将涂鸦增强定义为2秒的过期时间删除触发,则视频增强系统将在自动去除广播者的涂鸦之前,将广播者嵌入实况视频流中的涂鸦显示2秒钟。此时,广播者可以在实况视频流中添加更多涂鸦,或者可以配置不同的增强。
应当理解,视频增强系统提供了本文结合通信系统的实况视频特征描述的功能。例如,在一个或多个实施例中,视频增强系统作为安装在与广播者相关联的客户端计算装置上的通信系统应用的一部分来操作。因此,广播者不需要为了增强实况视频流而获得或安装庞大的视频编辑软件。相反,视频增强系统提供了用于增强实况视频的流线型解决方案,而不像传统解决方案那样需要大量计算资源。
图1示出了用于实现视频增强系统100的环境的示例方框图。如图1所示,视频增强系统100包括:包含通信系统应用106a的广播客户端装置102以及包含通信系统应用106b的观看者客户端装置104。进一步如图1所示,视频增强系统100还包括托管通信系统110的服务器108。
通信系统110包括便于通信系统110的用户之间的消息传递的系统。例如,通信系统110可以允许用户通过发送文本、照片、视频或其他数字媒体来相互传递消息。在一个或多个实施例中,通信系统110包括社交网络系统,例如,下面相对于图6和图7更详细描述的社交网络系统。
广播客户端装置102、观看者客户端装置104和服务器108经由网络112进行通信,网络112可以包括一个或多个网络,并且可以使用适于传输数据和/或通信信号的一个或多个通信平台或技术。在一个或多个实施例中,网络112包括互联网或万维网。然而,网络112可以包括使用各种通信技术和协议的各种其他类型的网络,例如,公司内部网、虚拟专用网络(“VPN”)、局域网(“LAN”)、无线局域网(“WLAN”)、蜂窝网络、广域网(“WAN”)、城域网(“MAN”)或两种以上这样网络的组合。下面参考图6解释与网络112相关的额外细节。
尽管图1示出了客户端装置的特定数量和布置,但是在额外实施例中,广播客户端装置102和观看者客户端装置104可以绕过网络112直接与通信系统110通信。此外,在其他实施例中,视频增强系统100可以包括任意数量的观看者客户端装置以及被授权与广播客户端装置102交互的额外客户端装置,将在下面进一步提供其细节。
在一个或多个实施例中,广播客户端装置102和观看者客户端装置104可以是各种类型的计算装置中的一个。例如,广播客户端装置102和观看者客户端装置104中的每一个可以包括移动装置,例如,移动电话、智能手机、PDA、平板电脑或膝上型电脑。另外或替代地,广播客户端装置102和观看者客户端装置104可以包括非移动装置,例如,台式计算机、服务器或另一种类型的计算装置。应当理解,广播客户端装置和观看者客户端装置可以包括相同类型的计算功能。换言之,在优选实施例中,广播客户端装置和一个或多个观看者客户端装置都是移动计算装置,例如,智能手机。广播客户端装置102是实况视频流源自的客户端装置,而观看者客户端装置104是正在观看实况视频流的客户端装置。在至少一个实施例中,广播客户端装置102的用户(例如,观看者)和观看者客户端装置104的用户(例如,观看者)经由通信系统110而相关联。下面参照图5讨论关于广播客户端装置102和观看者客户端装置104的额外细节。
如下文将更详细描述的,视频增强系统100的组件可以连同和/或结合其他组件,提供一个或多个图形用户界面(“GUI”)。特别地,通信系统应用106a、106b可以显示由通信系统应用106a、106b和/或通信系统110生成的一个或多个GUI。通信系统应用106a、106b使得用户(例如,广播者或观看者)能够出于各种目的与在一个或多个GUI内提供的显示元素的集合进行交互。图2A-图2M和随后的描述说明了用于描述视频增强系统100的各种特征的GUI的各种示例实施例。
如上所述,通信系统110使得广播者能够从广播客户端装置102发起实况视频流。如本文所使用的,术语“广播者”是指通信系统110的发起或以其他方式提供实况视频呈现的用户。广播者可以是个人、商人、企业或其他组织。此外,如本文所使用的,术语“观看者”是指通信系统110的经由通信系统110观看实况视频流的用户。在一个或多个实施例中,响应于广播者发起实况视频流,视频增强系统100在广播客户端装置102的触摸屏显示器202上提供增强GUI 204,如图2A所示。特别地,广播者可以与增强GUI 204交互,以定义和创建实况视频流增强。
例如,如图2A所示,增强GUI 204提供各种控制、设置和定义,这些控制、设置和定义允许广播者定义、选择和以其他方式配置增强,并且还将增强应用于实况视频流。具体地,增强GUI 204可以包括实况视频流显示206。在一个或多个实施例中,实况视频流显示206提供广播客户端装置102正在发送给通信系统110的实况视频流的显示。
在一个或多个实施例中,如图2A所示,增强GUI 204还包括各种指示器。例如,增强GUI 204可以包括实况(现场直播)指示器208。在至少一个实施例中,通信系统应用106a在增强GUI 204上包括实况指示器208,以通知广播者实况视频流显示206中的视频是现场直播的(例如,正在广播到通信系统110,用于随后向一个或多个观看者显示)。另外,通信系统应用106a可以包括观看者指示器210,其通知广播者有多少观看者当前正在观看实况视频流。
视频增强系统100在增强GUI 204中提供各种控制,使得广播者能够定义或以其他方式配置各种增强设置。例如,如图2A所示,广播者可以通过选择滤波器控制214对实况视频流应用一个或多个滤波器。此外,如图2A所示,广播者可以通过选择增强控制216来定义和应用增强。例如,如图2A-图2G所示,广播者可以定义和应用涂鸦增强。如上所述,涂鸦增强使广播者能够直接在实况视频流上绘制形状和图形。视频增强系统100然后根据广播者定义的删除触发删除广播者的“涂鸦”。
响应于广播者选择增强控制216,视频增强系统100提供滑动调色板222,该调色板包括使广播者能够定义增强的各种设置控制。例如,如图2A所示,滑动调色板222包括颜色和图案控制,例如,颜色控制224。响应于广播者选择颜色控制224,视频增强系统100将所表示的颜色应用于广播者的涂鸦。在另外的实施例中,滑动调色板222可以包括另外的外观设置,例如,线条不透明度设置、动画设置、印章设置、贴纸设置、音效设置等。
滑动指示器226指示滑动调色板222的额外部分。例如,响应于广播者在滑动调色板222上向右滑动,视频增强系统100可以提供线条控制228a、228b,如图2B所示。在一个或多个实施例中,线条控制228a、228b使得用户能够配置广播者在涂鸦增强中涂鸦的线条的大小和形状。例如,通过重复选择线条控制228a,广播者可以选择多种线条尺寸中的一种(例如,“大”、“中”、“小”、“微小”等)。类似地,通过重复选择线条控制228b,广播者可以选择多种线条样式中的一种(例如,普通、霓虹灯、标记、画笔等)。在额外的或替代的实施例中,调色板可以包括额外的控制,这些控制使得广播者能够选择标签、印章、音效、动画等,广播者可以将其用作增强的一部分。此外,在至少一个替代实施例中,通过选择线条控制228a、228b中的任一个,视频增强系统100可以提供包含进一步选项、演示等的弹出窗口。此外,在至少一个实施例中,滑动调色板222包括使广播者能够选择用户交互设置的控制,而用户交互设置指示如何将增强应用于实况视频馈送(例如,轻扫手势添加印章、滑动手势添加涂鸦等)。
响应于广播者再次在滑动调色板222上向右滑动,视频增强系统100可以提供各种控制,广播者可以通过这些控制选择一个或多个删除触发。如上所述,视频增强系统100将继续显示覆盖在实况视频流上的增强,直到视频增强系统100检测到发生删除触发。如图2C所示,广播者可以通过选择一个或多个删除触发控制230a、230b和230c来指定一个或多个删除触发。在至少一个替代实施例中,响应于广播者不选择删除触发控制,视频增强系统100将不会删除添加到实况视频流的任何增强,直到实况视频流结束或者直到检测到默认触发。
响应于广播者选择删除触发控制230a,视频增强系统将对广播者的任何实况视频增强应用时间到期删除触发。为了说明具有时间到期删除触发的涂鸦增强,广播者可以使用他的手指234涂鸦增强(例如,“ok”),如图2D所示。如图2D所示,随着广播者涂鸦,视频增强系统100实时添加嵌入实况视频流显示206中的相应视频增强显示元素232。因此,无论从广播者的角度还是从实况视频流的任何观看者的角度来看,广播者似乎都在实况视频流上绘画。响应于广播者选择与视频增强显示元素232相关联的时间到期删除触发,视频增强系统100在从视频增强系统100首次将视频增强显示元素232嵌入实况视频流起经过预定量的时间之后删除视频增强显示元素232。在一些实施例中,视频增强系统100作为单个单元删除视频增强显示元素232。例如,在这种情况下,视频增强系统100在从广播者停止绘画起经过预定量的时间之后删除整个视频增强显示元素232。
在其他实施例中,视频增强系统100将视频增强显示元素232视为连接的线段的集合,并且随着从广播者绘制线段起经过预定量的时间,逐渐删除每个线段。例如,如图2E所示,视频增强系统100确定从广播者绘制构成“o”的下半部分的线段起已经经过了预定的时间量。因此,视频增强系统100已经删除了那些线段。在至少一个实施例中,视频增强系统100以渐消动画删除线段,使得广播者和观看者觉得视频增强显示元素232的线段以广播者绘制的相同顺序渐消。结合如图2F和图2G所示的视频增强显示元素232进一步示出了这种“渐消”效果。
更具体地,关于时间到期删除触发,视频增强系统100将时间(例如时间戳)与视频增强显示元素232的每个线段或点相关联。每个线段可以包括多个重叠的点。当从添加特定线段或点的时间开始经过预定时间量时,视频增强系统100删除线段或点。
在又一些实施例中,视频增强系统100在删除视频增强显示元素232之前检测多步触发。例如,视频增强系统100可以在删除任何点或线段之前检测到视频增强显示元素232完成或结束。这可以确保在删除部分之前完整地显示单词或其他视频增强显示元素。例如,视频增强系统100可以检测自从在删除视频增强显示元素的任何部分之前接收创建视频增强显示元素的用户输入以来已经过去的第一预定时间量。一旦从接收创建视频增强显示元素的任何用户输入起已经过了第一预定时间量,视频增强系统100就可以检测到一次自从添加特定点或线起已经经过了第二预定时间,然后删除该特定点或线。因此,第一预定时间量可以作为上述用来确保在删除特定视频增强显示元素(例如,单词)的任何部分之前完整地显示该元素的过程的延迟。
如上所述,并且如图2C所示,视频增强系统100使得广播者能够将其他类型的删除触发应用于增强。例如,响应于广播者选择删除触发控制230b,视频增强系统100将运动删除触发应用于广播者添加到实况视频流的任何增强。例如,图2H-图2J示出了运动删除触发的功能,如本文所述。
例如,如图2H所示,广播者已经绘制了视频增强显示元素232(例如,在实况视频流显示206中表征的汽车后端周围绘制的圆圈)。如果图2H-图2J所示的实况视频流描绘了跑车从0英里加速到每小时60英里,则实况视频流的开始将表征汽车静止几秒钟。因此,视频增强系统100在实况视频流显示206中检测到没有运动,并且继续显示视频增强显示元素232。
接下来,如图2I所示,汽车开始加速离开广播者。因此,响应于检测到实况视频流显示206内关于视频增强显示元素232的阈值运动量,视频增强系统100删除视频增强显示元素232。如上所述,视频增强系统100可以作为单个单元删除视频增强显示元素232,或者可以按照广播者绘制线段的相同顺序逐步删除视频增强显示元素232内的线段。例如,如图2I和图2J所示,视频增强系统100逐渐删除视频增强显示元素232的线段,直到视频增强显示元素232从实况视频流显示206中完全删除。
最后,如图2C所示,视频增强系统100使广播者能够对增强应用第三种类型的删除触发。例如,响应于广播者选择删除触发控制230c,视频增强系统100将跟踪删除触发应用于广播者添加到实况视频流的任何增强。例如,图2K-图2M示出了跟踪删除触发的功能,如本文所述。
如图2K所示,响应于广播者将视频增强显示元素232添加到实况视频流显示206,视频增强系统100将视频增强显示元素232锚定到视频增强显示元素232位于其上的实况视频流显示206的部分。例如,如图2K所示,视频增强显示元素232是广播者在汽车后端绘制的三角形。因此,视频增强系统100将视频增强显示元素232锚定到在三角形内显示的汽车部分。因此,如图2L和图2M所示,当汽车的该部分在实况视频流显示206内移动时,视频增强系统100继续显示锚定到汽车的同一部分的视频增强显示元素232。如图2M所示,当视频增强显示元素232在其上跟踪的对象的比例变化时,视频增强系统100将视频增强显示元素232集中在被跟踪的对象上。
在至少一个实施例中,视频增强系统100可以将视频增强显示元素232锚定到底层对象,直到该对象移出实况视频流显示206。如上所述,一旦底层对象不再可见,视频增强系统100就整体或渐进地删除视频增强显示元素232。在至少一个实施例中,如果底层对象移回到实况视频流显示206中,则视频增强系统100重新显示视频增强显示元素232。
更具体地,在一个或多个实施例中,视频增强系统100检测视频增强显示元素232和视频中的对象之间的空间关系。例如,关于图2K,视频增强系统100确定视频增强显示元素232和汽车牌照之间的空间关系。视频增强系统100随后在汽车移动时的整个视频跟踪牌照。视频增强系统100保持视频增强显示元素232和汽车牌照之间的空间关系。例如,图2K示出了视频增强显示元素232包围汽车牌照。如图2L所示,当汽车移动时,视频增强系统100保持视频增强显示元素232和汽车牌照之间的空间关系(例如,保持视频增强显示元素232包围汽车牌照)。
图3示出了说明视频增强系统100的示例实施例的示意图。如图3所示,视频增强系统100包括用于执行本文描述的过程和特征的各种组件。例如,如图3所示,视频增强系统100包括但不限于广播客户端装置102、观看者客户端装置104和服务器110。在一个或多个实施例中,广播客户端装置102和观看者客户端装置104分别包括通信系统应用106a和106b。通信系统应用106a和106b包括显示管理器302a、302b、用户输入检测器304a、304b、视频管理器306a、306b、增强引擎308a、308b以及包括视频数据312a、312b的数据存储器310a、310b。另外,广播客户端装置102和观看者客户端装置104包括摄像头和显示部件314a、314b。
同样如图3所示,服务器108托管通信系统110。在一个或多个实施例中,通信系统110包括视频引擎316、包括视频数据320的数据存储器318以及包括节点信息324和边缘信息326的社交图322。社交图322的节点信息324存储的信息包括例如用户的节点和存储库的节点。社交图322的边缘信息326存储的信息包括节点和/或通信系统110内发生的动作之间的关系。在下面参照图7呈现关于通信系统110、社交图322、边缘和节点的进一步细节。
通信系统应用106a、106b的组件以及通信系统110的组件中的每一个可以使用计算装置来实现,该计算装置包括至少一个处理器,该处理器执行使得视频增强系统100执行本文描述的过程的指令。在一些实施例中,本文描述的通信系统组件可以由服务器108实现,或者在多个服务器装置上实现。另外或替代地,一个或多个服务器装置和一个或多个客户端装置的组合可以实现通信系统应用106a、106b的组件。此外,本文描述的组件可以包括计算机可执行指令和硬件的组合。
在一个或多个实施例中,通信系统应用106a、106b是分别安装在广播装置102和观看者客户端装置104上的本地应用。例如,通信系统应用106a、106b中的任一个可以是在移动装置,例如智能手机或平板电脑上安装并运行的移动应用。可替代地,通信系统应用106a、106b中的任一个可以是桌面应用、窗口小部件或其他形式的本地计算机程序。此外,通信系统应用106a、106b中的任一个可以是由广播客户端装置102或观看者客户端装置104访问的远程应用。例如,通信系统应用106a、106b中的任一个可以是分别在广播客户端装置102或观看者客户端装置104的网络浏览器中执行的网络应用。
如上所述,如图3所示,通信系统应用106a、106b包括显示管理器302a、302b。显示管理器302a、302b提供、管理和/或控制图形用户界面,该界面允许用户与通信系统110和视频增强系统100的部件(装置,feature)交互。例如,显示管理器302a、302b提供图形用户界面,该界面便于显示与客户端装置(例如,广播客户端装置102或观看者客户端装置104)的用户相关联的社交网络系统新闻馈送。社交网络系统用户的新闻馈送可以包括由社交网络系统用户的共同用户(例如,“朋友”)撰写的社交网帖子以及文章、广告等。在至少一个实施例中,用户的新闻馈送可以包括结构化对象,当被选择时,该结构化对象使得通信系统110打开其中用户可以启动实况视频流或观看实况视频流的图形用户界面。
更具体地,显示管理器302a、302b便于显示图形用户界面。例如,显示管理器302a、302b可以组成允许用户参与社交网络系统活动的多个图形组件、对象和/或元素的图形用户界面。更具体地,显示管理器302a、302b可以分别指示广播客户端装置102和观看者客户端装置104显示使得用户能够与通信系统110的各种部件交互的一组图形组件、对象和/或元素。
此外,显示管理器302a、302b分别指示广播客户端装置102和观看者客户端装置104显示便于用户输入以与通信系统110的各种部件进行交互的一个或多个图形对象、控件或元素。为了说明,显示管理器302a、302b提供图形用户界面,该界面允许用户将一种或多种类型的内容输入到社交网络系统帖子或电子消息中。如本文所使用的,“内容”是指作为通信系统帖子或电子消息的一部分而包括的任何数据或信息。例如,术语“内容”在本文将用于一般地描述文本、图像、数字媒体、文件、位置信息、支付信息或可以包括而作为通信系统帖子或电子消息的一部分的任何其他数据。
显示管理器302a、302b还便于输入文本或其他数据,以便与通信系统110的一个或多个部件进行交互。例如,显示管理器302a、302b提供包括触摸显示键盘的用户界面。用户可以使用一个或多个触摸手势来与触摸显示键盘交互,以输入要包括在社交网络系统帖子或电子消息中的文本。例如,用户可以使用触摸显示键盘来撰写消息。除了文本之外,包括触摸显示键盘的图形用户界面可以促进输入各种其他字符、符号、图标或其他信息。
此外,显示管理器302a、302b能够在两个或多个图形用户界面之间转换。例如,在一个实施例中,显示管理器302a、302b向社交网络系统用户提供包含来自共同用户的一个或多个社交网络系统帖子的新闻馈送。稍后,响应于与新闻馈送内的结构化对象相关的检测到的来自社交网络系统用户的输入,显示管理器302a、302b转换到第二图形用户界面,而该界面包括显示实况视频流。
如图3进一步所示,通信系统应用106a、106b分别包括用户输入检测器304a、304b。在一个或多个实施例中,用户输入检测器304a、304b以任何合适的方式检测、接收和/或促进用户输入。在一些示例中,用户输入检测器304a、304b检测关于用户界面的一个或多个用户交互。如本文所述,“用户交互”是指通过一个或多个输入装置从用户接收的单个交互或交互的组合。例如,用户输入检测器304a、304b检测来自键盘、鼠标、触摸页面、触摸屏和/或任何其他输入装置的用户交互。在广播客户端装置102和/或观看者客户端装置104包括触摸屏的情况下,用户输入检测器304a、304b分别检测来自用户的形成用户交互的一个或多个触摸手势(例如,滑动手势、轻拍手势、捏手势、反向捏手势)。在一些示例中,用户可以提供关于和/或针对用户界面的一个或多个图形对象或图形元素的触摸手势。
用户输入检测器304a、304b可以另外或替代地接收表示用户交互的数据。例如,用户输入检测器304a、304b可以接收来自用户的一个或多个用户可配置参数、来自用户的一个或多个命令和/或任何其他合适的用户输入。用户输入检测器304a、304b可以从通信系统110的一个或多个组件或者从一个或多个远程位置接收输入数据。
通信系统应用106a、106b响应于用户输入检测器304a、304b检测到用户输入和/或接收其他数据而执行一个或多个功能。通常,用户可以通过提供用户输入检测器304a、304b可以检测到的一个或多个用户输入来控制通信系统应用106a、106b,在通信系统应用106a、106b内导航或以其他方式使用通信系统应用106a、106b。例如,响应于用户输入检测器304a、304b检测到用户输入,通信系统应用106a、106b的一个或多个组件允许社交网络系统用户浏览新闻馈送。在另一示例中,响应于用户输入检测器304a、304b检测到用户输入,通信系统应用106a、106b的一个或多个组件允许用户与实况视频流显示交互。
在至少一个实施例中,用户输入检测器304a、304b确定检测到的用户交互是否与实况视频流显示相关联。例如,如上所述,视频增强系统的一个或多个部件提供实况视频流显示,观看者可以使用各种触摸手势(例如,轻拍元素、滑动元素等)与之交互。因此,用户输入检测器304a、304b可以确定例如观看者的轻拍触摸手势何时在实况视频流显示的一部分上。响应于确定触摸手势在实况视频流显示的一部分上,用户输入检测器304a、304b可以向视频增强系统100报告触摸手势。
如图3进一步所示,通信系统应用106a、106b包括视频管理器306a、306b。在一个或多个实施例中,视频管理器306a、306b处理广播和观看实况视频流所需的所有活动。例如,在广播客户端装置102上,视频管理器306a与和广播客户端装置102相关联的摄像头部件314a接合。例如,广播客户端装置102指导从与广播客户端装置102相关联的一个或多个摄像头捕获实况视频流。类似地,在观看者客户端装置104上,视频管理器306b与和观看者客户端装置104相关联的显示部件314b接合。例如,视频管理器306b与和观看者客户端装置104相关联的一个或多个显示器接合,以便显示从通信系统110接收的实况视频流。
另外,视频管理器306a、306b与通信系统110通信,以便提供和/或接收实况视频流。例如,在广播客户端装置102上,视频管理器306a发起与通信系统110的实况视频链接或连接,这使得通信系统110能够实时接收在广播客户端装置102处捕获的实况视频流。接下来,在观看者客户端装置104处,视频管理器306b发起与社交网络系统100的实况视频链接或连接,这使得通信系统110能够实时地向观看者客户端装置104提供实况视频流。
同样如图3所示,通信系统应用106a、106b包括增强引擎308a、308b。在一个或多个实施例中,增强引擎308a、308b接收一个或多个视频增强设置。例如,在至少一个实施例中,增强引擎308a提供各种控制,作为实况视频图形用户界面内的菜单,这些控制使得广播者能够选择增强外观设置和删除触发设置。例如,增强引擎308a提供控制,使得广播者能够选择增强外观设置,包括但不限于增强类型(例如,涂鸦、印章、遮罩、音效等)、增强颜色、增强线宽、增强线不透明度等。另外,增强引擎308a提供使广播者能够选择删除触发设置的控制,包括但不限于时间到期删除触发、运动删除触发和/或跟踪删除触发。在至少一个实施例中,增强引擎308b可以在观看者客户端装置104上为观看者提供这些相同的控制,以选择一个或多个视频增强设置。另外,在至少一个实施例中,增强引擎308a、308b使得广播者或观看者能够为单个增强或多个增强选择视频增强设置。
在一个或多个实施例中,增强引擎308a、308b还将视频增强设置应用于实况视频流。例如,如上所述,广播者或观看者可以选择各种视频增强设置,这些设置指示增强引擎308a、308b关于与特定增强相关联的类型、外观和删除触发。因此,根据视频增强设置,增强引擎308a、308b在实况视频流上覆盖或嵌入增强,检测删除触发的出现,并响应于删除触发而删除增强。
为了说明,在一个实施例中,广播者可以选择视频增强设置,所述视频增强设置指示增强引擎308a在实况视频流上嵌入红色涂鸦增强,并且在删除涂鸦增强(例如,时间到期删除触发)之前显示红色涂鸦增强五秒钟。在一个或多个实施例中,涂鸦类型的增强使得广播者能够利用与触摸屏显示器相关联的触摸手势在实况视频流上绘制涂鸦(例如,绘图)。因此,在接收到广播者的视频增强设置之后,增强引擎308a促使在广播者的实况视频流上显示表示与广播者的触摸手势对应的涂鸦的视频增强显示元素。增强引擎308a不仅在广播客户端装置102处的实况视频流上显示视频增强显示元素,而且将视频增强显示元素嵌入实况视频流中,使得一个或多个观看者在从通信系统110接收实况视频流时也看到涂鸦。增强引擎308a继续显示涂鸦五秒钟,然后从实况视频流中删除涂鸦。
在另一示例中,广播者可以选择视频增强设置,所述视频增强设置指示增强引擎308a响应于轻拍触摸手势而覆盖图形遮罩增强,并且继续显示遮罩,直到在实况视频流中检测到运动(例如,运动删除触发)。在一个或多个实施例中,图形遮罩增强使得广播者能够响应于特定触摸手势(例如,轻拍触摸手势)而选择遮罩(例如,不透明图形)并将遮罩覆盖在实况视频流的一部分上。因此,在接收到广播者的视频增强设置之后,增强引擎308a使得遮罩覆盖在广播者轻拍的实况视频流的一部分上(例如,在实况视频流中显示的人的脸上)。增强引擎308a继续显示遮罩,直到增强引擎308a检测到实况视频流内的阈值运动量(例如,遮罩后面的人移动),此时,增强引擎308a从实况视频流中删除遮罩。
在又一示例中,广播者可以选择视频增强设置,所述设置指示增强引擎308a覆盖在实况视频流内锚定到对象的动画图形,并且当对象在实况视频流内时(例如,跟踪删除触发),继续显示锚定到对象的动画图形。例如,广播者可以选择动画“光环”图形,并将光环锚定在实况视频馈送中显示的人的头上。响应于广播者选择该人作为将被增强引擎308a跟踪的对象,即使这个人在实况视频流内移动时,增强引擎308a也可以在该人的头上显示动画光环。一旦这个人不再在实况视频流中显示,增强引擎308a就可以从实况视频流中删除光环图形。在至少一个实施例中,增强引擎308a可以在每次被跟踪的对象重新进入实况视频流时显示增强(例如,当这个人再次在实况视频流中显示时,光环图形将重新出现在这个人的头上)。
因此,除了应用广播者选择的视频增强设置之外,增强引擎308a、308b还检测触发增强删除的时间。例如,增强引擎308a、308b检测与增强相关联的时间限制的到期(例如,从视频增强显示元素添加到实况视频流时起已经经过的时间量)。另外,在一个或多个实施例中,增强引擎308a、308b检测实况视频流内的阈值运动量。增强引擎308a、308b可以通过分析像素、对象间距等来检测运动。此外,在一个或多个实施例中,增强引擎308a、308b跟踪实况视频流内的一个或多个对象。增强引擎308a、308b利用图像分析、计算机视觉等跟踪对象。
响应于检测到删除触发,增强引擎308a、308b还从实况视频流中删除一个或多个增强。如上所述,在一个或多个实施例中,增强引擎308a、308b不仅从与广播客户端装置102相关联的显示中,而且从实况视频流中删除增强,使得实况视频流的一个或多个观看者不再看到该增强。在至少一个实施例中,增强引擎308a、308b逐渐删除增强。例如,如果增强类型是其中广播者已经绘制了多个点和/或线段的涂鸦,则增强引擎308a、308b可以删除视频增强显示元素,使得首先绘制的点或线段在稍后绘制的点或线段之前删除。由于增强引擎308a、308b可以在广播者仍在绘制时删除涂鸦的开始部分,所以这给涂鸦一种“消退”的效果。
更具体地,增强引擎308a、308b与圆点/点/像素添加到实况视频的时间相对应地将时间与增强的每个圆点/点/像素相关联。在从圆点/点/像素添加到实况视频起已经经过预定删除触发时间时,增强引擎308a、308b随后删除每个圆点/点/像素。
可替代地,增强引擎308a、308b可以同时删除整个增强。例如,如果增强类型是印章或遮罩,则增强引擎308a、308b可以在检测到删除触发时删除整个增强。
在一个或多个实施例中,增强引擎308a、308b基于增强的一个或多个特性来建立删除技术的类型(整体增强或逐点地)。例如,增强引擎308a、308b可以确定增强是词,然后同时删除整个词。可替代地,增强引擎308a、308b可以确定增强是艺术设计,并逐点删除增强。
另外,增强引擎308a、308b可以向任何增强的删除添加动画和/或音效。例如,增强引擎308a、308b可以通过分割构成增强的点并在移除点之前在屏幕上分布点来导致增强爆炸。可替代地,增强引擎308a、308b可以通过递增地增加增强的每个点的透明度,直到增强不再可见,导致增强逐渐消失。
虽然参考实况视频流描述了增强管理器308a、308b的特征和功能,但是在至少一个实施例中,增强管理器308a、308b还可以将一个或多个增强嵌入预先录制的视频中。例如,在至少一个实施例中,广播者可以选择预先录制的视频并选择上述任何设置。此外,广播者可以在向通信系统110广播预先录制的视频的同时,对预先录制的视频应用一个或多个增强。
如图3所示,并且如上所述,通信系统应用106a、106b还包括数据存储器310a、310b。数据存储器310a、310b包括视频数据312a、312b。在一个或多个实施例中,视频数据312a、312b代表视频信息,如本文所述。
广播客户端装置102和观看者客户端装置104还包括摄像头和显示部件314a、314b。例如,在一个或多个实施例中,广播客户端装置102和观看者客户端装置104包括至少一个摄像头(例如,智能手机摄像头或平板计算机摄像头)和至少一个显示器(例如,触摸屏显示器)。在一个或多个实施例中,摄像头和显示部件314a、314b可以是内置的或外围的。在额外实施例中,广播客户端装置102和观看者客户端装置104可以包括多个摄像机和/或多个显示器。
同样如图3所示,并且如上所述,服务器108托管通信系统110。通信系统110向一个或多个社交网络系统用户提供社交网络系统帖子、电子消息、结构化对象和实况视频流(例如,通过简档、新闻馈送、通信线索(thread)、时间线、“墙”、实况视频流显示或任何其他类型的图形用户界面)。例如,一个或多个实施例向用户提供包含来自与用户相关联的一个或多个共同用户(例如,用户的“朋友”)的帖子的社交网络系统新闻馈送。
在一个或多个实施例中,用户浏览他或她的社交网络系统新闻馈送,以便查看由与用户相关联的一个或多个共同用户经由通信系统110提交的最新帖子。在一个实施例中,通信系统110在用户的社交网络系统新闻馈送或墙中按时间顺序组织帖子。在替代实施例中,通信系统110根据用户和共同用户之间的关系系数等,按兴趣组在地理上组织社交网络系统帖子。此外,在一个或多个实施例中,用户可以下载社交网络系统新闻馈送的副本,作为其上显示的社交网络系统帖子的记录。
通信系统110还使得用户能够参与所有其他类型的社交网络系统活动。例如,通信系统110使得社交网络系统用户能够浏览新闻馈送、点击帖子和超链接、撰写和提交电子消息和帖子、与结构化对象交互、观看实况视频流、与多媒体交互等。
如上所述,如图3所示,通信系统110包括视频引擎316。在一个或多个实施例中,视频引擎316处理与实况视频流相关联的活动。例如,视频引擎316检测来自广播客户端装置102的实况视频流的发起。此外,视频引擎316经由通信系统110向与广播者相关联的一个或多个观看者提供对实况视频流的访问。
此外,在至少一个实施例中,视频引擎316对实况视频流的一个或多个观看者提供访问,这使得一个或多个观看者能够向实况视频流添加增强。例如,在大多数实施例中,只有广播者向实况视频流添加增强。然而,在一些实施例中,广播者和一个或多个观看者可以向实况视频流添加增强。例如,广播者可以设置偏好,该偏好授予一个或多个观看者向广播者的实况视频流添加增强的权限。因此,视频引擎316授予一个或多个观看者访问权,以向实况视频流添加增强。
在另一实施例中,当一个或多个观看者中的每一个与广播者具有足够的关系系数时,视频引擎316可以自动授予一个或多个观看者访问权,以向实况视频流添加增强。例如,在一个或多个实施例中,通信系统110分析社交网络系统用户之间的各种类型的交互(例如,点击、赞、评论、共享、签到、简档信息等)并将两个用户之间的关系量化为关系系数。例如,两个同事之间的关系系数可能高于15年前就读同一所初中的两个成年人之间的关系系数。这样,响应于检测到来自广播者的实况视频流的发起,视频引擎316可以分析广播者和与广播者是朋友的社交网络系统用户之间的关系系数。视频引擎316随后可以自动授予正在观看实况视频流并且与广播者之间的关系系数高于阈值量的一个或多个社交网络系统用户访问权。如果视频引擎316自动授予观看者(例如,观看者客户端装置104的用户)增强访问权,则如上所述,观看者客户端装置104上的增强引擎308b提供与提供给广播者的设置控制和增强特征相同的设置控制和增强特征。
在至少一个实施例中,视频引擎316允许广播者向赞助商授予增强特权。例如,如果广播者是由体育用品公司赞助的运动员,则视频引擎316可以使广播者授予赞助者对广播者的实况视频流的增强访问权,即使广播者和赞助者不是经由通信系统110的“朋友”。另外,在至少一个实施例中,视频引擎316可以在发起实况视频流之前自动向广播者建议一个或多个赞助商。视频引擎316可以基于各种社交网络系统信号(例如,广播者拥有的朋友数量、广播者的赞、广播者的评论、广播者发起实况视频流的频率等)来建议一个或多个赞助商。
如图3所示,如上所述,通信系统110还包括数据存储器318。数据存储器318包括视频数据320。在一个或多个实施例中,视频数据320代表视频信息,如本文所述的视频信息。
图1-图3、相应的文本和示例提供了许多不同的方法、系统和装置,用于利用视频增强系统100增强实况视频流。除了前述内容,也可以在流程图方面描述一个或多个实施例,该流程图包括用于实现特定结果的方法中的动作。例如,图4可以用更少或更多的动作来执行,或者这些动作可以以不同的顺序来执行。此外,本文描述的动作可以彼此并行地或者与相同或相似动作的不同实例并行地重复或执行。
图4示出了增强实况视频流的一个示例方法400的流程图。方法400包括检测实况视频流的动作410。例如,在至少一个实施例中,动作410涉及在客户端计算装置处检测发起实况视频流。
另外,方法400包括识别视频增强设置的动作420。具体而言,动作420涉及识别一个或多个视频增强设置。例如,识别一个或多个视频增强设置可以包括识别增强外观设置和识别增强删除触发设置中的一个或多个。在一个或多个实施例中,识别增强外观设置包括识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置中的一个或多个。同样在一个或多个实施例中,识别增强删除触发设置包括识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置中的一个或多个。
在至少一个实施例中,方法400还包括以下动作:响应于识别跟踪删除触发设置,分析实况视频流以识别在实况视频流中显示的在空间上与视频增强显示元素相关联的对象。此后,方法400还包括以下动作:检测与所识别的对象相关联的运动,并且重新定位视频增强显示元素,使得保持视频增强显示元素和所识别的对象之间的空间关联。
方法400还包括嵌入视频增强显示元素的动作430。具体而言,动作430涉及响应于检测到的用户交互与一个或多个视频增强设置的至少一个对应,将视频增强显示元素嵌入实况视频流中。例如,嵌入视频增强显示元素可以包括将涂鸦、印章、动画、贴纸、遮罩或音效嵌入到实况视频流中。
此外,方法400包括检测删除触发的动作440。具体而言,动作440涉及检测与视频增强显示元素相关联的一个或多个删除触发。例如,检测与视频增强显示元素相关联的一个或多个删除触发包括以下一个或多个:检测从视频增强显示元素嵌入实况视频流时开始的阈值时间量的期满;检测所述实况视频流内超过阈值的运动量;和检测被跟踪对象从实况视频流中退出。在至少一个实施例中,方法400包括响应于检测到被跟踪对象重新出现在实况视频流中,将视频增强显示元素重新嵌入到实况视频流中。
方法400还包括删除视频增强显示元素的动作450。具体而言,动作450包括基于检测到的删除触发,从实况视频流中删除视频增强显示元素。例如,删除视频增强显示元素可以包括逐步删除与视频增强显示元素相关联的线段。
本公开的实施例可以包括或利用包括计算机硬件的专用或通用计算机,例如,一个或多个处理器和系统存储器,如下面更详细讨论的。在本公开的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。具体地,可以至少部分地实现本文描述的一个或多个过程,作为体现在非暂时性计算机可读介质中并且可由一个或多个计算装置(例如,本文所述的任何媒体内容访问装置)执行的指令。通常,处理器(例如,微处理器)从非暂时性计算机可读介质(例如,存储器等)接收指令,并且执行这些指令,由此执行一个或多个过程,包括在本文描述的一个或多个过程。
计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是非暂时性计算机可读存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非通过限制的方式,本公开的实施例可以包括至少两种截然不同的计算机可读介质:非暂时性计算机可读存储介质(装置)和传输介质。
非暂时性计算机可读存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如,基于RAM)、闪存、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且通用或专用计算机可以访问的任何其他介质。
“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线、或硬连线或无线的组合)将信息传输或提供给计算机时,计算机将该连接正确地视为传输介质。传输介质可以包括网络和/或数据链路,其可以用来以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且可以被通用或专用计算机访问。上述的组合也应该包括在计算机可读介质的范围内。
此外,在到达各种计算机系统部件时,可以将计算机可执行指令或数据结构形式的程序代码装置从传输介质自动传输到非暂时性计算机可读存储介质(装置)(或反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以缓存在网络接口模块(例如,“NIC”)内的RAM中,然后最终传送到计算机系统RAM和/或计算机系统中的较不易失性的计算机存储介质(装置)。因此,应当理解的是,非暂时性计算机可读存储介质(装置)可以包括在也(甚至主要)利用传输介质的计算机系统部件中。
计算机可执行指令包括例如指令和数据,其在处理器处执行时,促使通用计算机、专用计算机或专用处理装置执行特定功能或功能组。在一些实施例中,在通用计算机上执行计算机可执行指令,以将通用计算机变成实现本公开的元素的专用计算机。计算机可执行指令可以是例如二进制文件、诸如汇编语言等中间格式指令或者甚至是源代码。虽然已经用结构部件和/或方法动作专用的语言描述了主题,但是应当理解,所附权利要求中定义的主题不一定限于上面描述的部件或动作。相反,公开所描述的部件和动作,作为实施权利要求的示例形式。
本领域技术人员将理解,本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践,包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器的或可编程的消费性电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机等。本公开还可以在分布式系统环境中实践,其中,通过网络连接的本地和远程计算机系统(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)都执行任务。在分布式系统环境中,程序模块可能位于本地和远程内存存储装置中。
本公开的实施例也可以在云计算环境中实现。在本描述中,“云计算”被定义为用于启用按需网络访问可配置计算资源的共享池的模型。例如,可以在市场上采用云计算来为可配置计算资源的共享池提供随时随地的并且方便的按需访问。可配置计算资源的共享池可以通过虚拟化快速供应,并以低管理工作量或服务提供商交互发布,然后进行相应调整。
云计算模型可以由诸如按需自助服务、广泛网络访问、资源池化、快速弹性、测量的服务等各种特征组成。云计算模型还可以公开各种服务模型,例如,软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。云计算模型也可以使用不同的部署模型进行部署,例如,私有云、社区云、公共云、混合云等。在本说明书和权利要求书中,“云计算环境”是采用云计算的环境。
图5示出了可以被配置为执行上文所描述的一个或多个过程的示例性计算装置500的方框图。可以理解,诸如计算装置500等一个或多个计算装置可以实现视频增强系统100。如图5所示,计算装置500可以包括处理器502、存储器504、存储装置506、I/O接口508和通信接口510,其可以通过通信基础设施512通信地耦接。虽然图5中示出了示例性计算装置500,但是图5中所示的部件并非旨在限制。在其他实施例中,可以使用另外的或替代的部件。此外,在某些实施例中,计算装置500可以包括比图5所示的更少的部件。现在将更详细地描述图5中所示的计算装置500的部件。
在一个或多个实施例中,处理器502包括用于执行指令的硬件,例如,构成计算机程序的指令。作为示例而非通过限制的方式,为了执行指令,处理器502可以从内部寄存器、内部高速缓存、存储器504或存储装置506检索(或取出)指令,并解码并执行这些指令。在一个或多个实施例中,处理器502可以包括用于数据、指令或地址的一个或多个内部高速缓存。作为示例而非通过限制的方式,处理器502可以包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可以是存储器504或存储器12046中的指令的副本。
存储器504可以用于存储由处理器执行的数据、元数据和程序。存储器504可以包括易失性和非易失性存储器,例如,随机存取存储器(“RAM”)、只读存储器(“ROM”)、固态盘(“SSD”)、闪存、相变存储器(“PCM”)或其他类型的数据存储器。存储器504可以是内部或分布式存储器。
存储装置506包括用于存储数据或指令的存储器。作为示例而非通过限制的方式,存储装置506可以包括上述非暂态存储介质。存储装置506可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者这些中的两个或更多个的组合。在合适的情况下,存储装置506可以包括可移除或不可移除(或固定)介质。存储装置506可以在计算装置500的内部或外部。在一个或多个实施例中,存储装置506是非易失性的固态存储器。在其他实施例中,存储装置506包括只读存储器(ROM)。在合适的情况下,这个ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)或闪存或这些中的两个或更多个的组合。
I/O接口508允许用户向计算装置500提供输入,从计算装置500接收数据,或者从计算装置500接收数据并且从计算装置500接收数据。I/O接口508可以包括鼠标、小键盘或键盘、触摸屏、相机、光学扫描仪、网络接口、调制解调器、其他已知的I/O装置或这些I/O接口的组合。I/O接口508可以包括用于向用户呈现输出的一个或多个装置,包括但不限于图形引擎、显示器(例如,显示屏)、一个或多个输出驱动器(例如,显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中,I/O接口508被配置为将图形数据提供给显示器,以呈现给用户。图形数据可以表示一个或多个图形用户接口和/或可以用于特定实现发送的任何其他图形内容。
通信接口510可以包括硬件、软件或这两者。无论如何,通信接口510可以在计算装置500与一个或多个其他计算装置或网络之间提供用于通信(例如,基于报文的通信)的一个或多个接口。作为示例而非通过限制的方式,通信接口510可以包括用于与以太网或其他基于有线网络进行通信的网络接口控制器(NIC)或网络适配器、或用于与无线网络(例如,WI-FI)进行通信的无线NIC(WNIC)或无线适配器。
另外或可替代地,通信接口510可以促进与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或者互联网的一个或多个部分、或者这些中的两个或更多个的组合的通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例,通信接口510可以促进与无线PAN(WPAN)(例如,BLUETOOTH WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如,用于全球移动通信系统(GSM)网络)或其他合适的无线网络或其组合进行通信。
另外,通信接口510可以促进各种通信协议进行通信。可以使用的通信协议的示例包括但不限于数据传输介质、通信装置、传输控制协议(“TCP”)、互联网协议(“IP”)、文件传输协议(“FTP”)、Telnet(“HTTP”)、安全超文本传输协议(“HTTPS”)、会话初始协议(“SIP”)、简单对象访问协议(“SOAP”)、可扩展标记语言(“XML”)机器变化、简单邮件传输协议(“SMTP”)、实时传输协议(“RTP”)、用户数据报协议(“UDP”)、全球移动通信系统(“GSM”)技术、码分多址(“CDMA”)技术、时分多址(TDMA)技术、短消息服务(“SMS”)、多媒体消息服务(“MMS”)、射频(“RF”)信令技术、长期演进(“LTE”)技术、无线通信技术、带内和带外信令技术、以及其他合适的通信网络和技术。
通信基础设施512可以包括将计算装置500的部件彼此连接的硬件,软件或这两者。作为示例而非通过限制的方式,通信基础设施512可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准体系结构(EISA)总线、前端总线(FSB)、HYPERTRANSPORT(HT)互连、工业标准体系结构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围部件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线或其他合适的总线或其组合。
如上所述,视频增强系统100可以形成社交网络系统的一部分。社交网络系统可以使其用户(例如,个人或组织)与系统以及彼此交互。社交网络系统可以利用来自用户的输入在社交网络系统中创建和存储与用户相关联的用户简档。用户简档可以包括人口统计信息、通信信道信息以及关于用户的个人兴趣的信息。社交网络系统还可以利用来自用户的输入来创建并存储用户与社交网络系统的其他用户的关系的记录,并且提供服务(例如,帖子、照片共享、事件组织、消息传送、比赛或广告),以促进用户之间或用户之中的社交交互。
社交网络系统可以将用户记录和用户之间的关系存储在社交图中,该社交图包括多个节点和连接这些节点的多个边缘。节点可以包括多个用户节点和多个概念节点。社交图的用户节点可以对应于社交网络系统的用户。用户可以是个人(人类用户)、实体(例如,企业、商业或第三方应用程序)或团体(例如,个人或实体)。对应于用户的用户节点可以包括由用户提供的信息和由包括社交网络系统在内的各种系统收集的信息。
例如,用户可以提供他或她的姓名、简档图片、居住城市、联系信息、出生日期、性别、婚姻状况、家庭状况、就业、教育背景、偏好、兴趣和要包括在用户节点中的其他人口统计信息。社交图的每个用户节点可以具有相应的网页(通常称为简档页面)。响应于包括用户名的请求,社交网络系统可以访问对应于用户名的用户节点,并构建包括名称、简档图片和与用户相关联的其他信息的简档页面。基于第一用户的一个或多个隐私设置以及第一用户和第二用户之间的关系,第一用户的简档页面可以向第二用户显示第一用户的全部或部分信息。
概念节点可以对应于社交网络系统的概念。例如,概念可以表示现实世界实体,例如,电影、歌曲、运动队、名人、团体、餐馆、地方或地点。对应于概念的概念节点的管理用户可以通过提供概念的信息(例如,通过填写在线表格)来创建或更新概念节点,促使社交网络系统将信息与概念节点相关联。例如,而非限制性地,与概念相关联的信息可以包括名称或标题、一个或多个图像(例如,书籍封面的图像)、网站(例如,网址)或联系信息(例如,电话号码、电子邮件地址)。社交图的每个概念节点可以对应于一个网页。例如,响应于包括名称的请求,社交网络系统可以访问对应于该名称的概念节点,并构建包括该名称和与该概念相关联的其他信息的网页。
一对节点之间的边缘可以表示该对节点之间的关系。例如,两个用户节点之间的边缘可以表示两个用户之间的友谊。再如,社交网络系统可以构建概念节点(例如,餐馆、名人)的网页(或结构化文档),在网页中包含一个或多个可选选项或可选元素(例如,“赞”、“签到”)。用户可以使用由用户的客户端装置托管的网络浏览器访问该页面,并选择可选选项或可选元素,使得客户端装置向社交网络系统发送请求,以在用户的用户节点和概念的概念节点之间创建边缘,指示用户和概念之间的关系(例如,用户在餐馆登记,或者用户“赞”名人)。
例如,用户可以提供(或改变)他或她的居住城市,使得社交网络系统在对应于该用户的用户节点和对应于该用户声明为他或她的居住城市的城市的概念节点之间创建边缘。此外,任意两个节点之间的分离程度被定义为从一个节点到另一节点遍历社交图所需的最小跳数。两个节点之间的分离程度可以被认为是社交图中由两个节点表示的用户或概念之间的相关性的度量。例如,具有通过边缘直接连接的用户节点(即,一级节点)的两个用户可以被描述为“连接的用户”或“朋友”。类似地,具有仅通过另一用户节点(即,二级节点)连接的用户节点的两个用户可以被描述为“朋友的朋友”。
社交网络系统可以支持多种应用程序,例如,照片共享、在线日历和事件、游戏、即时消息和广告。例如,社交网络系统还可以包括媒体共享能力。此外,社交网络系统可以允许用户将照片和其他多媒体内容项目发布到用户的简档页面(通常称为“涂鸦墙”或“时间线帖子”)或相册中,根据用户配置的隐私设置,社交网络系统的其他用户可以访问这两者。社交网络系统还可以允许用户配置事件。例如,第一用户可以用包括事件的时间和日期、事件的位置和被邀请参加事件的其他用户的属性来配置事件。被邀请的用户可以接收活动邀请并做出响应(例如,通过接受或拒绝邀请)。此外,社交网络系统可以允许用户维护个人日历。类似于事件,日历条目可以包括时间、日期、位置和其他用户的身份。
图6示出了与社交网络系统相关联的一个示例网络环境600。网络环境600包括客户端装置606、社交网络系统602以及通过网络604彼此连接的第三方系统608。虽然图6示出了客户端装置606、社交网络系统602、第三方系统608以及网络604的特定设置,但是本公开预计客户端装置606、社交网络系统602、第三方系统608以及网络604具有任何合适的设置。作为示例而非通过限制的方式,客户端装置606、社交网络系统602以及第三方系统608中的两个或多个彼此直接连接,绕过网络604。作为另一个示例,客户端装置606、社交网络系统602以及第三方系统608中的两个或多个在物理上或逻辑上彼此完全或部分共同定位。而且,虽然图6示出了特定数量的客户端装置606、社交网络系统602、第三方系统608以及网络604,但是本公开预计客户端装置606、社交网络系统602、第三方系统608以及网络604具有任何合适的数量。作为示例而非通过限制的方式,网络环境600可以包括多个客户端装置606、社交网络系统602、第三方系统608以及网络604。
本公开预计任何合适的网络604。作为示例而非通过限制的方式,网络604的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN0、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、一部分互联网、一部分公共交换电话网(PSTN)、蜂窝电话网络、或其中的两个或多个的组合。网络604可以包括一个或多个网络604。
链路可以使客户端装置606、社交网络系统602以及第三方系统608与通信网络604或者彼此连接。本公开预计任何合适的链路。在特定的实施例中,一个或多个链路包括一个或多个有线(例如,数字用户线路(DSL)或电缆数据服务接口规范(DOCSIS))、无线(例如,Wi-Fi或全球微波接入互操作性(WiMAX))、或光学(例如,同步光纤网络(SONET)或同步数字系列(SDH))链路。在特定的实施例中,一个或多个链路均包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、一部分互联网、一部分PSTN、基于蜂窝技术的网络、基于卫星通信技术的网络、另一个链路或两个或多个这种链路的组合。在整个网络设备600中,链路不必相同。一个或多个第一链路可以在一个或多个方面与一个或多个第二链路不同。
在特定的实施例中,客户端装置606可以是电子装置,其包括硬件、软件或嵌入式逻辑元素或两个或多个这种元素的组合,并且能够执行由客户端装置606实现或支持的合适功能。作为示例而非通过限制的方式,客户端装置606可以包括计算机系统,例如,台式计算机、笔记本或膝上型计算机、上网本、平板计算机、电子书阅读器、GPS装置设备、相机、个人数字助理(PDA)、手持电子装置、蜂窝电话、智能手机、其他合适的电子装置或其任何合适的组合。本公开预期任何合适的客户端装置606。客户端装置606可以使在客户端装置606上的网络用户访问网络604。客户端装置606可以使其用户与在其他客户端装置606上的其他用户通信。
在特定的实施例中,客户端装置606可以包括网页浏览器,例如,MICROSOFTINTERNET EXPLORER、GOOGLE CHROME或MOZILLA FIREFOX,并且可以具有一个或多个额外部件、插件或其他延伸部分,例如,TOOLBAR或YAHOO TOOLBAR。在客户端装置606上的用户可以输入统一资源定位符(URL)或其他地址,将网页浏览器引向特定用户(例如,服务器或与第三方系统608相关联的服务器),并且网页浏览器可以生成超文本传输协议(HTTP)请求,并且将HTTP请求传送给服务器。服务器可以接受HTTP请求并且将响应于HTTP请求的一个或多个超文本标记语言(HTML)文件传送给客户端装置606。客户端装置606可以基于来自服务器的HTML文件渲染网页,用于呈现给用户。本公开预计任何合适的网页文件。作为示例而非通过限制的方式,网页可以根据特定的需要从HTML文件、可扩展超文本标记语言(XHTML)文件或可扩展标记语言(XML)文件中渲染。这种页面还可以执行脚本,例如,例如并且没有限制地,通过JAVASCRIPT、JAVA、MICROSOFT SILVERLIGHT、标记语言和脚本(例如,AJAX(异步JAVASCRIPT和XML)的组合等编写的脚本。在本文中,在合适的情况下,网页的引用包括一个或多个相应的网页文件(浏览器可以用于渲染网页的文件),反之亦然。
在特定的实施例中,社交网络系统602可以是可以托管在线社会网络的网络可寻址计算系统。社交网络系统602可以生成、储存、接收并且发送社交网数据,例如,用户简档数据、概念简档数据、社交图信息、或与在线社会网络相关的其他合适数据。社交网络系统602可以由网络环境600的其他元素直接或者通过网络604访问。在特定的实施例中,社交网络系统602可以包括一个或多个服务器。每个服务器可以是单一式服务器或分布式服务器,其跨过多个计算机或多个数据中心。服务器可以是各种类型,例如,例如并且没有限制地,网络服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用程序服务器、交换服务器、数据库服务器、代理服务器、适合于执行在本文中描述的功能或工艺的另一个服务器、或其任何组合。在特定的实施例中,每个服务器可以包括硬件、软件或嵌入式逻辑元素或两个或多个这种元素的组合,用于执行由服务器实现或支持的合适功能。在特定的实施例中,社交网络系统602可以包括一个或多个数据存储。数据存储可以用于储存各种类型的信息。在特定的实施例中,可以根据特定的数据结构,组织储存在数据存储内的信息。在特定的实施例中,每个数据存储可以关联式、柱状、相关性或其他合适的数据库。虽然本公开描述或显示了特定类型的数据库,但是本公开预计任何合适类型的数据库。特定的实施例可以提供接口,所述接口使客户端装置606、社交网络系统602或者第三方系统608能够管理、检索、增加或删除储存在数据存储内的信息。
在特定的实施例中,社交网络系统602可以在一个或多个数据存储内储存一个或多个社交图。在特定的实施例中,社交图可以包括多个节点-其可以包括多个用户节点(每个节点与特定的用户对应)或多个概念节点(每个节点与特定的概念对应)-以及连接所述节点的多个边缘。社交网络系统602可以给在线社会网络的用户提供与其他用户通信和互动的能力。在特定的实施例中,用户可以通过社交网络系统602加入在线社会网络,然后,增加与用户希望联系的社交网络系统602的多个其他用户的联系(例如,关系)。在本文中,术语“朋友”可以表示用户通过社交网络系统602与其形成联系、关联性或关系的社交网络系统602的任何其他用户。
在特定的实施例中,社交网络系统602可以给用户提供对由社交网络系统602支持的各种类型的物品或对象采取行动的能力。作为示例而非通过限制的方式,物品和对象可以包括社交网络系统602的用户所属的群组或社会网络、用户可能感兴趣的活动或日历项、用户可以使用的基于计算机的应用程序、允许用户通过服务购买或销售的物品的交易、与用户可以执行的广告的互动、或其他合适的物品或对象。用户可以与能够在社交网络系统602内或者由第三方系统608的外部系统表示的任何物体互动,该外部系统与社交网络系统602分开并且通过网络604耦合至社交网络系统602。
在特定的实施例中,社交网络系统602能够连接各种实体。作为示例而非通过限制的方式,社交网络系统602可以使用户能够彼此互动并且接收来自第三方系统608或其他实体的内容,或者允许用户通过应用程序编程接口(API)或其他通信信道与这些实体互动。
在特定的实施例中,第三方系统608可以包括一种或多种类型的服务器、一个或多个数据存储、一个或多个接口(包括但不限于API)、一个或多个网络服务、一个或多个内容源、一个或多个网络、或(例如)可以与服务器通信的任何其他合适的元素。第三方系统608可以由与操作社交网络系统602的实体不同的实体操作。在特定的实施例中,然而,社交网络系统602和第三方系统608可以彼此相结合地操作,以给社交网络系统602或第三方系统608的用户提供社交网服务。在这个意义上,社交网络系统602可以提供平台或支柱,其他系统(例如,第三方系统608)可以使用该平台或支柱来通过互联网给用户提供社交网服务和功能。
在特定的实施例中,第三方系统608可以包括第三方内容对象提供商。第三方内容对象提供商可以包括可以传送给客户端装置606的内容对象的一个或多个来源。作为示例而非通过限制的方式,内容对象可以包括关于用户感兴趣的东西或活动的信息,例如,电影放映时间、电影评论、餐厅评论、餐厅菜单、产品信息和评论、或其他合适的信息。作为示例而非通过限制的方式,内容对象可以包括激励内容对象,例如,优惠券、折扣票、礼品券或其他合适的激励对象。
在特定的实施例中,社交网络系统602还包括用户生成的内容对象,其可以增强用户与社交网络系统602的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布”到社交网络系统602的任何内容。作为示例而非通过限制的方式,用户从客户端装置606向社交网络系统602传送帖子。帖子可以包括诸如状态更新或其他文本数据、位置信息、照片、视频、链接、音乐或其他类似数据或媒体等数据。内容还可以由第三方通过诸如新闻馈送或流等“通信信道”添加到社交网络系统602。
在特定的实施例中,社交网络系统602可以包括各种服务器、子系统、程序、模块、记录以及数据存储。在特定的实施例中,社交网络系统602可以包括以下中的一个或多个:网络服务器、活动记录器、API请求服务器、相关性和排名引擎、内容对象分类器、通知控制器、活动记录、第三方内容对象曝光记录、推理模块、授权/隐私服务器、搜索模块、广告目标模块、用户接口模块、用户简档储存、连接储存、第三方内容储存或位置储存。社交网络系统602还可以包括合适的元素,例如,网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台、其他合适的元素、或其任何合适的组合。在特定的实施例中,社交网络系统602可以包括一个或多个用户简档储存,用于储存用户简档。用户简档可以包括(例如)传记信息、人口统计信息、行为信息、社会信息、或其他类型的描述性信息,例如,工作经验、学历、爱好或偏好、兴趣、亲和性或位置。兴趣信息可以包括与一个或多个类别相关联的兴趣。类别可以是一般或特定类别。作为示例而非通过限制的方式,如果用户“喜欢”关于某个品牌的鞋的物品,那么类别可以是该品牌或者一般类别的“鞋子”或“衣服”。连接储存可以用于储存关于用户的连接信息。连接信息可以表示具有相似或共同工作经历、群组关系、爱好、学历的或者通过任何方式相关的或者共享共同属性的用户。连接信息还可以包括在不同用户与内容(内部和外部)之间的用户定义的连接。网络服务器可以用于通过网络604连接社交网络系统602和一个或多个客户端装置606或者一个或多个第三方系统608。网络服务器可以包括邮件服务器或其他消息传递功能,用于在社交网络系统602与一个或多个客户端装置606之间接收和理由消息。API请求服务器可以允许第三方系统608通过调用一个或多个API来访问来自社交网络系统602的信息。活动记录器可以用于从网络服务器中接收关于用户在社交网络系统602上或者远离社交网络系统602的活动的通信。与活动记录相结合,第三方内容对象记录可以保持用户曝光到第三方内容对象中。通知控制器可以给客户端装置606提供关于内容对象的信息。可以将信息作为通知推向客户端装置606,或者可以响应于从客户端装置606中接收的请求,从客户端装置606中拉动信息。授权服务器可以用来实施社交网络系统602的用户的一个或多个隐私设置。用户的隐私设置确定可以如何共享与用户相关联的特定信息。授权服务器可以允许用户决定加入或退出由社交网络系统602记录的或者与其他系统(例如,第三方系统608)共享的活动,例如,通过设置合适的隐私设置。第三方内容对象储存可以用于储存从第三方接收的内容对象,例如,第三方系统608。位置储存可以用于储存从与用户相关联的客户端装置606中接收的位置信息。广告定价模块可以合并社会信息、当前时间、位置信息或其他合适的信息,以通过通知的形式向用户提供相关广告。
图7示出了示例社交图700。在特定的实施例中,社交网络系统602可以在一个或多个数据存储中储存一个或多个社交图700。在特定的实施例中,社交图700可以包括多个节点-其可以包括多个用户节点702或多个概念节点704-以及连接所述节点的多个边缘706。为了教育的目的,在二维视觉图表示中显示了在图7中示出的示例社交图700。在特定的实施例中,社交网络系统602、客户端装置606或第三方系统608可以访问用于合适的应用程序的社交图700和相关的社交图信息。社交图700的节点和边缘可以作为数据对象(例如)储存在数据存储(例如,社交图数据库)内。这种数据存储可以包括社交图700的节点和边缘的一个或多个可搜索或可查询的索引。
在特定的实施例中,用户节点702可以与社交网络系统602的用户对应。作为示例而非通过限制的方式,用户可以是个人(个人用户)、实体(例如,企业、商业或第三方应用程序)、或与或者通过社交网络系统602互动或通信的群组(例如,个人或实体)。在特定的实施例中,在用户通过社交网络系统602注册账号时,社交网络系统602可以创建与用户对应的用户节点702,并且在一个或多个数据存储内储存用户节点702。在合适的情况下,在本文中描述的用户和用户节点702表示注册的用户以及与注册的用户相关联的用户节点702。此外或者作为替换物,在合适的情况下,在本文中描述的用户和用户节点702表示没有通过社交网络系统602注册的用户。在特定的实施例中,用户节点702可以与由用户提供的信息或者由各种系统聚集的信息相关联,包括社交网络系统602。作为示例而非通过限制的方式,用户可以提供其名称、大头贴、联系信息、生日、性别、婚姻状况、家庭状况、职业、教育背景、爱好、兴趣或其他人口统计信息。在特定的实施例中,用户节点702可以与对应于与用户相关联的信息的一个或多个数据对象相关联。在特定的实施例中,用户节点702可以对应于一个或多个网页。
在特定的实施例中,概念节点704可以与概念对应。作为示例而非通过限制的方式,概念可以对应于地点(例如,电影院、餐馆、地标或城市);网站(例如,与社交网络系统602相关联的网站或者与网络应用程序服务器相关联的第三方网站);实体(例如,个人、企业、群组、体育队或名流);资源(例如,音频文件、视频文件、数字照片、文本文件、结构化文档或应用程序),其可以位于社交网络系统602内或外部服务器上,例如,网络应用程序服务器;不动产或知识产权(例如,雕塑、绘画、电影、比赛、歌曲、理念、照片、或书面工作);比赛;活动;理念或理论;另一种合适的概念;或两个或多个这种概念。概念节点704可以与由用户提供的概念的信息或者由各种系统聚集的信息相关联,包括社交网络系统602。作为示例而非通过限制的方式,概念的信息可以包括名字或称号;一个或多个图像(例如,书的封面的图像);位置(例如,地址或地理位置);网站(其可以与URL相关联);联系方式(例如,电话号码或电子邮件地址);其他合适的概念信息;或这种信息的任何合适的组合。在特定的实施例中,概念节点704可以与一个或多个数据对象相关联,所述数据对象与和概念节点704相关联的信息对应。在特定的实施例中,概念节点704可以与一个或多个网页对应。
在特定的实施例中,在社交图700内的节点可以表示网页(可以称为“简档页面”)或者由该网页表示。简档页面可以由社交网络系统602托管或者可存取。简档页面还可以在与第三方系统608相关联的第三方网站上托管。作为示例而非通过限制的方式,与特定的外部网页对应的简档页面可以是特定的外部网页,并且简档页面可以与特定的概念节点704对应。简档页面可以由所有或者所选择的子集的其他用户可查看。作为示例而非通过限制的方式,用户节点702可以具有对应的用户简档页面,在该简档页面中,相应的用户可以添加内容,发表声明,或者另外表达自己的意见。作为另一个示例,并非通过限制的方式,概念节点704可以具有相应概念的简档页面,在该简档页面中,一个或多个用户可以添加内容,发表声明,或者表达自己的意见,尤其关于与概念节点704对应的概念。
在特定的实施例中,概念节点704可以表示由第三方系统608托管的第三方网页或资源。在其他部件之中,第三方网页或资源可以包括内容、可选择的或其他图标、或者表示活动或行动的其他可互动的对象(例如,可以在JavaScript、AJAX或PHP代码内实现)。作为示例而非通过限制的方式,第三方网页可以包括可选择的图标,例如,“赞”、“登记”、“吃”、“推荐”、或另一个合适的活动或行动。通过选择一个图标(例如,“吃”),查看第三方网页的用户可以执行活动,促使客户端装置606给社交网络系统602传输表示用户的活动消息。响应于该消息,社交网络系统602可以在与用户对应的用户节点702与和第三方网页或资源对应的概念节点704之间创建边缘(例如,“吃”边缘),并且在一个或多个数据存储内储存边缘706。
在特定的实施例中,在社交图700内的一对节点可以通过一个或多个边缘706彼此连接。连接一对节点的边缘706可以表示在这对节点之间的关系。在特定的实施例中,边缘706可以包括或表示与在一对节点之间的关系对应的一个或多个数据对象或属性。作为示例而非通过限制的方式,第一用户可以表示第二用户是第一用户的“朋友”。响应于这个指示,社交网络系统602可以给第二用户传输“朋友请求”。如果第二用户确认“朋友请求”,那么社交网络系统602可以在社交图700内创建连接第一用户的用户节点702和第二用户的用户节点702的边缘706,并且在一个或多个数据存储内储存边缘706,作为社交图信息。在图5的示例中,社交图700包括表示在用户“A”和用户“B”的用户节点702之间的朋友关系的边缘706以及表示在用户“C”和用户“B”的用户节点702之间的朋友关系的边缘。虽然本公开描述或显示了连接特定的用户节点702的具有特定属性的特定边缘706,但是本公开预计连接用户节点702的具有任何合适的属性的任何合适的边缘706。作为示例而非通过限制的方式,边缘706可以表示友谊、家庭关系、业务或雇佣关系、粉丝关系、追随者关系、访客关系、用户关系、上级/下级关系、互惠关系、非互惠的关系、另一种合适类型的关系、或两个或更多这种关系。而且,虽然本公开总体上描述正在连接的节点,但是本公开还描述了正在连接的用户或概念。在本文中,在合适的地方,正在连接的用户或概念的引用可以表示与由一个或多个边缘706在社交图700内连接的那些用户或概念对应的节点。
在特定的实施例中,在用户节点702与概念节点704之间的边缘706可以表示由与用户节点702相关联的用户朝着与概念节点704相关联的概念执行的特定活动或行动。作为示例而非通过限制的方式,如图7中所示,用户可以“赞”、“上学”、“播放”、“收听”、“烹饪”、“工作”或“观看”概念,其中的每个均与边缘类型或子类型对应。与概念节点704对应的概念简档页面可以包括(例如)可选择的“登记”图标(例如,可点击的“登记”图标)或可选择的“添加到收藏夹”图标。同样,在用户点击这些图标之后,社交网络系统602可以响应于与相应的活动对应的用户活动创建“收藏夹”边缘或“登记”边缘。作为示例而非通过限制的方式,用户(用户“C”)可以使用特定的应用程序(例如,SPOTIFY,这是在线音乐应用程序)收听特定的歌曲(“Ramble On”)。在这种情况下,社交网络系统602可以在与用户对应的用户节点702与和歌曲和应用程序对应的概念节点704之间创建“收听”的边缘706和“使用”的边缘(如图7中所示),以表示用户收听歌曲和使用应用程序。而且,社交网络系统602可以在与歌曲和应用程序对应的概念节点704之间创建“收听”的边缘706(如图7中所示),以表示由特定的应用程序播放特定的歌曲。在这种情况下,“收听”的边缘706与由外部应用程序(SPOTIFY)在外部音频文件(歌曲“Imagine”)上执行的活动对应。虽然本公开描述了连接用户节点702和概念节点704的具有特定属性的特定边缘706,但是本公开预计连接用户节点702和概念节点704的具有任何合适的属性的任何合适的边缘706。而且,虽然本公开描述了表示单个关系的在用户节点702和概念节点704之间的边缘,但是本公开预计表示一个或多个关系的在用户节点702和概念节点704之间的边缘。作为示例而非通过限制的方式,边缘706可以表示用户喜欢并且使用的特定概念。交替地,另一个边缘706可以表示在用户节点702和概念节点704之间(如图7中所示,在用户“E”的用户节点702和“SPOTIFY”的概念节点704之间)的每种类型的关系(或单个关系的倍数)。
在特定的实施例中,社交网络系统602可以在用户节点702和概念节点704之间创建边缘706。作为示例而非通过限制的方式,查看概念简档页面的用户(例如,通过使用由用户的客户端装置606托管的网络浏览器或专用应用程序)可以通过点击或选择“喜欢”图标来指示该用户喜欢由概念节点704表示的概念,这可以促使用户的客户端装置606给社交网络系统602传输表示用户喜欢与概念简档页面相关联的概念的消息。响应于该消息,社交网络系统602可以在与用户相关联的用户节点702和概念节点704之间创建边缘706,如“赞”在用户和概念节点704之间的边缘706所示。在特定的实施例中,社交网络系统602可以在一个或多个数据存储内储存边缘706。在特定的实施例中,可以由社交网络系统602响应于特定的用户活动自动形成边缘706。作为示例而非通过限制的方式,如果第一用户上传图片,看电影,或者收听歌曲,那么可以在与第一用户对应的用户节点702和与那些概念对应的概念节点704之间形成边缘706。虽然本公开描述了通过特定的方式形成特定的边缘706,但是本公开预计通过任何合适的方式形成任何合适的边缘706。
在特定的实施例中,广告可能是文本(这可能是HTML链接的)、一个或多个图像(这可能是HTML链接的)、一个或多个视频、音频、一个或多个ADOBE FLASH文件、这些的合适组合、或在一个或多个网页上、在一个或多个电子邮件中或者与用户请求的搜索结果相结合地呈现的具有任何合适的数字格式的任何其他合适的广告。此外或者作为替换,广告可能是一个或多个赞助的存储器(例如,在社交网络系统602上的新闻递送或自动收报机项目)。赞助的存储器可能是广告商推动的用户的社会活动(例如,“赞”页面、“赞”或者评论在页面上的帖子、RSVP与页面相关的活动、投票表决在页面上张贴的问题、登记一个地点、使用应用程序或者玩比赛、或者“赞”或共享网站),例如,通过在用户的简档页面或其他页面的预定区域内呈现、通过与广告商相关联的额外信息呈现、在其他用户的新闻递送或自动收报机内提升或者突出、或者推动社会活动。广告商可支付推动社会活动。作为示例而非通过限制的方式,广告可包含在搜索结果页面的搜索结果之中,其中,在非赞助内容之上推动赞助内容。
在特定的实施例中,可请求在社交网络系统网页、第三方网页或其他页面内显示广告。可在页面的专用部分内,例如,在页面顶部的醒目区域内、在页面侧边的专栏内、在页面的GUI内、在弹出窗口内、在下拉菜单内、在页面的输入字段内、在页面内容的顶部上、或者在页面的其他地方,显示广告。此外或者作为替换,可在应用程序内显示广告。可在专用页面内显示广告,在用户可访问页面或者使用应用程序之前,要求用户与广告相互作用或者观看广告。例如,用户可通过网络浏览器查看广告。
用户可通过任何合适的方式与广告相互作用。用户可点击或者选择广告。通过选择广告,可将用户引向(或者由用户使用浏览器或其他应用程序)与广告相关联的页面。在与广告相关联的页面上,用户可采取额外措施,例如,购买与广告相关联的产品或服务、接收与广告相关联的信息、或者订阅与广告相关联的新闻通讯。通过选择广告的元素(与“播放按钮”一样),可显示具有音频或视频的广告。可替代地,通过选择广告,社交网络系统602可执行或修改用户的特定活动。
广告可包括可与用户相互作用的社交网络系统功能。例如,通过选择与支持相关联的图标或链接,广告可使用户能够“赞”或者支持广告。作为另一个示例,广告可使用户能够搜索(例如,通过执行查询)与广告商相关的内容。同样,用户可与另一个用户(例如,通过社交网络系统602)或RSVP(例如,通过社交网络系统602)共享广告,用于与广告相关联的活动。此外或者作为替换,广告可包括引向用户的社交网络系统上下文。例如,广告可显示关于采取与广告的主题相关联的措施的在社交网络系统602内的用户的朋友的信息。
在特定的实施例中,社交网络系统602可以确定彼此的各种社交图实体的社交图亲和性(在本文中可以称为“亲和性”)。亲和性可以表示在与在线社交网相关联的特定对象(例如,用户、概念、内容、活动、广告、与在线社交网相关联的其他对象或其任何合适的组合)之间的兴趣关系或水平的强度。还可以相对于与第三方系统608或其他合适的系统相关联的对象确定亲和性。还可以确定每个用户的社交图的整体亲和性、主题、或内容的类型。整体亲和性可以基于继续监控与社交图实体相关联的活动或关系改变。虽然本公开描述了通过特定的方式确定特定的亲和性,但是本公开预计通过任何合适的方式确定任何合适的亲和性。
在特定的实施例中,社交网络系统602可以使用亲和性系数(在本文中可以称为“系数”)测量或量化社交图亲和性。系数可以表示或量化在与在线社交网相关联的特定用户之间的关系的强度。系数还可以表示概率或功能,其根据用户对活动的兴趣测量用户执行特定的活动的预测概率。通过这种方式,可以根据用户的先前活动,预测用户的未来活动,其中,至少部分根据用户的活动历史,计算系数。系数可以用于预测在在线社交网内或外面的多个活动。作为示例而非通过限制的方式,这些活动可以包括各种类型的通信,例如,发送消息、张贴内容或者对内容评论;各种类型的观察活动;例如,访问或查看简档页面、介质或其他合适的内容;关于两个或多个社交图实体的各种类型的重合信息,例如,在相同的群组内,标记在相同的照片内,在相同的位置登记,或者参加相同的活动;或其他合适的活动。虽然本公开描述了通过特定的方式测量亲和性,但是本公开预计通过任何合适的方式测量亲和性。
在特定的实施例中,社交网络系统602可以使用各种因子,来计算系数。这些因子可以包括(例如)用户活动、在对象之间的关系的类型、位置信息、其他合适的因子或其任何组合。在特定的实施例中,在计算系数时,不同的因子可以不同地加权。每个因子的权重可以是静态的,或者权重可以根据(例如)用户、关系的类型、活动的类型、用户的位置等改变。这些因子的评级可以根据其权重组合,以确定用户的整体系数。作为示例而非通过限制的方式,可以给特定的用户活动分配评级和权重,同时给与特定的用户活动相关联的关系分配评级和相关联的权重(例如,因此,总权重是100%)。为了朝着特定对象计算用户的系数,给用户活动分配的评级可以包括(例如)整体系数的60%,而在用户与对象之间的关系可以包括整体系数的40%。在特定的实施例中,在确定用于计算系数的各种因子的权重时,社交网络系统602可以考虑各种变量,例如,访问信息的时间、衰减因子、访问频率、与信息的关系、关于访问哪个信息的与对象的关系、与连接至对象的社交图实体的关系、用户活动的短期或长期平均数、用户反馈、其他合适的变量或其任何组合。作为示例而非通过限制的方式,系数可以包括衰减因子,其促使由特定的活动提供的信号的强度随着时间衰减,以便在计算系数时,最近活动更相关。可以基于继续跟踪系数所基于的活动,来继续更新评级和权重。任何类型的工艺或算法可以用于对每个因子的评级以及分配给因子的权重进行分配、合并、平均化等。在特定的实施例中,社交网络系统602可以使用在历史活动和过去的用户响应上培训的机器学习算法确定系数或者通过对着各种选择和测量响应曝光这些系数来由用户形成的数据。虽然本公开描述了通过特定的方式计算系数,但是本公开预计通过任何合适的方式计算系数。
在特定的实施例中,社交网络系统602可以基于用户的活动计算系数。社交网络系统602可以在在线社交网上、在第三方系统608上、在其他合适的系统上或其任何组合上,监控这种活动。可以跟踪或监控任何合适类型的用户活动。典型的用户活动包括查看简档页面、创建或张贴内容、与内容互动、加上标记或者在图像内加上标记、加入群组、列出和确认出席活动,登记位置,赞特定的页面、创建页面,并且执行促进社会活动的其他任务。在特定的实施例中,社交网络系统602可以基于具有特定类型的内容的用户活动,计算系数。该内容可以与在线社交网、第三方系统608或另一个合适的系统相关联。该内容可以包括用户、简档页面、帖子、新闻故事、头条、聊天室谈话、电子邮件、广告、图片、引用、其他合适的对象或其任何组合。社交网络系统602可以分析用户的活动,以确定一个或多个活动是否表示主题、内容、其他用户等的亲和性。作为示例而非通过限制的方式,如果用户可以使频繁张贴的内容与“咖啡”或其他变体相关,那么社交网络系统602可以确定用户相对于概念“咖啡”具有高系数。可以给特定的活动或特定类型的活动分配比其他活动更高的权重和/或评级,这可以影响整体计算系数。作为示例而非通过限制的方式,如果第一用户给第二用户发送电子邮件,那么与如果第一用户仅仅查看第二用户的用户简档相比,该活动的加权或评级可以更高。
在特定的实施例中,社交网络系统602可以基于在特定对象之间的关系的类型计算系数。参考社交图700,社交网络系统602可以在计算系数时分析连接特定的用户节点702和概念节点704的边缘706的数量和/或类型。作为示例而非通过限制的方式,可以给由配偶型边缘(表示两个用户是夫妻)连接的用户节点702分配比由朋友型边缘连接的用户节点702更高的系数。换言之,根据分配给活动的权重以及特定用户的关系,可以确定关于用户的配偶的内容的整体亲和性比关于用户的朋友的内容更高。在特定的实施例中,用户与另一个对象具有的关系可以影响用户相对于计算该对象的系数的活动的权重和/或评级。作为示例而非通过限制的方式,如果用户在第一张照片中标记,但是仅仅喜欢第二张照片,那么社交网络系统602可以确定用户相对于第一张照片具有比第二张照片更高的系数,这是因为与具有与内容的喜欢型关系相比,具有与内容的标记型关系,可以分配更高的权重和/或评级。在特定的实施例中,社交网络系统602可以基于一个或多个第二用户与特定对象具有的关系,给第一用户计算系数。换言之,其他用户与对象具有的连接和系数可以影响第一用户用于该对象的系数。作为示例而非通过限制的方式,如果第一用户连接至一个或多个第二用户或者对一个或多个第二用户具有高系数,并且那些第二用户连接至特定的对象或者对特定的对象具有高系数,那么社交网络系统602可以确定第一用户也应对该特定的对象具有较高的系数。在特定的实施例中,系数可以基于在特定对象之间的分离程度。更低的系数可以表示第一用户在社交图700中分享对与第一用户间接连接的用户的内容对象的兴趣的可能性降低。作为示例而非通过限制的方式,在社交图700中更接近的社交图实体(即,更小的分离程度)可以具有比在社交图700中相隔更远的实体更高的系数。
在特定的实施例中,社交网络系统602可以基于在位置信息计算系数。在地理上彼此更接近的对象可以被视为比更远的对象彼此更相关或更感兴趣。在特定的实施例中,用户朝着特定对象的兴趣可以基于对象的位置与和用户相关联的当前位置(或用户的客户端装置606的位置)的接近度。第一用户可以对更接近第一用户的其他用户或概念更感兴趣。作为示例而非通过限制的方式,如果用户与机场相距1英里并且与加油站相距2英里,那么社交网络系统602可以基于机场与用户的接近度确定用户对机场具有比加油站更高的系数。
在特定的实施例中,社交网络系统602可以基于系数信息,相对于用户执行特定的活动。系数可以用于根据用户对活动的兴趣,预测用户是否执行特定的活动。在生成或向用户显示任何类型的对象时,可以使用系数,例如,广告、搜索结果、新闻故事、介质、消息、通知或其他合适的对象。系数还可以用于将这种对象酌情排名和排序。通过这种方式,社交网络系统602可以提供与用户的兴趣和当前环境相关的信息,提高了找出这种兴趣信息的可能性。在特定的实施例中,社交网络系统602可以基于系数信息,生成内容。可以基于用户特有的系数,提供或选择内容对象。作为示例而非通过限制的方式,系数可以用于给用户生成介质,其中,可以给用户显示用户相对于介质对象具有高整体系数的介质。作为另一个示例,并非通过限制的方式,系数可以用于给用户生成广告,其中,可以给用户显示用户相对于广告对象具有高整体系数的广告。在特定的实施例中,社交网络系统602可以基于系数信息,生成搜索结果。可以相对于查询用户,基于与搜索结果相关联的系数,给特定用户的搜索结果评分或排名。作为示例而非通过限制的方式,与和具有更低系数的对象对应的结果相比,与具有更高系数的对象对应的搜索结果可以在搜索结果页面上排名更高。
在特定的实施例中,社交网络系统602可以响应于特定系统或工艺的系数的请求,计算系数。为了预测用户可以在规定的情况下采取(或者可以作为其主体)的可能措施,任何工艺可以请求用户的计算系数。该请求还可以包括用于各种因子的一组权重,这些因子用于计算系数。这个请求可以来自在线社交网上运行的工艺、来自第三方系统608(例如,通过API或其他通信信道)或者来自另一个合适的系统。响应于该请求,社交网络系统602可以计算系数(或者如果预先计算和储存了,那么访问系数信息)。在特定的实施例中,社交网络系统602可以计算相对于特定工艺的亲和性。不同的工艺(位于在线社交网的内部和外部)可以请求一个特定对象或一组特定对象的系数。社交网络系统602可以提供与请求亲和性的测度的特定工艺相关的亲和性的测度。通过这种方式,每个工艺接收专用于不同背景的亲和性的测度,在该背景下,该工艺使用亲和性的测度。
与社交图亲和性和亲和性系数相结合,特定的实施例可以使用在于2006年8月11日提交的美国专利申请号11/503093、于2010年12月22日提交的美国专利申请号12/977027、于2010年12月23日提交的美国专利申请号12/978265以及于2012年10月1日提交的美国专利申请号13/632869中公开的一个或多个系统、组件、元素、功能、方法、操作或步骤,每个申请通过引证结合于此。
在特定的实施例中,在线社交网的一个或多个内容对象可以与隐私设置相关联。对象的隐私设置(或“访问设置”)可以以任何合适的方式存储,例如,与对象相关联ID,在授权服务器上的索引中,以另一种合适的方式或其任意组合。对象的隐私设置可以指定可以如何使用在线社交网访问(例如,观看或共享)对象(或与对象相关联的特定信息)。在对象的隐私设置允许特定用户访问该对象的情况下,对象可以被描述为相对于该用户是“可见的”。作为示例而非通过限制的方式,在线社交网的用户可以指定用于用户简档页面的隐私设置识别可以访问用户简档页面上的工作经历信息的一组用户,从而排除其他用户访问信息。在特定的实施例中,隐私设置可以指定不允许访问与对象相关联的某些信息的用户的“黑名单”。换言之,黑名单可以指定对象不可见的一个或多个用户或实体。作为示例而非通过限制的方式,用户可以指定可能不访问与用户相关联的相册的一组用户,从而排除那些用户访问相册(同时还可能允许不在该组用户内的某些用户访问相册)。在特定的实施例中,隐私设置可以与特定的社交图元素相关联。诸如节点或边缘等社交图元素的隐私设置可以指定可以使用如何在线社交网访问社交图元素、与社交图元素相关联的信息或者与社交图元素相关联的内容对象。作为示例而非通过限制的方式,对应于特定照片的特定概念节点304可以具有隐私设置,指定照片可能仅被照片中标记的用户及其朋友访问。在特定的实施例中,隐私设置可以允许用户决定加入或退出由社交网络系统602记录的或者与其他系统(例如,第三方系统608)共享的活动。在特定的实施例中,与对象相关联的隐私设置可以指定允许访问或拒绝访问的任何合适的粒度。作为示例而非通过限制的方式,访问或拒绝访问可以针对特定用户(例如,只有我、我的室友和我的老板)、特定分离程度内的用户(例如,朋友、朋友的朋友)、用户组(例如,比赛俱乐部、我的家人)、用户网络(例如,特定雇主的雇员、特定大学的学生或校友)、所有用户(“公众”)、没有用户(“私人”)、第三方系统608的用户、特定应用程序(例如,第三方应用程序、外部网站)、其他合适的用户或实体或其任何组合。尽管本公开描述了以特定方式使用特定隐私设置,但是本公开预期以任何合适的方式使用任何合适的隐私设置。
在特定的实施例中,一个或多个服务器可以是用于实施隐私设置的授权/隐私服务器。响应于来自用户(或其他实体)的针对存储在数据存储中的特定对象的请求,社交网络系统602可以向该数据存储发送针对该对象的请求。该请求可以识别与请求相关联的用户,并且如果授权服务器基于与该对象相关联的隐私设置确定授权用户访问该对象,则该请求可以仅发送给用户(或用户的客户端装置606)。如果没有授权请求用户访问该对象,则授权服务器可以防止从数据存储中检索所请求的对象,或者可以防止所请求的对象发送给用户。在搜索查询上下文中,如果授权查询用户访问对象,则只能将对象生成为搜索结果。换言之,对象必须具有查询用户可见的可见性。如果对象具有对用户不可见的可见性,则可以从搜索结果中排除该对象。虽然本公开描述了以特定方式实施隐私设置,但是本公开预期以任何合适的方式实施隐私设置。
参考其特定的示例性实施例描述前面的说明书。参考在本文讨论的细节描述了本公开的各种实施例和方面,并且附图示出了各种实施例。以上描述和附图是说明性的,不应被解释为限制性的。描述了许多具体细节,以提供对各种实施例的透彻理解。
在不脱离本发明的精神或本质特征的情况下,可以以其他具体形式来体现额外或替代实施例。所描述的实施例在所有方面仅被认为是说明性的而非限制性的。因此,本发明的范围由所附权利要求而不是由前面的描述来指示。在权利要求的等同的含义和范围内的所有变化都包含在其范围内。
Claims (30)
1.一种方法,包括:
检测实况视频流;
识别一个或多个视频增强设置;
响应于检测的用户交互与所述一个或多个视频增强设置中的至少一个视频增强设置对应,将视频增强显示元素嵌入所述实况视频流;
检测与所述视频增强显示元素相关联的一个或多个删除触发;以及
基于所检测的删除触发,从所述实况视频流中删除所述视频增强显示元素。
2.根据权利要求1所述的方法,其中,识别一个或多个视频增强设置包括以下中的一个或多个:识别增强外观设置和识别增强删除触发设置。
3.根据权利要求2所述的方法,其中,识别增强外观设置包括以下中的一个或多个:识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置。
4.根据权利要求2所述的方法,其中,识别增强删除触发设置包括以下中的一个或多个:识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置。
5.根据权利要求4所述的方法,还包括,响应于识别跟踪删除触发设置:
分析所述实况视频流以识别在所述实况视频流中显示的与所述视频增强显示元素具有空间关联的对象;
检测与所识别的对象相关联的运动;以及
重新定位所述视频增强显示元素,使得保持所述视频增强显示元素与所识别的对象之间的空间关联。
6.根据权利要求1所述的方法,其中,检测与所述视频增强显示元素相关联的一个或多个删除触发包括以下中的一个或多个:
检测从所述视频增强显示元素嵌入所述实况视频流时起的阈值时间量的期满;
检测所述实况视频流内超过阈值的运动量;及
检测被跟踪对象从所述实况视频流中退出。
7.根据权利要求6所述的方法,还包括,响应于检测到被跟踪对象重新出现在所述实况视频流中,将所述视频增强显示元素重新嵌入所述实况视频流中。
8.根据权利要求1所述的方法,其中,删除所述视频增强显示元素包括逐步删除与所述视频增强显示元素相关联的线段。
9.一种系统,包括:
至少一个处理器;以及
至少一个非暂时性计算机可读存储介质,其上存储有指令,所述指令在由所述至少一个处理器执行时,使所述系统:
检测实况视频流;
识别一个或多个视频增强设置;
响应于检测的用户交互与所述一个或多个视频增强设置中的至少一个视频增强设置对应,将视频增强显示元素嵌入所述实况视频流;
检测与所述视频增强显示元素相关联的一个或多个删除触发;以及
基于所检测的删除触发,从所述实况视频流中删除所述视频增强显示元素。
10.根据权利要求9所述的系统,其中,识别一个或多个视频增强设置包括以下中的一个或多个:识别增强外观设置和识别增强删除触发设置。
11.根据权利要求10所述的系统,其中,识别增强外观设置包括以下中的一个或多个:识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置。
12.根据权利要求11所述的系统,其中,识别增强删除触发设置包括以下中的一个或多个:识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置。
13.根据权利要求12所述的系统,还包括所述非暂时性计算机可读存储介质上的以下指令,所述指令在由所述至少一个处理器执行时使所述系统响应于识别跟踪删除触发设置:
分析所述实况视频流以识别在所述实况视频流中显示的与所述视频增强显示元素具有空间关联的对象;
检测与所识别的对象相关联的运动;以及
重新定位所述视频增强显示元素,使得保持所述视频增强显示元素与所识别的对象之间的空间关联。
14.根据权利要求13所述的系统,其中,检测与所述视频增强显示元素相关联的一个或多个删除触发包括以下中的一个或多个:
检测从所述视频增强显示元素嵌入所述实况视频流时起的阈值时间量的期满;
检测所述实况视频流内超过阈值的运动量;及
检测被跟踪对象从所述实况视频流中退出。
15.根据权利要求14所述的系统,还包括所述非暂时性计算机可读存储介质上的以下指令,所述指令在由所述至少一个处理器执行时使所述系统响应于检测到被跟踪对象重新出现在所述实况视频流中,将所述视频增强显示元素重新嵌入所述实况视频流中。
16.根据权利要求15所述的系统,其中,删除所述视频增强显示元素包括逐步删除与所述视频增强显示元素相关联的线段。
17.一种非暂时性计算机可读介质,其上存储有指令,所述指令由至少一个处理器执行时,使计算机系统:
检测实况视频流;
识别一个或多个视频增强设置;
响应于检测的用户交互与所述一个或多个视频增强设置中的至少一个视频增强设置对应,将视频增强显示元素嵌入所述实况视频流;
检测与所述视频增强显示元素相关联的一个或多个删除触发;以及
基于所检测的删除触发,从所述实况视频流中删除所述视频增强显示元素。
18.根据权利要求17所述的非暂时性计算机可读介质,其中,识别一个或多个视频增强设置包括以下中的一个或多个:识别增强外观设置和识别增强删除触发设置。
19.根据权利要求18所述的非暂时性计算机可读介质,其中,识别增强外观设置包括以下中的一个或多个:识别颜色设置、识别样式设置、识别不透明度设置和识别用户交互设置。
20.根据权利要求19所述的非暂时性计算机可读介质,其中,识别增强删除触发设置包括以下中的一个或多个:识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置。
21.一种计算机实现的方法,包括:
由通信系统的视频增强系统检测来自广播客户端装置的实况视频流;
识别一个或多个视频增强设置,特别是来自所述广播客户端装置的视频增强设置;
响应于检测的用户交互,特别是在所述广播客户端装置上检测的用户交互,与所述一个或多个视频增强设置中的至少一个视频增强设置对应,在所述视频增强系统的服务器或客户端装置上,将视频增强显示元素嵌入所述实况视频流;
检测与所述视频增强显示元素相关联的一个或多个删除触发;以及
基于所检测的删除触发,从所述实况视频流中删除所述视频增强显示元素。
22.根据权利要求21所述的方法,其中,识别一个或多个视频增强设置包括以下中的一个或多个:识别增强外观设置和识别增强删除触发设置。
23.根据权利要求22所述的方法,其中,识别增强外观设置包括以下中的一个或多个:识别颜色设置、识别形状设置、识别不透明度设置和识别用户交互设置。
24.根据权利要求22所述的方法,其中,识别增强删除触发设置包括以下中的一个或多个:识别时间到期删除触发设置、识别运动删除触发设置和识别跟踪删除触发设置。
25.根据权利要求24所述的方法,还包括,响应于识别跟踪删除触发设置:
分析所述实况视频流以识别在所述实况视频流中显示的与所述视频增强显示元素具有空间关联的对象;
检测与所识别的对象相关联的运动;以及
重新定位所述视频增强显示元素,使得保持所述视频增强显示元素与所识别的对象之间的空间关联。
26.根据权利要求21至25中任一项所述的方法,其中,检测与所述视频增强显示元素相关联的一个或多个删除触发包括以下中的一个或多个:
检测从所述视频增强显示元素嵌入所述实况视频流时起的阈值时间量的期满;
检测所述实况视频流内超过阈值的运动量;及
检测被跟踪对象从所述实况视频流中退出。
27.根据权利要求26所述的方法,还包括,响应于检测到被跟踪对象重新出现在所述实况视频流中,将所述视频增强显示元素重新嵌入所述实况视频流中。
28.根据权利要求21至27中任一项所述的方法,其中,删除所述视频增强显示元素包括逐步删除与所述视频增强显示元素相关联的线段。
29.一种系统,包括:
至少一个处理器;以及
至少一个非暂时性计算机可读存储介质,其上存储有指令,所述指令在由所述至少一个处理器执行时,使所述系统执行根据权利要求21至28中任一项的方法。
30.一种非暂时性计算机可读介质,其上存储有指令,所述指令在由所述至少一个处理器执行时,使所述系统执行根据权利要求21至28中任一项的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/359,092 | 2016-11-22 | ||
US15/359,092 US20180146223A1 (en) | 2016-11-22 | 2016-11-22 | Enhancing a live video |
PCT/US2016/064273 WO2018097839A1 (en) | 2016-11-22 | 2016-11-30 | Enhancing a live video |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109964490A true CN109964490A (zh) | 2019-07-02 |
Family
ID=62147445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680090893.0A Pending CN109964490A (zh) | 2016-11-22 | 2016-11-30 | 增强实况视频 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180146223A1 (zh) |
CN (1) | CN109964490A (zh) |
WO (1) | WO2018097839A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781345A (zh) * | 2019-10-31 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 视频描述生成模型的获取方法、视频描述生成方法及装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600220B2 (en) * | 2016-08-01 | 2020-03-24 | Facebook, Inc. | Systems and methods for content interaction |
CN108259409B (zh) * | 2016-12-28 | 2020-08-11 | 腾讯科技(深圳)有限公司 | 信息处理方法、终端及系统 |
CN112351222B (zh) * | 2019-08-09 | 2022-05-24 | 北京字节跳动网络技术有限公司 | 图像特效处理方法、装置、电子设备和计算机可读存储介质 |
CN110570698B (zh) * | 2019-08-21 | 2022-04-26 | 北京大米科技有限公司 | 一种在线教学控制方法、装置、存储介质以及终端 |
US20230048162A1 (en) * | 2020-04-30 | 2023-02-16 | Halo Innovative Solutions Llc | Method of Multi-Platform Social Media and/or Streaming Media Advertising and Revenue Sharing Via Digital Overlays on Real-Time Video Feeds |
US11477397B2 (en) * | 2020-06-30 | 2022-10-18 | Snap Inc. | Media content discard notification system |
CN111935498B (zh) * | 2020-10-16 | 2021-02-05 | 北京达佳互联信息技术有限公司 | 直播互动方法、装置及电子设备 |
US20220317867A1 (en) * | 2021-04-05 | 2022-10-06 | Vidya Narayanan | System and method for creating and progressing visual interactive stories on computing devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1281059C (zh) * | 2000-08-31 | 2006-10-18 | 英特尔公司 | 时移增强电视触发器 |
CN104769538A (zh) * | 2012-10-31 | 2015-07-08 | 谷歌公司 | 在移动装置上显示模拟媒体内容项增强 |
US20150365627A1 (en) * | 2014-06-13 | 2015-12-17 | Arcsoft Inc. | Enhancing video chatting |
US20160118084A1 (en) * | 2014-10-27 | 2016-04-28 | Devin Francis HANNON | Apparatus and method for calculating and virtually displaying football statistics |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8037492B2 (en) * | 2000-09-12 | 2011-10-11 | Thomson Licensing | Method and system for video enhancement transport alteration |
US6961912B2 (en) * | 2001-07-18 | 2005-11-01 | Xerox Corporation | Feedback mechanism for use with visual selection methods |
US8522289B2 (en) * | 2007-09-28 | 2013-08-27 | Yahoo! Inc. | Distributed automatic recording of live event |
US8786782B2 (en) * | 2011-08-31 | 2014-07-22 | Disney Enterprises, Inc. | Multiple-input configuration and playback video enhancement |
EP3028244A4 (en) * | 2013-07-26 | 2017-01-04 | Presencia en Medios SA de CV | Method of video enhancement |
US9804760B2 (en) * | 2013-08-22 | 2017-10-31 | Apple Inc. | Scrollable in-line camera for capturing and sharing content |
US9454840B2 (en) * | 2013-12-13 | 2016-09-27 | Blake Caldwell | System and method for interactive animations for enhanced and personalized video communications |
US9600803B2 (en) * | 2015-03-26 | 2017-03-21 | Wrap Media, LLC | Mobile-first authoring tool for the authoring of wrap packages |
US9772813B2 (en) * | 2015-03-31 | 2017-09-26 | Facebook, Inc. | Multi-user media presentation system |
US10068179B2 (en) * | 2015-07-29 | 2018-09-04 | Adobe Systems Incorporated | Positioning text in digital designs based on an underlying image |
-
2016
- 2016-11-22 US US15/359,092 patent/US20180146223A1/en not_active Abandoned
- 2016-11-30 WO PCT/US2016/064273 patent/WO2018097839A1/en active Application Filing
- 2016-11-30 CN CN201680090893.0A patent/CN109964490A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1281059C (zh) * | 2000-08-31 | 2006-10-18 | 英特尔公司 | 时移增强电视触发器 |
CN104769538A (zh) * | 2012-10-31 | 2015-07-08 | 谷歌公司 | 在移动装置上显示模拟媒体内容项增强 |
US20150365627A1 (en) * | 2014-06-13 | 2015-12-17 | Arcsoft Inc. | Enhancing video chatting |
US20160118084A1 (en) * | 2014-10-27 | 2016-04-28 | Devin Francis HANNON | Apparatus and method for calculating and virtually displaying football statistics |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781345A (zh) * | 2019-10-31 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 视频描述生成模型的获取方法、视频描述生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180146223A1 (en) | 2018-05-24 |
WO2018097839A1 (en) | 2018-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11257170B2 (en) | Using three-dimensional virtual object models to guide users in virtual environments | |
JP6561181B2 (ja) | プラットフォーム番組ページ | |
US11589193B2 (en) | Creating and utilizing services associated with maps | |
US10425694B2 (en) | Live broadcast on an online social network | |
CN109964490A (zh) | 增强实况视频 | |
US10701121B2 (en) | Live broadcast on an online social network | |
CN110521209B (zh) | 一种用于传输观看者反应的视频剪辑的方法及系统 | |
CN107004245B (zh) | 使用在线社交网络上的信标生成用户通知 | |
US10645460B2 (en) | Real-time script for live broadcast | |
US20180300917A1 (en) | Discovering augmented reality elements in a camera viewfinder display | |
US10423984B2 (en) | Sponsored stories in notifications | |
US20180300916A1 (en) | Prompting creation of a networking system communication with augmented reality elements in a camera viewfinder display | |
US10032303B2 (en) | Scrolling 3D presentation of images | |
US20170192651A1 (en) | Editing photos over an online social network | |
CN107624239A (zh) | 在电子通信线程中提供增强消息元素 | |
JP6465888B2 (ja) | フェイスパイル統合通信 | |
US20150245097A1 (en) | Timestamped commentary system for video content | |
CN107852399A (zh) | 流媒体呈现系统 | |
US20180103004A1 (en) | Reengaging website visitors with social networking system electronic messages | |
KR20150135484A (ko) | 소셜 컨텍스트에 기초한 미디어 프리뷰 | |
CN109379416A (zh) | 方法、计算机可读非暂时性存储介质和系统 | |
US10699291B2 (en) | User consumption of third-party offer content through a social networking system | |
CN107924553A (zh) | 地理度量 | |
JP2016538634A (ja) | メディア・アクション・ボタン | |
JP2016539580A (ja) | コンテンツ所有者モジュール |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190702 |
|
WD01 | Invention patent application deemed withdrawn after publication |