CN111164955A - 通信事件 - Google Patents

通信事件 Download PDF

Info

Publication number
CN111164955A
CN111164955A CN201880049072.1A CN201880049072A CN111164955A CN 111164955 A CN111164955 A CN 111164955A CN 201880049072 A CN201880049072 A CN 201880049072A CN 111164955 A CN111164955 A CN 111164955A
Authority
CN
China
Prior art keywords
user
video
user device
gesture
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880049072.1A
Other languages
English (en)
Other versions
CN111164955B (zh
Inventor
詹姆斯·威廉·兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuxun Solutions Co Ltd
Original Assignee
Liuxun Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1708473.2A external-priority patent/GB2552583B/en
Priority claimed from GBGB1708478.1A external-priority patent/GB201708478D0/en
Application filed by Liuxun Solutions Co Ltd filed Critical Liuxun Solutions Co Ltd
Priority to CN202110916439.9A priority Critical patent/CN114125568A/zh
Publication of CN111164955A publication Critical patent/CN111164955A/zh
Application granted granted Critical
Publication of CN111164955B publication Critical patent/CN111164955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q50/40
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Abstract

一种经由在操作第一用户设备的请求用户和操作第二用户设备的响应用户之间的网络影响通信事件的方法,包括:发起通信事件,在通信事件中每个用户设备捕获音频流数据、将捕获的音频数据流经由网络发送给另一个用户设备以在其上接收、以及向其用户输出从另一个用户设备接收的音频流;其中通过分别与第一和第二用户设备相关联的第一和第二视频抑制组件,最初为两个用户设备针对通信事件抑制视频交换功能,并且响应于来自请求用户的用户输入,第一用户设备向第二用户设备发送停止针对通信事件抑制视频的请求;其中,如果响应用户未接受该请求,则两个视频抑制组件为两个用户设备均继续抑制视频交换功能,其中如果响应用户接受该请求,则作为响应,两个视频抑制组件为两个用户设备均停止抑制视频交换功能,其中每个用户设备通过捕获视频数据流、经由网络将捕获的视频数据流发送给另一个用户设备以在其上接收、以及向其用户显示从另一个用户设备接收的视频数据流来实现视频交换功能。

Description

通信事件
技术领域
本公开涉及经由网络在两个用户之间的通信事件。
背景技术
随着越来越多的通信应用(app)被开发用于现代用户设备,这样的设备为用户提供了越来越多的选项来彼此通信。这尤其适用于诸如智能手机之类的移动设备,因为近年来为流行的移动平台所开发的移动app的范围已大大增加。这样的应用包括,例如,允许用户经由文本交换实时实施对话的基本消息传递应用,将其扩展到媒体内容交换的多媒体消息传递应用,诸如图像表情符号/情感符号、gif、短音频/视频剪辑等;允许(主要)通过互联网实施实时音频和视频通话的VoIP(IP语音)应用;社交媒体app;以及约会app等。
约会app(尤其是移动约会app)近年来变得越来越流行。尽管所谓的“网上约会”已经存在了一段时间,但从历史上看,这被视为一种利基活动。然而,尽管诸如Tinder之类的较新的约会app,在线约会已变得越来越主流。此中的关键驱动因素是智能手机上的约会服务的可用性。这不仅为用户在他们可以选择参与在线约会活动的时间地点方面提供了更大的灵活性,而且在利用现代智能手机的功能性方面,某些移动约会app也极为有效——特别是他们的位置识别功能和先进的触摸屏功能(一个示例是Tinder,其基于位置的匹配功能和“向右滑动/向左滑动”界面)。
发明内容
本发明的第一方面涉及一种经由在操作第一用户设备的请求用户和操作第二用户设备的响应用户之间的网络影响通信事件的方法,所述方法包括:发起所述通信事件,在所述通信事件中,每个用户设备捕获音频数据流,将捕获的音频数据流经由所述网络发送到另一个用户设备以在其上接收,并且向其用户输出从所述另一个用户设备接收的所述音频数据流;其中通过分别与所述第一用户设备和第二用户设备相关联的第一视频抑制组件和第二视频抑制组件,最初为两个用户设备抑制针对所述通信事件的视频交换功能,并且响应于来自所述请求用户的用户输入,所述第一用户设备向所述第二用户设备发送停止针对所述通信事件抑制视频的请求;以及其中如果所述响应用户不接受所述请求,则两个视频抑制组件针对两个用户设备均继续抑制所述视频交换功能;其中如果所述响应用户接受所述请求,则作为响应,两个视频抑制组件针对两个用户设备均停止抑制所述视频交换功能,其中每个用户设备通过捕获视频数据流、经由所述网络将捕获的视频数据流发送给另一个用户设备以在其上接收、以及向其用户显示从所述另一个用户设备接收的所述视频数据流来实现所述视频交换功能。
换句话说,对请求用户和响应用户之间的视频交换功能的抑制只有经由两个用户的相互同意才被终止(即,视频才被“解锁”),而且,在其被解锁的情况下以及在其被解锁的时候,其对于两个用户均被解锁,即“全部或全无”的方式。这为用户提供了安全性,因为两个用户都知道所有视频将保持被抑制,直到两个用户都准备停止抑制它为止,并且两个用户中的任何一个都可以在准备就绪时请求解抑制的视频方面感到舒适,因为他/她知道只有在另一个用户的视频也被解抑制的情况下和在另一个用户的视频也被解抑制的时候,他/她自己的视频才会解抑制。
下面描述的本发明的优选实施例将该功能性并入到诸如移动约会app之类的约会app中。约会app的相应实例在每个用户设备(其可以是智能手机)上被执行。由本发明提供的安全性在约会app的情境中特别重要,因为在那种情境中,用户很可能之前从未见过面,并且因此可能对于立即分享(完整)视频感到不舒适。
在本发明的上下文中,“被抑制”可以意指视频流被完全屏蔽(block),或者可以意指将效果应用于视频流以遮掩(obscure)其视觉内容,尤其是隐藏(conceal)其中的任何脸部。对于后者,当视频交换功能被抑制时,仍将交换视频流,但是在没有这种模糊情况下的“完整”视频(其中不再隐藏脸部)需要相互同意。在这方面,“视频交换功能”涵盖从在一个用户设备处捕获视频流的点到在另一用户设备处显示视频流的点的整个信号处理过程链。视频抑制可以在该信号处理链中的任何一个或多个点处、在用户设备处或者甚至在某个中间网络设备(诸如服务器或网络的其他中间节点)上被影响。“与用户设备相关联的视频抑制组件”意指屏蔽或遮掩在该设备处捕获的视频流(或完全防止其捕获)的功能组件。视频抑制组件不需要一定在与之相关联的用户设备上被实现,例如,它也可以遮掩在其他设备上或在网络中的其他位置处被实现,以在流被接收之后屏蔽或遮掩该流。
因此,在本发明的实施例中,当视频交换功能被抑制时,用户设备还可以捕获、发送和显示视频流,并且每个视频抑制组件可以通过处理在其关联的用户设备处捕获或接收的视频数据流以遮掩其视觉内容来为该用户设备抑制视频交换功能。
一方面,尽管对视频的模糊直到两个用户都同意结束为止,这仍然在用户安全方面提供了上述好处,但是另一方面,这样做的同时还提供了更吸引人的对话体验,因为在此之前仍然存在通信事件的吸引人的视觉组件。
例如,可以通过处理视频数据流来遮掩视觉内容,使得在被显示时在视频数据流上渲染部分透明的覆盖层。作为另一个示例,可以通过将脸部隐藏滤镜应用于视频数据流来遮掩视觉内容。例如,“Instagram”样式的滤镜是使用户的脸部足够失真以掩蔽用户的身份,或者用跟踪用户的脸部移动的人造脸部替换用户的脸部。
可替代地,可以通过防止在该用户设备处捕获、接收或显示视频数据来针对每个用户设备抑制视频交换功能,由此当视频交换功能被抑制时,在任何一个用户设备上都不显示通信事件的视频数据。
在实施例中,启动请求的用户输入可以是第一用户设备的触摸屏上的手势。例如,该手势可以是拖动和松开(drag and release)手势(其可以垂直向下,但是可以取决于实现而沿着任何其他方向)。这有点类似于所谓的“弹性刷新”,但是不是刷新内容,而是手势在这里被用来触发用以停止抑制视频的请求。
当用户通过沿着第一用户设备的触摸屏拖动来执行拖动和松开手势时,作为响应,在请求被接受之前,应用于在第一用户设备处从第二用户设备接收的视频流的模糊级别可以被降低,由此视觉内容保持被遮掩,但是以较低的模糊级别被遮掩,
例如,在视觉内容被部分透明的覆盖层模糊的情况下,当用户通过沿着第一用户设备的触摸屏拖动来执行拖动和松开手势时,作为响应,第二用户设备处捕获的视频数据流上被渲染的部分透明的覆盖层可以在拖动的方向从流的视觉内容被完全遮掩的初始位置移动到新位置,使得该视觉内容的受限区域不再被遮掩。
这具有在手势被执行时提供直观的视觉反馈的好处:在用户执行手势时移动覆盖层用以显现少量的未遮掩视频表明,用户当前正在执行的手势与覆盖层的移除和视频的后续去模糊有关。也就是说,在用户执行手势时UI的行为与用户完成手势时将发送的请求的性质紧密相连,因为执行手势会从视频的受限区域移除覆盖层并且完成手势会向另一个用户发送要求完全移除该覆盖层的请求。
在UI的行为传达手势的目的时,每当在用户执行手势时以其他方式稍微降低模糊级别的时候,相同的视觉反馈优势就会更普遍地适用。
例如,当用户通过沿着第一用户设备的触摸屏拖动来执行拖动和松开手势时,作为响应,覆盖层的不透明度可以从初始非零值降低到新的非零值,从而降低模糊级别。
在手势完成之后,部分透明的覆盖层可以返回到初始位置或不透明度以反转增加。
未被遮掩的视觉内容的受限区域的尺寸可以随着用户沿着触摸屏进一步拖动而增加到最大尺寸。随着用户执行手势,不透明度可以降低至最小不透明度。
其中,通过对视频数据流应用脸部隐藏滤镜来遮掩视觉内容,可以通过调整脸部隐藏滤镜的至少一个参数来降低模糊级别,以降低隐藏视觉内容中的脸部的程度。
响应用户可以通过在第二用户设备的触摸屏上做出第一手势来接受请求,并且可以通过在第二用户设备的触摸屏上做出第二手势来拒绝请求。
第一手势和第二手势都可以通过在初始方向上在第二设备的触摸屏上的拖动动作来启动,其中第一手势通过在垂直于初始方向的一个方向上的后续拖动和松开动作来完成,并且第二手势通过在垂直于初始方向的另一方向上的后续拖动和松开动作来完成。
作为另一示例,第一手势可以是在第一方向上的滑动,并且第二手势可以是在相反方向上的滑动。
每个用户可以具有保持在数据库中的相关联的标识符,其中标识符在数据库中被彼此配对,从而允许发起用户之间的通信事件。数据库中的用户标识符可以使用配对算法(匹配算法)而被彼此配对。也就是说,使得用户只能在他们已经通过配对算法被配对时发起彼此的通信事件。
响应于标识符被配对,可以渲染被配对的标识符中的每一个对于由另一个用户操作的用户设备为可用。
例如,标识符中的每一个可以是用户标识符或网络地址。
数据库中的用户标识符可以通过配对算法基于以下配对标准中的一个或多个来彼此配对:年龄、性别、位置、交友偏好、约会偏好、兴趣和性取向。
配对算法可以是随机配对算法。
对于每个用户,与该用户的标识符相关联的、针对该用户的至少一个参与度得分可以被保持在数据库中。
数据库中的用户标识符可以通过配对算法、基于他们相关联的参与度得分而被彼此配对。
通信事件可以经由用户设备上执行的相应应用来实施,其中对于每个用户,针对该用户的至少一个参与度得分在数据库中与该用户相关联的标识符关联地存储,该用户的至少一个参与度得分随着该用户参与在他或她的用户设备上执行的所述应用而增加。
响应于用户的参与度得分达到参与阈值,作为响应,可以针对该用户解锁应用的功能。
应用功能可以是发现功能,当针对用户解锁时,该发现功能允许该用户获取保持在数据库中的关于也已经解锁了发现功能的其他用户的信息。
请求用户和响应用户之间的通信事件在已为两个用户解锁发现功能之后可以由这些用户之一发起,使用由发起该通信事件的用户经由发现功能从数据库中获得的关于另一个用户的信息。
如果响应用户接受请求,则作为响应,响应用户的参与度得分可以增加(由此,在用户基于他们的参与度得分进行配对的情况下,将影响针对该用户的未来配对)。
响应用户的参与度得分可以增加的量可以取决于响应用户接受请求所花费的时间量来确定。
响应于响应用户接受请求或者响应于请求用户发起请求,可以增加请求用户的参与度得分(由此,在用户基于他们的参与度得分进行配对的情况下,将影响针对该用户的未来配对)。
可以通过请求阈值来限制请求用户可以向响应用户启动的停止抑制视频的请求的数量。
如果响应用户在时限内未接受请求,则可能此后该请求无法被接受。也就是说,请求可能在时间间隔结束时“过期”。
第二用户设备可以向响应用户显示请求的通知,并且该通知可以被动态更新以传达接受请求的剩余时间量。
可以在第一用户设备处向请求用户显示相应的通知,以向请求用户指示剩余时间量。
对于到期的请求,参与度得分可以在请求被接受时根据接受请求的剩余时间量而增加。也就是,直到请求过期为止剩余的时间量。
通过防止在用户设备处捕获、接收或显示视频数据,可以为每个用户设备抑制视频交换功能,从而在视频交换功能被抑制时,在任何一个用户设备处均不显示通信事件的视频数据。即,对两个用户都屏蔽视频。
当视频交换功能被抑制时,在每个用户设备处,可以显示与另一个用户相关联的化身(avatar)图像,当抑制停止时,该化身图像被另一个用户的视频流替换。
可以在第二用户设备处实现与第一用户设备相关联的第一视频抑制组件,以遮掩或屏蔽从第一用户设备接收的视频数据流,并且可以在第一用户设备处实现与第二用户设备相关联的第二视频抑制组件,以遮掩或屏蔽从第二用户设备接收的视频数据流。
可替代地,可以分别在第一和第二用户设备处实现第一和第二视频抑制组件。
在以手势来启动请求并且在请求已经被接受之后在触摸屏上执行相同的手势的情况下,作为响应,第一用户设备可以显示与通信事件有关的至少一个可选选项。即,一旦请求已经被接受,就可以“重新目的化”手势,以渲染可用于通信事件的选项。这些选项优选地是通过移除视频模糊而渲染相关的选项。例如,至少一个选项可以是可选择的,以控制视频交换功能。例如,至少一个选项是可选择的,以控制在第一用户设备处对视频数据流的捕获。
该方法可以包括:响应于在请求已经被接受之后在第一用户设备处检测到第一手势,在第一用户设备处触发与第一图像捕获相关的功能;以及响应于在请求被接受之后在第一用户设备处检测到第二手势,在第一用户设备处触发与第二图像捕获相关的功能;其中,第一手势和第二手势均通过在初始方向上在第一用户设备的触摸屏上的拖动动作来启动,其中第一手势和第二手势中的一个通过在垂直于初始方向的一个方向上的后续拖动和松开动作来完成。
对于移动设备,这提供仅使用一只手对图像捕获设备的多方面控制。
作为对其的响应而发送请求的拖动和松开手势可以是在初始方向上的拖动和松开动作。
第一手势和第二手势中的另一个可以通过在垂直于初始方向的另一个方向上的后续拖动和松开动作来完成。可替代地,第一手势和第二手势中的另一个可以是在初始方向上的拖动和松开动作。
第一图像捕获相关功能可以是照明功能,其在被触发时激活用户设备的至少一个照明设备以照明图像捕获设备的视场。
第二图像捕获相关功能可以是激活功能,其激活用户设备的第二图像捕获设备。
图像捕获设备之一可以是前置图像捕获设备,另一个可以是后置图像捕获设备。图像捕获设备的视场可以是后置图像捕获设备或前置图像捕获设备的视场。也就是说,提供照明的照明设备可以被定位成照明任一视场。
本发明的第二方面涉及一种经由在操作第一用户设备的请求用户和操作第二用户设备的响应用户之间的网络影响通信事件的方法,所述方法包括:发起所述通信事件,在所述通信事件中,每个用户设备捕获音频数据流,将捕获的音频数据流经由所述网络发送给另一个用户设备以在其上接收,并向其用户输出从所述另一个用户设备接收的所述音频数据流;其中通过与所述第二用户设备相关联的视频抑制组件,针对至少所述第二用户设备,视频交换功能最初针对所述通信事件被抑制,并且响应于在所述通信事件期间来自所述请求用户的用户输入,所述第一用户设备向所述第二用户设备发送停止针对所述通信事件抑制视频的请求;以及其中如果所述响应用户不接受所述请求,则所述视频抑制组件针对至少所述第二用户设备继续抑制所述视频交换功能,其中如果所述响应用户接受所述请求,则作为响应,所述视频抑制组件针对第二用户设备停止抑制视频交换功能,其中所述用户设备通过以下方式实现所述视频交换功能:至少所述第二用户设备捕获视频数据流并将捕获的视频数据流经由所述网络发送给所述第一用户设备以在其上接收,以及所述第一设备向其用户显示从所述第二用户设备接收的所述视频数据流。
在实施例中,用户输入可以是第一用户设备的触摸屏上的手势。
该手势可以是拖动和松开手势。
当视频交换功能被抑制时,第二用户设备还捕获并发送视频流,并且视频抑制组件可以通过处理在第二用户设备处捕获的视频数据流以遮掩其视觉内容来针对第二用户设备抑制视频交换功能。
当用户通过沿着第一用户设备的触摸屏拖动来执行拖动和松开手势时,在请求被接受之前,作为响应,应用于在第一用户设备处从第二用户设备接收的视频流的模糊级别可以被降低,由此视觉内容保持被遮掩,但是以较低模糊级别被遮掩。
可以通过处理视频数据流来遮掩视觉内容,使得在被显示时在视频数据流上渲染部分透明的覆盖层。
在第二方面的实施例中,可以实现第一方面的任何特征或其任何实施例。
注意,尽管在本发明的第一方面中,在终止视频抑制之前需要相互同意,并且仅对于两个用户同时终止,但是本发明的第二方面也可以以单向同意而被应用。在这种情况下,Alice和Bob的视频最初都会被遮掩或屏蔽。当(例如)Bob向Alice发送请求并且Alice接受请求时,对Alice视频的抑制停止,使得Bob现在可以看到Alice。但是,Bob的视频保持被屏蔽或遮掩,直到Alice请求结束此操作并且Bob接受为止。尽管在一些情境中不太优选,但这在另外一些情境中仍然可行,并且由于每个用户都可以控制何时解锁其自己的视频,因此仍然可以提供安全性。
本发明的第三方面涉及一种计算机程序产品,该计算机程序产品包括存储在计算机可读存储介质上的可执行指令,该可执行指令在被执行时被配置为执行第一或第二方面的方法或其任何实施例。
本发明的第四方面涉及一种计算机系统,该计算机系统包括:至少一个处理器;以及耦合到至少一个处理器的电子存储装置,该电子存储装置被配置为保持可执行指令,该可执行指令在至少一个处理器上被执行时被配置为执行第一或第二方面或其任何实施例的方法。
计算机系统可以是分布式计算机系统,或者它可以被本地化,例如被体现在用户设备中。
附图说明
为了更好地理解本发明,并且为了示出本发明的实施例如何实施,仅以示例方式对以下附图进行参考,其中:
图1示出了在线约会系统的示意性框图;
图2示出了用户设备的示意性框图;
图3A示出了用于本发明的第一实施例中的媒体交换系统的功能框图;
图3B示出了用于本发明的第二实施例中的媒体交换系统的功能框图;
图4示出了经由两个用户之间的网络影响通信事件的方法的流程图;
图5示出了可以如何通过配对算法将约会app的用户配对在一起(匹配)的示意图示;以及
图6示出了用于图4的方法的示例消息交换;
图6A示出了用于图4的方法的另一示例消息交换;
图7示出了用于应用(app)的初始用户界面(UI)配置的示例;
图8A-图8J示出了注册期间在不同点处的app UI的示例;
图9A-图9G示出了在与另一用户的通信事件之前和期间,在不同使用点处的appUI的示例;
图10A-图10B示出了如何经由UI来呈现用户的匹配;
图11A-图11M图示了app所响应的各种手势以及app对这些手势的响应。
具体实施方式
本发明所描述的实施例提供了具有实时通信功能的约会app,其通常会作为现实生活聚会的前身——如果用户感觉倾向于那样的话。
用户可以参与与随机用户的双向实时视频对话,其中实时视频被掩盖和遮掩,在用户相互连接的所有时间内完整的音频都可以被听到。用户下拉以请求与另一用户共享(未遮掩的)视频内容,并且接收请求的用户必须在一时限内通过相应地向下然后向左或向右滑动来同意或不同意。也就是说,人们在空中(on the fly)随机地结识其他人,但是他们的身份受到保护,直到口头上已经形成了相互的信任纽带为止。两个用户中的一个或两个都可以因其动作而获得“点数”——尤其是在请求被接受的情况下,从而提升他们各自的“参与度得分”(见下文)。
约会应用的用户通过配对算法被配对在一起(“匹配”),并且一旦匹配,根据本发明,那些用户中的任何一个都可以发起与另一个用户的实时通信事件。也就是说,约会app的实时通信功能仅在用户已经匹配后才被“解锁”,因为用户只能与他/她已经与之匹配的另一个用户经由约会app发起这样的通信事件。
配对算法可以例如在后端计算机系统上被执行,并且操作为配对系统,以基于一个或多个配对标准(诸如位置、年龄、性别、性取向、共同兴趣、用户表达的约会偏好或其任何组合)对用户进行配对。在所描述的实施例中,在至少部分地通过对配对算法的随机或伪随机输入来驱动用户配对的意义上,配对算法是随机的。因此,在这种上下文中,任何配对标准与随机输入一起确定哪些用户能够经由约会app彼此通信。可以通过配对算法完全自主地确定用户配对,或者配对算法可以自主地确定潜在的配对(即,候选匹配),用户随后可以自由接受或拒绝潜在的配对(例如,算法可以自主建议用户的配对,但只有当两个用户都接受此建议的配对时,他们才真正地被配对,并且因此能够经由约会app参与实时通信)。
仅在用户被配对时才能解锁通信功能的约会app当今确实存在,但是,这往往仅限于基于文本的消息传递。例如,Tinder app向用户自主地建议潜在的匹配,但是只有当两个用户彼此“喜欢”时,他们才被真正地匹配,并且因此能够经由文本进行通信。实时音频/视频流通常不被用作在约会app内的匹配用户之间通信的基础。
图1示出了数据交换系统100的示意性框图,该数据交换系统是在线约会系统,其中示出了连接到网络104的多个用户设备102a-102e。网络104是基于分组的计算机网络,诸如互联网。还示出了连接到网络104的是:后端系统106,其包括至少一个计算设备,诸如服务器;以及数据库108,其可以以任何合适的方式(本地化或分布式)来实现。每个用户设备102a-102e是分别由用户103a-103e操作的用户操作的计算设备,诸如智能手机、平板电脑、智能手表或其他智能设备、膝上型计算机或台式计算机等。优选地,至少一些用户设备是移动设备。尽管在图1中仅示出了五个用户设备,但这仅是示例性的,并且数据交换系统100可以具有任意数量的连接的用户设备。
用户102a-e是约会app的用户,一旦他们已经由配对算法被匹配在一起,他们就可以经由网络104彼此参与实时对话(通信事件),配对算法在附图中被标记为504并且在图1的后端系统106处被执行。当首次发起对话时,可以经由网络104在那些用户之间自由地交换作为各自音频流的音频数据,因此他们可以听到彼此讲话。但是,通过遮掩视频或将其完全屏蔽,用户之间的视频数据交换被抑制,直到两个用户相互同意在对话中解除此限制为止,此时,针对两个用户的视频均停止抑制。换句话说,对于两个用户在两个方向上都抑制了视频(当至少一个用户不同意取消此限制时),或者对于任一用户在任一方向上都没有抑制视频(一旦都同意解除此限制)。
因此,在这种上下文中,存在两个级别的“解锁”,其中:1)必须使两个用户彼此匹配,然后才能针对这对用户解锁经由约会app的实时通信,以及2)这两个用户然后在他们都准备就绪时或者如果他们都准备就绪的情况下必须同意解锁(完整的)基于实时视频的通信。
在这种上下文中,实时意指一个用户讲话与另一用户听到/看到该用户讲话之间只有短暂的延迟,例如大约两秒或更短。
图2示出了诸如移动设备之类的用户设备102的框图。应当理解,图2是高度示意性的,并且本文中与用户设备102有关的所有描述均等同地适用于图1中所示的每个用户设备102a-e,即使它们的配置细节不同。
用户设备102被示为包括例如在多核处理器中的至少一个处理器202,诸如CPU(中央处理单元)或一组CPU/CPU核。被示出连接到处理器202的是以下设备:电子存储装置204,包括一个或多个电子存储设备,诸如磁存储装置、固态存储装置、光存储装置或其任何组合;显示器206;网络接口208,用户设备可以经由该网络接口208连接到网络104;用于捕获用户的语音的至少一个音频捕获设备210,诸如麦克风或麦克风阵列;用于输出(播放)接收的音频的至少一个音频输出设备212,诸如扬声器或一组扬声器、耳机等;至少一个图像捕获设备214(相机);以及至少一个位置感测设备216(位置传感器)。前述设备可以被集成在用户设备、外围组件(有线和/或无线)或二者的混合体中。
在所描述的示例中,显示器206包括触摸屏,并且因此用作用户设备102的输入和输出设备。然而,应注意,本文中与触摸屏有关的所有描述在适用时等同地应用于其他形式的输入设备。
被示为存储在存储器205中的是一个版本的约会app 205,以用于在处理器202上执行。为了执行约会app 205,处理器202获取约会app 205的指令并根据那些指令执行操作以实现约会app 205的功能性。
简要回到图1,示出了用户设备102a-e执行约会app 205的分别被标示为205a-e的各个实例。在不同设备上执行的约会app 205的实例可以经由网络104彼此通信,以便执行本文所述的功能,尤其是经由网络104提供音频和视频数据流的双向交换。
优选地,用户设备102具有至少一个前置相机,其被定位为使得它可以捕获用户的脸部的图像。这允许经由网络104与其他用户实施面对面的对话。用户设备还可以具有后置相机,并且用户可以能够在对话期间在两者之间进行切换。
图3A示出了根据本发明的第一实施例的用于媒体交换系统300a的功能框图。示出了媒体交换系统300a的各种功能组件,即,具有与音频捕获设备210连接的输入的音频编码器302、具有与音频输出设备212连接的输出的音频解码器304、具有连接到图像捕获设备214以用于接收要编码的视频数据的输入的视频编码器306、视频解码器308、用户界面(UI)渲染组件310和控制消息传递组件312。
在每个用户设备102a-102e处实现媒体交换系统300a,以允许在那些设备对之间进行音频和视频数据流的双向交换。视频数据意指包含要被快速连续显示的一系列图像以产生动感效果的图像数据。
尽管在图3A中未被示出,但是音频编码器302和解码器304分别经由模数转换器(ADC)和数模转换器(DAC)而分别连接到音频捕获设备210和音频输出设备212。音频编码器302接收要被编码的捕获的音频数据流322(音频流)(即,由音频捕获设备210捕获并由DAC转换为数字形式的音频信号)并对其进行编码(压缩)。经编码的音频流322经由网络104被实时发送给另一个用户设备。音频解码器324经由网络104从另一个用户设备接收实时音频数据324的传入流。这以被编码(被压缩)的形式接收,并且音频解码器304对其进行解码并将其供应给音频输出设备212(经由DAC),从而将其输出给用户。
视频编码器306接收由图像捕获设备214捕获的视频数据流322(视频流)并对其进行编码(压缩)。经编码的视频流322经由网络104被实时发送到另一个用户设备。视频解码器308经由网络104从另一个用户设备接收实时视频数据328的传入流。这以被编码(被压缩)的形式接收,并且视频解码器308对其进行解码以在显示器206上显示。
在这种上下文中,编码意指压缩,由此降低音频/视频流的比特率以进行传输。这可以是无损压缩,从而不会丢失任何信息;也可以是有损压缩,从而可以有选择地丢弃信息;或者可以是两者的组合。解码意指解压缩,其本质上与该过程相反,以恢复正在讨论的流的原始可听或视觉内容,或者至少原始流内容的近似(使用了有损压缩的情况下)。音频/视频编码和解码在本领域中是众所周知的,因此将不再对其进行详细描述。
尽管在图3A中未被示出,但是为了在基于分组的网络104上传输传出音频和视频流322、326,将它们进行打包以用于传输。类似地,传入流324、328作为分组被接收并且被重新组装以用于解码。同样,这在本领域中是众所周知的,因此不再详细描述。
UI渲染组件310具有连接到显示器206的输出,用于在显示器206上渲染UI,并且UI渲染组件310和控制消息传递组件312还具有连接到显示器206的触摸屏的输入,用于接收来自用户设备102的用户的用户输入。UI渲染组件310还具有:第一视频输入,其连接到视频解码器308的输出,以用于接收经解码的视频数据;以及第二视频输入,其连接到图像捕获设备214,以用于接收本地捕获的视频数据,使得可以将这两个视频数据作为UI的一部分都进行渲染,从而将它们显示给用户设备102的用户。
控制消息传递组件312还具有输出,该输出连接到UI渲染组件310的控制输入以控制UI渲染组件310的操作,特别是连接到UI渲染组件310的视频抑制组件311以控制视频抑制组件311的操作。
以这种方式,当两个用户设备正在进行通信时,那些设备中的每一个的图像捕获设备214和视频编码器306与另一设备处的视频解码器306、UI渲染组件310和显示器206协作,以提供视频交换功能,用于经由网络104在用户之间交换视频数据。也就是说,用于在那些用户之间实时交换视觉信息。
视频抑制组件311选择性地抑制由通信用户设备处的协作媒体交换系统所提供的视频交换功能。在图3A的第一实施例中,它是通过在传入视频流328被显示之前选择地遮掩传入视频流328的视觉内容来实现的。
图3B示出了根据本发明的第二实施例的被标示为300b的媒体交换系统的变型的功能框图。除了下面列出的差异之外,第二媒体交换系统与第一实施例的系统相同。相同的附图标号被用来标示相同的组件,并且与图3A的系统300a有关的所有描述均等同地适用于图3B的系统300b。
在图3B的媒体交换系统300b中,视频处理模块311不是遮掩传入视频流328,而是在发送之前选择地遮掩传出视频流326的视觉内容。
分别在第一和第二实施例中,媒体交换系统300a、300b表示当约会app 205在用户设备102的处理器202上被执行时由约会app 205实现的功能性,其中那些系统的上述功能组件中的每一个表示此功能性的不同部分。
因此,每个用户设备102a-e被配置为通过在该设备上执行的约会app实例205a-e来实现这种媒体交换系统300a/300b。
图4示出了在约会app的用户之间影响实时对话的方法的流程图。
为了使用约会app,用户将app安装在他们的用户设备102a-e上(除非它已被安装),并且还向后端系统106进行注册(S2)。在注册过程期间,与注册用户相关联的至少一个标识符被存储在数据库108中,以使得该注册用户能够在系统100内被识别为约会app的用户。标识符例如可以是:用户标识符,诸如专门为约会app创建的用户名或句柄;或者是先前已存在的用户标识符,诸如电子邮件地址或用于某个先前已存在的用户账户的其他用户标识符,诸如用于访问各种服务的社交媒体账户或多用途账户。可替代地,标识符可以是与用户相关联的网络地址,诸如允许经由网络104与用户设备联系的其用户设备的网络地址(例如,IP地址)。也就是说,设备标识符可以用作其用户的标识符。注册可以例如涉及用户为约会app创建简档,其中用户还提供关于他/她自己的与关联的(一个或多个)标识符一起存储的信息,作为数据库108中的简档的一部分。在数据库108中为特定用户保持的一个或多个标识符构成了该用户在在线约会系统100内的身份,并且其由用户用来访问约会app的各个功能。
图7示出了UI的初始配置的一个示例,其可以在用户首次打开app时被呈现。与该app特征的基本说明一起显示可选择的选项,以进行注册,即启动注册过程(702),或者如果用户已经注册则进行登录(704)。图8A-图8K示出了在通过选择选项702来启动的示例注册过程期间在各个阶段处的UI。通过注册,用户在在线约会系统100内创建账户,该账户被包含在数据库108中。在一些实现中,可以提供不同层级的账户(诸如基本账户和高级账户)。在图8A中,用户通过选择多个可选选项802之一来指示他们所落入的年龄段,从而提供年龄信息。在该示例中,年龄段被大致定性地定义(“十岁段前期”,“10岁段后期”,“20岁段前期”等),并且用户不必提供确切的年龄。在图8B中,用户通过选择两个可选选项804之一(男性或女性)来指示他或她的性别,但是也可以提供非二元性别选项。图8C-图8D图示出了用户如何经由显示的文本入口字段806输入期望用户名的一个示例。图8E-图8F示出了微小变型,其中当用户输入他/她的优选用户名的文本时显示指示器808,以指示到目前为止所输入的文本是否可用作用户名。图8G-图8I示出了用户可以如何经由输入文本字段810输入期望的密码。指示器812被显示并被更新以指示到目前为止所确定的输入文本作为密码的强度。在一些实现中,可能要求用户在继续之前选择足够强度的密码。在图8J中,向用户呈现用于使用约会app服务的任何条款和条件,他/他在继续操作之前必须经由选项814接受该条款和条件。当用户进行注册过程时,UI可以按任何合适的顺序在图8A-图8J的配置之间切换。当然,图8A-图8J仅图示出了在注册期间可能收集的信息类型的一个示例,以及可能如何经由约会app UI收集信息的一个示例,并且其他选择将是明显的。
一旦用户已经以此方式注册,在后端系统106处执行的配对算法504通过在数据库108中的已注册用户的标识符之间创建关联来将已注册用户配对在一起(S4)。可以基于各种标准来将用户配对在一起,诸如位置、性别、年龄、性取向、自我声称的兴趣和/或约会偏好、或其他个人信息等或其任意组合。例如,使用位置传感器216,例如基于卫星定位(例如,使用GPS或其他GNSS系统)、蜂窝三角测量等,根据用户设备的IP地址,或者使用任何其他形式的定位技术,可以确定位置。可替代地,它可以是用户设置的自我声称的位置(可能受制于验证)。
在所描述的示例中,配对算法504被随机化,因为用户是基于对配对算法504的随机或伪随机输入来进行配对的。尽管是随机化的,但配对并不一定需要是“完全”随机的(在某种意义上,约会app的所有用户不需要具有等同的配对机会)——例如,可以基于前述配对标准排除某些配对,或者可以基于那些标准来将算法偏向某些配对,等等。
在以下示例中,假定图1中的用户103a和103b——分别为“Alice”和“Bob”——已通过这种方式彼此配对。
一旦两个用户已配对,将为这些用户的每一个提供另一个用户的详细信息。具体地,包含在数据库108中的Bob的身份被渲染为对Alice的用户设备102a可用,并且包含在数据库108中的Alice的身份被渲染为对Bob的用户设备102b可用。
在图5的示例中对此进行了说明,该示例示出了一旦Alice和Bob已经通过配对算法504在数据库108中被配对,作为响应,Alice的身份502a——在此示例中包括她的用户名和设备地址——如何被渲染为Bob的设备104b可用,并且同样地,Bob的身份502b——包括他的用户名和设备地址——如何被渲染为Alice的设备104a可用。
返回图4,一旦Alice和Bob已被配对,他们就可以经由约会app的他们各自的实例205a、205b来启动实时视听(AV)对话(S6)。这是通过他们的每个设备102a、102b订阅在另一个设备处捕获的音频和视频流(从捕获它们的设备的角度来看是传出流322、326,以及从接收它们的设备的角度来看是传入流324、328)来实现的。任一用户都可以经由他/她的设备的UI渲染组件310所渲染的UI,以该设备发起对话。
通过示例的方式,图6示出了用于Alice和Bob之间的对话的示例消息流。图6的消息是由Alice和Bob的设备102a、102b处的控制消息传递组件312发送和接收的控制消息。
在该示例中,Bob通过他的设备102a处的用户输入602来发起对话,这使得邀请604被发送给Alice的设备102b。在接收到邀请604之后,Alice可以通过她的设备102b处的用户输入606来接受邀请,这使得接受消息608被发送给Bob。在完成此消息交换的情况下,两个设备102a、102b现在都可以订阅彼此的音频和视频流。将会理解,这仅仅是出于说明目的的一个示例,并且可以执行更复杂的消息交换以允许用户之一发起对话。
当对话已经开始时,在不受阻碍的两个方向上在Alice和Bob的设备102a、102b之间交换音频流。因此,用户可以彼此交谈,并听到对方在说什么,这与传统的电话呼叫类似,但是经由约会app 205本身来实施的。
在本示例中,一旦已经发起对话,在两个方向上在他们的设备102a、102b之间也交换视频流。然而,在用户设备102a、102b处的相应的视频抑制组件311遮掩两个视频流的视觉内容的意义上,视频被抑制。在视频流正在捕获Alice和Bob的脸部图像的地方,模糊处理足以隐藏用户的脸部。例如,可以是这样的情况,尽管脸部轮廓是可辨别的(足够让每个用户可以看到他/她正在与另一个人交谈,并且可以看到头部的某些移动),但是脸部的更详细结构却是不可辨别的,使用户很难甚至不可能在视觉上识别彼此。
以这种方式遮掩视频的好处是,一方面可以通过确保在合框时隐藏用户的脸部来为用户提供安全性(这很重要,因为在此时他们基本上彼此是陌生人),同时另一方面,与仅使用音频实施的对话相比,它还提供了更有吸引力的体验。
例如,可以通过在传入视频流之上渲染部分透明的覆盖层(overlay)来遮掩视频,该覆盖层的不透明足以隐藏另一用户的脸部,但足够透明以允许辨别出头部轮廓。可以将不透明度的级别设置为百分比alpha值(例如至少90%)或(0.0-1.0)之间的浮点数。这只是一个示例,其他形式的视频模糊处理也同样可行。例如,另一种遮掩视频内容的可行方法是通过对视频流应用“滤镜”以隐藏用户的脸部。例如,这可以是面具或其他人物插图,其跟踪视频流中的脸部移动以遮掩用户的身份,包括但不限于:假面面具、卡通人物、国旗轮廓、国宝人物、名人或赞助广告品牌。在一些实现中,用户可以能够选择他们自己的滤镜以最初应用于他们的视频。如将会理解的,存在多种处理视频的方法以通过隐藏用户的脸部而不完全掩蔽之来遮掩用户的身份。为实现此目的而需要引入的失真级别可以取决于处理的类型而变化,但是,在任何给定的上下文中,从用户的角度来看确保用户身份安全所需的处理程度对于本领域技术人员而言将是明显的。
在图3A的系统中,在Alice和Bob的设备102a、102b的每一个处,一旦来自另一设备的传入视频流328已经被接收和解码,则视频抑制组件311对该传入视频流328进行处理以遮掩其视觉内容。也就是说,由Bob的设备处的视频抑制组件311使Alice的流在发送之后在Bob的设备处被模糊,反之亦然。该处理作为在该设备处渲染UI的过程的一部分来执行,因此,在图3A中,视频抑制组件311被示为UI渲染组件310的组件。
在图3B的系统中,取代的是,在设备102a、102b中的每个设备处,传出视频流326在编码和发送之前由视频抑制组件311处理。也就是说,由Alice的设备处的视频抑制组件311使Alice的流在Alice的设备处发送之前被模糊,并且由Bob的设备处的视频抑制组件311使Bob的流在Bob的设备处发送之前被模糊。
还应注意,在其他实现中,可以在任一设备处都不执行模糊。例如,可以在中间中继节点(诸如服务器)处实现针对每个流的视频抑制组件,所述流经由该中继节点被中继。
返回图4,Alice和Bob中的任一个可以向另一个用户发起请求612以停止遮掩消息(图4的步骤S8)。在图6的示例中,恰好是Bob通过其设备处的用户输入610向Alice的设备发起请求612。但是,可替换地Alice向Bob的设备发起请求同样可行。在通信事件期间提供用户输入610,同时发送、接收和输出音频流并且以遮掩的形式发送、接收和显示视频流。
因此,发起请求612不会对任何一个用户造成终止视频抑制:一旦发送了请求612,系统继续抑制Alice和Bob的视频,因此他们的脸部保持被隐藏。相反,仅在Alice和Bob都同意的情况下,系统100将停止抑制视频。
在接收到请求612时,Alice的设备102b向Alice输出该请求的通知614(图4的步骤S10),并且Alice具有接受或者拒绝该请求的选项(S12)。
如果Alice接受请求612,则作为响应,两个用户设备102a、102b处的视频抑制组件311停止遮掩两个视频流(S14)。
在图6的示例中,Alice通过她的设备102b处的用户输入616来接受请求612,这导致接受消息618被发送给Bob的设备。此时,两个设备102a、102b都知道Alice已经接受了Bob的请求。同样,这只是一个示例,取决于实现,可以执行更复杂的消息交换以同意结束视频抑制。在任何情况下,与每个用户设备102a、102b相关联的相应视频抑制组件响应于Alice的设备102a处的相同用户输入616(如经由消息618而被传达给Bob的设备),自动停止针对这两个设备102a、102b抑制视频。
如果Alice没有接受请求612,而是拒绝或忽略该请求,则视频抑制组件继续遮掩两个视频流(S16)。也就是说,两个设备处的视频抑制组件继续为两个用户抑制视频。
优选地,每个用户仅被允许发送有限数量的这种请求,直到请求阈值,例如最多三个请求以停止遮掩视频。因此,如果Bob尝试发送另一这样的请求,则他的控制消息传递组件312确定他是否已经达到请求阈值(S18)。如果否,则向Alice发出又一请求(S20);如果是,则不发送又一请求,因为至少在当前时间点处,Bob不被允许向Alice发送更多的请求(S22)。Bob可以经由他的app的UI而被告知此事。这可以是一个绝对限制,因此不再允许Bob向Alice发送另一请求,或者它也可以是时间受限的,例如,为了施加此限制,在经过适当的时间量后,可以对先前的请求进行折扣。
每个请求还可以具有有限的时间间隔,在该时间间隔内它可以被接受,之后它将过期。一旦Bob的请求过期,Alice将无法再接受它。但是,她可以自由地将自己的请求发送给Bob,如果他选择接受,则他可以接受该请求。
每个用户都可以随时终止实时对话。而且,在用户已被配对之后,任一用户都可以自由地“屏蔽”另一个用户——如果他们愿意的话。一旦其中一个用户屏蔽了另一个用户,则这些用户中的任一个都无法再经由约会app来与该另一个用户发起对话。
图6A示出了替代消息交换,其中,以不同的方式发起Alice与Bob之间的对话。在此示例中,在Alice和Bob首次配对时,配对算法504自动发起他们之间的实时对话。
在该示例中,最初Alice和Bob都通过对其各自设备102a、102b的用户输入622、626进入虚拟“等候区域”。这些输入表明,一旦系统为他们找到匹配,每个用户当前就准备好参与对话。app可以被配置成使得用户在登录app后立即进入等候区域,或者这可以是在他们登录后的主动选择。当Alice和Bob进入等候区域时,将通过分别来自Alice和Bob的设备102a、102b的消息624、628通知后端系统106。后端系统106将虚拟等候区域中的用户配对在一起,并且响应于Alice和Bob被配对算法504配对(对应于图4中的S4),后端系统106分别自动发送通信事件启动消息630a、630b给Alice和Bob的设备102a、102b,从而自动启动Alice和Bob之间的通信事件,其中视频最初被抑制。也就是说,响应于在步骤S4处Alice和Bob被配对,自动启动Alice和Bob的设备102a、102b之间的音频和视频流的交换。此后,通信事件以与上述相同的方式进行,并且关于图6的所有描述在这方面均等同地适用于图6A;在通信事件期间Alice或Bob中的任何一个都可以请求停止抑制视频,并且如果双方同意以及当双方同意时,视频抑制将终止。
图9A-图9C示出了向在等候区域中的用户显示的约会app UI的示例配置,在该示例中为该设备102b处的Bob的UI。最初,Bob被告知他们的系统正在寻找另一合适的用户与之配对(图9A的902)。如果系统无法立即找到另一这样的用户(远端用户),则Bob经由UI被告知此事(图9B的904),并为他提供了经由UI激活通知功能的选项,以便在他与另一用户匹配时告知他。如果Bob激活该功能,则UI被更新以反映这一点(图9C的906),并且如果他被配对并且当他被配对时他的设备102b将告知他。在此期间,显示自视频图像908。也就是说,Bob自己在本地捕获的视频数据会在UI的某个区域中显示给他,这样他就可以看到一旦配对后将被发送给另一用户的内容(尽管其当然最初会在远端设备上被遮掩)。
一旦Bob与Alice配对,在此示例中,作为响应,如图6A,Alice和Bob之间的对话被自动启动。在此时,音频和视频数据在Alice和Bob之间双向流动,但是,在每个用户的设备上,来自另一个用户的视频被遮掩。这样的示例在图9D中被图示出,其中Alice的视频910(即从Bob的角度来看的远端视频)被高度不透明但是仍然稍微透明的覆盖层914遮掩,其遮盖了全部或基本上全部的远端视频910,使得近端用户几乎无法辨别远端视频910。可以辨认出Alice的头部和头发的轮廓,但是她的身份被遮掩。完全不透明的图912也被显示在Alice的视频的中心处或附近,以进一步遮掩她的脸部可能所在的区域。Bob的自视频908仍然经由其UI显示为未遮掩,因此他可以清楚地看到正在发送给Alice设备的内容。
图9E示出了当Bob发起针对完整的、无遮掩视频的请求612时UI可以如何变化的一个示例。在该示例中,发起请求612的用户输入610是Bob的用户设备102b的触摸屏上的“拖动并松开”手势,由此Bob在触摸屏上的初始点处使手指(例如,拇指)与触摸屏接触,将其沿触摸屏拖动到距离初始点足够远的另一点,然后松开它。在该示例中,通过垂直向下拖动来执行该手势,但是在其他实现中,手势可以是在任何期望的一个或多个方向上。
如可以看出的,当Bob执行手势时,覆盖层914移动以匹配手势的方向,从而显现远端视频910的一小部分区域916而没有模糊(“预览区域”)。随着Bob沿着触摸屏进一步拖动,该预览区域916的尺寸增加到最大尺寸。预览区域916的最大尺寸被设置为使得即使在达到该最大尺寸时,总的来说,视频也保持被遮掩(使得远端用户的脸部仍然被隐藏),并且预览区域916的尺寸不能增加到超出这个最大尺寸。在图9E的示例中,预览区域在其尺寸增大的方向上(在此示例中为高度)的最大范围约为该方向上远端视频的总体范围的10-20%(该示例中的视频高度)。也就是说,覆盖层在移动方向上移动最多Alice视频的10-20%范围。
这具有经由直观的视觉反馈向Bob传达有关他正在执行的手势的信息的好处:当他拖动时,少量视频被去模糊,从而向Bob传达他正在做出的手势与视频去模糊相关。也就是说,Bob实际上可以看到他正在向Alice请求的内容,即移除覆盖层914,他本人只能将覆盖层914移除到非常有限的程度(即,仅达到预览区域916的最大尺寸)。
当Bob的拇指/手指松开时,作为响应发送请求912,并且覆盖层914返回其初始位置,使得远端视频910再次被完全遮掩。经由Bob的UI将通知918显示给Bob,以确认请求612已被发送。
这是一个示例,该示例说明了在移除全部模糊的请求被接受之前,当Bob执行手势时可以如何稍微降低应用于Alice视频的模糊级别。其他示例包括:降低覆盖层的不透明度(降低到较低但仍为非零的值,使得直到请求被批准之前视频仍被遮掩),或者在脸部滤镜被用于模糊处理的情况下,通过调整滤镜的至少一个脸部失真参数来降低由滤镜产生的脸部失真量。这些在提供直观视觉反馈方面具有相同的优势。
模糊级别L根据用户沿着屏幕拖动的距离D而变化,其中L可以例如是预览区域918的高度或覆盖层的不透明度。这可能不是线性函数,例如t。例如,随着距离的增加,模糊的“速率”——即dL/dD(模糊级别L关于距离D的微分)——可能会随着距离D而减小。也就是说,使得距离D每次递增,模糊级别就会随着距离D的整体增加而减小更小的量。当用户进一步拖动时,这会带来更大的“紧张”感。
设备还可以在用户执行手势时提供触觉反馈,例如使用用户设备的内部振动机制。例如,这可以是在执行手势时在预定点处对振动机制进行致动的情况(例如,覆盖层可以被移动的最大距离的预定百分比处等),或者随着手势被执行,振动水平可以被增加。更一般地,振动水平可以取决于例如与手势的执行有关的持续时间、速度或距离、或其任何组合。
图9F示出了Alice的设备102a的UI,并且具体示出了如何在远端设备处输出通知614的示例。在该示例中,通知是动态通知,其逐渐变化以通过顺时针“向下计数”示出Alice还剩下多长时间接受通知,如图9F中的箭头616所标示。在此时,Bob的视频618仍然通过Alice的UI的等效覆盖层620以遮掩的形式被显示在Alice的设备上。
如图9E的最终图像中所示,Bob的通知616更新为匹配Alice的通知616,因此Bob也知道Alice有多长时间来接受请求。即,Bob的通知616也对剩余时间进行倒计时。
如图9G中所示,如果Alice在请求612到期之前接受了请求612,则作为响应从她的UI中移除覆盖层620,并且Alice因此可以看到未被遮掩的Bob的视频618。响应于Alice的接受,Bob的UI的覆盖层914也从Alice的视频910中移除,因此Bob也可以看到未被遮掩的Alice的视频。这在图中未被示出,但是关于Bob的视频618上的Alice的覆盖层620的所有描述均等同地适用于Alice的视频910上的Bob的覆盖层914。
此时,Alice和Bob现在可以参与完全的面对面对话而无隐藏。
由Alice做出以接受请求612的用户输入616也可以是手势。例如,这可以是简单的向右滑动(例如)以拒绝,而向左滑动以接受。作为另一示例,为了响应该手势,Alice可以首先在触摸屏上向下拖动,并且已经向下拖动,然后向右滑动以拒绝或向左滑动以接受(追踪反向的“L”形)。这可以是不间断的手势,其中Alice必须始终保持与触摸屏接触(即追踪触摸屏上的“L”形或反“L”形)。可替代地,在向下拖动之后,她可以能够将她的手指从触摸屏上抬起并随后返回触摸屏以完成手势(先有效地向下滑动,然后向左或向右滑动)。
通过选择显示的终止选项(针对Alice被标记为915,针对Bob被标记为917;请注意,Bob的选项在所有图中均不可见,但可以始终被显示),任一用户都可以随时终止对话。
图10A和图10B图示出了用户如何能够经由他/她的用户设备处的约会app UI来获得他/她的匹配的列表1002。也就是,已与他/她配对的用户的一组用户身份。这可以是已与他/他配对的所有用户,或者可以仅是通过双方同意取消了对视频的限制的用户。对于列表1002中的每个用户,可以提供可选选项1004以“删除”(即,屏蔽)该用户。这可以是始终显示的可选选项(如图10A中所示),也可以是通过滑动手势显现的可选选项(图10B)。
参与度得分:
为鼓励重复访问流量、奖励用户保持参与该app、以及向其他用户提供用户质量验证,在在线约会系统内实现点数奖励系统。
随着时间的流逝,用户开始期望他们会见的其他用户诚实且正直——在当今可用的现有约会app中或多或少缺乏的东西(例如,在现有的约会app中,用户简档图像经常过时或者甚至不是所讨论的实际用户的图像。这是上传图像的问题之一,与相机实时拍摄的视频图像相反)。
基于参与度统计信息,特征经由点数算法(参与度算法)而被解锁,该算法基于被同意的聊天次数和被同意的移除模糊的次数来向用户奖励点数。可以例如在如图1中所示的后端106处执行参与度算法,其中参与度算法被标记为514。
奖励给用户的点数总数构成了所讨论的用户的“参与度得分”,可以将其作为该用户简档的一部分存储在数据库108中,并在用户与该app互动参与时进行更新。
随着用户获得点数,在他们达到一定的参与度阈值时在线约会系统/app的特征会被“解锁”。也就是说,在生成一定数量的点数之后,用户可以收到“成就”。
举例来说,当用户的参与度得分达到第一参与度阈值时,作为响应可以解锁化身相机创建工具,以渲染该工具的使用对用户可用。在满足此阈值之前,无法使用该工具。该工具允许用户使用设备上与视频聊天机制相同的相机来创建化身。
这些已升级的用户现在通过解锁app的发现功能而进入“发现模式”,在适当的情况下化身对于其他用户可见,并且在满足其他参与度成就时其可以是经由搜索机制可索引的。也就是说,化身对于也已经达到第一参与度阈值的系统的其他用户是可见的,并且可以例如作为用户的简档/账户的一部分而被存储在数据库108中。
已经达到发现模式的用户可以能够与也已经达到发现模式的其他用户启动通信事件,而不必首先由配对算法504进行匹配。例如,可发现用户可以在“排行榜”样式的界面上被列出,并根据其得分排序,其中该排行榜界面对其他可发现用户可用。可发现用户可以启动与排行榜上的其他可发现用户的通信事件,而无需先进行匹配。
例如,通过在数据库108中设置作为其简档一部分的发现标记,已经进入发现模式的用户可以在数据库108中被标记为是可发现的。
在这些原则的基础之上,点数将作为与该app参与的“奖励”,尤其是作为与该app的其他用户参与的奖励,被奖励给约会app的用户。例如,可以根据用户在与其他用户的对话期间移除视频模糊的意愿来向用户授予点数。举例来说,图10A和图10B针对每个列出的用户指示了奖励给该用户的点数总数,以示例的方式为列表中的最终用户标记为1006。
例如,当用户接受去模糊视频的请求612时,可以增加参与度得分。增加的量可以取决于用户接受请求612的速度,由此用户可以通过在更短的时间量内接受请求来实现更大的增加。例如,可以将其确定为与接受请求的剩余时间的比例或剩余时间的某些其他函数。对于发送请求的用户,参与度得分也可以增加,尽管这可能取决于接受请求的该另一用户。在在线约会系统100的情境中,参与度得分可以被视为根据用户与app的其他用户互动参与的意愿而设置的“社交排名”的形式。
配对算法504可以将用户的交互得分用作配对用户的标准。例如,具有相似参与度得分的用户可能更可能被配对在一起。作为另一示例,具有较高参与度得分的用户可以比具有较低参与度得分的用户被更频繁地与其他用户配对,即,使得具有较高参与度得分的用户得到更频繁地匹配,以鼓励参与度。也就是说,配对算法可以被配置为使得具有较高参与度得分的用户具有与其他用户配对的更大可能性。这为用户提供了与app互动参与的动力,以提高他们的匹配机会。
还可以提供其他机制,通过该机制用户可以影响他们的匹配,例如通过高级账户。
手势输入
关于约会app UI,为了创建最佳地利用移动设备上有限的可用显示空间的流线型但直观的界面,除以上描述之外,触摸屏手势还可以触发许多动作。现在将参考图11A-图11M对此进行描述。注意,可以在生成用户界面时单独地或以任何组合来实现这些手势-动作对中的每一个。
为了在与另一用户的对话期间(或可能在其他时间,诸如在虚拟等候区域中)触发动作,用户可以按压、触摸并按住、单击或双击、或任意数量手指的多点触摸,如图11A中所示。完成此操作后,用户可以在任何方向上拉动/拖动以使得一个或多个图标1102(“动作调用(call to action)”)被显示,每个图标代表可以被触发的不同动作。当用户下拉时,图标可以从屏幕外的位置移动到屏幕上的位置,以提供直观的界面,由此用户将图标“拖动”到显示器上。这些可以是与设备硬件或其他应用特征对接的操作,包括但不限于:切换镜头光圈、切换相机闪光灯(如果有)、捕获静止图像、切换记录模式、切换静音或触发应用菜单系统。如图11B中已经往下拉动,用户可以从那里在一个方向上移动以启用(prime)动作调用并突出显示其潜在的活动(在图11C、图11D和图11E的示例中分别向左,向右和居中)。用户可以反转(取消)初始的拉动/拖动方向,从而从本质上重置任何动作调用图标的可见性,并取消启用任何选定的动作调用,如图11F中所示。可替代地,用户可以从屏幕上松开他的一个或多个手指以触发当前选择的动作(图11G)。在此时,将动作图标从可用屏幕空间中移除,直到再次被引发(invoke),如图11A中所示。
注意,图11B的下拉手势可以是与做出发送请求612相同的手势。在这种上下文中,在通信事件开始,当视频被遮掩时,下拉手势将导致去模糊请求被发送。一旦已经接受了这样的请求以使得视频不再被遮掩,则下拉手势的进一步执行将替换为下拉动作调用1102,如图11B中。在该示例中,动作调用1102均与视频的捕获有关,因此仅在视频不再被遮掩时才真正适用。因此,一旦请求已被接受,下拉手势以逻辑的方式“重新目的化”,从而一旦请求已被接受,此手势现在便会打开选项,这些选项由于请求已被接受且完整的未遮掩视频现在被显示给两个用户而变成相关的。
图11H:在与另一用户的对话期间,将从另一个用户接收的视频流渲染为接收视频对象,该对象是全屏的,但不限于位置、尺寸或形状。将用户的自视频渲染为预览视频对象,其不限于位置、尺寸或形状。这被覆盖层在显示器的有限区域中的接收视频对象上。
图11I:如所指出的,为了发送请求612,请求612的可以下拉至某点并松开以向接收方发送请求以发起视频模糊的移除;音频对双方都是随时可用的,互联网连接始终被维持。也就是说,当用户已经连接并交换音频流时发出请求。
图11J:在分配的时间段内,接收方向左滑动以取消/忽略共享视频的请求,这导致双方都启用所有视频模糊,并向请求的初始方通知接收方的响应状态消息。
图11K:在分配的时间段内,接收方向右滑动以同意共享视频的请求,这导致(对双方)移除所有视频模糊,并通知请求的初始方。
图11L:当模糊被移除时,只要新的预览位置大于全屏高度的一半,将自己的预览向上拖动即切换到后置相机。也就是说,用户可以通过将他们自己的自视频图像在可能的某个方向上移动至少预定距离来从前置相机切换到后置相机。以相同的方式再拖动预览对象切换回前置相机。在替代实现中,预览对象的移动可以触发其他与相机有关的功能,诸如激活或去激活与活动相机相关联的照明设备以照亮其视场。可替代地或附加地,切换相机和激活/去激活相机照明可以是对如上所述触发的单独的动作调用1102。
图11M:在适用的情况下,在预览对象上按压、触摸并按住、单击或双击、任意数量的手指的多点触摸都将切换相机灯光。
返回图3A/图3B,注意,上面提到的每个功能组件表示相关媒体交换系统300a/300b的功能性的一部分。在以上示例中,媒体交换系统300a、300b表示由可执行指令(软件)当在处理器202上被执行时实现的功能性。也就是说,每个功能组件在被执行时表示该软件的功能性的不同部分。在所描述的示例中,这些具体是约会app 205的指令。也就是说,每个媒体交换系统300a、300b表示约会app 205的功能性。可替代地,可以在约会app 250的控制下由约会app 205之外的软件实现该功能性中的至少一些。例如,在约会app 205的控制下,一些或全部编码/解码操作可以由用户设备102的操作系统(OS)执行(也就是说,约会app205可以利用OS的本机功能性来提供本文描述的功能性)。可替代地,此功能性的一部分甚至可以在设备102的专用硬件中被实现,例如某些用户设备具有可以在约会app 205的控制下使用的硬件音频/视频编码/解码电路。术语“组件”通常被用来意指被配置为实现特定功能性的软件、硬件或其任何组合。注意,图3A/图3B中所示的各种输入/输出通常表示各种功能组件之间的高级交互,并且不必一定对应于物理或逻辑连接的任何特定配置。
还应注意,尽管在上文中,通过遮掩两个用户的视频流的视觉内容来针对两个用户抑制视频,但是也可以通过根本不为那些用户显示视频来抑制视频。例如,替代的是,可以为每个用户显示化身图像(静态或动画),一旦抑制停止,就将其替换为他们的视频流。
此外,尽管以上内容已经在在线约会的内容中进行了描述,但是本发明还可以被应用于诸如社交媒体之类的其他情境中。在这种情况下,可以例如在社交媒体平台上是朋友的用户之间发起根据本发明的实时对话。也可在社交媒体情境中实现随机配对。在这种情境中,应用205可以被称为社交媒体app。
此外,尽管以上仅针对两个用户之间的通信事件进行了描述,但是通信事件也可以在群组对话情境中在两个以上的用户之间发生。因此,对“请求用户和响应用户之间的通信事件”(或类似内容)的引用不排除有两个以上的用户参加通信事件的可能性。例如,可以提供虚拟的“酒店大厅”环境,用户可以在其中进行交流。如果他们愿意,可以为这些用户提供选项,以在两个或更多的群组中进入私密对话。
而且,尽管在至少一些上述实施例中,对所有用户都应用了相同级别的模糊(例如,具有90%的不透明度的覆盖层),但是可以对不同用户应用不同级别的模糊。这可以是用户设置的,例如用户可以指定要被应用于其视频的不透明度级别。作为另一个示例,可以取决于用户的参与度得分来设置被应用于用户视频的模糊量,例如,对于参与度得分较高的用户,可以应用更高级别的模糊(例如,更不透明的覆盖层),以使更多“受欢迎”的用户更“难以捉摸”。
将理解的是,仅通过示例描述了上述实施例。鉴于本文提出的教导,本发明的其他变化和应用对本领域技术人员将是明显的。本发明不受所描述的实施例的限制,而仅受所附权利要求书的限制。

Claims (51)

1.一种经由在操作第一用户设备的请求用户和操作第二用户设备的响应用户之间的网络影响通信事件的方法,所述方法包括:
发起所述通信事件,在所述通信事件中,每个用户设备捕获音频数据流、将捕获的音频数据流经由所述网络发送给另一个用户设备以在其上接收、以及向其用户输出从所述另一个用户设备接收到的所述音频数据流;
其中通过分别与所述第一用户设备和第二用户设备相关联的第一视频抑制组件和第二视频抑制组件,最初为两个用户设备抑制针对所述通信事件的视频交换功能,并且响应于来自所述请求用户的用户输入,所述第一用户设备向所述第二用户设备发送停止针对所述通信事件抑制视频的请求;以及
其中如果所述响应用户不接受所述请求,则两个视频抑制组件为两个用户设备均继续抑制所述视频交换功能;其中如果所述响应用户接受所述请求,则作为响应,两个视频抑制组件为两个用户设备均停止抑制所述视频交换功能,其中每个用户设备通过捕获视频数据流、将捕获的视频数据流经由所述网络发送给另一个用户设备以在其上接收、以及向其用户显示从所述另一个用户设备接收的所述视频数据流来实现所述视频交换功能。
2.根据权利要求1所述的方法,其中当所述视频交换功能被抑制时,用户设备还捕获、发送和显示视频流,并且每个视频抑制组件通过处理在其关联的用户设备处捕获的所述视频数据流以遮掩其视觉内容来针对该用户设备抑制所述视频交换功能。
3.根据前述权利要求中任一项所述的方法,其中所述用户输入是所述第一用户设备的触摸屏上的手势。
4.根据权利要求3所述的方法,其中所述手势是拖动和松开手势。
5.根据从属于权利要求2的权利要求4所述的方法,其中当用户通过沿着所述第一用户设备的所述触摸屏拖动来执行所述拖动和松开手势时,在所述请求被接受之前,作为响应,应用于在所述第一用户设备处从所述第二用户设备接收的视频流的模糊级别被降低,由此所述视觉内容保持被遮掩,但是以更低的模糊级别被遮掩。
6.根据权利要求2或从属于其的任一权利要求所述的方法,其中所述视觉内容通过处理所述视频数据流而被遮掩,使得在被显示时在所述视频数据流上渲染部分透明的覆盖层。
7.根据权利要求5和6所述的方法,其中当用户通过沿着所述第一用户设备的所述触摸屏拖动来执行所述拖动和松开手势时,作为响应,所述覆盖层的不透明度从初始非零值降低到新的非零值,从而降低所述模糊级别。
8.根据权利要求7所述的方法,其中在完成所述手势之后,所述部分透明的覆盖层返回到所述初始不透明度以反转所述增加。
9.根据权利要求7或8所述的方法,其中随着所述用户执行所述手势,所述不透明度降低至最小不透明度。
10.根据权利要求2、3或4或所述的方法,其中所述视觉内容通过将脸部隐藏滤镜应用于所述视频数据流而被遮掩。
11.根据权利要求10和5所述的方法,其中所述模糊级别通过调整所述脸部隐藏滤镜的至少一个参数而被降低,以降低隐藏所述视觉内容中的脸部的程度。
12.根据前述权利要求中任一项所述的方法,其中所述响应用户通过在所述第二用户设备的触摸屏上做出第一手势来接受所述请求,并且通过在所述第二用户设备的所述触摸屏上做出第二手势来拒绝所述请求。
13.根据权利要求12所述的方法,其中所述第一手势和所述第二手势均通过在初始方向上在所述第二设备的所述触摸屏上的拖动动作来启动,其中所述第一手势通过在垂直于所述初始方向的一个方向上的后续拖动和松开动作来完成,并且所述第二手势通过在垂直于所述初始方向的另一个方向上的后续拖动和松开动作来完成。
14.根据权利要求12所述的方法,其中所述第一手势是在第一方向上的滑动,并且所述第二手势是在相反方向上的滑动。
15.根据前述权利要求中任一项所述的方法,其中每个用户具有保持在数据库中的相关联的标识符,其中所述标识符在所述数据库中被彼此配对,从而允许所述用户之间的所述通信事件被发起。
16.根据权利要求15所述的方法,其中响应于所述标识符被配对,被配对的所述标识符中的每一个被渲染为对由所述另一个用户操作的用户设备可用。
17.根据权利要求15或16所述的方法,其中每个标识符是用户标识符或网络地址。
18.根据权利要求15、16或17所述的方法,其中使用配对算法将所述数据库中的所述用户标识符彼此配对。
19.根据权利要求18所述的方法,其中所述数据库中的所述用户标识符通过所述配对算法基于以下配对标准中的一个或多个而被彼此配对:年龄、性别、位置、交友偏好、约会偏好、兴趣和性取向。
20.根据权利要求16至19中的任一项所述的方法,其中所述配对算法是随机配对算法。
21.根据权利要求15至20中任一项所述的方法,其中对于每个用户,针对该用户的至少一个参与度得分与该用户的标识符相关联地被保持在所述数据库中。
22.根据从属于权利要求18的权利要求21所述的方法,其中所述数据库中的所述用户标识符通过所述配对算法、基于它们相关联的参与度得分而被彼此配对。
23.根据前述权利要求中任一项所述的方法,其中所述通信事件经由所述用户设备上执行的相应应用来实施,其中对于每个用户,针对该用户的至少一个参与度得分与该用户相关联的标识符相关联地被保持在数据库中,该用户的至少一个参与度得分随着该用户参与在他或她的用户设备上执行的所述应用而增加,其中响应于用户的参与度得分达到参与度阈值,作为响应,所述应用的功能针对该用户而被解锁。
24.根据权利要求23所述的方法,其中所述应用的功能是发现功能,所述发现功能在针对用户被解锁时允许该用户获取保持在所述数据库中的关于也已经解锁了所述发现功能的其他用户的信息;
其中在所述请求用户和所述响应用户之间的所述通信事件在已为两个用户均解锁所述发现功能之后由两个用户之一发起,使用由发起所述通信事件的用户经由所述发现功能从所述数据库中获得的关于另一个用户的信息。
25.根据权利要求22至24中任一项所述的方法,其中如果所述响应用户接受所述请求,则作为响应,所述响应用户的参与度得分增加。
26.根据权利要求25所述的方法,其中所述响应用户的参与度得分以取决于所述响应用户接受所述请求所花费的时间量而确定的量来增加。
27.根据权利要求21、22、23或24所述的方法,其中响应于所述响应用户接受所述请求或者响应于所述请求用户发起所述请求,所述请求用户的参与度得分增加。
28.根据前述权利要求中任一项所述的方法,其中所述请求用户能够向所述响应用户启动的用以停止抑制视频的请求的数量由请求阈值限制。
29.根据前述权利要求中任一项所述的方法,其中如果所述请求在时限内未被所述响应用户接受,则此后所述请求不能被接受。
30.根据权利要求29所述的方法,其中所述第二用户设备向所述响应用户显示所述请求的通知,其中所述通知被动态地更新以传达接受所述请求的剩余时间量。
31.根据权利要求30所述的方法,其中在所述第一用户设备处向所述请求用户显示对应的通知,以向所述请求用户指示所述剩余时间量。
32.根据从属于权利要求26的权利要求31所述的方法,其中所述参与度得分在所述请求被接受时根据接受所述请求的所述剩余时间量来增加。
33.根据前述权利要求中任一项所述的方法,其中通过防止视频数据在每个用户设备处的所述捕获、接收或显示,所述视频交换功能针对该用户设备被抑制,从而在所述视频交换功能被抑制时在任一用户设备处均不显示所述通信事件的视频数据。
34.根据权利要求33所述的方法,其中当所述视频交换功能被抑制时,在每个用户设备处与另一个用户相关联的化身图像被显示,所述化身图像在所述抑制停止时被所述另一个用户的视频流取代。
35.根据前述权利要求中任一项所述的方法,其中与所述第一用户设备相关联的所述第一视频抑制组件在所述第二用户设备处实现,以遮掩或屏蔽从所述第一用户设备接收的所述视频数据流,并且其中与所述第二用户设备相关联的所述第二视频抑制组件在所述第一用户设备处实现,以遮掩或屏蔽从所述第二用户设备接收的所述视频数据流。
36.根据权利要求1至34中任一项所述的方法,其中所述第一视频抑制组件和所述第二视频抑制组件分别在所述第一用户设备和所述第二用户设备处实现。
37.根据权利要求3或从属于其的任何权利要求所述的方法,其中如果在所述请求已被接受之后相同的手势在所述触摸屏上执行,则作为响应,所述第一用户设备显示与所述通信事件有关的至少一个可选择的选项。
38.根据权利要求37所述的方法,其中所述至少一个选项是可选择的,以控制所述视频交换功能。
39.根据权利要求38所述的方法,其中所述至少一个选项是可选择的,以控制在所述第一用户设备处对所述视频数据流的捕获。
40.一种经由在操作第一用户设备的请求用户和操作第二用户设备的响应用户之间的网络影响通信事件的方法,所述方法包括:
发起所述通信事件,在所述通信事件中,每个用户设备捕获音频数据流、将捕获的音频数据流经由所述网络发送给另一个用户设备以在其上接收、以及向其用户输出从所述另一个用户设备接收的所述音频数据流;
其中通过与所述第二用户设备相关联的视频抑制组件,最初为至少所述第二用户设备抑制针对所述通信事件的视频交换功能,并且响应于在所述通信事件期间来自所述请求用户的用户输入,所述第一用户设备向所述第二用户设备发送停止针对所述通信事件抑制视频的请求,所述用户输入是所述用户设备的触摸屏上的手势;以及
其中如果所述响应用户不接受所述请求,则所述视频抑制组件继续针对至少所述第二用户设备抑制所述视频交换功能,其中如果所述响应用户接受所述请求,则作为响应,所述视频抑制组件停止针对第二用户设备抑制所述视频交换功能,其中所述用户设备通过以下方式实现所述视频交换功能:至少所述第二用户设备捕获视频数据流并且将捕获的视频数据流经由所述网络发送给所述第一用户设备以在其上接收,以及所述第一设备向其用户显示从所述第二用户设备接收到的所述视频数据流。
41.根据权利要求40所述的方法,其中所述手势是拖动和松开手势。
42.根据权利要求40或41所述的方法,其中当所述视频交换功能被抑制时,所述第二用户设备还捕获并且发送视频流,并且所述视频抑制组件通过处理在所述第二用户设备处捕获的所述视频数据流以遮掩其视觉内容来针对所述第二用户设备抑制所述视频交换功能。
43.根据权利要求42所述的方法,其中当所述用户通过沿着所述第一用户设备的所述触摸屏拖动来执行所述拖动和松开手势时,在所述请求被接受之前,作为响应,应用于在所述第一用户设备处从所述第二用户设备接收的所述视频流的模糊级别被降低,由此所述视觉内容保持被遮掩,但是以更低模糊级别被遮掩。
44.根据权利要求43所述的方法,其中所述视觉内容通过处理所述视频数据流而被遮掩,使得在被显示时在所述视频数据流上渲染部分透明的覆盖层。
45.根据权利要求4所述的方法,包括:
响应于在所述请求已经被接受之后在所述第一用户设备处检测到第一手势,在所述第一用户设备处触发与第一图像捕获相关的功能;以及
响应于在所述请求已经被接受之后在所述第一用户设备处检测到第二手势,在所述第一用户设备处触发与第二图像捕获相关的功能;
其中所述第一手势和所述第二手势均通过在初始方向上在所述第一用户设备的所述触摸屏上的拖动动作来启动,其中所述第一手势和所述第二手势中的一个通过在垂直于所述初始方向的一个方向上的后续拖动和松开动作来完成。
46.根据权利要求45所述的方法,其中所述请求被发送以作为对其响应的所述拖动和松开手势是在所述初始方向上的拖动和松开动作。
47.根据权利要求45或46所述的方法,其中所述第一手势和所述第二手势中的另一个通过在垂直于所述初始方向的另一个方向上的后续拖动和松开动作来完成。
48.根据权利要求45或46所述的方法,其中所述第一手势和所述第二手势中的另一个是在所述初始方向上的拖动和松开动作。
49.一种计算机程序产品,包括存储在计算机可读存储介质上的可执行指令,所述可执行指令在被执行时被配置为执行任一前述权利要求的方法。
50.一种计算机系统,包括:
至少一个处理器;和
耦合到所述至少一个处理器的电子存储器,所述电子存储器被配置为保持可执行指令,所述可执行指令在所述至少一个处理器上被执行时被配置为执行任一前述方法权利要求的方法。
51.根据权利要求49所述的计算机系统,其被包含在用户设备中。
CN201880049072.1A 2017-05-26 2018-04-12 影响通信事件的方法、可读存储介质及计算机系统 Active CN111164955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110916439.9A CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法,系统及产品

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1708473.2A GB2552583B (en) 2017-05-26 2017-05-26 Communication event
GBGB1708478.1A GB201708478D0 (en) 2017-05-26 2017-05-26 User interface
GB1708473.2 2017-05-26
GB1708478.1 2017-05-26
PCT/EP2018/059403 WO2018215132A1 (en) 2017-05-26 2018-04-12 Communication event

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110916439.9A Division CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法,系统及产品

Publications (2)

Publication Number Publication Date
CN111164955A true CN111164955A (zh) 2020-05-15
CN111164955B CN111164955B (zh) 2021-09-03

Family

ID=61966015

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880049071.7A Active CN111183627B (zh) 2017-05-26 2018-04-12 渲染用户界面的计算机实现方法、可读存储介质、计算机系统
CN201880049072.1A Active CN111164955B (zh) 2017-05-26 2018-04-12 影响通信事件的方法、可读存储介质及计算机系统
CN202110916439.9A Pending CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法,系统及产品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880049071.7A Active CN111183627B (zh) 2017-05-26 2018-04-12 渲染用户界面的计算机实现方法、可读存储介质、计算机系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110916439.9A Pending CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法,系统及产品

Country Status (4)

Country Link
US (4) US10412139B2 (zh)
EP (2) EP3628119A1 (zh)
CN (3) CN111183627B (zh)
WO (2) WO2018215132A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230022986A1 (en) * 2021-07-22 2023-01-26 Popio Ip Holdings, Llc Blurring digital video streams upon initiating digital video communications

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380355B2 (en) 2017-03-23 2019-08-13 Microsoft Technology Licensing, Llc Obfuscation of user content in structured user data files
US10410014B2 (en) 2017-03-23 2019-09-10 Microsoft Technology Licensing, Llc Configurable annotations for privacy-sensitive user content
US20190239038A1 (en) * 2018-02-01 2019-08-01 Anupama Padiadpu Subramanya Bhat Dating application
USD898751S1 (en) * 2018-07-06 2020-10-13 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
US11218435B1 (en) * 2018-07-31 2022-01-04 Snap Inc. System and method of managing electronic media content items
US11036368B1 (en) * 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11019011B1 (en) * 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
WO2020210732A1 (en) * 2019-04-10 2020-10-15 Anupama Padiadpu Subramanya Bhat Systems and methods for providing an on-line dating service
USD922407S1 (en) * 2019-04-18 2021-06-15 Ke.com (Beijing)Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10529067B1 (en) * 2019-08-23 2020-01-07 Alchephi LLC Method and graphic user interface for interactively displaying digital media objects across multiple computing devices
KR102373764B1 (ko) * 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
USD965004S1 (en) * 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US20220337781A1 (en) * 2021-04-16 2022-10-20 Hyperconnect, Inc. Methods, Systems, and Computer Program Products for Providing Video Call Service
CN115469735A (zh) * 2021-05-28 2022-12-13 北京字节跳动网络技术有限公司 基于手势的交互方法、装置和客户端
US11842463B2 (en) * 2021-06-03 2023-12-12 Adobe Inc. Deblurring motion in videos
US11665316B2 (en) * 2021-11-04 2023-05-30 International Business Machines Corporation Obfuscation during video conferencing
US11740784B1 (en) * 2021-11-15 2023-08-29 Meta Platforms, Inc. Extended pull-down gesture to cache content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0818926A2 (en) * 1996-07-08 1998-01-14 Samsung Electronics Co., Ltd. Visual telephone and method for changing communication modes
US20080239343A1 (en) * 2007-03-29 2008-10-02 Xerox Corporation Automatic conversion of full color images to highlight color images
CN102098381A (zh) * 2010-12-29 2011-06-15 上海华勤通讯技术有限公司 一种手机的带背景的通话实现方法
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN104836977A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统
CN104982029A (zh) * 2012-12-20 2015-10-14 微软技术许可有限责任公司 具有隐私模式的摄像机

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US6801642B2 (en) * 2002-06-26 2004-10-05 Motorola, Inc. Method and apparatus for limiting storage or transmission of visual information
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
US7456983B2 (en) * 2003-07-02 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for preventing comprehension of a printed document
US20070297641A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Controlling content suitability by selectively obscuring
US8386509B1 (en) * 2006-06-30 2013-02-26 Amazon Technologies, Inc. Method and system for associating search keywords with interest spaces
US8032472B2 (en) * 2007-04-04 2011-10-04 Tuen Solutions Limited Liability Company Intelligent agent for distributed services for mobile devices
US9241135B2 (en) * 2007-08-15 2016-01-19 At&T Intellectual Property I, Lp Method and system for image alteration
KR101857564B1 (ko) * 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
US20110252340A1 (en) 2010-04-12 2011-10-13 Kenneth Thomas System and Method For Virtual Online Dating Services
GB201006796D0 (en) * 2010-04-23 2010-06-09 Skype Ltd Viewing apparatus
CN102447715B (zh) * 2010-10-08 2016-05-18 腾讯科技(深圳)有限公司 即时通信中分享视频方法、即时通信客户端
KR101714534B1 (ko) 2010-12-06 2017-03-09 삼성전자주식회사 휴대 단말기의 사생활 보호 기능 제공 방법 및 장치
KR102027879B1 (ko) * 2012-04-04 2019-10-02 삼성전자주식회사 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US8947491B2 (en) * 2012-06-28 2015-02-03 Microsoft Corporation Communication system
WO2014021546A1 (ko) 2012-07-31 2014-02-06 넥스트리밍(주) 비디오 채팅 방법, 단말장치 및 비디오 채팅 시스템
CA2897539C (en) * 2013-04-04 2016-05-17 James S. RAND Unified communications system and method
CN103491338A (zh) 2013-07-24 2014-01-01 何绍华 一种音视频通讯方法、通讯装置和通讯系统
FR3015159A1 (fr) 2013-12-17 2015-06-19 Orange Procede de partage synchrone d'image
US9779474B2 (en) * 2014-04-04 2017-10-03 Blackberry Limited System and method for electronic device display privacy
US20150286401A1 (en) * 2014-04-08 2015-10-08 Lyve Minds, Inc. Photo/video timeline display
US20150325078A1 (en) * 2014-05-08 2015-11-12 Bruce Alsip Gaming machine, apparatus and methods
US9792716B2 (en) 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
US9740860B2 (en) * 2015-02-26 2017-08-22 Kairos Social Solutions, Inc. Device, system, and method of preventing unauthorized recording of visual content displayed on an electronic device
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US20170094019A1 (en) * 2015-09-26 2017-03-30 Microsoft Technology Licensing, Llc Providing Access to Non-Obscured Content Items based on Triggering Events
US11233758B2 (en) * 2015-11-23 2022-01-25 Verizon Patent And Licensing Inc. Selective screen sharing
CN105847115A (zh) * 2016-03-21 2016-08-10 重庆市鲲化科技有限公司 网络社交模糊头像渐变机制
US10867452B2 (en) * 2016-03-25 2020-12-15 Mental Canvas LLC System and methods for conversion of 2D assets into 3D graphical scenes
US10530731B1 (en) * 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端(东莞)有限公司 一种采集声音信号的方法和装置
US10521835B2 (en) * 2016-05-20 2019-12-31 Adobe Inc. Content viewing options when advertisements are blocked
US10771737B2 (en) * 2016-12-07 2020-09-08 Facebook, Inc. Transitioning a telephone network phone call to a video call
US10586433B2 (en) * 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0818926A2 (en) * 1996-07-08 1998-01-14 Samsung Electronics Co., Ltd. Visual telephone and method for changing communication modes
US20080239343A1 (en) * 2007-03-29 2008-10-02 Xerox Corporation Automatic conversion of full color images to highlight color images
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN102098381A (zh) * 2010-12-29 2011-06-15 上海华勤通讯技术有限公司 一种手机的带背景的通话实现方法
CN104982029A (zh) * 2012-12-20 2015-10-14 微软技术许可有限责任公司 具有隐私模式的摄像机
CN104836977A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230022986A1 (en) * 2021-07-22 2023-01-26 Popio Ip Holdings, Llc Blurring digital video streams upon initiating digital video communications
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications

Also Published As

Publication number Publication date
US10412139B2 (en) 2019-09-10
US20180343294A1 (en) 2018-11-29
US20210105310A1 (en) 2021-04-08
CN111183627A (zh) 2020-05-19
CN111183627B (zh) 2021-10-29
WO2018215133A1 (en) 2018-11-29
CN114125568A (zh) 2022-03-01
US11811841B2 (en) 2023-11-07
CN111164955B (zh) 2021-09-03
EP3628120A1 (en) 2020-04-01
US20220255982A1 (en) 2022-08-11
WO2018215132A1 (en) 2018-11-29
EP3628120B1 (en) 2021-10-06
US10805372B2 (en) 2020-10-13
US20190356715A1 (en) 2019-11-21
EP3628119A1 (en) 2020-04-01
US11277459B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111164955B (zh) 影响通信事件的方法、可读存储介质及计算机系统
US10965723B2 (en) Instantaneous call sessions over a communications application
EP3105711B1 (en) Video communication method and system in instant communication
WO2017028424A1 (zh) 在聊天界面实现游戏的方法、装置及终端设备
US9628753B2 (en) Displaying video call data
US11483276B2 (en) Revealing information based on user interaction
US20190082023A1 (en) Non-Disruptive Display of Video Streams on a Client System
TW201545508A (zh) 通知
KR101678657B1 (ko) 회의 서비스 제공 방법 및 컴퓨터 프로그램
CN105515948B (zh) 即时通信方法和装置
US20220036708A1 (en) Meeting privacy protection system
CN113760145B (zh) 一种互动方法、装置、电子设备及存储介质
GB2552583A (en) Communication event
CN111835617B (zh) 用户头像调整方法、装置及电子设备
WO2018175989A1 (en) Video signal control and manipulation in public and private communication networks
GB2553480A (en) Communication event

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant