CN111183627B - 渲染用户界面的计算机实现方法、可读存储介质、计算机系统 - Google Patents

渲染用户界面的计算机实现方法、可读存储介质、计算机系统 Download PDF

Info

Publication number
CN111183627B
CN111183627B CN201880049071.7A CN201880049071A CN111183627B CN 111183627 B CN111183627 B CN 111183627B CN 201880049071 A CN201880049071 A CN 201880049071A CN 111183627 B CN111183627 B CN 111183627B
Authority
CN
China
Prior art keywords
user
visual content
request
user interface
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880049071.7A
Other languages
English (en)
Other versions
CN111183627A (zh
Inventor
詹姆斯·威廉·兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuxun Solutions Co ltd
Original Assignee
Liuxun Solutions Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1708478.1A external-priority patent/GB201708478D0/en
Priority claimed from GB1708473.2A external-priority patent/GB2552583B/en
Application filed by Liuxun Solutions Co ltd filed Critical Liuxun Solutions Co ltd
Publication of CN111183627A publication Critical patent/CN111183627A/zh
Application granted granted Critical
Publication of CN111183627B publication Critical patent/CN111183627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种渲染用户界面的计算机实现的方法，包括：在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中用户界面控制器生成用于遮掩视觉内容的模糊数据并且控制显示器以渲染根据模糊数据而在其上遮掩视觉内容的用户界面；从用户设备向远程设备发送停止遮掩视觉内容的请求，其中响应于在用户设备处检测到的拖动手势而发送该请求；其中当拖动手势被执行时，用户界面控制器通过修改模糊数据来进行响应，以在请求被接受之前降低应用于视觉内容的模糊级别，由此视觉内容保持被遮掩，但是以更低的模糊级别被遮掩，其中如果请求随后在远程设备上被接受，用户界面控制器控制显示器停止遮掩视觉内容，由此将其渲染为在显示器上完全可见。

Description

渲染用户界面的计算机实现方法、可读存储介质、计算机系统
技术领域
本公开涉及用以渲染用户界面的显示器的计算机实现的控制。
背景技术
用户界面(UI/UX)是指一种用户和计算机可以借以彼此交互的机制。可以在诸如智能电话之类的用户设备的显示器上渲染图形用户界面(GUI)，并且用户可以使用诸如触摸屏之类的用户设备的输入设备来与GUI交互。尤其是对于触摸屏设备上的现代UI，手势控制可以用作与GUI进行交互的手段。一个示例是在许多app中发现的所谓的“下拉刷新”手势，由此用户通过沿着触摸屏显示器拖动手指(例如，拇指)并将其从触摸屏松开来执行拖动和松开(drag and release)手势，从而刷新当前在显示屏上示出的内容，例如刷新网页，检查新电子邮件或其他消息，刷新社交媒体订阅源等。
发明内容
本发明的第一方面涉及一种渲染用户界面的计算机实现的方法，该方法包括以下步骤：在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中用户界面控制器生成用于遮掩视觉内容的模糊数据并控制显示器以渲染用户界面，在该用户界面上视觉内容根据模糊数据被遮掩；从用户设备向远程设备发送停止遮掩视觉内容的请求，其中响应于在用户设备处检测到的拖动手势而发送该请求；其中当拖动手势被执行时，用户界面控制器通过修改模糊数据来进行响应，以在请求被接受之前降低应用于视觉内容的模糊级别，由此视觉内容保持被遮掩，但是以更低的模糊级别被遮掩，其中如果请求随后在远程设备上被接受，则作为响应，用户界面控制器控制显示器停止遮掩视觉内容，由此将其渲染为在显示器上完全可见。
这具有在手势被执行时提供直观的视觉反馈的好处：当用户执行手势时，稍微降低模糊级别指示了，用户当前正在执行的手势与视频的去模糊有关。也就是说，当用户执行手势时，UI的行为与用户完成手势时将发送的请求的性质紧密相连，因为执行手势会将视觉内容稍微去模糊，并且完成手势会向其他用户发送请求以将模糊完全移除。
该手势可以与通常被执行来刷新内容的手势相同或相似，但是该手势所触发的动作是发送用以移除视频模糊的请求，而不是刷新内容。
在实施例中，用户界面可以通过渲染用户界面的覆盖层来遮掩视觉内容，覆盖层遮掩视觉内容，其中用户界面控制器通过修改或移动覆盖层来降低模糊级别，并且通过移除覆盖层来停止遮掩视觉内容。
用户界面控制器可以通过在与拖动手势相关联的方向上移动覆盖层来降低模糊级别，以使视觉内容的有限区域不再被覆盖层遮掩，并且因此在请求被接受之前在显示器上未遮掩地可见。
可替代地或附加地，用户界面控制器可以通过将覆盖层的不透明度从初始非零值降低到更低的非零值来降低模糊级别。初始值可以使得覆盖层是部分透明的(从而被遮掩的内容总是稍微可见的)。
用户界面控制器可以通过将脸部隐藏滤镜应用于视觉内容来遮掩视觉内容，其中用户界面控制器通过调整脸部隐藏滤镜来降低模糊级别。
该请求可以被发送到远程设备，以由远程设备的用户接受或拒绝。
例如，可以在用户设备的用户与远程设备的用户之间的通信事件期间发送该请求。
可替代地，可以使用包含在该请求中的信息，在远程设备处自动接受或拒绝该请求。
该信息可以包括视觉内容的标识符。
该信息可以包括用户设备的标识符或用户设备的用户的标识符 (即，这些标识符之一或两者)。
远程设备可以使用标识符来确定用户设备或用户是否被授权访问所标识的内容。
远程设备可以将至少一个消息发送回用户设备，以请求进一步的信息，其中所请求的信息被远程设备使用来确定是接受还是拒绝该请求。
所请求的信息可以包括支付信息。
视觉内容可以是在用户界面控制器处接收的视频数据流的视觉内容。
视觉内容可以在用户界面控制器处从远程设备被接收，或者它可以从独立的设备被接收。
用户界面控制器可以被包含在用户设备中，或者它可以在远程地控制用户设备的显示器的其他设备处被实现。
如果在请求已经被接受之后再次执行相同的拖动手势，从而视频不再被遮掩，则作为响应，与视觉内容有关的动作可以被触发，或者作为响应，可选选项被显示，该可选选项是可选择的，以触发与视觉内容有关的动作。也就是说，一旦视频不再被遮掩，则可以将不同的动作映射到该手势。
本发明的第二方面涉及一种计算机实现的在用户设备处捕获图像数据的方法，该方法包括由用户设备的至少一个处理器实现以下步骤：激活用户设备的图像捕获设备；在处理器处从活动的(active) 图像捕获设备接收由图像捕获设备捕获的图像数据流；控制用户设备的显示器以将捕获的图像数据流作为视频图像渲染在显示器上，由此视频图像示出图像捕获设备的当前视场，其中使用用户设备的用户输入设备，视频图像是可移动的；以及响应于用户使用用户输入设备来将示出当前视场的视频图像从显示器上的初始位置移动到显示器上的新位置，触发用户设备上的至少一个图像捕获功能。
这还提供了直观的用户界面机制，由此用户可以操纵本地捕获的视频图像本身以触发用户设备上的图像捕获功能。
至少一个触发的图像捕获功能可以包括激活功能，该激活功能在响应于用户将视频图像从初始位置移动到新位置而被触发时激活用户设备的第二图像捕获设备。图像捕获设备可以响应于用户将视频图像从初始位置移动到新位置而被去激活。也就是说，移动视频图像可以从图像捕获设备切换到第二图像捕获设备。
至少一个处理器可以以从第二图像捕获设备一旦为活动的而捕获的图像数据流导出的视频图像替换该视频图像。
至少一个处理器可以经由网络从用户设备向远程设备发送由图像捕获设备捕获的图像数据的版本作为传出数据流，并且至少一个处理器以第二图像捕获设备一旦为活动的而捕获的图像数据替换传出数据流中的图像数据。
可以在用户设备处经由网络从远程设备接收传入图像数据流，并且将传入图像数据流作为传入视频图像来与可移动的视频图像同时渲染在显示器上。
图像捕获设备之一可以是前置图像捕获设备，另一个可以是后置图像捕获设备。
至少一个图像捕获功能包括照明功能，该照明功能在被触发以照明图像捕获设备的视场时激活用户设备的至少一个照明设备。
至少一个图像捕获功能可以响应于视频图像被移动至少预定距离而被触发。
本发明的第三方面涉及一种计算机实现的渲染用户界面的方法，该方法包括以下步骤：在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中用户界面控制器控制显示器以渲染具有遮掩视觉内容的可移动覆盖层的用户界面；以及从用户设备向远程设备发送移除覆盖层的请求，其中响应于在用户设备处检测到的拖动手势而发送该请求；其中当拖动手势被执行时，用户界面控制器通过控制显示器来进行响应，以便在与拖动手势相关联的方向上移动覆盖层，从而使视觉内容的有限区域不再被覆盖层遮掩，并且因此在请求被接受之前在显示器上未被遮掩地可见；其中如果请求随后在远程设备上被接受，则作为响应，覆盖层被用户界面控制器移除，由此将视觉内容渲染为在显示器上完全可见。
本发明的第四方面涉及一种计算机实现的渲染用户界面的方法，该方法包括以下步骤：在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中用户界面控制器控制显示器以渲染具有遮掩视觉内容的覆盖层的用户界面；以及从用户设备向远程设备发送移除覆盖层的请求，其中响应于在用户设备处检测到的拖动手势而发送该请求；其中当拖动手势被执行时，用户界面控制器通过控制显示器来进行响应，以便将覆盖层的不透明度从初始非零值降低到新的非零值，其中如果请求随后在远程设备处被接收，作为响应，覆盖层被用户界面控制器移除，由此将视觉内容渲染在显示器上完全可见。
本发明的第五方面涉及一种计算机实现的渲染用户界面的方法，该方法包括以下步骤：在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中用户界面控制器生成用于遮掩视觉内容的模糊数据，并且控制所述显示器以根据模糊数据渲染在其上遮掩视觉内容的用户界面；从用户设备向远程设备发送停止遮掩视觉内容的请求，其中响应于在用户设备处检测到的拖动手势而发送该请求；其中如果请求随后在远程设备处被接受，则作为响应，用户界面控制器将控制显示器停止遮掩视觉内容，由此将其渲染为在显示器上完全可见。
本发明的第六方面涉及一种计算机实现的在用户设备处捕获图像数据的方法，该方法包括由用户设备的至少一个处理器实现以下步骤：激活用户设备的图像捕获设备；在处理器处从活动的图像捕获设备接收由图像捕获设备捕获的图像数据流；响应于在用户设备处检测到第一手势，在用户设备处触发第一图像捕获相关功能；响应于在用户设备处检测到第二手势，在用户设备处触发第二图像捕获相关功能；其中第一手势和第二手势均通过在初始方向上在用户设备的触摸屏上的拖动动作来启动，其中第一手势和第二手势中的一个通过在垂直于初始方向的一个方向上的后续拖动和松开动作来完成。
对于移动设备，这提供了仅使用一只手对图像捕获设备的多方面控制。
第一手势和第二手势中的另一个可以通过在垂直于初始方向的另一个方向上的后续拖动和松开动作来完成。可替代地，第一手势和第二手势中的另一个可以是在初始方向上的拖动和松开动作。
第一图像捕获相关功能可以是照明功能，其在被触发以照明图像捕获设备的视场时激活用户设备的至少一个照明设备。
第二图像捕获相关功能可以是激活功能，其激活用户设备的第二图像捕获设备。
图像捕获设备之一可以是前置图像捕获设备，另一个可以是后置图像捕获设备。图像捕获设备的视场可以是后置图像捕获设备或前置图像捕获设备的视场。也就是说，提供照明的照明设备可以被定位成照明任一视场。
本发明的第七方面涉及一种计算机程序产品，其包括存储在计算机可读存储介质上的可执行指令，所述可执行指令在被执行时被配置为执行第一方面或第二方面的方法或其任何实施例。
本发明的第八方面涉及一种计算机系统，该计算机系统包括：至少一个处理器；以及耦合到至少一个处理器的电子存储装置，该电子存储装置被配置为保持可执行指令，该可执行指令在至少一个处理器上被执行时被配置为执行第一方面或第二方面或其任何实施例的方法。
该计算机系统可以是分布式计算机系统，或者它可以被本地化，例如被包含在用户设备中。
附图说明
为了更好地理解本发明，并且为了示出本发明的实施例如何实施，仅以示例方式对以下附图进行参考，其中：
图1示出了在线约会系统的示意性框图；
图2示出了用户设备的示意性框图；
图3A示出了用于本发明的第一实施例中的媒体交换系统的功能框图；
图3B示出了用于本发明的第二实施例中的媒体交换系统的功能框图；
图4示出了经由网络实现两个用户之间的通信事件的方法的流程图；
图5示出了可以如何通过配对算法将约会app的用户配对在一起 (匹配)的示意图示；和
图6示出了用于图4的方法的示例消息交换；
图6A示出了用于图4的方法的另一示例消息交换；
图7示出了用于应用(app)的初始用户界面(UI)配置的示例；
图8A-图8J示出了在注册期间在不同点处的app UI的示例；
图9A-图9G示出了在与另一用户的通信事件之前和期间，在不同使用点处的appUI的示例；
图10A-图10B示出了如何经由UI来呈现用户的匹配；
图11A-图11M图示了app所响应的各种手势以及app对这些手势的响应。
具体实施方式
本发明的手势控制可以在多种上下文中被实现。特别地，“下拉以请求无遮掩的视频”可以在期望选择性地模糊诸如视频流的视觉内容(运动图像)之类的视觉内容的任何上下文中被使用。
好处例如包括实施知识产权(特别是版权)、针对B2B(企业对企业)和B2C(企业对消费者)应用构思的独特卖点。可以设想的是，这有可能成为在与其他用户通信中和/或在广播或其他视频流式传输情形(诸如点播视频或实时流式传输)中显示和隐藏视频流的一种事实上的UX方式。这尤其适用于移动空间，并且可以设想是在许多不同的移动app的上下文中，诸如Facebook、Google、Tinder、 Zoosk、SnapChat、Twitter、WhatsApp、Instgram等。
约会app用例：
一种应用是针对约会服务，人们在空中(on the fly)结识随机的人，并且需要保护自己的身份，直到首先口头上形成了信任纽带为止。本发明所描述的实施例提供了具有实时通信功能的约会app，其通常会作为现实生活聚会的前身——如果用户感觉倾向于那样的话。
用户可以参与与随机用户的双向实时视频对话，其中实时视频被掩盖和遮掩，在用户相互连接的所有时间内完整的音频都可以被听到。用户下拉以请求与另一用户共享(未遮掩的)视频内容，并且接收请求的用户必须在一时限内通过相应地向下然后向左或向右滑动来同意或不同意。也就是说，人们在空中随机地结识其他人，但是他们的身份受到保护，直到口头上已经形成了相互的信任纽带为止。两个用户中的一个或两个都可以因其动作而获得“点数”——尤其是在请求被接受的情况下，从而提升他们各自的“参与度得分”(见下文)。
约会应用的用户通过配对算法被配对在一起(“匹配”)，并且一旦匹配，根据本发明，那些用户中的任何一个都可以发起与另一个用户的实时通信事件。也就是说，约会app的实时通信功能仅在用户已经匹配后才被“解锁”，因为用户只能与他/她已经与之匹配的另一个用户经由约会app发起这样的通信事件。
配对算法可以例如在后端计算机系统上被执行，并且操作为配对系统，以基于一个或多个配对标准(诸如位置、年龄、性别、性取向、共同兴趣、用户表达的约会偏好或其任何组合)对用户进行配对。在所描述的实施例中，在至少部分地通过对配对算法的随机或伪随机输入来驱动用户配对的意义上，配对算法是随机的。因此，在这种上下文中，任何配对标准与随机输入一起确定哪些用户能够经由约会app彼此通信。可以通过配对算法完全自主地确定用户配对，或者配对算法可以自主地确定潜在的配对(即，候选匹配)，用户随后可以自由接受或拒绝潜在的配对(例如，算法可以自主建议用户的配对，但只有当两个用户都接受此建议的配对时，他们才真正地被配对，并且因此能够经由约会app参与实时通信)。
仅在用户被配对时才能解锁通信功能的约会app当今确实存在，但是，这往往仅限于基于文本的消息传递。例如，Tinder app向用户自主地建议潜在的匹配，但是只有当两个用户彼此“喜欢”时，他们才被真正地匹配，并且因此能够经由文本进行通信。实时音频/视频流通常不被用作在约会app内的匹配用户之间通信的基础。
图1示出了数据交换系统100的示意性框图，该数据交换系统是在线约会系统，其中示出了连接到网络104的多个用户设备 102a-102e。网络104是基于分组的计算机网络，诸如互联网。还示出了连接到网络104的是：后端系统106，其包括至少一个计算设备，诸如服务器；以及数据库108，其可以以任何合适的方式(本地化或分布式)来实现。每个用户设备102a-102e是分别由用户103a-103e 操作的用户操作的计算设备，诸如智能手机、平板电脑、智能手表或其他智能设备、膝上型计算机或台式计算机等。优选地，至少一些用户设备是移动设备。尽管在图1中仅示出了五个用户设备，但这仅是示例性的，并且数据交换系统100可以具有任意数量的连接的用户设备。
用户102a-e是约会app的用户，一旦他们已经由配对算法被匹配在一起，他们就可以经由网络104彼此参与实时对话(通信事件)，配对算法在附图中被标记为504并且在图1的后端系统106处被执行。当首次发起对话时，可以经由网络104在那些用户之间自由地交换作为各自音频流的音频数据，因此他们可以听到彼此讲话。但是，通过遮掩视频或将其完全屏蔽，用户之间的视频数据交换被抑制，直到两个用户相互同意在对话中解除此限制为止，此时，针对两个用户的视频均停止抑制。换句话说，对于两个用户在两个方向上都抑制了视频(当至少一个用户不同意取消此限制时)，或者对于任一用户在任一方向上都没有抑制视频(一旦都同意解除此限制)。
因此，在这种上下文中，存在两个级别的“解锁”，其中：1) 必须使两个用户彼此匹配，然后才能针对这对用户解锁经由约会app 的实时通信，以及2)这两个用户然后在他们都准备就绪时或者如果他们都准备就绪的情况下必须同意解锁(完整的)基于实时视频的通信。
在这种上下文中，实时意指一个用户讲话与另一用户听到/看到该用户讲话之间只有短暂的延迟，例如大约两秒或更短。
图2示出了诸如移动设备之类的用户设备102的框图。应当理解，图2是高度示意性的，并且本文中与用户设备102有关的所有描述均等同地适用于图1中所示的每个用户设备102a-e，即使它们的配置细节不同。
用户设备102被示为包括例如在多核处理器中的至少一个处理器202，诸如CPU(中央处理单元)或一组CPU/CPU核。被示出连接到处理器202的是以下设备：电子存储装置204，包括一个或多个电子存储设备，诸如磁存储装置、固态存储装置、光存储装置或其任何组合；显示器206；网络接口208，用户设备可以经由该网络接口208连接到网络104；用于捕获用户的语音的至少一个音频捕获设备210，诸如麦克风或麦克风阵列；用于输出(播放)接收的音频的至少一个音频输出设备212，诸如扬声器或一组扬声器、耳机等；至少一个图像捕获设备214(相机)；以及至少一个位置感测设备216 (位置传感器)。前述设备可以被集成在用户设备、外围组件(有线和/或无线)或二者的混合体中。
在所描述的示例中，显示器206包括触摸屏，并且因此用作用户设备102的输入和输出设备。然而，应注意，本文中与触摸屏有关的所有描述在适用时等同地应用于其他形式的输入设备。
被示为存储在存储器204中的是一个版本的约会app 205，以用于在处理器202上执行。为了执行约会app 205，处理器202获取约会app 205的指令并根据那些指令执行操作以实现约会app 205的功能性。
简要回到图1，示出了用户设备102a-e执行约会app 205的分别被标示为205a-e的各个实例。在不同设备上执行的约会app 205的实例可以经由网络104彼此通信，以便执行本文所述的功能，尤其是经由网络104提供音频和视频数据流的双向交换。
优选地，用户设备102具有至少一个前置相机，其被定位为使得它可以捕获用户的脸部的图像。这允许经由网络104与其他用户实施面对面的对话。用户设备还可以具有后置相机，并且用户可以能够在对话期间在两者之间进行切换。
图3A示出了根据本发明的第一实施例的用于媒体交换系统 300a的功能框图。示出了媒体交换系统300a的各种功能组件，即，具有与音频捕获设备210连接的输入的音频编码器302、具有与音频输出设备212连接的输出的音频解码器304、具有连接到图像捕获设备214以用于接收要编码的视频数据的输入的视频编码器306、视频解码器308、用户界面(UI)渲染组件310和控制消息传递组件312。
在每个用户设备102a-102e处实现媒体交换系统300a，以允许在那些设备对之间进行音频和视频数据流的双向交换。视频数据意指包含要被快速连续显示的一系列图像以产生动感效果的图像数据。
尽管在图3A中未被示出，但是音频编码器302和解码器304分别经由模数转换器(ADC)和数模转换器(DAC)而分别连接到音频捕获设备210和音频输出设备212。音频编码器302接收要被编码的捕获的音频数据流322(音频流)(即，由音频捕获设备210捕获并由DAC转换为数字形式的音频信号)并对其进行编码(压缩)。经编码的音频流322经由网络104被实时发送给另一个用户设备。音频解码器324经由网络104从另一个用户设备接收实时音频数据 324的传入流。这以被编码(被压缩)的形式接收，并且音频解码器 304对其进行解码并将其供应给音频输出设备212(经由DAC)，从而将其输出给用户。
视频编码器306接收由图像捕获设备214捕获的视频数据流326 (视频流)并对其进行编码(压缩)。经编码的视频流326经由网络104被实时发送到另一个用户设备。视频解码器308经由网络104 从另一个用户设备接收实时视频数据328的传入流。这以被编码(被压缩)的形式接收，并且视频解码器308对其进行解码以在显示器 206上显示。
在这种上下文中，编码意指压缩，由此降低音频/视频流的比特率以进行传输。这可以是无损压缩，从而不会丢失任何信息；也可以是有损压缩，从而可以有选择地丢弃信息；或者可以是两者的组合。解码意指解压缩，其本质上与该过程相反，以恢复正在讨论的流的原始可听或视觉内容，或者至少原始流内容的近似(使用了有损压缩的情况下)。音频/视频编码和解码在本领域中是众所周知的，因此将不再对其进行详细描述。
尽管在图3A中未被示出，但是为了在基于分组的网络104上传输传出音频和视频流322、326，将它们进行打包以用于传输。类似地，传入流324、328作为分组被接收并且被重新组装以用于解码。同样，这在本领域中是众所周知的，因此不再详细描述。
UI渲染组件310具有连接到显示器206的输出，用于在显示器 206上渲染UI，并且UI渲染组件310和控制消息传递组件312还具有连接到显示器206的触摸屏的输入，用于接收来自用户设备102 的用户的用户输入。UI渲染组件310还具有：第一视频输入，其连接到视频解码器308的输出，以用于接收经解码的视频数据；以及第二视频输入，其连接到图像捕获设备214，以用于接收本地捕获的视频数据，使得可以将这两个视频数据作为UI的一部分都进行渲染，从而将它们显示给用户设备102的用户。
控制消息传递组件312还具有输出，该输出连接到UI渲染组件 310的控制输入以控制UI渲染组件310的操作，特别是连接到UI 渲染组件310的视频抑制组件311以控制视频抑制组件311的操作。
以这种方式，当两个用户设备正在进行通信时，那些设备中的每一个的图像捕获设备214和视频编码器306与另一设备处的视频解码器306、UI渲染组件310和显示器206协作，以提供视频交换功能，用于经由网络104在用户之间交换视频数据。也就是说，用于在那些用户之间实时交换视觉信息。
视频抑制组件311选择性地抑制由通信用户设备处的协作媒体交换系统所提供的视频交换功能。在图3A的第一实施例中，它是通过在传入视频流328被显示之前选择地遮掩传入视频流328的视觉内容来实现的。
图3B示出了根据本发明的第二实施例的被标示为300b的媒体交换系统的变型的功能框图。除了下面列出的差异之外，第二媒体交换系统与第一实施例的系统相同。相同的附图标号被用来标示相同的组件，并且与图3A的系统300a有关的所有描述均等同地适用于图3B的系统300b。
在图3B的媒体交换系统300b中，视频处理模块311不是遮掩传入视频流328，而是在发送之前选择地遮掩传出视频流326的视觉内容。
分别在第一和第二实施例中，媒体交换系统300a、300b表示当约会app 205在用户设备102的处理器202上被执行时由约会app 205 实现的功能性，其中那些系统的上述功能组件中的每一个表示此功能性的不同部分。
因此，每个用户设备102a-e被配置为通过在该设备上执行的约会app实例205a-e来实现这种媒体交换系统300a/300b。
图4示出了在约会app的用户之间实施实时对话的方法的流程图。
为了使用约会app，用户将app安装在他们的用户设备102a-e 上(除非它已被安装)，并且还向后端系统106进行注册(S2)。在注册过程期间，与注册用户相关联的至少一个标识符被存储在数据库108中，以使得该注册用户能够在系统100内被识别为约会app 的用户。标识符例如可以是：用户标识符，诸如专门为约会app创建的用户名或句柄；或者是先前已存在的用户标识符，诸如电子邮件地址或用于某个先前已存在的用户账户的其他用户标识符，诸如用于访问各种服务的社交媒体账户或多用途账户。可替代地，标识符可以是与用户相关联的网络地址，诸如允许经由网络104与用户设备联系的其用户设备的网络地址(例如，IP地址)。也就是说，设备标识符可以用作其用户的标识符。注册可以例如涉及用户为约会app创建简档，其中用户还提供关于他/她自己的与关联的(一个或多个)标识符一起存储的信息，作为数据库108中的简档的一部分。在数据库108中为特定用户保持的一个或多个标识符构成了该用户在在线约会系统100内的身份，并且其由用户用来访问约会app 的各个功能。
图7示出了UI的初始配置的一个示例，其可以在用户首次打开 app时被呈现。与该app特征的基本说明一起显示可选择的选项，以进行注册，即启动注册过程(702)，或者如果用户已经注册则进行登录(704)。图8A-图8J示出了在通过选择选项702来启动的示例注册过程期间在各个阶段处的UI。通过注册，用户在在线约会系统 100内创建账户，该账户被包含在数据库108中。在一些实现中，可以提供不同层级的账户(诸如基本账户和高级账户)。在图8A中，用户通过选择多个可选选项802之一来指示他们所落入的年龄段，从而提供年龄信息。在该示例中，年龄段被大致定性地定义(“十岁段前期”，“10岁段后期”，“20岁段前期”等)，并且用户不必提供确切的年龄。在图8B中，用户通过选择两个可选选项804之一(男性或女性)来指示他或她的性别，但是也可以提供非二元性别选项。图8C-图8D图示出了用户如何经由显示的文本入口字段输入期望用户名的一个示例。图8E-图8F示出了微小变型，其中当用户输入他/她的优选用户名的文本时显示指示器808，以指示到目前为止所输入的文本是否可用作用户名。图8G-图8I示出了用户可以如何经由输入文本字段810输入期望的密码。指示器812被显示并被更新以指示到目前为止所确定的输入文本作为密码的强度。在一些实现中，可能要求用户在继续之前选择足够强度的密码。在图8J 中，向用户呈现用于使用约会app服务的任何条款和条件，他/他在继续操作之前必须经由选项814接受该条款和条件。当用户进行注册过程时，UI可以按任何合适的顺序在图8A-图8J的配置之间切换。当然，图8A-图8J仅图示出了在注册期间可能收集的信息类型的一个示例，以及可能如何经由约会app UI收集信息的一个示例，并且其他选择将是明显的。
一旦用户已经以此方式注册，在后端系统106处执行的配对算法504通过在数据库108中的已注册用户的标识符之间创建关联来将已注册用户配对在一起(S4)。可以基于各种标准来将用户配对在一起，诸如位置、性别、年龄、性取向、自我声称的兴趣和/或约会偏好、或其他个人信息等或其任意组合。例如，使用位置传感器 216，例如基于卫星定位(例如，使用GPS或其他GNSS系统)、蜂窝三角测量等，根据用户设备的IP地址，或者使用任何其他形式的定位技术，可以确定位置。可替代地，它可以是用户设置的自我声称的位置(可能受制于验证)。
在所描述的示例中，配对算法504被随机化，因为用户是基于对配对算法504的随机或伪随机输入来进行配对的。尽管是随机化的，但配对并不一定需要是“完全”随机的(在某种意义上，约会 app的所有用户不需要具有等同的配对机会)——例如，可以基于前述配对标准排除某些配对，或者可以基于那些标准来将算法偏向某些配对，等等。
在以下示例中，假定图1中的用户103a和103b——分别为“Alice”和“Bob”——已通过这种方式彼此配对。
一旦两个用户已配对，将为这些用户的每一个提供另一个用户的详细信息。具体地，包含在数据库108中的Bob的身份被渲染为对Alice的用户设备102a可用，并且包含在数据库108中的Alice 的身份被渲染为对Bob的用户设备102b可用。
在图5的示例中对此进行了说明，该示例示出了一旦Alice和 Bob已经通过配对算法504在数据库108中被配对，作为响应，Alice 的身份502a——在此示例中包括她的用户名和设备地址——如何被渲染为Bob的设备可用，并且同样地，Bob的身份502b——包括他的用户名和设备地址——如何被渲染为Alice的设备可用。
返回图4，一旦Alice和Bob已被配对，他们就可以经由约会app 的他们各自的实例205a、205b来启动实时视听(AV)对话(S6)。这是通过他们的每个设备102a、102b订阅在另一个设备处捕获的音频和视频流(从捕获它们的设备的角度来看是传出流322、326，以及从接收它们的设备的角度来看是传入流324、328)来实现的。任一用户都可以经由他/她的设备的UI渲染组件310所渲染的UI，以该设备发起对话。
通过示例的方式，图6示出了用于Alice和Bob之间的对话的示例消息流。图6的消息是由Alice和Bob的设备102a、102b处的控制消息传递组件312发送和接收的控制消息。
在该示例中，Bob通过他的设备102a处的用户输入602来发起对话，这使得邀请604被发送给Alice的设备102b。在接收到邀请 604之后，Alice可以通过她的设备102b处的用户输入606来接受邀请，这使得接受消息608被发送给Bob。在完成此消息交换的情况下，两个设备102a、102b现在都可以订阅彼此的音频和视频流。将会理解，这仅仅是出于说明目的的一个示例，并且可以执行更复杂的消息交换以允许用户之一发起对话。
当对话已经开始时，在不受阻碍的两个方向上在Alice和Bob的设备102a、102b之间交换音频流。因此，用户可以彼此交谈，并听到对方在说什么，这与传统的电话呼叫类似，但是经由约会app 205 本身来实施的。
在本示例中，一旦已经发起对话，在两个方向上在他们的设备 102a、102b之间也交换视频流。然而，在用户设备102a、102b处的相应的视频抑制组件311遮掩两个视频流的视觉内容的意义上，视频被抑制。在视频流正在捕获Alice和Bob的脸部图像的地方，模糊处理足以隐藏用户的脸部。例如，可以是这样的情况，尽管脸部轮廓是可辨别的(足够让每个用户可以看到他/她正在与另一个人交谈，并且可以看到头部的某些移动)，但是脸部的更详细结构却是不可辨别的，使用户很难甚至不可能在视觉上识别彼此。
以这种方式遮掩视频的好处是，一方面可以通过确保在合框时隐藏用户的脸部来为用户提供安全性(这很重要，因为在此时他们基本上彼此是陌生人)，同时另一方面，与仅使用音频实施的对话相比，它还提供了更有吸引力的体验。
例如，可以通过在传入视频流之上渲染部分透明的覆盖层 (overlay)来遮掩视频，该覆盖层的不透明足以隐藏另一用户的脸部，但足够透明以允许辨别出头部轮廓。可以将不透明度的级别设置为百分比alpha值(例如至少90％)或(0.0-1.0)之间的浮点数。这只是一个示例，其他形式的视频模糊处理也同样可行。例如，另一种遮掩视频内容的可行方法是通过对视频流应用“滤镜”以隐藏用户的脸部。例如，这可以是面具或其他人物插图，其跟踪视频流中的脸部移动以遮掩用户的身份，包括但不限于：假面面具、卡通人物、国旗轮廓、国宝人物、名人或赞助广告品牌。在一些实现中，用户可以能够选择他们自己的滤镜以最初应用于他们的视频。如将会理解的，存在多种处理视频的方法以通过隐藏用户的脸部而不完全掩蔽之来遮掩用户的身份。为实现此目的而需要引入的失真级别可以取决于处理的类型而变化，但是，在任何给定的上下文中，从用户的角度来看确保用户身份安全所需的处理程度对于本领域技术人员而言将是明显的。
在图3A的系统中，在Alice和Bob的设备102a、102b的每一个处，一旦来自另一设备的传入视频流328已经被接收和解码，则视频抑制组件311对该传入视频流328进行处理以遮掩其视觉内容。也就是说，由Bob的设备处的视频抑制组件311使Alice的流在发送之后在Bob的设备处被模糊，反之亦然。该处理作为在该设备处渲染UI的过程的一部分来执行，因此，在图3A中，视频抑制组件311 被示为UI渲染组件310的组件。
在图3B的系统中，取代的是，在设备102a、102b中的每个设备处，传出视频流326在编码和发送之前由视频抑制组件311处理。也就是说，由Alice的设备处的视频抑制组件311使Alice的流在 Alice的设备处发送之前被模糊，并且由Bob的设备处的视频抑制组件311使Bob的流在Bob的设备处发送之前被模糊。
还应注意，在其他实现中，可以在任一设备处都不执行模糊。例如，可以在中间中继节点(诸如服务器)处实现针对每个流的视频抑制组件，所述流经由该中继节点被中继。
返回图6，Alice和Bob中的任一个可以向另一个用户发起请求 612以停止遮掩消息(图4的步骤S8)。在图6的示例中，恰好是 Bob通过其设备处的用户输入610向Alice的设备发起请求612。但是，可替换地Alice向Bob的设备发起请求同样可行。在通信事件期间提供用户输入610，同时发送、接收和输出音频流并且以遮掩的形式发送、接收和显示视频流。
因此，发起请求612不会对任何一个用户造成终止视频抑制：一旦发送了请求612，系统继续抑制Alice和Bob的视频，因此他们的脸部保持被隐藏。相反，仅在Alice和Bob都同意的情况下，系统 100将停止抑制视频。
在接收到请求612时，Alice的设备102b向Alice输出该请求的通知614(图4的步骤S10)，并且Alice具有接受或者拒绝该请求的选项(S12)。
如果Alice接受请求612，则作为响应，两个用户设备102a、102b 处的视频抑制组件311停止遮掩两个视频流(S14)。
在图6的示例中，Alice通过她的设备102b处的用户输入616 来接受请求612，这导致接受消息618被发送给Bob的设备。此时，两个设备102a、102b都知道Alice已经接受了Bob的请求。同样，这只是一个示例，取决于实现，可以执行更复杂的消息交换以同意结束视频抑制。在任何情况下，与每个用户设备102a、102b相关联的相应视频抑制组件响应于Alice的设备102a处的相同用户输入616 (如经由消息618而被传达给Bob的设备)，自动停止针对这两个设备102a、102b抑制视频。
如果Alice没有接受请求612，而是拒绝或忽略该请求，则视频抑制组件继续遮掩两个视频流(S16)。也就是说，两个设备处的视频抑制组件继续为两个用户抑制视频。
优选地，每个用户仅被允许发送有限数量的这种请求，直到请求阈值，例如最多三个请求以停止遮掩视频。因此，如果Bob尝试发送另一这样的请求，则他的控制消息传递组件312确定他是否已经达到请求阈值(S18)。如果否，则向Alice发出又一请求(S20)；如果是，则不发送又一请求，因为至少在当前时间点处，Bob不被允许向Alice发送更多的请求(S22)。Bob可以经由他的app的UI 而被告知此事。这可以是一个绝对限制，因此不再允许Bob向Alice 发送另一请求，或者它也可以是时间受限的，例如，为了施加此限制，在经过适当的时间量后，可以对先前的请求进行折扣。
每个请求还可以具有有限的时间间隔，在该时间间隔内它可以被接受，之后它将过期。一旦Bob的请求过期，Alice将无法再接受它。但是，她可以自由地将自己的请求发送给Bob，如果他选择接受，则他可以接受该请求。
每个用户都可以随时终止实时对话。而且，在用户已被配对之后，任一用户都可以自由地“屏蔽”另一个用户——如果他们愿意的话。一旦其中一个用户屏蔽了另一个用户，则这些用户中的任一个都无法再经由约会app来与该另一个用户发起对话。
图6A示出了替代消息交换，其中，以不同的方式发起Alice与 Bob之间的对话。在此示例中，在Alice和Bob首次配对时，配对算法504自动发起他们之间的实时对话。
在该示例中，最初Alice和Bob都通过对其各自设备102a、102b 的用户输入622、626进入虚拟“等候区域”。这些输入表明，一旦系统为他们找到匹配，每个用户当前就准备好参与对话。app可以被配置成使得用户在登录app后立即进入等候区域，或者这可以是在他们登录后的主动选择。当Alice和Bob进入等候区域时，将通过分别来自Alice和Bob的设备102a、102b的消息624、628通知后端系统106。后端系统106将虚拟等候区域中的用户配对在一起，并且响应于Alice和Bob被配对算法504配对(对应于图4中的S4)，后端系统106分别自动发送通信事件启动消息630a、630b给Alice和 Bob的设备102a、102b，从而自动启动Alice和Bob之间的通信事件，其中视频最初被抑制。也就是说，响应于在步骤S4处Alice和Bob被配对，自动启动Alice和Bob的设备102a、102b之间的音频和视频流的交换。此后，通信事件以与上述相同的方式进行，并且关于图6的所有描述在这方面均等同地适用于图6A；在通信事件期间Alice或Bob中的任何一个都可以请求停止抑制视频，并且如果双方同意以及当双方同意时，视频抑制将终止。
图9A-图9C示出了向在等候区域中的用户显示的约会app UI的示例配置，在该示例中为该设备102b处的Bob的UI。最初，Bob 被告知他们的系统正在寻找另一合适的用户与之配对(图9A的 902)。如果系统无法立即找到另一这样的用户(远端用户)，则 Bob经由UI被告知此事(图9B的904)，并为他提供了经由UI激活通知功能的选项，以便在他与另一用户匹配时告知他。如果Bob 激活该功能，则UI被更新以反映这一点(图9C的906)，并且如果他被配对并且当他被配对时他的设备102b将告知他。在此期间，显示自视频图像908。也就是说，Bob自己在本地捕获的视频数据会在UI的某个区域中显示给他，这样他就可以看到一旦配对后将被发送给另一用户的内容(尽管其当然最初会在远端设备上被遮掩)。
一旦Bob与Alice配对，在此示例中，作为响应，如图6A，Alice 和Bob之间的对话被自动启动。在此时，音频和视频数据在Alice 和Bob之间双向流动，但是，在每个用户的设备上，来自另一个用户的视频被遮掩。这样的示例在图9D中被图示出，其中Alice的视频910(即从Bob的角度来看的远端视频)被高度不透明但是仍然稍微透明的覆盖层914遮掩，其遮盖了全部或基本上全部的远端视频910，使得近端用户几乎无法辨别远端视频910。可以辨认出Alice 的头部和头发的轮廓，但是她的身份被遮掩。完全不透明的图912 也被显示在Alice的视频的中心处或附近，以进一步遮掩她的脸部可能所在的区域。Bob的自视频908仍然经由其UI显示为未遮掩，因此他可以清楚地看到正在发送给Alice设备的内容。
图9E示出了当Bob发起针对完整的、无遮掩视频的请求612时 UI可以如何变化的一个示例。在该示例中，发起请求612的用户输入610是Bob的用户设备102b的触摸屏上的“拖动并松开”手势，由此Bob在触摸屏上的初始点处使手指(例如，拇指)与触摸屏接触，将其沿触摸屏拖动到距离初始点足够远的另一点，然后松开它。在该示例中，通过垂直向下拖动来执行该手势，但是在其他实现中，手势可以是在任何期望的一个或多个方向上。
如可以看出的，当Bob执行手势时，覆盖层914移动以匹配手势的方向，从而显现远端视频910的一小部分区域916而没有模糊 (“预览区域”)。随着Bob沿着触摸屏进一步拖动，该预览区域 916的尺寸增加到最大尺寸。预览区域916的最大尺寸被设置为使得即使在达到该最大尺寸时，总的来说，视频也保持被遮掩(使得远端用户的脸部仍然被隐藏)，并且预览区域916的尺寸不能增加到超出这个最大尺寸。在图9E的示例中，预览区域在其尺寸增大的方向上(在此示例中为高度)的最大范围约为该方向上远端视频的总体范围的10-20％(该示例中的视频高度)。也就是说，覆盖层在移动方向上移动最多Alice视频的10-20％范围。
这具有经由直观的视觉反馈向Bob传达有关他正在执行的手势的信息的好处：当他拖动时，少量视频被去模糊，从而向Bob传达他正在做出的手势与视频去模糊相关。也就是说，Bob实际上可以看到他正在向Alice请求的内容，即移除覆盖层914，他本人只能将覆盖层914移除到非常有限的程度(即，仅达到预览区域916的最大尺寸)。
当Bob的拇指/手指松开时，作为响应发送请求612，并且覆盖层914返回其初始位置，使得远端视频910再次被完全遮掩。经由 Bob的UI将通知918显示给Bob，以确认请求612已被发送。
这是一个示例，该示例说明了在移除全部模糊的请求被接受之前，当Bob执行手势时可以如何稍微降低应用于Alice视频的模糊级别。其他示例包括：降低覆盖层的不透明度(降低到较低但仍为非零的值，使得直到请求被批准之前视频仍被遮掩)，或者在脸部滤镜被用于模糊处理的情况下，通过调整滤镜的至少一个脸部失真参数来降低由滤镜产生的脸部失真量。这些在提供直观视觉反馈方面具有相同的优势。
模糊级别L根据用户沿着屏幕拖动的距离D而变化，其中L可以例如是预览区域918的高度或覆盖层的不透明度。这可能不是线性函数，例如t。例如，随着距离的增加，模糊的“速率”——即dL/dD (模糊级别L关于距离D的微分)——可能会随着距离D而减小。也就是说，使得距离D每次递增，模糊级别就会随着距离D的整体增加而减小更小的量。当用户进一步拖动时，这会带来更大的“紧张”感。
设备还可以在用户执行手势时提供触觉反馈，例如使用用户设备的内部振动机制。例如，这可以是在执行手势时在预定点处对振动机制进行致动的情况(例如，覆盖层可以被移动的最大距离的预定百分比处等)，或者随着手势被执行，振动水平可以被增加。更一般地，振动水平可以取决于例如与手势的执行有关的持续时间、速度或距离、或其任何组合。
图9F示出了Alice的设备102a的UI，并且具体示出了如何在远端设备处输出通知614的示例。在该示例中，通知是动态通知，其逐渐变化以通过顺时针“向下计数”示出Alice还剩下多长时间接受通知，如图9F中的箭头616所标示。在此时，Bob的视频618仍然通过Alice的UI的等效覆盖层620以遮掩的形式被显示在Alice的设备上。
如图9E的最终图像中所示，Bob的通知616更新为匹配Alice 的通知616，因此Bob也知道Alice有多长时间来接受请求。即，Bob 的通知616也对剩余时间进行倒计时。
如图9G中所示，如果Alice在请求612到期之前接受了请求612，则作为响应从她的UI中移除覆盖层620，并且Alice因此可以看到未被遮掩的Bob的视频618。响应于Alice的接受，Bob的UI的覆盖层914也从Alice的视频910中移除，因此Bob也可以看到未被遮掩的Alice的视频。这在图中未被示出，但是关于Bob的视频618 上的Alice的覆盖层620的所有描述均等同地适用于Alice的视频910 上的Bob的覆盖层914。
此时，Alice和Bob现在可以参与完全的面对面对话而无隐藏。
由Alice做出以接受请求612的用户输入616也可以是手势。例如，这可以是简单的向右滑动(例如)以拒绝，而向左滑动以接受。作为另一示例，为了响应该手势，Alice可以首先在触摸屏上向下拖动，并且已经向下拖动，然后向右滑动以拒绝或向左滑动以接受(追踪反向的“L”形)。这可以是不间断的手势，其中Alice必须始终保持与触摸屏接触(即追踪触摸屏上的“L”形或反“L”形)。可替代地，在向下拖动之后，她可以能够将她的手指从触摸屏上抬起并随后返回触摸屏以完成手势(先有效地向下滑动，然后向左或向右滑动)。
通过选择显示的终止选项(针对Alice被标记为915，针对Bob 被标记为917；请注意，Bob的选项在所有图中均不可见，但可以始终被显示)，任一用户都可以随时终止对话。
图10A和图10B图示出了用户如何能够经由他/她的用户设备处的约会app UI来获得他/她的匹配的列表1002。也就是，已与他/她配对的用户的一组用户身份。这可以是已与他/他配对的所有用户，或者可以仅是通过双方同意取消了对视频的限制的用户。对于列表1002中的每个用户，可以提供可选选项1004以“删除”(即，屏蔽) 该用户。这可以是始终显示的可选选项(如图10A中所示)，也可以是通过滑动手势显现的可选选项(图10B)。
参与度得分：
为鼓励重复访问流量、奖励用户保持参与该app、以及向其他用户提供用户质量验证，在在线约会系统内实现点数奖励系统。
随着时间的流逝，用户开始期望他们会见的其他用户诚实且正直——在当今可用的现有约会app中或多或少缺乏的东西(例如，在现有的约会app中，用户简档图像经常过时或者甚至不是所讨论的实际用户的图像。这是上传图像的问题之一，与相机实时拍摄的视频图像相反)。
基于参与度统计信息，特征经由点数算法(参与度算法)而被解锁，该算法基于被同意的聊天次数和被同意的移除模糊的次数来向用户奖励点数。可以例如在如图1中所示的后端106处执行参与度算法，其中参与度算法被标记为514。
奖励给用户的点数总数构成了所讨论的用户的“参与度得分”，可以将其作为该用户简档的一部分存储在数据库108中，并在用户与该app互动参与时进行更新。
随着用户获得点数，在他们达到一定的参与度阈值时在线约会系统/app的特征会被“解锁”。也就是说，在生成一定数量的点数之后，用户可以收到“成就”。
举例来说，当用户的参与度得分达到第一参与度阈值时，作为响应可以解锁化身相机创建工具，以渲染该工具的使用对用户可用。在满足此阈值之前，无法使用该工具。该工具允许用户使用设备上与视频聊天机制相同的相机来创建化身。
这些已升级的用户现在通过解锁app的发现功能而进入“发现模式”，在适当的情况下化身对于其他用户可见，并且在满足其他参与度成就时其可以是经由搜索机制可索引的。也就是说，化身对于也已经达到第一参与度阈值的系统的其他用户是可见的，并且可以例如作为用户的简档/账户的一部分而被存储在数据库108中。
已经达到发现模式的用户可以能够与也已经达到发现模式的其他用户启动通信事件，而不必首先由配对算法504进行匹配。例如，可发现用户可以在“排行榜”样式的界面上被列出，并根据其得分排序，其中该排行榜界面对其他可发现用户可用。可发现用户可以启动与排行榜上的其他可发现用户的通信事件，而无需先进行匹配。
例如，通过在数据库108中设置作为其简档一部分的发现标记，已经进入发现模式的用户可以在数据库108中被标记为是可发现的。
在这些原则的基础之上，点数将作为与该app参与的“奖励”，尤其是作为与该app的其他用户参与的奖励，被奖励给约会app的用户。例如，可以根据用户在与其他用户的对话期间移除视频模糊的意愿来向用户授予点数。举例来说，图10A和图10B针对每个列出的用户指示了奖励给该用户的点数总数，以示例的方式为列表中的最终用户标记为1006。
例如，当用户接受去模糊视频的请求612时，可以增加参与度得分。增加的量可以取决于用户接受请求612的速度，由此用户可以通过在更短的时间量内接受请求来实现更大的增加。例如，可以将其确定为与接受请求的剩余时间的比例或剩余时间的某些其他函数。对于发送请求的用户，参与度得分也可以增加，尽管这可能取决于接受请求的该另一用户。在在线约会系统100的情境中，参与度得分可以被视为根据用户与app的其他用户互动参与的意愿而设置的“社交排名”的形式。
配对算法504可以将用户的交互得分用作配对用户的标准。例如，具有相似参与度得分的用户可能更可能被配对在一起。作为另一示例，具有较高参与度得分的用户可以比具有较低参与度得分的用户被更频繁地与其他用户配对，即，使得具有较高参与度得分的用户得到更频繁地匹配，以鼓励参与度。也就是说，配对算法可以被配置为使得具有较高参与度得分的用户具有与其他用户配对的更大可能性。这为用户提供了与app互动参与的动力，以提高他们的匹配机会。
还可以提供其他机制，通过该机制用户可以影响他们的匹配，例如通过高级账户。
手势输入
关于约会app UI，为了创建最佳地利用移动设备上有限的可用显示空间的流线型但直观的界面，除以上描述之外，触摸屏手势还可以触发许多动作。现在将参考图11A-图11M对此进行描述。注意，可以在生成用户界面时单独地或以任何组合来实现这些手势-动作对中的每一个。
为了在与另一用户的对话期间(或可能在其他时间，诸如在虚拟等候区域中)触发动作，用户可以按压、触摸并按住、单击或双击、或任意数量手指的多点触摸，如图11A中所示。完成此操作后，用户可以在任何方向上拉动/拖动以使得一个或多个图标1102(“动作调用(call to action)”)被显示，每个图标代表可以被触发的不同动作。当用户下拉时，图标可以从屏幕外的位置移动到屏幕上的位置，以提供直观的界面，由此用户将图标“拖动”到显示器上。这些可以是与设备硬件或其他应用特征对接的操作，包括但不限于：切换镜头光圈、切换相机闪光灯(如果有)、捕获静止图像、切换记录模式、切换静音或触发应用菜单系统。如图11B中已经往下拉动，用户可以从那里在一个方向上移动以启用(prime)动作调用并突出显示其潜在的活动(在图11C、图11D和图11E的示例中分别向左，向右和居中)。用户可以反转(取消)初始的拉动/拖动方向，从而从本质上重置任何动作调用图标的可见性，并取消启用任何选定的动作调用，如图11F中所示。可替代地，用户可以从屏幕上松开他的一个或多个手指以触发当前选择的动作(图11G)。在此时，将动作图标从可用屏幕空间中移除，直到再次被引发(invoke)，如图11A中所示。
注意，图11B的下拉手势可以是与做出发送请求612相同的手势。在这种上下文中，在通信事件开始，当视频被遮掩时，下拉手势将导致去模糊请求被发送。一旦已经接受了这样的请求以使得视频不再被遮掩，则下拉手势的进一步执行将替换为下拉动作调用 1102，如图11B中。在该示例中，动作调用1102均与视频的捕获有关，因此仅在视频不再被遮掩时才真正适用。因此，一旦请求已被接受，下拉手势以逻辑的方式“重新目的化”，从而一旦请求已被接受，此手势现在便会打开选项，这些选项由于请求已被接受且完整的未遮掩视频现在被显示给两个用户而变成相关的。
图11H：在与另一用户的对话期间，将从另一个用户接收的视频流渲染为接收视频对象，该对象是全屏的，但不限于位置、尺寸或形状。将用户的自视频渲染为预览视频对象，其不限于位置、尺寸或形状。这被覆盖在显示器的有限区域中的接收视频对象上。
图11I：如所指出的，为了发送请求612，请求612的用户可以下拉至某点并松开以向接收方发送请求以发起视频模糊的移除；音频对双方都是随时可用的，互联网连接始终被维持。也就是说，当用户已经连接并交换音频流时发出请求。
图11J：在分配的时间段内，接收方向左滑动以取消/忽略共享视频的请求，这导致双方都启用所有视频模糊，并向请求的初始方通知接收方的响应状态消息。
图11K：在分配的时间段内，接收方向右滑动以同意共享视频的请求，这导致(对双方)移除所有视频模糊，并通知请求的初始方。
图11L：当模糊被移除时，只要新的预览位置大于全屏高度的一半，将自己的预览向上拖动即切换到后置相机。也就是说，用户可以通过将他们自己的自视频图像在可能的某个方向上移动至少预定距离来从前置相机切换到后置相机。以相同的方式再拖动预览对象切换回前置相机。在替代实现中，预览对象的移动可以触发其他与相机有关的功能，诸如激活或去激活与活动的(active)相机相关联的照明设备以照亮其视场。可替代地或附加地，切换相机和激活/去激活相机照明可以是对如上所述触发的单独的动作调用1102。
图11M：在适用的情况下，在预览对象上按压、触摸并按住、单击或双击、任意数量的手指的多点触摸都将切换相机灯光。
其他用例：
在所描述的实施例中，在远离请求用户的设备处手动接受请求。但是，在诸如版权保护之类的其他上下文中，可以取决于请求用户设备和/或请求用户来自动接受或拒绝请求。
在这种上下文中，可以从请求被发送至其的远程设备(诸如流式传输服务器)接收视频流(或其他形式的视觉内容)，或者请求也可以被发送给其他未流式传输(或以其他方式提供)视觉内容的设备，诸如身份验证服务器。
使用包含在请求中的信息(诸如内容的标识符和请求用户的标识符和/或他/她的设备的标识符)，在接收请求的远程设备处自动接受或拒绝该请求。远程设备使用标识符来确定用户设备或用户是否被授权访问所标识的内容。这可以例如涉及数据库查找，其中数据库指示用户/设备是否被授权访问所请求的内容。这可能例如需要用户已向内容管理系统注册，并且在一些情况下可能还需要用户支付或采取其他动作才能获得访问权限。
这可以涉及远程设备将至少一个消息发送回用户设备，以请求进一步的信息，其中所请求的信息被远程设备使用来确定是接受还是拒绝该请求。例如，如果请求本身没有足够的信息供远程设备确定是接受还是拒绝该请求，则它可以在做出决定之前请求进一步的信息。例如，所请求的信息可以包括支付信息，用户需要提供该支付信息来为内容付费。
返回图3A/图3B，注意，上面提到的每个功能组件表示相关媒体交换系统300a/300b的功能性的一部分。在以上示例中，媒体交换系统300a、300b表示由可执行指令(软件)当在处理器202上被执行时实现的功能性。也就是说，每个功能组件在被执行时表示该软件的功能性的不同部分。在所描述的示例中，这些具体是约会app 205 的指令。也就是说，每个媒体交换系统300a、300b表示约会app 205 的功能性。可替代地，可以在约会app 205的控制下由约会app 205 之外的软件实现该功能性中的至少一些。例如，在约会app 205的控制下，一些或全部编码/解码操作可以由用户设备102的操作系统 (OS)执行(也就是说，约会app 205可以利用OS的本机功能性来提供本文描述的功能性)。可替代地，此功能性的一部分甚至可以在设备102的专用硬件中被实现，例如某些用户设备具有可以在约会app 205的控制下使用的硬件音频/视频编码/解码电路。术语“组件”通常被用来意指被配置为实现特定功能性的软件、硬件或其任何组合。注意，图3A/图3B中所示的各种输入/输出通常表示各种功能组件之间的高级交互，并且不必一定对应于物理或逻辑连接的任何特定配置。
还应注意，尽管在上文中，通过遮掩两个用户的视频流的视觉内容来针对两个用户抑制视频，但是也可以通过根本不为那些用户显示视频来抑制视频。例如，替代的是，可以为每个用户显示化身图像(静态或动画)，一旦抑制停止，就将其替换为他们的视频流。
此外，尽管以上内容已经在在线约会的内容中进行了描述，但是本发明还可以被应用于诸如社交媒体之类的其他情境中。在这种情况下，可以例如在社交媒体平台上是朋友的用户之间发起根据本发明的实时对话。也可在社交媒体情境中实现随机配对。在这种情境中，应用205可以被称为社交媒体app。
此外，尽管以上仅针对两个用户之间的通信事件进行了描述，但是通信事件也可以在群组对话情境中在两个以上的用户之间发生。因此，对“请求用户和响应用户之间的通信事件”(或类似内容)的引用不排除有两个以上的用户参加通信事件的可能性。例如，可以提供虚拟的“酒店大厅”环境，用户可以在其中进行交流。如果他们愿意，可以为这些用户提供选项，以在两个或更多的群组中进入私密对话。
而且，尽管在至少一些上述实施例中，对所有用户都应用了相同级别的模糊(例如，具有90％的不透明度的覆盖层)，但是可以对不同用户应用不同级别的模糊。这可以是用户设置的，例如用户可以指定要被应用于其视频的不透明度级别。作为另一个示例，可以取决于用户的参与度得分来设置被应用于用户视频的模糊量，例如，对于参与度得分较高的用户，可以应用更高级别的模糊(例如，更不透明的覆盖层)，以使更多“受欢迎”的用户更“难以捉摸”。
将理解的是，仅通过示例描述了上述实施例。鉴于本文提出的教导，本发明的其他变化和应用对本领域技术人员将是明显的。本发明不受所描述的实施例的限制，而仅受所附权利要求书的限制。

Claims (20)

1.一种渲染用户界面的计算机实现的方法，所述方法包括以下步骤：
在用户界面控制器处，接收要在用户设备的显示器上被显示的视觉内容，其中所述用户界面控制器生成用于遮掩所述视觉内容的模糊数据，并且控制所述显示器以渲染用户界面，在所述用户界面上所述视觉内容根据所述模糊数据而被遮掩；以及
从所述用户设备向远程设备发送停止遮掩所述视觉内容的请求，其中所述请求响应于在所述用户设备处检测到的拖动手势而被发送；
其中当所述拖动手势被执行时，所述用户界面控制器通过修改所述模糊数据来进行响应，以在所述请求被接受之前降低应用于所述视觉内容的模糊级别，由此所述视觉内容保持被遮掩，但是以更低的模糊级别被遮掩，其中如果所述请求随后在所述远程设备处被接受，则作为响应，所述用户界面控制器控制所述显示器停止遮掩所述视觉内容，由此将其渲染为在所述显示器上完全可见。
2.根据权利要求1所述的方法，其中所述用户界面通过渲染所述用户界面的覆盖层来遮掩所述视觉内容，所述覆盖层遮掩所述视觉内容，其中所述用户界面控制器通过修改所述覆盖层来降低所述模糊级别，并且通过移除所述覆盖层来停止遮掩所述视觉内容。
3.根据权利要求2所述的方法，其中所述用户界面控制器通过将所述覆盖层的不透明度从初始非零值降低到更低的非零值来降低所述模糊级别。
4.根据权利要求3所述的方法，其中所述初始非零值使得所述覆盖层是部分透明的。
5.根据权利要求1-4中任一项所述的方法，其中所述用户界面控制器通过将脸部隐藏滤镜应用于所述视觉内容来遮掩所述视觉内容，其中所述用户界面控制器通过调整所述脸部隐藏滤镜来降低所述模糊级别。
6.根据权利要求1-4中任一项所述的方法，其中所述请求被发送到所述远程设备，以由所述远程设备的用户接受或拒绝。
7.根据权利要求6所述的方法，其中所述请求在所述用户设备的用户与所述远程设备的用户之间的通信事件期间被发送。
8.根据权利要求1至4中的任一项所述的方法，其中使用包含在所述请求中的信息，所述请求在所述远程设备处被自动地接受或拒绝。
9.根据权利要求8所述的方法，其中所述信息包括所述视觉内容的标识符。
10.根据权利要求8所述的方法，其中所述信息包括所述用户设备的标识符或所述用户设备的用户的标识符。
11.根据权利要求9所述的方法，其中所述信息包括所述用户设备的标识符或所述用户设备的用户的标识符，其中所述远程设备使用所述标识符来确定所述用户设备或用户是否被授权访问所标识的内容。
12.根据权利要求8所述的方法，其中所述远程设备将至少一个消息发送回所述用户设备，以请求进一步的信息，其中所请求的信息被所述远程设备使用来确定接受还是拒绝所述请求。
13.根据权利要求12所述的方法，其中所请求的信息包括支付信息。
14.根据权利要求1-4中任一项所述的方法，其中所述视觉内容是在所述用户界面控制器处接收的视频数据流的视觉内容。
15.根据权利要求1-4中任一项所述的方法，其中所述视觉内容在所述用户界面控制器处从所述远程设备接收。
16.根据权利要求1-4中任一项所述的方法，其中所述用户界面控制器被包含在所述用户设备中。
17.根据权利要求1-4中任一项所述的方法，其中如果相同的拖动手势在所述请求已被接受之后再次被执行，从而视频不再被遮掩，则作为响应，与所述视觉内容有关的动作被触发，或者作为响应，可选择的选项被显示，所述可选择的选项是可选择的，以触发与所述视觉内容有关的动作。
18.一种可读存储介质，其中存储介质上存储有可执行指令，所述可执行指令在被处理器执行时被配置为执行1-17任一权利要求的方法。
19.一种计算机系统，包括：
至少一个处理器；和
耦合到所述至少一个处理器的电子存储器，所述电子存储器被配置为存储可执行指令，所述可执行指令在所述至少一个处理器上被执行时被配置为执行1-17任一权利要求的方法。
20.根据权利要求19所述的计算机系统，其被包含在用户设备中。
CN201880049071.7A 2017-05-26 2018-04-12 渲染用户界面的计算机实现方法、可读存储介质、计算机系统 Active CN111183627B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1708478.1 2017-05-26
GBGB1708478.1A GB201708478D0 (en) 2017-05-26 2017-05-26 User interface
GB1708473.2 2017-05-26
GB1708473.2A GB2552583B (en) 2017-05-26 2017-05-26 Communication event
PCT/EP2018/059413 WO2018215133A1 (en) 2017-05-26 2018-04-12 User interface

Publications (2)

Publication Number Publication Date
CN111183627A CN111183627A (zh) 2020-05-19
CN111183627B true CN111183627B (zh) 2021-10-29

Family

ID=61966015

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110916439.9A Pending CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法，系统及产品
CN201880049072.1A Active CN111164955B (zh) 2017-05-26 2018-04-12 影响通信事件的方法、可读存储介质及计算机系统
CN201880049071.7A Active CN111183627B (zh) 2017-05-26 2018-04-12 渲染用户界面的计算机实现方法、可读存储介质、计算机系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110916439.9A Pending CN114125568A (zh) 2017-05-26 2018-04-12 影响通信事件的方法，系统及产品
CN201880049072.1A Active CN111164955B (zh) 2017-05-26 2018-04-12 影响通信事件的方法、可读存储介质及计算机系统

Country Status (4)

Country Link
US (4) US10412139B2 (zh)
EP (2) EP3628120B1 (zh)
CN (3) CN114125568A (zh)
WO (2) WO2018215132A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410014B2 (en) 2017-03-23 2019-09-10 Microsoft Technology Licensing, Llc Configurable annotations for privacy-sensitive user content
US10380355B2 (en) 2017-03-23 2019-08-13 Microsoft Technology Licensing, Llc Obfuscation of user content in structured user data files
US20190239038A1 (en) * 2018-02-01 2019-08-01 Anupama Padiadpu Subramanya Bhat Dating application
USD898751S1 (en) * 2018-07-06 2020-10-13 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
US11218435B1 (en) 2018-07-31 2022-01-04 Snap Inc. System and method of managing electronic media content items
US11019011B1 (en) * 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11036368B1 (en) * 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
WO2020210732A1 (en) * 2019-04-10 2020-10-15 Anupama Padiadpu Subramanya Bhat Systems and methods for providing an on-line dating service
USD922408S1 (en) * 2019-04-18 2021-06-15 Ke.com (Beijing)Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10529067B1 (en) * 2019-08-23 2020-01-07 Alchephi LLC Method and graphic user interface for interactively displaying digital media objects across multiple computing devices
KR102373764B1 (ko) * 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
USD965004S1 (en) * 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US12058476B2 (en) * 2021-04-16 2024-08-06 Hyperconnect Inc. Methods, systems, and computer program products for providing video call service
CN115469735A (zh) * 2021-05-28 2022-12-13 北京字节跳动网络技术有限公司 基于手势的交互方法、装置和客户端
US11842463B2 (en) * 2021-06-03 2023-12-12 Adobe Inc. Deblurring motion in videos
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications
US11665316B2 (en) * 2021-11-04 2023-05-30 International Business Machines Corporation Obfuscation during video conferencing
US11740784B1 (en) * 2021-11-15 2023-08-29 Meta Platforms, Inc. Extended pull-down gesture to cache content
US20230344956A1 (en) * 2022-04-20 2023-10-26 Samsung Electronics Company, Ltd. Systems and Methods for Multi-user Video Communication with Engagement Detection and Adjustable Fidelity

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
KR100281526B1 (ko) 1996-07-08 2001-02-15 윤종용 음성/화상 전화 모드 전환기능을 갖는 화상 전화 시스템 및 그 전환방법
US6801642B2 (en) * 2002-06-26 2004-10-05 Motorola, Inc. Method and apparatus for limiting storage or transmission of visual information
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
US7456983B2 (en) * 2003-07-02 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for preventing comprehension of a printed document
US20070297641A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Controlling content suitability by selectively obscuring
US8386509B1 (en) * 2006-06-30 2013-02-26 Amazon Technologies, Inc. Method and system for associating search keywords with interest spaces
US7760937B2 (en) * 2007-03-29 2010-07-20 Xerox Corporation Automatic conversion of full color images to highlight color images
US8032472B2 (en) * 2007-04-04 2011-10-04 Tuen Solutions Limited Liability Company Intelligent agent for distributed services for mobile devices
US9241135B2 (en) * 2007-08-15 2016-01-19 At&T Intellectual Property I, Lp Method and system for image alteration
KR101857564B1 (ko) * 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
US8874090B2 (en) 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
US20110252340A1 (en) 2010-04-12 2011-10-13 Kenneth Thomas System and Method For Virtual Online Dating Services
GB201006796D0 (en) * 2010-04-23 2010-06-09 Skype Ltd Viewing apparatus
CN102447715B (zh) * 2010-10-08 2016-05-18 腾讯科技（深圳）有限公司 即时通信中分享视频方法、即时通信客户端
KR101714534B1 (ko) 2010-12-06 2017-03-09 삼성전자주식회사 휴대 단말기의 사생활 보호 기능 제공 방법 및 장치
CN102098381A (zh) * 2010-12-29 2011-06-15 上海华勤通讯技术有限公司 一种手机的带背景的通话实现方法
KR102027879B1 (ko) * 2012-04-04 2019-10-02 삼성전자주식회사 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US8947491B2 (en) * 2012-06-28 2015-02-03 Microsoft Corporation Communication system
WO2014021546A1 (ko) 2012-07-31 2014-02-06 넥스트리밍(주) 비디오 채팅 방법, 단말장치 및 비디오 채팅 시스템
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
CA2897539C (en) * 2013-04-04 2016-05-17 James S. RAND Unified communications system and method
CN103491338A (zh) 2013-07-24 2014-01-01 何绍华 一种音视频通讯方法、通讯装置和通讯系统
FR3015159A1 (fr) 2013-12-17 2015-06-19 Orange Procede de partage synchrone d'image
CN104836977B (zh) * 2014-02-10 2018-04-24 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统
US9779474B2 (en) * 2014-04-04 2017-10-03 Blackberry Limited System and method for electronic device display privacy
US20150286401A1 (en) * 2014-04-08 2015-10-08 Lyve Minds, Inc. Photo/video timeline display
US20150325078A1 (en) * 2014-05-08 2015-11-12 Bruce Alsip Gaming machine, apparatus and methods
US9792716B2 (en) 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
US9740860B2 (en) * 2015-02-26 2017-08-22 Kairos Social Solutions, Inc. Device, system, and method of preventing unauthorized recording of visual content displayed on an electronic device
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US20170094019A1 (en) * 2015-09-26 2017-03-30 Microsoft Technology Licensing, Llc Providing Access to Non-Obscured Content Items based on Triggering Events
US11233758B2 (en) * 2015-11-23 2022-01-25 Verizon Patent And Licensing Inc. Selective screen sharing
CN105847115A (zh) * 2016-03-21 2016-08-10 重庆市鲲化科技有限公司 网络社交模糊头像渐变机制
US10867452B2 (en) * 2016-03-25 2020-12-15 Mental Canvas LLC System and methods for conversion of 2D assets into 3D graphical scenes
US10530731B1 (en) * 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端（东莞）有限公司 一种采集声音信号的方法和装置
US10521835B2 (en) * 2016-05-20 2019-12-31 Adobe Inc. Content viewing options when advertisements are blocked
US10771737B2 (en) * 2016-12-07 2020-09-08 Facebook, Inc. Transitioning a telephone network phone call to a video call
US10586433B2 (en) * 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video

Also Published As

Publication number Publication date
EP3628120A1 (en) 2020-04-01
CN111183627A (zh) 2020-05-19
WO2018215133A1 (en) 2018-11-29
CN114125568A (zh) 2022-03-01
EP3628120B1 (en) 2021-10-06
US20180343294A1 (en) 2018-11-29
US20190356715A1 (en) 2019-11-21
CN111164955A (zh) 2020-05-15
US20210105310A1 (en) 2021-04-08
WO2018215132A1 (en) 2018-11-29
US10805372B2 (en) 2020-10-13
US11811841B2 (en) 2023-11-07
CN111164955B (zh) 2021-09-03
US10412139B2 (en) 2019-09-10
EP3628119A1 (en) 2020-04-01
US20220255982A1 (en) 2022-08-11
US11277459B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111183627B (zh) 渲染用户界面的计算机实现方法、可读存储介质、计算机系统
US10965723B2 (en) Instantaneous call sessions over a communications application
EP3105711B1 (en) Video communication method and system in instant communication
US11146646B2 (en) Non-disruptive display of video streams on a client system
WO2017028424A1 (zh) 在聊天界面实现游戏的方法、装置及终端设备
KR102327571B1 (ko) 영상 통화 데이터의 디스플레이
TW201545508A (zh) 通知
CN113760145B (zh) 一种互动方法、装置、电子设备及存储介质
CN114845081A (zh) 信息处理装置、记录介质及信息处理方法
KR20200120707A (ko) 멀티플레이어 게임 세션들을 조정하기 위한 방법들, 시스템들, 및 매체
CN106105172A (zh) 突出显示未查看的视频消息
GB2552583A (en) Communication event
CN106708354A (zh) 即时通讯方法及客户端
CN111835617B (zh) 用户头像调整方法、装置及电子设备
WO2018175989A1 (en) Video signal control and manipulation in public and private communication networks
GB2553480A (en) Communication event
CN114598674B (zh) 一种数量统计方法、装置、设备及存储介质
JP2024140079A (ja) システム及びシステムの制御方法
US20190158444A1 (en) Systems and methods for delivery and use of interactive objects
CN118433521A (zh) 图像拍摄方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant