CN115552358A - 用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术 - Google Patents

用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术 Download PDF

Info

Publication number
CN115552358A
CN115552358A CN202280004075.XA CN202280004075A CN115552358A CN 115552358 A CN115552358 A CN 115552358A CN 202280004075 A CN202280004075 A CN 202280004075A CN 115552358 A CN115552358 A CN 115552358A
Authority
CN
China
Prior art keywords
user
fov
processor
speed
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280004075.XA
Other languages
English (en)
Inventor
罗伊特·阿比什克
伊拉吉·索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115552358A publication Critical patent/CN115552358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种用于当用户在流式会话中跟随另一个用户的视口时减轻晕动症的方法和设备。该方法包括基于被跟随的用户的视场(FoV)的速度来确定用户的FoV。被跟随的用户的FoV是没有任何缩减的原始FoV。此外，该方法包括通过以下方式中的至少一种来生成经修改的第一FoV：(1)基于被跟随的用户的FoV的速度增加来缩减用户的FoV，以及(2)基于被跟随的用户的FoV的速度减小来增加用户的FoV，以及将经修改的第一FoV作为新视口传输到用户。

Description

用于在用于远程终端的电话会议和远程呈现中进行视口共享 时减轻晕动症的技术
相关申请的交叉引用
本申请基于并要求于2021年3月29日提交的美国临时专利申请号63/167,304的优先权，该临时专利申请的公开内容通过引用整体并入本文。
技术领域
本公开的实施例涉及在用于远程终端的电话会议和远程呈现中减轻晕动症，并且更具体地涉及当用户跟随另一个用户的视口时减轻该用户的晕动症。
背景技术
当使用全向媒体流时，仅呈现对应于用户视口的部分内容，同时使用头戴式显示器(HMD)，给予用户媒体流的逼真视图。
图1图示了用于沉浸式电话会议呼叫的相关场景(场景1)，其中呼叫在室A(101)、用户B(102)和用户C(103)之间组织。如图1所示，室A(101)表示具有全向/360度摄像机(104)的会议室，并且用户B(102)和用户C(103)分别是使用HMD和移动设备的远程参与者。在这种情况下，参与者用户B(102)和参与者用户C(103)将他们的视口取向发送到室A(101)，而室A(101)又向用户B(102)和用户C(103)发送视口相关流。
图2A中示出了扩展场景(场景2)，其包括多个会议室(2a01、2a02、2a03、2a04)。用户B(2a06)使用HMD观看来自360度摄像机(104)的视频流，并且用户C(2a07)使用移动设备观看视频流。用户B(2a06)和用户C(2a07)将它们的视口取向发送到会议室(2a01、2a02、2a03、2a04)中的至少一个，会议室(2a01、2a02、2a03、2a04)中的至少一个又向用户B(2a06)和用户C(2a07)发送视口相关流。
如图2B所示，另一个示例场景(场景3)是当使用MRF/MCU(2b05)建立呼叫时，其中媒体资源功能(Media Resource Function，MRF)和媒体控制单元(Media Control Unit，MCU)是为多方会议呼叫中的桥接终端提供媒体相关功能的多媒体服务器。会议室可以将它们各自的视频发送到MRF/MCU(2b05)。这些视频是与视口无关的视频，即，整个360度视频被发送到媒体服务器(即，MRF/MCU)，而与流式传输特定视频的用户视口无关。媒体服务器接收用户(用户B(2b06)和用户C(2b07))的视口取向，并且相应地向用户发送视口相关流。
进一步对于场景3，远程用户可以选择观看来自会议室(2a01至2a04、2b01至2b04)的可用360度视频之一。在这种情况下，用户将要流式传输的视频及其视口取向的信息发送到会议室或MRF/MCU(2b05)。用户还可以基于有源音箱触发从一个室切换到另一个室。
上述场景的另一个扩展是例如当佩戴HMD的用户A对跟随另一个用户的视口感兴趣时。对于该特定的示例，其他用户将是用户B(102)。当用户B(102)正在向会议室(室A、2a01、2a02、2a03和/或2a04)呈现或用户A对用户B(102)的焦点或视口感兴趣时，可能会发生这种情况。然而，当这种情况发生并且用户A的视口被切换时，用户A可能会有晕动症。
发明内容
本公开的一个或多个示例实施例提供了一种用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的系统和方法。
根据实施例，提供了一种用于当第一用户在流会话中跟随第二用户的视口时减轻晕动症的方法。该方法可以包括：基于第二用户的视场(FoV)的速度来确定第一FoV，其中第二用户的FoV是没有任何缩减的原始FoV；通过基于第二用户的FoV的速度增加来缩减第一FoV和基于第二用户的FoV的速度减小来增加第一FoV中的至少一种来生成经修改的第一FoV；以及将经修改的第一FoV传输到第一用户，并且将经修改的第一FoV作为新视口呈现给第一用户。
根据实施例，提供了一种用于当第一用户跟随第二用户的视口时减轻晕动症的设备。该设备可以包括被配置为存储程序代码的一个或多个存储器，以及被配置为读取程序代码并如该程序代码所指示地操作的一个或多个处理器。该程序代码包括：确定代码，其被配置为使至少一个处理器基于第二用户的视场(FoV)的速度来确定第一FoV，其中第二用户的FoV是没有任何缩减的原始FoV；修改代码，其被配置为使至少一个处理器通过基于第二用户的FoV的速度增加来缩减第一FoV和基于第二用户的FoV的速度减小来增加第一FoV中的至少一种来生成经修改的第一FoV；以及传输代码，其被配置为使至少一个处理器将经修改的第一FoV传输到第一用户，并且将经修改的第一FoV作为新视口呈现给第一用户。
根据实施例，提供了一种用于当第一用户跟随第二用户的视口时减轻晕动症的非易失性计算机可读介质。该计算机可读介质可以连接到一个或多个处理器，并且可以被配置为存储指令，当这些指令在由设备的至少一个处理器执行时，使至少一个或多个处理器基于第二用户的视场(FoV)的速度来确定第一FoV，其中第二用户的FoV是没有任何缩减的原始FoV；通过基于第二用户的FoV的速度增加来缩减第一FoV和基于第二用户的FoV的速度减小来增加第一FoV中的至少一种来生成经修改的第一FoV；以及将经修改的第一FoV传输到第一用户，并且将经修改的第一FoV作为新视口呈现给第一用户。
附加方面将部分地在以下描述中阐述，并且部分地将从描述中显而易见，或可以通过实践所呈现的本公开的实施例来了解。
附图说明
从结合以下附图的以下描述中，本公开的实施例的以上和其它方面、特征和方面将变得更加明显。
图1是用于沉浸式电话会议的生态系统的示意图。
图2A是多方多会议室电话会议的示意图。
图2B是使用MRF/MCU的多方多会议室电话会议的示意图。
图3是根据一个或多个实施例的通信系统的简化框图。
图4是根据一个或多个实施例的流式传输环境的简化示例图示。
图5是根据实施例的视场(FoV)变化的示意图。
图6是根据实施例的用于当用户在流式会话中跟随另一个用户的视口时减轻晕动症的方法的流程图。
图7是根据实施例的计算机系统的示意图。
具体实施方式
本公开涉及一种用于当用户跟随另一个用户的视口时减轻晕动症的方法和装置。
当人眼不能将看到的运动与真实的身体运动相协调时，就会出现晕动症。大脑会因为从你的内耳和眼睛中的平衡器官接收到的信息不同而变得困惑。这种现象在沉浸式视频中是常见的，并且影响沉浸式视频流式传输和沉浸式电话会议。如图2A和图2B所示，具有全向摄像机的多个会议室处于电话会议中。用户可以从会议室(2a01、2a02、2a03、2a04)之一或参与电话会议的另一个用户的视口中选择要显示为沉浸式流的视频流。
参照附图对本公开的实施例进行全面地描述。然而，实施方式的示例可以以各种多种形式来实现，并且本公开不应被解释为限于本文描述的示例。相反，提供实施方式的示例是为了使本公开的技术方案更加全面和完整，并且将实施方式的示例的思想全面地传达给本领域技术人员。附图仅是本公开的示例图示，并且不必按比例绘制。附图中相同的附图标记表示相同或相似的部件，并且因此省略对这些部件的重复描述。
下面讨论的所提出的特征可以单独使用或以任何顺序组合使用。附图中示出的一些框图是功能实体，并且不必对应于物理上或逻辑上独立的实体。此外，这些实施例可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现，或者以软件的形式来实现，或者在不同的网络和/或处理器装置和/或微控制器装置中实现。在一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
图3是根据本公开的实施例的通信系统(300)的简化框图。通信系统(300)可以包括经由网络(305)互连的至少两个终端(302，303)。对于数据的单向传输，第一终端(303)可以在本地位置对视频数据进行编码，以便经由网络(305)传输到另一终端(302)。第二终端(302)可以从网络(305)接收另一终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。在诸如远程会议等的媒体服务应用中单向数据传输是常见的。
图3图示了第二对终端(301，304)，其被提供来支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个终端(301，304)可以对在本地位置捕获的视频数据进行编码，以便经由网络(305)传输到另一终端。每个终端(301，304)还可以接收由另一终端传输的已编码视频数据，可以在本地显示设备上显示恢复的视频数据。
在图3中，终端(301，302，303，304)可以被示例为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示在网络(305)表示在终端(301、302、303、304)之间传送编码视频数据的任何数量的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。在本公开的实施例中讨论的沉浸式视频可以经由网络(305)等，发送和/或接收。
图4图示了用于所公开的主题的应用的示例流式环境。所公开的主题可以等同地应用于其它支持视频的应用，包括例如沉浸式电话会议、视频电话会议和远程呈现等。
流式环境可以包括一个或多个会议室(403)，会议室(403)可以包括视频源(401)，例如视频摄像机和会议(402)的一个或多个参与者。图4中图示的视频源(401)是例如可以创建视频样本流的360度视频摄像机。可以将视频样本流发送到流式服务器(404)和/或存储在流式服务器(404)上以供将来使用。一个或多个流式客户端(405、406)还可以将它们各自的视口信息发送到流式服务器(404)。基于视口信息，流式服务器(404)可以将视口相关流发送到对应的流式客户端(405、406)。在另一个示例实施例中，流式客户端(405、406)可以访问流式服务器(404)以检索视口相关流。实施例不限于该配置，一个或多个会议室(403)可以经由网络(例如，网络305)与流式客户端(405、406)通信。另外，流式服务器(404)和/或流式客户端(405、406)可以包括硬件、软件或其组合，以允许或实现以下更详细描述的所公开主题的各方面。流式客户端(405、406)可以包括FoV(视场)部件(407a、407b)。FoV部件(407a、407b)可以根据以下更详细描述的实施例来调整流式客户端的视口或FoV，并且创建可以在显示器408或其它再现设备(例如HDM、扬声器、移动设备等)上再现的输出视频样本流。
在沉浸式电话会议呼叫中，流式客户端(以下称为“用户”)可以选择在来自流式传输360度视频的多个室(例如，一个或多个会议室(403))的可用沉浸式视频中的一个或没有可用沉浸式视频之间切换。沉浸式视频可以自动地或手动地从流式传输沉浸式视频的一个室切换到流式传输沉浸式视频的另一个室。当用户手动地将沉浸式视频从一个源切换到另一个源时，用户可以为切换做准备。因此，可以减少用户患晕动症的机会。然而，当视频被自动地切换时，用户可能没有准备好切换并且可能导致用户经历晕动症。例如，当用户A的视口被自动地切换以跟随另一个用户B的视口时。当这种情况发生时，用户A的眼睛不能将用户B的视口中的运动与由用户A的内耳和/或眼睛接收的信息相协调。
在一些实施例中，当用户A跟随另一个用户B的视口时，用户A的FoV被缩减，以便减轻晕动症的影响并为用户A提供更多的视觉舒适度。FoV可以被定义为所跟随的用户的FoV的HMD速度/动态性的函数。因此，可以相应地调整用户A的FoV，以有效地降低由于用户A跟随另一个用户B的视口而引起的晕动症的影响。例如，当用户B(被用户A跟随)的FoV的HMD速度/动态性增加时，可以缩减用户A的FoV。在相同或另一个示例实施例中，当用户B(被用户A跟随)的FoV的HMD速度/动态性减小时，用户A的FoV可以增加。
图5图示了跟随另一个用户B的用户A的FoV的变化，其中另一个用户B的FoV的HMD速度/动态性正在增加。
如图5所示，图像(50a、50b、50c)被图示为具有被跟随的用户B的FoV的HMD速度/动态性的不同级别。每个图像(50a、50b和50c)包含高分辨率部分(501、503、505)和低分辨率部分(502、504、506)。图像(50a、50b、50c)相应的高分辨率部分(501、503、505)和低分辨率部分(502、504、506)是基于用户B的FoV的HMD速度/动态性。根据图5，图像50a中的FoV的HMD速度/动态性小于图像50b中的FoV的HMD速度/动态性，并且图像50b中的FoV的HMD速度/动态性小于图像50c中的FoV的HMD速度/动态性(即，图像50a中的HMD速度<图像50b中的HMD速度<图像50c中的HMD速度)。当用户A的视口改变为用户B的视口时，图像(50a、50b、50c)的高分辨率部分(501、503、505)可以根据FoV的HMD速度/动态性的增加而缩减，以减轻晕动症的影响。因此，图像50a中的高分辨率部分501大于图像50b中的高分辨率部分503，并且高分辨率部分503大于图像50c中的高分辨率部分505(即，高分辨率部分501＞高分辨率部分503＞高分辨率部分505)。图像的高分辨率部分随着HMD速度/动态性减小而增加。同样，图像的低分辨率部分随着HMD速度/动态性减小而缩减。
在相同或另一个实施例中，当用户A的FoV被缩减时，初始FoV(没有缩减)和已缩减FoV(以下称为“FoVReduced”)之间的区域可以以低分辨率传输。例如，参照图5中的图像50a，当用户A的FoV被缩减到高分辨率部分501时，没有缩减的初始FoV(即，图像50a)和FoVReduced(即，高分辨率部分501)之间的区域(即，低分辨率部分502)可以以低分辨率传输。
在相同或另一个实施例中，当用户A的FoV被缩减时，可以以高分辨率、低分辨率或其组合仅将FoVReduced传输到用户A。
在相同或另一个实施例中，可以定义缩减因子λ。可以将缩减因子λ的值应用于初始或原始FoV，以得到FoVReduced(例如，高分辨率部分501、503和/或505)，该FoVReduced旨在确保正在改变其视图的用户(例如，正在将其视图改变为另一个用户B的视图的用户A)具有更好的视觉舒适度。FoVReduced和缩减因子λ之间的关系可以使用以下等式来描述：
FoVReduced＝λFoV/HMD Speed (1)
在相同或另一个实施例中，可以为用户A定义已缩减FoV的最小值(以下称为“FoVmin”)，以便不干扰沉浸感。例如，过多地缩减FoV将对用户可接受性产生影响并干扰视频的沉浸感。因此，FoVmin小于或等于FoVReduced，如下所描述：
FoVmin＜＝FoVReduced (2)
在相同或另一个实施例中，缩减因子λ可以具有在1和(FoVmin/FoV)之间的值，并且在末端之间线性地减小权重。具有值为1的缩减因子λ意味着客户端易于产生晕动症。缩减因子λ的值可以由跟随视口的用户(例如，用户A)来设置。相应地，缩减因子λ为接收用户提供以定义其FoV的缩减的控制。
根据实施例，在接收用户B的FoV之前，用户A需要将缩减因子λ的值和FoVmin作为其设备能力的一部分传送给发送者(用户B)，使得已缩减FoV可以以最优方式(例如在必要的比特率方面)发送到用户A。这可以在会话开始时或在会话期间发送，例如经由用户A所需要的SDP来发送。通过发送者(用户B)发送已缩减的高分辨率FoV，与接收用户在接收到原始FoV之后缩减FoV相比，可以降低带宽要求。
图6是根据实施例的用于当第一用户在流式会话中跟随第二用户的视口时减轻晕动症的方法600的流程图。
如图6所示，在步骤S610中，方法600包括确定第一用户是否将其视口改变为第二用户的视口。如果在步骤S610处为否，则方法600重复步骤S610。如果在步骤S610处为是，则方法600继续到步骤S620。
在步骤S620中，方法600基于第二用户的FoV的速度确定第一用户的FoV。当第二用户的FoV的速度改变时，将确定和/或修改第一用户的FoV。第二用户的FoV是没有被缩减或增加的原始FoV。
在步骤S630中，方法600确定第二用户的FoV的速度是否增加。如果在步骤S630处为是，则缩减(S640)第一用户的FoV，并且将已缩减FoV传输(S670)到第一用户。如果在步骤S630处为否，则方法600返回到步骤S620。
在步骤S650中，方法600确定第二用户的FoV的速度是否减小。如果在步骤S650处为是，则增加(S660)第一用户的FoV，并且将增加的FoV传输(S670)到第一用户。如果在步骤S650处为否，则方法600返回到步骤S620。
虽然图6示出了该方法的示例框，但是在一些实施方式中，该方法可以包括与图6中描绘的那些框相比附加的框、更少的框、不同的框或不同地布置的框。另外或可选地，可以并行地执行该方法的两个或更多个框。
以上描述的用于为沉浸式电话会议和远程呈现减轻晕动症的技术可以被实现为使用计算机可读指令并且物理地存储在一个或多个计算机可读介质中的计算机软件。例如，图7示出了适于实现所公开的主题的某些实施例的计算机系统700。
计算机软件可以使用任何合适的机器代码或计算机语言进行编码，机器代码或计算机语言可以通过汇编、编译、链接或类似机制来创建代码，该代码包括可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过解释、微代码执行等执行的指令。
这些指令可以在各种类型的计算机或其部件上执行，包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。
图7所示的用于计算机系统700的部件本质上是示例性的，并且不旨在对实现本公开的实施例的计算机软件的使用范围或功能性提出任何限制。部件的配置也不应被解释为对计算机系统700的示例性实施例中图示的任何一个部件或其组合具有任何依赖性或要求。
计算机系统700可以包括某些人机接口输入设备。这种人机接口输入设备可以响应于由一个或多个人类用户通过例如触觉输入(诸如击键、滑动、数据手套移动)、音频输入(诸如声音、拍打)、视觉输入(诸如手势)、嗅觉输入的输入。人机接口设备还可以用于捕获不一定与人类的有意识输入直接相关的某些媒体，诸如音频(诸如语音、音乐、环境声音)、图像(诸如扫描图像、从静止图像摄像机获得的摄影图像)、视频(诸如二维视频、包括立体视频的三维视频)。
输入人机接口设备可以包括以下中的一个或多个(每种仅描绘了其中的一个)：键盘701、轨迹板702、鼠标703、触摸屏709、数据手套、操纵杆704、麦克风705、摄像机706、扫描仪707。
计算机系统700还可以包括某些人机接口输出设备。这种人机接口输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感官。这种人机接口输出设备可以包括触觉输出设备(例如通过触摸屏709、数据手套或操纵杆704的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(诸如：扬声器708、耳机)、视觉输出设备(诸如屏幕709，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每个具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力——其中一些屏幕可以通过诸如立体输出的手段能够输出二维视觉输出或超过三维输出；虚拟现实眼镜、全息显示器和烟雾罐)以及打印机。
计算机系统700还可以包括人类可访问的存储设备及它们相关联的介质，诸如包括具有CD/DVD等介质710的CD/DVD ROM/RW 711的光学介质、拇指驱动器712、可移动硬盘驱动器或固态驱动器713、诸如磁带和软盘的传统磁性介质、诸如安全道尔芯片的基于专用ROM/ASIC/PLD的设备等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其它易失性信号。
计算机系统700还可以包括到一个或多个通信网络714的接口715。网络714例如可以是无线的、有线的、光学的。网络714还可以是本地的、广域的、大城市的、车载的和工业的、实时的、延迟容忍的等等。网络714的示例包括局域网(诸如以太网)、无线LAN、蜂窝网络(包括GSM、3G、4G、5G、LTE等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车辆和工业网络(包括CANBus)等。某些网络714通常需要附接到某些通用数据端口或外围总线716(诸如，例如，计算机系统700的USB端口)的外部网络接口适配器(例如，图形适配器725)；其它网络通常通过附接到如下所描述的系统总线而集成到计算机系统700的内核中(例如以太网接口集成到PC计算机系统中或蜂窝网络接口集成到智能电话计算机系统中)。使用这些网络714中的任何一个，计算机系统700可以与其它实体通信。这种通信可以是单向的、仅接收的(例如，广播TV)、仅单向发送的(例如，CANbus到某些CANbus设备)或双向的(例如到使用局域数字网络或广域数字网络的其它计算机系统)。可以在如以上描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口设备、人类可访问的存储设备和网络接口可以附接到计算机系统700的内核717。
内核717可以包括一个或多个中央处理单元(CPU)718、图形处理单元(GPU)719、现场可编程门区域(FPGA)720形式的专用可编程处理单元、用于某些任务的硬件加速器721等。这些设备连同只读存储器(ROM)723、随机存取存储器(RAM)724、诸如内部非用户可访问硬盘驱动器、SSD等的内部大容量存储装置722可以通过系统总线726连接。在一些计算机系统中，系统总线726可以以一个或多个物理插头的形式来访问，以允许由附加CPU、GPU等进行的扩展。外围设备可以直接附接到内核的系统总线726，或者通过外围总线716。外围总线的架构包括PCI、USB等。
CPU 718、GPU 719、FPGA 720和加速器721可以执行某些指令，这些指令的组合可以构成上述计算机代码。该计算机代码可以存储在ROM 723或RAM 724中。过渡数据也可以存储在RAM 724中，而永久数据可以存储在例如内部大容量存储装置722中。可以通过使用高速缓冲存储器来启用对任何存储器设备的快速存储和检索，该高速缓冲存储器可以与一个或多个CPU 718、GPU 719、大容量存储装置722、ROM 723、RAM 724等紧密相关联。
计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为了本公开的目的而专门设计和构建的，或者它们可以是计算机软件领域的技术人员公知和可用的类型。
作为示例而非作为限制，具有架构700并且特别是内核717的计算机系统可以提供作为执行体现在一个或多个有形的计算机可读介质中的软件的一个或多个处理器(包括CPU、GPU、FPGA、加速器等)的结果的功能。这种计算机可读介质可以是与如上所介绍的用户可访问大容量存储装置相关联的介质，以及具有非易失性性质的内核717的某些存储装置(诸如内核内部大容量存储装置722或ROM 723)。实现本公开的各种实施例的软件可以存储在这种设备中并且由内核717执行。根据特定需要，计算机可读介质可以包括一个或多个存储器设备或芯片。软件可以使内核717并且特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文描述的特定过程或特定过程的特定部分，包括定义存储在RAM 724中的数据结构，并且根据软件定义的过程对这种数据结构进行修改。另外或作为替代，该计算机系统可以提供作为逻辑硬连线或以其它方式体现在电路中的结果的功能(例如，加速器721)，其可以代替软件或与软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时，对软件的引用可以包含逻辑，反之亦然。适当时，对计算机可读介质的引用可以包含存储用于执行的软件的电路(诸如集成电路(IC))、体现用于执行的逻辑的电路，或两者。本公开包含硬件和软件的任何合适的组合。
虽然本公开已经描述了若干示例性实施例，但是存在落入本公开范围内的改变、置换和各种替代等同物。因此，应当理解，本领域技术人员将能够设计出虽然未在本文明确示出或描述但是体现了本公开的原理并且因此在其精神和范围内的许多系统和方法。

Claims (20)

1.一种用于当第一用户在流式会话中跟随第二用户的视口时减轻晕动症的方法，其特征在于，所述方法包括：
基于所述第二用户的第二视场(FoV)的速度来确定第一FoV，其中所述第二用户的所述FoV是没有缩减的原始FoV；
通过以下方式中的至少一种来生成经修改的第一FoV：(1)基于所述第二用户的所述第二FoV的所述速度增加来缩减所述第一FoV，以及(2)基于所述第二用户的所述第二FoV的所述速度减小来增加所述第一FoV；以及
将经修改的所述第一FoV传输到所述第一用户，并将经修改的所述第一FoV作为新视口呈现给所述第一用户。
2.根据权利要求1所述的方法，还包括将所述第二用户的所述第二FoV的所述速度确定为由所述第二用户佩戴的头戴式显示器的速度或由所述第二用户操作的手持式设备的速度。
3.根据权利要求1所述的方法，还包括基于所述第一用户的所述第一FoV被缩减，以低分辨率传输所述第二用户的所述第二FoV与所述第一用户的经修改的所述第一FoV之间的区域。
4.根据权利要求1所述的方法，还包括通过向所述第二用户的所述第二FoV应用缩减因子来确定所述第一用户的所述第一FoV。
5.根据权利要求4所述的方法，还包括通过会话描述协议(SDP)将所述缩减因子传输到所述第二用户，
其中所述缩减因子由所述第一用户定义。
6.根据权利要求5所述的方法，其中，在所述流式会话开始时或在所述流式会话期间将所述缩减因子传输到所述第二用户。
7.根据权利要求1所述的方法，还包括通过会话描述协议(SDP)将最小FoV传输到所述第二用户，
其中所述最小FoV由所述第一用户定义，并且所述第一用户的FoV不小于所述最小FoV。
8.根据权利要求7所述的方法，其中，在所述流式会话开始时或在所述流式会话期间将所述最小FoV传输到所述第二用户。
9.一种用于当第一用户在流式会话中跟随第二用户的视口时减轻晕动症的设备，其特征在于，所述设备包括：
至少一个存储器，被配置为存储程序代码；以及
至少一个处理器，被配置为读取所述程序代码并如所述程序代码所指示地操作，所述程序代码包括：
确定代码，被配置为使所述至少一个处理器基于所述第二用户的第二视场(FoV)的速度来确定第一FoV，其中所述第二用户的所述FoV是没有缩减的原始FoV；
修改代码，被配置为使所述至少一个处理器通过以下方式中的至少一种来生成经修改的第一FoV：(1)基于所述第二用户的所述第二FoV的所述速度增加来缩减所述第一FoV，以及(2)基于所述第二用户的所述第二FoV的所述速度减小来增加所述第一FoV；以及
传输代码，被配置为使所述至少一个处理器将经修改的所述第一FoV传输到所述第一用户，并将经修改的所述第一FoV作为新视口呈现给所述第一用户。
10.根据权利要求9所述的设备，其中，所述确定代码进一步被配置为使所述至少一个处理器将所述第二用户的所述第二FoV的所述速度确定为由所述第二用户佩戴的头戴式显示器的速度或由所述第二用户操作的手持式设备的速度。
11.根据权利要求9所述的设备，其中，所述传输代码进一步被配置为使所述至少一个处理器基于所述第一用户的所述第一FoV被缩减，以低分辨率传输所述第二用户的所述第二FoV与所述第一用户的经修改的所述第一FoV之间的区域。
12.根据权利要求9所述的设备，其中，所述确定代码进一步被配置为使所述至少一个处理器通过向所述第二用户的所述第二FoV应用缩减因子来确定所述第一用户的所述第一FoV。
13.根据权利要求12所述的设备，其中，所述传输代码进一步被配置为使所述至少一个处理器在所述流式会话开始时或在所述流式会话期间通过会话描述协议(SDP)将所述缩减因子传输到所述第二用户，并且
其中所述缩减因子由所述第一用户定义。
14.根据权利要求9所述的设备，其中，所述传输代码进一步被配置为使所述至少一个处理器在所述流式会话开始时或在所述流式会话期间通过会话描述协议(SDP)将最小FoV传输到所述第二用户，并且
其中所述最小FoV由所述第一用户定义，并且所述第一FoV不小于所述最小FoV。
15.一种非易失性计算机可读介质，存储有指令，其特征在于，所述指令包括：一个或多个指令，所述一个或多个指令在由用于当第一用户在流式会话中跟随第二用户的视口时减轻晕动症的设备的至少一个处理器执行时，使所述至少一个处理器：
基于所述第二用户的第二视场(FoV)的速度来确定第一FoV，其中所述第二用户的所述FoV是没有缩减的原始FoV；
通过以下方式中的至少一种来生成经修改的第一FoV：(1)基于所述第二用户的所述第二FoV的所述速度增加来缩减所述第一FoV，以及(2)基于所述第二用户的所述第二FoV的所述速度减小来增加所述第一FoV；以及
将经修改的所述第一FoV传输到所述第一用户，并将经修改的所述第一FoV作为新视口呈现给所述第一用户。
16.根据权利要求15所述的非易失性计算机可读介质，其中，所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器将所述第二用户的所述第二FoV的所述速度确定为由所述第二用户佩戴的头戴式显示器的速度或由所述第二用户操作的手持式设备的速度。
17.根据权利要求15所述的非易失性计算机可读介质，其中，所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器基于所述第一用户的所述第一FoV被缩减，以低分辨率传输所述第二用户的所述第二FoV与所述第一用户的经修改的所述第一FoV之间的区域。
18.根据权利要求15所述的非易失性计算机可读介质，其中，所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器通过向所述第二用户的所述第二FoV应用缩减因子来确定所述第一用户的所述第一FoV。
19.根据权利要求18所述的非易失性计算机可读介质，其中，所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器在所述流式会话开始时或在所述流式会话期间通过会话描述协议(SDP)将所述缩减因子传输到所述第二用户，并且
其中所述缩减因子由所述第一用户定义。
20.根据权利要求1 5所述的非易失性计算机可读介质，其中，所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器在所述流式会话开始时或在所述流式会话期间通过会话描述协议(SDP)将最小FoV传输到所述第二用户，并且
其中所述最小FoV由所述第一用户定义，并且所述第一FoV不小于所述最小FoV。
CN202280004075.XA 2021-03-29 2022-03-24 用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术 Pending CN115552358A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163167304P 2021-03-29 2021-03-29
US63/167,304 2021-03-29
US17/698,082 US20220308341A1 (en) 2021-03-29 2022-03-18 Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
US17/698,082 2022-03-18
PCT/US2022/021675 WO2022212157A1 (en) 2021-03-29 2022-03-24 Techniques for subsiding motion sickness when viewport sharing in teleconferencing and telepresence for remote terminals

Publications (1)

Publication Number Publication Date
CN115552358A true CN115552358A (zh) 2022-12-30

Family

ID=83363531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280004075.XA Pending CN115552358A (zh) 2021-03-29 2022-03-24 用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术

Country Status (6)

Country Link
US (1) US20220308341A1 (zh)
EP (1) EP4100820A4 (zh)
JP (1) JP2023523847A (zh)
KR (1) KR20220157436A (zh)
CN (1) CN115552358A (zh)
WO (1) WO2022212157A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10007333B2 (en) * 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
EP3622487B1 (en) * 2017-05-18 2021-12-22 Samsung Electronics Co., Ltd. Method for providing 360-degree video and device for supporting the same
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
KR101951406B1 (ko) 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
CN110384921B (zh) 2018-04-23 2023-03-28 北京五一视界数字孪生科技股份有限公司 一种基于自适应边缘视野遮挡的vr应用防眩晕技术
US11557105B2 (en) * 2020-09-16 2023-01-17 Concordia University Managing real world and virtual motion

Also Published As

Publication number Publication date
WO2022212157A1 (en) 2022-10-06
EP4100820A1 (en) 2022-12-14
KR20220157436A (ko) 2022-11-29
US20220308341A1 (en) 2022-09-29
JP2023523847A (ja) 2023-06-07
EP4100820A4 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
US11914922B2 (en) Audio mixing for teleconferencing
JP7411791B2 (ja) リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ
US11943073B2 (en) Multiple grouping for immersive teleconferencing and telepresence
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
US20220308341A1 (en) Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
US11916982B2 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals using RTCP feedback
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
CN115701777A (zh) 自适应音频传输和渲染

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40080594

Country of ref document: HK