CN111788538A - 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法 - Google Patents

头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法 Download PDF

Info

Publication number
CN111788538A
CN111788538A CN201880090501.XA CN201880090501A CN111788538A CN 111788538 A CN111788538 A CN 111788538A CN 201880090501 A CN201880090501 A CN 201880090501A CN 111788538 A CN111788538 A CN 111788538A
Authority
CN
China
Prior art keywords
motion
camera
video
hmd
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880090501.XA
Other languages
English (en)
Other versions
CN111788538B (zh
Inventor
乔斯·阿里约
沃洛佳·格兰恰诺夫
古尼拉·伯恩森
阿尔文·朱迪·哈里·哈兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN111788538A publication Critical patent/CN111788538A/zh
Application granted granted Critical
Publication of CN111788538B publication Critical patent/CN111788538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种头戴式显示器(HMD)(100)，包括：相机(101)，被配置为以第一视场(FoV)(111)捕捉真实世界场景的视频；网络接口电路(102)，被配置为将视频流式传输到接收显示设备(140)；以及处理装置(103)，可操作用于生成真实世界场景的3D模型，并使用比第一FoV(111)宽的第二FoV从3D模型生成视频。处理装置(103)还可操作用于估计相机(101)的运动，并且如果所估计的相机(101)的运动满足指示快速运动的一个或多个条件，则将所生成的视频流式传输到接收显示设备(140)，否则将所捕捉的视频流式传输到接收显示设备(140)。还提供了一种由HMD执行的方法、相应的计算机程序以及相应的计算机可读存储介质。

Description

头戴式显示器以及减少所连接的远程显示器中视觉诱发运动 疾病的方法
技术领域
本发明涉及头戴式显示器(HMD)、由HMD执行的方法、相应的计算机程序和相应的计算机可读存储介质。
背景技术
头戴式显示器(HMD)或类似设备可用于视觉远程指导应用。例如，访问站点以便为无线电基站提供服务的支持工程师可能会佩戴HMD，该HMD包括前置相机，该相机捕捉该支持工程师正在查看的物理现实世界场景的视频，例如，无线电基站机柜。HMD可以用于向支持工程师显示相关文档，同时将所捕捉的视频流式传输到远程位置(例如，网络运营中心(NOC))，在远程位置处，由指导和/或协助支持工程师的专家查看该视频。
由于HMD中包括的相机的视野(FoV)有限，因此观看由HMD相机捕捉的视频的人仅具有由支持工程师访问的站点的有限FoV。特别是在放大HMD相机以提供要服务设备的特写视图的情况下。
由于所捕捉的视频的有限FoV，观看所捕捉的视频的人可能经受视觉诱发运动疾病(VIMS)。特别是在HMD相机快速移动的情况下，例如，在支持工程师旋转他/她的头部或快速改变位置的情况下。通常，VIMS是由可见但未感觉到的运动引起的。由于有限的FoV，视频仅捕捉到真实世界场景中视觉参考点的子集。
发明内容
本发明的目的是提供针对以上技术和现有技术的改进替代。
更具体地，本发明的目的是提供用于视觉远程指导应用的改进的解决方案。特别是，本发明的目的是提供用于减轻VIMS风险的视觉远程协作的解决方案。
通过如独立权利要求所定义的本发明的不同方面来实现本发明的这些目的和其它目的。从属权利要求表征本发明的实施例。
根据本发明的第一方面，提供了一种HMD。HMD包括被配置为以第一FoV捕捉真实世界场景的视频的相机、被配置为将视频流式传输到接收显示设备的网络接口电路以及处理装置。处理装置可操作用于生成真实世界场景的3D模型，并使用比第一FoV宽的第二FoV从该3D模型生成视频。处理装置还可操作用于估计相机的运动，并且如果所估计的相机的运动满足指示快速运动的一个或多个条件，则将所生成的视频流式传输到接收显示设备，否则，将所捕捉的视频流式传输到接收显示设备。
根据本发明的第二方面，提供了一种由HMD执行的方法。该方法包括：使用包括在HMD中的相机以第一FoV捕捉真实世界场景的视频，生成真实世界场景的3D模型，以及使用比第一FoV宽的第二FoV从3D模型生成视频。该方法还包括：估计相机的运动，并且如果所估计的相机的运动满足指示快速运动的一个或多个条件，则使用包括在HMD中的网络接口电路将所生成的视频流式传输到接收显示设备，否则，使用网络接口电路将所捕捉的视频流式传输到接收显示设备。
根据本发明的第三方案，提供了一种计算机程序。计算机程序包括计算机可执行指令，当该计算机可执行指令在HMD中包括的处理单元上执行时，使得HMD执行根据本发明的第二方面的实施例的方法。
根据本发明的第四方面，提供了一种计算机可读存储介质。计算机可读存储介质具有存储在其上的根据本发明的第三方面的计算机程序。
本发明利用如下理解：如果相机快速移动，则通过流式传输所生成的缩小视频而不是所捕捉的视频来减轻由HMD的实施例流式传输的视频的观看者经受VIMS的风险。
尽管已经在一些情况下参照本发明的第一方面描述了本发明的优点，相应的理由还适用于本发明的其他方面的实施例。
当研读以下的详细公开、附图和所附的权利要求时，本发明的另外的目的、特征和优点将变得明显。本领域技术人员意识到可以组合本发明的不同特征，以创建不同于以下描述的实施例的实施例。
附图说明
参照附图，通过以下对本发明的实施例的说明性且非限制性的详细描述，将更好地理解本发明的以上目的、特征和优点和附加目的、特征和优点，其中：
图1示出了根据本发明实施例的在远程协作场景中的HMD。
图2示出了根据本发明实施例的通过HMD进行视频的流式传输。
图3示出了包括在HMD中的处理装置的实施例。
图4示出了包括在HMD中的处理装置的另一实施例。
图5示出了根据本发明实施例的由HMD执行的方法。
所有的附图是示意性的，不一定按比例绘制，并且通常只示出了为了解释本发明所必需的部分，其中其他部分可被省略或仅仅暗示。
具体实施方式
以下将参照附图更全面地描述本发明，附图中示出了本发明的特定实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。相反，通过示例的方式给出这些实施例，使得本公开将是透彻和完整的，并且向本领域技术人员充分地传达本发明的范围。
本发明涉及视觉远程指导，其在当前上下文中包括：使用由第一人(例如，佩戴头戴式显示器(HMD)的支持工程师)所佩戴的头戴式相机来捕捉视频，以及与在可能遥远的不同位置观看所捕捉的视频的第二人共享所捕捉的视频(例如，通过流式传输)。第二人可以是例如指导和/或协助正在访问需要服务的站点(例如，无线电基站或电信网络的其他设备)的支持工程师的专家。尽管主要关于电信网络的服务设备描述了本发明的实施例，但是将理解的是，本发明的实施例可以用于许多不同类型的视觉远程指导应用，例如，服务载运工具(例如，汽车、卡车、火车和飞机)、服务家用电器(例如，洗碗机、洗衣机、冰箱和热泵)、服务数据中心中的计算机和网络设备、监控建筑工作、监视(例如，由保安人员或执法人员监视)等等。
在图1中，示出了根据本发明实施例的HMD 100。HMD 100包括相机101，其被配置为以第一视场(FoV)111捕捉真实世界场景的视频。相机101可以例如是前置相机，其捕捉佩戴HMD 100的用户151前面的场景。HMD 100还包括网络接口电路102，其被配置为将视频流式传输到接收显示设备140，其中，该视频可以被渲染并显示给观看者152。如图1中所示，佩戴HMD100的人151(在本文中被称为“用户”)和观看者152可以在可能遥远的不同的位置。在剩余部分中，假设用户151和观看者152正在远程协作。例如，用户151可以是访问电信网络的无线电基站站点的支持工程师，在该无线电基站站点处部署了无线电基站机柜121。使用接收显示设备140观看相机101捕捉的实时视频流的观看者152可以是指导和/或协助支持工程师(观看者)151的专家。
网络接口电路102可以例如基于任何已知的有线或无线通信技术。例如，网络接口电路102可以基于诸如无线局域网(WLAN)/Wi-Fi或蓝牙之类的短程无线电技术，或者诸如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、长期演进(LTE)或基于NR/NX的5G技术之类的蜂窝无线电技术。HMD 100和接收显示设备140之间的通信(即，数据交换，特别是视频的流式传输)可以使用任何适当的协议开始，例如，超文本传输协议(HTTP)、约束应用协议(CoAP)、实时流式传输协议(RTSP)、实时传输协议(RTP)、实时传输控制协议(RTCP)、HTTP动态自适应流式传输(DASH)等。如图1中所示，可以经由有线或无线连接131和132以及一个或多个通信网络130(例如，互联网)来传输HMD 100和接收显示设备140之间的通信。
HMD 100还包括处理装置103，其可操作用于使HMD 100根据本文阐述的本发明的实施例执行。更具体地，HMD 100可操作用于生成真实世界场景的3D模型，并使用比第一FoV111宽的第二FoV(即，真实世界场景的“缩小”视图)从3D模型生成视频。3D模型可以例如从相机101捕捉的视频生成(为此，相机101需要缩小，即，增加其FoV 111)和/或从包括在HMD100中的附加相机(例如，形成立体相机)生成。作为备选或附加，可以例如使用LIDAR或类似雷达技术或其他类型的3D扫描仪从一个或多个深度传感器生成3D模型。LIDAR通过用脉冲激光照射对象并用传感器检测反射脉冲来测量到目标对象的距离。然后可以使用激光返回时间和波长上的差异来生成对象的3D表示(即，3D模型)，并因此生成包括多个对象的真实世界场景的模型。
3D模型可以例如被生成、存储和处理为点云。通常，点云是某个坐标系中的数据点集合。基于点云，可以使用计算机图形学领域中已知的许多方法来生成3D表面。M.Berger、A.Tagliasacchi、L.M.Seversky、P.Alliez、G.Guennebaud、J.A.Levine、A.Sharf和C.T.Silva在“A Survey of Surface Reconstruction from Point Clouds”计算机图形学论坛，第36卷，第301-329页，Wiley，2017年中已经概述了从点云重构表面的方法。例如，R.A.Newcombe、S.Izadi、O.Hilliges、D.Molyneaux、D.Kim、A.J.Davison、P.Kohi、J.Shotton、S.Hodges和A.Fitzgibbon在“KinectFusion：Real-time dense surfacemapping and tracking”第10届IEEE混合和增强现实国际研讨会(ISMAR)，第127-136页，IEEE，2012年中报告了使用移动低成本深度相机(Microsoft Kinect传感器)实时绘制室内场景的情况。作为另一示例，S.Orts-Escolano等人在“Holoportation：Virtual 3DTeleportation in Real-time”第29届用户接口软件和技术年度研讨会论文集(UIST′16)，第741-754页，ACM，2016年中展示了使用立体深度相机对包括人、家具和物体的空间进行实时3D重构。
如计算机图形学领域中已知的，视频随后可以例如由点云表示的3D模型生成。例如，这可以通过使用现成的软件来实现，例如，点云库(PCL)(http：//pointclouds.org/)、用于2D/3D图像和点云处理的框架、开放图形库(OpenGL(https：//www.opengl.org/)、用于渲染2D和3D矢量图形的库、或Unity 3D(https：//unity3d.com/)、用于渲染2D和3D视频的游戏引擎。
HMD 100还可操作用于估计相机101的运动。例如，HMD 100还可以包括至少一个被配置为感测HMD 100的运动的运动传感器104，例如，加速度计、陀螺仪、磁力计、全球定位系统(GPS)传感器等。HMD 100可操作用于通过分析测量数据和/或从运动传感器104接收到的信号并基于HMD 100的几何形状，基于所感测到的HMD 100的运动来估计相机101的运动，特别是相机101和运动传感器104之间的距离。更具体地，HMD 100可以可操作用于估计相机101的旋转运动、倾斜运动或平移运动中的至少一种，这种运动是由佩戴HMD 100的用户151的头部的相应运动引起的。
作为备选，HMD 100可以可操作用于基于分析由相机101捕捉的视频的后续帧来估计相机101的运动。这可以例如通过从视频编码/压缩中已知的(全局)运动估计来实现。运动估计是确定运动向量的过程，该运动向量描述从一个图像到另一个图像的转换，通常在视频序列(例如，由相机101捕捉的视频)中的相邻帧之间。如本领域中已知的，这可以例如通过利用块匹配算法在视频帧序列中定位匹配宏块来实现。
HMD 100还可操作用于确定所估计的相机101的运动是否满足指示快速运动的一个或多个条件，并且如果满足，则将所生成的视频(即，使用比第一FoV 111宽的第二FoV从3D模型生成的视频)流式传输到接收显示设备140。如果所估计的相机101的运动不满足指示快速运动的一个或多个条件，则HMD 100还可操作用于将所捕捉的视频(即，由相机101使用第一FoV 111捕捉的视频)流式传输到接收显示设备140。指示快速运动的一个或多个条件优选地指示会使所捕捉的视频的观看者可能经受VIMS的运动状态。
该一个或多个条件可以是例如平移速度或速率、平移加速度、旋转速度或速率以及旋转加速度中的任何一个或其组合的阈值。在这方面，HMD 100可操作用于通过将所估计的相机101的运动与一个或多个阈值进行比较来确定所估计的相机101的运动是否满足指示快速运动的一个或多个条件。例如，HMD 100可以可操作用于：如果所估计的相机101的运动超过一个或多个阈值，则确定该估计的运动满足指示快速运动的一个或多个条件。例如，这种情况例如可以是：佩戴HMD100的用户151通过平移(向前/向后/向左/向右移动)、旋转(向左/向右转)或通过倾斜(向前/向后/向左/向右)快速移动他/她的头部。
作为示例，HMD 100可以可操作用于通过在一定的时间段内(例如，十分之几秒和几秒之间)对所估计的相机101的若干运动值进行平均和可能的加权来跟踪相机101的运动。优选地，例如针对由相机101捕捉的每个视频帧，定期地计算所估计的相机101的平均运动的当前值Vave(即，以所捕捉的视频的帧率)。备选地，可以针对每个第n帧(即，以帧率的1/n)计算所估计的相机101的平均运动的当前值，其中，n是正整数。例如，在当前时间t0，所估计的相机101的当前平均运动可以被计算为：
Figure BDA0002655329580000071
其中，V(t)是在时间t所估计的相机101的运动，并且加权函数w(t)被选择为：
Figure BDA0002655329580000072
并且对于ti＜tj，w(ti)＜w(tj)。
在该特定示例中，所估计的相机101的运动V(t)可以是任何速度分量，例如，平移或旋转速度分量、平移或旋转速度的绝对值或其组合。
一个或多个阈值可以例如由HMD 100的制造商、用于远程协作的软件的提供者来配置，该软件由处理装置103或者由用户151执行。阈值可以表示为绝对值或相对值。参考以上示例，如果所估计的相机101的当前运动V(t0)超过所估计的相机101的当前平均运动Vave(t0)一定量，即，如果
V(t0)＞a·Vave(t0)，
其中，a＞1，则例如可以认为满足指示快速运动的条件。例如，如果a＝1.5，则如果所估计的相机101的当前运动超过其当前平均运动至少50％，则满足指示快速运动的条件。
可选地，可以在正常操作期间学习和调整一个或多个阈值。例如，接收显示设备140可操作用于检测观看者152是否经受经受VIMS并相应地通知HMD 100。相应地，HMD 100可以在接收到这样的通知时操作以记录估计的运动值，例如触发VIMS的平移/旋转速度/速率或加速度。基于这种记录的估计运动值，HMD 100可操作用于确定一个或多个阈值，该一个或多个阈值被选择以便最小化观看者152经受VIMS的风险。例如，基于记录的估计运动值，可以将阈值设置在触发VIMS的所记录的估计运动值的下限或正好低于下限。
本发明的实施例的优点在于，降低了人(例如，观看者152)观看从非静止相机(例如，由用户151佩戴的HMD 100中包括的相机101)接收并由其捕获的视频流的风险。这可以通过如下方式来实现：在HMD 100没有快速移动时(即，如果所估计的相机101的运动不满足指示快速运动的一个或多个条件)将相机101捕捉的视频流式传输到接收显示设备140、与在HMD 100快速移动时使用比相机101的第一FoV宽的第二FoV将从真实世界场景的3D模型生成的视频流式传输到接收显示设备140之间进行切换。通过针对所生成的视频从相机101的第一FoV 111缩小到较大的第二FoV，来自真实世界场景的附加参考点(例如，图1所示的门122)在显示给观看者152的流式传输的(生成的)视频中变得可见。因此，降低了甚至减轻了观看者152经受VIMS的风险。
可选地，仅当所估计的相机101的运动满足指示快速运动的一个或多个条件时，HMD 100才可操作用于生成真实世界场景的3D模型。从而，减少了从所捕捉的视频生成3D模型和/或从附加相机和/或深度传感器接收的数据生成3D模型所需的处理量，这有利地导致HMD 100的电池寿命增加。
可选地，仅当所估计的相机101的运动满足指示快速运动的一个或多个条件时，HMD 100才可操作用于使用比第一FoV宽的第二FoV从3D模型生成视频。从而，减少了从3D模型生成视频所需的处理量，这有利地导致HMD 100的电池寿命增加。
根据本发明的实施例，取决于所估计的相机101的运动是否满足指示快速运动的一个或多个条件，由HMD 100在不同视频表示之间(即，在所捕捉的视频和所生成的视频之间)的切换在图2中进一步示出。更具体地，图2A例示了当佩戴HMD 100的用户151面对无线电基站机柜121时(如图1所示)由相机101捕捉的视频的帧210，其中，所捕捉的视频帧210显示在接收显示设备140上。
在图2B中，示例了从用户151正在观察的真实世界场景的3D模型生成的视频帧220。将理解的是，图2B中所示的帧220是从真实世界场景的3D模型生成的，并且通常不如图2A中所示的由相机101捕捉的帧210详细。尤其是关于细节、表面纹理等的细节水平通常取决于可用于从3D模型生成视频的处理资源。注意，以与所捕捉的帧210基本相同的FoV(即，相机101的第一FoV 111)生成帧220。相反，图2C示出了以FoV从真实世界场景的3D模型生成的帧230，该FoV比用于捕捉帧210的相机101的第一FoV 111宽。换句话说，帧230提供了从真实世界场景的3D模型生成的、在佩戴HMD 100的用户151前面的真实世界场景的缩小视图。有利地，与帧220相比，帧230的缩小视图包含现实世界场景中的附加参考点，门122。由于该附加参考点，降低了甚至减轻了远程观看者152经受VIMS的风险。
进一步参考图1，如果所估计的相机101的运动满足指示快速运动的一个或多个条件，并且第一FoV 111小于代表人类FoV的阈值，则HMD 100可操作用于将所生成的视频流式传输到接收显示设备140。否则，HMD 100可操作用于将所捕捉的视频流式传输到接收显示设备140。代表人类FoV的阈值可以例如由HMD 100的制造商、用于远程协作的软件的提供者配置，该软件由处理装置103或由用户151执行，并且可以呈现人类FoV的通用值或代表观看者152的FoV的特定值。
HMD 100还可操作用于基于第一FoV 111和所估计的相机101的运动来确定第二FoV。例如，可以选择第二FoV，使得至少一个附加参考点在所生成的视频中可见。可以基于所生成的真实世界场景的3D模型和所估计的相机101的运动来确定附加参考点的存在及其相对于相机101的当前第一FoV 111的相应位置。后者可以用于确定需要将FoV扩大到什么程度才能使真实世界场景中的参考点在所生成的视频中可见。特别地，由于相机101的运动和第一FoV 111的相关联运动，在所生成的视频中将变得可见的参考点就是这种情况。流式传输到接收显示设备140的所生成的视频中附加参考点的存在降低了观看者152经受VIMS的风险。备选地，第二FoV可以由HMD 100的制造商、用于远程协作的软件的提供者预先配置，该软件由处理装置103、用户151或者观看者152执行。例如，接收显示设备140可操作用于通过改变接收显示设备140上的设置而使观看者152能够调整第二FoV，该设置被发信号通知给HMD 100。
在将所生成的视频流式传输到接收显示设备140之后，HMD 100还可操作用于响应于以下至少一项而将所捕捉的视频流式传输到接收显示设备140：在预定时间段内流式传输所生成的视频，并确定所估计的相机101的运动满足指示稳定运动的一个或多个条件。换句话说，如果例如在特定时间段内(例如，五秒)所估计的相机101的运动满足指示快速运动的一个或多个条件，则HMD 100可操作用于切换回流式传输所捕捉的视频。选择该时间段，以便例如由于在所生成的缩小视频中可见的附加参考点，允许观看者152的大脑适应快速运动。HMD 100可操作用于基于一个或多个阈值来确定所估计的相机101的运动满足指示稳定运动的一个或多个条件，与上文中参考确定所估计的相机101的运动是否满足指示快速运动的一个或多个条件所述类似。例如，如果指示快速运动的一个或多个条件被表示为超过所测量的HMD 100或相机101的加速度(平移或旋转)的阈值，则指示稳定运动的一个或多个条件可以以不超过(即小于)所测量的加速度的对应阈值的所估计的相机101的运动来表示。用于分别检测快速运动和稳定运动的一个或多个阈值的集合可以相同或不同。有利地，使用不同的值以便提供滞后效果并防止在流式传输所捕捉的视频和流式传输所生成的缩小视频之间快速来回切换。备选地，可以使用计时器来确保在HMD 100切换为流式传输所生成的缩小视频之前，在特定时间段内流式传输所捕捉的视频，反之亦然。
尽管已经主要参考HMD 100描述了本发明的实施例，但是将理解的是，本发明的实施例可以基于除HMD之外的相机设备。例如，本发明的实施例可以在移动电话、智能电话、平板电脑、数字相机等中实现，其可以握在用户151的手中或附接到用户151的身体部位。作为示例，本发明的实施例可以在附接到用户151的头部或用户151佩戴的头盔的头戴式相机(例如，GoPro相机)中实现。
在下文中，参考图3和图4描述包括在HMD(例如，HMD 100)的实施例中的处理装置103的实施例。
在图3中示出了处理装置103的第一实施例300。处理装置300包括处理单元302(例如，通用处理器)和计算机可读存储介质303(例如，随机存取存储器(RAM)、闪存等)。另外，处理装置300包括：一个或多个接口301(图3中的“I/O”)，用于控制HMD中包括的其它组件(例如，相机101、网络接口电路102、以及运动传感器104)和/或从HMD中包括的其它组件接收信息。存储器303包含有计算机可执行的指令304(即，计算机程序或软件)，用于使HMD变为可操作用于：当在处理单元302上执行计算机可执行的指令304时，根据如本文所述的本发明的实施例来执行。
在图4中示出了处理装置103的备选实施例400。类似于处理装置300，处理装置400包括：一个或多个接口401(图4中的“I/O”)，用于控制HMD中包括的其它组件(例如，相机101、网络接口电路102、以及运动传感器104)和/或从HMD中包括的其它组件接收信息。处理装置400还包括：被配置为使HMD根据如本文所述的本发明的实施例执行的模型模块402、视频模块403、运动模块404、以及流式传输模块405。
特别地，模型模块402被配置为生成真实世界场景的3D模型，并且视频模块403被配置为使用比第一FoV 111宽的第二FoV从3D模型生成视频。运动模块404被配置为估计相机101的运动。流式传输模块405被配置为：如果所估计的相机的运动满足指示快速运动的一个或多个条件，则将所生成的视频流式传输到接收显示设备140，否则将所捕捉的视频流式传输到接收显示设备140。优选地，指示快速运动的一个或多个条件指示会使所捕捉的视频的观看者经受VIMS的运动状态。
可选地，流式传输模块405可以被配置为：如果所估计的相机101的运动满足指示快速运动的一个或多个条件，并且第一FoV 111小于代表人类FoV的阈值，则将所生成的视频流式传输到接收显示设备140，否则将所捕捉的视频流式传输到接收显示设备140。
可选地，运动模块404可以被配置为基于所感测到的HMD 100的运动来估计相机101的运动。备选地，运动模块404可以被配置为基于分析所捕捉的视频的后续帧来估计相机101的运动。
可选地，视频模块403可以被配置为基于第一FoV 111和所估计的相机101的运动来确定第二FoV。
可选地，流式传输模块405还可以被配置为：在将所生成的视频流式传输到接收显示设备140之后，并且响应于以下中的至少一项：在预定持续时间内流式传输所生成的视频、以及确定所估计的相机101的运动满足指示稳定运动的一个或多个条件，将所捕捉的视频流式传输到接收显示设备140。
如本文所述，包括在处理装置400中的模块402-405还可以被配置为执行根据本发明的实施例的附加或备选操作。
接口301和401、以及模块402-405，以及处理装置400中包括的任意附加模块，可以通过任何类型的电子电路(例如，模拟电子电路、数字电子电路、以及执行合适的计算机程序(即，软件)的处理装置中的任意一个或其组合)来实现。
在下文中，参考图5描述由HMD(例如，HMD 100)执行的方法的实施例500。
方法500包括：使用包括在HMD中的相机以第一FoV捕捉501真实世界场景的视频，生成503/513真实世界场景的3D模型，以及使用比第一FoV 111宽的第二FoV从3D模型生成504/514视频。方法500还包括：估计505相机101的运动，以及如果所估计的相机101的运动满足506指示快速运动的一个或多个条件，则使用HMD 100中包括的网络接口电路102将所生成的视频流式传输515到接收显示设备140，否则使用网络接口电路102将所捕捉的视频流式传输525到接收显示设备140。优选地，指示快速运动的一个或多个条件指示会使所捕捉的视频的观看者经受VIMS的运动状态。
可选地，如果相机101的估计505运动满足506指示快速运动的一个或多个条件，并且第一FoV 111小于代表人类FoV的阈值，则将所生成的504视频流式传输515到接收显示设备140，否则将所捕捉的视频流式传输525到接收显示设备140。
可选地，使用包括在HMD 100中的至少一个运动传感器104、基于所感测的HMD 100的运动来估计505相机101的运动。备选地，基于分析所捕捉501的视频的后续帧来估计505相机101的运动。
可选地，方法500还可以包括基于第一FoV 111和相机101的估计505运动来确定512第二FoV。
可选地，方法500还包括：在将所生成的视频流式传输515到接收显示设备140之后，并且响应于以下中的至少一项：在预定持续时间内流式传输516所生成的视频，以及确定所估计的相机的运动满足517指示稳定运动的一个或多个条件，将所捕捉的视频流式传输525到接收显示设备140。
将要理解的是，方法500可以包括根据贯穿本公开描述的内容的附加步骤或修改的步骤。方法500的实施例可以被实现为诸如由HMD中包括的处理单元执行的计算机程序304之类的软件，从而HMD变为可操作以根据本文描述的本发明的实施例来执行。
本领域技术人员意识到本发明绝不限于上述实施例。相反，可以在所附的权利要求的范围内做出许多修改和变化。

Claims (16)

1.一种头戴式显示器HMD(100)，包括：
相机(101)，被配置为以第一视场(111)捕捉真实世界场景的视频，
网络接口电路(102)，被配置为将视频流式传输到接收显示设备(140)，以及
处理装置(103)，操作用于：
生成真实世界场景的3D模型，
使用比所述第一视场(111)宽的第二视场从所述3D模型生成视频，
估计所述相机(101)的运动，并且
如果估计的所述相机(101)的运动满足用于指示快速运动的一个或多个条件：
则将所生成的视频流式传输到所述接收显示设备(140)，否则：
将所捕捉的视频流式传输到所述接收显示设备(140)。
2.根据权利要求1所述的HMD，所述处理装置(103)操作用于：如果估计的所述相机(101)的运动满足用于指示快速运动的一个或多个条件，并且所述第一视场(111)小于代表人类视场的阈值，则将所生成的视频流式传输到所述接收显示设备(140)，否则将所捕捉的视频流式传输到所述接收显示设备(140)。
3.根据权利要求1或2所述的HMD，还包括至少一个运动传感器(104)，所述运动传感器(104)被配置为感测所述HMD(100)的运动；所述处理装置(103)操作用于：基于所感测的所述HMD(100)的运动来估计所述相机(101)的运动。
4.根据权利要求1或2所述的HMD，所述处理装置(103)操作用于：基于分析所捕捉的视频的后续帧来估计所述相机(101)的运动。
5.根据权利要求1至4中任一项所述的HMD，所述处理装置(103)还操作用于：基于所述第一视场(111)和估计的所述相机(101)的运动来确定所述第二视场。
6.根据权利要求1至5中任一项所述的HMD，其中，用于指示快速运动的一个或多个条件指示：会使所捕捉的视频的观看者(152)经受视觉诱发运动疾病VIMS的运动状态。
7.根据权利要求1至6中任一项所述的HMD，所述处理装置(103)还操作用于：在将所生成的视频流式传输到所述接收显示设备(140)之后，响应于以下至少一项将所捕捉的视频流式传输到所述接收显示设备(140)：
在预定的时间段内流式传输所生成的视频，以及
确定估计的所述相机(101)的运动满足用于指示稳定运动的一个或多个条件。
8.一种由头戴式显示器HMD执行的方法(500)，所述方法包括：
使用包括在所述HMD中的相机以第一视场捕捉(501)真实世界场景的视频，
生成(503、513)所述真实世界场景的3D模型，
使用比所述第一视场宽的第二视场从所述3D模型生成(504、514)视频，
估计(505)所述相机的运动，并且
如果估计的所述相机的运动满足(506)用于指示快速运动的一个或多个条件：
则使用包括在所述HMD中的网络接口电路将所生成的视频流式传输(515)到接收显示设备，否则：
使用所述网络接口电路将所捕捉的视频流式传输(525)到所述接收显示设备。
9.根据权利要求8所述的方法，其中，如果估计的所述相机的运动满足(506)用于指示快速运动的一个或多个条件，并且所述第一视场小于代表人类视场的阈值，则将所生成的视频流式传输(515)到所述接收显示设备，否则将所捕捉的视频流式传输(525)到所述接收显示设备。
10.根据权利要求8或9所述的方法，其中，使用包括在所述HMD中的至少一个运动传感器基于所感测的所述HMD的运动来估计(505)所述相机的运动。
11.根据权利要求8或9所述的方法，其中，基于分析所捕捉的视频的后续帧来估计(505)所述相机的运动。
12.根据权利要求8至11中任一项所述的方法，还包括：基于所述第一视场和估计的所述相机的运动(505)来确定(512)所述第二视场。
13.根据权利要求8至12中任一项所述的方法，其中，用于指示快速运动的一个或多个条件指示：会使所捕捉的视频的观看者经受视觉诱发运动疾病VIMS的运动状态。
14.根据权利要求8至13中任一项所述的方法，还包括：在将所生成的视频流式传输(515)到所述接收显示设备之后，响应于以下至少一项将所捕捉的视频流式传输(525)到所述接收显示设备：
在预定的时间段内流式传输(516)所生成的视频，以及
确定估计的所述相机的运动满足(517)用于指示稳定运动的一个或多个条件。
15.一种包括计算机可执行指令的计算机程序(304)，当所述计算机可执行指令在头戴式显示器HMD中包括的处理单元(302)上执行时，使HMD执行根据权利要求8至14中任一项所述的方法。
16.一种计算机可读存储介质(303)，存储有根据权利要求15所述的计算机程序(304)。
CN201880090501.XA 2018-03-28 2018-06-04 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法 Active CN111788538B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862649106P 2018-03-28 2018-03-28
US62/649,106 2018-03-28
PCT/EP2018/064592 WO2019185173A1 (en) 2018-03-28 2018-06-04 Head-mounted display and method to reduce visually induced motion sickness in a connected remote display

Publications (2)

Publication Number Publication Date
CN111788538A true CN111788538A (zh) 2020-10-16
CN111788538B CN111788538B (zh) 2023-08-25

Family

ID=62631050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090501.XA Active CN111788538B (zh) 2018-03-28 2018-06-04 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法

Country Status (16)

Country Link
US (1) US11587285B2 (zh)
EP (1) EP3776143B1 (zh)
JP (1) JP6993516B2 (zh)
KR (1) KR102456332B1 (zh)
CN (1) CN111788538B (zh)
AR (1) AR114718A1 (zh)
AU (1) AU2018416431B2 (zh)
BR (1) BR112020014077B1 (zh)
CA (1) CA3093180C (zh)
CO (1) CO2020008872A2 (zh)
ES (1) ES2898216T3 (zh)
MX (1) MX2020009804A (zh)
RU (1) RU2751981C1 (zh)
SG (1) SG11202006241XA (zh)
WO (1) WO2019185173A1 (zh)
ZA (1) ZA202003994B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
EP4143793A4 (en) * 2020-04-30 2024-05-22 Marsupial Holdings Inc DISPLAY DEVICE WAS WEARABLE NEAR THE EYE WITH EXTENDED FIELD OF VISION
WO2022060518A1 (en) 2020-09-15 2022-03-24 Carnelian Laboratories Llc Head-mountable device and connector
US11816231B2 (en) 2021-11-22 2023-11-14 Bank Of America Corporation Using machine-learning models to determine graduated levels of access to secured data for remote devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050174470A1 (en) * 2004-02-06 2005-08-11 Olympus Corporation Head-mounted camera
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
KR20170044319A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이의 시야 확장 방법
US20170308258A1 (en) * 2014-09-26 2017-10-26 Lg Electronics Inc. Mobile device, hmd and system
US20180144547A1 (en) * 2015-06-30 2018-05-24 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648907B2 (en) 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9390344B2 (en) 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
JP6511893B2 (ja) * 2015-03-23 2019-05-15 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050174470A1 (en) * 2004-02-06 2005-08-11 Olympus Corporation Head-mounted camera
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20170308258A1 (en) * 2014-09-26 2017-10-26 Lg Electronics Inc. Mobile device, hmd and system
US20180144547A1 (en) * 2015-06-30 2018-05-24 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
KR20170044319A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이의 시야 확장 방법

Also Published As

Publication number Publication date
CN111788538B (zh) 2023-08-25
BR112020014077B1 (pt) 2022-10-04
CO2020008872A2 (es) 2020-07-31
WO2019185173A1 (en) 2019-10-03
MX2020009804A (es) 2020-10-14
ES2898216T3 (es) 2022-03-04
EP3776143B1 (en) 2021-09-29
EP3776143A1 (en) 2021-02-17
CA3093180C (en) 2023-02-28
JP2021520668A (ja) 2021-08-19
RU2751981C1 (ru) 2021-07-21
US20210335032A1 (en) 2021-10-28
SG11202006241XA (en) 2020-07-29
KR20200123833A (ko) 2020-10-30
AU2018416431B2 (en) 2021-07-29
JP6993516B2 (ja) 2022-01-13
AR114718A1 (es) 2020-10-07
ZA202003994B (en) 2022-09-28
US11587285B2 (en) 2023-02-21
BR112020014077A2 (pt) 2020-12-01
KR102456332B1 (ko) 2022-10-20
AU2018416431A1 (en) 2020-08-13
CA3093180A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
CN110114803B (zh) 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
JP6503070B2 (ja) 携帯型デバイスの位置を決定するための方法
CN111788538B (zh) 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法
JP7472362B2 (ja) 受信方法、端末及びプログラム
US10754423B2 (en) Providing virtual reality experience service
US10712555B2 (en) Streaming virtual reality video
KR102363364B1 (ko) 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템
US10277832B2 (en) Image processing method and image processing system
CN111316650A (zh) 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法
JP6486377B2 (ja) ビデオ送信
CN111627116A (zh) 图像渲染控制方法、装置及服务器
US20170201689A1 (en) Remotely controlled communicated image resolution
US10607088B2 (en) Image processing device, image processing method, and image processing system
TW201306601A (zh) 基於圖框相似性及視覺品質及興趣之圖框編碼選擇
CN106375646B (zh) 一种信息处理方法及终端
JP2020017804A (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
JP2021184115A (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036051

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant