CN110192389A - 一种网真系统 - Google Patents

一种网真系统 Download PDF

Info

Publication number
CN110192389A
CN110192389A CN201780083802.5A CN201780083802A CN110192389A CN 110192389 A CN110192389 A CN 110192389A CN 201780083802 A CN201780083802 A CN 201780083802A CN 110192389 A CN110192389 A CN 110192389A
Authority
CN
China
Prior art keywords
camera
viewpoint
head
processing system
azimuth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780083802.5A
Other languages
English (en)
Inventor
雷蒙德·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smoding Private Ltd
Original Assignee
Smoding Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smoding Private Ltd filed Critical Smoding Private Ltd
Publication of CN110192389A publication Critical patent/CN110192389A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种网真系统，包括多个摄像头、头戴式显示设备、处理系统和第一方位传感器，其特征在于，所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠，所述处理系统用于从所述多个摄像头的每一个中接收图像数据；从所述第一方位传感器中接收方位信息；选择一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息；将从当前选择的摄像头中接收到的图像数据发送至所述头戴式显示设备，并且如果新接收到的方位信息显示预定阈值的方位发生改变，则从当前选择的摄像头切换至位于其他视点的一个或两个新选择的摄像头。

Description

一种网真系统
技术领域
本发明涉及一种网真系统及图像处理方法。本发明还涉及一种虚拟现实系统及在头戴式显示设备上呈现3D虚拟世界的方法。
背景技术
在许多人眼中，长期以来一直希望在远程位置体验真实世界里的物理环境或空间。人们已经尝试使用这种远程体验，随着时间的推移，从胶片式电影、黑白电视、彩色电视、3D电视，到最近出现的头戴式显示器(HMD)，例如在虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用中经常使用的显示器。
所有这些技术的问题在于，观众感觉不到其正处于远程位置，因为她被她周围的真实环境所分心，或者当她移动或需要控制系统时，她的现场感会被打破。即使使用立体全景解决方案，用户在体验远程位置方面也非常有限，因为她只能环顾四周，并且无法在不打破沉浸的情况下从不同角度观看远程环境。
专利US6.522.325B1公开了一种使用微型摄像头的模块化互锁阵列的远程呈现系统。摄像设置在轨道上，每个轨道上有多个摄像头。这些摄像头各自与阵列上的每个相邻摄像头固定并在特定环境中分散设置，将图像输出传输到相关的存储节点，从而使远程观看者能够通过相同的移动光反射和阴影来导航这样的环境，这些反射和阴影可描述出一个实际环境内的运输。
发明内容
现有技术中的缺点是用户需要图形的用户界面或其他导航装置，例如键盘或操纵杆，以改变摄像头并在远程世界中的移动。
本发明的一个目的是提供一种网真系统，为用户提供更真实体验。
本发明第一方面提供了一种网真系统，包括多个摄像头、头戴式显示设备、处理系统和第一方位传感器，其特征在于，所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠，所述处理系统用于：
从所述多个摄像头的每一个中接收图像数据；
从所述第一方位传感器中接收方位信息；
选择一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息；
将从当前选择的摄像头中接收到的图像数据发送至所述头戴式显示设备，并且
如果新接收到的方位信息显示预定阈值的方位发生改变，则从当前选择的摄像头切换至位于其他视点的一个或两个新选择的摄像头。
应当指出，由于方位改变是连续发生的，因此在选择其他摄像头之前需要以最小量的进行改变。所提到的阈值可以取决于安装摄像头的数量，或者安装摄像头的视点之间的距离，或者取决于上述两者。
本发明第一方面提供的网真系统使用户能够看到远程世界，并通过简单地旋转其头部或身体来进行移动。因此用户不需要操作任何用户界面。感觉就像他在另一个世界，并不需要忙于操作任何导航工具。
可选地，所述第一方位传感器与所述头戴式显示设备分离。所述第一方位传感器设置于非头戴式设备的穿戴式设备中。如果可穿戴设备在身体上，它将与身体一起旋转。在这种情况下，用户只需旋转其身体就可以穿越远程世界。用户不需要走路，并且可以坐在例如转椅上。通过打开转椅，传感器检测到方位的变化，并且处理系统使用该方位的改变来选择其他摄像头。然后，用户将从不同的角度看到远程世界中的场景，并且如果摄像头以阵列方式对齐，用户将体验远程世界的中自然运动。
可选地，述摄像头基本设置于水平平面上，并且所述处理系统用于检测第一方位传感器围绕垂直于水平面的y轴的旋转，当从上方看时，
可检测到第一方位传感器进行顺时针旋转，所述处理系统将切换至新选择的摄像头，当面向当前使用的摄像头视野时，新选择的摄像头位于当前选择的摄像头的右侧；
可检测到第一方位传感器进行逆时针旋转，所述处理系统将切换至新选择的摄像头，当面向当前使用的摄像头视野时，新选择的摄像头位于当前选择的摄像头的左侧。
在这种情况下，如果用户向左(逆时针)旋转，其视角将在远程世界中向左移动。用户能够通过旋转一定程度来控制他在远程世界中的视点，从而沿着由摄像头的位置限定的轨迹进行移动。应当指出，在另一实施例中，通过远程世界进行的移动与上述移动相反。
可选地，相邻的摄像头具有平行或聚合的光轴。这意味着在一组摄像头中，两个相邻的摄像头聚焦在一个区域上。应当指出，存在替代方案，其中相邻摄像头具有发散的光轴。此外，有可能沿着曲折轨迹安装摄像头，其中一些相邻摄像头具有聚合的光轴，而其他摄像头具有发散或平行的光轴。
可选地，所述多个摄像头按照曲线或一定角度的轨迹排成阵列。所述曲线或一定角度的轨迹为闭环，其中所述摄像头的视场为向内指向的。这种配置使得能够观看到适于观看在场地中发生的区域。应当指出，“场地”一词需要进行非常广泛地解释，并且在这种情况下，它涉及可以进行诸如体育赛事之类的事件的任何区域。
可选地，所述多个摄像头设置成至少两个阵列，每个阵列按照曲线或一定角度的轨迹进行排列。两个阵列可以设置在不同的高度上，使得观看者可以从一个水平线(即高度)切换至另一个水平面。所述多个摄像头基本上设置于虚构的球体上。这种配使得能够在三维空间中移动场景。通过这种配置，用户可以通过旋转其身体和/或头部，在水平平面中从左到右移动视点，在垂直平面中上下移动视点。
可选地，所述处理系统用于将从两个相邻摄像头接收到的图像数据发送至所述头戴式显示设备，其中从相邻摄像头中的第一个接收到的图像数据显示在所述头戴式显示设备的第一显示器或显示部件上，从相邻摄像头中的第二个接收到的图像数据显示在所述头戴式显示设备的第二显示器或显示部件上。这样，仅使用简单的非立体摄像头就可以生成立体视图。
可选地，所述处理系统用于接收放大命令，在接收到放大命令时，从当前选择的摄像头切换至两个新选择的摄像头，这两个新选择的摄像头为从当前选择摄像头的垂线中除去当前选择的摄像头。所述处理系统用于检测第一方位传感器围绕垂直于水平轴的旋转，并将检测到的旋转转换为放大或缩小命令。通过这种方式，可以通过检测围绕方位传感器上水平轴的旋转来生成放大命令，该旋转可以设置在用户的躯干或头部上。例如，通过向前弯曲，用户可以发出放大的指令，而向后弯曲可以发出缩小的命令。
可选地，所述网真系统包括设置于用户头部或头戴式显示设备上的第二方位传感器，其中所述处理系统用于根据第二方位传感器接到收的方位信息来选择当前使用的一个或多个摄像头视场的一部分。
可选地，所述一个或两个摄像头的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的一个或多个摄像头。
可选地，两个摄像头之间的距离至少为1米。
本发明第二方面提供一种图像处理方法，包括：
从所述多个摄像头的每一个中接收图像数据，其特征在于，所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠；
从所述第一方位传感器中接收方位信息；
选择一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息；
将从当前选择的摄像头中接收到的图像数据发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的摄像头切换至位于其他视点的一个或两个新选择的摄像头。
可选地，所述一个或两个摄像头的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的一个或多个摄像头。
本发明第三方面提供一种虚拟现实系统，包括虚拟世界中的多个视点、头戴式显示设备、处理系统和第一方位传感器，其特征在于，所述多个视点为对齐设置，使得每个视点的视场都至少与相邻视点的视场相重叠，所述处理系统用于：
在所述头戴式显示设备上呈现3D虚拟世界；
从所述第一方位传感器中接收方位信息；
从所述3D虚拟世界中选择视点，所述视点的选择取决于接收到的方位信息；
将从当前选择的视点中看到的3D虚拟世界发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的视点切换至另一个新选择的视点。
可选地，所述处理系统用于根据接收到的方位信息的变化，通过所述3D虚拟世界来移动视点。所述方位传感器与所述头戴式显示设备分离，并且可以设置于例如项链或其他穿戴式设备上。如果传感器附接到身体上，那么能够通过旋转身体来控制视点。头部的独立旋转不会触发视点的移动，但可以改变观察方位。
可选地，当从上方看时，如果检测到第一方位传感器进行顺时针旋转，则所述处理系统用于将视点向右移动，如果检测到第一方位传感器进行逆时针旋转，则所述处理系统用于将视点向左移动。通过这种方式，用户可以通过旋转其身体虚拟地在3D虚拟世界中进行移动。用户不需要走路，也不需要使用任何用户界面。用户可以简单地坐在例如转椅上来旋转其身体。几分钟之内，用户会感到很自然。
可选地，所述虚拟现实系统进一步包括设置于头戴式显示设备中的第二方位传感器。或者，所述第二传感器可以在使用期间设置于用户的头部。所述处理系统用于基于第二方位传感器的方位信息，从当前选择的视点中确定视角。
可选地，所述处理系统用于接收放大命令，并且在接收到放大命令时，通过由第一方位传感器确定的用户躯干所面向的3D虚拟世界来移动视点。
可选地，所述处理系统用于检测第一方位传感器围绕垂直于水平轴的旋转，并将检测到的旋转转换为放大或缩小命令。
可选地，所述视点的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的视点。
本发明第四方面提供了一种在头戴式显示设备上呈现3D虚拟世界的方法，包括：
从虚拟世界中的多个视点进行观看，呈现出虚拟世界的左眼和右眼图像，其特征在于，所述多个视点为对齐设置，使得每个视点的视场都至少与相邻视点的视场相重叠；
从所述第一方位传感器接收方位信息；
从所述3D虚拟世界中选择视点，所述视点的选择取决于接收到的方位信息；
将从当前选择的视点中看到的3D虚拟世界发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的视点切换至另一个新选择的视点。
可选地，所述视点的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的视点。
本发明以上及其他方面通过以下实施例变得显而易见并通过其进行阐明。
应当指出，在不同附图中，具有相同附图标记的项目存在相同的结构特征和相同的功能，或者其为相同的标志。在已经解释了此部件的功能和/或结构的情况下，在详细描述中不需要对其进行重复说明。
附图说明
图1为本发明实施例中网真系统的部分俯视示意图；
图2为本发明实施例中网真系统的部分俯视示意图；
图3为本发明根据另一实施例的网真系统的部分在图1场景中的侧视图；
图4为本发明实施例中图像处理方法的流程图；
图5为本发明处理系统接收到放大命令的示例；
图6为本发明根据另一实施例的虚拟现实系统的实施例；
图7为本发明实施例中在头戴式显示设备上呈现3D虚拟世界的方法的流程图。
具体实施方式
图1、图3和图5显示出了位于所述视点16处的摄像头。视点，或者是视觉点是观察某事或某人的位置。在该网真系统中，位于所述视点16处的摄像头10瞄准一个或多个感兴趣对象，其可以是但不限于人、动物和非生物对象。当我们提到所述摄像头10的视点16时，我们指的是当使用头戴式显示设备观看摄像头图像时明显观察到感兴趣对象的位置。应当指出，在我们对视点的定义中，当观察者转过头而他的身体其余部分停留在同一位置时，他视网膜的位置和其眼睛的实际焦点位置会发生变化，但他的视点仍然保持在同一个地方，因为他仍然从世界的同一位置观察世界。
图1和图2为本发明实施例中网真系统的部分俯视示意图。所述网真系统100包括位于视点16的多个摄像头10、头戴式显示设备(HMD)20、处理系统101、102和第一方位传感器22，也称为主方位传感器22。
图1示出了多个摄像头10的示例，其沿着围绕场地15的椭圆14定位在所述视点16处。在该示例中，场地15为拳击台15，其中发生了拳击搏斗。在所述视点16处的摄像头10是对齐的，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠。事实上，在该示例中，所述视点16处的摄像头10沿着作为椭圆14或椭圆14的一部分的弯曲轨迹排成阵列。在图1中，沿着椭圆14设置所有摄像头，但是在图1中并非所有摄像头都是可见的。位于所述视点16处的摄像头10的光轴聚合，使得所述摄像头10在所述视点16处的视场向内指向一个特定区域，即朝向椭圆14的内部。应当指出，在所述视点16处的摄像头阵列10可以靠近场地15设置，或者，所述视点16可以布置得离场地15更远，例如在公告牌后面(未示出)。
在该示例中，所述处理系统101、102是分布式系统，包括第一计算设备101和远离第一计算设备101的第二计算设备102，如图2所示。所述第一和第二计算设备可以经由WAN或LAN彼此进行通信，WAN或LAN可以是至少部分无线的，或者适合于发送图像数据的任何其他类型的通信，优选为实时的。对于无线(部分)连接，所述计算设备101、102分别包括天线105、106。
所述第一计算设备101可以位于场地15的位置或其附近，而所述第二计算设备102可以位于用户25附近，至少在使用中，用户佩戴HMD20。在该示例中，HMD20经由线缆27连接到所述第二计算设备102。应当指出，除了所述电缆27，第二计算设备102和HMD20之间的通信可以是无线的。所述第二计算设备102可以安装在用户25的背面，以防止所述电缆27出现问题(如果存在的话)。或者，所述第二计算设备102可以安装在HMD20上或其内部，或者佩戴在用户身上。
图2还示出了可选的第二方位传感器23，设置于HMD20中或其上面。在图2的配置中，所述主方位传感器22测量用户25的躯干的方位，而所述第二方位传感器23测量用户25的头部的方位。所述主方位传感器22安装在所述计算设备102上，但是应当指出，所述主方位传感器22可以设置于其他位置，只要它能够测量用户25的躯干的方位即可。所述主方位传感器22可以用于例如固定到用户坐的转椅上。或者，所述主方位传感器22可以设置在用户25佩戴的项链或腰带中。
图2中的箭头30表示用户20当前正在看着的方位。另一箭头31表示用户可以旋转其躯干的新方位。
所述处理系统101、102用于在视点16处从多个摄像头10中的每一个接收图像数据，并且从所述主方位传感器22中接收方位信息。所述处理系统将选择一个或两个摄像头，例如摄像头11L和11R。在所述实施例中，由摄像头11L记录的图像将显示在HMD20的左屏幕上，而由摄像头11R记录的图像将显示在HMD20的右屏幕上。立体视图可以通过这种方式实现，给予用户25真实的现场感。应当指出，在所述视点16处的摄像头10都可以是立体摄像机，在这种情况下，一次只需要一个摄像头以3D方式呈现场景。
在某个时刻，如果接收到的方位信息发生改变，则所述处理系统将从当前选择的摄像头11L和11R切换至一个或两个新选择的摄像头，例如摄像头12L和12R。这将使用户感觉她实际上正在移动观看到的空间。因此，通过旋转躯干，用户能够对场地15进行旋转。
所述计算设备102可以实时地从所述计算设备101中接收图像，或者它可以具有本地已经在例如存储卡、DVD、硬盘等数据光盘上可用的所有图像。如果“实时”(或具有短延迟)查看远程位置并且如果网络等待时间足够低，则所述计算设备102不需要从所述计算设备101中接收来自所有摄像头的所有图像，而可以仅请求接收它将向用户25显示的图像。在该示例中，用户坐在转椅(未示出)上。在图2中，用户的身体(躯干)被定向在其起始位置，并且用户能够看到来自摄像头11L和11R的图像。用传感器22测量用户躯干相对于世界的方位。所述传感器22可以是无线或有线传感器，并且在所述实施例中，可作为项链佩戴在用户身体上，放入口袋中或安装在转椅中或其上面或所述计算设备102上，如图2所示。
在图2的实施例中，躯干的方位直接确定使用哪些摄像头来显示接收的图像。当用户将他的躯干从方位30旋转到方位31时，所述处理系统将从摄像头11L，11R切换至摄像头12L，12R。当用户在0.25秒内以很大角度且非常快速旋转其躯干时，例如从+90°方位到-90°方位(转了半圈)，优选地，并非来自其间的所有摄像头的所有图像都会显示，因为HMD20和用户25也不能对如此快的速度进行处理。在所述实施例中，当HMD屏幕准备好显示下一帧时，在那时会决定/计算使用接收图像的摄像头。
如果在所述视点16处的摄像头10配备有广角镜头而不是向用户显示整个摄像头图像，则仅需要处理HMD20能够方便显示给用户的部分。例如，如果用户的头部朝向与他的身体的方位相同(即正向前看)，并且摄像头具有180°(鱼眼)镜片，并且HMD20具有每只摄像头90°的视场，那么只能显示接收到图像的中心90°部分。
在所述实施例中，用所述第二方位传感器23来测量用户头部的方位。所述第二方位传感器可以是无线或有线传感器，在所述实施例中，其可以包含在HMD20中，或者是单独的装置，只要它能够测量用户头部的方位即可。它可以测量相对于用户躯干方位的头部方位，或者相对于世界的头部方位。在后者中，可以根据所述传感器22和23的值来计算相对于躯干的头部方位。当用户向正前方看时，即其头部朝向与躯干方位相同时，HMD20会显示如上所述的图像。当用户将头部向左转几度但将身体保持在相同位置时，会显示摄像头(广角镜头)图像左侧的一部分。这样，用户能够从静止位置环顾四周，这会是很自然的。因此，具有两个方位传感器(即传感器22和23)的系统使得用户能够通过转动其头部，从选择的视点中沿着理想方位转动躯干，进而从环境中任何一侧观看远程位置，并且用户还可以看到其周围的一点环境。
上述网真系统使用户能够真正体验到远程的位置，就像他出现在该位置一样，因为他可以完全忘记控制观看系统。移动身体来观察世界是非常自然的。使用这个系统，当你转动躯干时，你会看到世界在你面前转动。测试表明，经过一段时间的使用后，会感觉非常自然。它使得观看者能够体验到例如正在经历体育比赛，就如同其正在场边散步一样。
为了在旋转躯干(或椅子或头部，取决于安装所述主方位传感器22的位置)时实现更流畅的用户体验，优选采用相对多数量的摄像头和视点。实际上，阵列中的摄像头越多，体验就越好，还取决于图像处理的质量。应当指出，在实际使用中，物理(和经费)限制将限制实际构建的系统中摄像头的数量。优选为具有无限数量的摄像头和视点或者一个摄像头，其中光敏传感器是环境周围的环。
在所述视点16处的摄像头10向观看者25提供使用HMD20观看到的图像。当使用较少数量摄像头，如在场景周围设置4个摄像头时，在所述视点16处的摄像头10可以是立体/3D相机，其为HMD20中的左、右屏幕提供左图像和右图像。使用足够多的摄像头，如在场景周围设置40个摄像头时，来自两个相邻摄像头的图像可用于在HMD20的屏幕上显示左图像和右图像。如果HMD20仅包括单个屏幕并且每个眼睛包括两个镜头，则左眼图像可以放置在该屏幕的左半部分，这是在虚拟现实(VR)、增强现实(AR)和混合现实(MR)头戴式显示设备中的常见应用。
在所述视点16处的摄像头10可以具有广角镜头，其中所记录的场景水平和垂直角度比HMD20中的视场要宽。摄像头的角度甚至可以比人类的视野更宽广。摄像头角度甚至可以达到360°。360°摄像头通常由两个或更多摄像头连接在一起的镜头角度较小的摄像头组成，从而将这些摄像头的图像拼接在一起以创建全景图像。
在所述实施例中，所述处理系统101、102用于记录来自所有摄像头的图像，供以后使用，或在实时观看时，将图像直接发送到HMD20。记录的图像可以存储在所述计算设备101或计算设备102的存储器中，或者存储在诸如可连接到所述网真系统100的SD卡的外部存储器中。
图3为本发明根据另一实施例的网真系统的部分在图1场景中的侧视图。所述网真系统100包括在沿椭圆设置的所述视点16处的摄像头10第一阵列，其可以位于如参考图1所述的水平面中。此外，所述系统100包括在所述视点46和56处的摄像头第二阵列40和摄像头第三阵列50，以及可能更多的阵列，每个阵列位于不同平面的弯曲轨迹上。在所述实施例中，所述系统100包括设置在至少两个阵列中的多个摄像头，其中多个摄像头基本上布置在虚拟球体上。通过在球体至少一部分上布置多个摄像头，可以从不同的仰角观察场景。
在所述实施例中，所述处理系统用于根据检测到的二维方位变化切换至新选择的摄像头。因此，例如在水平和垂直方位/旋转中对摄像头进行改变。
在特定实施例中，如果用户抬起头，则摄像头(广角镜头)图像的一部分会示出，对应于正在仰视的角度。如果躯干(以及传感器22)向上或向下旋转，摄像头图像将用于当前使用的平面上方或下方的平面中的摄像头中(例如，从所述视点16处的摄像头阵列10到视点46处的摄像头阵列40)。
在所述实施例中，躯干传感器22不可用，而仅有HMD20中的传感器或用户头部(传感器23)上的传感器可用。在这种情况下，所述传感器23可用于选择与传感器23方位相对应的特定摄像头。在这种情况下，通过稍微向左或向右转动头部，将无法从广角摄像头中查看图像的其余部分。
在另一实施例中，所述传感器23用于选择特定的摄像头，改变垂直头部的方位将不会提供(广角镜头)摄像头图像的另一部分，而是改变用于显示图像的摄像头的平面。因此，例如，如果用户稍微抬起头，则视图将在所述视点16处从视点16处的多个摄像头10中的一个切换到多个摄像头50中的一个。可能存在替代方案，其中，如果用户稍微抬起头，则视图将从所述视点16处的多个摄像头10中的一个切换到视点46处的摄像头40中的一个，进而切换至摄像头的较低阵列。
在所述实施例中，第三旋转角度用于移动用户25的视点，其中旋转轴线从用户25的头部后部穿过鼻子。在所述实施例中，其中摄像头设置在感兴趣的场景周围的虚构的球体至少一部分上，该第三旋转角度可用于从不同的水平面/阵列中选择两个相邻的摄像头。这使得用户在观看场景的同时可以将其头部倾斜到侧面并且仍然使用非立体摄像头看到良好的立体图像。
图4为本发明实施例中图像处理方法的流程图。所述方法400包括从所述第一方位传感器22中接收401方位信息。所述方法400还包括选择402一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息。在进一步的操作403中，从所选择的摄像头中接收图像数据。所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠。在进一步的操作中，所述方法400包括将从当前选择的摄像头中接收到的图像数据发送404至所述头戴式显示设备。在操作405中，再次接收方位信息。如果在测试406中注意到所接收的方位信息已经发生改变，则该方法会返回到操作402以选择其他视点处的其他摄像头。如果在测试406中推断出方位未发生改变，则该方法会返回至操作403。
如上所述，所述处理系统用于将从两个相邻摄像头接收到的图像数据发送至所述头戴式显示设备，其中从相邻摄像头中的第一个接收到的图像数据显示在所述头戴式显示设备的第一显示器或显示部件上，从相邻摄像头中的第二个接收到的图像数据显示在所述头戴式显示设备的第二显示器或显示部件上。通过这种方式，可以使用非立体摄像头来呈现立体视图。在特定实施例中，所述处理系统用于接收放大命令，如下详细所述。
应当指出，所描述的网真系统也可以与较少数量的立体摄像头一起进行工作。唯一的区别在于，例如当使用4个摄像头时，在从另一个(立体)摄像机的图像向用户显示之前，用户必须进一步转动其躯干。但用户仍然可以从场上各个角度观看足球比赛，并感觉像正处于现场。
如果用户想要能够从各个角度观看到场景，在所述视点16处的摄像头10就不必设置成圆形或椭圆形。方形、矩形或其他封闭形式的设置也有用。
根据应用场景，可以记录下物体和环境(即场景)以便稍后观看，或者以电子形式进行发送以便在远程位置现场观看。
图5展示出一种示例，其中所述处理系统101接收放大命令55，并且当接收到放大命令55时，会从当前选择的两个摄像头51L、51R切换到两个新选择的摄像头52L、52R，这两个摄像头52L、52R从当前新选择的摄像头而不是当前选择的摄像头51L、51R的垂直线54(也称为中心线54)进一步移除。结果是，从新选择的摄像头52L、52R朝向场景中特定点的线之间的角度60大于来自当前选择的摄像头51L、51R的线之间的角度。通过切换至摄像头52L、52R，观看者将体验到3D放大效果。当靠近场景时，摄像头52L、52R起到用户双眼的功能。观看者越接近场景(即放大)，两个所选摄像头之间的角度60就越大。由摄像头52L、52R记录的各个图像可以与增加的角度60一起进行处理，以放大所捕获的图像。这将带来一种自然的立体缩放体验。
因此有利的是，在所述视点16处的摄像头阵列10可用于转动远程世界，以及对远程世界进行放大。所述放大命令55可以由用户25启动，如图2所示，用户向前俯仰身体，使得所述第一方位传感器22感测躯干围绕水平轴的旋转。当用户向后倾斜时，可以给出缩小命令。或者，该系统可以包括用户输入部分，其包括在HMD20或其他设备上的物理放大和缩小按钮。可选地，所述放大和缩小命令可以由用户通过将其视图指向到显示在HMD20上的特定虚拟放大/缩小按钮，或者通过给出语音命令来启动。
本发明的另一个目的是提供一种虚拟现实系统，其中用户可以在不使用特定用户界面例如操纵杆，游戏控制器或(虚拟)键盘的情况下，很容易地移动虚拟空间。图6为本发明根据另一实施例的虚拟现实系统500的实施例。所述虚拟现实系统500包括头戴式显示设备20、处理系统501和第一方位传感器22。
所述处理系统501用于在所述头戴式显示设备20上呈现3D虚拟世界。为此，所述处理系统501以包括处理器505、存储器506和显示接口507。所述处理系统501用于从所述方位传感器22中接收方位信息，以根据从传感器22中接收到的方位信息选择3D虚拟世界中的视点。所述处理系统501将从当前选择的视点中看到的3D虚拟世界发送至HMD20上，并且如果接收到的方位信息发生改变，则从当前选择的视点切换至另一个新选择的视点。
图6所示的处理系统501可以是单个计算设备501。图6所示的处理系统501可以在HMD20内。所述第一方位传感器22可固定在用户躯干上，如图2所示。类似地，所述第二方位传感器23可以设置于HMD20中或其上方。然后，所述第一方位传感器22将测量用户25躯干的方位，而所述第二方位传感器23测量用户25头部的方位。所述第一方位传感器22可以安装在计算设备501上，但是应当注意，主方位传感器22可以布置在其他地方，只要它能够测量用户25的躯干的方位即可。所述第一方位传感器22可以用于例如固定到用户坐的转椅上。或者，所述第一方位传感器22可以设置在用户25佩戴的项链或腰带中。
所述处理系统501可用于在3D虚拟世界中定义轨迹，并且当用户参考固定世界旋转其躯干时，可沿着轨迹移动视点。如图1至图4中实施例所示，用户能够通过简单地旋转其身体来沿着轨迹旋转虚拟世界。例如，该实施例使得大型机器的维护人员可以进行方便的训练。所述大型机器可以由计算机生成而不是用户走路生成，以便在虚拟现实中环顾四周，用户只需转动转椅。由于发生事故的风险或所使用的连接电缆的限制，用户不需要走路，这是此VR应用中的公知问题。
图7为本发明实施例中在头戴式显示设备上呈现3D虚拟世界的方法600的流程图。所述方法600包括从所述第一方位传感器22接收601方位信息。所述方法600还包括选择602视点。所述视点的选择取决于接收到的方位信息。在操作603中，所述方法包括将从当前选择的视点中看到的3D虚拟世界发送至所述头戴式显示设备如果存在第二方位传感器23，则其可以用于改变观察方位，使得用户可以通过转动头部来环顾四周。然后，在操作604中，再次接收方位信息。测试605检查所接收的方位信息是否已发生改变。如果结果为是，则该方法会返回至操作602，以根据新接收的方位信息选择另一视点。如果测试605的结果为否，则该方法会返回至操作603，以呈现3D虚拟世界。
应当指出，上述实施例用于说明而不是限制本发明，并且本领域技术人员将能够设计出替代实施例。可以使用记录下的3D视频或3D静止图像来代替直播内容。此外，计算机生成的环境与对象可以与直播内容相混合。
处理系统101、102可以为设备或装置，例如服务器、工作站、成像装置或移动设备。所述设备或装置可以包括执行适当软件的一个或多个微处理器或计算机处理器。所述系统的处理器可以为这些处理器中的一个或多个。软件可能已经被下载和/或存储在相应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。该软件可以包括指令，其配置有一个或多个处理器以执行参考系统处理器所描述的功能。或者，系统的功能单元，例如显示接口和处理器，可以以可编程逻辑的形式在设备或装置中得到实现，例如，可以现场可编程门阵列(FPGA)的形式。通常，系统的每个功能单元可以以电路的形式得到实现。应当注意，所述处理系统101、102也可以以分布式的方式得到实现，例如可以涉及不同的设备或装置。例如，所述分布式可以依照客户端-服务器模型，比如，使用服务器和瘦客户端PACS工作站。
在权利要求中，括号内的任何参考符号不应被视为用于限制权利要求。动词“包括”及其变形的使用不排除权利要求所述之外元件或步骤的存在。元件前面的冠词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件，以及适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一个硬件项来体现。在互异的从属权利要求中陈述某些措施的仅有事实，并不表示这些措施的组合不能用于获取有益效果。

Claims (27)

1.一种网真系统，包括多个摄像头、头戴式显示设备、处理系统和第一方位传感器，其特征在于，所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠，所述处理系统用于：
从所述多个摄像头的每一个中接收图像数据；
从所述第一方位传感器中接收方位信息；
选择一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息；
将从当前选择的摄像头中接收到的图像数据发送至所述头戴式显示设备，并且
如果新接收到的方位信息显示预定阈值的方位发生改变，则从当前选择的摄像头切换至位于其他视点的一个或两个新选择的摄像头。
2.根据权利要求1所述的网真系统，其特征在于，所述第一方位传感器与所述头戴式显示设备分离。
3.根据权利要求2所述的网真系统，其特征在于，所述第一方位传感器设置于非头戴式设备的穿戴式设备中。
4.根据权利要求1所述的网真系统，其特征在于，所述摄像头基本设置于水平平面上，并且所述处理系统用于检测第一方位传感器围绕垂直于水平面的y轴的旋转，当从上方看时，
可检测到第一方位传感器进行顺时针旋转，所述处理系统将切换至新选择的摄像头，当面向当前使用的摄像头视野时，新选择的摄像头位于当前选择的摄像头的右侧；
可检测到第一方位传感器进行逆时针旋转，所述处理系统将切换至新选择的摄像头，当面向当前使用的摄像头视野时，新选择的摄像头位于当前选择的摄像头的左侧。
5.根据权利要求1所述的网真系统，其特征在于，相邻的摄像头具有平行或聚合的光轴。
6.根据权利要求1所述的网真系统，其特征在于，所述多个摄像头按照曲线或一定角度的轨迹排成阵列。
7.根据权利要求6所述的网真系统，其特征在于，所述曲线或一定角度的轨迹为闭环，其中所述摄像头的视场为向内指向的。
8.根据权利要求1所述的网真系统，其特征在于，所述多个摄像头设置成至少两个阵列，每个阵列按照曲线或一定角度的轨迹进行排列。
9.根据权利要求8所述的网真系统，其特征在于，所述多个摄像头基本上设置于虚构的球体上。
10.根据权利要求1所述的网真系统，其特征在于，所述处理系统用于将从两个相邻摄像头接收到的图像数据发送至所述头戴式显示设备，其中从相邻摄像头中的第一个接收到的图像数据显示在所述头戴式显示设备的第一显示器或显示部件上，从相邻摄像头中的第二个接收到的图像数据显示在所述头戴式显示设备的第二显示器或显示部件上。
11.根据权利要求10所述的网真系统，其特征在于，所述处理系统用于接收放大命令，在接收到放大命令时，从当前选择的摄像头切换至两个新选择的摄像头，这两个新选择的摄像头为从当前选择摄像头的垂线中除去当前选择的摄像头。
12.根据权利要求11所述的网真系统，其特征在于，所述处理系统用于检测第一方位传感器围绕垂直于水平轴的旋转，并将检测到的旋转转换为放大或缩小命令。
13.根据权利要求1所述的网真系统，其特征在于，进一步包括设置于用户头部或头戴式显示设备上的第二方位传感器，其中所述处理系统用于根据第二方位传感器接到收的方位信息来选择当前使用的一个或多个摄像头视场的一部分。
14.根据权利要求1所述的网真系统，其特征在于，所述一个或两个摄像头的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的一个或多个摄像头。
15.根据权利要求1所述的网真系统，其特征在于，两个摄像头之间的距离至少为1米。
16.一种图像处理方法，包括：
从所述多个摄像头的每一个中接收图像数据，其特征在于，所述摄像头位于对齐的不同视点处，使得每个摄像头的视场都至少与相邻摄像头的视场有部分重叠；
从所述第一方位传感器中接收方位信息；
选择一个或两个摄像头，所述一个或两个摄像头的选择取决于接收到的方位信息；
将从当前选择的摄像头中接收到的图像数据发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的摄像头切换至位于其他视点的一个或两个新选择的摄像头。
17.根据权利要求16所述的图像处理方法，其特征在于，所述一个或两个摄像头的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的一个或多个摄像头。
18.一种虚拟现实系统，包括虚拟世界中的多个视点、头戴式显示设备、处理系统和第一方位传感器，其特征在于，所述多个视点为对齐设置，使得每个视点的视场都至少与相邻视点的视场相重叠，所述处理系统用于：
在所述头戴式显示设备上呈现3D虚拟世界；
从所述第一方位传感器中接收方位信息；
从所述3D虚拟世界中选择视点，所述视点的选择取决于接收到的方位信息；
将从当前选择的视点中看到的3D虚拟世界发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的视点切换至另一个新选择的视点。
19.根据权利要求18所述的虚拟现实系统，其特征在于，所述第一方位传感器与所述头戴式显示设备分离。
20.根据权利要求19所述的虚拟现实系统，其特征在于，进一步包括设置于用户头部或头戴式显示设备上的第二方位传感器，其中所述处理系统用于基于第二方位传感器的方位信息，从当前选择的视点中确定视角。
21.根据权利要求19所述的虚拟现实系统，其特征在于，所述处理系统用于接收放大命令，并且在接收到放大命令时，通过由第一方位传感器确定的用户躯干所面向的3D虚拟世界来移动视点。
22.根据权利要求21所述的虚拟现实系统，其特征在于，所述处理系统用于检测第一方位传感器围绕垂直于水平轴的旋转，并将检测到的旋转转换为放大或缩小命令。
23.根据权利要求18所述的虚拟现实系统，其特征在于，所述处理系统用于根据接收到的方位信息的变化，通过所述3D虚拟世界来移动视点。
24.根据权利要求20所述的虚拟现实系统，其特征在于，当从上方看时，如果检测到第一方位传感器进行顺时针旋转，则所述处理系统用于将视点向右移动，如果检测到第一方位传感器进行逆时针旋转，则所述处理系统用于将视点向左移动。
25.根据权利要求18所述的虚拟现实系统，其特征在于，所述视点的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的视点。
26.一种在头戴式显示设备上呈现3D虚拟世界的方法，包括：
从虚拟世界中的多个视点进行观看，呈现出虚拟世界的左眼和右眼图像，其特征在于，所述多个视点为对齐设置，使得每个视点的视场都至少与相邻视点的视场相重叠；
从所述第一方位传感器接收方位信息；
从所述3D虚拟世界中选择视点，所述视点的选择取决于接收到的方位信息；
将从当前选择的视点中看到的3D虚拟世界发送至所述头戴式显示设备，并且
如果接收到的方位信息发生改变，则从当前选择的视点切换至另一个新选择的视点。
27.根据权利要求26所述的在头戴式显示设备上呈现3D虚拟世界的方法，其特征在于，所述视点的选择取决于接收到的方位信息，由此，特定的方位总会选择相同的视点。
CN201780083802.5A 2016-12-08 2017-12-05 一种网真系统 Pending CN110192389A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/373,351 US10416757B2 (en) 2016-12-08 2016-12-08 Telepresence system
US15/373351 2016-12-08
PCT/IB2017/057666 WO2018104869A1 (en) 2016-12-08 2017-12-05 Telepresence system

Publications (1)

Publication Number Publication Date
CN110192389A true CN110192389A (zh) 2019-08-30

Family

ID=61157237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083802.5A Pending CN110192389A (zh) 2016-12-08 2017-12-05 一种网真系统

Country Status (3)

Country Link
US (1) US10416757B2 (zh)
CN (1) CN110192389A (zh)
WO (1) WO2018104869A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379134A (zh) * 2022-10-26 2022-11-22 四川中绳矩阵技术发展有限公司 一种图像采集装置、方法、设备及介质
CN115436377A (zh) * 2021-06-04 2022-12-06 同方威视技术股份有限公司 机器人及其控制装置和方法、车辆底盘检测系统和方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
WO2019036533A1 (en) * 2017-08-16 2019-02-21 Veritaz Inc. PERSONAL DISPLAY HELMET FOR LIMITING USER ACCESS TO UNAUTHORIZED RESOURCES
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
US10496366B2 (en) * 2018-04-18 2019-12-03 Comcast Cable Communications, Llc Method to determine intended direction of a vocal command and target for vocal interaction
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US10726370B1 (en) * 2019-04-15 2020-07-28 Zebra Technologies Corporation Method and system for automatic contextual task presentation
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
JP2022162409A (ja) * 2021-04-12 2022-10-24 キヤノン株式会社 電子機器及びその制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169676A1 (en) * 2002-09-12 2004-09-02 Inoe Technologies, Llc Efficient method for creating a visual telepresence for large numbers of simultaneous users
CN1897693A (zh) * 2005-07-11 2007-01-17 松下电器产业株式会社 图像显示设备、图像显示方法和图像显示系统
US20160227190A1 (en) * 2015-01-30 2016-08-04 Nextvr Inc. Methods and apparatus for controlling a viewing position

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US20080178232A1 (en) * 2007-01-18 2008-07-24 Verizon Data Services Inc. Method and apparatus for providing user control of video views
WO2010011929A1 (en) * 2008-07-25 2010-01-28 Gesturetek, Inc. Enhanced detection of waving engagement gesture
WO2014018561A2 (en) * 2012-07-23 2014-01-30 Cubic Corporation Wireless immersive simulation system
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169676A1 (en) * 2002-09-12 2004-09-02 Inoe Technologies, Llc Efficient method for creating a visual telepresence for large numbers of simultaneous users
CN1897693A (zh) * 2005-07-11 2007-01-17 松下电器产业株式会社 图像显示设备、图像显示方法和图像显示系统
US20160227190A1 (en) * 2015-01-30 2016-08-04 Nextvr Inc. Methods and apparatus for controlling a viewing position

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115436377A (zh) * 2021-06-04 2022-12-06 同方威视技术股份有限公司 机器人及其控制装置和方法、车辆底盘检测系统和方法
CN115379134A (zh) * 2022-10-26 2022-11-22 四川中绳矩阵技术发展有限公司 一种图像采集装置、方法、设备及介质
CN115379134B (zh) * 2022-10-26 2023-02-03 四川中绳矩阵技术发展有限公司 一种图像采集装置、方法、设备及介质

Also Published As

Publication number Publication date
US20180164876A1 (en) 2018-06-14
US10416757B2 (en) 2019-09-17
WO2018104869A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN110192389A (zh) 一种网真系统
US10574889B2 (en) Information processing device, information processing method, and program
JP7109509B2 (ja) 眼と異なるレンズの位置を補正する、実際のシーンを見るための仮想眼鏡セット
US11880932B2 (en) Systems and associated methods for creating a viewing experience
US10789764B2 (en) Systems and associated methods for creating a viewing experience
US10948982B2 (en) Methods and systems for integrating virtual content into an immersive virtual reality world based on real-world scenery
CN106797460B (zh) 三维视频的重建
CN104104862B (zh) 图像处理装置和图像处理方法
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
JP7042644B2 (ja) 情報処理装置、画像生成方法およびコンピュータプログラム
CN107636534A (zh) 一般球面捕获方法
CN103513421A (zh) 影像处理装置、影像处理方法及影像处理系统
CN109155083A (zh) 响应于取向传感器数据的数字模型优化
JP2019012441A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
US9773350B1 (en) Systems and methods for greater than 360 degree capture for virtual reality
US20050046698A1 (en) System and method for producing a selectable view of an object space
US11187895B2 (en) Content generation apparatus and method
EP3619617B1 (en) Methods, systems, and media for presenting media content previews
US10200675B1 (en) Omni-directional stereo system
JP7395296B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105630170B (zh) 一种信息处理方法及电子设备
JP2000182058A (ja) 三次元運動入力方法及び三次元運動入力システム
JP2019083029A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830

WD01 Invention patent application deemed withdrawn after publication