CN110673734B - 虚拟旅游方法、客户端、服务器端、系统及图像采集设备 - Google Patents

虚拟旅游方法、客户端、服务器端、系统及图像采集设备 Download PDF

Info

Publication number
CN110673734B
CN110673734B CN201910938062.XA CN201910938062A CN110673734B CN 110673734 B CN110673734 B CN 110673734B CN 201910938062 A CN201910938062 A CN 201910938062A CN 110673734 B CN110673734 B CN 110673734B
Authority
CN
China
Prior art keywords
video image
user
image data
viewing direction
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910938062.XA
Other languages
English (en)
Other versions
CN110673734A (zh
Inventor
张永忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910938062.XA priority Critical patent/CN110673734B/zh
Publication of CN110673734A publication Critical patent/CN110673734A/zh
Priority to US16/908,759 priority patent/US11565190B2/en
Priority to US17/848,411 priority patent/US20220317766A1/en
Application granted granted Critical
Publication of CN110673734B publication Critical patent/CN110673734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明实施例公开了一种虚拟旅游方法、客户端、服务器端、系统及图像采集设备，可以提高虚拟旅游的真实感。所述方法包括：虚拟旅游客户端设备实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；根据所述用户观看方向信息从保存的全景视频图像数据中获取当前观看方向对应的部分视频图像数据，并进行播放。本发明实施例方法、装置和系统，由于播放的图像会随观看方向和角度而实时变化，所以可产生更强的沉浸感和临境感，以使用户产生实地旅游的感觉。

Description

虚拟旅游方法、客户端、服务器端、系统及图像采集设备
技术领域
本文涉及虚拟显示技术领域，具体涉及一种虚拟旅游方法、客户端、服务器端、系统及图像采集设备。
背景技术
随着物质生活水平的提高，旅游成为了人们丰富业余生活的一种常见选择。但是，人们外出旅游不仅需要花费时间和金钱，还需要消耗大量的精力和体力，特别是对于老弱病残等行动困难人员，旅游成为了可望而不可即的奢求。目前，通过电子设备进行虚拟旅游成为一种替代方式，但是现有的电子设备实现的虚拟旅游，其真实感、沉浸感很差。有的虚拟旅游方案通过遥控的摄像头来实现，一组摄像头只能为一位用户服务，资源浪费严重。
发明内容
为解决现有技术中的问题，本申请实施例提供了一种虚拟旅游方法、客户端、服务器端、系统及图像采集设备，提高虚拟旅游的真实感。
一方面，本申请实施例提供了一种虚拟旅游客户端设备，包括检测模块和头显模块，其中：
所述检测模块，用于实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
所述头显模块，用于获取带有图像基准方向的全景视频图像数据中的与所述用户观看方向信息对应的部分视频图像数据，并进行播放。
另一方面，本申请实施例提供了一种虚拟旅游服务器端设备，包括图像源存储模块和处理模块，其中：
所述图像源存储模块，用于保存旅游场景的全景视频图像数据；
所述处理模块，用于根据虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述虚拟旅游客户端设备，以供虚拟旅游客户端设备播放。
另一方面，本申请实施例提供了一种视频图像采集设备，包括图像采集装置和图像基准方向标定模块，其中：
所述图像采集装置，用于采集全景视频图像数据；
所述图像基准方向标定模块，用于在所述图像采集装置采集全景视频图像数据的同时，依据图像采集装置的移动方向在所采集的全景视频图像数据中标记所述全景视频图像的图像基准方向。
另一方面，本申请实施例提供了一种包括前述虚拟旅游客户端设备和虚拟旅游服务器端设备的虚拟旅游系统。
再一方面，本申请实施例还提供了一种虚拟旅游方法，包括：
虚拟旅游客户端设备实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
根据所述用户观看方向信息从保存的全景视频图像数据中获取当前观看方向对应的部分视频图像数据，并进行播放。
采用本实施例方法、设备和系统，在用户进行虚拟旅游时，通过客户端设备实时对用户的观看方向变化进行检测，确认用户实时观看需求，并依据用户观看方向信息，从服务器端设备预先保存的全景视频图像数据中选择播放用户当前观看方向对应的那部分视频图像即全景视频图像中的部分图像，从而可使用户看到不同场景。由于播放的图像会随用户抬头、低头，以及向左、向右扭头等观看方向和角度而实时变化，所以可产生更强的沉浸感和临境感，以使用户产生实地旅游的感觉。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明实施例虚拟旅游方法的流程图；
图2为本发明实施例一种视频图像采集设备的结构示意图；
图3为本发明实施例一种全景图像的示意图；
图4为本发明实施例具有移动方向确定模块的视频图像采集设备的结构示意图；
图5为本发明实施例一种虚拟旅游服务器端设备的结构示意图；
图6为本发明实施例一种虚拟旅游客户端设备的结构示意图；
图7为本发明实施例一种头显设备示例图；
图8为本发明实施例虚拟旅游客户端设备检测模块结构示意图；
图9为本发明实施例具有图像基准方向定义模块的虚拟旅游客户端设备的结构示意图；
图10为本发明实施例具有速度控制装置的拟旅游客户端设备的结构示意图；
图11为本发明实施例具有眼动检测模块的虚拟旅游客户端设备的结构示意图；
图12为本发明实施例具有道路倾斜角度检测模块的视频图像采集设备的结构示意图；
图13为本发明实施例具有座椅调整模块和头部姿势检测模块的虚拟旅游客户端设备的结构示意图；
图14为本发明实施例座椅示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
除非另外定义，本发明实施例公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本实施例提供一种虚拟旅游方法，如图1所示，包括以下步骤：
步骤11，虚拟旅游客户端设备(以下简称客户端设备)实时检测的用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
所述基准观看方向是头部处于基准状态时的观看方向。基准状态包括头部转动角度基准、头部俯仰角度基准和头部摆动角度基准，其中：头部转动角度基准是指头部未左右转动时的前方，例如正视前方时该头部转动角度基准是与水平面垂直的垂直面；头部俯仰角度基准是指头部未仰俯时视线所在的水平面，例如正视前方时该头部俯仰角度基准可以为水平面；头部摆动角度基准是指头部未左右倾斜时视线所在的水平面，该摆动角度基准也可以为与视线垂直的竖直面。
步骤12，从虚拟旅游服务器端设备(以下简称服务器端设备)保存的带有图像基准方向的全景视频图像数据中获取与所述用户观看方向信息对应的部分视频图像数据，并进行播放。
通过根据用户观看方向信息播放对应的视频图像数据，视频图像会随用户抬头、低头，以及向左、向右扭头等观看方向和角度而实时变化，可产生更强的沉浸感和临境感，使用户产生真实的旅游感觉。另外，由于全景视频图像保存在服务器端设备，可供不同的用户同时使用，提高资源的利用率，避免资源浪费。
在本实施例中，由客户端设备将生成的用户观看方向信息发送给服务器端设备，例如，客户端设备生成的用户观看方向信息为用户当前观看方向相对于基准观看方向的第一角度差，则服务器端设备收到该信息后，如果未对基准观看方向重新定义，则基准观看方向与图像基准方向相同，将该第一角度差换算为用户当前观看方向相对于全景视频图像的图像基准方向之间的第二角度差，根据该第二角度差确定用户观看方向对应的那部分视频图像数据，将对应用户观看方向的部分视频图像数据发送给客户端设备进行播放。客户端设备无需存储庞大的全景视频图像数据，也无需进行数据计算。一方面，可以降低对客户端设备的硬件需求，另一方面便于服务器端的数据更新和管理。
服务器端设备预先保存的全景视频图像数据由视频图像采集设备进行采集。视频图像采集设备如图2所示，包括图像采集装置21和图像基准方向标定模块22，其中：
所述图像采集装置21，用于采集全景视频图像数据；
所述图像基准方向标定模块22，用于在所述图像采集装置采集全景视频图像数据的同时，依据图像采集装置(例如摄像头)的移动方向在所采集的全景视频图像数据中标记所述全景视频图像的图像基准方向。
所述全景视频图像数据可以是由设置在载具(即运载工具，例如交通工具)上的图像采集装置采集。例如可以将现有的摄像头作为图像采集装置，并在该摄像头上配置上述图像基准方向标定模块的功能。
所述摄像装置(具体可以为具有全景功能的摄像头)预先采集的全景视频图像可以是平面图像也可以是立体图像。采集全景视频图像的摄像头可以有多个摄像头单元，多个摄像头单元采集到的图像可以通过现有合成算法合成为一个全景视频图像。
对采集得到的全景视频图像标记图像基准方向，可以在拍摄同时进行标记，也可以拍摄后再标记。标记时可以以每帧全景图像为单位进行标记。一种标记方式是直接标记，例如可以在全景图像数据中的图像基准方向位置的像素数据(例如灰度数据)之后增加方向标记数据。另一种标记方式是间接标记，例如单独保存一组图像基准方向数据，包括对应于全景图像数据的一部分图像像素的位置数据以及该位置对应的方向标记数据。
上述标记数据例如可以包括中心标记，此外还可以包括但不限于以下方向标记中的至少一种：上仰标记、下俯标记等。例如将正前方对应的全景图像的位置标记为中心标记或称为图像基准方向。将全景图像中心位置上方(例如向上仰视30°或45°)位置标记为上仰标记(仰视30°或45°，相当于头部上仰相应角度时看到的图像的上下中间位置，对应纬度线)。将全景图像中心位置下方(例如向下俯视30°或45°)位置标记为下俯标记(俯视30°或45°，相当于头部向下俯视相应角度时看到的图像的上下中间位置，对应纬度线)。此外，还可以以图像基准方向为基准(相当于起始方向)，以摄像头为中心进行圆周方向上的对应经度线的角度标记(如选择性加上左旋转45°、90°，以及右旋转45°、90°等)。以上标记基准位置的方式仅为示例，在其他实施例中，还可以根据拍摄图像的摄像头方位进行标记，例如将拍摄正前方的摄像头单元拍摄的图像的中心标记为基准观看方向。在其他示例性实施例中，还可以通过经线和纬线网格化标记全景图像，如图3所示。本领域技术人员也可以采用其他标记基准位置的方法，本发明对此并不限制。标记多个基准位置是为了方便后续计算确定待显示图像。
在一示例性实施例中，可以在一天中的不同时段分别拍摄并存储全景视频图像。在进行虚拟旅游时，可以根据用户自主选择的旅游时段或者用户当前进行虚拟旅游时的时间，选择相应时间段拍摄的图像进行显示。进一步提高用户体验。不同时段的全景视频图像可以存储在服务器端设备的不同位置，服务器端设备在根据客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给客户端设备之前，先判断用户是否设定有具体的旅游时段，如果有，则按照用户设定的旅游时段，查找对应的全景视频图像数据，从中选取对应用户观看方向的部分视频图像数据发送给客户端设备，如果没有，相当于默认当前时段，则按照当前时间所属时间段查找对应的全景视频图像数据，从中选取对应用户观看方向的部分视频图像数据发送给客户端设备。
在一示例性实施例中，所述视频图像采集设备还可包括移动方向确定模块23，如图4所示，其用于确定装载所述图像采集装置的载具的移动方向；
所述基准方向标定模块22用于将所述移动方向确定模块确定的移动方向作为图像基准方向(图像基准方向对应于图像的某一位置，且该位置图像对应的摄像头的拍摄方向与移动方向一致)，标记在所述全景视频图像数据中。
上述移动方向确定模块例如可以采用陀螺仪实现。通过陀螺仪确定载具向前的移动方向，将该移动方向对应的图像空间的相应方向设定为图像基准方向。
在本发明实施例中，所述服务器端设备如图5所示，包括图像源存储模块31和处理模块32，其中：
所述图像源存储模块31，用于保存旅游场景的全景视频图像数据；
所述处理模块32，用于根据虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述虚拟旅游客户端设备，以供虚拟旅游客户端设备播放。
本实施例所述服务器端设备，通过统一存储全景视频图像，可实现多用户同时使用，提高资源的利用率，避免资源浪费。此外，由服务器端设备来计算并选取对应用户观看方向的部分视频图像数据，可以降低对客户端设备的硬件需求，另一方面便于服务器端的数据更新和管理。
在本发明实施例中，所述客户端设备如图6所示，包括检测模块41和头显模块42，其中：
所述检测模块41，用于实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
所述头显模块42，用于获取带有图像基准方向的全景视频图像数据中的与所述用户观看方向信息对应的部分视频图像数据，并进行播放。
本发明实施例所述客户端设备，通过实时对用户的观看方向变化进行检测，确认用户实时观看需求，并依据用户观看方向信息，从全景视频图像数据中选择播放用户当前观看方向对应的那部分视频图像即全景视频图像中的部分图像，从而可使用户看到不同场景。由于播放的图像会随用户抬头、低头，以及向左、向右扭头等观看方向和角度而实时变化，所以可产生更强的沉浸感和临境感，以使用户产生实地旅游的感觉。
另外，全景视频图像数据保存在服务器时，不同用户根据各自需要选择播放不同部分，使一组全景视频图像数据可以满足不同用户需要，可以极大增加可服务用户的数量，避免资源的浪费。
本实施例所述客户端设备块例如可以是如图7所示的头显设备。
如图8所示，所述检测模块41包括：用于感测头部转动的转动角度感测模块411、用于感测头部俯仰角度变化的俯仰角度感测模块412，以及用于感测头部摆动的摆动角度感测模块413。头部转动是指相对于基准观看方向(正常向前观看时的面部朝向)的面部向左或者向右的头部转动，头部转动角度可以为头部相对于基准观看方向的偏转角度；头部俯仰是指相对于头部俯仰角度基准面(如水平面)的向上(仰视)或向下(俯视)的头部运动，头部俯仰角度可以为头部相对于头部俯仰角度基准面的偏移角度；头部摆动是指面部相对于头部摆动角度基准面(如前后向延伸的竖直面)向左歪(靠近左侧肩膀)或向右歪(靠近右侧肩膀)的头部运动，头部摆动角度可以为头部相对于头部摆动角度基准面的偏移角度。上述感测模块可以但不限于采用陀螺仪实现，例如9轴或者10轴姿态陀螺仪。由于用户的头部运动可能为复合的多方向运动，因此得到的用户观看方向信息包括以下信息中的至少一种：转动角度、俯仰角度和摆动角度。
在一示例性实施例中，如图9所示，所述客户端设备还包括观看图像基准方向定义模块43，其用于供用户定义对应于基准观看方向的观看图像基准方向，所述观看图像基准方向与所述全景视频图像的图像基准方向相同或者与所述全景视频图像的图像基准方向存在角度差。
通过观看图像基准方向定义模块43，用户可以设定相对于图像基准方向偏移一定角度的方向为观看图像基准方向，例如用户设定图像基准方向向左旋转90°(当然也可以为45°等)的方向为观看图像基准方向，则用户可以不必一直向左转头，头部朝正前方(对应基准观看方向)仍可以看到相对于未定义时按基准观看方向向左旋转90°时对应方向的图像。例如当用户没有设置观看图像基准方向时，相当于用户朝正前方坐在车辆上，当用户设置观看图像基准方向为向左时，相当于用户坐在朝左的座位上。所述观看图像基准方向定义模块43可以包括一按键，用户通过该按键实现调整，例如用户可以输入对应向左旋转的+90°的基准方向定义信息(观看图像基准方向信息)，则用户在不转动的情况下仍可以看到未定义观看图像基准方向时相对于基准观看方向向左旋转90°对应方向的图像，即观看图像基准方向与全景视频图像的图像基准方向有一个90°的差值。用户通过观看图像基准方向定义模块43输入对应向左旋转的+90°的基准方向定义信息(观看图像基准方向信息)的方式不做限定，除直接输入数值，也可以通过连续按压按钮或多次点击按钮等方式实现。在用户不设置时，观看图像基准方向与全景视频图像的图像基准方向默认为相同。
在一虚拟旅游方法实施例中，除了前述步骤11和步骤12外，还可以包括以下步骤：接收用户定义的对应于基准观看方向的观看图像基准方向；在上述步骤12中，基于所述观看图像基准方向结合所述虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述虚拟旅游客户端设备。
本实施例所述基准观看方向(第一基准方向)和用户观看方向都是现实空间的视线方向或者说是面部朝向，用户观看方向信息为当前的观看方向(头部转动和俯仰调整时)相对于基准观看方向(头部不转动和不俯仰)的变化信息。图像基准方向(第二基准方向)为图像空间中的方向，该方向由拍摄图像时载具及摄像头的移动方向确定。在用户未设置观看图像基准方向的情况下，图像空间中的第二基准方向与现实空间中的第一基准方向通常是一致的(在用户头部倚靠座椅头枕，且拍摄图像时道路有倾斜的情况除外)。用户可以设置观看图像基准方向(第三基准方向)，该第三基准方向反映了现实空间中用户期望的基准观看方向映射到图像空间后与第二基准方向的相互关系(默认相同，可设置为成一定角度)，由于第一基准方向与第三基准方向对应，因此该用户期望的基准方向可以映射到图像空间中。
客户端设备的观看图像基准方向定义模块将用户定义的观看图像基准方向定义信息发送给服务器端设备。相应地，所述服务器端设备的处理模块32还用于接收客户端设备发送的观看图像基准方向信息，所述观看图像基准方向信息用于表示用户定义的观看图像基准方向与所述全景视频图像的图像基准方向之间的角度差，所述处理模块用于基于所述观看图像基准方向结合所述虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述客户端设备。
例如用户设置的观看图像基准方向为相对于图像空间的图像基准方向向右旋转90°。处理模块记录所述观看图像基准方向，当接收到用户观看方向信息后，以根据图像基准方向向右旋转90°得到的方向作为基准并基于该用户观看方向信息从全景视频图像数据中读取对应该方向的部分视频图像数据发送给客户端设备。
在一示例性实施例中，如图10所示，所述虚拟旅游客户端设备还包括速度控制装置44，所述速度控制装置用于基于用户控制(例如用户操作)发出速度信号，以控制所述客户端设备中头显模块播放视频图像的速度。该速度控制装置例如可以是速度按钮或者脚踏控速机构(类似于汽车油门的加速踏板)或者遥控手柄，也可以采用其他已有的可以发送速度信号的装置。
在一示例性实施例中，所述虚拟旅游方法还包括以下步骤：
根据由用户控制的速度控制装置生成的速度信号控制视频播放速度，判断所述速度信号指示的速度是否超过预设速度阈值；
如果所述速度信号指示的速度超过预设速度阈值，则在所述步骤12中从所述全景视频图像数据中获取部分视频图像数据时，周期性间隔预设帧数提取视频图像数据发送给所述客户端设备，以控制所述客户端设备播放视频图像的速度。
相应地，服务器端设备的处理模块32还用于接收客户端设备发送的速度信号，判断当所述速度信号指示的速度超过预设速度阈值，则从所述全景视频图像选取部分视频图像数据时，周期性间隔预设帧数提取视频图像数据发送给所述客户端设备，以控制所述客户端设备播放视频图像的速度。
预设速度阈值可以有多个，对应不同的预设帧数，预设速度阈值越大，表示速度越高，对应的预设帧数越多，反之，预设速度阈值越小，表示速度越低，对应的预设帧数越少。
通过间隔提取视频图像数据供客户端设备播放，可以使用户有速度感，具有更好的体验。而由服务器端设备完成部分视频图像数据的间隔提取，可以减少服务器端设备与客户端设备之间的数据传输量。
在一示例性实施例中，如图11所示，客户端设备还包括眼动检测模块45，所述眼动检测模块用于确定人眼注视区域；
所述头显模块42，还用于对所述人眼注视区域对应的视频图像进行放大显示；和/或，调整人眼注视区域对应的视频图像的第一分辨率以及人眼注视区外的视频图像的第二分辨率，使所述第一分辨率高于所述第二分辨率。
在一虚拟旅游方法实施例中，在步骤12中，根据确定的人眼注视区域，对所述人眼注视区域对应的视频图像进行放大显示；和/或，调整人眼注视区域对应的视频图像的第一分辨率以及人眼注视区外的视频图像的第二分辨率，使所述第一分辨率高于所述第二分辨率。
通过采用眼动检测技术，可以实时确定人眼注视区域，例如可以设置当检测到人眼长时间(例如超过预设时长)看向某处，即人眼注视区域在该预设时间内无变化时，可以理解为用户对该部分视频图像感兴趣，则头显模块对该人眼注视区域对应的视频图像进行放大处理，以便用户更清楚的观察到景物细节。当检测人眼不再聚焦此区域，退出局部放大模式。与此同时，为了给用户更好的体验，还可以提高人眼注视区域的图像分辨率，例如使处理器采用无损压缩模式传输该人眼注视区域对应的部分视频图像，以减少失真和数据损失；再例如可以通过插值算法对原视频图像进行处理，以得到更高分辨率的视频图像。上述提高人眼注视区域图像分辨率的方案也可以单独实施。确定人眼注视区域可采用现有技术实现，本发明不再赘述。
在一示例性实施例中，如图12所示，所述视频图像采集设备还包括道路倾斜角度检测模块24，其用于检测装载所述视频图像采集设备的载具所行驶的道路发生倾斜时的倾斜角度(通常是相对于移动方向的倾斜角度)，并将该倾斜角度标记在所述全景视频图像数据中，标注方法可以采用前述直接标记方式或间接标记方式，此处不再赘述。道路倾斜角度检测模块可以但不限于采用陀螺仪、利用地磁场或重力实现的倾角检测模块，或者10轴加速度仪实现角度测量。当检测道路存在倾斜角度时，可在全景视频图像数据中记录该倾斜角度信息。
相应地，如图13所示，所述客户端设备还包括座椅46和座椅调整模块47，所述座椅46包括能够保持相对固定的座体461、靠背462、头枕463和脚踏板464(如图14所示)，座椅调整模块47用于在从服务器端设备获取的部分视频图像数据中包含道路倾斜角度信息时，根据所述道路倾斜角度信息对应的倾斜角度调整座椅的倾斜角度。
座椅的座体、靠背、头枕和脚踏板等各部分相对固定可以保证坐在座位上的整个人体同时俯仰和侧歪等，而不至于身体动脚不动，以更好模拟坐在车上游览的感觉。在一些实施例中靠背和头枕可以合设在一起。
座椅调整模块47用于按照道路倾斜角度调整座椅的整体倾斜角度(例如采用液压缸实现)。例如道路倾斜角度为前向上扬15°时，座椅调整模块47可使座椅的整体倾斜角度与道路倾斜角度相同，即使其向后抬起15°。
通过根据道路倾斜角度调节座椅，可以增加用户的沉浸感。除了上述前后调节外，在其他实施例中还可以进行左右调节，实现方式与前后调节相同，此处不再赘述。
在一示例性实施例中，所述座椅调整模块还可以包括多个动力支承件，所述动力支承件两端分别铰接在底座(也可以是地面)和所述座椅上，且两端的铰接轴互相垂直。这样不仅能模拟车辆上坡下坡，还能模拟车辆左右倾斜。
在一示例性实施例中，所述客户端设备还可包括所述头部姿势检测模块48(参考图13)，所述头部姿势检测模块48具有检测用户头部倚靠状态(是否倚靠在头枕上)的功能，生成用于指示用户头部是否处于倚靠状态的倚靠状态信息，所述倚靠状态信息用于判断是否需要根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正。例如所述头部姿势检测模块48可以包括在头枕上设置的压力传感器，或者还可以为由摄像模块和图像识别模块组成的模组，通过图像识别模块识别摄像模块拍摄的图像以判断用户是否倚靠着头枕。
当所述头部姿势检测模块48检测到用户头部处于倚靠状态，且头显模块在获取的所述部分视频图像数据中包含道路倾斜角度信息，且座椅调整模块根据道路倾斜角度调整了座椅的整体倾斜角度时，由客户端设备根据所述道路倾斜角度信息对应的道路倾斜角度修正用户当前观看方向。
除了由客户端设备修正用户当前观看方向外，还可以由服务器设备进行用户观看方向的修正，此时，客户端设备将该倚靠状态信息发送给服务器端设备。所述倚靠状态信息可以为用于指示用户头部是否处于倚靠状态的标识信息。所述服务器端设备的处理模块32用于接收所述虚拟旅游客户端设备发送的倚靠状态信息，在全景视频图像数据中包括道路倾斜角度信息，以及所述客户端设备包括座椅和能够根据道路倾斜角度调整座椅的座椅调整模块的情况下，在根据虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据时，根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正。
在一示例性虚拟旅游方法实施例中，所述方法还包括：当获取的所述部分视频图像数据中包含道路倾斜角度信息时，根据所述道路倾斜角度信息对应的倾斜角度调整座椅的倾斜角度。
在一示例性虚拟旅游方法实施例中，所述方法还包括：在获取的所述部分视频图像数据中包含道路倾斜角度信息、用户头部处于倚靠状态，以及所述客户端设备包括座椅和能够根据道路倾斜角度调整座椅的座椅调整模块时，根据所述道路倾斜角度信息对应的道路倾斜角度修正用户当前观看方向。
相应地，所述服务器端设备的处理模块32还用于在接收到用于指示用户头部处于倚靠状态的倚靠状态信息、判断全景视频图像数据中包括道路倾斜角度信息，以及所述客户端设备包括座椅和能够根据道路倾斜角度调整座椅的座椅调整模块时，根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正；或者，所述服务器端设备的处理模块32还用于在判断全景视频图像数据中包括道路倾斜角度信息时，将所述道路倾斜角度信息发送给所述客户端设备，由客户端设备修正用户当前观看方向。
当满足以下修正条件时：用户头部处于倚靠状态、全景视频图像数据中包括道路倾斜角度信息(可选地，该条件还可以设置为该道路倾斜角度信息所对应的道路倾斜角度大于预设角度阈值)，以及客户端设备中的座椅调整模块根据倾斜角度调整了座椅的倾斜角度时，如果现实空间中的基准观看方向(第一基准方向)不变，则此时客户端设备的检测模块会将用户头部随座椅倾斜的角度变化误认为是用户观看方向变化。以道路为上坡且倾斜角度为30°为例，当座椅向上倾斜为30°且用户头部倚靠在头枕上时，人眼视线的水平方向也相应向上倾斜了30°，如果此时基准观看方向仍为原水平面(如0°)，则检测模块会将该上仰30°认为是用户观看方向变化，并将对应的用户观看方向信息发送给服务器设备，但是由于此时服务器设备中的全景视频图像数据中的图像基准方向(第二基准方向)为图像采集装置的移动方向，即为向上倾斜30°。因此，服务器设备中的处理模块在选取部分视频图像数据时，会将以图像基准方向(第二基准方向)为基准向上偏移30°(用户观看方向变化角度)的位置周围的部分视频图像数据发送给客户端设备。由上述过程可以看出，当道路发生倾斜、用户倚靠在头枕上且用户随座椅也发生相应倾斜时，由于基准观看方向的不变导致了用户观看方向上的误差。为此在满足上述修正条件时，需要对这部分误差进行修正。当不满足上述修正条件时，不进行修正，或者修正角度为0。具体修正方法为用当前用户观看方向变化角度减去道路倾斜角度。如果道路向上倾斜(上坡)，则道路倾斜角度为正值；如果道路向下倾斜(下坡)，则道路倾斜角度为负值。
在满足上述修正条件的情况下，通过上述方法和装置对用户当前观看方向自动进行修正，可以有效避免存在偏差的问题，给用户带来更好的虚拟旅游体验。
本发明实施例还提供一种包括上述客户端设备和服务器端设备的虚拟旅游系统。在一示例性实施例中，该虚拟旅游系统还可以包括前述视频图像采集设备。
采用本实施例方法、装置和系统，在用户进行虚拟旅游时，通过实时对用户的观看方向和角度等信息进行检测，确认用户实时观看需求，并依据用户当前观看方向信息，选择播放全景图像的不同部分。播放的图像会随用户抬头、低头，以及向左、向右扭头等观看方向和角度而实时变化，所以可产生更强的沉浸感和临境感，以使用户产生实地旅游的感觉。
上述客户端设备和服务器端设备可以是通过通讯系统连接的相对独立的两个设备，例如本实施例中所述全景视频图像存储于云服务端设备中，客户端设备将观看方向信息发送给云服务器，由云服务器进行待显示图像的计算，并将待显示图像传送给客户端设备。通过云服务器完成图像下发，用一份原始的全景图像数据，即可实现多个用户同时进行虚拟旅游，且能够适应不同用户的不同观看方位要求。
在其他实施例中，也可以将服务器端设备的处理模块设置在客户端设备上，由客户端设备实现上述计算功能，或者将服务器端设备的处理模块和存储模块都设置在客户端设备上。如果处理模块设置于客户端设备上，则客户端设备的判断或处理功能则可由处理模块执行。例如通过在移动终端安装一个用于虚拟旅游的应用程序，通过该应用程序从云服务器上下载某景点的全景视频图像，由移动终端接收头显设备测得的观看方向和角度，并计算确定待显示图像，将待显示图像发送给头显设备。当移动终端判断满足修正条件时自行对用户当前观看方向进行修正。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种虚拟旅游系统，其特征在于，包括虚拟旅游客户端设备、虚拟旅游服务器端设备和视频图像采集设备，其特征在于，
所述虚拟旅游客户端设备包括检测模块、头显模块和眼动检测模块，其中：
所述检测模块，用于实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
所述眼动检测模块用于确定人眼注视区域；
所述头显模块，用于获取带有图像基准方向的全景视频图像数据中的与所述用户观看方向信息对应的部分视频图像数据，并进行播放；还用于对所述人眼注视区域对应的视频图像进行放大显示；以及调整人眼注视区域对应的视频图像的第一分辨率以及人眼注视区外的视频图像的第二分辨率，使所述第一分辨率高于所述第二分辨率；还用于实时确定人眼注视区域，当检测人眼不再聚焦此区域，退出局部放大模式；
所述虚拟旅游服务器端设备包括图像源存储模块和处理模块，其中：
所述图像源存储模块，用于保存旅游场景的全景视频图像数据；
所述处理模块，用于根据虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述虚拟旅游客户端设备，以供虚拟旅游客户端设备播放；还用于在判断全景视频图像数据中包括道路倾斜角度信息时，将所述道路倾斜角度信息发送给所述虚拟旅游客户端设备，由所述虚拟旅游客户端设备修正用户当前观看方向；
所述视频图像采集设备用于虚拟旅游系统中的视频图像采集，包括：图像采集装置、图像基准方向标定模块和道路倾斜角度检测模块，其中：
所述图像采集装置，用于采集全景视频图像数据；
所述图像基准方向标定模块，用于在所述图像采集装置采集全景视频图像数据的同时，依据图像采集装置的移动方向在所采集的全景视频图像数据中标记所述全景视频图像的图像基准方向；
道路倾斜角度检测模块，用于检测装载所述视频图像采集设备的载具所行驶的道路发生倾斜时的倾斜角度并标记在所述全景视频图像数据中。
2.根据权利要求1所述的虚拟旅游系统，其特征在于，还包括观看图像基准方向定义模块，其用于供用户定义对应于基准观看方向的观看图像基准方向，所述观看图像基准方向与所述全景视频图像的图像基准方向相同或者与所述全景视频图像的图像基准方向存在角度差。
3.根据权利要求1所述的虚拟旅游系统，其特征在于，所述虚拟旅游客户端设备还包括速度控制装置，所述速度控制装置用于基于用户控制发出速度信号，以控制所述头显模块播放视频图像的速度。
4.根据权利要求1所述的虚拟旅游系统，其特征在于，
所述检测模块包括：用于感测头部转动的转动角度感测模块、用于感测头部俯仰角度变化的俯仰角度感测模块，以及用于感测头部摆动的摆动角度感测模块，所述用户观看方向信息包括以下信息中的至少一种：转动角度、俯仰角度和摆动角度。
5.根据权利要求1所述的虚拟旅游系统，其特征在于，还包括座椅、座椅调整模块，所述座椅包括能够保持相对固定的座体、靠背、头枕和脚踏板，所述座椅调整模块用于在获取的所述部分视频图像数据中包含道路倾斜角度信息时，根据所述道路倾斜角度信息对应的倾斜角度调整座椅的倾斜角度。
6.根据权利要求5所述的虚拟旅游系统，其特征在于，还包括头部姿势检测模块，用于检测用户头部是否处于倚靠状态，生成用于指示用户头部是否处于倚靠状态的倚靠状态信息，所述倚靠状态信息用于判断是否需要根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正。
7.根据权利要求1所述的虚拟旅游系统，其特征在于，所述处理模块还用于接收虚拟旅游客户端设备发送的观看图像基准方向信息，所述观看图像基准方向信息用于表示用户定义的观看图像基准方向与所述全景视频图像的图像基准方向之间的角度差，所述处理模块用于基于所述观看图像基准方向结合所述虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据发送给所述虚拟旅游客户端设备。
8.根据权利要求1所述的虚拟旅游系统，其特征在于，所述处理模块还用于接收所述虚拟旅游客户端设备发送的速度信号，判断当所述速度信号指示的速度超过预设速度阈值，则从所述全景视频图像选取部分视频图像数据时，周期性间隔预设帧数提取视频图像数据发送给所述虚拟旅游客户端设备，以控制所述虚拟旅游客户端设备播放视频图像的速度。
9.根据权利要求1所述的虚拟旅游系统，其特征在于，
所述处理模块还用于在接收到用于指示用户头部处于倚靠状态的倚靠状态信息、判断全景视频图像数据中包括道路倾斜角度信息，以及所述客户端设备包括座椅和能够根据道路倾斜角度调整座椅的座椅调整模块时，在根据虚拟旅游客户端设备发送的用户观看方向信息从所述全景视频图像数据中选取对应的部分视频图像数据时，根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正。
10.一种采用权利要求1-9中任一项所述虚拟旅游系统的虚拟旅游方法，其特征在于，包括：
所述虚拟旅游客户端设备实时检测用户观看方向变化，并根据所述观看方向变化生成用户观看方向信息，所述观看方向变化为用户当前观看方向相对于基准观看方向的变化；
根据所述用户观看方向信息从保存的全景视频图像数据中获取当前观看方向对应的部分视频图像数据，并进行播放。
11.根据权利要求10所述的虚拟旅游方法，其特征在于，所述方法还包括：
根据由用户控制的速度控制装置生成的速度信号控制视频播放速度，判断当所述速度信号指示的速度超过预设速度阈值时，在从所述全景视频图像数据中获取部分视频图像数据时，周期性间隔预设帧数提取视频图像数据发送给所述客户端设备，以控制所述客户端设备播放视频图像的速度。
12.根据权利要求10所述的虚拟旅游方法，其特征在于，所述方法还包括：
当全景视频图像数据中包括道路倾斜角度信息、用户头部处于倚靠状态以及所述客户端设备包括座椅和能够根据道路倾斜角度调整座椅的座椅调整模块时，根据所述道路倾斜角度信息对应的道路倾斜角度对用户当前观看方向进行修正。
CN201910938062.XA 2019-09-30 2019-09-30 虚拟旅游方法、客户端、服务器端、系统及图像采集设备 Active CN110673734B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910938062.XA CN110673734B (zh) 2019-09-30 2019-09-30 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
US16/908,759 US11565190B2 (en) 2019-09-30 2020-06-23 Virtual tourism method, client, server, system, acquisition device, and medium
US17/848,411 US20220317766A1 (en) 2019-09-30 2022-06-24 Virtual Tourism Client, Server, System and Acquisition Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910938062.XA CN110673734B (zh) 2019-09-30 2019-09-30 虚拟旅游方法、客户端、服务器端、系统及图像采集设备

Publications (2)

Publication Number Publication Date
CN110673734A CN110673734A (zh) 2020-01-10
CN110673734B true CN110673734B (zh) 2023-12-01

Family

ID=69080458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910938062.XA Active CN110673734B (zh) 2019-09-30 2019-09-30 虚拟旅游方法、客户端、服务器端、系统及图像采集设备

Country Status (2)

Country Link
US (1) US11565190B2 (zh)
CN (1) CN110673734B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453083B (zh) * 2020-03-24 2022-06-28 腾讯科技（深圳）有限公司 多自由度场景下的沉浸式媒体获取方法、设备及存储介质
CN112257961B (zh) * 2020-11-16 2022-05-10 成都中科大旗软件股份有限公司 一种基于大数据的行程规划系统及方法
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN112738498B (zh) * 2020-12-24 2023-12-08 京东方科技集团股份有限公司 一种虚拟游览系统及方法
CN112734937A (zh) * 2020-12-31 2021-04-30 中国科学院宁波材料技术与工程研究所 一种基于全景技术的旅游系统
WO2022220305A1 (ja) * 2021-04-16 2022-10-20 パナソニックＩｐマネジメント株式会社 映像表示システム、情報処理方法、及び、プログラム
CN116095405A (zh) * 2021-11-05 2023-05-09 华为技术有限公司 视频播放方法和装置
CN114449162A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
CN115022611B (zh) * 2022-03-31 2023-12-29 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN204405948U (zh) * 2014-11-14 2015-06-17 西安中科微光医疗技术有限公司 一种可眼部控制的虚拟显示头盔
CN106375347A (zh) * 2016-11-18 2017-02-01 上海悦野健康科技有限公司 虚拟现实的旅游直播平台
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
KR20180002426A (ko) * 2016-06-29 2018-01-08 김주한 사용자 동작과 상호 작용하는 가상현실 콘텐츠 재생 제어 시스템
CN107852489A (zh) * 2016-05-31 2018-03-27 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的头盔
CN108370440A (zh) * 2016-05-31 2018-08-03 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的系统
WO2019060985A1 (en) * 2017-09-29 2019-04-04 Eyexpo Technology Corp. CLOUD SYSTEM AND METHOD FOR CREATING A VIRTUAL GUIDED TOUR

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US20010025261A1 (en) 1996-06-14 2001-09-27 Shari Olefson Method and apparatus for providing a virtual tour of a dormatory or other institution to a prospective resident
JP2000116718A (ja) * 1998-10-19 2000-04-25 Univ Kochi Koka 車椅子
GB0521796D0 (en) 2005-10-26 2005-12-07 Cardu Salvatore Gtgvr software application
EP2881703B1 (en) * 2012-08-02 2021-02-24 Toyota Jidosha Kabushiki Kaisha Road surface condition acquisition device and suspension system
CN106664349B (zh) * 2014-03-25 2020-03-13 6115187加拿大公司暨伊美景象公司 自动定义与场景图像内容相关的用户体验或系统行为的系统
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
CN105763843A (zh) 2015-10-06 2016-07-13 张启昭 遥控观看系统及其摄像端和观看端
JP2018013396A (ja) * 2016-07-20 2018-01-25 清水建設株式会社 車椅子移動環境計測装置および方法
JP2018126185A (ja) * 2017-02-06 2018-08-16 株式会社日立製作所 装置、音データの生成方法、及びプログラム
JP2019093894A (ja) * 2017-11-22 2019-06-20 アイシン精機株式会社 サポート装置
CN108521432A (zh) 2018-04-27 2018-09-11 四川徐氏智慧文化旅游有限公司 一种基于vr的虚拟旅游系统
CN108550088A (zh) 2018-05-08 2018-09-18 华南师范大学 基于虚拟现实的虚拟旅游管理方法和系统
JP2018171455A (ja) * 2018-05-15 2018-11-08 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN204405948U (zh) * 2014-11-14 2015-06-17 西安中科微光医疗技术有限公司 一种可眼部控制的虚拟显示头盔
CN107852489A (zh) * 2016-05-31 2018-03-27 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的头盔
CN108370440A (zh) * 2016-05-31 2018-08-03 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的系统
KR20180002426A (ko) * 2016-06-29 2018-01-08 김주한 사용자 동작과 상호 작용하는 가상현실 콘텐츠 재생 제어 시스템
CN106375347A (zh) * 2016-11-18 2017-02-01 上海悦野健康科技有限公司 虚拟现实的旅游直播平台
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
WO2019060985A1 (en) * 2017-09-29 2019-04-04 Eyexpo Technology Corp. CLOUD SYSTEM AND METHOD FOR CREATING A VIRTUAL GUIDED TOUR

Also Published As

Publication number Publication date
US20210093978A1 (en) 2021-04-01
US11565190B2 (en) 2023-01-31
CN110673734A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110673734B (zh) 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
US10713851B2 (en) Live augmented reality using tracking
US10535197B2 (en) Live augmented reality guides
US10950033B2 (en) Damage detection from multi-view visual data
US10334165B2 (en) Omnistereo capture for mobile devices
US11876948B2 (en) Snapshots at predefined intervals or angles
CN105408937B (zh) 用于便于计算机视觉应用程序初始化的方法
US20190158741A1 (en) Loop closure
CN104885125B (zh) 信息处理设备、信息处理系统和信息处理方法
US20220317766A1 (en) Virtual Tourism Client, Server, System and Acquisition Device
US10665024B2 (en) Providing recording guidance in generating a multi-view interactive digital media representation
KR20170089260A (ko) 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
WO2020009948A1 (en) Providing recording guidance in generating a multi-view interactive digital media representation
US10248202B2 (en) Video display apparatus and method for reducing VR sickness
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
CA3126804A1 (en) Damage detection from multi-view visual data
CN111444748B (zh) 一种坐姿检测方法、装置、设备及存储介质
KR102365162B1 (ko) 멀미 저감을 위한 영상 표시 장치 및 방법
KR102119521B1 (ko) 드론을 이용한 구면 공간 영상 촬영할 때의 수평 보정 방법
WO2021192906A1 (ja) 算出方法
CN111447429B (zh) 一种基于双目摄像头摄像的车载裸眼3d显示方法及系统
JP7343237B2 (ja) 追跡方法
CN113435364B (zh) 头部转动检测方法、电子设备及存储介质
CN112738498B (zh) 一种虚拟游览系统及方法
WO2021192907A1 (ja) 出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant