CN112997220A - 经由远程渲染的视频流进行3d模型的可视化和交互的系统和方法 - Google Patents

经由远程渲染的视频流进行3d模型的可视化和交互的系统和方法 Download PDF

Info

Publication number
CN112997220A
CN112997220A CN201980072862.6A CN201980072862A CN112997220A CN 112997220 A CN112997220 A CN 112997220A CN 201980072862 A CN201980072862 A CN 201980072862A CN 112997220 A CN112997220 A CN 112997220A
Authority
CN
China
Prior art keywords
remote
local
computer
model
facilitating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980072862.6A
Other languages
English (en)
Other versions
CN112997220B (zh
Inventor
D·M·史蒂文森
P·A·伯顿
M·维特扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aviva Software Co ltd
Original Assignee
Aviva Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aviva Software Co ltd filed Critical Aviva Software Co ltd
Publication of CN112997220A publication Critical patent/CN112997220A/zh
Application granted granted Critical
Publication of CN112997220B publication Critical patent/CN112997220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1045—Proxies, e.g. for session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及用于然后由远程计算机访问的3D模型的本地渲染的系统和方法。该系统的优势在于，渲染复杂3D模型所需的大量硬件被集中化，并且能够由小型远程计算机访问，而无需专门的硬件或软件安装。该系统还提供了增强的安全性，因为可以将模型数据限制于有限数量的服务器，而不是存储在各个计算机上。

Description

经由远程渲染的视频流进行3D模型的可视化和交互的系统和 方法
相关应用
本申请要求于2018年9月10日提交的标题为“VISUALIZATION AND INTERACTIONOF 3D MODELS VIA REMOTELY RENDERED VIDEO STREAM SYSTEM AND METHOD”的美国临时专利申请No.62/729,307和于2018年9月11日提交的标题为“VISUALIZATION ANDINTERACTION OF 3DMODELS VIA REMOTELY RENDERED VIDEO STREAM SYSTEM AND METHOD”的美国临时专利申请No.62/729,935的权益和优先权，这些申请的全部内容通过引用并入本文。
背景技术
由工业控制和监视软件平台生成的3D模型正在变得越来越大和越来越复杂，从而导致任何试图处理和可视化数据的计算机对硬件的要求在增加。一些系统提供者使用某种形式的服务器侧渲染，使用光线跟踪产生图像。其它视频流传输技术也很普及(例如，Skype)，但仅流传输自创建内容。诸如WebRTC之类的一些技术提供了执行视频和通信的低时延流传输的能力，但仅仅是用于这样做的框架或SDK，并且不生成编码内容。
发明内容
根据各种实施例，本文描述的系统和方法涉及促进对在本地计算机处生成的三维(3D)模型的渲染，该三维(3D)模型可以使用远程计算机来操纵(例如，提供可视化服务器进程，从而将渲染的3D数据的交互式视频流传递到具有视频回放能力的一个或多个网络连接)。根据一些实施例，3D模型的本地渲染的优点包括在需要时升级本地装备以支持不断增长的复杂3D模型的能力，同时获得在可以支持视频流传输的任何远程计算机上渲染3D图像的能力。在一些实施例中，系统将图形处理单元(GPU)与位于本地站点的一个或多个处理器和非暂态计算机可读介质结合使用以生成3D模型。在一些实施例中，通过连接将3D模型的渲染作为视频流传递到一个或多个远程计算机。然后，根据一些实施例，用户可以使用各种命令来操纵3D模型。根据各种实施例，该系统极大地减少了时延对用户体验的影响，并且由于仅在本地网络内可访问而提供了更高的安全性。在一些实施例中，时延小于50ms。通过将3D数据集中在本地可访问的内部部署的网络上，在一些实施例中，3D模型变得高度可访问，而无需将相同的3D模型复制和/或拷贝到每个单独的远程计算机上。这也提供了增强的安全性，因为根据一些实施例，模型数据的使用可以限于特定数量的计算机，而不是多个最终用户计算机。另外，在一些实施例中，多个远程计算机可以间歇性地或同时访问本地计算机上的相同3D模型。
本发明的一些实施例包括可以在等待客户端连接的任何计算机上托管的系统和处理。本发明的一些实施例使得能够进行远程渲染，使得任何计算机都能够显示一个或多个复杂模型的渲染而不需要任何特殊的硬件或软件安装。在一些实施例中，这些连接可以用于发送实时视频流，该实时视频流是通过在本地计算机上渲染指定的3D模型并以交互速率对每一帧进行编码而生成的。在一些实施例中，来自本地计算机的渲染以视频流的形式被传递到远程计算机。
在一些实施例中，一旦开始流传输，远程计算机就可以通过向本地计算机发送简单的JavaScript对象表示法(JSON)命令来与渲染交互以允许导航、拾取、平移、缩放以及其它3D模型交互。在一些实施例中，对3D视图具有视觉影响(例如，视点改变)的交互可以触发新帧在本地计算机上被渲染并且作为视频流的一部分被流传输给用户。根据一些实施例，在交互、渲染和/或流传输的反馈环之后，用户可以与他们的远程计算机上的3D模型的渲染自由地交互。
该系统的一些实施例可以促进通过标准通信或流传输技术(包括但不限于H.264视频编码和解码、应用编程接口(API)和HTML5WebSocket)建立的连接。在一些实施例中，这允许不同操作系统之间的高度兼容性，从而使将来的应用能够基于web(例如，由远程计算机通过web访问的本地计算机)，而不要求必须针对每个支持的操作系统编写应用或软件的多个版本。在一些实施例中，GPU光栅化器可以用于流传输，从而使其具有高度的交互性(例如，诸如通过使用30Hz帧速率)。在一些实施例中，例如，除了支持媒体源扩展和H264编码视频的标准HTML5浏览器之外，无需任何附加软件/插件就可以产生使用标准视频流的任何可视化。
在一些实施例中，该系统可以使得在多个计算机、虚拟机和/或服务器上同时运行的一个或多个本地计算机服务器进程能够支持任何数量的远程计算机。
一些实施例可以使用GPU视频编码器从由渲染引擎(例如，诸如AVEVA渲染引擎)生成的帧中产生视频流。在一些实施例中，在3D模型的渲染和编码二者期间确保GPU的高利用率可以导致在远程计算机交互之后的低时延。在各种实施例中，低时延小于或等于50ms。
在一些实施例中，至少一个本地计算机可以托管一个或多个虚拟和/或物理计算机，每个虚拟和/或物理计算机可以运行一个或多个服务器来处置来自远程计算机的一个或多个传入的远程客户端请求。在一些实施例中，是远程计算机负责解码视频流。在一些实施例中，视频流可以与媒体源扩展(MSE)兼容以确保良好的回放性能。
在一些实施例中，远程计算机可以经由WebSocket耦合到本地计算机并发送命令来渲染3D模型。在一些实施例中，该动作可以保留一些GPU资源来渲染2D帧以进行编码：在一些实施例中，MP4电影标头被发送到远程客户端以指示视频流的开始。
在一些实施例中，远程计算机可以发出命令以与3D模型进行交互。在一些非限制性实施例中，经由鼠标移动和/或点击、手指触摸、手势、眼睛移动跟踪或任何其它发送数字信号的方法来发出命令。在一些实施例中，命令修改本地3D模型并触发要渲染的新帧并将其发送到硬件编码器，然后将该新帧作为下一个P帧(相对先前图像的增量)发送到远程客户端。在一些实施例中，使用一个或多个硬件编码器和高GPU/低CPU组合实现这种交互所需的低时延。
附图说明
图1图示了根据一些实施例的系统体系架构。
图2图示了根据一些实施例的基于云的系统体系架构。
图3图示了实现或包括根据一些实施例的系统和方法的计算机系统。
具体实施方式
图1图示了根据一些实施例的系统体系架构100。在一些实施例中，远程计算机101促进与网络104的连接102、103，该网络104与本地计算机106处于连接105；在一些实施例中，连接102、103促进视频流传输102和命令103。根据一些实施例，3D模型数据107被上传到本地计算机106和/或存储在其上，在本地计算机106中被变换成3D模型渲染。在一些实施例中，3D模型渲染被通过网络104发送到远程计算机101，并且作为视频流102到达。然后可以在远程计算机101处向3D模型渲染给出3D模型操纵命令103。然后在一些实施例中，通过网络104将3D模型操纵命令103发送回本地计算机106。此时，在各种实施例中，本地计算机106根据命令103来操纵3D模型渲染。在各种实施例中，然后，新的3D渲染通过网络104被发送回远程计算机101，其中它以视频流102的形式到达远程计算机101。根据各种实施例，上述过程重复用户所需的次数，以根据期望操纵3D模型。
图2图示了根据一些实施例的基于云的系统体系架构200。类似于图1，在一些实施例中，远程计算机201促进与网络204的连接202、203，该网络204与本地云计算机209处于连接205。在一些实施例中，连接202、203促进视频流传输202和命令203。在一些实施例中，本地云计算机209包括代理服务器215、视频服务器211、每个都彼此处于连接210并且与实例208相关联。根据一些实施例，3D模型数据207被上传到视频服务器211和/或存储在其上，在视频服务器211中它被变换成3D模型渲染。在一些实施例中，3D模型渲染通过代理服务器215和网络204被发送到远程计算机201，并且作为视频流202到达。然后可以在远程计算机201处向3D模型渲染给出3D模型操纵命令203。然后在一些实施例中，通过网络204将3D模型操纵命令203发送回本地云计算机209。此时，在各种实施例中，本地云计算机209根据命令203来操纵3D模型渲染。在各种实施例中，然后，新的3D渲染通过网络204被发送回远程计算机201，其中它以视频流202的形式到达远程计算机201。根据各种实施例，上述过程重复用户所需的次数，以根据期望操纵3D模型。
在一些实施例中，如果3D模型数据207对于视频服务器211太大或太复杂而不能被处置，那么可以调用212附加的服务器213来支持视频服务器211，或者该附加的服务器213可以代替视频服务器211使用：根据一些实施例，多个服务器可以包括渲染的3D模型的部分。根据各种实施例，附加服务器213可以是与代理服务器215进行通信214的物理或虚拟服务器。
图3图示了实现或包括根据一些实施例的系统和方法的计算机系统。在一些实施例中，计算机系统210可以包括和/或操作和/或处理上述软件模块和/或系统中的一个或多个的计算机可执行代码。此外，在一些实施例中，计算机系统310可以使用计算机在一个或多个图形用户界面(GUI)内操作和/或显示信息。在一些实施例中，计算机系统210可以包括云和/或可以耦合到一个或多个基于云的服务器系统。
在一些实施例中，系统310可以包括至少一个计算机，该至少一个计算机包括至少一个处理器332。在一些实施例中，至少一个处理器332可以包括驻留在一个或多个服务器平台中或耦合到一个或多个服务器平台的处理器。在一些实施例中，系统310可以包括网络接口335a和应用接口335b，其耦合到能够处理至少一个操作系统334的至少一个处理器332。此外，在一些实施例中，耦合到至少一个处理器332的接口335a、335b可以被配置为处理软件模块中的一个或多个(例如，诸如企业应用238)。在一些实施例中，软件模块338可以包括基于服务器的软件，并且可以操作以托管至少一个用户账户和/或至少一个客户端账户，并且使用至少一个处理器332操作以在这些账户中的一个或多个之间传送数据。
根据一些实施例，本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。此外，在一些实施例中，通篇描述的模型和上述数据库可以将分析模型和其它数据存储在系统310内的计算机可读存储介质上以及耦合到计算机系统310的计算机可读存储介质上。此外，在一些实施例中，系统的上述应用可以存储在计算机系统210内的计算机可读存储介质上以及耦合到计算机系统210的计算机可读存储介质上。根据各种实施例，这些操作是要求对物理量进行物理操纵的操作。虽然不是必需的，但通常，在一些实施例中，这些量采取能够被存储、传输、组合、比较和以其它方式操纵的光学或磁光形式、电、电磁或磁信号的形式。在一些实施例中，系统310可以包括耦合到至少一个数据源337a和/或至少一个数据存储装置337b和/或至少一个输入/输出337c的至少一个计算机可读介质336。在一些实施例中，计算机系统可以被实施为计算机可读介质336上的计算机可读代码。在一些实施例中，计算机可读介质336可以是能够存储数据的任何数据存储装置，该数据随后能够由计算机系统(诸如系统310)读取。在一些实施例中，计算机可读介质336可以是能够用于有形地存储期望的信息或数据或指令并且能够由计算机或处理器332访问的任何物理或材料介质。在一些实施例中，计算机可读介质336可以包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、基于FLASH的存储器、CD-ROM、CD-R、CD-RW、DVD、磁带、其它光学和非光学数据存储装置。在一些实施例中，各种其它形式的计算机可读介质336可以将指令传输或携带到计算机340和/或至少一个用户331，包括路由器、专用或公共网络，或有线和无线的其它传输设备或信道。在一些实施例中，软件模块338可以被配置为发送和从数据库(例如，从包括数据源337a和可以包括数据库的数据存储装置337b的计算机可读介质336)接收数据，并且数据可以由软件模块338从至少一个其它源接收。在一些实施例中，软件模块338中的至少一个可以被配置在系统内，以经由在至少一个数字显示器上渲染的至少一个图形用户界面将数据输出给至少一个用户331。
在一些实施例中，计算机可读介质336可以经由网络接口335a分布在常规的计算机网络上，其中系统由能够以分布式方式存储和执行的计算机可读代码实施。例如，在一些实施例中，系统210的一个或多个组件可以被耦合以通过局域网(“LAN”)339a和/或互联网耦合网络339b(例如，诸如无线互联网)发送和/或接收数据。在一些其它实施例中，网络339a、339b可以包括广域网(“WAN”)、直接连接(例如，通过通用串行总线端口)或其它形式的计算机可读介质336，或其任意组合。
在一些实施例中，网络339a、339b的组件可以包括任意数量的用户计算机，诸如通过LAN 339a耦合的个人计算机，包括例如台式计算机和/或膝上型计算机，或者任何固定的、一般非移动的互联网设备。例如，一些实施例包括通过LAN 339a耦合的个人计算机340a，其可以被配置用于包括管理员在内的任何类型的用户。其它实施例可以包括通过网络339b耦合的个人计算机。在一些其它实施例中，系统310的一个或多个组件可以被耦合以通过互联网网络(例如，诸如网络339b)发送或接收数据。例如，一些实施例包括至少一个用户331，其无线耦合并且经由输入和输出(“I/O”)337c访问包括至少一个企业应用338的系统的一个或多个软件模块。在一些其它实施例中，系统310可以使至少一个用户331能够通过LAN 339a经由I/O 337c被耦合以访问企业应用338。在一些实施例中，用户331可以包括使用通过互联网339b耦合的台式计算机和/或膝上型计算机或任何固定的、一般非移动的互联网设备耦合到系统310的用户331a。在一些其它实施例中，用户331可以包括耦合到系统310的移动用户331b。在一些实施例中，用户331b可以使用任何移动计算机331c来无线耦合到系统210，包括但不限于个人数字助理和/或蜂窝电话、移动电话或智能电话和/或寻呼机，和/或数字平板电脑和/或固定或移动互联网设备。
根据一些实施例，本文描述的构成系统的一部分的任何操作是有用的机器操作。在一些实施例中，该系统还涉及用于执行这些操作的装置。在一些实施例中，装置可以针对所需目的被专门地构造，诸如专用计算机。当被定义为专用计算机时，在一些实施例中，计算机还可以进行不属于专用目的的一部分的其它处理、程序执行或例程，同时仍然能够针对该专用目的进行操作。在各种实施例中，可以通过由在计算机存储器、高速缓存中存储的或通过网络获得的一个或多个计算机程序选择性地激活或配置的通用计算机来处理操作。当通过网络获得数据时，该数据可以被网络上的其它计算机(例如，在一些实施例中，计算资源的云)处理。
系统的实施例也可以被定义为将数据从一种状态变换成另一种状态的机器。数据可以表示物品，在各种实施例中，该物品可以被表示为电子信号并以电子方式操纵数据。在一些实施例中，可以在显示器上可视地描绘变换后的数据，从而表示由数据的变换产生的物理对象。在一些实施例中，可以将变换后的数据一般地或以使得能够构造或描绘物理和有形对象的格式保存到存储装置中。在一些实施例中，操纵可以由处理器执行。根据一些实施例，处理器将数据从一种事物变换成另一种事物。一些实施例包括可以由可以通过网络连接的一个或多个机器或处理器来处理的方法。在各种实施例中，每个机器可以将数据从一种状态或事物变换成另一种状态或事物，并且还可以处理数据、将数据保存到存储装置、通过网络传输数据、显示结果或将结果传送到另一个机器。如本文所使用的，根据一些实施例，计算机可读存储介质是指物理的或有形的存储装置(与信号相反)，并且包括但不限于以用于信息(诸如计算机可读指令、数据结构、程序模块、实例或其它数据)的有形存储的任何方法或技术实现的易失性和非易失性的、可移动和不可移动的存储介质。
虽然可以按特定次序描述方法操作，但是在一些实施例中，其它整理操作可以在操作之间执行，或者操作可以被调整以使它们在稍微不同的时间发生，或者可以分布在允许处理操作在与处理相关联的各种间隔处发生的系统中，只要以期望的方式执行覆盖操作的处理即可。
本领域技术人员将认识到的是，虽然以上已经结合实施例、附图和示例描述了该系统，但是本发明不必局限于此：许多其它实施例、示例、用途、修改和相对于给出的实施例的偏离都旨在被本文的描述所涵盖。本发明能够具有其它实施例并且能够以各种方式被实践或执行。
另外，应该理解的是，本文所使用的措词和术语是出于描述的目的，而不应当被认为是限制性的。本文中“包括”、“包含”或“具有”及其变体的使用意在涵盖其后列出的项目及其等同物以及附加项目。除非另外指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变化被广泛使用，并且包括直接和间接安装、连接、支撑和耦合。另外，“连接”和“耦合”不限于物理或机械连接或耦合，并且包括促进数据的传输的任何无线连接。
根据一些实施例，词语“计算机”涵盖一个或多个处理器、计算机可读介质(例如，计算机存储器)、显示器、扬声器、有线和无线通信及数据传输组件、客户端、服务器、API、数据库以及相关的硬件和软件中的任何一种或组合。在一些实施例中，“计算机”也可以指台式计算机、智能电话、PDA、平板电脑、收音机等，它们中的任何一个都可以包括上述软件和硬件中的一个或多个。
在一些实施例中，本地云计算机可以包括例如Amazon Web Services(AWS)，但是广泛地适用于任何其它云平台，诸如Microsoft Azure。
AVEVA、AVEVA徽标和AVEVA产品名称是AVEVA Group plc或其在英国和其它国家的子公司的商标或注册商标。Windows和Azure是Microsoft公司在美国和其它国家的注册商标。Amazon和Amazon Web Services是Amazon公司的注册商标。

Claims (20)

1.一种用于促进三维(3D)模型的远程可视化和交互的系统，包括：
至少一个本地处理器；
至少一个本地非暂态计算机可读介质；
至少一个远程处理器；
至少一个远程非暂态计算机可读介质；
其中所述至少一个本地非暂态计算机可读介质包括被配置和布置为使用所述至少一个本地处理器执行的本地指令，
其中所述本地指令包括：
创建本地3D模型，
促进本地3D模型操纵，以及
促进所述至少一个本地处理器和所述至少一个远程处理器之间的连接；
其中所述至少一个远程非暂态计算机可读介质包括被配置和布置为使用所述远程处理器执行的远程指令，
其中所述远程指令包括：
促进远程命令，
促进所述本地处理器和所述远程处理器之间的连接，
促进使用所述远程命令对所述本地3D模型的远程3D模型操纵，以及
生成由所述本地指令创建的所述本地3D模型的远程渲染；
其中所述至少一个本地处理器中的每一个和所述至少一个远程处理器中的每一个被分别容纳在单独的本地壳体和远程壳体中。
2.如权利要求1所述的系统，
其中通过使用由所述远程处理器执行的视频回放代码来实现生成所述本地3D模型的远程渲染。
3.如权利要求2所述的系统，
其中视频回放代码包括JavaScript对象表示法(JSON)、H.264视频流传输和HTML5websocket中的一个或多个。
4.如权利要求1所述的系统，
其中创建本地3D模型和/或促进本地3D模型操纵包括使用图形处理单元(GPU)。
5.如权利要求4所述的系统，
其中所述连接包括所述本地处理器将所述本地3D模型操纵作为视频流返回到所述远程处理器。
6.如权利要求4所述的系统，
其中在执行所述远程命令之后，所述本地3D模型的远程渲染的时延小于50毫秒。
7.如权利要求1所述的系统，
其中所述至少一个远程处理器是各自被容纳在相应的壳体中的多个远程处理器；
其中所述多个远程处理器各自能够促进与所述至少一个本地处理器中的任何一个本地处理器的连接；
其中所述多个远程处理器中的每个远程处理器能够促进对所述本地3D模型的不同远程3D模型操纵。
8.如权利要求7所述的系统，
其中所述多个远程处理器中的所述每个远程处理器促进所述本地3D模型的不同远程3D模型操纵同时发生。
9.如权利要求1所述的系统，
其中基于云的计算机系统包括所述本地处理器和/或本地非暂态计算机可读介质。
10.一种用于促进三维(3D)模型的远程可视化和交互的系统，包括：
至少一个本地计算机；
至少一个远程计算机；
其中所述至少一个本地计算机被配置和布置为执行本地指令，
其中所述本地指令包括：
生成本地3D模型，
促进本地3D模型操纵，以及
促进所述至少一个本地计算机和所述至少一个远程计算机之间的连接；
其中所述至少一个远程计算机被配置和布置为执行远程指令，
其中所述远程指令包括：
促进远程命令，
促进所述本地计算机和所述远程计算机之间的连接，
促进使用所述远程命令对所述本地3D模型的远程3D模型操纵，以及
生成由所述本地指令创建的所述本地3D模型的远程渲染；
其中所述至少一个本地计算机中的每一个和所述至少一个远程计算机中的每一个被分别容纳在单独的本地壳体和远程壳体中。
11.如权利要求10所述的系统，
其中通过使用由所述远程计算机执行的视频流传输代码来实现生成远程渲染和/或本地3D模型操纵。
12.如权利要求11所述的系统，
其中视频流传输代码包括JavaScript对象表示法(JSON)、H.264视频流传输和HTML5WebSocket中的一个或多个。
13.如权利要求10所述的系统，
其中创建本地3D模型和/或促进本地3D模型操纵包括使用图形处理单元(GPU)。
14.如权利要求13所述的系统，
其中所述连接包括所述本地计算机将所述本地3D模型操纵作为视频流返回到所述远程处理器。
15.如权利要求13所述的系统，
其中在执行所述远程命令之后，所述本地3D模型的远程渲染的时延小于50毫秒。
16.如权利要求15所述的系统，
其中所述至少一个远程计算机是各自被容纳在相应的壳体中的多个远程计算机；
其中所述多个远程计算机各自能够促进与所述至少一个本地计算机中的任何一个本地计算机的连接；
其中所述多个远程计算机中的每个远程计算机能够促进对所述本地3D模型的不同远程3D模型操纵。
17.如权利要求16所述的系统，
其中所述多个远程处理器中的所述每个远程处理器促进所述本地3D模型的不同远程3D模型操纵同时发生。
18.如权利要求10所述的系统，
其中基于云的计算机系统包括所述本地计算机。
19.一种用于促进三维(3D)模型的远程可视化和交互的方法，包括以下步骤：
提供至少一个本地计算机；
提供至少一个远程计算机；
配置所述至少一个本地计算机以执行本地指令，
其中所述本地指令包括以下步骤：
生成本地3D模型，
促进本地3D模型操纵，以及
促进所述至少一个本地计算机和所述至少一个远程计算机之间的连接；
配置所述至少一个远程计算机以执行远程指令，
其中所述远程指令包括以下步骤：
促进远程命令，
促进所述本地计算机和所述远程计算机之间的连接，
促进使用所述远程命令对所述本地3D模型的远程3D模型操纵，以及
生成由所述本地指令创建的所述本地3D模型的远程渲染。
20.如权利要求19所述的系统，
其中基于云的计算机系统包括所述本地计算机。
CN201980072862.6A 2018-09-10 2019-09-10 经由远程渲染的视频流进行3d模型的可视化和交互的系统和方法 Active CN112997220B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862729307P 2018-09-10 2018-09-10
US62/729,307 2018-09-10
US201862729935P 2018-09-11 2018-09-11
US62/729,935 2018-09-11
PCT/US2019/050451 WO2020055895A1 (en) 2018-09-10 2019-09-10 Visualization and interaction of 3d models via remotely rendered video stream system and method

Publications (2)

Publication Number Publication Date
CN112997220A true CN112997220A (zh) 2021-06-18
CN112997220B CN112997220B (zh) 2024-09-03

Family

ID=69718872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072862.6A Active CN112997220B (zh) 2018-09-10 2019-09-10 经由远程渲染的视频流进行3d模型的可视化和交互的系统和方法

Country Status (4)

Country Link
US (2) US11075972B2 (zh)
EP (1) EP3850589A4 (zh)
CN (1) CN112997220B (zh)
WO (1) WO2020055895A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415321A (zh) * 2022-12-28 2023-07-11 浙江华东工程数字技术有限公司 一种云端cad处理系统及其构建方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509148A (zh) * 2020-12-04 2021-03-16 全球能源互联网研究院有限公司 一种基于多特征识别的交互方法、装置及计算机设备
CN118550540B (zh) * 2024-07-29 2024-10-18 江西格如灵科技股份有限公司 在Web端控制3D虚拟模型的方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015042A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Visual content browsing using rasterized representations
US7200639B1 (en) * 1999-11-15 2007-04-03 International Bussiness Machines Corporation Remote control system, server-client system, server for controlling terminal device, terminal device operating method, device information sharing method, storage media, and program transmission apparatus
US20130080506A1 (en) * 2011-09-28 2013-03-28 Microsoft Corporation Remotely-hosted interactive client-server session
US20140108967A1 (en) * 2011-06-08 2014-04-17 Steven Markham System for viewing and interacting with a virtual 3-d scene
US20160154476A1 (en) * 2013-05-22 2016-06-02 Nokia Technologies Oy Apparatuses, methods and computer programs for remote control

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274368B1 (en) * 2000-07-31 2007-09-25 Silicon Graphics, Inc. System method and computer program product for remote graphics processing
US20110157196A1 (en) * 2005-08-16 2011-06-30 Exent Technologies, Ltd. Remote gaming features
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
WO2012079825A1 (en) * 2010-12-15 2012-06-21 International Business Machines Corporation Hardware accelerated graphics for network enabled applications
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2015099613A1 (en) * 2013-12-26 2015-07-02 Singapore University Of Technology And Design A method and apparatus for reducing data bandwidth between a cloud server and a thin client
US9396586B2 (en) * 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9665985B2 (en) * 2014-08-15 2017-05-30 Daqri, Llc Remote expert system
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
EP3185152B1 (en) * 2015-12-22 2022-02-09 Dassault Systèmes Distributed clash and snapping
KR20180082170A (ko) * 2017-01-10 2018-07-18 트라이큐빅스 인크. 3차원 얼굴 모델 획득 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200639B1 (en) * 1999-11-15 2007-04-03 International Bussiness Machines Corporation Remote control system, server-client system, server for controlling terminal device, terminal device operating method, device information sharing method, storage media, and program transmission apparatus
US20020015042A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Visual content browsing using rasterized representations
US20140108967A1 (en) * 2011-06-08 2014-04-17 Steven Markham System for viewing and interacting with a virtual 3-d scene
US20130080506A1 (en) * 2011-09-28 2013-03-28 Microsoft Corporation Remotely-hosted interactive client-server session
US20160154476A1 (en) * 2013-05-22 2016-06-02 Nokia Technologies Oy Apparatuses, methods and computer programs for remote control

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FABRIZIO LAMBERTI等: "A Streaming-Based Solution forRemote Visualization of 3D Graphicson Mobile Devices", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 13, no. 2, 30 April 2007 (2007-04-30), pages 247 - 260 *
侯文生等: "虚拟手可视化模型的初步研究", 《 中国临床解剖学杂志》, vol. 26, no. 6, 25 November 2008 (2008-11-25), pages 616 - 618 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415321A (zh) * 2022-12-28 2023-07-11 浙江华东工程数字技术有限公司 一种云端cad处理系统及其构建方法
CN116415321B (zh) * 2022-12-28 2024-06-21 浙江华东工程数字技术有限公司 一种云端cad处理系统及其构建方法

Also Published As

Publication number Publication date
US11601490B2 (en) 2023-03-07
US20210352126A1 (en) 2021-11-11
EP3850589A1 (en) 2021-07-21
US11075972B2 (en) 2021-07-27
US20200084251A1 (en) 2020-03-12
WO2020055895A1 (en) 2020-03-19
CN112997220B (zh) 2024-09-03
EP3850589A4 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US11601490B2 (en) Visualization and interaction of 3D models via remotely rendered video stream system and method
CN110415325B (zh) 云渲染三维可视化实现方法及系统
JP6288594B2 (ja) デスクトップクラウドベースのメディア制御方法およびデバイス
US20240007516A1 (en) Ultra-low latency remote application access
AU2019383041B2 (en) Techniques for managing generation and rendering of user interfaces on client devices
US11089349B2 (en) Apparatus and method for playing back and seeking media in web browser
EP3646611A1 (en) Systems and methods of orchestrated networked application services
KR102385338B1 (ko) 가상 디바이스, 렌더링 디바이스, WoT 디바이스 및 웹 기반 콘텐츠 처리 시스템
CN115190345B (zh) 用于显示媒体的协调控制方法、客户端设备及存储介质
CN117609646A (zh) 场景渲染方法、装置、电子设备及存储介质
US11887239B2 (en) Integration of 3rd party geometry for visualization of large data sets system and method
US8856651B2 (en) Remote user interface cooperative application
Dyken et al. A framework for OpenGL client-server rendering
Tamm et al. Plugin free remote visualization in the browser
US20240242429A1 (en) Method of generating frames for a display device
US20240114190A1 (en) Interactive Video Streaming For 3D Applications
CN113064809A (zh) 一种跨设备页面调试方法和装置
Hoffmann et al. An interactive remote visualization system for mobile application access

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant