CN112565818B - 二三维一体化的操作站平台构建方法和电子设备 - Google Patents
二三维一体化的操作站平台构建方法和电子设备 Download PDFInfo
- Publication number
- CN112565818B CN112565818B CN202011381022.9A CN202011381022A CN112565818B CN 112565818 B CN112565818 B CN 112565818B CN 202011381022 A CN202011381022 A CN 202011381022A CN 112565818 B CN112565818 B CN 112565818B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- data
- image
- rendering
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 233
- 230000002452 interceptive effect Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000009826 distribution Methods 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000006837 decompression Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 239000013307 optical fiber Substances 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种二三维一体化的操作站平台构建方法和电子设备。该方法包括：发送第一操作请求至服务端的调度设备，以由调度设备根据第一操作请求，对服务端的渲染设备进行分配；接收调度设备发送的渲染设备的分配反馈信息，并根据渲染设备的分配反馈信息，确定与分配的渲染设备连接完成；其中，与分配的渲染设备的连接基于视频流送的数据传送机制；响应于与分配的渲染设备连接完成，由分配的渲染设备对场景数据进行渲染，得到第一三维图像；接收服务端压缩并发送的第一三维图像的第一压缩图像数据并解压缩，得到第一三维图像；基于图层的交互界面框架，对解压缩得到的第一三维图像与第一二维数据进行组合，得到第一组合图像并进行展示。
Description
技术领域
本申请涉及工业控制技术领域，特别涉及一种二三维一体化的操作站平台构建方法和电子设备。
背景技术
工业控制系统是企业生产过程中过程控制的重要内容，具有对企业设备运行及业务流程的管理与监控功能，在工业自动化领域中占有重要地位。操作站主要作为工控系统的人机界面窗口，并执行其它的辅助功能，由于企业生产过程中存在大数据量、高速率传输的要求，对工控系统的操作站平台也就提出了运行稳定性、冗余配置等要求。
现有操作站平台交互系统多采用二维的文字、方块、线条等表达企业业务流程及运行现状。由于大型企业的业务流程复杂，三维可视化表达有更好的信息展示效果，因此，伪三维形式的交互界面逐渐在操作站平台中展开应用，真三维形式的交互界面也逐步开展研究试用。但是，现有真三维系统的构建方法通常由于组件庞大导致效率低下，由于真三维功能的复杂性严重降低了整体系统的稳定性。
因此，需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种二三维一体化的操作站平台构建方法和电子设备，以解决或缓解上述现有技术中存在的问题。
为了实现上述目的，本申请提供如下技术方案：
本申请提供了一种二三维一体化的操作站平台构建方法，包括：发送第一操作请求至服务端的调度设备，以由所述调度设备根据所述第一操作请求，对所述服务端的渲染设备进行分配；接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与分配的所述渲染设备连接完成；其中，与分配的所述渲染设备的连接基于视频流送的数据传送机制；响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像；其中，所述场景数据预先储存于所述服务端或实时传输至所述服务端；接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像；基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示；其中，所述第一二维数据包括实时传输的所述场景数据。
可选地，在本申请的任一实施例中，所述接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与所述渲染设备连接完成，包括：接收所述调度设备发送的所述渲染设备的分配反馈信息，响应于所述渲染设备的分配反馈信息满足预设条件，确定与所述渲染设备连接完成；响应于所述渲染设备的分配反馈信息不满足所述预设条件，发送分配的所述渲染设备的异常信息，以由所述调度设备根据所述异常信息，动态分配新的渲染设备；接收所述调度设备发送的新的渲染设备的分配反馈信息，并根据所述新的渲染设备的分配反馈信息，确定与分配的新的渲染设备连接完成。
可选地，在本申请的任一实施例中，所述响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像，具体为：响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对所述场景数据进行实时更新，并对更新后的所述场景数据进行渲染，得到所述第一三维图像。
可选地，在本申请的任一实施例中，所述接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像，具体为：接收所述服务端发送的、由分配的所述渲染设备对所述第一三维图像进行压缩得到的所述第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像。
可选地，在本申请的任一实施例中，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示；其中，所述目标对象可以为：二维目标对象或三维目标对象，所述二维目标对象包含于所述第一二维数据中，所述三维目标对象包含于所述第一三维图像中。
可选地，在本申请的任一实施例中，所述目标对象为二维目标对象，对应的，所述响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示，具体为：响应于第二操作请求，在所述第一组合图像中指定二维目标对象，并基于预先配置的操作站平台交互系统对所述二维目标对象进行处理并展示。
可选地，在本申请的任一实施例中，所述目标对象为三维目标对象，对应的，所述响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示，包括：响应于第二操作请求，在所述第一组合图像中指定三维目标对象，并发送所述第二操作请求至服务端，以由所述服务端对所述三维目标对象进行分析，由分配的所述渲染设备对与分析结果相对应的所述三维目标对象的场景数据进行更新，并对更新后的包含所述三维目标对象的场景数据进行渲染，得到第二三维图像；接收所述服务端压缩并发送的所述第二三维图像的第二压缩图像数据，并对接收的所述第二压缩图像数据进行解压缩，得到所述第二三维图像；基于图层的交互界面框架，对解压缩得到的所述第二三维图像与第二二维数据进行组合，得到第二组合图像，并对所述第二组合图像进行展示；其中，所述第二二维数据包括所述三维目标对象对应的实时传输的场景数据。
可选地，在本申请的任一实施例中，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：接收所述服务端压缩并发送的第三三维图像的第三压缩数据，并对接收的所述第三压缩数据进行解压缩，得到所述第三三维图像，其中，所述第三三维图像为响应于实时传输至所述服务端的所述场景数据发生变化，由分配的所述渲染设备对变化后的场景数据进行渲染得到；基于图层的交互界面框架，对解压缩得到的所述第三三维图像与第三二维数据进行组合，得到第三组合图像，并对所述第三组合图像进行展示；其中，所述第三二维数据包括实时传输的发生变化的场景数据。
本申请实施例还提供一种二三维一体化的操作站平台构建方法，包括：调度设备接收客户端发送的第一操作请求，并根据所述第一操作请求，对渲染设备进行分配；向所述客户端发送所述渲染设备的分配反馈信息，以由所述客户端根据所述反馈信息确定与分配的所述渲染设备连接完成；其中，所述客户端与所述渲染设备的连接基于视频流送的数据传送机制；响应于分配的所述渲染设备与所述客户端连接完成，分配的所述渲染设备对预先储存的或实时传送的场景数据进行渲染，得到第一三维图像；对所述第一三维图像进行压缩，得到第一压缩图像数据；将所述第一压缩图像数据发送至所述客户端，以由所述客户端对所述第一压缩图像数据进行解压缩，并基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像并展示，其中，所述第一二维数据包括实时传输的所述场景数据。
本申请实施例还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上述任一实施例所述的二三维一体化的操作站平台构建方法。
与最接近的现有技术相比，本申请实施例的技术方案具有如下有益效果：
本申请实施例提供的技术方案中，由服务端的调度设备根据客户端发送的第一操作请求，对服务端的渲染设备进行合理分配，在客户端与分配的渲染设备之间基于视频流送的数据传送机制建立连接，由分配的渲染设备对预先存储的或实时传输的场景数据进行渲染，生成第一三维图像；基于视频流送的数据传送机制，在客户端与服务端之间进行数据传输，由服务端将生产的第一三维图像进行压缩得到的第一压缩图像数据发送给客户端，有效降低了数据传输的延迟；由客户端对第一压缩图像数据进行解压缩，并基于图层的交互界面框架，对解压缩得到的第一三维图像与包含实时传输的场景数据的第一二维数据进行组合，得到第一组合图像并展示。籍此，将传统的由一台设备运行所有数据，通过数据分解，由多台设备分别运行，在服务端进行场景数据渲染生成第一三维图像，在客户端采用基于图层的交互界面框架，对第一三维图像数据和第一二维数据进行组合展示，降低了操作站平台交互系统的复杂度；在客户端与服务端之间采用了视频流送的数据传输机制，使客户端与服务端之间可以实现实时交互；同时，调度设备可根据渲染设备状态，动态处理异常信息，有效提升了整体系统的工作效率和运行稳定性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
图1为根据本申请的一些实施例提供的一种二三维一体化的操作站平台构建方法的流程示意图；
图2为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法中步骤S102的流程示意图；
图3为根据本申请的一些实施例提供的对三维目标对象进行处理的流程示意图；
图4为根据本申请的一些实施例提供的场景数据发生变化时处理的流程示意图；
图5为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的流程示意图；
图6为根据本申请的一些实施例提供的三维图像与二维数据组合的场景示意图；
图7为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的控制流程图；
图8为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的硬件结构示意图；
图9为根据本申请的一些实施例提供的电子设备的结构示意图；
图10为根据本申请的一些实施例提供的电子设备的硬件结构图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
示例性方法
图1为根据本申请的一些实施例提供的一种二三维一体化的操作站平台构建方法的流程示意图；如图1所示，该方法包括：
步骤S101、发送第一操作请求至服务端的调度设备，以由所述调度设备根据所述第一操作请求，对所述服务端的渲染设备进行分配；
在本申请实施例中，在服务端采用调度设备和分布式方式部署的渲染设备，其中，调度设备响应第一操作请求进行渲染设备分配，渲染设备响应于与客户端建立连接后对所述场景数据进行渲染，构建三维图像。且，调度设备能够对渲染设备的工作状态进行实时监控，根据设备状态对渲染设备进行动态分配调整。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，在服务端分布式部署多台渲染设备，调度设备在对渲染设备进行分配时，根据每台渲染设备是否工作/故障/空闲等状态进行分配，籍此，有效缓解操作站平台对单一设备运行系统稳定性的依赖。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S102、接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与分配的所述渲染设备连接完成，其中，与分配的所述渲染设备的连接基于视频流送的数据传送机制；
在本申请实施例中，服务端的调度设备根据第一操作请求，从多台渲染设备中选择适当的渲染设备(比如，闲置的渲染设备)执行第一操作请求，由该渲染设备对场景数据进行处理，对渲染设备是否正常工作进行实时监测，如果渲染设备正常工作，则调度设备将该渲染设备的分配反馈信息发送给客户端，由客户端根据渲染设备的分配反馈信息，与渲染设备进行连接，判断与渲染设备的连接是否完成。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，客户端与渲染设备之间的连接采用视频流送的数据传送机制，使客户端与服务端之间可以实现实时交互，有效降低了数据传输的延迟。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图2为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法中步骤S102的流程示意图；如图2所示，所述接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与所述渲染设备连接完成，包括：
步骤S112、接收所述调度设备发送的所述渲染设备的分配反馈信息，响应于所述渲染设备的分配反馈信息满足预设条件，确定与所述渲染设备连接完成；
在本申请实施例中，渲染设备将调度设备的分配反馈信息发送至客户端后，客户端根据分配反馈信息的反馈时间间隔、以及分配反馈信息的数据格式判断分配反馈信息是否满足预设条件。通常情况下，设定分配反馈信息的反馈时间间隔小于50毫秒，分配反馈信息的数据格式为：数据头包含数据大小、视频高宽、时间戳等信息，数据内容可采用H264标准进行解码。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S122、响应于所述渲染设备的分配反馈信息不满足所述预设条件，发送分配的所述渲染设备的异常信息，以由所述调度设备根据所述异常信息，动态分配新的渲染设备；
在本申请实施例中，若分配反馈信息不满足预设条件，那么客户端则向服务端的调度设备发送分配的渲染设备的异常信息，调度设备在接收到异常信息后，从服务端的多台渲染设备中动态分配新的渲染设备，重新将新的渲染设备的分配反馈信息发送给客户端，由客户端判断分配的新的渲染设备是否满足预设条件。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S132、接收所述调度设备发送的新的渲染设备的分配反馈信息，并根据所述新的渲染设备的分配反馈信息，确定与分配的新的渲染设备连接完成。
在本申请实施例中，客户端在接收到新的渲染设备的分配反馈信息后，判断新的渲染设备的分配反馈信息是否满足预设条件，若新的渲染设备的分配反馈信息满足预设条件，则确定客户端与新的渲染设备连接完成。若新的渲染设备的分配反馈信息不满足预设条件，则重新执行步骤S122，直至确定客户端与新的渲染设备连接完成。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，在操作站平台运行过程中，客户端始终对与渲染设备之间的数据传输进行监测，当发现渲染设备异常时，及时的向调度设备发送异常信息，由调度设备随时对渲染设备进行动态分配。调度设备始终对渲染设备的正常运行进行监测，确保分配的与客户端连接的渲染设备是可以正常运行的。籍此，有效的保证了操作站平台运行的可靠性。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S103、响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像；其中，所述场景数据预先储存于所述服务端或实时传输至所述服务端；
在本申请实施例中，客户端确定与渲染设备连接完成后，即可由分配的渲染设备对场景数据进行渲染。在此，场景数据可以是预先存储于服务端中；也可以是接收的传感器实时采集的数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在一些可选实施例中，响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像，具体为：响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对所述场景数据进行实时更新，并对更新后的所述场景数据进行渲染，得到所述第一三维图像。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备接收到客户的操作请求后，为了使渲染得到的第一三维图像更加符合实际，首先根据接收的传感器实时传输的数据对待渲染的场景数据进行更新，然后，再对更新后的场景数据进行渲染，得到第一三维图像。也就是说，在操作站平台运行过程中，渲染设备根据传感器的采集数据实时对场景数据进行更新，以使得到第一三维图像更为准确。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S104、接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像；
在本申请实施例中，客户端与服务端之间采用了基于视频流送的数据传送机制，避免了数据交互的迟滞延迟，通过这种实时通信技术，服务端的渲染设备计算的三维内容可以以低延时传送到客户端，由客户端进行展示。同时，客户端的用户操作可以及时传送到服务端，指导服务端三维内容的更新，可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，客户端在接收到服务端压缩并发送的第一压缩图像数据后，对接收的第一压缩图像数据进行判断，判断其是否满足预设条件，如果客户端接收的第一压缩图像数据不满足预设条件，则由调度设备重新分配渲染设备，对场景数据进行渲染，得到新的第一三维图像，压缩后发送给客户端，直至接收的第一压缩图像数据满足预设条件，对接收的第一压缩图像数据进行解压缩。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，实时传输协议根据操作站平台交互系统的架构确定。基于视频流送的数据传送机制采用实时传输协议(Real-time Transport Protocol，简称RTP)可以对音频、视频内容的传输进行支持。若操作站平台交互系统为WEB架构，那么传输协议可以采用WebRTC协议。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在一些可选实施例中，所述接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像，具体为：接收所述服务端发送的、由分配的所述渲染设备对所述第一三维图像进行压缩得到的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施中，渲染设备对场景数据进行渲染后，得到第一三维图像，并对第一三维图像数据进行压缩。籍此，可以减少数据传输量，进一步降低渲染设备与客户端之间的数据传输的延迟。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备在对第一三维图像进行压缩时，对第一三维图像采用H264视频压缩算法。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S105、基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示；其中，所述第一二维数据包括实时传输的所述场景数据。
在本申请实施例中，客户端的交互界面框架采用图形要素分类，将需要展示的内容划分为二维数据和三维数据。三维数据即是渲染设备对场景进行渲染得到的第一三维图像，是三维可视化的图层；二维数据为文字或图形等，是具有透明背景的图层。通过图层的交互界面框架，将三维数据作为底部图层，二维数据作为顶部图层，对二维数据和三维数据进行组合，得到在客户端进行展示的组合图像。籍此，可以具有更加形象、直观的展示效果，为信息判读和分析决策提供了更好的途径。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备从传感器的实时采集数据中对待渲染的场景数据进行更新，或者，利用传感器的实时采集数据作为场景数据，生成第一三维图像；客户端调取传感器的实时采集数据作为第一二维数据；因而，服务端生成第一三维图像的数据和客户端调取的第一二维数据为同源数据，为客户端基于图层的交互界面框架，对第一三维图像和第一二维数据进行组合并显示同步的数据奠定基础。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，由服务端的调度设备根据客户端发送的第一操作请求，对服务端的渲染设备进行合理分配，在客户端与分配的渲染设备之间基于视频流送的数据传送机制建立连接，由分配的渲染设备对预先存储的或实时传输的场景数据进行渲染，生成第一三维图像；基于视频流送的数据传送机制，在客户端与服务端之间进行数据传输，由服务端将生产的第一三维图像进行压缩得到的第一压缩图像数据发送给客户端，有效降低了数据传输的延迟；由客户端对第一压缩图像数据进行解压缩，并基于图层的交互界面框架，对解压缩得到的第一三维图像与包含实时传输的场景数据的第一二维数据进行组合，得到第一组合图像并展示。籍此，将传统的由一台设备运行所有数据，通过数据分解，由多台设备分别运行，在服务端进行场景数据渲染生成第一三维图像，在客户端采用基于图层的交互界面框架，对第一三维图像数据和第一二维数据进行组合展示，降低了操作站平台交互系统的复杂度；在客户端与服务端之间采用了视频流送的数据传输机制，客户端的用户操作请求能够传送到服务端进行处理，使客户端与服务端之间可以实现实时交互；同时，调度设备可根据渲染设备状态，动态处理异常信息，有效提升了整体系统的工作效率和运行稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在一些可选实施例中，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示；其中，所述目标对象可以为：二维目标对象或三维目标对象，所述二维目标对象包含于所述第一二维数据中，所述三维目标对象包含于所述第一三维图像中。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，在客户端的交互界面框架中，用户的交互操作事件按照操作位置内容控制操作事件的数据分发，在用户点击的为二维目标对象时，由客户端对相应的二维操作事件进行处理；在用户点击的为三维目标对象时，则由客户端请求服务端进行处理，服务端处理后将结果返回客户端进行展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在一具体的例子中，所述目标对象为二维目标对象，对应的，所述响应于第二操作请求，在所述第一组合图像中指定目标对象进行展示，具体为：响应于第二操作请求，在所述第一组合图像中指定二维目标对象，并基于预先配置的操作站平台交互系统对所述二维目标对象进行处理并展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，在客户端的交互界面框架中，用户的交互操作事件为二维操作事件，通过配置完成的操作站平台交互系统，在客户端对用户指定的二维目标对象进行处理后，直接进行展示。籍此，实现二维数据的展示与操作响应，独立于三维图像部分内容，降低二三维一体化的耦合度。同时，将二维数据与三维图像分别在客户端和服务端进行处理，使三维图像部分处理时的稳定性得到进一步提高。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图3为根据本申请的一些实施例提供的对三维目标对象进行处理的流程示意图；如图3所示，所述目标对象为三维目标对象时，对应的，所述响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示，包括：
步骤S301、响应于第二操作请求，在所述第一组合图像中指定三维目标对象，并发送所述第二操作请求至服务端，以由所述服务端对所述三维目标对象进行分析，由分配的所述渲染设备对与分析结果相对应的所述三维目标对象的场景数据进行更新，并对更新后的所述三维目标对象的场景数据进行渲染，得到第二三维图像；
在本申请实施例中，在客户端的交互界面框架中，用户交互操作事件为三维目标对象，此时，客户端向服务端发送第二操作请求，由服务端进行处理，服务端处理后将结果返回客户端进行展示。服务端的渲染设备在接收到第二操作请求后，对指定的三维目标对象进行分析，根据分析结果对三维目标对象的特征对应的场景数据进行更新，然后，渲染设备再对更新后的三维目标对象的场景数据进行渲染，得到第二三维图像；也就是说，第二三维图像与客户端指定的三维目标对象相对应。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备对更新后的三维目标对象的场景数据进行渲染的流程步骤可以参考上述步骤S103，在此不再一一赘述。
步骤S302、接收所述服务端压缩并发送的所述第二三维图像的第二压缩图像数据，并对接收的所述第二压缩图像数据进行解压缩，得到所述第二三维图像；
在本申请实施例中，对第二三维图像的压缩、第二压缩图像数据的传输、第二压缩图像数据的解压缩的流程步骤，可参考上述第一三维图像的压缩、第一压缩图像数据的传输、第一压缩图像数据的解压缩的流程步骤，在此不再一一赘述。
步骤S303、基于图层的交互界面框架，对解压缩得到的所述第二三维图像与第二二维数据进行组合，得到第二组合图像，并对所述第二组合图像进行展示；其中，所述第二二维数据包括所述三维目标对象对应的实时传输的场景数据。
在本申请实施例中，步骤S303的流程可参照上述实施例中步骤S105的流程，在此不再一一赘述。
在本申请实施例中，通过在第一组合图像中指定目标对象进行展示，可以向用户展示更多、更详细的目标对象的信息。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图4为根据本申请的一些实施例提供的场景数据发生变化时处理的流程示意图；如图4所示，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：
步骤S401、接收所述服务端压缩并发送的第三三维图像的第三压缩数据，并对接收的所述第三压缩数据进行解压缩，得到所述第三三维图像，其中，所述第三三维图像为响应于实时传输至所述服务端的所述场景数据发生变化，由所述渲染设备对变化后的场景数据进行渲染得到；
在本申请实施例中，传感器的采集数据实时传输至服务端，服务端在接收到传感器的采集数据后，对场景数据进行实时更新，然后对更新后的场景数据进行渲染，得到第三三维图像。在此过程中，采用基于视频流送的数据传送机制，保证客户端与服务端之间数据的实时传输，提高响应速度。渲染设备对更新后的数据进行渲染的流程可以参考上述步骤S103，客户端接收渲染设备发送的第三压缩数据，并对第三压缩数据进行解压缩的流程可以参考上述实施例中的步骤S104，在此不再一一赘述。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
步骤S402、基于图层的交互界面框架，对解压缩得到的所述第三三维图像与第三二维数据进行组合，得到第三组合图像，并对所述第三组合图像进行展示；其中，所述第三二维数据包括实时传输的发生变化的场景数据。
在本申请实施例中，步骤S402的流程可以参考上述实施例中的步骤S105，在此不再一一赘述。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备在对三维图像进行压缩时，为了控制客户端与渲染设备之间交互时的响应延迟，对单幅图像(比如第一三维图像、单幅第二三维图像、单幅第三三维图像)采用帧内压缩算法，对多幅连续的三维图像(比如多幅第二三维图像、多幅第三三维图像等)采用帧间压缩算法，对相邻帧直接关联的数据进行压缩。由于在多幅连续的三维图像中，相邻帧之间变化的信息很少，因此，对这些冗余信息进行压缩，仅仅记录本帧和相邻帧之间的变化规则，可以具有很大的压缩量，减少传输的数据，进一步提高客户端与服务端之间的数据交互速度，提高传输的效率，降低图像的延时。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图5为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的流程示意图；如图5所示，该方法包括：
步骤S501、调度设备接收客户端发送的第一操作请求，并根据所述第一操作请求，对渲染设备进行分配；
步骤S502、向所述客户端发送所述渲染设备的分配反馈信息，以由所述客户端根据所述反馈信息确定与分配的所述渲染设备连接完成；其中，所述客户端与所述渲染设备的连接基于视频流送的数据传送机制；
步骤S503、响应于分配的所述渲染设备与所述客户端连接完成，分配的所述渲染设备对预先储存的或实时传送的场景数据进行渲染，得到第一三维图像；
步骤S504、对所述第一三维图像进行压缩，得到第一压缩图像数据；
步骤S505、将所述第一压缩图像数据发送至所述客户端，以由所述客户端对所述第一压缩图像数据进行解压缩，并基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像并展示，其中，所述第一二维数据包括实时传输的所述场数据。
在本申请实施例中，步骤S501-步骤S505的流程可以参考上述实施例中步骤S101-步骤S105的流程，在此不再一一赘述。
图6为根据本申请的一些实施例提供的三维图像与二维数据组合的场景示意图；如图6所示，三维图像601(可以是第一三维图像、第二三维图像或第三三维图像等)由客户端对服务端发送的压缩数据(可以是对应的第一压缩数据、第二压缩数据或第三压缩数据等)进行解压缩得到，二维数据602为客户端调取的传感器的实时采集数据、所采集传感器数据的统计数据、系统运行的状态数据等；基于图层的交互界面框架，对三维图像601和二维数据602进行组合，得到组合图像603(可以是对应的第一组合图像、第二组合图像或第三组合图像等)，并由客户端进行展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图7为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的控制流程图；如图7所示，在客户端发送启动请求后，由服务端的调度设备对渲染设备进行分配，并监控渲染设备是否正常工作，确认渲染设备正常工作后，调度设备将渲染设备的分配反馈信息发送给客户端，由客户端确定与渲染设备之间基于视频流送的数据传送机制建立连接；然后，由渲染设备对场景数据进行渲染，得到第一三维图像，并对第一三维图像进行压缩，得到第一压缩图像数据并发送给客户端；客户端在接收到第一压缩图像数据后，判断接收的第一压缩数据是否满足预设条件，若不满足预设条件，则由调度设备重新分配渲染设备对场景数据进行渲染；若满足预设条件，则客户端对第一压缩图像数据进行解压缩，得到第一三维图像，并基于图层的交互界面框架，第一三维图像和第一二维数据进行组合，得到第一组合图像并进行展示。若用户在客户端展示的第一组合图像中指定目标对象，则对目标对象进行处理并展示；若目标对象为二维目标对象，则在客户端直接进行处理展示，若目标对象为三维目标对象，则客户端向服务端发送第二操作请求，请求服务端对三维目标对象进行处理，得到第二三维图像，并压缩发送至客户端进行展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，客户端始终对与渲染设备之间的数据传输进行监测，当发现渲染设备异常时，及时的向调度设备发送异常信息，由调度设备随时对渲染设备进行动态分配；同时以电话、短信、利用客户端展示等方式发送报警信息给相关人员。调度设备始终对渲染设备的正常运行进行监测，确保分配的与客户端连接的渲染设备是可以正常运行的。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
图8为根据本申请的一些实施例提供的二三维一体化的操作站平台构建方法的硬件结构示意图；如图8所示，操作站平台10由客户端11、调度设备12和渲染设备13组成，并通过交换机/路由器14与工业以太网15连通。其中，渲染设备13负责场景数据的渲染计算，为客户端11提供三维展示数据；客户端11负责操作站平台交互系统的运行展示，为用户交互操作的设备；调度设备12负责分配及监控客户端使用的渲染设备。客户端11、调度设备12以及渲染设备13部署在同一高速路由环境下，设备的冗余方案按照现场生产要求配置设置。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，调度设备12在客户端11启动后，同步启动监测程序，对渲染设备13的运行状态进行监测，动态处理发现的问题；渲染设备13与客户端11建立连接后，渲染设备13同时启动数据内容监测程序，如果场景数据发生变化，则对发生变化的场景数据进行实时更新后，进行渲染并提供给客户端进行展示；客户端11启动后，实时监测用户的操作情况，如果用户有新的操作请求，则根据操作目标对象处理数据，依需发送用户的新的操作请求至渲染设备，由渲染设备13进行处理。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，渲染设备13采用具有高性能显卡配置的工控机，比如，根据需要配置GTX1080、RTX2080等不同型号的显卡，以便于渲染计算；还可以根据场景数据的大小以及工作任务量的多少配置多台渲染设备13。客户端11通常采用常规配置的工控机，可以采用台式机、平板、手机等不同类型配置，运行用户使用的操作站平台交互系统。调度设备12可以采用较低配置的工控机，负责渲染设备13的调度工作，同时监测渲染设备13的工作状态，在接收到异常信息后，对渲染设备13进行动态分配。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，客户端11、调度设备12以及渲染设备13通过路由器/交换机14与工业以太网15联通，通过工业以太网15，客户端11可以访问和控制所需的设备。客户端11、调度设备12以及渲染设备13部署在同一高速路由环境下，极大的简化了操作站平台的网络结构，提高了数据传送效率。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，在二三维一体化的操作站平台的构建过程中，第一，依据现场实时需求，分析确定所需要的不同类型的客户端11、调度设备12以及渲染设备13的数据及配置；如图8所述，该操作站平台10配置调度设备1台，不同类型的客户端设备3台，具有高性能显卡的渲染设备2台。第二，将确定的不同类型的客户端11、调度设备12以及渲染设备13按照上述实施例中的二三维一体化的操作站平台的构建方法进行布置，利用高速线路进行连接；第三，通过路由器/交换机14将操作站平台10中的设备与工业以太网15连通；第四，在操作站平台10的渲染设备13上安装渲染系统(即渲染程序)，在客户端11安装操作站平台交互系统，操作站平台交互系统中具有基于图层的交互界面框架，以及对二维数据进行处理的程序；在调度设备12上安装调度系统(即调度程序)；第五，通过客户端11访问操作站平台交互系统，由调度设备12分配所使用的渲染设备13，客户端11将根据用户请求获得相对应的结果进行展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
在本申请实施例中，将传统的由一台设备运行所有数据，通过数据分解，由多台设备分别运行，降低了整体系统的复杂度，同时降低了对客户端性能的要求，提高了系统的计算效率，提升了系统整体运行的稳定性，同时具备可延展性。同时，用户还可以通过普通工控终端设备，或者工业平板、手机等高效稳定的访问操作站平台交互系统。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。
示例性设备
图9为根据本申请的一些实施例提供的电子设备的结构示意图；如图9所示，该电子设备包括：
一个或多个处理器901；
计算机可读介质902，可以配置为存储一个或多个程序，
所述一个或多个处理器901执行一个或多个程序时，实现如下步骤：发送第一操作请求至服务端的调度设备，以由所述调度设备根据所述第一操作请求，对所述服务端的渲染设备进行分配；接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与分配的所述渲染设备连接完成；其中，与分配的所述渲染设备的连接基于视频流送的数据传送机制；响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像；其中，所述场景数据预先储存于所述服务端或实时传输至所述服务端；接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像；基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示；其中，所述第一二维数据包括实时传输的所述场景数据。
图10为根据本申请的一些实施例提供的电子设备的硬件结构图；如图10所示，该电子设备的硬件结构可以包括：处理器1001、通信接口1002、计算机可读介质1003和通信总线1004；
其中，处理器1001、通信接口1002、计算机可读介质1003通过通信总线1004完成相互间的通信；
可选地，通信接口1002可以为通信模块的接口，如GSM模块的接口；
其中，处理器1001具体可以配置为：发送第一操作请求至服务端的调度设备，以由所述调度设备根据所述第一操作请求，对所述服务端的渲染设备进行分配；接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与分配的所述渲染设备连接完成；其中，与分配的所述渲染设备的连接基于视频流送的数据传送机制；响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备对场景数据进行渲染，得到第一三维图像；其中，所述场景数据预先储存于所述服务端或实时传输至所述服务端；接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像；基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示；其中，所述第一二维数据包括实时传输的所述场景数据。
处理器可以是通用处理器，包括中央处理器(central processing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：IPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如Ipad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如：iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的二三维一体化的操作站平台构建方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离不见说明的单元可以是或者也可以不是物理上分开的，作为单元提示的不见可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上实施方式仅用于说明本申请实施例，而非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专业保护范围应由权利要求限定。
Claims (9)
1.一种二三维一体化的操作站平台构建方法，其特征在于，所述操作站平台构建方法包括：
发送第一操作请求至服务端的调度设备，以由所述调度设备根据所述第一操作请求，对所述服务端的渲染设备进行分配；
接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与分配的所述渲染设备连接完成；
响应于与分配的所述渲染设备连接完成，由分配的所述渲染设备根据接收的传感器实时采集的数据对待渲染的场景数据进行实时更新，并对更新后的所述场景数据进行渲染，得到第一三维图像；
接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像；
基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示；
其中，所述第一二维数据为客户端调取的传感器实时采集的数据，且所述第一二维数据和所述第一三维图像的数据为同源数据。
2.根据权利要求1所述的二三维一体化的操作站平台构建方法，其特征在于，所述接收所述调度设备发送的所述渲染设备的分配反馈信息，并根据所述渲染设备的分配反馈信息，确定与所述渲染设备连接完成，包括：
接收所述调度设备发送的所述渲染设备的分配反馈信息，响应于所述渲染设备的分配反馈信息满足预设条件，确定与所述渲染设备连接完成；
响应于所述渲染设备的分配反馈信息不满足所述预设条件，发送分配的所述渲染设备的异常信息，以由所述调度设备根据所述异常信息，动态分配新的渲染设备；
接收所述调度设备发送的新的渲染设备的分配反馈信息，并根据所述新的渲染设备的分配反馈信息，确定与分配的新的渲染设备连接完成。
3.根据权利要求1所述的二三维一体化的操作站平台构建方法，其特征在于，所述接收所述服务端压缩并发送的所述第一三维图像的第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像，具体为：接收所述服务端发送的、由分配的所述渲染设备对所述第一三维图像进行压缩得到的所述第一压缩图像数据，并对接收的所述第一压缩图像数据进行解压缩，得到所述第一三维图像。
4.根据权利要求1-3任一所述的二三维一体化的操作站平台构建方法，其特征在于，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：
响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示；其中，所述目标对象可以为：二维目标对象或三维目标对象，所述二维目标对象包含于所述第一二维数据中，所述三维目标对象包含于所述第一三维图像中。
5.根据权利要求4所述的二三维一体化的操作站平台构建方法，其特征在于，所述目标对象为二维目标对象，
对应的，
所述响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示，具体为：
响应于第二操作请求，在所述第一组合图像中指定二维目标对象，并基于预先配置的操作站平台交互系统对所述二维目标对象进行处理并展示。
6.根据权利要求4所述的二三维一体化的操作站平台构建方法，其特征在于，所述目标对象为三维目标对象，
对应的，
所述响应于第二操作请求，在所述第一组合图像中指定目标对象并进行展示，包括：
响应于第二操作请求，在所述第一组合图像中指定三维目标对象，并发送所述第二操作请求至服务端，以由所述服务端对所述三维目标对象进行分析，由分配的所述渲染设备对与分析结果相对应的所述三维目标对象的场景数据进行更新，并对更新后的包含所述三维目标对象的场景数据进行渲染，得到第二三维图像；
接收所述服务端压缩并发送的所述第二三维图像的第二压缩图像数据，并对接收的所述第二压缩图像数据进行解压缩，得到所述第二三维图像；
基于图层的交互界面框架，对解压缩得到的所述第二三维图像与第二二维数据进行组合，得到第二组合图像，并对所述第二组合图像进行展示；
其中，所述第二二维数据包括所述三维目标对象对应的实时传输的场景数据。
7.根据权利要求1-3任一所述的二三维一体化的操作站平台构建方法，其特征在于，在所述基于图层的交互界面框架，对解压缩得到的所述第一三维图像与二维数据进行组合，得到第一组合图像，并对所述第一组合图像进行展示之后，还包括：
接收所述服务端压缩并发送的第三三维图像的第三压缩数据，并对接收的所述第三压缩数据进行解压缩，得到所述第三三维图像，其中，所述第三三维图像为响应于实时传输至所述服务端的所述场景数据发生变化，由分配的所述渲染设备对变化后的场景数据进行渲染得到；
基于图层的交互界面框架，对解压缩得到的所述第三三维图像与第三二维数据进行组合，得到第三组合图像，并对所述第三组合图像进行展示；
其中，所述第三二维数据包括实时传输的发生变化的场景数据。
8.一种二三维一体化的操作站平台构建方法，其特征在于，包括：
调度设备接收客户端发送的第一操作请求，并根据所述第一操作请求，对渲染设备进行分配；
向所述客户端发送所述渲染设备的分配反馈信息，以由所述客户端根据所述反馈信息确定与分配的所述渲染设备连接完成；其中，所述客户端与所述渲染设备的连接基于视频流送的数据传送机制；
响应于分配的所述渲染设备与所述客户端连接完成，由分配的所述渲染设备根据接收的传感器实时采集的数据对待渲染的场景数据进行实时更新，并对更新后的所述场景数据进行渲染，得到第一三维图像；
对所述第一三维图像进行压缩，得到第一压缩图像数据；
将所述第一压缩图像数据发送至所述客户端，以由所述客户端对所述第一压缩图像数据进行解压缩，并基于图层的交互界面框架，对解压缩得到的所述第一三维图像与第一二维数据进行组合，得到第一组合图像并展示，
其中，所述第一二维数据为客户端调取的传感器实时采集的数据，且所述第一二维数据和所述第一三维图像的数据为同源数据。
9.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的二三维一体化的操作站平台构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011381022.9A CN112565818B (zh) | 2020-11-30 | 2020-11-30 | 二三维一体化的操作站平台构建方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011381022.9A CN112565818B (zh) | 2020-11-30 | 2020-11-30 | 二三维一体化的操作站平台构建方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112565818A CN112565818A (zh) | 2021-03-26 |
| CN112565818B true CN112565818B (zh) | 2022-01-11 |
Family
ID=75045596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011381022.9A Active CN112565818B (zh) | 2020-11-30 | 2020-11-30 | 二三维一体化的操作站平台构建方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112565818B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114513647B (zh) * | 2022-01-04 | 2023-08-29 | 聚好看科技股份有限公司 | 一种三维虚拟场景中数据的传输方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973816A (zh) * | 2014-05-27 | 2014-08-06 | 广东威创视讯科技股份有限公司 | 显示同步的方法、服务器以及客户端 |
| CN107644067A (zh) * | 2017-09-04 | 2018-01-30 | 深圳市易景空间智能科技有限公司 | 一种二三维一体化的跨平台室内地图显示方法 |
| WO2018224847A2 (en) * | 2017-06-09 | 2018-12-13 | Delamont Dean Lindsay | Mixed reality gaming system |
| CN109598795A (zh) * | 2018-10-26 | 2019-04-09 | 苏州百卓网络技术有限公司 | 基于WebGL实现企业生产三维可视化的方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8386560B2 (en) * | 2008-09-08 | 2013-02-26 | Microsoft Corporation | Pipeline for network based server-side 3D image rendering |
| CN103559730B (zh) * | 2013-11-20 | 2016-08-31 | 广州博冠信息科技有限公司 | 一种渲染方法及装置 |
| CN104615735B (zh) * | 2015-02-11 | 2019-03-15 | 中科星图股份有限公司 | 一种基于地理信息空间系统的时空信息可视化方法 |
| CN105263050B (zh) * | 2015-11-04 | 2018-01-12 | 山东大学 | 基于云平台的移动终端实时渲染系统及其方法 |
| CN105488837B (zh) * | 2015-11-24 | 2019-06-04 | 成都云创互联信息技术有限公司 | 基于云计算的实时离屏渲染方法、装置及系统 |
| CN110322526A (zh) * | 2019-07-05 | 2019-10-11 | 武汉魅客科技有限公司 | 一种基于云端架构的实时三维交互渲染方法 |
| CN111770325A (zh) * | 2020-06-02 | 2020-10-13 | 武汉大势智慧科技有限公司 | 一种三维gis实时云渲染展示方法、终端、云服务器及存储介质 |
| CN111739141B (zh) * | 2020-08-12 | 2021-02-09 | 绿漫科技有限公司 | 一种轻终端3d云渲染方法 |
| CN112001995B (zh) * | 2020-10-28 | 2021-01-08 | 湖南新云网科技有限公司 | 渲染装置、方法、电子设备及可读存储介质 |
-
2020
- 2020-11-30 CN CN202011381022.9A patent/CN112565818B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973816A (zh) * | 2014-05-27 | 2014-08-06 | 广东威创视讯科技股份有限公司 | 显示同步的方法、服务器以及客户端 |
| WO2018224847A2 (en) * | 2017-06-09 | 2018-12-13 | Delamont Dean Lindsay | Mixed reality gaming system |
| CN107644067A (zh) * | 2017-09-04 | 2018-01-30 | 深圳市易景空间智能科技有限公司 | 一种二三维一体化的跨平台室内地图显示方法 |
| CN109598795A (zh) * | 2018-10-26 | 2019-04-09 | 苏州百卓网络技术有限公司 | 基于WebGL实现企业生产三维可视化的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112565818A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106713485B (zh) | 云计算移动终端 | |
| US9693080B2 (en) | Distribution control system, distribution control method, and computer-readable storage medium | |
| US9497492B2 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
| CA2920050C (en) | Image display method and apparatus | |
| US9781193B2 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
| CN104349177B (zh) | 一种在桌面云下转向播放多媒体文件的方法、虚拟机及系统 | |
| US9723337B2 (en) | Distribution control system and distribution system | |
| EP2790383B1 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
| US20160044079A1 (en) | Distribution control system, distribution control method, and computer-readable storage medium | |
| US20140280777A1 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
| US11924255B2 (en) | Data transmission method and apparatus, server, storage medium, and program product | |
| US20160014193A1 (en) | Computer system, distribution control system, distribution control method, and computer-readable storage medium | |
| CN113766270A (zh) | 视频播放方法、系统、服务器、终端设备、以及电子设备 | |
| CN114116092A (zh) | 云桌面系统处理方法、云桌面系统控制方法以及相关设备 | |
| CN112565818B (zh) | 二三维一体化的操作站平台构建方法和电子设备 | |
| US9483996B2 (en) | System and method of leveraging GPU resources to increase performance of an interact-able content browsing service | |
| CN102770827A (zh) | 用于在终端的屏幕上显示多媒体内容的方法 | |
| JP2005228228A (ja) | クライアントサーバシステム及びそのｇｕｉ表示方法 | |
| US10223997B2 (en) | System and method of leveraging GPU resources to increase performance of an interact-able content browsing service | |
| CN114422572A (zh) | 一种云手机控制方法、装置、电子设备和存储介质 | |
| CN113766266A (zh) | 音视频处理方法、装置、设备以及存储介质 | |
| CN113542424A (zh) | 数据处理方法、装置、设备及计算机程序产品 | |
| CN118276995A (zh) | 桌面应用云渲染方法、装置、设备及存储介质 | |
| CN117676241A (zh) | 基于服务器三维渲染的数字化工厂大场景显示方法及系统 | |
| WO2023022717A1 (en) | Adjustments of remote access applications based on workloads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |