CN115914410A - 基于数据驱动的数字孪生仿真方法 - Google Patents
基于数据驱动的数字孪生仿真方法 Download PDFInfo
- Publication number
- CN115914410A CN115914410A CN202310195828.6A CN202310195828A CN115914410A CN 115914410 A CN115914410 A CN 115914410A CN 202310195828 A CN202310195828 A CN 202310195828A CN 115914410 A CN115914410 A CN 115914410A
- Authority
- CN
- China
- Prior art keywords
- data
- digital twin
- simulation method
- driven
- twin simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数字孪生、实时仿真技术领域，尤其为基于数据驱动的数字孪生仿真方法，包括如下步骤：客户端连接服务端；通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；对获取的数据进行缓冲；通过批对齐模式形成数据流；将数据流以固定心跳推送给前端，驱动ue4模型做呈现。本发明采用时序数据库，吞吐量高，写入、查询速度快，节省存储空间，具有提供丰富的聚合运算，有利于数据的统计分析。兼容自由模式，引出批对齐模式。对数据进行分段处理，再通过差值处理预测数据，可以提高模型驱动的平滑度，对数据做出更为准确的预测。选型Websocket应用层协议，大幅度减轻客户端压力，提高动画流畅度。
Description
技术领域
本发明涉及数字孪生、实时仿真技术领域，尤其是基于数据驱动的数字孪生仿真方法。
背景技术
随着人工智能、大数据等领域的成熟及发展，各行业中小型企业开始依赖于数字孪生技术向数字化转型升级，尤其在工业制造方向上产生深远影响。数字孪生可以整合人工智能、软件分析、机器学习数据等来为产品构建虚实融合的数字孪生模型，并且提供物体变化和模型变化的数据。虚拟模型可以通过数据了解物理行为的状态，并进行估计和分析其动态变化过程，最终驱动ue4（Unreal Engine 4，虚幻引擎4）进行模型动态呈现。
现有技术中在一些如港口、机场、工厂等较复杂的场景下的设备在工作期间，会持续不断产生实时数据。随着时间推移，这些数据积累起来将会是海量的，数据库层面会产生瓶颈。使用传统关系型数据库mysql作为存储会存在诸多问题。比如，写入的吞吐量低，不能满足时序数据百万级写入压力；数据结构压缩不佳，需要占用大量机器资源；查询性能差，难以满足用户需求；维护成本高，需要人工分库分表。
此外，在数据呈现表现上，绝大多数软件系统针对数据的处理方案都为实时推送（这里称之为自由模式）。这种方式虽然符合实际情况，但是因为不同设备产生数据及频率不一样，模型动态呈现不同步，降级了用户体验。
最后，就是数据的交互方式，前端Ajax轮训后端接口将会给客户端增加压力，针对实时数据场景，哪怕是后端没有产生新数据，客户端仍然需要发送请求，增加了CPU开销和内存占用。
发明内容
本发明的目的是通过提出基于数据驱动的数字孪生仿真方法，以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下：
提供基于数据驱动的数字孪生仿真方法，包括如下步骤：
S1.1：客户端连接服务端；
S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；
S1.3：对获取的数据进行缓冲；
S1.4：通过批对齐模式形成数据流；
S1.5：将数据流以固定心跳推送给前端，驱动ue4模型做呈现。
作为本发明的一种优选技术方案：所述S1.1中，服务端记录连接时间作为基准时钟，并启动定时任务。
作为本发明的一种优选技术方案：所述S1.2中，数据库采用吞吐量高、且进行压缩存储的时序数据库。
作为本发明的一种优选技术方案：所述S1.3中，将所述S1.1中获取的数据源加入一个有界队列中，新数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量。
作为本发明的一种优选技术方案：所述S1.4中，兼容自由模式进行数据处理。
作为本发明的一种优选技术方案：所述S1.4中，批对齐模式将各个设备上报的数据载入到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，对于采集频率跨度大的设备上报的数据，通过差值处理来预测数据，形成一股标准的数据流。
作为本发明的一种优选技术方案：所述差值处理过程中，对获取的数据流进行分段处理获取分段的数据流，分段步骤如下：
对于获取的数据流片段 ，其中，和为源时间序列数据中的序号，分别代表该片段的起点和终点序号，计算段内数据的协方差矩阵：
其中，为段内数据的均值，为段内第个数据，为对计算结果的转置，对协方差矩阵进行SVD分解：；对于片段，计算如下：
其中，为段内第个数据的转置，是前p个最大主元对应的特征列向量组成的矩阵，为的转置，是个数据在前p个最大的主元的低维空间投影的均方误差；为基于Q指标的误差；
对于分为c段的方案，基于Q指标的总误差为隔断目标函数值之和：
其中，为对于方案的基于Q指标的总误差。
作为本发明的一种优选技术方案：所述分段步骤中，通过迭代法进行寻优，步骤如下：
S2.1：给定时间序列，设定一个滑动窗口起始点处于序列起始点位置；
S2.2：依次从中截取长度为的一端数据，对进行分段，直至窗口终点与时间序列终点重合；
S2.3：从S中所有分段中找最大的段，该段的长度为；遍历中所有位置，寻找位置使得最小；将段在位置k分为两个段：和；直至满足终止条件。
作为本发明的一种优选技术方案：所述差值处理步骤中，通过对数据流中的多维特征变量时间序列按照所属类别进行分段，使得段内数据相关性结构一致，再进行差值处理，实现对数据的准确预测。
作为本发明的一种优选技术方案：所述S1.5中通过Websocket应用层协议将形成标准的数据流主动推送给ue4驱动模型。
本发明提供的基于数据驱动的数字孪生仿真方法，与现有技术相比，其有益效果有：
1、数据库层面，采用时序数据库TimescaleDB代替关系型数据库mysql。选用时序库的原因，是因为其吞吐量超高，每秒钟写入达到千万，查询更是达到上亿的吞吐量，在存储上合理的选择了压缩算法，提高数据压缩比，节省了存储空间。此外，TimescaleDB是最接近与关系型数据库的时序数据库，在sql语法上极为相似，有提供丰富的聚合运算，有利于数据的统计分析。
2、数据处理层面，在向上兼容了自由模式，并在次基础之上，引出了批对齐模式。批对齐模式是一种将各个设备一定数量的数据load到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，最终形成一股标准的数据流，以固定心跳推送给前端，驱动ue4模型做呈现。
3、数据处理层面，对于一些采集频率跨度较大设备上报的数据，通过对数据分段处理，再通过差值处理预测数据，可以提高模型驱动的平滑度，对数据做出更为准确的预测。
4、驱动ue4层面，摒弃通过前端做Ajax轮训后端接口方式，选型Websocket应用层协议，后端将形成标准的数据流主动推送给前端做呈现。这种方式很大限度减轻客户端压力，提高动画流畅度。
附图说明
图1为本发明优选实施例的方法流程图。
图2为本发明优选实施例中基准时钟（心跳）选择图。
图3为本发明优选实施例中缓冲队列数据结构图。
图4为本发明优选实施例中批对齐模式概念图。
具体实施方式
需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明优选实施例提供了基于数据驱动的数字孪生仿真方法，包括如下步骤：
S1.1：客户端连接服务端；
S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；
S1.3：对获取的数据进行缓冲；
S1.4：通过批对齐模式形成数据流；
S1.5：将数据流以固定心跳推送给前端，驱动ue4模型做呈现。
所述S1.1中，服务端记录连接时间作为基准时钟，并启动定时任务。
所述S1.2中，数据库采用吞吐量高、且进行压缩存储的时序数据库。
所述S1.3中，将所述S1.1中获取的数据源加入一个有界队列中，新数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量。
所述S1.4中，兼容自由模式进行数据处理。
本实施例中，客户端连接到服务端之后，如图2，服务端会记录连接时间作为基准时钟，并启动定时任务；实时数据通过消息中间件接入，历史/排产数据通过接口查询时序数据库；参照图3，连接服务端获取到的数据源会加入到一个有界队列中，新上来的数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量；定时任务以固定心跳从缓冲队列中获取各设备数据经过批对齐后，形成一股数据流；参照图4，批对齐模式是一种将各个设备上报的数据load（载入）到自己缓冲队列（缓冲队列的长度与内存容量有关，长度并不固定，本实施例配置缓冲队列可容纳的数据量为10000）中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，对于一些采集频率跨度较大设备上报的数据，通过差值处理来预测数据，形成一股标准的数据流。
所述差值处理过程中，对获取的数据流进行分段处理获取分段的数据流，分段步骤如下：
对于获取的数据流片段，其中，和为源时间序列数据中的序号，分别代表该片段的起点和终点序号，计算段内数据的协方差矩阵：
其中，为段内数据的均值，为段内第个数据，为对计算结果的转置，对协方差矩阵进行SVD分解：；对于片段，计算如下：
其中，为段内第个数据的转置，是前p个最大主元对应的特征列向量组成的矩阵，为的转置，是个数据在前p个最大的主元的低维空间投影的均方误差；为基于Q指标的误差；
对于分为c段的方案，基于Q指标的总误差为隔断目标函数值之和：
其中，为对于方案的基于Q指标的总误差。
所述分段步骤中，通过迭代法进行寻优，步骤如下：
S2.1：给定时间序列，设定一个滑动窗口起始点处于序列起始点位置；
S2.2：依次从中截取长度为的一端数据，对进行分段，直至窗口终点与时间序列终点重合；
S2.3：从S中所有分段中找最大的段，该段的长度为；遍历中所有位置，寻找位置k使得最小；将段在位置k分为两个段：和；直至满足终止条件。
所述差值处理步骤中，通过对数据流中的多维特征变量时间序列按照所属类别进行分段，使得段内数据相关性结构一致，再进行差值处理，实现对数据的准确预测。
所述S1.5中通过Websocket应用层协议将形成标准的数据流主动推送给ue4驱动模型。
通过对数据流中的多维特征变量时间序列按照所属类别进行分段，使得段内数据相关性结构一致，再进行差值处理，实现对数据的准确预测。可以提高模型驱动的平滑度，对数据做出更为准确的预测。最终形成一股标准的数据流，以固定心跳推送给前端，驱动ue4模型做呈现。摒弃通过前端做Ajax轮训后端接口方式，通过Websocket应用层协议将数据流推送给ue4驱动模型。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.基于数据驱动的数字孪生仿真方法，其特征在于：包括如下步骤：
S1.1：客户端连接服务端；
S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；
S1.3：对获取的数据进行缓冲；
S1.4：通过批对齐模式形成数据流；
S1.5：将数据流以固定心跳推送给前端，驱动ue4模型做呈现。
2.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.1中，服务端记录连接时间作为基准时钟，并启动定时任务。
3.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.2中，数据库采用吞吐量高、且进行压缩存储的时序数据库。
4.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.3中，将所述S1.1中获取的数据源加入一个有界队列中，新数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量。
5.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.4中，兼容自由模式进行数据处理。
6.根据权利要求5所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.4中，批对齐模式将各个设备上报的数据载入到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，对于采集频率跨度大的设备上报的数据，通过差值处理来预测数据，形成一股标准的数据流。
7.根据权利要求6所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述差值处理过程中，对获取的数据流进行分段处理获取分段的数据流，分段步骤如下：
对于获取的数据流片段，其中，和为源时间序列数据中的序号，分别代表该片段的起点和终点序号，计算段内数据的协方差矩阵：
其中，为段内数据的均值，为段内第个数据，为对计算结果的转置，对协方差矩阵进行SVD分解：；对于片段，计算如下：
其中，为段内第个数据的转置，是前p个最大主元对应的特征列向量组成的矩阵，为的转置，是个数据在前p个最大的主元的低维空间投影的均方误差；为基于Q指标的误差；
对于分为c段的方案，基于Q指标的总误差为隔断目标函数值之和：
其中，为对于方案的基于Q指标的总误差。
8.根据权利要求7所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述分段步骤中，通过迭代法进行寻优，步骤如下：
S2.1：给定时间序列，设定一个滑动窗口起始点处于序列起始点位置；
S2.2：依次从中截取长度为的一端数据，对进行分段，直至窗口终点与时间序列终点重合；
S2.3：从S中所有分段中找最大的段，该段的长度为；遍历中所有位置，寻找位置k使得最小；将段在位置k分为两个段：和；直至满足终止条件。
9.根据权利要求8所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述差值处理步骤中，通过对数据流中的多维特征变量时间序列按照所属类别进行分段，使得段内数据相关性结构一致，再进行差值处理，实现对数据的准确预测。
10.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.5中通过Websocket应用层协议将形成标准的数据流主动推送给ue4驱动模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310195828.6A CN115914410B (zh) | 2023-03-03 | 2023-03-03 | 基于数据驱动的数字孪生仿真方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310195828.6A CN115914410B (zh) | 2023-03-03 | 2023-03-03 | 基于数据驱动的数字孪生仿真方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115914410A true CN115914410A (zh) | 2023-04-04 |
| CN115914410B CN115914410B (zh) | 2023-07-14 |
Family
ID=86489973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310195828.6A Active CN115914410B (zh) | 2023-03-03 | 2023-03-03 | 基于数据驱动的数字孪生仿真方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914410B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160337424A1 (en) * | 2015-05-13 | 2016-11-17 | Qualcomm Incorporated | Transferring media data using a websocket subprotocol |
| CN112800106A (zh) * | 2021-01-15 | 2021-05-14 | 上海大学 | 一种基于数字孪生技术采用历史数据驱动虚拟模型仿真的方法 |
| CN112926770A (zh) * | 2021-02-22 | 2021-06-08 | 胡书恺 | 一种基于数字孪生的统一数据计量采集系统 |
| CN114357732A (zh) * | 2021-12-17 | 2022-04-15 | 中国电子科技集团公司第三十八研究所 | 电子装备数字孪生模型及其构建方法和应用 |
| CN115034638A (zh) * | 2022-06-21 | 2022-09-09 | 海尔数字科技（上海）有限公司 | 数字孪生处理方法及数字孪生系统 |
| CN115080275A (zh) * | 2022-07-12 | 2022-09-20 | 泽恩科技有限公司 | 一种基于实时数据模型的孪生服务组件及其方法 |
-
2023
- 2023-03-03 CN CN202310195828.6A patent/CN115914410B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160337424A1 (en) * | 2015-05-13 | 2016-11-17 | Qualcomm Incorporated | Transferring media data using a websocket subprotocol |
| CN112800106A (zh) * | 2021-01-15 | 2021-05-14 | 上海大学 | 一种基于数字孪生技术采用历史数据驱动虚拟模型仿真的方法 |
| CN112926770A (zh) * | 2021-02-22 | 2021-06-08 | 胡书恺 | 一种基于数字孪生的统一数据计量采集系统 |
| CN114357732A (zh) * | 2021-12-17 | 2022-04-15 | 中国电子科技集团公司第三十八研究所 | 电子装备数字孪生模型及其构建方法和应用 |
| CN115034638A (zh) * | 2022-06-21 | 2022-09-09 | 海尔数字科技（上海）有限公司 | 数字孪生处理方法及数字孪生系统 |
| CN115080275A (zh) * | 2022-07-12 | 2022-09-20 | 泽恩科技有限公司 | 一种基于实时数据模型的孪生服务组件及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 金国梁: "基于云平台的车间数字孪生系统的设计与实现", 中国优秀硕士学位论文全文数据库信息科技辑, no. 12, pages 139 - 282 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115914410B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10726016B2 (en) | In-memory column-level multi-versioned global dictionary for in-memory databases | |
| CN100416560C (zh) | 通过在线和离线组件聚类进化数据流的方法和设备 | |
| CN110457331B (zh) | 通用的实时更新多维数据可视化系统及方法 | |
| JP2011530234A (ja) | 大規模なデータストレージのための効率的な列ベースデータの符号化 | |
| CN113032427B (zh) | 一种用于cpu和gpu平台的向量化查询处理方法 | |
| US11294816B2 (en) | Evaluating SQL expressions on dictionary encoded vectors | |
| CN105513099A (zh) | 一种骨骼动画数据的压缩方法及装置 | |
| CN110263917B (zh) | 一种神经网络压缩方法及装置 | |
| CN110334290B (zh) | 一种基于MF-Octree的时空数据快速检索方法 | |
| CN115914410A (zh) | 基于数据驱动的数字孪生仿真方法 | |
| CN113806466A (zh) | 路径时间查询方法、装置、电子设备和可读存储介质 | |
| CN117176175A (zh) | 一种用于计算机的数据传输方法 | |
| CN114895985B (zh) | 一种面向基于采样的图神经网络训练的数据加载系统 | |
| CN108536823B (zh) | 一种物联网感知大数据的缓存设计和查询方法 | |
| CN113806376B (zh) | 索引构建方法及装置 | |
| CN112463904B (zh) | 一种分布式空间矢量数据与单点空间数据混合分析方法 | |
| CN116257584A (zh) | 数据同步方法及装置 | |
| CN113204676B (zh) | 基于图结构数据的压缩存储方法 | |
| CN111723089A (zh) | 一种基于列式存储格式处理数据的方法和装置 | |
| CN109800231A (zh) | 一种基于Flink的实时轨迹co-movement运动模式检测方法 | |
| CN110297836B (zh) | 基于压缩位图方式的用户标签存储方法和检索方法 | |
| CN115098029A (zh) | 数据处理方法及装置 | |
| CN113609126A (zh) | 一种众源时空数据的一体化存储管理方法及系统 | |
| Li et al. | SP-phoenix: a massive spatial point data management system based on phoenix | |
| CN112765130A (zh) | 一种数据仓库构建方法、系统、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |