CN116546057A - 一种面向数字孪生应用的强实时数据通信方法 - Google Patents

Abstract

本发明提出一种面向数字孪生应用的强实时数据通信方法，涉及物联网以及传感器领域，传感器收集物理世界的数据，通过Socket或Lora将数据传输到仿真环境，对数据进行可视化展示并增强数字孪生的真实性。传感器数据收集，将传感器与硬件端口连接，运行程序收集数据。通过本发明，可以通过传感器获取真实物理数据，并能够传输到仿真环境进行参数设置，有效的解决仿真软件获取真实环境数据的问题，并增强数字孪生的真实性。

Description

一种面向数字孪生应用的强实时数据通信方法

技术领域

本发明公布了一种面向数字孪生应用的强实时数据通信方法，涉及物联网，传感器以及数字孪生领域。

背景技术

近年来，无人驾驶技术快速发展，但在无人驾驶的研究当中，测试无人驾驶在复杂道路情况下的行驶效果往往在现实中很难满足，因此，要求能够在虚拟场景中，对其进行测试，数字孪生技术就是实现该测试的关键技术，数字孪生区别于仿真，不仅仅需要将现实的物体在仿真器中进行仿真，还需要给现实的物体进行反作用，给物体发送指令。

数字孪生技术应用于无人驾驶技术的研究当中时，光照强度，环境的温湿度都是构成复杂环境的重要因素。而在对复杂环境进行仿真的过程中，复杂的环境信息通过传感器进行收集，传感器作为数据来源，其重要性不言而喻。传感器收集到数据以后，如何将数据传送到仿真软件进行仿真，成了一个新的问题；而如何将传感器收集到的真实的环境信息数据传送到仿真软件也就是本发明所要解决的问题。

发明内容

为了解决上述技术问题，本申请旨在提供一种面向数字孪生应用的强实时数据通信及交互方法，将真实的环境信息通过传感器的收集以及网络通信技术，传输到仿真软件，对仿真环境进行参数设置，增强数字孪生的效果。

本发明实例提供一种面向数字孪生应用的强实时数据通信及交互方法，将真实的环境信息通过传感器的收集，然后使用物联网通信技术，将数据传输到仿真软件，本发明采取的技术方案如下：

提供一种面向数字孪生应用的强实时数据通信方法，所述通信方法包括以下步骤：

S1，客户端设备获取传感器数据；

S2，客户端设备使用局域网Socket或Lora网关进行数据传输，将所述传感器数据上传至HTTP API模块或物联网平台；

S3，Carla系统调用HTTP API模块，获取局域网内通过Socket进行传输的传感器数据或保存在物联网平台上的数据；

S4，将数据进行可视化动态显示。

进一步的，所述步骤S2具体包括以下内容：

同一局域网内进行数据传输，使用Socket网关完成传输操作；

不在同一局域网内进行数据传输，使用Lora网关进行传输操作。

进一步的，采用Socket网关进行传输时，服务端绑定指定的IP地址，对该IP地址进行监听；所述传感器与硬件端口连接，软件Arduino通过硬件端口收集传感器数据，Socket客户端指定硬件端口获取软件Arduino收集的数据， Socket客户端连接服务端绑定的IP地址，通过TCP进行数据传输。

进一步的，使用Lora网关进行传输时，首先配置Lora网关的网络，然后对IOT服务器进行配置，在IOT服务器上添加设备并设置相关信息，Lora终端节点收集传感器数据，并通过Lora协议发送出去，Lora网关中的MCU部分从Lora无线获取传感器数据，并传送到Linux端，Linux端将数据以Restful API格式发送到IOT服务器。

进一步的，所述IOT服务器上添加设备并设置相关信息，包括设备类型，名称，给设备添加传感器，设置传感器信息，包括标识，单位，名称，所属设备，发送间隔。

进一步的，Lora网关采用WIFI客户端模式，Lora网关作为WIFI客户端，通过WIFI连接，从上级路由器获取DHCP和网络连接。

进一步的，服务端调用网络接口获取传感器数据，使用Flask框架定义网络接口，定义网络接口时，设定网络接口对应的地址以及访问方式，访问方式应包括：POST法和GET法；

设定临时单元保存传感器数据，Socket服务端使用POST方法将传感器数据发送到设定接口，Carla通过GET方法获取传感器数据；当使用Lora网关传输数据时，Lora网关获取到数据以后，将数据保存在其服务器上，Carla系统调用物联网平台自定义的接口获取物联网平台保存的传感器数据。

进一步的，传感器数据输出格式包括：传感器数据的名称以及数值。

进一步的，所述步骤S4具体包括以下内容：

ROS发布者实时接收传感器数据，使用matplotlib进行图像绘制，通过ROS话题和消息将图像发送给ROS系统，实时动态显示传感器数据。

有益效果：

与现有技术相比，本发明的优点在于：

本发明实现了传感器数据的收集，传输以及显示，能够通过传感器获取真实环境的数据，并在ROS系统中，可视化展示，并能够提高Carla系统的仿真效果；

本发明实现了两种传感器数据的传输方式，分别对应于局域网内Socket数据传输以及Lora网关传输，从而面对不同的网络环境，有不同的适用方法。

附图说明

图1是本发明客户端收集数据的流程图；

图2是根据本发明Socket传输传感器数据的执行流程图；

图3是本发明通过Lora网关进行数据传输的流程图；

图4是本发明获取传感器数据的流程图；

图5是本发明数据动态可视化的流程图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种面向数字孪生应用的强实时数据通信方法，包括：

S1，客户端配置，编写并运行微控制程序，获取传感器数据；具体的说，客户端使用Arduino软件编写微控制程序，并指定硬件端口和开发板，获取传感器数据。

S2，客户端收集传感器数据，使用局域网Socket或Lora网关进行数据传输，将数据上传到自定义的HTTP API或物联网平台。

S3，服务端选择调用HTTP网络端口，获取局域网传感器数据或物联网平台数据。Carla调用HTTP API，获取局域网传感器数据或物联网平台数据。

S4,对收集到的传感器数据进行可视化动态显示。

图1是关于客户端收集传感器数据的流程图，主要分为以下几个步骤：

步骤S01，客户端配置，对客户端进行配置，以便其能够运行微控制程序并能够对数据进行保存以及传输。在该步骤中，传感器的配置指将传感器的端口和开发板的引脚进行正确连接。在本发明中，使用温湿度传感器DHT11以及光照传感器。对于DHT11，将传感器的VCC，GND以及DATA端口分别连接开发板的5V，GND以及8号引脚进行连接，8号引脚作为数据收集的接口。对于光照传感器，将传感器的VCC，GND，A0端口分别与开发板的5V，GND以及0号引脚进行连接。配置相应的操作系统，能够安装Arduino软件，以便能够运行对应传感器的微控制程序，并且具有存储功能，能够对传感器的数据进行保存，还需要安装多个硬件端口，以便传感器与硬件端口进行连接进行数据的收集。

步骤S02，连接传感器。在完成传感器配置以后，将传感器所连接的开发板连接运行微控制程序的计算机。在本发明中，将开发板与计算机的“COM3”端口进行连接。

步骤S03，编写微控制程序，以便客户端能够从硬件端口获取传感器数据。本发明使用Arduino软件进行微控制程序的编写和运行，通过Socket进行数据传输或通过Lora网关进行数据传输所涉及的微控制程序有所不同，在后文将结合不同的数据传输方式给出微控制程序的编写。不同的传感器对应不同的微控制程序，微控制程序设定传感器数据对应的引脚号，数据采集频率，以及数据输出格式。传感器数据输出格式包括两个方面：传感器收集的数据的名称，数据的数值。本实施例中的传感器采集的是环境的温湿度数据，当传感器插入端口后，确定微控制程序运行时对应的开发板和硬件端口，运行程序收集数据。对于多传感器数据传输时，将多个传感器连接到不同的端口并运行对应的微控制程序，获取数据。

步骤S04，微控制程序的运行。在运行微控制程序前，首先对微控制程序的硬件设备进行设置，主要包括两个方面，“开发板”以及“端口”，最后“上传”运行程序。

步骤S05，数据的显示。运行微控制程序时，程序自动将收集的传感器数据输出到软件Arduino的串口监视器窗口。

图2是关于本发明使用Socket进行传感器数据传输的执行流程图，其中软件Arduino收集传感器数据的过程主要分为两个步骤：编写微控制程序，运行微控制程序。软件Arduino通过运行编写的微控制程序来收集传感器数据，然后作为Socket客户端的数据来源，Socket客户端将获得的数据通过TCP传输给Socket服务端。以下，对Socket服务端和Socket客户端间的数据传输进行详细说明，具体为以下几个步骤：

步骤S01，Socket服务端绑定端口。在本实施例中，Socket服务端首先对数据传输的格式以及数据传输的协议进行设置，然后绑定端口，等待Socket客户端的连接进行数据传输。

步骤S02，Socket客户端连接服务端，客户端连接Socket服务端绑定的端口号，并编写数据传输的函数，指定硬件端口作为函数的参数。

步骤S03，Socket客户端与服务端连接以后，将软件Arduino作为数据源，通过指定的硬件端口，获取由软件Arduino运行的微控制程序收集到的传感器数据。

步骤S04，数据传输，在本发明中，针对DHT11传感器以及光照传感器，分别指定硬件端口“COM3”以及“COM4”，分别使用两个线程进行传感器数据的收集，并通过TCP进行数据传输。

步骤S05，服务端将数据推送到HTTP接口，在本发明中，Socket接收到传感器数据以后，对数据的内容进行判断，分别通过判断数据中是否含有“Temperature”以及“Light”的字样，将相应的传感器数据推送到相应的HTTP接口，在进行步骤S04之前，需要对网络接口进行定义，在本发明中，使用Flask框架，定义HTTP接口，分别用作温湿度传感器数据的上传，温湿度传感器数据的获取，光照传感器数据的上传，光照传感器数据的获取。当Socket服务端接收到客户端的数据后，将数据上传到网络接口，并使用临时单元进行保存。客户端持续从软件Arduino获取传感器数据，并将其发送到服务端，从而上传到网络接口进行保存。

首先对Socket数据传输所涉及的微控制程序进行详细说明，该微控制程序首先指定数据引脚号，在本发明中，DHT11即温湿度传感器的data脚与开发板的8号引脚进行连接，指定引脚号后，通过DHT对象的read方法获取温湿度数据，并将温湿度数据分别保存在两个临时单元中，然后调用Serial.print方法以类似键值对的格式输出传感器数据，该过程间隔一秒执行一次，即数据更新频率为1Hz。

接下来对本发明所定义的HTTP API进行说明，通过Socket进行数据传输时，需定义网络接口对传感器的数据进行接收和发送，本发明HTTP API是基于Flask框架实现，该接口定义“sensor_data”保存传感器数据，可实现温湿度数据的上传和获取以及光照数据的上传与获取。

图3是本发明关于通过Lora网关进行传感器数据传输的流程图，具体步骤如下：

步骤S01，Lora网关的网络设置。在本发明中，使用Lora网关的WIFI客户模式，Lora网关通过无线接收的方式获取上级路由器的网络，然后将网络发送到LAN端口。首先，将Lora网关通过网线与计算机的网络端口连接，然后打开浏览器输入“10.130.1.1”，进行相关的网络设置。进入Lora网关的Web UI界面，依次进入Network，Internet Access，输入SSID的值以及Password的值，两者分别对应外接WIFI的账号以及密码。

步骤S02，Lora终端节点获取传感器数据，在Lora终端节点获取数据之前，需要在IOT平台乐联网上添加相应的设备，并设置相关信息，主要包括设备类型，名称等，并添加传感器，设置传感器信息，包括标识，单位，名称，所属设备，发送间隔等参数。在本实施例中，定义了一台设备，并添加了两个传感器，分别对应温度数据的接收，湿度数据的接收。然后，将温湿度传感器DHT11连接到硬件端口，然在软件Arduino中，打开客户端微控制程序，设置数据传输对应的引脚号，频率，传感器名称，运行该程序收集传感器数据。

步骤S03，Linux端获取数据，Linux端即Lora服务端，Lora服务端首先打开服务端微控制程序，修改Userkey以及Gateway ID，然后设置开发板和端口，最后运行微控制程序，获取Lora终端节点即Lora客户端所收集到的传感器数据，最后将传感器数据上传到物联网平台保存。

首先将对该过程所涉及的Lora客户端微控制程序进行详细说明，Lora客户端的微控制程序，需要指定数据引脚号，即传感器Data脚所连接开发板的引脚编号，然后定义物联网平台所设定的传感器名称，通过DHT对象的read方法获取指定引脚号的传感器数据，将传感器数据保存到临时单元，然后格式化输出，最后将收集的数据转换成物联网平台所保存的数据格式，然后发送给Lora服务端。

接下来对Lora服务端的微控制程序进行说明，Lora服务端的微控制程序需要指定userkey以及网关号，Lora服务端从客户端接收数据并将其保存在临时单元中，通过物联网平台的网址与网关号构造新的网址，最后将新的网址，接收的传感器数据，及userkey合并从而构造命令，然后定义进程，执行命令，将传感器数据发送到物联网平台进行保存。

图4是本发明关于通过调用HTTP网络接口获取传感器数据的流程图，在本发明中，传感器数据传输有两种不同的方式，一种是在同一局域网内，通过Socket网络通信进行数据传输，可以直接调用自定义的网络接口获取数据，另外一种是通过Lora网关以及IOT服务器进行数据的传输，这时，获取数据时需要对HTTP消息头以及参数进行设置，具体步骤如下：

步骤S01，通过Socket进行数据传输时，使用get方法调用自定义的网络接口，获取对应传感器的数据。

步骤S02，通过Lora网关进行数据传输时，使用get方法调用乐联网自定义的网络接口。首先设置HTTP消息头“userkey”，然后设置参数“order,limit”，其中第一个参数表示获取数据时，数据的排列方式，0表示时间由近及远，1表示时间由远及近。从物联网平台，获取对应传感器的地址并获取数据。

步骤S03，当获取到传感器数据以后，使用matplotlib进行数据可视化。

图5是本发明关于传感器数据动态可视化的流程图，具体包括以下几个步骤：

步骤S01，调用接口获取数据，在本发明中，无论是通过Socket或者Lora网关进行数据的传输，获取数据，都是调用其相应的网络接口获取数据，并将数据保存到设定空间大小为60的队列当中，从前往后增加数据，并保存，当队列满后，自动剔除历史数据。

步骤S02，步骤S01获取数据后，以队列索引作为横坐标，队列数值作为纵坐标，调用matplotlib对队列中的数据进行绘制， 绘制得到的图像保存在临时内存单元中。

步骤S03，图像保存到临时单元以后，其格式为“PIL.Image”，进行ROS传输时，需要对其格式进行转换，首先将其转换成“np.asarray”格式，最后将其转换成ROS Image格式。

步骤S04，图像格式转换以后，由定义的发布者节点进行图像的发送，由订阅者节点进行图像的接收，并且进行展示。

图5的整个过程，从调用接口获取数据到图像的展示，执行的间隔是1秒执行一次，每一秒生成一个图像并且进行展示，从而形成动态展示的效果。

显然，本领域的技术人员应该明白，本发明上述的方法步骤可以用通用计算装置来实现，所用到工具不仅限于本发明所提供，其他相关工具同样可以实现本发明步骤。尽管在之前已经描述了本发明的实施例，仅用于说明本发明的技术方案和主要特征，但是并不用于限制本发明，本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，或者对其中部分技术特征进行等同替换。凡在本发明的原则之内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，轻易想到的变化或替换，都涵盖在本发明的保护范围之内。

Claims (9)

1.一种面向数字孪生应用的强实时数据通信方法，其特征在于：所述通信方法包括以下步骤：

S1，客户端设备获取传感器数据；

S2，客户端设备使用局域网Socket或Lora网关进行数据传输，将所述传感器数据上传至HTTP API模块或物联网平台；

S3，Carla系统调用HTTP API模块，获取局域网内通过Socket进行传输的传感器数据或保存在物联网平台上的数据；

S4，将数据进行可视化动态显示。

2.根据权利要求1所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：所述步骤S2具体包括以下内容：

同一局域网内进行数据传输，使用Socket网关完成传输操作；

不在同一局域网内进行数据传输，使用Lora网关进行传输操作。

3.根据权利要求2所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：采用Socket网关进行传输时，服务端绑定指定的IP地址，对该IP地址进行监听；所述传感器与硬件端口连接，软件Arduino通过硬件端口收集传感器数据，Socket客户端指定硬件端口获取软件Arduino收集的数据， Socket客户端连接服务端绑定的IP地址，通过TCP进行数据传输。

4.根据权利要求2所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：使用Lora网关进行传输时，首先配置Lora网关的网络，然后对IOT服务器进行配置，在IOT服务器上添加设备并设置相关信息，Lora终端节点收集传感器数据，并通过Lora协议发送出去，Lora网关中的MCU部分从Lora无线获取传感器数据，并传送到Linux端，Linux端将数据以Restful API格式发送到IOT服务器。

5.根据权利要求4所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：所述IOT服务器上添加设备并设置相关信息，包括设备类型，名称，给设备添加传感器，设置传感器信息，包括标识，单位，名称，所属设备，发送间隔。

6.根据权利要求4所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：Lora网关采用WIFI客户端模式，Lora网关作为WIFI客户端，通过WIFI连接，从上级路由器获取DHCP和网络连接。

7.根据权利要求3所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：服务端调用网络接口获取传感器数据，使用Flask框架定义网络接口，定义网络接口时，设定网络接口对应的地址以及访问方式，访问方式应包括：POST法和GET法；

设定临时单元保存传感器数据，服务端使用POST方法将传感器数据发送到设定接口，Carla通过GET方法获取传感器数据；当使用Lora网关传输数据时，Lora网关获取到数据以后，将数据保存在其服务器上，Carla系统调用物联网平台自定义的接口获取物联网平台保存的传感器数据。

8.根据权利要求1所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：传感器数据输出格式包括：传感器数据的名称以及数值。

9.根据权利要求1所述的一种面向数字孪生应用的强实时数据通信方法，其特征在于：所述步骤S4具体包括以下内容：

ROS发布者实时接收传感器数据，使用matplotlib进行图像绘制，通过ROS话题和消息将图像发送给ROS系统，实时动态显示传感器数据。