CN113986457A - 一种远程输入输出设备中断映射装置与方法 - Google Patents
一种远程输入输出设备中断映射装置与方法 Download PDFInfo
- Publication number
- CN113986457A CN113986457A CN202111206632.XA CN202111206632A CN113986457A CN 113986457 A CN113986457 A CN 113986457A CN 202111206632 A CN202111206632 A CN 202111206632A CN 113986457 A CN113986457 A CN 113986457A
- Authority
- CN
- China
- Prior art keywords
- equipment
- interrupt
- module
- remote
- host node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bus Control (AREA)
Abstract
本发明涉及一种远程输入输出设备中断映射装置与方法，所述装置包括设备共用适配模块、设备驱动模块、远程设备中断映射模块、设备共用传输线缆、设备共用交换模块；所述方法包括：通过PCIE插槽，安装设备共用适配模块；利用设备共用传输线缆将各主机节点上的设备共用适配模块连接；借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；远程设备中断映射模块截获中断请求，重定向到远程物理设备；远程物理设备根据调用中断请求完成处理操作后，回复消息到发起中断的主机节点应用。本发明支持远程输入输出设备与主机节点之间的中断映射转化；支持通用的NVME、GPU、NPU和网卡等PCIE设备。
Description
技术领域
本发明涉及主机节点与非本机输入输出设备之间的中断映射机制，具体涉及一种远程输入输出设备中断映射装置与方法。
背景技术
随着云计算、综合处理系统领域的不断发展，信息处理系统承载的应用程序越来越多，不同的应用程序对处理能力和输入输出资源可能存在不同的需求，如有些应用程序需要FPGA、GPU、NPU等PCIE设备资源给予协助处理。然而，受制于空间、功耗等因素，每个主机节点安装的实体物理设备资源数量是有限的，要实现动态扩展设备资源通常必须配合纯软件的分布式协作处理框架，将应用程序分布到多个主机节点协同处理，且应用程序必须按照分布式协作处理框架接口重新开发。如：在所有主机节点均配置一个GPU协处理设备的集群系统中，若运行在某主机节点的应用程序，临时需要2个GPU设备协助才能满足其处理需求，此时，通常需要联合2个主机节点来完成该应用程序，同时如果该应用程序是基于单机开发的，该应用程序通常还需要重新开发，才能成功分布运行在2个主机节点上协同完成程序处理。此种纯软件的设备资源扩展方式存在着资源共用共享粒度大(以主机节点为最小粒度)、应用程序透明性差等缺陷，间接限制了信息系统设备资源的共用共享效率。为了进一步提升系统设备资源的共用共享效率，需要通过PCIE设备跨主机节点灵活借用功能，实现应用程序透明的、细粒度的主机设备资源扩展方式，但需要首先解决PCIE设备跨不同主机节点的远程中断映射问题。
发明内容
本发明的目的在于提供一种远程输入输出设备中断映射装置与方法。
实现本发明目的的技术方案为：
第一方面，本发明提出一种远程输入输出设备中断映射装置，所述装置包括设备共用适配模块、设备驱动模块和远程设备中断映射模块；所述的设备共用适配模块通过PCIE插槽方式安装在主机节点内部；所述的设备驱动模块用于提供本机或远程主机上PCIE设备的使用接口；所述的远程设备中断映射模块用于维护借用设备与远程主机之间的中断映射关系。
进一步的，所述装置还包括设备共用交换模块和备共用传输线缆，所述的设备共用交换模块用于连接多个主机节点上安装的PCIE设备，并对外提供配置管理接口，所述的设备共用传输线缆用于连接设备共用交换模块与设备共用适配模块，提供模块之间的数据传输介质。
进一步的，所述的PCIE插槽为支持标准PCIE协议的设备插槽；所述的设备共用传输线缆为铜缆形式或光缆形式。
进一步的，所述远程设备中断映射模块实现跨主机中断映射功能的具体过程为：1)借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；2)远程设备中断映射模块截获中断请求，重定向到远程物理设备；3)远程物理设备根据调用中断请求完成处理操作后，回复消息到发起中断的主机节点应用。
第二方面，本发明提出一种使用远程输入输出设备中断映射装置进行远程中断映射的方法，包括以下步骤：
步骤一、通过主机节点提供的PCIE插槽，将设备共用适配模块安装到各主机节点上，利用设备共用交换模块提供的接口，设备共用传输线缆将各主机节点上的设备共用适配模块连接起来；
步骤二、将设备共用交换模块通电启动；
步骤三、借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；
步骤四、当主机节点应用发起调用虚拟设备功能的中断请求时，远程设备中断映射模块截获中断请求，通过设备共用适配模块将调用中断请求重定向到远程物理设备；
步骤五、远程物理设备根据调用中断请求完成处理操作后，产生的中断回复消息由远程设备中断映射模块处理转换后，返回发起中断的主机节点应用。
进一步的，步骤三中的虚拟设备对应借出侧主机节点的PCIE物理实体设备，是借用侧主机节点通过软件模拟的PCIE逻辑设备；借出侧主机节点与借用侧主机节点之间的设备借用功能通过设备驱动模块、设备共用适配模块、设备共用传输线缆、设备共用交换模块以及PCIE协议实现。
进一步的，步骤四中的中断请求重定向为远程设备中断映射模块将截获的中断请求转化为借出侧主机节点对应实体设备的中断请求，通过设备共用适配模块将转化的中断请求传输借出侧主机节点，并写入到消息信号中断内存区域。
进一步的，步骤五中所述的完成处理操作为借出侧主机节点对应实体设备根据中断请求，完成相应的设备功能；步骤五中的“处理转换”为借出侧主机节点远程设备中断映射模块将实体设备的中断请求转化为借用侧主机节点虚拟设备的中断请求。
第三方面，本发明提供一种远程输入输出设备中断映射架构，所述架构包括主机节点、远程输入输出设备中断映射装置、以及PCIE物理设备；所述的远程输入输出设备中断映射装置中的设备共用适配模块通过标准PCIE插槽安装在主机节点上；所述的远程输入输出设备中断映射装置中的设备交换模块为可选配功能模块，若只连接2个主机节点，可以选择使用设备共用传输线缆直连，而不经过设备交换模块；所述的远程输入输出设备中断映射装置中的设备驱动模块与程设备中断映射模块，为软件模块，安装运行在主机节点操作系统上；所述的PCIE物理设备安装在主机节点上。
进一步的，所述的主机节点为X86架构处理器的计算机或ARM架构处理器的计算机，PCIE物理设备为NVME、GPU、NPU或网卡；所述的远程输入输出设备中断映射架构，应用于安装LINUX、WINDOWS、VXWOEKS操作系统的主机节点。
本发明与现有技术相比，其显著优点为：(1)无需修改设备原有驱动和操作系统内核，具备较好透明性好，支持远程输入输出设备与主机节点之间的中断映射转化；(2)使用原生PCIE传输协议，具备低延迟、高带宽的特性，支持通用的NVME、GPU、NPU和网卡等PCIE设备；(3)设备共用传输线缆支持铜缆和光缆，支持通过级联设备共用交换模块方式扩展所连接主机节点的数量。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明实施例所提供的第一种远程输入输出设备中断映射装置结构示意图。
图2是本发明实施例所提供的第一种远程输入输出设备中断映射装置部署示意图。
图3是本发明实施例所提供的第二种远程输入输出设备中断映射装置结构示意图。
图4是本发明实施例所提供的第二种远程输入输出设备中断映射装置部署示意图。
图5是本发明实施例所提供的一种使用远程输入输出设备中断映射方法示意图。
具体实施方式
本发明属于主机节点与非本机输入输出设备之间的中断映射机制，特别是涉及集群系统主机节点与借用的远程磁盘、GPU、NPU、网卡设备之间的中断映射方法。具体说是一种远程输入输出设备中断映射装置与方法。
本发明涉及一种远程输入输出设备中断映射装置与方法，目的在于提供一种远程输入输出设备中断映射装置，提供远程输入输出设备中断映射装置，能够通过主机节点上的适配模块、驱动模块、中断映射模块，以及配套的传输线缆与设备共用交换模块，实现在线配置管理PCIE设备、中断截获、中断映射功能，达到主机节点按需透明化地响应远程PCIE设备资源中断目的。用于实现借用侧主机节点与借出侧主机节点上PCIE设备之间的中断映射，支撑多个主机节点之间通用PCIE设备的共享共用功能，提升集群系统中PCIE设备利用效率，尤其是空间有限、功耗受限、设备资源受限的的信息设备共享共用领域行业。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
实施例1
本发明为一种远程输入输出设备中断映射装置，请参考图1，图1为本发明实施例所提供的第一种远程输入输出设备中断映射装置结构示意图，远程输入输出设备中断映射装置1包括设备共用适配模块2、远程设备中断映射模块3、设备驱动模块4、设备共用传输线缆5、设备共用交换模块6。
图2是本发明实施例所提供的第一种远程输入输出设备中断映射装置部署示意图，远程输入输出设备中断映射装置1、主机节点7A、主机节点7B、主机节点7C。所述的设备共用交换模块6为拥有8个连接端口的PCIE交换机，并支持级联方式扩展连接端口数量，通过设备共用传输线缆5和设备共用适配模块2，用于连接多个主机节点上安装的PCIE设备资源，并对外提供配置管理接口。所述的设备共用适配模块2为利用PCIE芯片集成的非透明桥，具备跨PCIE总线域地址转换功能，通过PCIE插槽方式安装在主机节点内部；所述的NVME存储盘8为标准PCIE接口的存储盘；所述的设备驱动模块4为主机节点7上的NVME存储盘8提供驱动程序；所述的远程设备中断映射模块3用于维护借用设备与远程主机之间的中断映射关系；所述的设备共用传输线缆5用于连接设备共用交换模块6与主机节点7的设备共用适配模块2，提供模块之间的数据传输介质。
实施例2
请参考图3，图3为本发明实施例所提供的第二种远程输入输出设备中断映射装置的装置结构示意图，与实施例1的区别在于，远程输入输出设备中断映射装置1没有配置设备共用交换模块，远程输入输出设备中断映射装置1包括设备共用适配模块2、远程设备中断映射模块3、设备驱动模块4、设备共用传输线缆5。对应图3，图4是本发明实施例所提供的第二种远程输入输出设备中断映射装置部署示意图。
实施例3
请参照图5，一种使用远程输入输出设备中断映射装置的方法，合远程输入输出设备中断映射装置，实现通用PCIE设备远程主机节点上的中断映射与反映射，达到支撑不同主机节点之间设备资源共享共用的目的。该方法包括以下步骤：
步骤一、通过主机节点提供的PCIE插槽，将设备共用适配模块安装到各主机节点上，利用设备共用交换模块提供的接口，设备共用传输线缆将各主机节点上的设备共用适配模块连接起来；
步骤二、将设备共用交换模块通电启动；
步骤三、借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；
步骤四、当主机节点应用发起调用虚拟设备功能的中断请求时，远程设备中断映射模块截获中断请求，通过设备共用适配模块将调用中断请求重定向到远程物理设备；
步骤五、远程物理设备根据调用中断请求完成处理操作后，产生的中断回复消息由远程设备中断映射模块处理转换后，返回发起中断的主机节点应用。
在本发明实施例中，设备共用适配模块通过PCIE插槽安装在主机节点内。其中，步骤一中的“PCIE插槽”为支持标准PCIE协议的设备插槽。PCIE插槽的支持协议可以选用下面之一：
1)PCIE 2.0；
2)PCIE 3.0。
在本发明实施例中，设备共用传输线缆用于连接设备共用交换模块与设备共用适配模块，提供模块之间的数据传输介质。其中，步骤二中的“设备共用传输线缆”为可以是铜缆形式，也可以是光缆形式。
在本发明实施例中，主机节点PCIE设备之间通过设备共用适配模块能够实现跨主机借用，借出PCIE设备的主机为借出侧主机节点，借用PCIE设备的主机为借用侧主机节点。其中，步骤三中的“虚拟设备”对应借出侧主机节点的PCIE物理实体设备，是借用侧主机节点通过软件模拟的PCIE逻辑设备。借出侧主机节点与借用侧主机节点之间的设备借用功能通过设备驱动模块、设备共用适配模块、设备共用传输线缆、设备共用交换模块以及PCIE协议实现。
在本发明实施例中，远程设备中断映射模块具备截获、更改设备中断请求的功能。步骤四中的“中断请求重定向”为远程设备中断映射模块将截获的中断请求转化为借出侧主机节点对应实体设备的中断请求，通过设备共用适配模块将转化的中断请求传输借出侧主机节点，并写入到消息信号中断(MSI)内存区域。
在本发明实施例中，借出侧主机节点实体设备能够响应借用侧主机节点的操作请求。其中，步骤五中的“完成处理操作”为借出侧主机节点对应实体设备根据中断请求，完成相应的设备功能，如读数据、写数据、数据处理等。
在本发明实施例中，远程设备中断映射模块具备截获、更改设备中断消息的功能。其中，步骤五中的“处理转换”为借出侧主机节点远程设备中断映射模块将实体设备的中断请求转化为借用侧主机节点虚拟设备的中断请求。
实施例4
本实施例提供一种远程输入输出设备中断映射架构，所述架构包括主机节点、远程输入输出设备中断映射装置、以及PCIE物理设备；所述的远程输入输出设备中断映射装置中的设备共用适配模块通过标准PCIE插槽安装在主机节点上；所述的远程输入输出设备中断映射装置中的设备交换模块为可选配功能模块，若只连接2个主机节点，可以选择使用设备共用传输线缆直连，而不经过设备交换模块；所述的远程输入输出设备中断映射装置中的设备驱动模块与程设备中断映射模块，为软件模块，安装运行在主机节点操作系统上；所述的主机节点可以是X86架构处理器的计算机或ARM架构处理器的计算机；所述的PCIE物理设备安装在主机节点上，PCIE物理设备可以是NVME、GPU、NPU和网卡等通用PCIE接口设备。
作为一种优选的技术方案，所述的一种远程输入输出设备中断映射架构，可应用于安装LINUX、WINDOWS、VXWOEKS等操作系统的主机节点。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。
Claims (10)
1.一种远程输入输出设备中断映射装置，其特征在于，所述装置包括设备共用适配模块、设备驱动模块和远程设备中断映射模块；所述的设备共用适配模块通过PCIE插槽方式安装在主机节点内部；所述的设备驱动模块用于提供本机或远程主机上PCIE设备的使用接口；所述的远程设备中断映射模块用于维护借用设备与远程主机之间的中断映射关系。
2.根据权利要求1所述的远程输入输出设备中断映射装置，其特征在于，所述装置还包括设备共用交换模块和备共用传输线缆，所述的设备共用交换模块用于连接多个主机节点上安装的PCIE设备，并对外提供配置管理接口，所述的设备共用传输线缆用于连接设备共用交换模块与设备共用适配模块，提供模块之间的数据传输介质。
3.根据权利要求2所述的使用远程输入输出设备中断映射装置进行远程中断映射的方法，其特征在于，所述的PCIE插槽为支持标准PCIE协议的设备插槽；所述的设备共用传输线缆为铜缆形式或光缆形式。
4.根据权利要求1或2所述的远程输入输出设备中断映射装置，其特征在于，所述远程设备中断映射模块实现跨主机中断映射功能的具体过程为：1)借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；2)远程设备中断映射模块截获中断请求，重定向到远程物理设备；3)远程物理设备根据调用中断请求完成处理操作后，回复消息到发起中断的主机节点应用。
5.一种使用权利要求2所述远程输入输出设备中断映射装置进行远程中断映射的方法，其特征在于，所述方法包括以下步骤：
步骤一、通过主机节点提供的PCIE插槽，将设备共用适配模块安装到各主机节点上，利用设备共用交换模块提供的接口，设备共用传输线缆将各主机节点上的设备共用适配模块连接起来；
步骤二、将设备共用交换模块通电启动；
步骤三、借用侧主机节点的远程设备中断映射模块根据借用关系监听虚拟设备的中断请求；
步骤四、当主机节点应用发起调用虚拟设备功能的中断请求时，远程设备中断映射模块截获中断请求，通过设备共用适配模块将调用中断请求重定向到远程物理设备；
步骤五、远程物理设备根据调用中断请求完成处理操作后，产生的中断回复消息由远程设备中断映射模块处理转换后，返回发起中断的主机节点应用。
6.根据权利要求5所述的使用远程输入输出设备中断映射装置进行远程中断映射的方法，其特征在于，步骤三中的虚拟设备对应借出侧主机节点的PCIE物理实体设备，是借用侧主机节点通过软件模拟的PCIE逻辑设备；借出侧主机节点与借用侧主机节点之间的设备借用功能通过设备驱动模块、设备共用适配模块、设备共用传输线缆、设备共用交换模块以及PCIE协议实现。
7.根据权利要求5所述的使用远程输入输出设备中断映射装置进行远程中断映射的方法，其特征在于，步骤四中的中断请求重定向为远程设备中断映射模块将截获的中断请求转化为借出侧主机节点对应实体设备的中断请求，通过设备共用适配模块将转化的中断请求传输借出侧主机节点，并写入到消息信号中断内存区域。
8.根据权利要求5所述的使用远程输入输出设备中断映射装置进行远程中断映射的方法，其特征在于，步骤五中所述的完成处理操作为借出侧主机节点对应实体设备根据中断请求，完成相应的设备功能；步骤五中的“处理转换”为借出侧主机节点远程设备中断映射模块将实体设备的中断请求转化为借用侧主机节点虚拟设备的中断请求。
9.一种远程输入输出设备中断映射架构，其特征在于，所述架构包括主机节点、权利要求2所述的远程输入输出设备中断映射装置、以及PCIE物理设备；所述的远程输入输出设备中断映射装置中的设备共用适配模块通过标准PCIE插槽安装在主机节点上；所述的远程输入输出设备中断映射装置中的设备交换模块为可选配功能模块，若只连接2个主机节点，选择使用设备共用传输线缆直连，而不经过设备交换模块；所述的远程输入输出设备中断映射装置中的设备驱动模块与程设备中断映射模块，为软件模块，安装运行在主机节点操作系统上；所述的PCIE物理设备安装在主机节点上。
10.根据权利要求9所述的远程输入输出设备中断映射架构，其特征在于，所述的主机节点为X86架构处理器的计算机或ARM架构处理器的计算机，PCIE物理设备为NVME、GPU、NPU或网卡；所述的远程输入输出设备中断映射架构，应用于安装LINUX、WINDOWS、VXWOEKS操作系统的主机节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111206632.XA CN113986457A (zh) | 2021-10-17 | 2021-10-17 | 一种远程输入输出设备中断映射装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111206632.XA CN113986457A (zh) | 2021-10-17 | 2021-10-17 | 一种远程输入输出设备中断映射装置与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113986457A true CN113986457A (zh) | 2022-01-28 |
Family
ID=79738967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111206632.XA Pending CN113986457A (zh) | 2021-10-17 | 2021-10-17 | 一种远程输入输出设备中断映射装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113986457A (zh) |
-
2021
- 2021-10-17 CN CN202111206632.XA patent/CN113986457A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6065085A (en) | Bus bridge architecture for a data processing system capable of sharing processing load among a plurality of devices | |
| US6421742B1 (en) | Method and apparatus for emulating an input/output unit when transferring data over a network | |
| KR101517258B1 (ko) | 크로스-시스템의 프록시-기반 태스크 오프로딩을 위한 장치, 시스템 및 방법 | |
| TWI364663B (en) | Configurable pci express switch and method controlling the same | |
| WO2021244194A1 (zh) | 寄存器的读写方法、芯片、子系统、寄存器组及终端 | |
| CN113296884B (zh) | 虚拟化方法、装置、电子设备、介质及资源虚拟化系统 | |
| CN114546913B (zh) | 一种基于pcie接口的多主机之间数据高速交互的方法和装置 | |
| CN111488308A (zh) | 一种支持不同架构多处理器扩展的系统和方法 | |
| CN106844263B (zh) | 一种基于可配置的多处理器计算机系统及实现方法 | |
| CN107209725A (zh) | 处理写请求的方法、处理器和计算机 | |
| US11029847B2 (en) | Method and system for shared direct access storage | |
| CN115686836A (zh) | 一种安装有加速器的卸载卡 | |
| KR20210000648A (ko) | 복수의 칩 사이의 통신 지원 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
| JP2009282917A (ja) | サーバ間通信機構及びコンピュータシステム | |
| WO2023186143A1 (zh) | 一种数据处理方法、主机及相关设备 | |
| US7200700B2 (en) | Shared-IRQ user defined interrupt signal handling method and system | |
| CN114428757B (zh) | 一种架构可重构的计算装置及其重构方法 | |
| CN113986457A (zh) | 一种远程输入输出设备中断映射装置与方法 | |
| CN216352292U (zh) | 服务器主板及服务器 | |
| CN113392052B (zh) | 一种基于四路服务器的bios系统、方法及计算机可读存储介质 | |
| CN112612741B (zh) | 一种多路服务器 | |
| CN112564924B (zh) | 计算机扩展卡及区块链终端设备 | |
| EP4053709A1 (en) | Multi-chip interconnection system based on pcie bus | |
| US11704146B2 (en) | Network transparency on virtual machines using socket impersonation | |
| US10747615B2 (en) | Method and apparatus for non-volatile memory array improvement using a command aggregation circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province Applicant after: The 716th Research Institute of China Shipbuilding Corp. Address before: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province Applicant before: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp. |