CN107249008A - 一种远端数据直接存取的通道互联装置及方法 - Google Patents

一种远端数据直接存取的通道互联装置及方法 Download PDF

Info

Publication number
CN107249008A
CN107249008A CN201710629048.2A CN201710629048A CN107249008A CN 107249008 A CN107249008 A CN 107249008A CN 201710629048 A CN201710629048 A CN 201710629048A CN 107249008 A CN107249008 A CN 107249008A
Authority
CN
China
Prior art keywords
cpu
upi
message
rdma
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710629048.2A
Other languages
English (en)
Other versions
CN107249008B (zh
Inventor
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710629048.2A priority Critical patent/CN107249008B/zh
Publication of CN107249008A publication Critical patent/CN107249008A/zh
Application granted granted Critical
Publication of CN107249008B publication Critical patent/CN107249008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)

Abstract

一种远端数据直接存取的通道互联装置，用于以UPI报文形式，向远端收发命令和数据；包括超级通道互联转换装置和本地RDMA协议端口；所述超级通道互联转换装置包括UPI接口模块、CPU代理模块、UPI协议和RDMA协议转换模块、RDMA报文缓存模块；还包括一种远端数据直接存取的通道互联方法。本发明的一个实施例实现了本地与远端服务器系统的应用内存数据交换与拷贝。具有传输速度快，实现灵活的优点。

Description

一种远端数据直接存取的通道互联装置及方法
技术领域
本发明涉及数据存取技术领域，具体地说是一种远端数据直接存取的通道互联装置及方法。
背景技术
在构建多路服务器过程中，为了获取远端数据，减少中间环节和CPU操作系统总线的参与，提高系统性能，远端数据直接存取(RDMA)方法应运而生。
UPI总线是Intel新一代的互连总线，具备较高的传输速度和最高近百GB的吞吐率。
如何结合RDMA总线和UPI总线的处理能力，使得本地CPU快速获得远端数据是急需解决的问题。
发明内容
本发明的目的在于一种远端数据直接存取的通道互联装置及方法，用于解决本地CPU如何快速获得远端数据的问题。
本发明解决其技术问题所采取的技术方案是：一种远端数据直接存取的通道互联装置，用于以UPI报文形式，向远端收发命令和数据；包括超级通道互联转换装置和本地RDMA协议端口；所述超级通道互联转换装置包括UPI接口模块、CPU代理模块、UPI协议和RDMA协议转换模块、RDMA报文缓存模块；所述UPI接口模块的一端与UPI总线相连，UPI接口模块的另一端与CPU代理模块的一端相连，CPU代理模块的另一端与UPI协议和RDMA协议转换模块的一端相连，UPI协议和RDMA协议转换模块的另一端与RDMA报文缓存模块的一端相连，RDMA报文缓存模块的另一端与本地RDMA协议端口相连，本地RDMA协议端口通过外部RDMA协议端口与远端相连。
进一步地，所述的CPU代理模块用于协议处理，包括CPU上行代理模块和CPU下行代理模块；所述CPU上行代理模块负责对于远端读写操作请求的处理，所述CPU下行代理模块负责对于本地CPU发起的读写配置命令请求的处理。
进一步地，所述的UPI协议和RDMA协议转换模块用于负责两种协议报文的类型和封装形式的转换；所述两种协议报文为：UPI报文和RDMA报文；所述RDMA报文缓存模块用于缓存本地RDMA端口的接收和待发送报文。
进一步地，任意相互连接的两个模块之间均采用信用流控机制，设定信用值。
进一步地，还包括表项记录表，用于记录CPU上行代理模块和CPU下行代理模块的配置命令中响应报文可用的内存空间起始地址、请求报文消息ID号、报文的特征信息。
一种远端数据直接存取的通道互联方法，利用所述的装置，包括以下步骤：
本地CPU通过UPI接口模块发起非一致性拷贝远端数据读请求命令到UPI接口模块；
UPI接口模块将接收到的报文调度至CPU下行代理模块进行解包处理，CPU下行代理模块发送至UPI协议与RDMA协议转换模块；UPI协议与RDMA协议转换模块将接收到的信息转换为符合RDMA协议的消息报文；
UPI协议与RDMA协议转换模块通过本地RDMA协议端口将符合RDMA协议的消息报文发送至远端；
远端通过UPI协议与RDMA协议转换模块将响应报文返回需要拷贝的远端数据所需用的地址空间至CPU上行代理模块；
CPU上行代理模块查询响应报文的特征信息，记录响应报文的容量信息，并产生新的符合UPI协议的响应报文并发送至UPI接口模块；
CPU收到UPI接口模块的响应报文后，在CPU内部分配地址空间，并将该响应报文以UPI报文的形式发送至UPI接口模块；
CPU下行代理模块将接收远端数据的消息报文发送至UPI协议与RDMA协议转换模块，将本地CPU配置命令响应报文发送至UPI接口模块，远端RDMA接口模块收到许可传送数据信息的消息，开始向本地RDMA接口发送数据信息；
远端RDMA端口的数据信息通过UPI协议与RDMA协议转换模块，发送至CPU上行模块；
CPU上行代理模块插入每笔数据需要发往的目的地址，并生成UPI报文，写入CPU本地内存，直至所有远端数据拷贝完成。
进一步地，在CPU下行代理模块将报文发送至UPI协议与RDMA协议转换模块的同时，还需要将报文中的特征信息写入表项记录表中，并为该请求报文分配消息ID；
所述CPU上行代理模块查询响应报文的特征信息、记录响应报文的容量信息、产生新的符合UPI协议的响应报文是根据响应报文的消息ID；
CPU下行代理模块将本地CPU配置命令响应报文发送至UPI接口模块的同时，还在表项记录表中记录CPU地址空间的起始地址信息；
CPU上行代理模块插入每笔数据需要发往的目的地址需按照表项记录表中的起始地址信息和容量信息。
进一步地，为请求报文分配消息ID具体为：报文的消息ID与存储报文特征信息的存储区的ID相同。
进一步地，CPU下行代理模块进行解包处理的方式由Intel UPI报文规则确定，具体包括：将报文解包为报文头信息和数据信息；所述的报文头信息包括但不限于报文命令类型、操作码、地址、源ID、目的ID、传输ID、校验码；所述特征信息为具有区别特征点的报文头信息。
进一步地，在远端数据拷贝完成后还可以包括CPU上行代理模块清除表项记录表中的表项信息，产生一笔完成报文并通知CPU，该笔报文是向某个约定的CPU地址发送写完成标志。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
通过利用CPU的UPI超级互联通道的高速传输能力，直接以UPI报文形式，向远端收发命令和数据，经过UPI协议和RDMA协议转换模块和远端数据直接存取RDMA协议，实现了本地与远端服务器系统的应用内存数据交换与拷贝。具有传输速度快，实现灵活的优点。
附图说明
图1为本发明实施例的模块连接示意图；
图2为本发明实施例的方法流程示意图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
本发明可适用于各种类型的CPU，如：X86架构的CPU。
一种远端数据直接存取的通道互联装置，用于以UPI报文形式，向远端收发命令和数据。
本地CPU存放远端的数据的地址空间，需要设置在本地CPU内部，也就是远端来的数据最终的目的存储地址都在本地CPU内存内部。
如图1所示，包括超级通道互联转换装置和本地RDMA协议端口；超级通道互联转换装置包括UPI接口模块、CPU代理模块、UPI协议和RDMA协议转换模块、RDMA报文缓存模块；UPI接口模块的一端与UPI总线相连，UPI接口模块的另一端与CPU代理模块的一端相连，CPU代理模块的另一端与UPI协议和RDMA协议转换模块的一端相连，UPI协议和RDMA协议转换模块的另一端与RDMA报文缓存模块的一端相连，RDMA报文缓存模块的另一端与本地RDMA协议端口相连，本地RDMA协议端口通过外部RDMA协议端口与远端相连。
CPU代理模块用于协议处理，包括CPU上行代理模块和CPU下行代理模块；CPU上行代理模块负责对于远端读写操作请求的处理，CPU下行代理模块负责对于本地CPU发起的读写配置命令请求的处理。
UPI协议和RDMA协议转换模块用于负责两种协议报文的类型和封装形式的转换；两种协议报文为：UPI报文和RDMA报文。转换识别处理速度需要匹配RDMA接口和UPI接口的吞吐率，也可以通过设置缓存和基于信用控制的流控机制的方式做到速率平衡匹配。
RDMA报文缓存模块用于缓存本地RDMA端口的接收和待发送报文。
任意相互连接的两个模块之间均采用信用流控机制，设定信用值，可以防止中间过程的报文溢出丢失。
本发明的装置实施例还可以包括表项记录表，用于记录CPU上行代理模块和CPU下行代理模块的配置命令中响应报文可用的内存空间起始地址、请求报文消息ID号、报文的特征信息。
表项记录表实为存储装置，也可以用存储器替代。
如图2所示，一种远端数据直接存取的通道互联方法，包括以下步骤：
本地CPU通过UPI接口模块发起非一致性拷贝远端数据读请求命令到UPI接口模块；
UPI接口模块将接收到的报文调度至CPU下行代理模块进行解包处理，CPU下行代理模块发送至UPI协议与RDMA协议转换模块；UPI协议与RDMA协议转换模块将接收到的信息转换为符合RDMA协议的消息报文；
UPI协议与RDMA协议转换模块通过本地RDMA协议端口将符合RDMA协议的消息报文发送至远端；
远端通过UPI协议与RDMA协议转换模块将响应报文返回需要拷贝的远端数据所需用的地址空间至CPU上行代理模块；
CPU上行代理模块查询响应报文的特征信息，记录响应报文的容量信息，并产生新的符合UPI协议的响应报文并发送至UPI接口模块；
CPU收到UPI接口模块的响应报文后，在CPU内部分配地址空间，并将该响应报文以UPI报文的形式发送至UPI接口模块；
CPU下行代理模块将接收远端数据的消息报文发送至UPI协议与RDMA协议转换模块，将本地CPU配置命令响应报文发送至UPI接口模块，远端RDMA接口模块收到许可传送数据信息的消息，开始向本地RDMA接口发送数据信息；
远端RDMA端口的数据信息通过UPI协议与RDMA协议转换模块，发送至CPU上行模块；
CPU上行代理模块插入每笔数据需要发往的目的地址，并生成UPI报文，写入CPU本地内存，直至所有远端数据拷贝完成。
在CPU下行代理模块将报文发送至UPI协议与RDMA协议转换模块的同时，还需要将报文中的特征信息写入表项记录表中，并为该请求报文分配消息ID。
CPU下行代理模块进行解包处理的方式由Intel UPI报文规则确定，具体包括：将报文解包为报文头信息和数据信息；报文头信息包括但不限于报文命令类型、操作码、地址、源ID、目的ID、传输ID、校验码；特征信息为具有区别特征点的报文头信息。
为请求报文分配消息ID具体为：报文的消息ID与存储报文特征信息的存储区的ID相同。
CPU上行代理模块查询响应报文的特征信息、记录响应报文的容量信息、产生新的符合UPI协议的响应报文是根据响应报文的消息ID；
CPU下行代理模块将本地CPU配置命令响应报文发送至UPI接口模块的同时，还在表项记录表中记录CPU地址空间的起始地址信息；
CPU上行代理模块插入每笔数据需要发往的目的地址需按照表项记录表中的起始地址信息和容量信息。
当远端数据拷贝全部完成时，CPU上行代理模块需要清除表项信息，并产生一笔完成报文通知CPU，该笔报文可以是向某个约定的CPU地址发送写完成标志。
以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (10)

1.一种远端数据直接存取的通道互联装置，其特征是，用于以UPI报文形式，向远端收发命令和数据；包括超级通道互联转换装置和本地RDMA协议端口；所述超级通道互联转换装置包括UPI接口模块、CPU代理模块、UPI协议和RDMA协议转换模块、RDMA报文缓存模块；所述UPI接口模块的一端与UPI总线相连，UPI接口模块的另一端与CPU代理模块的一端相连，CPU代理模块的另一端与UPI协议和RDMA协议转换模块的一端相连，UPI协议和RDMA协议转换模块的另一端与RDMA报文缓存模块的一端相连，RDMA报文缓存模块的另一端与本地RDMA协议端口相连，本地RDMA协议端口通过外部RDMA协议端口与远端相连。
2.根据权利要求1所述的一种装置，其特征是，所述的CPU代理模块用于协议处理，包括CPU上行代理模块和CPU下行代理模块；所述CPU上行代理模块负责对于远端读写操作请求的处理，所述CPU下行代理模块负责对于本地CPU发起的读写配置命令请求的处理。
3.根据权利要求1所述的一种装置，其特征是，所述的UPI协议和RDMA协议转换模块用于负责两种协议报文的类型和封装形式的转换；所述两种协议报文为：UPI报文和RDMA报文；所述RDMA报文缓存模块用于缓存本地RDMA端口的接收和待发送报文。
4.根据权利要求1所述的一种装置，其特征是，任意相互连接的两个模块之间均采用信用流控机制，设定信用值。
5.根据权利要求1所述的一种装置，其特征是，还包括表项记录表，用于记录CPU上行代理模块和CPU下行代理模块的配置命令中响应报文可用的内存空间起始地址、请求报文消息ID号、报文的特征信息。
6.一种远端数据直接存取的通道互联方法，利用权利要求1-5任意一项所述的装置，其特征是，包括以下步骤：
本地CPU通过UPI接口模块发起非一致性拷贝远端数据读请求命令到UPI接口模块；
UPI接口模块将接收到的报文调度至CPU下行代理模块进行解包处理，CPU下行代理模块发送至UPI协议与RDMA协议转换模块；UPI协议与RDMA协议转换模块将接收到的信息转换为符合RDMA协议的消息报文；
UPI协议与RDMA协议转换模块通过本地RDMA协议端口将符合RDMA协议的消息报文发送至远端；
远端通过UPI协议与RDMA协议转换模块将响应报文返回需要拷贝的远端数据所需用的地址空间至CPU上行代理模块；
CPU上行代理模块查询响应报文的特征信息，记录响应报文的容量信息，并产生新的符合UPI协议的响应报文并发送至UPI接口模块；
CPU收到UPI接口模块的响应报文后，在CPU内部分配地址空间，并将该响应报文以UPI报文的形式发送至UPI接口模块；
CPU下行代理模块将接收远端数据的消息报文发送至UPI协议与RDMA协议转换模块，将本地CPU配置命令响应报文发送至UPI接口模块，远端RDMA接口模块收到许可传送数据信息的消息，开始向本地RDMA接口发送数据信息；
远端RDMA端口的数据信息通过UPI协议与RDMA协议转换模块，发送至CPU上行模块；
CPU上行代理模块插入每笔数据需要发往的目的地址，并生成UPI报文，写入CPU本地内存，直至所有远端数据拷贝完成。
7.根据权利要求6所述的方法，其特征是，在CPU下行代理模块将报文发送至UPI协议与RDMA协议转换模块的同时，还需要将报文中的特征信息写入表项记录表中，并为该请求报文分配消息ID；
所述CPU上行代理模块查询响应报文的特征信息、记录响应报文的容量信息、产生新的符合UPI协议的响应报文是根据响应报文的消息ID；
CPU下行代理模块将本地CPU配置命令响应报文发送至UPI接口模块的同时，还在表项记录表中记录CPU地址空间的起始地址信息；
CPU上行代理模块插入每笔数据需要发往的目的地址需按照表项记录表中的起始地址信息和容量信息。
8.根据权利要求7所述的方法，其特征是，为请求报文分配消息ID具体为：报文的消息ID与存储报文特征信息的存储区的ID相同。
9.根据权利要求6所述的方法，其特征是，CPU下行代理模块进行解包处理的方式由Intel UPI报文规则确定，具体包括：将报文解包为报文头信息和数据信息；所述的报文头信息包括但不限于报文命令类型、操作码、地址、源ID、目的ID、传输ID、校验码；所述特征信息为具有区别特征点的报文头信息。
10.根据权利要求6所述的方法，其特征是，在远端数据拷贝完成后还可以包括CPU上行代理模块清除表项记录表中的表项信息，产生一笔完成报文并通知CPU，该笔报文是向某个约定的CPU地址发送写完成标志。
CN201710629048.2A 2017-07-28 2017-07-28 一种远端数据直接存取的通道互联装置及方法 Active CN107249008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710629048.2A CN107249008B (zh) 2017-07-28 2017-07-28 一种远端数据直接存取的通道互联装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710629048.2A CN107249008B (zh) 2017-07-28 2017-07-28 一种远端数据直接存取的通道互联装置及方法

Publications (2)

Publication Number Publication Date
CN107249008A true CN107249008A (zh) 2017-10-13
CN107249008B CN107249008B (zh) 2020-09-22

Family

ID=60011997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710629048.2A Active CN107249008B (zh) 2017-07-28 2017-07-28 一种远端数据直接存取的通道互联装置及方法

Country Status (1)

Country Link
CN (1) CN107249008B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756464A (zh) * 2017-11-07 2019-05-14 阿里巴巴集团控股有限公司 一种通信方法及服务器、客户端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120311246A1 (en) * 2007-05-30 2012-12-06 Mcwilliams Thomas M System Including a Fine-Grained Memory and a Less-Fine-Grained Memory
CN105045729A (zh) * 2015-09-08 2015-11-11 浪潮(北京)电子信息产业有限公司 一种远端代理带目录的缓存一致性处理方法与系统
CN105450588A (zh) * 2014-07-31 2016-03-30 华为技术有限公司 一种基于rdma的数据传输方法及rdma网卡
CN105721622A (zh) * 2016-01-21 2016-06-29 重庆邮电大学 一种实现6LoWPAN与IPv4网络互联的方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120311246A1 (en) * 2007-05-30 2012-12-06 Mcwilliams Thomas M System Including a Fine-Grained Memory and a Less-Fine-Grained Memory
CN105450588A (zh) * 2014-07-31 2016-03-30 华为技术有限公司 一种基于rdma的数据传输方法及rdma网卡
CN105045729A (zh) * 2015-09-08 2015-11-11 浪潮(北京)电子信息产业有限公司 一种远端代理带目录的缓存一致性处理方法与系统
CN105721622A (zh) * 2016-01-21 2016-06-29 重庆邮电大学 一种实现6LoWPAN与IPv4网络互联的方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756464A (zh) * 2017-11-07 2019-05-14 阿里巴巴集团控股有限公司 一种通信方法及服务器、客户端
CN109756464B (zh) * 2017-11-07 2021-12-03 阿里巴巴集团控股有限公司 一种通信方法及服务器、客户端

Also Published As

Publication number Publication date
CN107249008B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN102984123B (zh) 使用多个消息组的计算机系统中的代理之间的通信消息请求事务类型
CN109564545B (zh) 用于压缩地址的方法和设备
CN103902486B (zh) 一种远端直接内存访问实现方法、装置及系统
US7606933B2 (en) Shared memory and high performance communication using interconnect tunneling
TWI718969B (zh) 記憶體裝置、記憶體定址方法與包括非暫時性儲存媒體的物品
CN107153624A (zh) 经由计算机总线对持久性存储器的控制
US9015380B2 (en) Exchanging message data in a distributed computer system
CN101877666B (zh) 基于零拷贝方式的多应用程序报文接收方法和装置
CN103703441A (zh) 一种硬盘和数据处理方法
CN115905061B (zh) 数据搬运装置、dma装置、电子设备及数据搬运方法
CN109117386A (zh) 一种网络远程读写二级存储的系统及方法
CN104317716B (zh) 分布式节点间的数据传输方法及分布式节点设备
CN101194242A (zh) 存储器控制器和用于连接网络和存储器的方法
CN111078597B (zh) 一种中断消息生成装置、方法以及端设备
CN107430584A (zh) 经由具有完全连接网格拓扑的pci express结构从存储读取数据
CN107249008A (zh) 一种远端数据直接存取的通道互联装置及方法
CN111221757B (zh) 一种低延迟pcie dma数据传输方法及控制器
CN107533526A (zh) 经由具有完全连接网格拓扑的pci express结构向存储写入数据
CN107958438A (zh) 一种OpenGL新建显示列表电路
CN107783927A (zh) 用于连接axi接口和dma接口的电路转换系统及方法
CN106919516A (zh) Ddr地址映射系统和方法
CN107861895A (zh) 基于分布式仲裁的可编程输入输出pio写合并装置和方法
CN106325377B (zh) 外部设备扩展卡及输入输出外部设备的数据处理方法
JP6534851B2 (ja) インタフェースユニット
CN103995786B (zh) 高速缓存一致性消息的传输方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200825

Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province

Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601

Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant