CN104618191B - 一种主机与裸存储块之间的通信故障检测方法和装置 - Google Patents
一种主机与裸存储块之间的通信故障检测方法和装置 Download PDFInfo
- Publication number
- CN104618191B CN104618191B CN201510072213.XA CN201510072213A CN104618191B CN 104618191 B CN104618191 B CN 104618191B CN 201510072213 A CN201510072213 A CN 201510072213A CN 104618191 B CN104618191 B CN 104618191B
- Authority
- CN
- China
- Prior art keywords
- host
- naked
- block
- memory block
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种主机与裸存储块之间的通信故障检测方法和装置。主机挂载所述裸存储块,该方法包括:将所述裸存储块与检测块相关联,使得当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问;主机通过共享文件系统挂载所述检测块,定时向所述检测块写入该主机对应的时间戳文件;读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。应用本发明实施例能够检测出主机与裸存储块之间是否存在通信故障。
Description
技术领域
本发明涉及通信技术领域,特别是涉及一种主机与裸存储块之间的通信故障检测方法和装置。
背景技术
目前,存储服务器主要通过基于IP网络的小型计算机系统接口(interface SmallComputer System Interface,iSCSI)协议对外提供共享存储服务,实现在IP网络上的主机和存储设备之间进行大量数据的封装和可靠传输。
通过iSCSI协议对外提供共享存储服务的一种方式是,在基于iSCSI协议的存储设备上创建很多个裸存储块,不同的裸存储块分配给不同的主机,各主机分别管理和访问自己的裸存储块。其中,主机挂载所述裸存储块,并且主机上不加载任何文件系统,因此,相当于将多个主机的本地磁盘集中放置在一个网络化的设备中,各主机之间仅实现硬件设备层的共享。
在云计算虚拟化管理平台中,各个服务器是以集群方式进行管理的,在服务器上创建虚拟机并以集群方式对所述虚拟机进行管理和监控。在集群启用高可用性(HA)的情况下,一旦某台主机或主机上的虚拟机发生故障,需要立即在集群内另一台主机上重启所有受影响的虚拟机。因此,在集群启用HA的情况下,如果由于主机故障、或主机与存储设备之间的连接断开等原因,导致主机与存储设备之间出现了通信故障,需要及时检测出这种通信故障,以便重启受影响的虚拟机。
然而,当存储设备以裸存储块的方式提供共享存储服务时,目前还无法检测出主机与裸存储块之间是否存在通信故障。
发明内容
有鉴于此,本发明提出了一种主机与裸存储块之间的通信故障检测方法和装置,能够检测出主机与裸存储块之间是否存在通信故障。
本发明提出的技术方案是:
一种主机与裸存储块之间的通信故障检测方法,主机挂载所述裸存储块,该方法包括:
将所述裸存储块与检测块相关联,使得当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问;
主机通过共享文件系统挂载所述检测块,定时向所述检测块写入该主机对应的时间戳文件;
读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
一种主机与裸存储块之间的通信故障检测装置,该装置位于主机中,包括存储块挂载模块、时间戳写入模块和故障检测模块;
所述存储块挂载模块,用于挂载裸存储块,并通过共享文件系统挂载检测块,其中,所述检测块与所述裸存储块关联,当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问;
所述时间戳写入模块,用于定时向所述检测块写入该主机对应的时间戳文件;
所述故障检测模块,用于读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
由上述技术方案可见,本发明实施例中,将主机挂载的裸存储块与检测块相关联,使得当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问,主机通过共享文件系统挂载所述检测块,定时向所述检测块写入该主机对应的时间戳文件,读取所述检测块中的时间戳文件,当时间戳文件更新不及时时,可以判定所述时间戳文件对应的主机与所述检测块之间存在通信故障,由于主机挂载的裸存储块和检测块是关联的,当主机由于通信故障无法访问检测块时,该主机也必然无法访问自身挂载的裸存储块,因此,可以判定所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间存在通信故障。
可见,本发明实施例将裸存储块与检测块相关联,使得当检测块无法访问时,裸存储块也无法访问,并采用共享文件系统挂载所述检测块,通过判断主机是否能够正常访问检测块,能够判断出主机是否能够正常访问自身挂载的裸存储块,因此能够检测出主机与裸存储块之间是否存在通信故障。
附图说明
图1是本发明实施例提供的主机与裸存储块之间的通信故障检测方法流程图。
图2是本发明实施例提供的图1所示方法的应用示意图。
图3是本发明实施例提供的主机的硬件结构连接图。
图4是本发明实施例提供的主机与裸存储块之间的通信故障检测装置结构示意图。
具体实施方式
通过iSCSI协议对外提供共享存储服务的另一种方式是,通过共享文件系统实现存储设备的共享。在这种方式下,在存储设备上划分出多个存储块,并且,在所有需要数据共享的主机上安装分布式共享文件系统,主机通过所述共享文件系统挂载所述存储块,以便通过共享文件系统来保证多个主机能够对同一个存储块进行访问,并且不会引起数据冲突。因此,在这种方式下,多个存储块能够被多台主机同时访问,且不会因为并发访问而导致存储数据被破坏,比如,存储块1、存储块2和存储块3可以都挂载到主机1、主机2和主机3上,主机1、主机2和主机3可以同时对存储块1、或同时对存储块2、或同时对存储块3进行访问。
当通过共享文件系统的方式实现存储设备的共享时,能够通过所述共享文件系统,采用文件读写检测故障的方式,检测出主机与存储设备之间是否存在通信故障。具体地,每个主机在共享存储设备上创建一个小文件,并定时写入主机信息和写入该主机信息时的时刻信息,如果读写该文件都正常,则说明主机与共享存储设备连接正常,反之,如果无法进行正常的文件读写,说明主机与存储设备之间存在通信故障,比如,主机与存储设备的连接发生故障、或者主机本身发生故障。
然而,当存储设备以裸存储块的方式挂载到主机上时,由于主机没有通过共享文件系统方式挂载该裸存储块,因此主机无法向所述裸存储块写文件,也无法从所述裸存储块中读取文件,因而也就无法检测出主机与该裸存储块之间是否存在通信故障。
基于上述分析,本发明实施例提供了一种主机与裸存储块之间的通信故障检测方法和装置,能够检测出主机与裸存储块之间是否存在通信故障。
图1是本发明实施例提供的主机与裸存储块之间的通信故障检测方法流程图。
如图1所示,该流程包括:
步骤101,将所述裸存储块与检测块相关联,使得当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问。
本步骤可以在配置网络环境时完成,用于保证当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问。
步骤102,主机通过共享文件系统挂载所述检测块,定时向所述检测块写入该主机对应的时间戳文件。
步骤103,读取所述检测块中的时间戳文件,当时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
可见,图1所示方法通过将裸存储块与检测块相关联,使得当检测块无法访问时,裸存储块也无法访问,借助所述检测块来检测主机与裸存储块之间是否存在通信故障。
具体地,主机采用共享文件系统挂载所述检测块,通过判断主机是否能够正常访问检测块,能够判断出主机是否能够正常访问自身挂载的裸存储块,因此能够检测出主机与裸存储块之间是否存在通信故障。
其中,裸存储块和检测块之间的关联关系可以在布置网络环境时进行配置。
裸存储块与检测块之间可以是一对一的关系,即每个裸存储块分别关联一个检测块,也可以多对一的关系,即多个裸存储块关联共同的一个检测块。
将裸存储块与检测块相关联的一种方式是,在所述裸存储块所在的物理存储设备上划分检测块,换言之,裸存储块和该裸存储块关联的检测块在同一个物理存储设备上,因此一旦检测块无法访问,则该裸存储块也必然无法访问,进而能够通过主机与所述检测块之间的通信情况,检测出主机与所述裸存储块之间的通信是否出现了故障。
本发明实施例还提供了将裸存储块与检测块相关联的另一种方式,在该另一种方式下,与该检测块相关联的裸存储块的个数为多个,并且,该多个裸存储块中可以有部分裸存储块与所述检测块不在同一个物理存储设备上。
具体地,当采用存储服务器集群提供共享存储服务时,可以将检测块建立在存储服务器集群的中心节点上,该检测块关联存储服务器集群中其他所有的裸存储块。
其中,由于所述检测块位于用于作为存储服务器集群中心节点的物理存储设备上,因此,一旦检测块无法访问,则说明作为存储服务器集群中心节点的物理存储设备无法访问,因此该存储服务器集群中的其他所有裸存储块也无法访问。
其中,由于所述检测块仅用于检测主机与检测块之间的通信是否正常,因此,检测块中可以仅保存有主机对应的时间戳文件,而不必保存其他文件。因此,检测块的容量也可以设置的比较小,比如只有128M。
在检测出主机与关联的裸存储块的通信出现故障之后,还可以将所述主机上的挂载了所述关联的裸存储块的虚拟机迁移到根据预设原则确定出的目的主机上,并将所述关联的裸存储块重新挂载到迁移到所述目的主机的所述虚拟机上,从而实现虚拟机集群的高可用性。
其中,关于所述目的主机的确定方式,本发明实施例不作具体限定。比如,当主机A和主机B都检测出主机C与该主机C挂载的裸存储块出现故障时,主机A和主机B可以将检测结果上报给中心管理平台,由该中心管理平台确定将主机C上的虚拟机迁移到哪一台主机上;再比如,如果主机A是主用主机(master),主机B是备用主机,并且主机A和主机B都检测出主机C与该主机C挂载的裸存储块出现故障,则由主机A即主用主机确定将主机C上的虚拟机迁移到哪一台主机上。
可见,当主机以裸存储块方式、而非通过共享文件系统挂载共享存储设备时,主机无法对所挂载的裸存储块进行文件读写,进而无法通过对所述裸存储块进行文件读写的方式来检测主机与存储设备之间的通信故障。本发明实施例创建单独的检测块,使该检测块与被测裸存储块相关联,确保当检测块无法访问时,相关联的裸存储块也无法访问,通过采用共享文件系统挂载该单独的检测块,对该单独的检测块进行通信故障检测,利用对该检测块的通信故障检测结果来实现对检测块所关联的裸存储块的通信故障检测。
具体地,本发明实施例中,可以对于每个裸存储块,都创建一个关联的检测块,也可以针对多个裸存储块,创建一个共享的关联检测块,其中,在创建检测块时,应保证当主机与裸存储块之间的通信出现故障时,与该裸存储块关联的检测块和该主机之间的通信也一定是故障的。
集群内所有主机通过共享文件系统方式挂载检测块,定时向检测块内写入主机对应的时间戳文件。每个主机检测所述检测块上的时间戳文件是否定时更新,当时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块的通信出现故障。
进一步地,当通过关联检测块的方式检测到所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间存在通信故障时,如果该对应的主机上的虚拟机挂载了所述裸存储块,则将该对应的主机挂载的裸存储块所在的虚拟机迁移到根据预设原则确定出的目的主机上,并将该对应的主机挂载的裸存储块重新挂载到迁移到所述目的主机的所述虚拟机上。
检测块只需要保存主机的时间戳文件,优选地,除了所述时间戳文件以外,所述检测块中不保存虚拟机的镜像文件或其他任何东西。因此,检测块的容量一般比较小,例如最大只有128M的存储空间。
图2是本发明实施例提供的图1所示方法的应用示意图。
如图2所示,存储设备通过iSCSI协议与集群内的主机进行通信,主机1~3分别通过裸块方式挂载存储设备的存储块LUN1~LUN3,同时在存储设备上再划分出一块检测块,记为检测块LUN,该检测LUN关联存储块LUN1~LUN3,集群内主机通过共享文件系统方式挂载该检测块LUN。主机1创建虚拟机VM1,并通过裸块方式使用存储块LUN1。当主机2通过读取时间戳文件发现主机1的时间戳文件未能及时更新,则主机2检测到由于主机1故障或者与主机1与检测LUN的连接故障等原因,造成主机1与检测块LUN之间存在通信故障,由于检测块LUN与存储块LUN1是相互关联的,因此,能够确定VM1与存储块LUN1之间也出现了通信故障,因此,主机2将虚拟机VM1迁移到该主机2上,并且主机2上的虚拟机VM1挂载该存储块LUN1。
针对上述方法,本发明实施例还公开了一种主机。
图3是本发明实施例提供的主机的硬件结构连接图。
如图3所示,该主机包括处理器、网络接口、内存和非易失性存储器,且上述各硬件通过总线连接,其中:
非易失性存储器,用于存储指令代码;所述指令代码被处理器执行时完成的操作主要为内存中的通信故障检测装置完成的功能。
处理器,用于与非易失性存储器通信,读取和执行非易失性存储器中存储的所述指令代码,完成上述通信故障检测装置完成的功能。
内存,当非易失性存储器中的所述指令代码被执行时完成的操作主要为内存中的通信故障检测装置完成的功能。
从软件层面而言,应用于主机的通信故障检测装置如图4所示。
图4是本发明实施例提供的主机与裸存储块之间的通信故障检测装置结构示意图。
如图4所示,该装置包括存储块挂载模块401、时间戳写入模块402和故障检测模块403。
存储块挂载模块401,用于挂载裸存储块,并通过共享文件系统挂载检测块,其中,所述检测块与所述裸存储块关联,当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问。
时间戳写入模块402,用于定时向所述检测块写入该主机对应的时间戳文件。
故障检测模块403,用于读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
其中,所述检测块可以位于裸存储块所在的物理存储设备上,从而所述检测块与该物理存储设备上的裸存储块关联。
或者,所述检测块在用于作为存储服务器集群中心节点的存储设备上,所述检测块与所述存储服务器集群中的裸存储块相关联。
所述装置还可以包括故障恢复模块。
所述故障恢复模块,用于将该对应的主机挂载的裸存储块所在的虚拟机迁移到根据预设原则确定出的目的主机上,并将该对应的主机挂载的裸存储块重新挂载到迁移到所述目的主机的所述虚拟机上。
所述检测块中可以仅保存有所述时间戳文件。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种主机与裸存储块之间的通信故障检测方法,其特征在于,主机挂载所述裸存储块,该方法包括:
将所述裸存储块与检测块相关联,使得当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问;
主机通过共享文件系统挂载所述检测块,定时向所述检测块写入该主机对应的时间戳文件;
读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
2.根据权利要求1所述的方法,其特征在于,将所述裸存储块与检测块相关联包括:
在所述裸存储块所在的物理存储设备上,划分出检测块。
3.根据权利要求1所述的方法,其特征在于,将所述裸存储块与检测块相关联包括:
在用于作为存储服务器集群中心节点的存储设备上划分出检测块,所述检测块与所述存储服务器集群中的裸存储块相关联。
4.根据权利要求1所述的方法,其特征在于,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障之后,该方法还包括:
将该对应的主机挂载的裸存储块所在的虚拟机迁移到根据预设原则确定出的目的主机上,并将该对应的主机挂载的裸存储块重新挂载到迁移到所述目的主机的所述虚拟机上;
其中,该对应的主机挂载的裸存储块所在的虚拟机为该对应的主机上的虚拟机;所述目的主机的所述虚拟机为该对应的主机挂载的裸存储块所在的虚拟机迁移到所述目的主机上的虚拟机。
5.根据权利要求1所述的方法,其特征在于,所述检测块中仅保存有所述时间戳文件。
6.一种主机与裸存储块之间的通信故障检测装置,其特征在于,该装置位于主机中,包括存储块挂载模块、时间戳写入模块和故障检测模块;
所述存储块挂载模块,用于挂载裸存储块,并通过共享文件系统挂载检测块,其中,所述检测块与所述裸存储块关联,当所述检测块无法访问时,与所述检测块关联的裸存储块也无法访问;
所述时间戳写入模块,用于定时向所述检测块写入该主机对应的时间戳文件;
所述故障检测模块,用于读取所述检测块中的时间戳文件,当所述时间戳文件更新不及时时,判定与所述时间戳文件对应的主机与该对应的主机挂载的裸存储块之间出现通信故障。
7.根据权利要求6所述的装置,其特征在于,
所述检测块在所述裸存储块所在的物理存储设备上。
8.根据权利要求6所述的装置,其特征在于,
所述检测块在用于作为存储服务器集群中心节点的存储设备上,所述检测块与所述存储服务器集群中的裸存储块相关联。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括故障恢复模块;
所述故障恢复模块,用于将该对应的主机挂载的裸存储块所在的虚拟机迁移到根据预设原则确定出的目的主机上,并将该对应的主机挂载的裸存储块重新挂载到迁移到所述目的主机的所述虚拟机上;其中,该对应的主机挂载的裸存储块所在的虚拟机为该对应的主机上的虚拟机;所述目的主机的所述虚拟机为该对应的主机挂载的裸存储块所在的虚拟机迁移到所述目的主机上的虚拟机。
10.根据权利要求6所述的装置,其特征在于,
所述检测块中仅保存有所述时间戳文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510072213.XA CN104618191B (zh) | 2015-02-11 | 2015-02-11 | 一种主机与裸存储块之间的通信故障检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510072213.XA CN104618191B (zh) | 2015-02-11 | 2015-02-11 | 一种主机与裸存储块之间的通信故障检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104618191A CN104618191A (zh) | 2015-05-13 |
CN104618191B true CN104618191B (zh) | 2018-05-11 |
Family
ID=53152482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510072213.XA Active CN104618191B (zh) | 2015-02-11 | 2015-02-11 | 一种主机与裸存储块之间的通信故障检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104618191B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603325A (zh) * | 2016-10-25 | 2017-04-26 | 上海斐讯数据通信技术有限公司 | 一种控制客户端挂载网络文件服务器的方法与系统 |
CN107688484A (zh) * | 2017-09-06 | 2018-02-13 | 郑州云海信息技术有限公司 | 一种虚拟机迁移的方法及系统 |
CN107769996B (zh) * | 2017-10-24 | 2021-02-09 | 新华三云计算技术有限公司 | 一种服务端工作状态检测方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179432A (zh) * | 2007-12-13 | 2008-05-14 | 浪潮电子信息产业股份有限公司 | 一种多机环境中实现系统高可用的方法 |
CN102819465A (zh) * | 2012-06-29 | 2012-12-12 | 华中科技大学 | 一种虚拟化环境中故障恢复的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203443A (ja) * | 2011-03-23 | 2012-10-22 | Toshiba Corp | メモリシステムおよびメモリシステムの制御方法 |
-
2015
- 2015-02-11 CN CN201510072213.XA patent/CN104618191B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179432A (zh) * | 2007-12-13 | 2008-05-14 | 浪潮电子信息产业股份有限公司 | 一种多机环境中实现系统高可用的方法 |
CN102819465A (zh) * | 2012-06-29 | 2012-12-12 | 华中科技大学 | 一种虚拟化环境中故障恢复的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104618191A (zh) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9575789B1 (en) | Systems and methods for enabling migratory virtual machines to expedite access to resources | |
US8856585B2 (en) | Hardware failure mitigation | |
CN104412228A (zh) | 动态迁移协议和群集服务器故障转移协议 | |
CN102223394A (zh) | 远程直接存储设备访问 | |
US9336050B2 (en) | Server device, log transferring method, and log transferring system | |
WO2016127600A1 (zh) | 异常处理方法及装置 | |
CN104618191B (zh) | 一种主机与裸存储块之间的通信故障检测方法和装置 | |
CN104750428A (zh) | 块储存存取和网关模块、储存系统和方法与内容递送装置 | |
CN103729237A (zh) | 一种跨存储池迁移虚拟机的方法 | |
CN107533602B (zh) | 计算设备及其方法,以及计算系统 | |
CN108255579A (zh) | 一种基于kvm平台的虚拟机管理方法及装置 | |
US20180157605A1 (en) | Configuration of a memory controller for copy-on-write | |
CN107145399B (zh) | 一种共享内存管理方法及共享内存管理设备 | |
CN105849702A (zh) | 集群系统,服务器设备,集群系统管理方法和计算机可读记录介质 | |
US9213618B2 (en) | Storage management systems and methods in hierarchical storage systems | |
CN110727942B (zh) | 用于恶意软件检测的存储器跟踪 | |
JP2016513309A (ja) | 分散コンピューティングシステムのコンピューティングノードにおける障害に起因するエラー伝播の制御 | |
CN103810038A (zh) | 一种ha集群中虚拟机存储文件迁移方法及其装置 | |
JP6269163B2 (ja) | 中継装置、ストレージ装置、および中継プログラム | |
CN103019847A (zh) | 对虚拟机数据进行迁移的方法及系统 | |
CN109154963B (zh) | 一种防止内存数据泄露的设备及方法 | |
US9692773B1 (en) | Systems and methods for identifying detection-evasion behaviors of files undergoing malware analyses | |
JP6627808B2 (ja) | 仮想マシン移動制御方法と通信システムとコントローラ及びプログラム | |
CN109039823A (zh) | 一种网络系统防火墙检测方法、装置、设备及存储介质 | |
CH717045B1 (it) | Sistemi e metodi di protezione contro la modifica non autorizzata di dump di memoria. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant after: Xinhua three Technology Co., Ltd. Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant before: Huasan Communication Technology Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |