CN108259136A - 一种智能旅居商务房车的跨模态智能感知方法 - Google Patents
一种智能旅居商务房车的跨模态智能感知方法 Download PDFInfo
- Publication number
- CN108259136A CN108259136A CN201810030109.8A CN201810030109A CN108259136A CN 108259136 A CN108259136 A CN 108259136A CN 201810030109 A CN201810030109 A CN 201810030109A CN 108259136 A CN108259136 A CN 108259136A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- encoding
- sojourns
- weights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/40006—Architecture of a communication node
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/40169—Flexible bus arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40267—Bus for use in transportation systems
- H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种智能旅居商务房车的跨模态智能感知方法,该方法具体包含如下步骤:S1:基于总线结构对传感器信号进行数据采集传输;S2:通过深度自编码器提取所采集的数据中具有共性的感知数据,简化数据编码;S3:运用自编码器权值连接关系,优化连接网络结构。针对数据传输量负载大的问题,本发明采取了以深度自编码技术为核心的数据编码技术,在保障了数据传输质量的同时又降低了数据的维度保证了数据传输的负载的平衡。本发明方法提出了稀疏优化的神经网络剪枝技术,在衡量连接关系的权值大小后简化连接结构,提高数据输入输出效率和编码器的运转效率。
Description
技术领域
本发明属于智能感知技术、深度学习技术领域,涉及一种智能旅居商务房车的跨模态智能感知方法。
背景技术
智能商务旅居房车是智能网联汽车与智能家居深度融合的产物,充分体现了人工智能的技术属性和社会属性,激发了人工智能的巨大潜力,强化了创新链和产业链的有机结合,催生了技术供给和市场需求的互动演进。商务旅居房车“智能化”的进程,主要涉及到人工智能技术中的感知数据的采集、处理、输出,同时也大量使用嵌入式系统、智能元器件,进一步提高商务旅居房车的状态在线监测、自主感知、智能推处理能力,让更多向往旅游和户外活动的人能够享受高质量、低成本的旅居生活,并为国内旅游市场的发展开拓新道路。目前,旅居商务房车智能化改造所面临的基本问题是,生活区的上装车载设备种类多,但接口不一致,且没有标准的总线,导致感知数据获取不对称,且不完善,无法进行统一信息表征,给智能化控制的前端数据信息处理带来困难。
发明内容
有鉴于此,本发明的目的在于提供一种智能旅居商务房车的跨模态智能感知方法,解决房车行驶中不同模态数据采集,处理以及输出。
为达到上述目的,本发明提供如下技术方案:
一种智能旅居商务房车的跨模态智能感知方法,其特征在于:该方法具体包含如下步骤:
S1:基于总线结构对传感器信号进行数据采集传输;
S2:通过深度自编码器提取所采集的数据中具有共性的感知数据,简化数据编码;
S3:运用自编码器权值连接关系,优化连接网络结构。
2、根据权利要求1所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:所述步骤S1具体包含如下步骤:
S11:将各类传感器进行驱动封装,构建多类传感器组成的总线数据采集平台;
S12:通过传感器所采集到的模拟信号经过模数转换成数字信号传送到处理平台;
S13:通过ADO(ActiveX Data Objects)以及ADO附加组件统一接口函数、程序调用口、接口校验与测试方式。
3、根据权利要去2所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:步骤S2具体包含如下步骤:
S21:通过深度自编码器输入输出相等的层次结构关系,训练适用于多模态传感器的深度自编码结构,提取感知数据的共性特征,作为编码信息,通过总线传输至车载数据交互中心,降低传输数据的维度;
S22:构建多层深度神经网络,将神经网络的输入与输出置为相等的数据,向中间组合编码,采用最小二乘目标函数
对输出结果进行逼近,
其中x对应感知输入层,则为感知还原的结果,W,b分别对应该自编码网络的权志集合及偏置,J(W,b)表示目标函数,m表示输入层数;
S23:通过音视频、温度原始数据,采用随机梯度下降法对网络连接进行学习,提高权值的泛化性能;
S24:通过自编码器对于感知数据进行编码。
4、根据权利要去3所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:步骤S3具体为:
S31:将多层深度神经网络中权值较小的连接关系进行剪枝,通过感知数据对于余下的多层深度神经网络连接进行微调,降低传编码误差;
S32:通过坐标下降方法对多层深度神经网络的权值的绝对值进行迭代,并将近零的参数进行剪枝,得到连接关系稀疏的神经网络;
S33:利用对神经网络训练中的所有层进行稀疏优化,
其中,W'表示稀疏化后的权值组合,i表示每一层的输入;
S34:通过感知数据对连接关系稀疏的神经网络进行进一步的微调,获得剪枝后的泛化自编码模型。
本发明的有益效果在于:在面向商务旅居房车的跨模态智能感知中,与单模态相比较本专利运用的跨模态智能感知技术可以采集到高质量,多元化,体量丰富的信号数据。并且针对数据传输量负载大的问题,本专利采取了以深度自编码技术为核心的数据编码技术,在保障了数据传输质量的同时又降低了数据的维度保证了数据传输的负载的平衡。在旅居房车行驶中最大也是最困难的就是数据的实时性,包括采集数据和输出数据。本专利对此提出了稀疏优化的神经网络剪枝技术,在衡量连接关系的权值大小后简化连接结构,提高数据输入输出效率和编码器的运转效率。本专利中的算法和公式为实现提出的技术手段作了强有力的支撑。面向商务旅居房车,本专利对跨模态采集数据,处理数据,输出显示数据都提出了一些创新性想法和具体的技术方法。通过上述的方法一步步实现跨模态智能感知,保证数据多样化、准确化的同时又极大丰富了用户的实际体验。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明示意图;
图2为本发明多层深度神经网络结构图;
图3为本发明神经网络剪枝示意图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
本发明包含如下步骤:
一、基于CAN总线结构的传感器信号数据传输采集。包括以下3个步骤:
1、构建CAN总线数据采集平台。
2、全数字通信信号。
3、统一的接口函数、程序调用口、接口校验与测试方式
二、数据编码设计。包括以下3个步骤
1、运用以深度自编码技术为核心的数据编码方式。
2、构建多层深度神经网络结构。
3、自编码器对于感知数据自行编码。
三、优化的深度自编码器剪枝。包括以下3个步骤。
1、神经网络剪枝技术。
2、优化神经网络连接关系。
3、感知数据集对连接网络进行进一步的调整。
(1)基于CAN总线结构的传感器信号数据传输采集。如图1所示,以现场总线技术为基础实现的总线数据的采集与传输。具体步骤如下:
a、构建CAN总线数据采集平台。围绕多源分布式传感器的数据采集与传输需求,构建以现场总线技术为基础,以驱动封装及统一接口为核心的CAN总线数据采集平台。控制器局域网总线(CAN,Controller Area Network)是一种用于实时应用的串行通讯协议总线,它可以使用双绞线来传输信号,是世界上应用最广泛的现场总线之一。CAN协议由德国的Robert Bosch公司开发,用于汽车中各种不同元件之间的通信。
b、全数字通信。采集到的模拟信号经过模数转换成数字信号,传送到处理平台。
c、统一的接口函数、程序调用口、接口校验与测试方式。按照面向对象的原则,将每个传感器的驱动作为对象封装起来。对不同的数据格式都转化为二进制数据格式。采用ADO(ActiveX Data Objects,ActiveX由微软开发的一种程序对象,用于表示用户数据库中的数据结构和所包含的数据)以及ADO的附加组件(称为Microsoft ADO Extensions forDLL and Security(ADOX))来创建或修改数据和查询、检验数据库、或者访问和接收外部数据源。
(2)基于深度自编码的数据编码策略设计。通过深度自编码器输出与输入相等的关系来提取具有共性的感知数据,简化数据编码。具体步骤如下:
a、以深度自编码技术为核心的数据编码方式。针对多源传感器数据总量大,总线传输负载能力有限的问题,研究以深度自编码技术为核心的数据编码方式,通过深度自编码器输入输出相等的层次结构关系,训练适用于多模态传感器的深度自编码结构,提取感知数据共性特征,作为编码信息,通过总线传输至车载数据交互中心,降低传输数据的维度,保证总线上信息传输负载的平衡。深度自编码结构示意图如图2所示。
b、构建多层深度神经网络结构。深度自编码下的数据编码结构,以多层深度神经网络结构为基础,将神经网络的输入与输出置为相等的数据向中间组合编码,采用最小二乘目标函数
其中,x对应感知输入层,则为感知还原的结果。W,b分别对应该自编码网络的权志集合及偏置。
该网络训练的目标即是让输出结果尽量逼近感知输入结果,并采用大量音视频、温度等原始数据,随机梯度下降技术对网络连接进行学习,提高权值的泛化性能。根据深度自编码器的结构,编码结果通过编码还原层处理,即可还原感知的结果。
c、自编码器对于感知数据自行编码。通过该自编码器对于感知数据进行编码,能够大幅降低传输数据的维度与总线的负载,提升总线传输的效率。同时在数据交互中心,只需要向数据中心发送一次编码还原层,即可通过其对编码结果的重构获得感知的结果数据。
(3)基于稀疏优化的深度自编码器剪枝。为了解决数据关联的复杂性,运用自编码器来权值连接关系,优化连接网络结构。具体步骤如下:
a、神经网络剪枝技术。如图3所示,针对数据交互中心对于编码信息数据实时性不强的问题,研究以稀疏优化为核心的神经网络剪枝技术,通过剪枝深度自编码器网络结构中,权重值较小的连接关系,大幅降低深度自编码器的连接结构,并少量感知数据对于余下的神经网络连接进行微调,降低传编码误差,提高深度自编码器的运行效率。
b、优化神经网络连接关系。采用坐标下降方法对神经网络的权值的绝对值进行迭代降低,并将近零参数进行剪枝,并重新得到连接关系较为稀疏网络。对神经网络训练中的所有层都使用相同的权值稀疏优化算法,采用稀疏优化模型,对于权值连接W进行优化,其中W'为稀疏化后的权值组合,i为每一层的输入,W为经深度自编码其训练得到的权值。上述稀疏优化模型的求解是一个凸优化问题,优化||W'||1与优化||W'||0的结果等价,故可根据坐标下降算法对||W'||1进行优化的结果获得一个W'使得||W'||0、求解得到包含W',即最为稀疏的W',将W'中的近零项在神经网络中进行剪枝即可获得更新后的网络结构。
c、感知数据集对连接网络进行进一步的调整。剪枝优化后神经网络的连接关系将会更为简单,加快运算的效率,降低噪声干扰。通过感知数据集对网络进行进一步的微调,即可获得剪枝后的泛化自编码模型。稀疏优化剪枝模型对剪枝后的连接关系与输入的乘积以及神经网络输出的结果进行组合优化,最大限度的在编码复原的准确性与实时性之间求得了平衡。
最后说明的是,以上优选实施例仅用以说明发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (4)
1.一种智能旅居商务房车的跨模态智能感知方法,其特征在于:该方法具体包含如下步骤:
S1:基于总线结构对传感器信号进行数据采集传输;
S2:通过深度自编码器提取所采集的数据中具有共性的感知数据,简化数据编码;
S3:运用自编码器权值连接关系,优化连接网络结构。
2.根据权利要求1所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:所述步骤S1具体包含如下步骤:
S11:将各类传感器进行驱动封装,构建多类传感器组成的总线数据采集平台;
S12:通过传感器所采集到的模拟信号经过模数转换成数字信号传送到处理平台;
S13:通过ADO(ActiveX Data Objects)以及ADO附加组件统一接口函数、程序调用口、接口校验与测试方式。
3.根据权利要求2所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:步骤S2具体包含如下步骤:
S21:通过深度自编码器输入输出相等的层次结构关系,训练适用于多模态传感器的深度自编码结构,提取感知数据的共性特征,作为编码信息,通过总线传输至车载数据交互中心,降低传输数据的维度;
S22:构建多层深度神经网络,将神经网络的输入与输出置为相等的数据,向中间组合编码,采用最小二乘目标函数
对输出结果进行逼近,
其中x对应感知输入层,则为感知还原的结果,W,b分别对应该自编码网络的权志集合及偏置,J(W,b)表示目标函数,m表示输入层数;
S23:通过音视频、温度原始数据,采用随机梯度下降法对网络连接进行学习,提高权值的泛化性能;
S24:通过自编码器对于感知数据进行编码。
4.根据权利要求3所述的一种智能旅居商务房车的跨模态智能感知方法,其特征在于:步骤S3具体为:
S31:将多层深度神经网络中权值较小的连接关系进行剪枝,通过感知数据对于余下的多层深度神经网络连接进行微调,降低传编码误差;
S32:通过坐标下降方法对多层深度神经网络的权值的绝对值进行迭代,并将近零的参数进行剪枝,得到连接关系稀疏的神经网络;
S33:利用对神经网络训练中的所有层进行稀疏优化,
其中,W'表示稀疏化后的权值组合,i表示每一层的输入;
S34:通过感知数据对连接关系稀疏的神经网络进行进一步的微调,获得剪枝后的泛化自编码模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810030109.8A CN108259136B (zh) | 2018-01-12 | 2018-01-12 | 一种智能旅居商务房车的跨模态智能感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810030109.8A CN108259136B (zh) | 2018-01-12 | 2018-01-12 | 一种智能旅居商务房车的跨模态智能感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108259136A true CN108259136A (zh) | 2018-07-06 |
CN108259136B CN108259136B (zh) | 2020-10-16 |
Family
ID=62727195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810030109.8A Active CN108259136B (zh) | 2018-01-12 | 2018-01-12 | 一种智能旅居商务房车的跨模态智能感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108259136B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111105030A (zh) * | 2018-10-25 | 2020-05-05 | 通用汽车环球科技运作有限责任公司 | 用于车辆感知系统的神经网络中的激活零旁路和权重剪枝 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100274433A1 (en) * | 2009-04-27 | 2010-10-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for determining most probable cause of a problem in a plant |
CN105741267A (zh) * | 2016-01-22 | 2016-07-06 | 西安电子科技大学 | 聚类引导深度神经网络分类的多源图像变化检测方法 |
CN106447039A (zh) * | 2016-09-28 | 2017-02-22 | 西安交通大学 | 基于自编码神经网络的无监督特征提取方法 |
CN106599995A (zh) * | 2016-12-09 | 2017-04-26 | 上海海事大学 | 一种根据海洋气象信息预测船舶航行气象因子的方法 |
CN106779075A (zh) * | 2017-02-16 | 2017-05-31 | 南京大学 | 一种计算机中采用剪枝方法改进的神经网络 |
-
2018
- 2018-01-12 CN CN201810030109.8A patent/CN108259136B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100274433A1 (en) * | 2009-04-27 | 2010-10-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for determining most probable cause of a problem in a plant |
CN105741267A (zh) * | 2016-01-22 | 2016-07-06 | 西安电子科技大学 | 聚类引导深度神经网络分类的多源图像变化检测方法 |
CN106447039A (zh) * | 2016-09-28 | 2017-02-22 | 西安交通大学 | 基于自编码神经网络的无监督特征提取方法 |
CN106599995A (zh) * | 2016-12-09 | 2017-04-26 | 上海海事大学 | 一种根据海洋气象信息预测船舶航行气象因子的方法 |
CN106779075A (zh) * | 2017-02-16 | 2017-05-31 | 南京大学 | 一种计算机中采用剪枝方法改进的神经网络 |
Non-Patent Citations (3)
Title |
---|
庞成: ""基于测距雷达和机器视觉数据融合的前方车辆检测系统"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
徐金梧: "《冶金生产过程质量监控理论与方法》", 31 May 2015, 冶金工业出版社 * |
顾学群: "多传感器数据融合系统", 《南通职业大学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111105030A (zh) * | 2018-10-25 | 2020-05-05 | 通用汽车环球科技运作有限责任公司 | 用于车辆感知系统的神经网络中的激活零旁路和权重剪枝 |
CN111105030B (zh) * | 2018-10-25 | 2024-04-12 | 通用汽车环球科技运作有限责任公司 | 用于车辆感知系统的神经网络中的激活零旁路和权重剪枝 |
Also Published As
Publication number | Publication date |
---|---|
CN108259136B (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | BIM information integration based VR modeling in digital twins in industry 5.0 | |
CN101789178B (zh) | 街区路口交通信号优化控制方法 | |
CN107480807A (zh) | 基于时空感知神经网络的共享单车目的地预测方法及装置 | |
CN103530689A (zh) | 一种基于深度学习的聚类方法 | |
CN103520885A (zh) | 一种基于数据监测实现运动指导的骑车健身系统 | |
CN108153913A (zh) | 回复信息生成模型的训练方法、回复信息生成方法及装置 | |
CN109086805A (zh) | 一种基于深度神经网络和成对约束的聚类方法 | |
CN108717852A (zh) | 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法 | |
WO2003081385A3 (en) | System and method for on-line training of a non-linear model for use in electronic commerce | |
CN106981032A (zh) | 一种餐饮机器人智能点餐系统及方法 | |
CN110380880A (zh) | 一种基于边缘计算框架的整车制造智能工厂的体系结构 | |
CN101373518A (zh) | 图像理解中基于语义信息原型向量构成及序参量重构方法 | |
CN117096867A (zh) | 一种短期电力负荷预测方法、装置、系统及存储介质 | |
CN111901024A (zh) | 基于抗拟合深度学习的mimo信道状态信息反馈方法 | |
CN108259136A (zh) | 一种智能旅居商务房车的跨模态智能感知方法 | |
CN109508476A (zh) | 基于深度网络学习的山火预测建模方法 | |
CN102553250A (zh) | 具有动作模仿功能的智能玩具机器人 | |
CN103442225A (zh) | 基于数据库在线学习更新的有限速率下遥感图像传输系统 | |
CN105005942A (zh) | 一种智能配电网差异化建设模式选择方法 | |
CN116760536A (zh) | 一种多智能体协同感知方法、系统、电子设备及存储介质 | |
CN108287923A (zh) | 一种可视化接口数据智能提取系统及其设计方法 | |
CN203235258U (zh) | 一种基于手势识别的遥控模型无线控制系统 | |
CN106991855A (zh) | 一种可方便教学的一对一教学辅助的方法及系统 | |
CN104715290B (zh) | 公共自行车调度控制系统及其调度方法 | |
CN110503073B (zh) | 一种第三视角下动态链接的密集多智能体轨迹预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |