CN107590479B - 一种道路分析处理方法及装置 - Google Patents
一种道路分析处理方法及装置 Download PDFInfo
- Publication number
- CN107590479B CN107590479B CN201710884602.1A CN201710884602A CN107590479B CN 107590479 B CN107590479 B CN 107590479B CN 201710884602 A CN201710884602 A CN 201710884602A CN 107590479 B CN107590479 B CN 107590479B
- Authority
- CN
- China
- Prior art keywords
- horse
- ground
- type
- determining
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 34
- 230000000638 stimulation Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 9
- 244000025254 Cannabis sativa Species 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 241000283086 Equidae Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- HJCCZIABCSDUPE-UHFFFAOYSA-N methyl 2-[4-[[4-methyl-6-(1-methylbenzimidazol-2-yl)-2-propylbenzimidazol-1-yl]methyl]phenyl]benzoate Chemical compound CCCC1=NC2=C(C)C=C(C=3N(C4=CC=CC=C4N=3)C)C=C2N1CC(C=C1)=CC=C1C1=CC=CC=C1C(=O)OC HJCCZIABCSDUPE-UHFFFAOYSA-N 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种道路分析处理方法及装置。其中，本发明提供的道路分析处理方法，可以通过获取地面的坡度值，并采集地面的图像数据，采用预先训练的地貌分析模型对该图像数据进行分析处理，确定图像数据对应的地貌类型。再根据该地面的坡度值以及该地貌类型，确定行进条件，并根据行进条件，生成指令信息。从而大幅提升对行进条件识别的准确性，可以有效调整马匹的运动状态，以使马匹的运动状态符合当前行进条件，进而加强骑马运动的安全性。
Description
技术领域
本发明涉及数据分析技术领域，特别是涉及一种道路分析处理方法及装置。
背景技术
骑马运动是一项有益于身心健康，具有一定挑战性的运动，同时也具有一定的危险性。例如，对于行进条件的判断，骑马者存在主观失误的风险，使得骑马者对马匹下达的指令可能不符合当前行进条件。例如，当在林地骑行时，应骑马慢行或下马牵行，若骑马者缺乏对行进条件的判断经验，在无法获得任何提示的情况下骑马奔跑，将具有一定危险性。特别是对于初学者而言，完全没有判断行进条件的经验，导致风险加剧。而现有技术中并没有有效的技术手段帮助骑马者准确判断行进条件以保障骑马者的安全。
因此，目前亟待解决的技术问题是，如何准确识别骑马时的行进条件，以降低骑马者的危险。
发明内容
本发明要解决的技术问题是提供一种道路分析处理方法及装置，提高对行进条件识别的准确性，以降低骑马者的危险。
一方面，提供了一种道路分析处理方法，应用于骑马运动，包括：
获取地面的坡度值，并采集地面的图像数据；
采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；
根据所述地面的坡度值以及所述地貌类型，确定行进条件，其中，所述行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
根据所述行进条件，生成指令信息，其中，所述指令信息用于对马匹的运动状态进行调整。
进一步地，所述根据所述地面的坡度值以及所述地貌类型，确定行进条件的步骤，包括：根据所述坡度值，确定地面的坡度类型，所述坡度类型包括下坡、平路和上坡；根据所述坡度类型和所述地貌类型，确定行进条件。
进一步地，所述根据所述坡度值，确定地面的坡度类型，包括：当所述坡度值小于第一阈值坡度时，确定所述地面的坡度类型为下坡；当所述坡度值大于等于第一阈值坡度，且小于等于第二阈值坡度时，确定所述地面的坡度类型为平路；当所述坡度值大于第二阈值坡度时，确定所述地面的坡度类型为上坡。
进一步地，所述根据所述坡度类型和所述地貌类型，确定行进条件，包括：当所述坡度类型为下坡时，确定所述行进条件为适宜下马牵行；当所述坡度类型为上坡时，确定所述行进条件为适宜骑马慢行；当所述坡度类型为平路，且地貌类型为草地或沙地时，确定所述行进条件为适宜骑马奔跑；当所述坡度类型为平路，且地貌类型并非为草地或沙地时，确定所述行进条件为适宜骑马慢行。
进一步地，所述根据所述行进条件，生成指令信息的步骤，包括：根据所述行进条件，显示对应颜色的指示灯，以提示骑马者对马匹的运动状态进行调整；和/或根据所述行进条件，通过扬声器向马匹发出标准语音指令，和 /或对马匹施加电刺激指令，以对马匹的运动状态进行调整。
进一步地，在根据所述行进条件，生成指令信息之前，还包括：采集骑马者对马匹发出的人为指令，其中，所述人为指令包括人为语音指令，所述人为语音指令包括标准语音指令和非标准语音指令；所述根据所述行进条件，生成指令信息的步骤，包括：当所述人为语音指令为非标准语音指令，且所述人为语音指令符合所述行进条件时，采用预先训练的语音理解模型，将所述非标准语音指令转变为语义相同的标准语音指令，并通过扬声器播放所述标准语音指令；当所述人为语音指令为标准语音指令，且所述人为语音指令不符合所述行进条件时，根据所述行进条件，重新生成符合所述行进条件的指令信息。
进一步地，所述获取地面的坡度值的步骤，包括：根据图像采集器与地面的距离，确定地面的坡度值；或者根据图像采集器在垂直地面方向上的加速度，确定地面的坡度值；其中，所述图像采集器设置在骑马者的头盔上，且朝向运动方向。
进一步地，对所述预先训练的地貌分析模型的训练步骤，包括：选用包含地貌类型标签的图像数据集作为训练样本；采用基于边缘的图像分割方法，将训练样本中的图像数据分割为天空和大地两部分；采用基于区域的图像分割方法，将图像数据中大地部分分割为多个区域；提取所述多个区域中每一区域的纹理信息，以确定地貌类型；通过机器学习，建立图像数据与地貌类型的对应关系。
另一方面，还提供了一种道路分析处理装置，应用于骑马运动，所述装置设置在骑马者的头盔上，所述装置包括：
数据获取模块，用于获取地面的坡度值，并采集地面的图像数据；
分析处理模块，采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；
路况识别模块，用于根据所述地面的坡度值以及所述地貌类型，确定行进条件，其中，所述行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
主控模块，用于根据所述行进条件，生成指令信息，其中，所述指令信息用于对马匹的运动状态进行调整。
又一方面，还提供了一种道路分析处理系统，应用于骑马运动，包括头盔、扬声器和电刺激装置；
所述头盔佩戴于骑马者的头部，所述扬声器和所述电刺激装置设置在马匹身上；
所述头盔包括图像采集器、拾音器和信息处理设备；
所述图像采集器，用于获取地面的坡度值，并采集地面的图像数据；
所述拾音器，用于接收骑马者的人为语音指令；
所述信息处理设备，用于采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；并根据所述地面的坡度值以及所述地貌类型，确定行进条件；再根据所述行进条件，生成指令信息；所述指令信息包括标准语音指令和电刺激指令，用于对马匹的运动状态进行调整；
所述扬声器，用于对马匹执行所述标准语音指令；
所述电刺激装置，用于对马匹执行所述电刺激指令；
所述图像采集器、拾音器、扬声器和电刺激装置均与所述信息处理设备通信连接。
与现有技术相比，本发明包括以下优点：
本发明提供了一种道路分析处理方法及装置，在本发明提供的道路分析处理方法中，通过获取地面的坡度值，并采集地面的图像数据，采用预先训练的地貌分析模型对该图像数据进行分析处理，确定图像数据对应的地貌类型。再根据该地面的坡度值以及该地貌类型，确定行进条件，并根据行进条件，生成指令信息。从而大幅提升对行进条件识别的准确性，可以有效调整马匹的运动状态，以使马匹的运动状态符合当前行进条件，进而加强骑马运动的安全性。
附图说明
图1是本发明实施例提供的一种道路分析处理方法的流程图；
图2是本发明实施例提供的另一种道路分析处理方法的流程图；
图3是本发明实施例提供的一种道路分析处理装置的结构框图；
图4是本发明实施例提供的一种道路分析处理系统的结构示意图；
图5是本发明实施例提供的一种道路分析处理系统的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的机或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参照图1，示出了本发明实施例提供的一种道路分析处理方法的流程图。该道路分析处理方法应用于骑马运动，方法包括：
步骤101，获取地面的坡度值，并采集地面的图像数据。
在骑马过程中，可以通过设置在骑马者头盔上的图像采集器，获取地面的坡度值，并采集地面的图像数据。
具体的，由于深度摄像头具有测距的功能，通过深度摄像头测得的图像采集器与地面的距离，以及预先建立的该距离与坡度值的对应关系，可以自动计算出地面的坡度值。在实际应用中，也可以利用各类地图软件直接获取某一地理坐标位置的坡度值。除获取地面的坡度值外，为了分析确定前方道路的地貌类型，还可以通过图像采集器采集地面的图像数据。
步骤102，采用预先训练的地貌分析模型对图像数据进行分析处理，确定图像数据对应的地貌类型。
不同的地貌类型对骑马运动的安全性具有不同的影响，为了准确确定前方道路的行进条件，可以在采集到地面的图像数据后，采用预先训练的地貌分析模型对图像数据进行分析处理，确定该图像数据对应的地貌类型。
具体的，在预先训练地貌分析模型时，可以选用包含地貌类型标签的图像数据集作为训练样本。采用基于边缘的图像分割方法，将训练样本中的图像数据分割为天空和大地两部分。再采用基于区域的图像分割方法，将图像数据中大地部分分割为多个区域。在分割得到该多个区域后，可以提取该多个区域中每一区域的纹理信息，以确定地貌类型。再通过机器学习，建立图像数据与地貌类型的对应关系。从而使得该预先训练的地貌分析模型可以根据采集到的图像数据，准确判断前方道路的地貌类型，以助于准确判断出行进条件。
步骤103，根据地面的坡度值以及地貌类型，确定行进条件。
在获取地面的坡度值以及地貌类型后，便可以根据该坡度值，确定地面的坡度类型，再根据该坡度类型和该地貌类型，确定行进条件。其中，该坡度类型包括下坡、平路和上坡。行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行。
具体的，可以通过将地面的坡度值与预设的第一阈值坡度和第二阈值坡度进行比较，确定地面的坡度类型。不同的坡度类型分别对应不同的行进条件。相同的坡度类型，若地貌类型不同，行进条件也不尽相同。例如，当坡度类型为下坡时，可以确定行进条件为适宜下马牵行；当坡度类型为上坡时，可以确定行进条件为适宜骑马慢行；当坡度类型为平路，且地貌类型为草地或沙地时，可以确定行进条件为适宜骑马奔跑；当坡度类型为平路，且地貌类型并非为草地或沙地时，可以确定行进条件为适宜骑马慢行。
步骤104，根据行进条件，生成指令信息。
具体的，为了使指令信息符合行进条件，可以根据该行进条件，显示对应颜色的指示灯，以提示骑马者对马匹的运动状态进行调整。和/或根据该行进条件，通过扬声器向马匹发出标准语音指令，和/或对马匹施加电刺激指令，以对马匹的运动状态进行调整。其中，该标准语音指令包括驾与吁。例如，该指示灯的颜色可以为红、黄、绿三种颜色，红色用于指示前方道路的行进条件为适宜下马牵行，黄色用于指示前方道路的行进条件为适宜骑马慢行，绿色用于指示前方道路的行进条件为适宜骑马奔跑。其中适宜奔跑只用于指示前方道路行进条件较好，可以骑马奔跑，而非限定只能骑马奔跑。从越慢越安全的角度出发，向马匹发出标准语音指令“吁”这类减速或者停止的指令，均视为符合行进条件的指令信息。
综上所述，本发明实施例提供的道路分析处理方法，通过获取地面的坡度值，并采集地面的图像数据，采用预先训练的地貌分析模型对该图像数据进行分析处理，确定图像数据对应的地貌类型。再根据该地面的坡度值以及该地貌类型，确定行进条件，并根据行进条件，生成指令信息。从而大幅提升对行进条件识别的准确性，可以有效调整马匹的运动状态，以使马匹的运动状态符合当前行进条件，进而加强骑马运动的安全性。
参照图2，示出了本发明实施例提供的另一种道路分析处理方法的流程图。该道路分析处理方法应用于骑马运动，方法包括：
步骤201，获取地面的坡度值，并根据该坡度值，确定地面的坡度类型。
在骑马过程中，地面的坡度值对骑马运动的安全性具有较大影响。而且，不同的坡度类型对安全性的影响程度也不同。例如，当地面的坡度类型为上坡时，可以骑马慢行，若强行骑马奔跑，将具有一定危险性。而当地面的坡度类型为下坡时，即使骑马慢行，也将具有一定危险性。因此，可以在获取地面的坡度值后，根据该坡度值，确定地面的坡度类型。
具体的，在获取地面的坡度值时，可以根据图像采集器与地面的距离，确定地面的坡度值；也可以根据图像采集器在垂直地面方向上的加速度，确定地面的坡度值。其中，该图像采集器可以设置在骑马者的头盔上，且朝向运动方向。
在实际应用中，该图像采集器可以为具有测距功能的深度摄像头，从而可以通过该测距功能获取该图像采集器与地面的距离，再根据该图像采集器与地面的距离，确定地面的坡度值。其中，该深度摄像头测量距离的原理为依靠模拟人类双眼的视差，计算目标点到成像平面的距离。即利用双摄像头进行双目匹配，获得目标点在左右两幅视图中成像的视差，其中，每一摄像头可以分别获得一幅视图的成像。由于该视差与目标点到成像平面的距离成反比例关系，因此，可以根据该视差计算出目标点到成像平面的距离，当选取地面上一点为目标点时，计算出的距离便是图像采集器与地面的距离。在测量出图像采集器与地面的距离后，可以根据在不同坡度类型的地面骑行时，图像采集器与地面的距离变化规律，确定地面的坡度值。具体的，图像采集器采集图像数据的角度可以固定为某一角度，因此，当向上坡行进时，通常图像采集器与地面距离较近，而向下坡行进时，通常图像采集器与地面距离较远。因此，可以预先建立该距离与坡度值的对应关系，并根据该对应关系以及测得距离，确定地面的坡度值。在实际应用中，也可以利用加速度传感器获取图像采集器在垂直地面方向上的加速度，并根据该加速度确定地面的坡度值。或者利用各类地图软件直接提供的对应坐标位置处地面的坡度值。
在获取地面的坡度值后，由于小角度的坡度值通常不会对骑马运动造成影响，因此，可以设定一个坡度值的区间范围，当地面的坡度值在该区间范围内时，便将该段路视为平路。具体的，可以设定当坡度值小于第一阈值坡度时，确定地面的坡度类型为下坡；当坡度值大于等于第一阈值坡度，且小于等于第二阈值坡度时，确定地面的坡度类型为平路；当坡度值大于第二阈值坡度时，确定地面的坡度类型为上坡。例如，该第一阈值坡度可以为-x°，该第二阈值坡度可以为x°。当地面的坡度小于-x°时，可以确定地面的坡度类型为下坡，当地面的坡度大于x°时，可以确定地面的坡度类型为上坡。
步骤202，采集地面的图像数据。
骑马运动的安全性不仅会受到地面坡度的影响，通常也会收到地貌类型的影响。例如，即使地面的坡度类型为平路，但地貌类型并非草地、沙地等适宜奔跑的地貌类型，若骑马奔跑，也会具有一定危险性。因此，为了准确判断行进条件，可以通过采集地面的图像数据，并对该图像数据进行分析处理以确定地貌类型。从而能够通过对地面的坡度值和地貌类型的分析，更准确地判断行进条件，以助于骑马者能够采取更为恰当的骑马方式，有效降低骑马运动的危险性。具体的，可以通过设置于骑马者头盔上的图像采集器，采集马匹前方地面的图像数据。
步骤203，采用预先训练的地貌分析模型对图像数据进行分析处理，确定所述图像数据对应的地貌类型。
其中，对该地貌分析模型可以按照以下步骤进行预先训练。
步骤A、选用包含地貌类型标签的图像数据集作为训练样本。
具体的，可以选用包含丰富地貌类型的图像数据集作为训练样本，其中，每一地貌类型均注有标签，每一图像数据可以包括草地、沙地、林地、灌木丛、雪地等地貌类型中至少一种地貌类型。
步骤B、采用基于边缘的图像分割方法，将训练样本中的图像数据分割为天空和大地两部分。
具体的，基于边缘检测的图像分割是利用图像中目标对象边缘灰度变换一般比较剧烈的属性，利用图像处理中边缘检测方法将目标对象所在的区域提取出来的分割方法。即利用不同图像区域间的不同性质，检测出天空与大地间的分界线。例如，可以利用区域边缘的灰度不连续性，将训练样本中的图像数据分割为天空和大地两部分。由于天空和大地边缘灰度变换通常比较剧烈，因此，可以非常准确地将图像数据分割为天空和大地两部分。
步骤C、采用基于区域的图像分割方法，将图像数据中大地部分分割为多个区域。
具体的，在采用基于区域的图像分割方法，将图像数据中大地部分分割为多个区域时，可以采用支持向量机算法对图像进行分割。其中，该支持向量机算法是一种分类算法，可以通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。该支持向量机算法可以最终转化为一个凸二次规划问题的求解，从而能够准确地将图像数据中大地部分分割为多个区域。
步骤D、提取该多个区域中每一区域的纹理信息，以确定地貌类型。
具体的，由于不同的纹理特征分别对应不同的地貌类型，因此，在提取该多个区域中每一区域的纹理信息后，可以据此确定每一区域对应的地貌类型。
步骤E、通过机器学习，建立图像数据与地貌类型的对应关系。
具体的，在通过对大量训练样本进行机器学习后，可以建立图像数据与地貌类型之间准确的对应关系。
在使用该预先训练的地貌分析模型对图像数据进行分析处理时，可以根据该对应关系，准确分析出与采集的图像数据对应的地貌类型。
步骤204，根据地面的坡度类型和地貌类型，确定行进条件。
在确定地面的坡度类型和地貌类型后，可以通过地面的坡度类型和地貌类型中一者或者两者结合，确定前方道路的行进条件。
具体的，当坡度类型为下坡时，可以确定行进条件为适宜下马牵行，即使地貌类型为草地或者沙地，从保障骑马运动安全的角度，也应下马牵行。当坡度类型为上坡时，可以确定行进条件为适宜骑马慢行，在实际应用中，当坡度类型为上坡，且地貌类型并非为草地或沙地时，即面临双重风险因素时，为保障骑马安全，也可以确定行进条件为下马牵行。当坡度类型为平路，且地貌类型为草地或沙地时，可以确定行进条件为适宜骑马奔跑；当坡度类型为平路，但地貌类型并非为草地或沙地时，则确定行进条件为适宜骑马慢行。其中，各种行进条件均指的是在保障骑马安全的前提下，能够采取骑马方式。在各种坡度类型和地貌类型下，骑马慢行均较骑马快行安全，下马牵行均较骑马慢行更加安全。
步骤205，根据行进条件，生成指令信息。
具体的，可以根据该行进条件，显示对应颜色的指示灯，以提示骑马者对马匹的运动状态进行调整。也可以根据该行进条件，通过扬声器向马匹发出标准语音指令，和/或对马匹施加电刺激指令，以对马匹的运动状态进行调整。例如，可以在马匹的马衣上设置电刺激装置。对马的不同部位按照不同的频率施加电刺激，可以分别对应不同的指令作用。例如，对马匹左侧部位施加电刺激可以使马匹向左转，对马匹右侧部位施加电刺激可以使马匹向右转，对马匹缰绳位置施加电刺激可以使马匹停止。通过控制电刺激的频率和强度可以控制马匹运动的速度。
在实际应用中，骑马者对马匹发出的人为指令，可能存在不标准导致马匹无法识别，也可能不符合前方道路的行进条件，导致骑马运动的危险性提升。因此，在根据行进条件，生成指令信息之前，可以采集骑马者对马匹发出的人为指令，其中，所述人为指令包括人为语音指令。在采集到该人为语音指令后，可以对该人为语音指令进行处理，得到符合行进条件的指令信息，再利用该符合行进条件的指令信息，控制马匹的运动状态。以进一步保障骑马运动的安全性。
具体的，人为语音指令又可以分为标准语音指令和非标准语音指令。例如，当需要马匹减速甚至停下时，标准语音指令为“吁”，而骑马者可能会采用非标准语音指令，例如，“快停下来呀！”“你给我站住！”等。该非标准语音指令是难以被马匹识别的，也就会存在指令无效的问题。因此，可以按照以下方式对该人为语音指令进行处理。
当人为语音指令为非标准语音指令，且人为语音指令符合行进条件时，采用预先训练的语音理解模型，将非标准语音指令转变为语义相同的标准语音指令，并通过扬声器播放标准语音指令。在实际应用中，标准语音指令通常为驾和吁。其中，驾用于驱策马匹奔跑，吁用于督促马匹停止。因此，可以将与奔跑相关语义的非标准语音指令转变为驾，将与停止相关语义的非标准语音指令转变为吁，从而达到有效控制马匹的作用。
当人为语音指令为标准语音指令，且人为语音指令不符合行进条件时，根据行进条件，重新生成符合行进条件的指令信息。即当骑马者在不应加速的行进条件下，对马匹发出驾这一标准语音指令时，将提升骑马的危险性。可以在该情况下，对马匹发出吁这一标准语音指令，或者通过对马匹特定位置施加电刺激，以避免马匹加速奔跑。
在实际应用中，当人为语音指令为非标准语音指令，且人为语音指令不符合行进条件时，可以通过不对该非标准语音指令进行转变，从而避免该非标准语音指令产生不利影响。当人为语音指令为标准语音指令，且人为语音指令符合行进条件时，可以无需再生成新的指令信息。
综上所述，本发明实施例提供的道路分析处理方法，通过获取地面的坡度值，确定地面的坡度类型。并采集地面的图像数据，确定图像数据对应的地貌类型。根据该地面的坡度类型以及地貌类型，确定行进条件。并在生成指令信息之前，采集骑马者对马匹发出的人为指令。从而可以根据行进条件，对该人为指令进行处理，重新生成指令信息，以增强符合行进条件的人为指令，或者抵消不符合行进条件的人为指令。从而既可以在行进条件较佳的道路上，最大程度地体现骑马者对马匹的控制效果。又可以在行进条件不利的道路上，有效保障骑马者的骑行安全。因此，既可以提升了骑马运动的乐趣，又可以提升骑马运动的安全性。进而有效提升用户使用体验。
参照图3，示出了本发明实施例中一种道路分析处理装置的结构框图。该道路分析处理装置可以应用于骑马运动，在实际应用中，该道路分析处理装置可以设置在骑马者的头盔上，包括：数据获取模块31、分析处理模块 32、路况识别模块33和主控模块34。
其中，数据获取模块31，用于获取地面的坡度值，并采集地面的图像数据；
分析处理模块32，采用预先训练的地貌分析模型对图像数据进行分析处理，确定图像数据对应的地貌类型；
路况识别模块33，用于根据地面的坡度值以及地貌类型，确定行进条件，其中，行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
主控模块34，用于根据行进条件，生成指令信息，其中，指令信息用于对马匹的运动状态进行调整。
该道路分析处理装置可以实现上述道路分析处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
参照图4，示出了本发明实施例提供的一种道路分析处理系统的结构示意图。参照图5，示出了本发明实施例提供的一种道路分析处理系统的结构框图。该道路分析处理系统应用于骑马运动，包括：头盔41、扬声器421 和电刺激装置422。
其中，该头盔41可以佩戴于骑马者的头部，扬声器421和电刺激装置 422设置在马匹身上。在实际应用中，该电刺激装置422可以设置在马衣42 上，该马衣42着于马匹身上，也可以直接设置在马鞍上。该扬声器421可以设置在贴近马匹耳朵位置，例如，可以将扬声器421设置在马匹头部的缰绳上，以便马匹准确接收扬声器421发出的指令信息。
具体的，该头盔41包括信息处理设备411、图像采集器412和拾音器 413。其中，图像采集器412用于获取地面的坡度值，并采集地面的图像数据。拾音器413用于接收骑马者的人为语音指令。信息处理设备411，用于采用预先训练的地貌分析模型对图像数据进行分析处理，确定该图像数据对应的地貌类型，并根据地面的坡度值以及地貌类型，确定行进条件。再根据该行进条件，生成指令信息。其中，该指令信息包括标准语音指令和电刺激指令，用于对马匹的运动状态进行调整。
在头盔41中生成指令信息后，扬声器421可以用于对马匹执行标准语音指令。电刺激装置422可以用于对马匹执行所述电刺激指令。具体的，该图像采集器412、拾音器413、扬声器421和电刺激装置422均与信息处理设备411通信连接。
综上所述，本发明实施例提供的道路分析处理系统，通过图像采集器412 获取地面的坡度值，并采集地面的图像数据，由信息处理设备411采用预先训练的地貌分析模型对该图像数据进行分析处理，确定图像数据对应的地貌类型。再根据该地面的坡度值以及该地貌类型，确定行进条件，并根据行进条件，生成指令信息。并由扬声器421和/或电刺激装置422将指令信息作用在马匹上，从而大幅提升对行进条件识别的准确性，可以有效调整马匹的运动状态，以使马匹的运动状态符合当前行进条件，进而加强骑马运动的安全性。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本发明所提供的一种道路分析处理方法及装置 进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种道路分析处理方法，应用于骑马运动，其特征在于，包括：
获取地面的坡度值，并采集地面的图像数据；
采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；
根据所述地面的坡度值以及所述地貌类型，确定行进条件，其中，所述行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
根据所述行进条件，生成指令信息，其中，所述指令信息用于对马匹的运动状态进行调整。
2.根据权利要求1所述的方法，其特征在于，所述根据所述地面的坡度值以及所述地貌类型，确定行进条件的步骤，包括：
根据所述坡度值，确定地面的坡度类型，所述坡度类型包括下坡、平路和上坡；
根据所述坡度类型和所述地貌类型，确定行进条件。
3.根据权利要求2所述的方法，其特征在于，所述根据所述坡度值，确定地面的坡度类型，包括：
当所述坡度值小于第一阈值坡度时，确定所述地面的坡度类型为下坡；
当所述坡度值大于等于第一阈值坡度，且小于等于第二阈值坡度时，确定所述地面的坡度类型为平路；
当所述坡度值大于第二阈值坡度时，确定所述地面的坡度类型为上坡。
4.根据权利要求2所述的方法，其特征在于，所述根据所述坡度类型和所述地貌类型，确定行进条件，包括：
当所述坡度类型为下坡时，确定所述行进条件为适宜下马牵行；
当所述坡度类型为上坡时，确定所述行进条件为适宜骑马慢行；
当所述坡度类型为平路，且地貌类型为草地或沙地时，确定所述行进条件为适宜骑马奔跑；
当所述坡度类型为平路，且地貌类型并非为草地或沙地时，确定所述行进条件为适宜骑马慢行。
5.根据权利要求1所述的方法，其特征在于，所述根据所述行进条件，生成指令信息的步骤，包括：
根据所述行进条件，显示对应颜色的指示灯，以提示骑马者对马匹的运动状态进行调整；和/或
根据所述行进条件，通过扬声器向马匹发出标准语音指令，和/或对马匹施加电刺激指令，以对马匹的运动状态进行调整。
6.根据权利要求1所述的方法，其特征在于，
在根据所述行进条件，生成指令信息之前，还包括：采集骑马者对马匹发出的人为指令，其中，所述人为指令包括人为语音指令，所述人为语音指令包括标准语音指令和非标准语音指令；
所述根据所述行进条件，生成指令信息的步骤，包括：
当所述人为语音指令为非标准语音指令，且所述人为语音指令符合所述行进条件时，采用预先训练的语音理解模型，将所述非标准语音指令转变为语义相同的标准语音指令，并通过扬声器播放所述标准语音指令；
当所述人为语音指令为标准语音指令，且所述人为语音指令不符合所述行进条件时，根据所述行进条件，重新生成符合所述行进条件的指令信息。
7.根据权利要求1所述的方法，其特征在于，所述获取地面的坡度值的步骤，包括：
根据图像采集器与地面的距离，确定地面的坡度值；或者
根据图像采集器在垂直地面方向上的加速度，确定地面的坡度值；
其中，所述图像采集器设置在骑马者的头盔上，且朝向运动方向。
8.根据权利要求1所述的方法，其特征在于，对所述预先训练的地貌分析模型的训练步骤，包括：
选用包含地貌类型标签的图像数据集作为训练样本；
采用基于边缘的图像分割方法，将训练样本中的图像数据分割为天空和大地两部分；
采用基于区域的图像分割方法，将图像数据中大地部分分割为多个区域；
提取所述多个区域中每一区域的纹理信息，以确定地貌类型；
通过机器学习，建立图像数据与地貌类型的对应关系。
9.一种道路分析处理装置，应用于骑马运动，其特征在于，所述装置设置在骑马者的头盔上，所述装置包括：
数据获取模块，用于获取地面的坡度值，并采集地面的图像数据；
分析处理模块，采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；
路况识别模块，用于根据所述地面的坡度值以及所述地貌类型，确定行进条件，其中，所述行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
主控模块，用于根据所述行进条件，生成指令信息，其中，所述指令信息用于对马匹的运动状态进行调整。
10.一种道路分析处理系统，应用于骑马运动，其特征在于，包括头盔、扬声器和电刺激装置；
所述头盔佩戴于骑马者的头部，所述扬声器和所述电刺激装置设置在马匹身上；
所述头盔包括图像采集器、拾音器和信息处理设备；
所述图像采集器，用于获取地面的坡度值，并采集地面的图像数据；
所述拾音器，用于接收骑马者的人为语音指令；
所述信息处理设备，用于采用预先训练的地貌分析模型对所述图像数据进行分析处理，确定所述图像数据对应的地貌类型；并根据所述地面的坡度值以及所述地貌类型，确定行进条件；再根据所述行进条件，生成指令信息；所述指令信息包括标准语音指令和电刺激指令，用于对马匹的运动状态进行调整，其中，所述行进条件包括适宜骑马奔跑、适宜骑马慢行和适宜下马牵行；
所述扬声器，用于对马匹执行所述标准语音指令；
所述电刺激装置，用于对马匹执行所述电刺激指令；
所述图像采集器、拾音器、扬声器和电刺激装置均与所述信息处理设备通信连接。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710884602.1A CN107590479B (zh) | 2017-09-26 | 2017-09-26 | 一种道路分析处理方法及装置 |
| US16/107,928 US10825183B2 (en) | 2017-09-26 | 2018-08-21 | Analyzing and processing method and device for a road |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710884602.1A CN107590479B (zh) | 2017-09-26 | 2017-09-26 | 一种道路分析处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107590479A CN107590479A (zh) | 2018-01-16 |
| CN107590479B true CN107590479B (zh) | 2020-04-10 |
Family
ID=61047740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710884602.1A Active CN107590479B (zh) | 2017-09-26 | 2017-09-26 | 一种道路分析处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10825183B2 (zh) |
| CN (1) | CN107590479B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10772295B2 (en) * | 2016-08-22 | 2020-09-15 | International Business Machines Corporation | Unmanned aerial vehicle for determining geolocation foraging zones |
| US10885912B2 (en) * | 2018-11-13 | 2021-01-05 | Motorola Solutions, Inc. | Methods and systems for providing a corrected voice command |
| US11122099B2 (en) * | 2018-11-30 | 2021-09-14 | Motorola Solutions, Inc. | Device, system and method for providing audio summarization data from video |
| US11012613B2 (en) * | 2019-09-04 | 2021-05-18 | Serelay Ltd. | Flat surface detection in photographs |
| CN113015887A (zh) * | 2019-10-15 | 2021-06-22 | 谷歌有限责任公司 | 基于天气和路面类型的导航方向 |
| CN116625317B (zh) * | 2023-07-26 | 2023-10-03 | 天津达一众诚科技有限公司 | 一种基于图像处理的陡坡表面坡度检测方法及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1008503A2 (en) * | 1998-12-08 | 2000-06-14 | Hyundai Motor Company | Brake control system and method for preventing a vehicle from rolling downward on a slope |
| CN202497712U (zh) * | 2011-12-29 | 2012-10-24 | 浙江国自机器人技术有限公司 | 一种模拟驯马的互动娱乐设备 |
| CN103440408A (zh) * | 2013-08-14 | 2013-12-11 | 北京空间飞行器总体设计部 | 一种月球探测器着陆安全概率的快速分析方法 |
| CN104714991A (zh) * | 2013-12-17 | 2015-06-17 | 现代自动车株式会社 | 驾驶模式推荐系统及其方法 |
| CN105788250A (zh) * | 2014-12-24 | 2016-07-20 | 中国电信股份有限公司 | 车辆驾驶行为处理方法和装置 |
| CN205396082U (zh) * | 2016-03-01 | 2016-07-27 | 西安工业大学 | 一种车辆防溜车的提醒装置 |
| CN106250880A (zh) * | 2016-08-23 | 2016-12-21 | 广西科技大学 | 一种车辆上坡前道路坡度视觉检测方法 |
| CN106997207A (zh) * | 2016-01-26 | 2017-08-01 | 鸿富锦精密工业（深圳）有限公司 | 分析路面曲度并结合资料记录的自动行走建议系统及方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6115460A (en) | 1997-06-30 | 2000-09-05 | Lucent Technologies Inc. | Call redirection system |
| JP4569837B2 (ja) * | 2007-03-30 | 2010-10-27 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
| US8428305B2 (en) * | 2008-04-24 | 2013-04-23 | GM Global Technology Operations LLC | Method for detecting a clear path through topographical variation analysis |
| US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| EP2574958B1 (en) * | 2011-09-28 | 2017-02-22 | Honda Research Institute Europe GmbH | Road-terrain detection method and system for driver assistance systems |
| CA2910644A1 (en) * | 2012-05-23 | 2013-11-28 | Liping Fu | Road surface condition classification method and system |
| CN104523282B (zh) | 2015-01-09 | 2016-07-13 | 大连理工大学 | 一种穿戴式人马动作监测方法和系统 |
| CA3067160A1 (en) * | 2015-02-10 | 2016-08-18 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
| US10962982B2 (en) * | 2016-07-21 | 2021-03-30 | Mobileye Vision Technologies Ltd. | Crowdsourcing the collection of road surface information |
| US20180082501A1 (en) * | 2016-09-16 | 2018-03-22 | Ford Global Technologies, Llc | Integrated on-board data collection |
| KR20180063803A (ko) * | 2016-12-02 | 2018-06-12 | 김현준 | 영상촬영부가 구비된 승마헬멧 |
| KR20180068511A (ko) * | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법 |
| TWI652449B (zh) * | 2017-12-11 | 2019-03-01 | 財團法人車輛研究測試中心 | 三維感測器之動態地面偵測方法 |
-
2017
- 2017-09-26 CN CN201710884602.1A patent/CN107590479B/zh active Active
-
2018
- 2018-08-21 US US16/107,928 patent/US10825183B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1008503A2 (en) * | 1998-12-08 | 2000-06-14 | Hyundai Motor Company | Brake control system and method for preventing a vehicle from rolling downward on a slope |
| CN202497712U (zh) * | 2011-12-29 | 2012-10-24 | 浙江国自机器人技术有限公司 | 一种模拟驯马的互动娱乐设备 |
| CN103440408A (zh) * | 2013-08-14 | 2013-12-11 | 北京空间飞行器总体设计部 | 一种月球探测器着陆安全概率的快速分析方法 |
| CN104714991A (zh) * | 2013-12-17 | 2015-06-17 | 现代自动车株式会社 | 驾驶模式推荐系统及其方法 |
| CN105788250A (zh) * | 2014-12-24 | 2016-07-20 | 中国电信股份有限公司 | 车辆驾驶行为处理方法和装置 |
| CN106997207A (zh) * | 2016-01-26 | 2017-08-01 | 鸿富锦精密工业（深圳）有限公司 | 分析路面曲度并结合资料记录的自动行走建议系统及方法 |
| CN205396082U (zh) * | 2016-03-01 | 2016-07-27 | 西安工业大学 | 一种车辆防溜车的提醒装置 |
| CN106250880A (zh) * | 2016-08-23 | 2016-12-21 | 广西科技大学 | 一种车辆上坡前道路坡度视觉检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 不同地貌类型坡度提取算法的比较;何振芳 等;《水土保持通报》;20081231;第28卷(第6期);第6-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US10825183B2 (en) | 2020-11-03 |
| CN107590479A (zh) | 2018-01-16 |
| US20190096067A1 (en) | 2019-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590479B (zh) | 一种道路分析处理方法及装置 | |
| CN110147706B (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
| US9245188B2 (en) | Lane detection system and method | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| CN102789234B (zh) | 基于颜色编码标识的机器人导航方法及系统 | |
| CN105745131B (zh) | 行驶控制装置、服务器、车载装置 | |
| JP6426433B2 (ja) | 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム | |
| JP6549898B2 (ja) | 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム | |
| JP6082802B2 (ja) | 物体検知装置 | |
| JP7029170B2 (ja) | 歩道進行支援システム及び歩道進行支援ソフトウェア | |
| CN106652445A (zh) | 一种公路交通事故判别方法及装置 | |
| US9355322B2 (en) | Road environment recognition device | |
| CN102252859B (zh) | 汽车列车直线行驶横向稳定性自动辨识系统 | |
| US20150203114A1 (en) | Lane relative position estimation method and system for driver assistance systems | |
| CN102867175B (zh) | 一种基于立体视觉的atm机行为分析方法 | |
| WO2022041869A1 (zh) | 路况提示方法、装置、电子设备、存储介质及程序产品 | |
| CN113628448B (zh) | 车辆及其缓解疲劳驾驶的装置 | |
| CN110633671A (zh) | 基于深度图像的公交车客流实时统计方法 | |
| CN110705101A (zh) | 网络训练方法、车辆行驶方法及相关产品 | |
| CN107239747A (zh) | 一种检测行人横穿道路的方法、装置及可读存储介质 | |
| CN111383248A (zh) | 一种行人闯红灯判断方法、装置和电子设备 | |
| CN116229446A (zh) | 路面文字识别的处理方法、装置及介质 | |
| CN106355152A (zh) | 识别当前道路车辆的方法、系统及行车记录仪 | |
| CN115830559A (zh) | 一种轮胎吊的车道线识别的方法、存储介质和电子设备 | |
| CN113353071B (zh) | 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |