CN112240205B - 控制采矿机的系统、由采矿车辆进行导航的方法和介质 - Google Patents

控制采矿机的系统、由采矿车辆进行导航的方法和介质 Download PDF

Info

Publication number
CN112240205B
CN112240205B CN202010510590.8A CN202010510590A CN112240205B CN 112240205 B CN112240205 B CN 112240205B CN 202010510590 A CN202010510590 A CN 202010510590A CN 112240205 B CN112240205 B CN 112240205B
Authority
CN
China
Prior art keywords
pattern
miner
reference point
coordinate position
intensity values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010510590.8A
Other languages
English (en)
Other versions
CN112240205A (zh
Inventor
M·度恩
P·里德
J·汤普森
C·皮考克
K·萨利齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commonwealth Scientific and Industrial Research Organization CSIRO
Original Assignee
Commonwealth Scientific and Industrial Research Organization CSIRO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2019902545A external-priority patent/AU2019902545A0/en
Application filed by Commonwealth Scientific and Industrial Research Organization CSIRO filed Critical Commonwealth Scientific and Industrial Research Organization CSIRO
Publication of CN112240205A publication Critical patent/CN112240205A/zh
Application granted granted Critical
Publication of CN112240205B publication Critical patent/CN112240205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21CMINING OR QUARRYING
    • E21C41/00Methods of underground or surface mining; Layouts therefor
    • E21C41/16Methods of underground mining; Layouts therefor
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21CMINING OR QUARRYING
    • E21C35/00Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/08Guiding the machine
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21CMINING OR QUARRYING
    • E21C35/00Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/24Remote control specially adapted for machines for slitting or completely freeing the mineral
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/74Systems using reradiation of electromagnetic waves other than radio waves, e.g. IFF, i.e. identification of friend or foe
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21DSHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D9/00Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
    • E21D9/003Arrangement of measuring or indicating devices for use during driving of tunnels, e.g. for guiding machines
    • E21D9/004Arrangement of measuring or indicating devices for use during driving of tunnels, e.g. for guiding machines using light beams for direction or position control
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21DSHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D9/00Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
    • E21D9/10Making by using boring or cutting machines
    • E21D9/108Remote control specially adapted for machines for driving tunnels or galleries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2201/00Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
    • G01S2201/01Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
    • G01S2201/02Indoor positioning, e.g. in covered car-parks, mining facilities, warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Abstract

本发明涉及控制采矿机的系统、由采矿车辆进行导航的方法和介质。本文公开了一种用于控制地下矿井内的采矿机的系统。可旋转激光源发射激光,返回光传感器接收反射激光并提供在多个不同旋转角度处的距离和返回光强度的指示。坐标参考点包括变化的反射率的图案并且提供至少2D坐标位置。处理器确定随着采矿机移动穿过地下矿井采矿机在空间中的绝对坐标位置。处理器针对多个旋转角度收集反射激光的强度值,并在反射激光的多个强度值中检测参考点的图案,并基于检测到的图案的空间信息确定采矿机在空间中的绝对坐标位置。

Description

控制采矿机的系统、由采矿车辆进行导航的方法和介质
技术领域
本发明涉及一种采矿机以及可以控制采矿机在地下矿井内移动的方法,该地下矿井例如是(但不限于)地下煤矿。
背景技术
地下采矿机的导航仍然是挑战。尤其是卫星导航不可用,因为卫星信号不会穿透到采矿机。此外,惯性导航系统(INS)会随着时间的推移而累积漂移误差。因此,需要用于确定采矿机的绝对坐标位置的更精确的解决方案。
发明内容
一种用于控制地下矿井内的采矿机的系统,该系统包括:
可旋转激光源和返回光传感器,该可旋转激光源被适配成发射激光,该返回光传感器被适配成接收反射激光并提供在多个不同的旋转角度处的距离和返回光强度的指示;
至少一个坐标参考点,各自包括变化的反射率的图案,并且各自提供至少二维坐标位置,其中,各个参考点设置在地下矿井的壁或天花板上;以及
处理器,该处理器被连接以接收与距离和返回光强度的指示有关的数据,确定采矿机在空间中的绝对坐标位置,该绝对坐标位置是随着采矿机移动穿过地下矿井在该采矿机的多个位置中的每一个位置处确定的,
其中,该处理器被配置成:
针对多个相应旋转角度收集反射激光的多个强度值,
在反射激光的多个强度值中检测参考点的图案,其中多个强度值是在整个图案上收集的,并且由于图案的变化的反射率,所述多个强度值表示整个图案的对比度,并且
基于检测到的图案的空间信息确定采矿机在空间中的绝对坐标位置。
采矿机可以是连续采矿机,其被控制以基于连续采矿机在空间中的绝对坐标位置来创建期望的切割。
所述图案可以是放置在地下矿井中以辅助导航的基准标记(fiduciary marker)的图案。
所述图案可以对与所述至少一个坐标参考点相关联的信息进行编码。
所述图案可以是深色和浅色区域的矩形图案。
所述图案可以包括QR码或ArUco码。
所述空间信息可以包括激光源的一个或更多个旋转角度,在所述旋转角度处检测到坐标参考点。
所述空间信息可以包括针对在其处检测到坐标参考点的旋转角度的距离的指示。
所述空间信息可以包括图案相对于采矿机的姿态。
确定采矿机在空间中的绝对坐标位置可以包括确定采矿机相对于所述图案的姿态。
确定采矿机在空间中的绝对坐标位置可以基于距所述至少一个坐标参考点的距离。
处理器可以被进一步被配置成:
基于所述图案确定所述至少一个坐标参考点的标识符;
基于所述标识符确定所述至少一个坐标参考点的至少2D坐标位置;并且
基于所述距离以及所述至少一个坐标参考点的至少2D坐标位置,确定采矿机在空间中的绝对坐标位置。
处理器可以被配置成从多个参考点确定方向角并执行三角测量以确定采矿机在空间中的绝对坐标位置。
确定采矿机在空间中的绝对坐标位置可以基于来自与返回光传感器不同的一个或更多个另外的传感器的数据。
所述一个或更多个另外的传感器可以包括以下中的一个或更多个:
摄像头,用于检测地下矿井中的特征并基于该特征在摄像头图像中的位置来确定采矿机的绝对坐标位置;
雷达,用于检测特征与采矿机的距离并基于该距离确定采矿机的绝对坐标位置;以及
惯性导航系统,用于确定采矿机的相对坐标位置。
确定采矿机在空间中的绝对坐标位置可以基于卡尔曼滤波器,以将所述另外的传感器与检测到的图案的空间信息相融合。
一种在地下矿井中通过采矿车辆进行导航的方法,该方法包括:
针对激光源的多个相应旋转角度,收集反射激光的多个强度值,
在反射激光的多个强度值中检测参考点的图案,其中,多个强度值是在整个图案上收集的,并且由于图案的变化的反射率,所述多个强度值表示整个图案的对比度,以及
基于检测到的图案的空间信息确定采矿机在空间中的绝对坐标位置。
该采矿机可以是连续采矿机,并且该方法还包括控制该连续采矿机以创建期望的切割。
关于系统或方法描述的可选特征等同地适用于本文所描述的其它方面,包括系统和方法。
附图说明
现在将参考以下附图来描述示例:
图1示出了用于控制地下矿井内的采矿机的系统。
图2更详细地示出了图1的参考点之一的图案。
图3示出了三角测量场景。
图4示出了三边测量场景。
图5示出了示例导航场景。
图6示出了在地下矿井中通过采矿车辆进行导航的方法。
具体实施方式
导航系统
图1示出了用于控制地下矿井102内的采矿机101的系统100。系统100包括可旋转激光源103和返回光传感器104,该旋转激光源被适配成发射激光,该返回光传感器被适配成接收反射激光并提供在多个不同的旋转角度和至少一个坐标参考点处的距离和返回光强度的指示。传感器104随激光源103旋转以接收在激光源的整个范围上的反射激光。示例设备是Hokuyo UTM-30LX。
应注意,地下矿井102可以是煤矿井,其中甲烷气体以足以引起爆炸或火灾危险的高浓度存在。由于这个原因,激光源103有利地被放置在防火外壳中,例如放置在玻璃或对激光透明的其它材料的圆顶中。对于诸如玻璃的反射材料,将激光源103和传感器104放置成使得传感器在从圆顶/外壳的内部反射的光的光路之外也是有利的。这减少了反射激光对传感器造成的眩光,眩光可能导致难以感测到被周围环境反射的激光。激光源103可以连续地绕旋转轴旋转并发射激光的短脉冲,同时传感器104检测反射光并测量从发射激光起的时间延迟时,从而基于光速来计算距离。激光发射光脉冲的速率限定了每次测量的旋转角度的步幅。例如,在每秒一次完整旋转(每秒360度)和720/s的脉冲速率的情况下,每次测量之间的角度分辨率为0.5度。
在图1的示例中,还存在第一参考点105和第二参考点106。参考点105和106中的每一个都包括如图1所示的作为深色和浅色对比方形图案的变化的反射率的图案。因此,这些图案或参考点也被称为“编码”特征。各参考点105、106提供至少2D坐标位置。参考点105、106在它们可用于确定2D坐标位置的意义上来提供所述至少2D坐标位置。例如,参考点105、106(在本文中也称为标记)被安装在地下矿井内的已知点处,这些已知点具有在地下矿井的壁或天花板上的已知坐标位置。这些已知点可以从其它已知参考点或勘探钻孔地点通过其它手段(例如勘测手段)或手动距离测量等来测量。各标记105、106的坐标位置还可以包括深度/高度作为第三维度(3D)。此外,坐标位置可以是在矿井自身的坐标系内例如相对于在矿井内或附近的原点的位置。这样的坐标也被认为是绝对的,因为它将位置锚定在全球经纬度参考框架内。这与例如相对于先前位置或相对于采矿机101的相对坐标位置形成对照。相对坐标位置包括在惯性导航系统中通过航位推算(dead-reckoning)而获得的相对于先前位置的位置。
数据处理
采矿机101包括连接至可旋转激光源103和光传感器104的处理器107,以接收与距离和返回光强度的指示有关的数据。处理器107可以直接连接,以便监测旋转信号和光传感器输出。另选地,处理器107可以例如经由激光测距仪的输出端口或数据端口间接连接。例如,处理器107可以接收旋转角度值、针对各旋转角度值的距离和返回强度的值的数据流。应注意,旋转角度可以具有两个元素,例如方位角和倾斜角(或极角/仰角)。另选地,这可以称为水平角和垂直角。这意味着一对方位和倾斜值被视为一个旋转角度值,并且针对各旋转角度值,处理器107接收距离值和反射光的返回强度,例如0到255之间的值。处理器107现在可以使用这些角度和返回强度(可能与距离值一起使用)来确定采矿机101的在空间中的绝对坐标位置。处理器107确定随着采矿机移动穿过地下矿井102在该采矿机的多个位置中的每一个位置处的这种绝对坐标位置。
更具体地,处理器107被配置成执行以下步骤,这些步骤也在图6中示出。也就是说,处理器107针对多个相应旋转角度收集反射激光的多个强度值以生成“彩色”点云。点云类似于由激光测距仪生成的点云,但在各个点具有与之相关的强度(“颜色”)的意义上是“彩色”的。当然,由于强度值仅是一维的(由于激光的单色性),因此其在更大程度上是灰度值,但是可以将其映射到色标的颜色以用于可视化。现在,在彩色点云内,处理器107在反射激光的多个强度值中检测参考点105、106的图案。应注意的是,所述多个强度值是在各个图案上收集的,并且由于图案的变化的反射率,所述多个强度值表示在该图案上的对比度。换句话说,处理器107检测高反射率的区域,该区域与图案中的白色区域有关。处理器107还可以检测低反射率的区域,该区域与图案中的黑色区域有关。然而,这些可能根本不可检测,处理器107然后会将点云中的缺失点视为黑点。
处理器107然后可以基于检测到的图案的空间信息来确定采矿机101的空间中的绝对坐标位置。检测图案的空间信息可以包括图案相对于采矿机的相对方向,其可以与激光的方位角相同或者相对于其具有固定的偏移量。如果想要进行3D导航,则该方向也可以包括倾斜度。所述空间信息还可以包括图案与采矿机的距离。应注意,图案通常覆盖多个反射强度点,图案的实际方向/距离可以是属于该图案的所有点的中心点的方位角/倾斜度/距离。
如在下文中所描述的,图案的其它空间信息还可以包括存储在采矿机101或外部计算机系统上的图案的绝对坐标位置。
在一个示例中,采矿机101是连续采矿机,其被控制以基于该连续采矿机的空间中的绝对坐标位置来创建期望的切割。从这个意义上讲,连续采矿机基于所确定的绝对坐标位置导航穿过地下矿井并切割材料,以创建所期望的切割。这可能涉及计算当前位置与所期望的切割之间的空间差,并校正当前位置从而控制所实现的切割,应注意,切割头与采矿机101之间通常存在固定的空间关系。在上下文中,参考点105、106可以位于连续采矿机的后面,即,在地下矿井的一部分中,在该部分中,实际实现的切割已经基本上等于所期望的切割。激光器104然后可以检测标记105、106以确定准确的当前位置。
参考点
应注意,可以使用各种不同类型的图案,其可以概括为基准标记的图案。基准标记或简称为“基准”是放置在成像系统的视场中的对象,该对象出现在所产生的图像中,用作参考点或度量。在此,将其放置在可旋转激光源104的视场中,即,将标记放置在地下矿井中以辅助导航。
虽然可旋转激光源104处于活动状态,并因此在物理上不同于成像系统(例如光学摄像头),但可以使用现有的软件库(例如点云库或OpenCV)以通过利用强度值作为像素值并利用旋转角度(方位角/仰角)作为软件库的像素坐标在点云数据中检测基准标记的图案。
应注意,处理器107可以仅使用强度数据来识别图案。然而,也可以基于距离数据来计算滤波器,并将该滤波器应用于强度数据。例如,图案通常被应用到相对平坦的表面上。因此,整个平面上的距离测量值的变化应该相对较小。相比之下,矿井101中的大多数其它表面(例如岩壁、天花板等)相对较粗糙,并且距离测量值变化很大。因此,处理器107可以计算跨一定角度范围(例如1度的一片区域)的距离测量值的方差。如果该方差高于阈值,则为了进行图案识别,该片区域的强度值将被忽略。反之亦然,如果该方差低于阈值,则强度值被使用。
当处理器107检测到标记并确定x/y像素坐标时,处理器107可以借助所存储的像素坐标与旋转角度之间的映射将该x/y像素坐标映射回旋转角度。例如,激光器可以旋转约360度方位角和90度仰角,并提供角度采样率,即,各个连续强度值之间的增量角(deltaangle)。处理器107可以使用该增量角来将旋转角度计算成表示点云的图像的任何像素坐标的方位角和仰角。
当标记用作参考点时,它们的图案还可以对与至少一个坐标参考点相关联的信息进行编码。重要的是,图案可以对标记的标识符进行编码。处理器107可以将该标识符用作存储该标记的绝对位置的数据库中的查找关键字。利用如上所述的标记的绝对坐标位置和相对于该标记的角度,处理器107可以执行三角测量以确定采矿机101的绝对坐标位置。另外的信息也可以被编码到标记中或存储在数据库中,例如标记是否在壁或天花板上、标记的姿态或标记是否在地下矿井内的转折点或拐角或其它重要位置处。
在一个示例中,图案是如图1所示的深色和浅色区域的矩形图案,其可以包括QR码或ArUco码。ArUco码是来自图案字典的图案,其可以通过自动方式生成。第一步是将标记的大小设置为n×n,其中可以按在库中不同图案的数量与图案的可读性/大小之间权衡的方式来选择n。在此示例中,n被选择为4,因此每个图案包含16个黑白方块。生成算法从空字典D开始,该空字典D被逐渐填充新的标记。在算法的每次迭代中,标记是基于一个随机过程来选择的,该随机过程会向具有更多位转换数量且其字尚未添加到D的标记分配更高的概率。如果所生成的标记与D中的标记之间的距离(例如汉明距离)大于最小值τ,则添加该标记。否则,该标记将被拒绝,并随机选择新的标记。当实现了所需数量的标记时,该过程停止。
关于生成和检测ArUco码的更多详细信息,请参见:S.Garrido-Juradon,R.
Figure GDA0003884155460000071
F.J.Madrid-Cuevas,M.J.Marín-Jiménez,“Automatic generation anddetection of highly reliable fiducial markers under occlusion”,PatternRecognition 47(2014)2280–2292,其通过引用包括在本文中。
图2更详细地示出了参考点105的图案200。尤其是,图2示出了由传感器104在整个图案200上感测到的反射光的强度。各反射强度由圆圈表示,其表示图案200上当测量强度时激光击中图案的点。白色圆圈表示相对较高的强度,表示由于白色区域导致的高反射率,而黑色圆圈表示相对较低的强度,表示由于图案200中的黑色区域而导致的低反射率。虚线圆圈代表具有比实线圆圈更大测量距离的点,表示虚线圆圈的点位于图案200的平面的后面。这可以用来对虚线圆圈的测量值或辅助边缘检测进行滤波以将图案与其余点云隔离开。即,可以对距离数据执行边缘检测,因为这将导致图案的平坦表面与图案周围的粗糙表面之间的锐利边缘。
再次注意,各个圆圈与激光器103的旋转角度相对应,但是在图2的图示中,这些角度被投影到平面二维表面上。以此方式,圆圈(即,由圆圈代表的强度)可以用作二维图像中的像素值。在这个意义上,图2还示出了可以提供给图案检测算法以检测图案并由此识别标记105的图像。应注意,为了清楚起见,在图2中加入了实线,但是它们不是图像的一部分。实际上,图案检测算法将线确定为表示所识别出的图案,如图1中的105所示。
导航
在一个示例中,采矿机101的姿态(例如从磁性或惯性测量)是已知的,并因此,相对于真北的到参考点的方向是可获得的。此外,激光测量提供了到参考点的距离。然后,只需将方向/距离矢量添加到参考点的绝对坐标位置,即可使用该方向和距离来确定采矿机的绝对坐标位置。其它示例包括三角测量和三边测量。
图3示出了三角测量场景300,其中,处理器107分别测量朝向标记105和106的角度301和302。处理器107还可以具有可用于确定相对于北的方位角α和β的北向(即姿态)。该姿态可以从地球重力矢量、地球磁场、惯性导航或其它方法获得,应注意,姿态中的典型误差不会导致绝对坐标位置中的大误差,因为姿态误差不会按原样累积在航位推算中。处理器107然后可以通过以下公式计算出y坐标位置303:
Figure GDA0003884155460000081
其中,l是标记105和106之间的距离。从这个意义上说,所检测到的图案的空间信息包括激光源的旋转角度301,在该旋转角度处检测到坐标参考点。一旦可获得y坐标位置303,就可以相对容易地计算出x坐标位置304。
图4示出了三边测量场景400,其中,处理器107分别测量与标记105和106的距离401和402,如圆圈所示。处理器107可以应用三边测量来计算采矿机101的坐标位置。尤其是,处理器107可以通过以下公式计算出x坐标位置404和y坐标位置403:
Figure GDA0003884155460000082
Figure GDA0003884155460000083
其中,r是距离,U是两个标记105和106之间的距离。从这个意义上说,确定采矿机101在空间中的绝对坐标位置是基于距坐标参考点105和106的距离。
距离和角度两者可以组合,使得所检测到的图案的空间信息包括针对在其处检测到坐标参考点的旋转角度的距离的指示。这样,处理器107使用所有可获得的信息(包括朝向标记的方向角以及距标记的距离)来精确地计算绝对坐标位置。即,通过确定相对于坐标参考点105和106的相对角度来解决y的模糊性(ambiguity)。
还应注意的是,标记105的感知形状由于视角(即,激光束与图案的表面法线之间的角度)而改变。这可以被算法用来估计采矿机101相对于图案的姿态。该姿态信息也可以用作角度来计算采矿机101的位置。换句话讲,坐标参考点(例如图案)的表面法线与可旋转激光源之间的角度使得能够对采矿机进行姿态估计或位置估计。例如,角度可以在0度到90度之间,这样图案就在激光源的“视野内”,即,激光源和图案之间有一条直接的视线。此外,对于零角度,姿态信息或位置估计的精度可以是最大的,这意味着激光束在垂直方向上击中图案。然后,随着角度的增加,精度可能会降低。在阈值角度(可以是80度或另一值)处,精度可能变得很差,可能不能再进行姿态估计或位置估计。
在一个示例中,处理器107基于图案来确定坐标参考点105、106的标识符。各可能的ArUco图案从可以针对数字1、2、3等生成ArUco图案的意义上来说可以直接与数字相关联。换句话说,图案字典可以由整数变量索引。另选地,图案可以呈现诸如QR码中的对数字或其它标识符进行编码的代码。然后,处理器107可以将提取的标识符用作数据库中的查找值以获得参考点105、106的绝对坐标位置,然后如上所述将这些位置与所测量的距离和/或角度一起用于计算采矿机101的绝对坐标位置。
数据融合
还可以将来自不同传感器的数据进行融合,从而基于来自与返回光传感器不同的一个或更多个另外的传感器的数据来确定采矿机在空间中的绝对坐标位置。例如,采矿机101可以包括惯性导航系统,该惯性导航系统提供相对坐标位置或者甚至是绝对坐标位置的估计。采矿机101还可以包括雷达、可见摄像头或红外传感器,以基于可见和/或地质特征(例如包括标记带、地层高度等的煤层特征)来确定绝对坐标位置的进一步估计。
来自摄像头的图像数据也可以提供给图案检测算法。由于摄像头与激光器之间的恒定空间关系,因此激光点云可以与摄像头图像对齐。换句话说,可以确定点云与摄像头图像之间的映射。这可以通过校准程序来实现,其中将基准标记同时放置在摄像头和激光器的视场中,并且可以将显示相同标记的摄像头像素和激光点分配给彼此。
摄像头可以检测地下矿井中的特征,并且处理器107可以基于摄像头图像中的特征的位置来确定采矿机的绝对坐标位置。此外,雷达可以检测特征距采矿机的距离,并基于该距离来确定采矿机的绝对坐标位置。
在另一示例中,基于卡尔曼滤波器来确定采矿机在空间中的绝对坐标位置。这实质上意味着将另外的传感器与检测到的图案的空间信息融合在一起。更具体地,采矿机101的状态空间包括采矿机101的位置、姿态、旋转速率和速度。通过检测标记105、106估计的绝对坐标位置与来自惯性导航系统的速度以及任何另外的传感器输入一起形成观察向量。然后,卡尔曼滤波器可以针对每个观测值计算权重,以优化随时间变化的坐标位置的准确性。
在又一示例中,当例如由于阻塞或灰尘而导致处理器107未识别到参考点时,采矿机101可能会退回到惯性导航。一旦参考点再次对激光器/传感器可见,处理器107就可以基于参考点的空间信息校正现在不准确的坐标位置。在另一示例中,参考点可以不对图案中的任何信息进行编码。然而,参考点位置的相对分离使得能够推断出参考点的身份并且使得能够从这些现在已知的参考点来运算机器的绝对位置。
示例场景
图5示出了示例场景,其中采矿机101如箭头502所示移动穿过地下矿井501。地下矿井501包括第一侧壁503和第二侧壁504。在第一侧壁503与第二侧壁504之间的交界处有一个坐标参考点505,其示出为形成ArUco码的变化的反射率的图案。当采矿机101远离参考点505时,整个图案上的激光点数量可能不足以正确识别该图案,但是随着采矿机101移近,该图案变得可识别。
例如,在距参考点10m的距离和0.1度的角分辨率下,图案上激光点之间的距离(空间分辨率)约为17mm(sin(0.1)*10m)。因此,如果图案的大小约为1m×1m,则整个图案上将有大约50×50个(总共2500个)激光点。这对于准确检测图案应该足够了。对于200m的距离,该空间分辨率减小到2×2个(总共4个)激光点,这可能是不够的,因为每个方块中可能连至少一个激光点都没有。
一旦处理器107检测到图案并且获得了图案的绝对坐标位置,处理器107就可以如上所述使用它来确定采矿机的绝对坐标位置。处理器107可以每20ms、每1s或以其它间隔重复此过程,并进行相应导航。例如,采矿机101可以沿着第一侧壁503移动,直到到达与第二侧壁504的拐角为止。然后,采矿机101可以转向以改变方向并遵循第二侧壁504。采矿机101也可以遵循预先配置的由地下矿井501内的绝对坐标位置的航路点组成的行进路径。此外,采矿机101可以将当前坐标位置发送给远程操作员,以使得能够对采矿机101进行远程控制。
方法
图6示出了在地下矿井中通过采矿车辆进行导航的方法600。该方法可以由处理器107或另一计算机系统执行,该计算机系统可以位于采矿机上、地下矿井中或外部,例如在远程控制中心中。该方法可以以存储在非易失性计算机可读存储介质上的计算机程序代码来实现。该计算机程序代码被编译并存储在处理器或计算机系统的程序存储器中,并从那里执行,并使该处理器或计算机系统执行方法600的步骤。方法600的步骤已在上文进行了实质性的描述,因此,以上公开内容适用于方法600的步骤。
在此意义上,处理器针对激光源的多个相应旋转角度收集601反射激光的多个强度值。所述收集可以通过控制或接合提供强度值和角度值的激光测距仪来进行。然后,处理器在反射激光的多个强度值中检测参考点的图案,例如ArUco等。所述多个强度值在整个图案上收集,并且由于图案的变化的反射率,所述多个强度值表示整个图案的对比度。
处理器然后基于检测到的图案的空间信息来确定采矿机在空间中的绝对坐标位置。如上所述,采矿机可以是连续采矿机,并且处理器可以控制该连续采矿机以创建期望的切割。期望的切割可以是由采矿工程师或自动设计的切割。这可以基于估计或测得的煤层位置以最佳地从地下矿井中提取煤炭。在另外的示例中,期望的切割是由连续采矿机创建的煤巷的位置,以便于以后的长壁开采。
测试数据
在一个示例中,激光器103/传感器104每秒生成1080*40=43200个点,每秒扫描6度,这意味着每次扫描60*43200=2592000个点。可以根据需要增加或减少。
本领域技术人员将认识到,在不脱离本公开的广泛一般范围的情况下,可以对上述实施方式进行多种变化和/或修改。因此,本实施方式在所有方面都应被认为是说明性的而非限制性的。

Claims (15)

1.一种用于控制地下矿井内的采矿机的系统,所述系统包括:
可旋转激光源和返回光传感器,所述可旋转激光源被适配成发射激光,所述返回光传感器被适配成接收反射激光并提供在多个不同的旋转角度处的距离和返回光强度的指示;
至少一个坐标参考点,所述至少一个坐标参考点各自包括变化的反射率的图案并且各自提供至少2D坐标位置,其中,
各参考点设置在所述地下矿井的壁或天花板处;
所述图案是在二维中的每一维中的变化的反射率的布置;并且
所述图案对与所述至少一个坐标参考点相关联的信息编码;以及
处理器,所述处理器被连接以接收与距离和返回光强度的所述指示有关的数据,用于确定所述采矿机在空间中的绝对坐标位置,所述绝对坐标位置是随着所述采矿机移动穿过所述地下矿井在所述采矿机的多个位置中的每一个位置处确定的,
其中,所述处理器被配置成:
针对多个相应旋转角度收集反射激光的多个强度值,以生成所收集的多个强度值的点云,
在反射激光的所述多个强度值的所述点云中检测所述至少一个坐标参考点的变化的反射率的所述图案,其中,所述多个强度值是在整个所述图案上收集的,并且由于所述图案的变化的反射率,所述多个强度值表示整个所述图案的对比度,
从所检测到的图案中提取与所述至少一个坐标参考点相关联的编码信息,
使用所提取到的信息确定空间信息,并且
根据在所述图案的视角由所述返回光传感器感知到的所述图案的形状确定所述采矿机在空间中的绝对坐标位置和所述采矿机相对于所述至少一个坐标参考点的姿态,
其中,所述视角是所述激光和所述至少一个坐标参考点的所述图案的表面法线之间的角度。
2.根据权利要求1所述的系统,其中,所述采矿机是连续采矿机,所述连续采矿机被控制以基于所述连续采矿机在空间中的绝对坐标位置来创建期望的切割。
3.根据权利要求1或2所述的系统,其中,所述图案是放置在所述地下矿井中以辅助导航的基准标记的图案。
4.根据权利要求1所述的系统,其中,所述图案是深色和浅色区域的矩形图案。
5.根据权利要求4所述的系统,其中,所述图案包括QR码或ArUco码。
6.根据权利要求1所述的系统,其中,所述空间信息包括所述可旋转激光源的一个或更多个旋转角度,在所述一个或更多个旋转角度处检测所述至少一个坐标参考点。
7.根据权利要求1所述的系统,其中,所述空间信息包括针对检测所述至少一个坐标参考点的旋转角度的所述距离的指示。
8.根据权利要求1所述的系统,其中,所述处理器被配置成:
基于所述图案确定所述至少一个坐标参考点的标识符;
基于所述标识符确定所述至少一个坐标参考点的所述至少2D坐标位置;并且
基于所述距离和所述至少一个坐标参考点的所述至少2D坐标位置确定所述采矿机在空间中的绝对坐标位置。
9.根据权利要求1所述的系统,其中,所述处理器被配置成从多个参考点确定方向角,并且执行三角测量以确定所述采矿机在空间中的绝对坐标位置。
10.根据权利要求1所述的系统,其中,确定所述采矿机在空间中的绝对坐标位置是基于以下项中的至少一项:(i)与所述至少一个坐标参考点的距离,以及(ii)来自与所述返回光传感器不同的一个或更多个另外的传感器的数据。
11.根据权利要求10所述的系统,其中,所述一个或更多个另外的传感器包括以下中的一个或更多个:
摄像头,所述摄像头检测所述地下矿井中的特征,并基于所述特征在摄像头图像中的位置来确定所述采矿机的绝对坐标位置;
雷达,所述雷达检测特征距所述采矿机的距离,并基于该距离确定所述采矿机的绝对坐标位置;以及
惯性导航系统,所述惯性导航系统确定所述采矿机的相对坐标位置。
12.根据权利要求10或11所述的系统,其中,确定所述采矿机在空间中的绝对坐标位置是基于卡尔曼滤波器,以将所述另外的传感器与所检测到的图案的所述空间信息相融合。
13.一种在地下矿井中由采矿车辆进行导航的方法,所述方法包括以下步骤:
针对激光源的多个相应旋转角度收集反射激光的多个强度值,以生成所收集的多个强度值的点云,
在反射激光的所述多个强度值的所述点云中检测至少一个坐标参考点的变化的反射率的图案,其中,所述多个强度值是在整个所述图案上收集的,并且由于所述图案的所述变化的反射率,所述多个强度值表示整个所述图案的对比度,其中,所述图案是在二维中的每一维中的变化的反射率的布置,并且所述图案对与所述至少一个坐标参考点相关联的信息编码,
从所检测到的图案中提取与所述至少一个坐标参考点相关联的编码信息,
使用所提取到的信息确定空间信息,
根据在所述图案的视角由返回光传感器感知到的所述图案的形状确定采矿机在空间中的绝对坐标位置和所述采矿机相对于所述至少一个坐标参考点的姿态,
其中,所述视角是所述激光和所述至少一个坐标参考点的所述图案的表面法线之间的角度。
14.根据权利要求13所述的方法,其中,所述采矿机是连续采矿机,并且所述方法还包括以下步骤:控制所述连续采矿机以创建期望的切割。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有指令,所述指令在由计算机执行时使所述计算机执行根据权利要求13或14所述的方法。
CN202010510590.8A 2019-07-18 2020-06-08 控制采矿机的系统、由采矿车辆进行导航的方法和介质 Active CN112240205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2019902545A AU2019902545A0 (en) 2019-07-18 Machine Guidance Integration
AU2019902545 2019-07-18

Publications (2)

Publication Number Publication Date
CN112240205A CN112240205A (zh) 2021-01-19
CN112240205B true CN112240205B (zh) 2023-07-07

Family

ID=74170435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510590.8A Active CN112240205B (zh) 2019-07-18 2020-06-08 控制采矿机的系统、由采矿车辆进行导航的方法和介质

Country Status (5)

Country Link
US (1) US11506053B2 (zh)
CN (1) CN112240205B (zh)
AU (1) AU2020202698A1 (zh)
CA (1) CA3080510A1 (zh)
ZA (1) ZA202002812B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412717A (zh) * 2021-05-26 2022-11-29 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置
DE102021207180B3 (de) 2021-07-07 2022-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Lokalisieren eines Fahrzeugs in einem Umfeld
CN113572276B (zh) * 2021-08-02 2024-01-26 鲁东大学 基于线圈结构进行无线充电对位及信息传递的系统与方法
CN115509406B (zh) * 2022-11-23 2023-03-14 煤炭科学研究总院有限公司 煤矿多场景融合方法、装置、存储介质及电子设备
CN115680659B (zh) * 2023-01-03 2023-04-04 太原向明智控科技有限公司 一种基于激光检测的煤矿综采工作面调直方法与系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8313339D0 (en) * 1983-05-14 1983-06-22 Gen Electric Co Plc Vehicle guidance
EP0952427B1 (en) * 1998-04-24 2004-03-03 Inco Limited Automated guided apparatus
FI110806B (fi) * 2000-03-17 2003-03-31 Sandvik Tamrock Oy Järjestely miehittämättömien kaivosajoneuvojen paikan määrittämiseksi
SE532431C2 (sv) * 2008-05-30 2010-01-19 Atlas Copco Rock Drills Ab Metod och anordning för bestämning av en överensstämmelse mellan en representation av en omgivning och nämnda omgivning
US8364334B2 (en) 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
AU2013400684B2 (en) * 2013-09-20 2018-05-17 Caterpillar Inc. Positioning system using radio frequency signals
CN203640732U (zh) * 2013-11-14 2014-06-11 张旭 煤矿悬臂式掘进机的定位控制系统
US9146106B2 (en) 2013-12-11 2015-09-29 Trimble Navigation Limited Laser receiver using a smart device
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
CN104750115B (zh) * 2015-04-09 2017-03-08 北京科技大学 一种移动设备的激光主动式导航系统及导航方法
AU2016101951A4 (en) * 2015-08-04 2016-12-15 Commonwealth Scientific And Industrial Research Organisation Navigation of mining machines
US20170234129A1 (en) * 2016-02-11 2017-08-17 Eagle Harbor Holdings, Llc System and method for real-time guidance and mapping of a tunnel boring machine and tunnel
US10041794B1 (en) * 2017-03-29 2018-08-07 Caterpillar Global Mining Europe Gmbh Site positioning system for an underground machine
US10558872B2 (en) * 2018-03-23 2020-02-11 Veoneer Us Inc. Localization by vision
US10982541B2 (en) * 2018-06-01 2021-04-20 Joy Global Underground Mining Llc Methods and systems for controlling the heading of a mining machine
CN110082775B (zh) * 2019-05-23 2021-11-30 北京主线科技有限公司 基于激光装置的车辆定位方法和系统

Also Published As

Publication number Publication date
CA3080510A1 (en) 2021-01-18
ZA202002812B (en) 2022-07-27
US11506053B2 (en) 2022-11-22
AU2020202698A1 (en) 2021-02-04
US20210017859A1 (en) 2021-01-21
CN112240205A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112240205B (zh) 控制采矿机的系统、由采矿车辆进行导航的方法和介质
AU2004282274B2 (en) Method and device for determining the actual position of a geodetic instrument
NL2013724B1 (en) Underwater positioning system.
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
US9625912B2 (en) Methods and systems for mobile-agent navigation
JP3561473B2 (ja) 物体位置の追跡・検知方法及びビークル
US9142063B2 (en) Positioning system utilizing enhanced perception-based localization
US9989353B2 (en) Registering of a scene disintegrating into clusters with position tracking
CN107850448A (zh) 用于生成及使用定位参考数据的方法及系统
CN103983255A (zh) 用于测量和远程控制的移动场控制器
US11250622B2 (en) Map creation system and map creation method
KR101886932B1 (ko) 지리정보시스템과 노면영상정보의 동시간 활용을 통한 지표레이더탐사 위치확인 시스템
CN109425346B (zh) 用于自动化车辆的导航系统
CN114444158A (zh) 一种基于三维重建的地下巷道形变预警方法及系统
KR102608741B1 (ko) 지피에스(gps)를 이용한 지하시설물 측량 조사시스템
US11953587B2 (en) Method for ground penetrating radar detections and apparatus thereof
US20230260153A1 (en) Navigation of an underground mining machine
JP6954830B2 (ja) ターゲット装置、測量方法、測量装置および測量用プログラム
US20210278524A1 (en) Gpr scanning through the use of external scene knowledge
Kolapo Towards a Short-Range Laboratory for Testing the Accuracy of Terrestrial 3D Laser Scanning (TLS) Technologies
CN117930195A (zh) 组合式测地勘测仪器的点云辅助校准
AU756108B2 (en) Method of tracking and sensing position of objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant