CN117346791B - 基于视觉图像的智能轮椅路径规划方法及系统 - Google Patents

基于视觉图像的智能轮椅路径规划方法及系统 Download PDF

Info

Publication number
CN117346791B
CN117346791B CN202311629099.7A CN202311629099A CN117346791B CN 117346791 B CN117346791 B CN 117346791B CN 202311629099 A CN202311629099 A CN 202311629099A CN 117346791 B CN117346791 B CN 117346791B
Authority
CN
China
Prior art keywords
wheelchair
path planning
image data
potential field
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311629099.7A
Other languages
English (en)
Other versions
CN117346791A (zh
Inventor
殷绪成
任亮
马嘉威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202311629099.7A priority Critical patent/CN117346791B/zh
Publication of CN117346791A publication Critical patent/CN117346791A/zh
Application granted granted Critical
Publication of CN117346791B publication Critical patent/CN117346791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视觉的智能轮椅路径规划方法及系统，利用深度学习方法完成智能轮椅对外界的感知，设置有基于深度学习的可行驶区域检测模块、障碍物目标检测模块以及深度视觉里程计模块，通过深度学习构建的外界感知模块具有更精确的结果，同时也拥有较快的运行速度及较低的硬件成本。本方案将路径规划任务拆分为全局规划与局部规划，其中全局规划每间隔多个视频帧进行一次全局代价图的计算，而局部规划则在全局规划的基础上，每视频帧实时进行路径规划并控制轮椅运动。本方案仅利用摄像头作为唯一传感器完成路径规划任务，不依赖于多种复杂传感器共同决策，大幅降低智能轮椅的传感器成本，准确度高、算法快捷，硬件消耗少。

Description

基于视觉图像的智能轮椅路径规划方法及系统
技术领域
本发明涉及计算机视觉、图像处理及路径规划领域，尤其涉及一种基于视觉图像的智能轮椅路径规划方法及系统。本方案实现仅通过视觉图像完成智能轮椅的路径规划。
背景技术
随着科技的进步与发展，人工智能技术应用已经遍及人们的日常生活，而无人驾驶技术更是其中发展最为迅速的一类。而随着养老制度的不断完善，我国老龄人口的比例不断加剧，轮椅的需求也在不断上升，而轮椅智能化更是可以保证老人的出行安全，减少陪护人员的高昂费用。
当前路径规划系统多依赖于多传感器共同决策计算，使用包括激光雷达、毫米波雷达、速度计以及陀螺仪等相关传感器来实时获取的结果，并通过车载计算机处理预测路径规划结果。但是使用大量传感器进行路径规划需要较高性能的车载处理器，同时激光雷达等传感器造价不菲，也正是这些原因导致这些方法较难运用到智能轮椅当中。
因此，在老龄人口等中普及的智能轮椅，如何实现智能化的路径导航，并且降低硬件成本，优化路径规划算法及速度，成为目前市场亟待解决的问题。
发明内容
有鉴于此，本方案仅利用视觉摄像头作为唯一传感器，完成了智能轮椅路径导航系统，同时设计流水线形式的系统架构对整体系统进行速度优化，便于系统利用到性能较低的硬件系统中。具体而言，本方案提供了以下技术方案：
一方面，本发明提供了一种基于视觉图像的智能轮椅路径规划方法，所述方法包括：
S1、获取图像采集设备得到的图像数据；
S2、基于所述图像数据，同时进行全局路径规划及局部路径规划，所述全局路径规划得到代价图的合力势场势能，所述局部路径规划实时计算并更新当前轮椅所在位置及姿态；
S3、基于所述代价图的合力势场势能和当前轮椅所在位置及姿态，进行路径规划，得到路径规划结果。
优选地，所述S2中，所述全局路径规划进一步包括：
S21、对所述图像数据进行语义分割，对轮椅的可行驶区域进行识别；
S22、基于所述图像数据，进行障碍物检测；
S23、基于所述可行驶区域识别结果，以及障碍物检测结果，进行代价图计算，得到合力势场势能；所述代价图计算中，仅考虑可行驶区域中的障碍物。
优选地，所述S21进一步包括：
S211、通过主干网络对所述图像数据提取特征图；
S212、在所述主干网络后设置金字塔池化层，得到不同尺度的特征图，并将所述不同尺度的特征图进行拼接，得到拼接后特征图；
S213、利用卷积网络针对拼接后特征图进行逐像素分类，得到各像素分类；
S214、针对各像素分类结果，进行后处理，以确保每个像素有且仅有一个类别，所述后处理方式为：
；
其中，，/>表示图中/>位置的像素类别，/>表示图中/>位置的像素对于类别x的置信度，/>表示图中/>位置的像素对于类别y的置信度，Z表示整数，c表示预测类别数。
优选地，所述S22进一步包括：
S221、对所述图像数据进行自适应缩放，调整为固定大小，作为障碍物检测的输入图像；
S222、对输入图像进行切片，再进行拼接，然后通过卷积网络得到障碍物检测特征图；
S223、基于障碍物检测特征图，得到障碍物相对于障碍物检测特征图网格左上角的偏移位置以及边界框与真实值的高宽比值/>；
S224、计算障碍物在图像数据中的实际位置，得到障碍物检测结果，所述实际位置计算方式为：
；
；
；
；
其中，（）为障碍物在图像数据中的实际中心点坐标，（/>）为预测边界框的实际高和宽，/>函数表示t相对于网格左上角的位置偏移，/>和/>表示当前网格左上角在图像数据中的真实位置，/>和/>表示障碍物检测的输入图像的宽高尺寸大小。
优选地，所述S23中，所述合力势场势能的计算方式为：
S231、将可行驶区域最远端中心位置作为本次规划的目标点，在目标点附近添加引力势场，所述引力势场/>与轮椅和目标点间距离相关；
S232、将可行驶区域边界分割为多个等间隔边界点，在边界点和障碍物所在位置添加斥力势场，所述斥力势场/>设置为：轮椅距离障碍物或边界点越近，则斥力势能越大；
S233、叠加所述引力势场与斥力势场/>，得到合力势场势能。
优选地，所述边界点之间的间隔设置为，其中/>表示轮椅的最小可通过宽度。
优选地，所述引力势场为：
；
其中，为正比例增益系数；/>为一个矢量，表示轮椅位置/>和目标点位置之间的欧式距离/>，矢量方向是从轮椅位置指向目标点位置。
优选地，所述斥力势场为：
；
其中，k为正比例系数，为轮椅位置/>与障碍物或边界点/>间的欧式距离，/>为一个矢量，其方向为从障碍物指向轮椅；/>表示障碍物或边界点对轮椅产生作用的最大范围的常数。
优选地，所述合力势场势能函数为：
；
其中，表示轮椅位置。
优选地，所述S2中，局部路径规划采用深度视觉里程计配合实现；所述深度视觉里程计包括卷积神经网络与循环神经网络；计算方式为：
获取前一帧的图像数据和当前帧的图像数据；
将上述两帧图像数据进行拼接，获得拼接图像数据；
将拼接图像数据输入由多组卷积层构成的卷积神经网络，获取两帧图像数据的特征变化信息；
将卷积神经网络输出的所述特征变化信息输入循环神经网络中，预测相对于前一帧的图像数据轮椅的姿态变化及速度、角速度变化，进而根据前一帧图像数据中轮椅的位置和姿态，得到当前帧图像数据中轮椅的位置和姿态。
本部分中，局部路径规划是由视觉里程计联合路径规划模块完成的，视觉里程计用于输出最终决策结果。
优选地，所述循环神经网络由两层LSTM网络构成。
优选地，所述S3进一步包括：
S31、计算引力势场与斥力势场/>的梯度，得到引力势场与斥力势场对轮椅的引力与斥力大小；
S32、基于引力函数和斥力函数，计算轮椅受到的合力；
S33、将合力方向作为轮椅行驶朝向，根据合力大小决定路径规划步长，得到路径规划结果。
优选地，所述引力函数为：
；
斥力函数为：
；
其中，为正比例增益系数；/>为一个矢量，表示轮椅位置/>和目标点位置之间的欧式距离/>，矢量方向是从轮椅位置指向目标点位置；k为正比例系数，为轮椅位置/>与障碍物或边界点/>间的欧式距离/>，/>为一个矢量，其方向为从障碍物指向轮椅；/>表示障碍物或边界点对轮椅产生作用的最大范围的常数。
第二方面，本发明还提供了一种基于视觉图像的智能轮椅路径规划系统，所述系统包括：目标检测模块、语义分割模块、代价图计算模块、视觉里程计模块以及路径规划模块；
语义分割模块和目标检测模块分别从外部图像设备获取轮椅运动中的图像数据，并将语义分割处理结果和目标检测结果，输入代价图计算模块中；
代价图计算模块得到代价图的合力势场势能，并输入路径规划模块中；
所述语义分割模块、目标检测模块和代价图计算模块完成全局路径规划；
外部图像设备获取的图像数据输入视觉里程计算模块中，视觉里程计模块实时计算并更新当前轮椅所在位置及姿态，并将计算结果输入值路径规划模块；视觉里程计模块配合路径规划模块完成局部路径规划；
路径规划模块基于来自视觉里程计算模块以及代价图计算模块输入的数据，进行最终路径规划，得到路径规划结果。
优选地，所述语义分割模块对所述图像数据进行语义分割，对轮椅的可行驶区域进行识别；
所述目标检测模块基于所述图像数据，进行障碍物检测；
所述代价图计算模块基于所述可行驶区域识别结果，以及障碍物检测结果，进行代价图计算，得到合力势场势能；所述代价图计算中，仅考虑可行驶区域中的障碍物。
优选地，所述视觉里程计模块包括卷积神经网络与循环神经网络；所述卷积神经网络前设置一卷积层，该卷积层用于将前一帧的图像数据和当前帧的图像数据进行拼接；所述卷积神经网络由多组卷积层组成；所述卷积神经网络连接所述循环神经网络，所述循环神经网络由两组LSTM层组成。
优选地，所述路径规划模块得到路径规划结果的方式为：
S31、计算引力势场与斥力势场/>的梯度，得到引力势场与斥力势场对轮椅的引力与斥力大小；
S32、基于引力函数和斥力函数，计算轮椅受到的合力；
S33、将合力方向作为轮椅行驶朝向，根据合力大小决定路径规划步长，得到路径规划结果。
优选地，配合所述系统，设置有运动参数计算模块，用于基于路径规划结果，确定轮椅下一步运动的参数。
第三方面，本发明还提供了一种基于视觉图像的智能轮椅路径规划设备，所述设备至少包括存储器和处理器，所述存储器中存储有可被处理器调用的计算机指令，当所述计算机指令被所述处理器调用时，可执行如上所述的基于视觉图像的智能轮椅路径规划方法。
与现有技术相比，本发明技术方案仅利用摄像头作为唯一传感器完成路径规划任务，不依赖于多种复杂传感器共同决策，大幅降低智能轮椅的传感器成本。同时在方案中利用深度学习方法完成智能轮椅对外界的感知，具体的本方案具有基于深度学习的可行驶区域检测模块、障碍物目标检测模块以及深度视觉里程计模块，通过深度学习构建的外界感知模块具有更精确的结果，同时也拥有较快的运行速度及较低的硬件成本。为进一步提升性能，本方案将路径规划任务拆分为全局规划与局部规划，其中全局规划每间隔多个视频帧进行一次全局代价图的计算，而局部规划则在全局规划的基础上，每视频帧实时进行路径规划并控制轮椅运动。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的总体方案流程图；
图2为本发明实施例的图像处理过程示意图；
图3为本发明实施例的系统结构图；
图4为本发明实施例的特征金字塔网络结构示意图；
图5为本发明实施例的视觉里程计结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
在智能轮椅的实际使用中，本方案实现对可行驶道路的识别与路径规划功能，同时也需要实时完成对道路障碍（行人、车辆或其他障碍物等）的躲避，从而保证智能轮椅使用者的行驶安全，本方案解决了仅使用视觉传感器完成路径规划的任务，同时优化了该系统的运行速度。
如图1所示，本方案中分为全局规划与局部规划两大部分，其中全局规划用于针对图像建立当前行驶路径的代价图，而局部规划通过代价图和当前车辆里程计数据完成对路径的规划。
在一个具体的实施例中，本方案可以采用一种智能轮椅路径规划系统的方式来实现，结合图3所示，该系统中模块包括：目标检测模块、语义分割模块、代价图计算模块、视觉里程计模块以及路径规划模块。其中目标检测和语义分割模块均采用深度学习方法进行实现，基于深度学习的方法具有的较强的泛化性能，能够适应更多不同场景的变化，满足用户多样的出行需求。相比于传统的目标检测或语义分割方法，基于深度学习的方法能够降低算法复杂度，加快程序运行速度。
下面详细的介绍本系统的具体实现方案与流程，本系统由图1中S02语义分割完成对采集图像进行可行驶区域的划分，该步骤能够对图像中可行驶区域进行像素级别划分；S03目标检测模型完成对输入图像中障碍物对象进行识别，并识别出对象的2D坐标信息；S04代价图计算步骤，利用可行驶区域进行鸟瞰视图变换获取可行驶区域边界点，并根据边界点及障碍物结果计算全局可行驶代价图；S05深度视觉里程计步骤，根据采集图像变化，利用深度学习网络计算当前轮椅偏移状态及行驶姿态；S06路经预测步骤中，根据当前车辆姿态以及全局代价图计算当前轮椅的运行轨迹与路线。
为了能够提高系统运行速度保证规划路径的实时性能，本实施例中提出了一种全局规划与局部规划分离的路径规划方法。全局规划部分主要用于完成轮椅前方行驶区域代价图的构建，为了完成代价图的构建需要对道路图像进行语义分割和目标检测两个任务，在本方案中语义分割和目标检测两任务能够并行的通过语义分割模型和目标检测模型进行完成，从而进一步提升速度，最后根据两任务输出结果完成代价图的计算，由于全局规划包含大量的神经网络计算，因此在本系统中采用每秒3帧的速度进行计算；局部规划部分主要包括视觉里程计的预测模块和路径规划模块，根据全局代价图的计算结果与当前轮椅里程计数据（轮椅里程计数据由视觉里程计完成计算）进行可行驶路径的规划，同时由于该部分计算量较小，能够满足快速预测的需求，同时也为了保证轮椅行驶的安全，本部分以每秒30帧的速度进行处理。通过对全局规划和局部规划的划分，能够极大程度的降低本系统的计算量，提升运行速率，从而满足本系统在边缘端设备的部署。
上述的S02中，语义分割模型如图2所示，用于负责对轮椅的可行驶道路进行识别划分，本发明使用了PSPNet作为语义分割模型，利用TensorRT对该模型进行加速。该模型使用ResNet50作为主干网络提取图像的特征图，ResNet具有的残差网络能够大幅提升网络感受野，帮助特征图获取更多信息。在主干网络之后设置金字塔池化（Spatial PyramidPooling）层将特征图生成为不同尺度大小的特征图，并最终将这些特征图拼接起来，从而避免了不同尺度语义信息的丢失。最后通过大小的卷积完成逐像素的分类任务，将每一个像素分类为/>，其中/>，（即划分为背景区域和可行驶区域）。对于输入大小为/>的图像，输出大小为/>的语义分割结果，其中H、W分别为图像高和宽，c为预测类别数，在本发明中c一般设置为2，表示道路类别仅分为可行驶区域与其他区域（或称为背景区域），每个输出结果表示当前位置像素针对某一类别的置信度。获取语义分割结果后，还需要进一步后处理来保证每个像素有且仅有一个类别，具体方法如公式1所示。其中/>表示图中/>位置的像素类别，/>表示图中/>位置的像素对于类别c的置信度，Z表示整数。
；其中，/>（1）
上述S03中，参考图4所示，目标检测用于负责识别轮椅行驶道路中的障碍物，本发明使用了YOLOv5s作为轻量级目标检测器；此处，在进行障碍物检测时，我们优选对全图像域中的障碍物进行检测，在进行后续的代价图计算时，我们只处理可行驶区域范围内的障碍物数据；当然，此处，我们也可以只针对可行驶区域范围进行障碍物检测。在训练时Yolov5s模型使用了Mosaic方法作为数据增强方式，通过随机缩放、随机剪裁、随机排列的方式对图像进行拼接，从而提升网络对于小目标的识别能力，并增强模型的鲁棒性。同时在输入时对输入图像进行自适应的缩放，将图像输入大小固定为例如。主干网络部分，目标检测模型使用了FOCUS结构对图片按照区域进行切片操作，将输入的大小的特征图切分为/>的特征图，即将输入图像的每个通道切分为4个原图四分之一大小的特征图，随后再进行拼接操作，该方法能够有效的降低特征图的大小的同时保证最终结果的精度。随后将特征图输入至使用CSP模块的主干网络中，CSP结构能够将输入分为两个分支，分别进行卷积操作令通道数减半，之后将两个分支结果在通道数进行合并，保证输入与输出特征图大小相同，从而让模型能够学习到更多的特征的同时降低一定计算量。本实施例中优选地，模型颈部采用特征金字塔网络与路径聚合网络相结合，其中特征金字塔网络将主干网络输出的P3、P2、P1特征自上而下进行语义特征的传递，其中由高层特征向低层特征传递时使用了卷积加上采样的方式改变其特征大小。随后再将P1、P2、P3通过路经聚合网络，自下而上的完成对定位信息的传递，其中由低层特征向高层特征传递时直接利用卷积操作完成下采样。通过金字塔网络和路径聚合网络后，能够得到多尺度特征的输出，利用检测头对输出的多尺度特征预测障碍物相对于特征图网格左上角的位置偏移（/>）以及锚框（也即预设边界框）与真实值的高宽比值/>，在本方案中基于网格的每个点通过数据统计出三种不同大小尺度的锚框。最后对所有输出结果进行非极大值抑制操作，从而排除输出结果中重叠的预测框，本方案中使用DIOU替换了其中的IOU操作。
针对目标检测模型，为了获得障碍物在图像中的实际位置，本实施例通过公式2对障碍物的实际位置进行计算。
其中，（）为障碍物在检测图像中的实际中心点坐标，（/>）为预测边界框的实际高和宽。/>函数表示t相对于网格左上角位置偏移，由于网格左上角相对位置为（0，0），因此可以认为该函数在此处等同于t本身。/>和/>表示当前网格左上角在实际图像中的真实位置。/>和/>表示障碍物检测的输入图像的宽高尺寸大小（也即输入值目标检测模块或称为目标检测网络的图片的宽高尺寸大小）。
上述S04中，代价图计算通过语义分割与目标检测的结果进行代价图的计算。本实施例中代价图的计算基于人工势场法，人工势场法的思想在于给障碍物附近构建斥力势场，在目标点附近构建引力势场。在智能轮椅的自动驾驶中，本实施例中设定可行驶区域的最远端中心位置作为本次规划的目标点，在目标点附近添加引力场，该引力场主要与轮椅和目标点间距离相关，距离越大，轮椅所拥有的势能越大；距离越小，轮椅所拥有的势能越小。本实施例中，优选设置引力势场的函数如下：
（3）
其中，为正比例增益系数；/>为一个矢量，表示轮椅位置/>和目标点位置之间的欧式距离/>，矢量方向是从轮椅位置指向目标点位置。
本实施例中，斥力势场的建立主要针对障碍物和可行驶区域。对于可行驶区域构建时，优选的，可以将可行驶区域边界分割成多个点，令每个点的间隔为，其中/>表示轮椅的最小可通过宽度，之后在边界点和障碍物所在位置上施加斥力势场/>，本实施例中，优选设置斥力势场函数如下：
（4）
其中，k为正比例系数，为轮椅与障碍物或边界点间的欧式距离/>，该数值为一个矢量，其方向为从障碍物指向轮椅，/>是用于表示障碍物或边界点对轮椅产生作用的最大范围的常数。该函数表示了在斥力势场的作用范围/>内，障碍物和可行驶区域的边界线点会对轮椅产生斥力势场，距离障碍物或边界点越近，轮椅具有的斥力势能越大，反之越小。
代价图的计算通过引力势场与斥力势场/>叠加获得，此时检测区域内的合力势场势能函数为：
（5）
该函数可以表示智能轮椅在当前区域内任一位置所受到的合力势场势能大小。
对于S05中，本实施例中通过基于深度学习的方法实现视觉里程计的计算。在传统方法中视觉里程计大多数通过额外传感器获取，例如通过汽车轮胎上安装的码盘获取轮胎转动距离，同时通过加速计等设备计算车辆偏移，从而获取到里程计信息即运动物体的轨迹。而本实施例中，在仅依靠视觉传感器（例如单目相机）的条件下，使用深度学习的方式构建了深度视觉里程计网络。该深度学习的方法与传统视觉里程计方法相比具有更强的泛化能力，同时具有较快的运算速度。
本实施例中深度视觉里程计如图5所示，主要分为卷积神经网络与循环神经网络两个部分，在任务开始前首先将前一时刻图像与当前时刻图像在特征维度上进行拼接，从而获得具有前后两帧图像的特征图，此处的拼接操作，可以采用常用的例如在特征维度上对图像进行堆叠的操作实现。随后将特征图输入卷积神经网络中，本项目中卷积神经网络主要由多组卷积层所组成，该部分用于对前一帧图像与当前帧图像进行特征匹配，从而获取两帧图像的特征变化信息，便于后面对循环神经网络估计位姿的变化。随后将卷积神经网络的输出输入至循环神经网络中，循环神经网络由两层LSTM组成，利用LSTM所具备的时序关系建模能力，对输出的特征进行时序关系的建模，从而预测轮椅相对于前一帧的姿态变化以及速度、角速度的变化。最后根据上一帧轮椅的所在位置和姿态，就可以计算出当前轮椅所在位置、运动状态和姿态。
本实施例中，上述S06中，根据轮椅所在区域内当前位置及姿态和代价图的计算结果，使用人工势场法进行路径规划。由于前面代价图的计算结果是通过引力势场与斥力势场/>计算所得，其中目标点所在处具有势能最小值，在轮椅路径规划中我们只需让轮椅沿势场线运动到势能最小处即可。此处，优选的，我们根据势场函数计算梯度的方式得到势场对轮椅引力大小，并且可以得到轮椅沿合力势场的运动方向。其中引力函数/>为：
（6）
斥力函数为：
（7）
而所受合力的表达为：
（8）
最终，我们只需要根据合力方向作为轮椅行驶朝向，根据合力大小结合轮椅相关参数获得移动步长，即可得到路径规划结果，轮椅的相关参数，可以基于轮椅的实际数据来确定，例如轮子距离、轮长等等，具体的换算方法可以采用常规的算法计算，此处不再赘述。对于轮椅的运动控制，本系统通过根据轮椅当前位置姿态，和路径规划向前三步得到的参考点，计算轮椅所需的线速度与角速度，并利用PID对速度进行调节。基于当前位置姿态及目标点和步长，确定运动的线速度与角速度，从而对轮椅电机进行PID控制，均可以采用现有的开源算法进行，该些内容不属于本发明的发明点，不再赘述。
以下，结合图3，对本发明方案通过系统方式实现时的具体设计方式进行补充说明。该系统中模块包括：目标检测模块、语义分割模块、代价图计算模块、视觉里程计模块以及路径规划模块。其中语义分割模块和目标检测模块分别从外部图像设备（例如摄像头）处获取轮椅运动中的图像数据，并将语义分割处理结果和目标检测结果，输入代价图计算模块中；代价图计算模块将代价图计算的结果输入路径规划模块中；同时，外部图像设备（例如摄像头）获取的图像数据输入视觉里程计算模块中，经该模块计算后的结果输入值路径规划模块。此后，路径规划模块基于视觉里程计算模块以及代价图计算模块的结果，进行路径规划，以实现对智能轮椅运动的合理路径规划。
进一步的，基于路径规划的计算结果，我们可以进一步对接外部的运动参数计算模块，从而确定智能轮椅下一步运动的参数，例如运动的角度、速度、步长等等。此处，运动参数计算模块，也可以设置在本系统内部，或者作为外部协同模块，实现对智能轮椅的运动控制。
更进一步的，运动参数计算模块在确定运动参数后，还可以将参数输入值PID控制模块，以控制轮椅电机，按照规划路径进行运动。
进一步的，所述语义分割模块对所述图像数据进行语义分割，对轮椅的可行驶区域进行识别；
所述目标检测模块基于所述图像数据，进行障碍物检测；
所述代价图计算模块基于所述可行驶区域识别结果，以及障碍物检测结果，进行代价图计算，得到合力势场势能；所述代价图计算中，仅考虑可行驶区域中的障碍物。
进一步的，所述视觉里程计模块包括卷积神经网络与循环神经网络；所述卷积神经网络前设置一卷积层，该卷积层用于将前一帧的图像数据和当前帧的图像数据进行拼接；所述卷积神经网络由多组卷积层组成；所述卷积神经网络连接所述循环神经网络，所述循环神经网络由两组LSTM层组成。
进一步的，所述路径规划模块得到路径规划结果的方式为：
S31、计算引力势场与斥力势场/>的梯度，得到引力势场与斥力势场对轮椅的引力与斥力大小；
S32、基于引力函数和斥力函数，计算轮椅受到的合力；
S33、将合力方向作为轮椅行驶朝向，根据合力大小决定路径规划步长，得到路径规划结果。
本方案在又一种实施方式下，可以通过设备的方式来实现，该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。因此，可以由相应模块执行上述各个实施方式的每个步骤或几个步骤，并且该电子设备可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该设备可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本方案的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本方案的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本方案中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.基于视觉图像的智能轮椅路径规划方法，其特征在于，所述方法包括：
S1、获取图像采集设备得到的图像数据；
S2、基于所述图像数据，同时进行全局路径规划及局部路径规划，所述全局路径规划得到代价图的合力势场势能，所述局部路径规划实时计算并更新当前轮椅所在位置及姿态；
S3、基于所述代价图的合力势场势能和当前轮椅所在位置及姿态，进行路径规划，得到路径规划结果；
所述S2中，所述全局路径规划进一步包括：
S21、对所述图像数据进行语义分割，对轮椅的可行驶区域进行识别；
S22、基于所述图像数据，进行障碍物检测；
S23、基于所述可行驶区域识别结果，以及障碍物检测结果，进行代价图计算，得到合力势场势能；所述代价图计算中，仅考虑可行驶区域中的障碍物；
所述S23中，所述合力势场势能的计算方式为：
S231、将可行驶区域最远端中心位置作为本次规划的目标点，在目标点附近添加引力势场，所述引力势场/>与轮椅和目标点间距离相关；
S232、将可行驶区域边界分割为多个等间隔边界点，在边界点和障碍物所在位置添加斥力势场，所述斥力势场/>设置为：轮椅距离障碍物或边界点越近，则斥力势能越大；
S233、叠加所述引力势场与斥力势场/>，得到合力势场势能。
2.根据权利要求1所述的方法，其特征在于，所述S21进一步包括：
S211、通过主干网络对所述图像数据提取特征图；
S212、在所述主干网络后设置金字塔池化层，得到不同尺度的特征图，并将所述不同尺度的特征图进行拼接，得到拼接后特征图；
S213、利用卷积网络针对拼接后特征图进行逐像素分类，得到各像素分类；
S214、针对各像素分类结果，进行后处理，以确保每个像素有且仅有一个类别，所述后处理方式为：
；
其中，，/>表示图中/>位置的像素类别，/>表示图中/>位置的像素对于类别x的置信度，/>表示图中/>位置的像素对于类别y的置信度，Z表示整数，c表示预测类别数。
3.根据权利要求1所述的方法，其特征在于，所述S22进一步包括：
S221、对所述图像数据进行自适应缩放，调整为固定大小，作为障碍物检测的输入图像；
S222、对输入图像进行切片，再进行拼接，然后通过卷积网络得到障碍物检测特征图；
S223、基于障碍物检测特征图，得到障碍物相对于障碍物检测特征图网格左上角的偏移位置以及边界框与真实值的高宽比值/>；
S224、计算障碍物在图像数据中的实际位置，得到障碍物检测结果，所述实际位置计算方式为：
；
其中，（）为障碍物在图像数据中的实际中心点坐标，（/>）为预测边界框的实际高和宽，/>函数表示t相对于网格左上角的位置偏移，/>和/>表示当前网格左上角在图像数据中的真实位置，/>和/>表示障碍物检测的输入图像的宽高尺寸大小。
4.根据权利要求1所述的方法，其特征在于，所述引力势场为：
；
其中，为正比例增益系数；/>为一个矢量，表示轮椅位置/>和目标点位置/>之间的欧式距离/>，矢量方向是从轮椅位置指向目标点位置。
5.根据权利要求1所述的方法，其特征在于，所述斥力势场为：
；
其中，k为正比例系数，为轮椅位置/>与障碍物或边界点/>间的欧式距离，/>为一个矢量，其方向为从障碍物指向轮椅；/>表示障碍物或边界点对轮椅产生作用的最大范围的常数。
6.根据权利要求1所述的方法，其特征在于，所述S2中，局部路径规划采用深度视觉里程计配合实现；所述深度视觉里程计包括卷积神经网络与循环神经网络；计算方式为：
获取前一帧的图像数据和当前帧的图像数据；
将两帧图像数据进行拼接，获得拼接图像数据；
将拼接图像数据输入由多组卷积层构成的卷积神经网络，获取两帧图像数据的特征变化信息；
将卷积神经网络输出的所述特征变化信息输入循环神经网络中，预测相对于前一帧的图像数据轮椅的姿态变化及速度、角速度变化，进而根据前一帧图像数据中轮椅的位置和姿态，得到当前帧图像数据中轮椅的位置和姿态。
7.根据权利要求1所述的方法，其特征在于，所述S3进一步包括：
S31、计算引力势场与斥力势场/>的梯度，得到引力势场与斥力势场对轮椅的引力与斥力大小；
S32、基于引力函数和斥力函数，计算轮椅受到的合力；
S33、将合力方向作为轮椅行驶朝向，根据合力大小决定路径规划步长，得到路径规划结果。
8.基于视觉图像的智能轮椅路径规划系统，其特征在于，所述系统包括：目标检测模块、语义分割模块、代价图计算模块、视觉里程计模块以及路径规划模块；
语义分割模块和目标检测模块分别从外部图像设备获取轮椅运动中的图像数据，并将语义分割处理结果和目标检测结果，输入代价图计算模块中；
代价图计算模块得到代价图的合力势场势能，并输入路径规划模块中；
所述语义分割模块、目标检测模块和代价图计算模块完成全局路径规划；
外部图像设备获取的图像数据输入视觉里程计算模块中，视觉里程计模块实时计算并更新当前轮椅所在位置及姿态，并将计算结果输入至路径规划模块；
路径规划模块基于来自视觉里程计算模块以及代价图计算模块输入的数据，进行最终路径规划，得到路径规划结果；
所述全局路径规划包括：
S21、对所述图像数据进行语义分割，对轮椅的可行驶区域进行识别；
S22、基于所述图像数据，进行障碍物检测；
S23、基于所述可行驶区域识别结果，以及障碍物检测结果，进行代价图计算，得到合力势场势能；所述代价图计算中，仅考虑可行驶区域中的障碍物；
所述S23中，所述合力势场势能的计算方式为：
S231、将可行驶区域最远端中心位置作为本次规划的目标点，在目标点附近添加引力势场，所述引力势场/>与轮椅和目标点间距离相关；
S232、将可行驶区域边界分割为多个等间隔边界点，在边界点和障碍物所在位置添加斥力势场，所述斥力势场/>设置为：轮椅距离障碍物或边界点越近，则斥力势能越大；
S233、叠加所述引力势场与斥力势场/>，得到合力势场势能。
CN202311629099.7A 2023-12-01 2023-12-01 基于视觉图像的智能轮椅路径规划方法及系统 Active CN117346791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311629099.7A CN117346791B (zh) 2023-12-01 2023-12-01 基于视觉图像的智能轮椅路径规划方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311629099.7A CN117346791B (zh) 2023-12-01 2023-12-01 基于视觉图像的智能轮椅路径规划方法及系统

Publications (2)

Publication Number Publication Date
CN117346791A CN117346791A (zh) 2024-01-05
CN117346791B true CN117346791B (zh) 2024-03-22

Family

ID=89363428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311629099.7A Active CN117346791B (zh) 2023-12-01 2023-12-01 基于视觉图像的智能轮椅路径规划方法及系统

Country Status (1)

Country Link
CN (1) CN117346791B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904842A (zh) * 2021-01-13 2021-06-04 中南大学 一种基于代价势场的移动机器人路径规划与优化方法
CN113341970A (zh) * 2021-06-01 2021-09-03 苏州天准科技股份有限公司 智能巡检导航避障系统、方法、存储介质和巡检车
CN113961013A (zh) * 2021-11-10 2022-01-21 吉林省春城热力股份有限公司 一种基于rgb-d slam的无人机路径规划方法
CN114879706A (zh) * 2022-06-17 2022-08-09 哈尔滨工程大学 一种rrt与人工势场法相结合的auv目标搜索方法
WO2023036044A1 (zh) * 2021-09-13 2023-03-16 灵动科技（北京）有限公司 全局路径规划方法、运动控制方法及计算机程序产品
CN116339347A (zh) * 2023-04-24 2023-06-27 广东工业大学 一种无人车运行路径规划方法、装置及设备
WO2023191723A1 (en) * 2022-03-30 2023-10-05 Agency For Science, Technology And Research Method and system for navigating a robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904842A (zh) * 2021-01-13 2021-06-04 中南大学 一种基于代价势场的移动机器人路径规划与优化方法
CN113341970A (zh) * 2021-06-01 2021-09-03 苏州天准科技股份有限公司 智能巡检导航避障系统、方法、存储介质和巡检车
WO2023036044A1 (zh) * 2021-09-13 2023-03-16 灵动科技（北京）有限公司 全局路径规划方法、运动控制方法及计算机程序产品
CN115808918A (zh) * 2021-09-13 2023-03-17 灵动科技（北京）有限公司 全局路径规划方法、运动控制方法及计算机程序产品
CN113961013A (zh) * 2021-11-10 2022-01-21 吉林省春城热力股份有限公司 一种基于rgb-d slam的无人机路径规划方法
WO2023191723A1 (en) * 2022-03-30 2023-10-05 Agency For Science, Technology And Research Method and system for navigating a robot
CN114879706A (zh) * 2022-06-17 2022-08-09 哈尔滨工程大学 一种rrt与人工势场法相结合的auv目标搜索方法
CN116339347A (zh) * 2023-04-24 2023-06-27 广东工业大学 一种无人车运行路径规划方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多信息融合的室外移动机器人路径规划研究;邓健;中国优秀硕士学位论文全文数据库 信息科技辑;20220515(第5期);I140-510 *
基于机器视觉的机器人路径规划研究;王亚超;中国优秀硕士学位论文全文数据库 信息科技辑(第1期);I140-660 *

Also Published As

Publication number Publication date
CN117346791A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
KR102379295B1 (ko) 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템
KR102376709B1 (ko) 자율 주행 차량을 위한 포인트 클라우드 등록 시스템
KR102319065B1 (ko) 자율 주행 차량을 위한 실시간 지도 생성 시스템
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
KR102334641B1 (ko) 자율 주행 차량을 위한 맵 파티셔닝 시스템
US10832418B1 (en) Object velocity from images
KR102319036B1 (ko) 자율 주행 차량을 위한 포인트 클라우드 고스트 효과 검출 시스템
US11462023B2 (en) Systems and methods for 3D object detection
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
JP6766844B2 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
Dewangan et al. Driving behavior analysis of intelligent vehicle system for lane detection using vision-sensor
CN113994390A (zh) 针对自主驾驶应用的使用曲线拟合的地标检测
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN112740268B (zh) 目标检测方法和装置
US11966234B2 (en) System and method for monocular depth estimation from semantic information
JP7421889B2 (ja) イメージ認識モデルのトレーニング装置及び方法並びにイメージ認識方法
US20210397855A1 (en) Monocular depth supervision from 3d bounding boxes
US11783541B2 (en) System and method for estimating depth uncertainty for self-supervised 3D reconstruction
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
Guidolini et al. Handling pedestrians in crosswalks using deep neural networks in the IARA autonomous car
Kemsaram et al. A stereo perception framework for autonomous vehicles
Zhang et al. Front vehicle detection based on multi-sensor fusion for autonomous vehicle
CN116189150B (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
CN117346791B (zh) 基于视觉图像的智能轮椅路径规划方法及系统
Aadi et al. Proposed real-time obstacle detection system for visually impaired assistance based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant