CN113065470A - 基于多特征融合及注意力权重避障的消毒机器人设计方法 - Google Patents

基于多特征融合及注意力权重避障的消毒机器人设计方法 Download PDF

Info

Publication number
CN113065470A
CN113065470A CN202110362812.0A CN202110362812A CN113065470A CN 113065470 A CN113065470 A CN 113065470A CN 202110362812 A CN202110362812 A CN 202110362812A CN 113065470 A CN113065470 A CN 113065470A
Authority
CN
China
Prior art keywords
robot
data
obstacle avoidance
pedestrian
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110362812.0A
Other languages
English (en)
Inventor
李永琳
姜玉东
吴伟峰
陆慧
李東昊
吴承鸿
杨庆凤
牟淑志
吴恩
张玉
徐雷
戴懋
王叙然
孟帅
周志桦
许嘉伟
牛玉泽
葛新颖
李罗生
李浩然
韩修磊
杨心寰
杨心宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202110362812.0A priority Critical patent/CN113065470A/zh
Publication of CN113065470A publication Critical patent/CN113065470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/24—Apparatus using programmed or automatic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/26—Accessories or devices or components used for biocidal treatment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/007—Means or methods for designing or fabricating manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

基于多特征融合及注意力权重避障的消毒机器人设计方法，该方法包括以下步骤：步骤1，设计消毒机器人硬件设施；步骤2，设计机器人转向方式；步骤3，构建地图模型；步骤4，机器人自主避障控制；步骤5，机器人在工作运行区间中监测病人的身体指标，并对医院特定场所进行消杀，在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。本发明在消毒机器人的基础上采用最新的麦克纳姆轮，解决了狭小空间容易出现死角，转向不便等问题，可代替医务工作者进行一些医院的基础工作，同时本发明通过特征显著性监测及注意力加权将轮廓特征和颜色特征融合，提高了行人检测模型的准确率。

Description

基于多特征融合及注意力权重避障的消毒机器人设计方法
技术领域
本发明涉及机器人控制领域，特别是涉及基于多特征融合及注意力权重避障的消毒机器人设计方法。
背景技术
医院是现代社会进步的产物，是人类创伤的庇护所，是现代社会的重要组成成分之一，其主要职能是对患者实施救护和护理患者，最大可能的减轻或者治愈患者的病痛。近些年来，随着我国人口老龄化的趋势进一步加剧，老龄患者越来越多，使得医疗服务的负担越来越大，如何改善医疗服务质量，提高医院工作的效率已经成为关乎民生的重大问题。
本发明的主要目标为代替医务工作者进行一些医院的基础工作，减轻医务工作者的负担，减少医务工作者被病人传播病毒的风险，定位为医疗服务机器人。医院医生人数少病患多，其工作量繁重，感染风险大。机器人可以提高工作效能，在医患比例较低的情况下提供高效精准的科学医疗服务，减轻了医护工作量负担，节省医疗物资投入，同时提高了患者的诊治效率，缩短了治疗周期，更降低了医护人员的传染几率，保障了医疗团队的安全与稳定。针对以上情况我们做出了如下创新。
发明内容
为解决上述问题，本发明提出了基于多特征融合及注意力权重避障的消毒机器人设计方法，通过机器人可提高工作效能，在医患比例较低的情况下提供高效精准的科学医疗服务，减轻了医护工作量负担，节省医疗物资投入。为达此目的，本发明提供基于多特征融合及注意力权重避障的消毒机器人设计方法，具体步骤如下，其特征在于：
步骤1，设计消毒机器人硬件设施：在机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，将病人数据和工作路况数据实时传输至数据库，并可在上位机软件中进行检索；
步骤2，设计机器人转向方式：为解决工作空间狭小，容易出现死区的问题，本发明采用麦克纳姆轮实现机器人的转向；
步骤3，构建地图模型：采用定位标签的方式实现地图模型的构建，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型；
步骤4，机器人自主避障控制：将CCD传感器检测的数据集分别提取轮廓特征和颜色特征，并检测轮廓和颜色特征的显著性值，通过注意力权重融合后作为输入来训练SVM行人分类器模型，机器人通过行人检测器来判断前方是否存在行人，从而控制机器人的避障形为；
步骤5，机器人在工作运行区间中监测病人的身体指标，并对医院特定场所进行消杀，在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
进一步，步骤1中设计消毒机器人硬件设施的过程可以表示为：
本发明在消毒机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，实现将病人的这些数据实时导入数据库，可以直接在上位机软件中直接进行查看检索，同时行人检测器可根据CCD传感器采集的图像实现行人避障功能。当机器人检测到病人的身体数据出现异常时，仪器会发出警报，也会向后台程序的观测人员发出警报，让病人能够第一时间得到救助。
进一步，步骤2中设计机器人转向方式的过程可以表示如下：
市场上现有很多医疗服务机器人体型较为庞大，行走较为缓慢，并且转向时多数采用差速转向法，需要较大的空间。因此在特定工作环境下比如医院这种工作空间较为狭小的地方，容易出现死角，转向不便等问题。为了应对这些问题，我们的服务机器人采用最新的麦克纳姆轮，能够实现无死角的转向以及平移，在狭小的工作环境下也可以很好的完成工作任务。
进一步，步骤3中，构建地图模型的过程可以表示如下：
自走式机器人在医院中运动时，需要依据一定的地图模型实现路线的规划。本发明采用定位标签的方式实现地图模型的构建，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型。
进一步，步骤4中，机器人自主避障控制的过程可以表示如下：
考虑到医院中病床医疗器械和行人等障碍较多，我们在规划机器人路径时采用行人识别算法以及相应的避障功能，结合CCD传感器的数据特征融合，实现路径规划以及避障功能。
步骤4.1，通过CCD传感器采集机器人行走路线的数据图像，组成训练数据图像集；
步骤4.2，提取数据图像的轮廓特征和颜色特征：
将采集的图像数据做二值化处理，计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
Figure BDA0003006262930000021
其中，(xi,yi)i＝1,2,…,n是二值图像数据；
将原始图像数据集中的RGB颜色通过颜色空间转化到HSV空间中，对HSV分量进行非均匀量化，并根据下式提取图像的颜色特征Gi：
Gi＝QsQvH+QvS+V (2)
其中，H是颜色空间中的色调，S是颜色空间中的饱和度，V是颜色空间中的亮度，Qs、Qv分别是S和V的量化级数；
步骤4.3，分别提取轮廓特征和颜色特征的显著性检测值：
Figure BDA0003006262930000031
Ci＝cos(ri) (4)
Figure BDA0003006262930000032
Qi＝cos-1(si) (6)
式中，ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵，
Figure BDA0003006262930000033
表示轮廓特征和颜色特征矩阵的均值，T1是显著性检测阈值，ri表示轮廓特征和颜色特征矩阵去均值后的特征数据，Qi表示特征的显著性检测值；
步骤4.4，先把提取的显著性检测值集合Qi通过1×1的卷积层进行降维，再通过tanh激活函数得到特征映射M，，再通过卷积层和Sigmoid激活函数对M进行归一化操作生成注意力权重б，最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出Qi’:
Qi'＝σ×Qi (7)
步骤4.5，将训练数据集提取的特征输出Qi’作为行人检测模型的输入，行人目标的标签作为输出训练SVM分类模型，并获得训练完成的SVM行人检测模型；
步骤4.6，CCD传感器实时检测工作路段的行人图像数据，并经过步骤4.2至步骤4.4后，将特征输出Qi’输入到行人检测模型中，获得行人检测结果，如果检测到行人则启动机器人自动避障控制操作。
本发明基于多特征融合及注意力权重避障的消毒机器人设计方法，有益效果：本发明的技术效果在于：
1.本发明在消毒机器人的基础上采用最新的麦克纳姆轮，解决了狭小空间容易出现死角，转向不便等问题；
2.本发明可代替医务工作者进行一些医院的基础工作，例如：监测病人身体指标、对医院特定场所进行消杀等；
3.本发明通过特征显著性监测及注意力加权将轮廓特征和颜色特征融合，提高了行人检测模型的准确率。
附图说明
图1为本发明的系统硬件总体结构图；
图2为本发明的电机驱动板实物图；
图3为本发明的NB-IoT模组的硬件接口电路；
图4为本发明的数据采集系统运行框图；
图5为本发明的数据通信系统图；
图6为本发明的运动系统运行流程图；
图7为本发明的机器人消毒任务流程图
具体实施方式
下面结合附图1系统硬件总体结构图与具体实施方式对本发明作进一步详细描述：
本发明中主控制器用于采集各传感器数据与驱动各执行器，完成本系统数据监测与机器人运动控制的功能。主控芯片采用STM32F103系列和STM32L4系列低功耗处理器。STM32L4作为测量系统的控制芯片，使用Huawei LiteOS轻量级物联网操作系统，实现数据的测量以及与华为物联网云平台的通信，华为物联网云平台通过行人检测模型检测行驶路线是否存在行人，并发送避障指令至STM32F103中，STM32F103用来识别定位信息以及控制机器人的运动。
步骤1，设计消毒机器人硬件设施：在机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，将病人数据和工作路况数据实时传输至数据库，并可在上位机软件中进行检索；
步骤1中设计消毒机器人硬件设施的过程可以表示为：
本发明中使用墨比斯科技的STM32F103电机驱动板作为运动系统的主控制器，该系统板搭载了STM32F103RCT6微处理器，电机驱动板实物图如图2所示。同时在消毒机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，实现将病人的这些数据实时导入数据库，可以直接在上位机软件中直接进行查看检索，同时行人检测器可根据CCD传感器采集的图像实现行人避障功能。当机器人检测到病人的身体数据出现异常时，仪器会发出警报，也会向后台程序的观测人员发出警报，让病人能够第一时间得到救助。
本次设计中，机器人需要NB-IOT模组对接到华为物联网云端，使用的是上海移远通信公司的NB-IOT模组。NB-IOT构建于蜂窝网络，只消耗大约180kHz的带宽，可直接部署于GSM网络、UMTS网络或LTE网络，以降低部署成本、实现平滑升级，NB-IoT模组的硬件接口电路如图3所示。
步骤2，设计机器人转向方式：为解决工作空间狭小，容易出现死区的问题，本发明采用麦克纳姆轮实现机器人的转向，
步骤2中设计机器人转向方式的过程可以表示如下：
市场上现有很多医疗服务机器人体型较为庞大，行走较为缓慢，并且转向时多数采用差速转向法，需要较大的空间。因此在特定工作环境下比如医院这种工作空间较为狭小的地方，容易出现死角，转向不便等问题。为了应对这些问题，我们的服务机器人采用最新的麦克纳姆轮，能够实现无死角的转向以及平移，在狭小的工作环境下也可以很好的完成工作任务。
步骤3，构建地图模型：采用定位标签的方式实现地图模型的构建，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型；
步骤3中，构建地图模型的过程可以表示如下：
自走式机器人在医院中运动时，需要依据一定的地图模型实现路线的规划。本发明采用定位标签的方式实现地图模型的构建，使用RC522感应模块读取地面上的RFID标签，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型。
步骤4，机器人自主避障控制：将CCD传感器检测的数据集分别提取轮廓特征和颜色特征，并检测轮廓和颜色特征的显著性值，通过注意力权重融合后作为输入来训练SVM行人检测器模型，机器人通过行人检测器来判断前方是否存在行人，从而控制机器人的避障形为；
步骤4中，机器人自主避障控制的过程可以表示如下：
考虑到医院中病床医疗器械和行人等障碍较多，我们在规划机器人路径时采用行人识别算法以及相应的避障功能，结合CCD传感器的数据特征融合，实现路径规划以及避障功能。
步骤4.1，通过CCD传感器采集机器人行走路线的数据图像，组成训练数据图像集；
步骤4.2，提取数据图像的轮廓特征和颜色特征：
将采集的图像数据做二值化处理，计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
Figure BDA0003006262930000051
其中，(xi,yi)i＝1,2,…,n是二值图像数据；
将原始图像数据集中的RGB颜色通过颜色空间转化到HSV空间中，对HSV分量进行非均匀量化，并根据下式提取图像的颜色特征Gi：
Gi＝QsQvH+QvS+V (2)
其中，H是颜色空间中的色调，S是颜色空间中的饱和度，V是颜色空间中的亮度，Qs、Qv分别是S和V的量化级数；
步骤4.3，分别提取轮廓特征和颜色特征的显著性检测值：
Figure BDA0003006262930000061
Ci＝cos(ri) (4)
Figure BDA0003006262930000062
Qi＝cos-1(si) (6)
式中，ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵，ai＝[di,Gi],
Figure BDA0003006262930000063
表示轮廓特征和颜色特征矩阵的均值，T1是显著性检测阈值，ri表示轮廓特征和颜色特征矩阵去均值后的特征数据，Qi表示特征的显著性检测值；
步骤4.4，先把提取的显著性检测值集合Qi通过1×1的卷积层进行降维，再通过tanh激活函数得到特征映射M，，再通过卷积层和Sigmoid激活函数对M进行归一化操作生成注意力权重б，最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出Qi’:
Qi'＝σ×Qi (7)
步骤4.5，将训练数据集提取的特征输出Qi’作为行人检测模型的输入，行人目标的标签作为输出训练SVM分类模型，并获得训练完成的SVM行人检测模型；
步骤4.6，CCD传感器实时检测工作路段的行人图像数据，并经过步骤4.2至步骤4.4后，将特征输出Qi’输入到行人检测模型中，获得行人检测结果，如果检测到行人则启动机器人自动避障控制操作。
步骤5，机器人在工作运行区间中监测病人的身体指标，并对医院特定场所进行消杀，在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
本发明使用传感器获取病人的身体指标数据，经过MCU处理后通过NB-IOT模组上报到华为物联网云平台，如果病人的身体指标数据超出了医务工作者所设定的阈值范围，则发出报警信号提醒医务人员密切注意此病人的身体情况，该系统的运行框图如图4所示。数据通信系统包含两部分，一部分是STM32L4通过NB-IOT接入华为物联网；另一部分是通过串口与运动系统通信，接收上位机发出的控制指令并转发给运动系统，数据通信系统结构框图如下图5所示。运动系统使用STM32F103控制器，通过4个编码器接口控制四个直流电机来实现机器人基本的运动；底盘部分装载RFID射频卡读取设备，用于读取固定在地面上的RFID标签；机器人前方装载超声波传感器，实现避障功能。运动系统的运行流程如图6所示。机器人上电后，首先进行设备初始化工作，主要是一些传感器、驱动电机等外设的初始化。初始化任务完成后，机器人等待上位机发来的任务指令，如果是控制机器人运动的指令则通过串口交付给运动系统。运动系统收到指令后开始进行路径规划并到达目的地，机器人消毒任务流程图如图7所示。

Claims (4)

1.基于多特征融合及注意力权重避障的消毒机器人设计方法，具体步骤如下，其特征在于：
步骤1，设计消毒机器人硬件设施：在机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，将病人数据和工作路况数据实时传输至数据库，并可在上位机软件中进行检索；
步骤2，设计机器人转向方式：为解决工作空间狭小，容易出现死区的问题，本发明采用麦克纳姆轮实现机器人的转向；
步骤3，构建地图模型：采用定位标签的方式实现地图模型的构建，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型；
步骤4，机器人自主避障控制：将CCD传感器检测的数据集分别提取轮廓特征和颜色特征，并检测轮廓和颜色特征的显著性值，通过注意力权重融合后作为输入来训练SVM行人检测器模型，机器人通过行人检测器来判断前方是否存在行人，从而控制机器人的避障形为；
步骤5，机器人在工作运行区间中监测病人的身体指标，并对医院特定场所进行消杀，在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
2.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法，其特征在于：步骤1中设计消毒机器人硬件设施的过程可以表示为：
本发明在消毒机器人上装设病人的心率、血氧采集设备和CCD传感器，通过无线通讯技术，实现将病人的这些数据实时导入数据库，可以直接在上位机软件中直接进行查看检索，同时行人检测器可根据CCD传感器采集的图像实现行人避障功能；当机器人检测到病人的身体数据出现异常时，仪器会发出警报，也会向后台程序的观测人员发出警报，让病人能够第一时间得到救助。
3.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法，其特征在于：骤3中，构建地图模型的过程可以表示如下：
自走式机器人在医院中运动时，需要依据一定的地图模型实现路线的规划；本发明采用定位标签的方式实现地图模型的构建，即在每个病房、拐弯处粘贴RFID定位标签，使用定位标签构建二维的坐标系，以出发点中心，计算其他各点的相对坐标，以此构建医院的二维地图模型。
4.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法，其特征在于：步骤4中，机器人自主避障控制的过程可以表示如下：
考虑到医院中病床医疗器械和行人等障碍较多，本发明在规划机器人路径时采用行人识别算法以及相应的避障功能，结合CCD传感器的数据特征融合，实现路径规划以及避障功能；
步骤4.1，通过CCD传感器采集机器人行走路线的数据图像，组成训练数据图像集；
步骤4.2，提取数据图像的轮廓特征和颜色特征：
将采集的图像数据做二值化处理，计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
Figure FDA0003006262920000021
其中，(xi,yi)i＝1,2,…,n是二值图像数据；
将原始图像数据集中的RGB颜色通过颜色空间转化到HSV空间中，对HSV分量进行非均匀量化，并根据下式提取图像的颜色特征Gi：
Gi＝QsQvH+QvS+V (2)
其中，H是颜色空间中的色调，S是颜色空间中的饱和度，V是颜色空间中的亮度，Qs、Qv分别是S和V的量化级数；
步骤4.3，分别提取轮廓特征和颜色特征的显著性检测值：
Figure FDA0003006262920000022
Ci＝cos(ri) (4)
Figure FDA0003006262920000023
Qi＝cos-1(si) (6)
式中，ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵，ai＝[di,Gi],
Figure FDA0003006262920000024
表示轮廓特征和颜色特征矩阵的均值，T1是显著性检测阈值，ri表示轮廓特征和颜色特征矩阵去均值后的特征数据，Qi表示特征的显著性检测值；
步骤4.4，先把提取的显著性检测值集合Qi通过1×1的卷积层进行降维，再通过tanh激活函数得到特征映射M，，再通过卷积层和Sigmoid激活函数对M进行归一化操作生成注意力权重б，最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出Qi’:
Qi'＝σ×Qi (7)
步骤4.5，将训练数据集提取的特征输出Qi’作为行人检测模型的输入，行人目标的标签作为输出训练SVM分类模型，并获得训练完成的SVM行人检测模型；
步骤4.6，CCD传感器实时检测工作路段的行人图像数据，并经过步骤2.2至步骤2.4后，将特征输出Qi’输入到行人检测模型中，获得行人检测结果，如果检测到行人则启动机器人自动避障控制操作。
CN202110362812.0A 2021-04-02 2021-04-02 基于多特征融合及注意力权重避障的消毒机器人设计方法 Pending CN113065470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110362812.0A CN113065470A (zh) 2021-04-02 2021-04-02 基于多特征融合及注意力权重避障的消毒机器人设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110362812.0A CN113065470A (zh) 2021-04-02 2021-04-02 基于多特征融合及注意力权重避障的消毒机器人设计方法

Publications (1)

Publication Number Publication Date
CN113065470A true CN113065470A (zh) 2021-07-02

Family

ID=76565493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110362812.0A Pending CN113065470A (zh) 2021-04-02 2021-04-02 基于多特征融合及注意力权重避障的消毒机器人设计方法

Country Status (1)

Country Link
CN (1) CN113065470A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550020A (zh) * 2022-04-21 2022-05-27 深圳一心一医智能科技有限公司 一种消毒机器人的生物体图像智能识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070114637A (ko) * 2006-05-29 2007-12-04 조영선 맹인에게 주변정보를 자동으로 음성 안내하는무선태그/리더장치 및 그 방법
CN106798550A (zh) * 2017-03-13 2017-06-06 山东大学 一种医院导诊机器人
CN107992044A (zh) * 2017-12-12 2018-05-04 东北大学秦皇岛分校 一种机器人的自主行进控制方法及自主行进机器人系统
CN108776473A (zh) * 2018-05-23 2018-11-09 上海圭目机器人有限公司 一种智能消毒机器人的工作方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及系统
CN112215803A (zh) * 2020-09-15 2021-01-12 昆明理工大学 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070114637A (ko) * 2006-05-29 2007-12-04 조영선 맹인에게 주변정보를 자동으로 음성 안내하는무선태그/리더장치 및 그 방법
CN106798550A (zh) * 2017-03-13 2017-06-06 山东大学 一种医院导诊机器人
CN107992044A (zh) * 2017-12-12 2018-05-04 东北大学秦皇岛分校 一种机器人的自主行进控制方法及自主行进机器人系统
CN108776473A (zh) * 2018-05-23 2018-11-09 上海圭目机器人有限公司 一种智能消毒机器人的工作方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及系统
CN112215803A (zh) * 2020-09-15 2021-01-12 昆明理工大学 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIZHE ZHU 等: "Semantic-Guided Multi-Attention Localization for Zero-Shot Learning", 《ARXIV》, pages 1 - 11 *
李长勇 等: "基于主色直方图特征匹配的蔬果分类方法", 《上海交通大学学报》, vol. 43, no. 12, pages 1898 - 1903 *
胡文才等: "基于颜色、轮廓特征融合的显著性检测", 《国外电子测量技术》, vol. 37, no. 1, pages 16 - 19 *
蔡加欣 等: "基于局部轮廓和随机森林的人体行为识别", 《光学学报》, vol. 34, no. 10, pages 1015006 - 1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550020A (zh) * 2022-04-21 2022-05-27 深圳一心一医智能科技有限公司 一种消毒机器人的生物体图像智能识别方法及系统

Similar Documents

Publication Publication Date Title
Pradhan et al. IoT‐based applications in healthcare devices
CN110666791B (zh) 一种基于深度学习的rgbd机器人看护系统及方法
CN109820695A (zh) 一种具有通信和自主导航移动功能的icu病房卧式双侧脑瘫下肢康复机器人
CN105563493A (zh) 一种高度方位自适应的服务机器人及适应方法
CN206780416U (zh) 一种智能医疗助理机器人
CN104503419B (zh) 一种用于病房数据采集方法
Mahendran et al. Computer vision-based assistance system for the visually impaired using mobile edge artificial intelligence
CN113065470A (zh) 基于多特征融合及注意力权重避障的消毒机器人设计方法
CN109009887A (zh) 一种基于脑机接口的人机交互式导航系统及方法
CN111590582A (zh) 一种可实现生物反馈及远程探望的智能医疗服务机器人
CN106695744A (zh) 一种基于球形轮的自主导航机器人
Qureshi et al. A review of machine learning (ML) in the internet of medical things (IOMT) in the construction of a smart healthcare structure
Sivakanthan et al. Mini-review: robotic wheelchair taxonomy and readiness
CN106726208A (zh) 一种智能轮椅控制系统
CN101644952A (zh) 基于眼电图信号的便携式无线人机交互系统
CN111951940A (zh) 一种智慧医疗的康复辅助方法
Giri et al. IoT-based smart wheelchair for disabled people and patient monitoring
CN218870878U (zh) 一种机载消杀系统
CN116945156A (zh) 一种基于计算机视觉技术的老年人智能陪护系统
CN111554389A (zh) 一种医院服务管理系统、医院服务机器人控制方法
Chakraborty et al. Chronic wound tissue characterization under telemedicine framework
CN204496497U (zh) 用于病房数据采集的机器人系统
CN212699362U (zh) 一种全自动多功能医用床
CN111880656B (zh) 一种基于p300信号的智能脑控系统及康复设备
CN114533446A (zh) 一种医用移动护理机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination