CN111657643A - 一种智能nfc手杖及其障碍物检测方法 - Google Patents

一种智能nfc手杖及其障碍物检测方法 Download PDF

Info

Publication number
CN111657643A
CN111657643A CN202010427526.3A CN202010427526A CN111657643A CN 111657643 A CN111657643 A CN 111657643A CN 202010427526 A CN202010427526 A CN 202010427526A CN 111657643 A CN111657643 A CN 111657643A
Authority
CN
China
Prior art keywords
module
obstacle
image
nfc
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010427526.3A
Other languages
English (en)
Inventor
何富运
管旭升
罗玉玲
苏珉
王勋
黄晓明
张耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202010427526.3A priority Critical patent/CN111657643A/zh
Publication of CN111657643A publication Critical patent/CN111657643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B3/00—Sticks combined with other objects
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B7/00—Other sticks, e.g. of cranked shape
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B9/00—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/33—Multimode operation in different systems which transmit time stamped messages, e.g. GPS/GLONASS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B9/00—Details
    • A45B2009/002—Accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Toxicology (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能NFC手杖及其障碍物检测方法，属于电子电路技术领域，包括伸缩组件和抓柄，所述抓柄设置在伸缩组件的顶部，所述抓柄上设置有触摸开关、LED指示灯、NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块。通过在手杖扶手处内集成NFC芯片，使手杖能够在实现辅助行走的基础上具有传统门禁卡和交通卡的功能。老人由于年事已高，自身行动不便、反应迟钝、记忆力下降，当他们拄着拐杖通过小区门及单元门或者乘坐公交车、地铁时，本发明能让老人无需再翻找对应的门禁卡或交通卡，仅需要用手杖的扶手接触相应的卡片感应位置，即可通过小区门、单元门或者完成地铁、公交的购票。

Description

一种智能NFC手杖及其障碍物检测方法
技术领域
本发明涉及电子电路技术领域，尤其涉及一种智能NFC手杖及其障碍物检测方法。
背景技术
伴随着社会的发展，中国人口老龄化增速已经达到世界第一。预计在2030 年，中国65岁以上人口占比将超过日本，成为全球人口老龄化程度最高国家。至2050年，中国社会将进入深度老龄化阶段，60岁以上人口占比超30％。老人作为社会上占比越来越大的一个群体，相较于年轻人，行动相对不便，学习能力及反应能力退化，需要更多的关爱和照顾，使他们能够在更好地生活。现有很多的老年人进出小区会忘记带门禁卡，或者搭交通工具时，忘记拿I C 卡等，同时老年人动作比较慢需要从口袋或者背包等拿出时，需要花费较多的时间，因此，需要设计一种智能手杖，更好的为老年人服务。
发明内容
本发明的目的在于提供一种智能NFC手杖及其障碍物检测方法，解决现有老年人出门容易忘记带门禁卡和公交车卡等的技术问题。
一种智能NFC手杖，包括伸缩组件和抓柄，所述抓柄设置在伸缩组件的顶部，所述抓柄上设置有触摸开关、LED指示灯、NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块，所述NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块均设置在抓柄的内部，所述触摸开关设置在抓柄的头部顶端，所述LED指示灯内嵌设置在抓柄的前端，所述无线充电接收模块与电池模块连接，所述电池模块经触摸开关与控制器模块连接供电，所述LED指示灯、NFC模块和定位模块均与控制器模块连接。
进一步地，所述伸缩组件由若干根相互内嵌的嵌套管组成，嵌套管的顶部外侧设置有外螺纹，嵌套管的底部内侧设置有内螺纹，嵌套管的外螺纹与前端的嵌套管的内螺纹螺纹连接。
进一步地，所述定位模块包括ATK1218-BD位置获取子模块和GPRS A6子模块，所述ATK1218-BD位置获取子模块和GPRS A6子模块均与控制器模块连接，所述GPRS A6子模块与远程用户端无线连接。
上述方案还包括摄像头和扬声器，所述摄像头和扬声器均是设置在抓柄前端底部，摄像头和扬声器均与控制器模块连接。
所述NFC模块使用主控芯片型号为TRF7970A芯片，NFC模块与控制器模块的串口1连接。
一种智能NFC手杖的障碍物检测方法，所述方法包括如下步骤：
步骤1：使用摄像头拍摄具有障碍物的路面照片，并把拍照的照片作为障碍物图像的样本库；
步骤2：分别对每一张样本库图像增强处理，扩充样本库图像的数量，数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理；然后对障碍物图像中的物体的类别使用标注工具进行标注，按照特定协议将标注的数据信息以PASCAL VOC格式储存文件；
步骤3：构建图像的检测模型，其模型是由特征提取网络，空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，用于生成障碍物图像的障碍物特征图、并利用3种不同尺度的特征图区域上对障碍物进行检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对检测模型进行训练得到障碍物模型后，将待检测的障碍物图像输入训练好的模型进行测试，实现障碍物检测，发现障碍物后进行使用扬声器(11)播报给用户。
所述步骤2中，对障碍物图像进行数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，扩充障碍物样本的数据集；采用所述的使用标注工具为标签制作工具Label Img；所述的标注信息文件包括图像中的障碍物标注框的坐标、类别标签和保存图片路径以XML格式储存在文件中。
所述步骤3中，由4个密集模块组成的DensNet特征提取网络由组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，其表达公式为xl＝Hl([x0,x1,x2,...,xl-1])；其中Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的特征图；在相邻的两个密集模块之间由1×1的卷积层和2 ×2的平均池化层组成过渡层以实现特征图降维；在密集模块后特征图维度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，构成多尺度预测层；在多尺度预测层中插入空间金字塔网络实现特征金字塔网络。
所述步骤3中障碍物的检测流程如下：
将图像大小调整为416×416，然后将图像分割成S×S个网格，如果目标的中心位于网格单元中，则在该网格中执行检测过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体的类别信息概率C，置信度Confidence得分由公式
Figure BDA0002499264010000031
获得；置信度 Confidence得分等于表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w 和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0,否则为 1；
对上一步中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
通过对图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
所述步骤4中训练的损失函数为：
Loss＝Errorcoord+Erroriou+Errorcls
Figure BDA0002499264010000032
Figure BDA0002499264010000033
Figure BDA0002499264010000034
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002499264010000041
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002499264010000042
等于0；
Figure BDA0002499264010000043
为预测边界框的中心坐标值及其宽度和高度， (xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002499264010000044
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002499264010000045
是预测的概率。
本发明采用了上述技术方案，本发明具有以下技术效果：
(1)本发明通过在手杖扶手处内集成NFC芯片，使手杖能够在实现辅助行走的基础上具有传统门禁卡和交通卡的功能。老人由于年事已高，自身行动不便、反应迟钝、记忆力下降，当他们拄着拐杖通过小区门及单元门或者乘坐公交车、地铁时，本发明能让老人无需再翻找对应的门禁卡或交通卡，仅需要用手杖的扶手接触相应的卡片感应位置，即可通过小区门、单元门或者完成地铁、公交的购票，本手杖内部还嵌入了GPS北斗双定位芯片ATK1218-BD，相较于传统单模GPS定位模块，ATK1218-BD拥有更快的响应时间与启动速度，且定位信息更为精准，可以更大程度地防止老人意外走失；本手杖支持无线充电功能，老人无需寻找对应的充电器以及将充电头插入充电口，将本手杖放置于适配的无线充电器上即可进行无线充电，免去了传统充电方式繁杂的步骤，一步到位，更加贴合老人的需求。
(2)本手杖还具有可伸缩的特点，在无须使用的时候可以将拐杖折叠收起，克服了传统手杖在无须使用时无处安放的缺点；在很大程度上方便了老人的出行，克服了传统的卡片易丢失、易损坏、难寻找等缺点，人性化地将门禁卡与交通卡通过NFC技术集成在手杖上，使老人无需翻找、辨识卡片即可通过小区门、单元门或者完成地铁、公交的购票，并同时具有易充电、方便快速定位等优点，从而让老人拥有更加舒适安全的生活体验。
(3)该方法采用深度学习算法设计，可以实现老人前端路况的智能检测，准确率高，误检率低，检测速度快，相对于现有的传统检测方法优势明显，能够有效的减少老年人因为路面障碍物出现绊倒等情况，有效的保护了老年人，应用前景良好。
附图说明
图1是本发明的手杖结构示意图。
图2是本发明的手杖抓柄结构示意图。
图3是本发明的伸缩杆结构示意图。
图4是本发明的电路框图。
图5是本发明的NFC模块电路原理图。
图6是本发明的ATK1218-BD模块原理图。
图7是本发明的GPRS A6模块原理图。
图8是本发明的无线充电接收模块结构示意图。
图中标号：1-触摸开关；2-LED指示灯；3-NFC模块；4-定位模块；5- 无线充电接收模块；6-电池模块；7-控制器模块；8-伸缩组件；9-抓柄；10- 摄像头；11-扬声器；12-外螺纹；13-内螺纹。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
如图1-2所示，根据本发明的一种智能NFC手杖，包括伸缩组件8和抓柄9，所述抓柄9设置在伸缩组件8的顶部。所述抓柄9上设置有触摸开关1、 LED指示灯2、NFC模块3、定位模块4、无线充电接收模块5、电池模块6和控制器模块8。所述NFC模块3、定位模块4、无线充电接收模块(5)、电池模块6和控制器模块8均设置在抓柄9内部。所述触摸开关1设置在抓柄9的头部顶端，所述LED指示灯2内嵌设置在抓柄9的前端，所述无线充电接收模块5与电池模块6连接，所述电池模块6经触摸开关1与控制器模块8 连接供电。所述LED指示灯2、NFC模块3和定位模块4均与控制器模块8连接。
触摸开关1为TTP223触摸开关，其与MCU电气连接，用于开启和关闭整个系统。LED指示灯即三颗并列嵌入手杖顶部的RGB全彩LED灯珠(具体嵌入方式详见图1)，其与MCU控制模块电气连接，用于提示电池电量信息以及 NFC模块的工作状态信息.
如图3所示，所述伸缩组件8由若干根相互内嵌的嵌套管组成，嵌套管的顶部外侧设置有外螺纹12，嵌套管的底部内侧设置有内螺纹13，嵌套管的外螺纹与前端的嵌套管的内螺纹13螺纹连接。伸缩组件模块即带有螺纹的橡胶圈，用于实现手杖的伸缩功能。
如图6-7所示，所述定位模块4包括ATK1218-BD位置获取子模块和GPRS A6子模块，所述ATK1218-BD位置获取子模块和GPRS A6子模块均与控制器模块(8)连接，所述GPRS A6子模块与远程用户端无线连接。ATK1218-BD模块用于获取北斗及GPS的定位信息；GPRS A6模块用于将ATK1218-BD模块获取的定位信息上传。二者与MCU控制模块电气连接，MCU控制模块通过串口2与 ATK1218-BD模块进行通讯，实时获取当前坐标位置信息，再将处理后的信息通过串口3发送给GPRS A6模块，由该模块完成上传操作。
无线充电接收模块5为TP5100开关降压型锂电池充电管理芯片与绕线线圈连接构成，具体详见无线充电接收模块图8。电池模块与MCU控制模块和定位模块以及无线充电接收模块电气连接，为MCU控制模块和定位模块提供电能，并接收储存无线充电接收模块传输的电能。所述MCU模块即 STM32F103C8T6，用于统筹调度智能手杖内所有模块的有序运行。
如图2所示，上述方案还包括摄像头10和扬声器11，所述摄像头10和扬声器11均是设置在抓柄9前端底部，摄像头10和扬声器11均与控制器模块8连接。
如图4所示，所述NFC模块3使用主控芯片型号为TRF7970A芯片，NFC 模块3与控制器模块8的串口1连接。NFC模块包括TRF7970A芯片及其外围电路，其与MCU控制模块电气连接，MCU控制模块通过串口1交换数据的方式控制TRF7970A芯片，保证NFC模块的正常运行。
所述触摸开关为TTP223触摸开关，该开关与MCU上的GPIO口连接，使用者长按该开关时，其引脚上的高低电平变化通过GPIO反馈给MCU，MCU通过判断对应的高低电平变化持续时间，当电平变化时间突破设定的阈值(三秒) 时，MCU退出低功耗模式，开始运行整个系统，当使用者再次长按三秒后，MCU 结束当前运行的所有任务，进入低功耗模式，系统进入休眠状态，等待下一次的长按唤醒。
所述LED指示灯模块为三颗嵌入手杖顶部的RGB全彩灯珠。三颗灯珠与MCU 通过GPIO口连接，当MCU处于低功耗模式时，MCU控制所有灯珠熄灭，当MCU 处于运行状态时，控制最左一颗长亮为蓝色；当NFC模块进行读卡、复制卡操作时，其通过串口1与MCU交换数据，当MCU接收到NFC模块处于读卡、复制卡状态的提示指令时，控制位于中间的灯珠闪烁1S间隔的红光，当NFC 完成读卡、复制卡操作后，其通过串口1向MCU发送完成提示指令，MCU接受到此指令后控制位于中间的灯珠长亮五秒绿光，然后熄灭；MCU每30S检查一次电池电量，当检测到电池电量高于百分之五十时，MCU控制位于右侧的灯珠长亮绿光，当检测到电量高于百分之二十低于百分之五十时，MCU控制该灯珠长亮红光，当检测到电量低于百分之二十时，MCU控制该灯珠闪烁间隔1S的红光。
所述NFC模块为TRF7970A芯片及其外围电路，TRF7970A是一款用于 13.56MHzNFC/RFID系统的集成式模拟前端(AFE)和多协议数据组帧器件，支持所有的三种NFC工作模式：读/写器模式、对等模式和卡仿真模式，在本发明中主要用到读/写器模式和卡仿真模式。在MCU处于运行状态时，使用者短暂触摸接触开关模块(约1S)，MCU检测到电平变化后通过串口1向TRF7970A 发送读卡指令，TRF7970A接收到读卡指令后修改自身寄存器，进入读/写器模式，此时将需要复制的卡片贴近手杖扶手端即可完成卡片信息的录入。在完成录入后，TRF7970A通过串口1向MCU控制模块发送表示读卡成功的指令，在此之后修改自身寄存器，进入卡仿真模式，仿真曾经读取过的卡片，从而做到代替原有的卡片。
所述定位模块由两个模块组成，分别是ATK1218-BD模块与GPRS A6模块。ATK1218-BD模块用于获取北斗及GPS的定位信息，并将获取的信息通过串口传输的方式传递至MCU串口2，MCU在获取串口2传递回的数据后将其处理成特殊格式的数据包，并通过串口3发送给GPRS A6模块；GPRS A6模块将MCU 处理后的定位信息上传至云服务器，再由服务器发送给手机端，手机端解析数据包后将坐标信息显示在地图软件上，从而完成对手杖使用者的定位。
所述无线充电接收模块在接触到无线充电器后，接收模块内置的线圈便会因为电磁感应产生一定的电流开始为手杖内的电池充电。
所述电池模块即一定容量的锂电池。
所述的STM32F103C8T6MCU控制模块负责接收NFC的回传信息以及电池电量信息，并按前文所述操作一系列其他模块。
所述带有螺纹的橡胶圈能够实现拐杖在伸长至最长时能够通过顺时针扭动固定，要将拐杖收起时，逆时针扭动拐杖杆，即可松开咬合的各节杖体，然后逐节收起即可。
一种智能NFC手杖的障碍物检测方法，所述方法包括如下步骤：
步骤1：使用摄像头10拍摄具有障碍物的路面照片，并把拍照的照片作为障碍物图像的样本库。先是人工进行拍照建立样本库先，同时对样本库的每个图像的障碍物的具体信息进行人工标注。
步骤2：分别对每一张样本库图像增强处理，扩充样本库图像的数量，数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理；然后对障碍物图像中的物体的类别使用标注工具进行标注，按照特定协议将标注的数据信息以PASCAL VOC格式储存文件。对障碍物图像进行数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，扩充障碍物样本的数据集；采用所述的使用标注工具为标签制作工具Label Img；所述的标注信息文件包括图像中的障碍物标注框的坐标、类别标签和保存图片路径以XML格式储存在文件中。
步骤3：构建图像的检测模型，其模型是由特征提取网络，空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，用于生成障碍物图像的障碍物特征图、并利用3种不同尺度的特征图区域上对障碍物进行检测和识别。
由4个密集模块组成的DensNet特征提取网络由组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，其表达公式为xl＝Hl([x0,x1,x2,...,xl-1])；其中Hl代表由BN层、 ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的特征图；在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维；在密集模块后特征图维度为13×13、26 ×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，构成多尺度预测层；在多尺度预测层中插入空间金字塔网络实现特征金字塔网络。
障碍物的检测流程如下：
将图像大小调整为416×416，然后将图像分割成S×S个网格，如果目标的中心位于网格单元中，则在该网格中执行检测过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体的类别信息概率C，置信度Confidence得分由公式
Figure BDA0002499264010000081
获得；置信度 Confidence得分等于表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w 和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0,否则为1。
对上一步中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理。
通过对图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理。
通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
步骤4：训练检测模型，通过随机梯度下降法对检测模型进行训练得到障碍物模型后，将待检测的障碍物图像输入训练好的模型进行测试，实现障碍物检测，发现障碍物后进行使用扬声器11播报给用户。
训练的损失函数为：
Loss＝Errorcoord+Erroriou+Errorcls
Figure BDA0002499264010000091
Figure BDA0002499264010000092
Figure BDA0002499264010000093
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002499264010000094
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002499264010000095
等于0；
Figure BDA0002499264010000096
为预测边界框的中心坐标值及其宽度和高度， (xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002499264010000097
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002499264010000098
是预测的概率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种智能NFC手杖，包括伸缩组件(8)和抓柄(9)，所述抓柄(9)设置在伸缩组件(8)的顶部，其特征在于：所述抓柄(9)上设置有触摸开关(1)、LED指示灯(2)、NFC模块(3)、定位模块(4)、无线充电接收模块(5)、电池模块(6)和控制器模块(8)，所述NFC模块(3)、定位模块(4)、无线充电接收模块(5)、电池模块(6)和控制器模块(8)均设置在抓柄(9)的内部，所述触摸开关(1)设置在抓柄(9)的头部顶端，所述LED指示灯(2)内嵌设置在抓柄(9)的前端，所述无线充电接收模块(5)与电池模块(6)连接，所述电池模块(6)经触摸开关(1)与控制器模块(8)连接供电，所述LED指示灯(2)、NFC模块(3)和定位模块(4)均与控制器模块(8)连接。
2.根据权利要求1所述的一种智能NFC手杖，其特征在于：所述伸缩组件(8)由若干根相互内嵌的嵌套管组成，嵌套管的顶部外侧设置有外螺纹(12)，嵌套管的底部内侧设置有内螺纹(13)，嵌套管的外螺纹与前端的嵌套管的内螺纹(13)螺纹连接。
3.根据权利要求2所述的一种智能NFC手杖，其特征在于：所述定位模块(4)包括ATK1218-BD位置获取子模块和GPRS A6子模块，所述ATK1218-BD位置获取子模块和GPRS A6子模块均与控制器模块(8)连接，所述GPRS A6子模块与远程用户端无线连接。
4.根据权利要求3所述的一种智能NFC手杖及其障碍物检测方法，其特征在于：还包括摄像头(10)和扬声器(11)，所述摄像头(10)和扬声器(11)均是设置在抓柄(9)前端底部，摄像头(10)和扬声器(11)均与控制器模块(8)连接。
5.根据权利要求1所述的一种智能NFC手杖及其障碍物检测方法，其特征在于：所述NFC模块(3)使用主控芯片型号为TRF7970A芯片，NFC模块(3)与控制器模块(8)的串口1连接。
6.根据权利要求4所述的一种智能NFC手杖的障碍物检测方法，其特征在于：所述方法包括如下步骤：
步骤1：使用摄像头(10)拍摄具有障碍物的路面照片，并把拍照的照片作为障碍物图像的样本库；
步骤2：分别对每一张样本库图像增强处理，扩充样本库图像的数量，数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理；然后对障碍物图像中的物体的类别使用标注工具进行标注，按照特定协议将标注的数据信息以PASCAL VOC格式储存文件；
步骤3：构建图像的检测模型，其模型是由特征提取网络，空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，用于生成障碍物图像的障碍物特征图、并利用3种不同尺度的特征图区域上对障碍物进行检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对检测模型进行训练得到障碍物模型后，将待检测的障碍物图像输入训练好的模型进行测试，实现障碍物检测，发现障碍物后进行使用扬声器(11)播报给用户。
7.根据权利要求6所述的一种智能NFC手杖的障碍物检测方法，其特征在于：所述步骤2中，对障碍物图像进行数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，扩充障碍物样本的数据集；采用所述的使用标注工具为标签制作工具LabelImg；所述的标注信息文件包括图像中的障碍物标注框的坐标、类别标签和保存图片路径以XML格式储存在文件中。
8.根据权利要求6所述的一种智能NFC手杖的障碍物检测方法，其特征在于：所述步骤3中，由4个密集模块组成的DensNet特征提取网络由组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，其表达公式为xl＝Hl([x0,x1,x2,...,xl-1])；其中Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的特征图；在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维；在密集模块后特征图维度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，构成多尺度预测层；在多尺度预测层中插入空间金字塔网络实现特征金字塔网络。
9.根据权利要求6所述的一种智能NFC手杖的障碍物检测方法，其特征在于：所述步骤3中障碍物的检测流程如下：
将图像大小调整为416×416，然后将图像分割成S×S个网格，如果目标的中心位于网格单元中，则在该网格中执行检测过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体的类别信息概率C，置信度Confidence得分由公式
Figure FDA0002499264000000039
获得；置信度Confidence得分等于表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0,否则为1；
对上一步中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
通过对图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
10.根据权利要求6所述的一种智能NFC手杖的障碍物检测方法，其特征在于：所述步骤4中训练的损失函数为：
Loss＝Errorcoord+Erroriou+Errorcls
Figure FDA0002499264000000031
Figure FDA0002499264000000032
Figure FDA0002499264000000033
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure FDA0002499264000000034
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure FDA0002499264000000035
等于0；
Figure FDA0002499264000000036
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure FDA0002499264000000037
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure FDA0002499264000000038
是预测的概率。
CN202010427526.3A 2020-05-20 2020-05-20 一种智能nfc手杖及其障碍物检测方法 Pending CN111657643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010427526.3A CN111657643A (zh) 2020-05-20 2020-05-20 一种智能nfc手杖及其障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010427526.3A CN111657643A (zh) 2020-05-20 2020-05-20 一种智能nfc手杖及其障碍物检测方法

Publications (1)

Publication Number Publication Date
CN111657643A true CN111657643A (zh) 2020-09-15

Family

ID=72384093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010427526.3A Pending CN111657643A (zh) 2020-05-20 2020-05-20 一种智能nfc手杖及其障碍物检测方法

Country Status (1)

Country Link
CN (1) CN111657643A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095390A (zh) * 2021-04-02 2021-07-09 东北大学 基于云数据库和改进集成学习的手杖运动分析系统及方法
CN114088371A (zh) * 2021-11-18 2022-02-25 中车长春轨道客车股份有限公司 城铁车车门智能障碍物试验装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095390A (zh) * 2021-04-02 2021-07-09 东北大学 基于云数据库和改进集成学习的手杖运动分析系统及方法
CN113095390B (zh) * 2021-04-02 2024-06-04 东北大学 基于云数据库和改进集成学习的手杖运动分析方法
CN114088371A (zh) * 2021-11-18 2022-02-25 中车长春轨道客车股份有限公司 城铁车车门智能障碍物试验装置
CN114088371B (zh) * 2021-11-18 2023-09-22 中车长春轨道客车股份有限公司 城铁车车门智能障碍物试验装置

Similar Documents

Publication Publication Date Title
CN109815868B (zh) 一种图像目标检测方法、装置及存储介质
CN110136136A (zh) 场景分割方法、装置、计算机设备及存储介质
CN110135295A (zh) 一种基于迁移学习的无监督行人重识别方法
CN111657643A (zh) 一种智能nfc手杖及其障碍物检测方法
CN112163717B (zh) 人口数据预测方法、装置、计算机设备及介质
CN107077601A (zh) 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析
CN112990211A (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN106887146B (zh) 导向标识系统的信息处理方法与导向标识系统
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN115775085B (zh) 一种基于数字孪生的智慧城市管理方法及系统
CN113534829A (zh) 一种基于边缘计算的无人机日常巡逻检测系统
CN112257527B (zh) 基于多目标融合与时空视频序列的手机检测方法
CN107784290A (zh) 一种停车位占用图像智能识别的方法
CN112069983A (zh) 多任务特征融合共享学习的低光照行人检测方法及系统
CN118314377A (zh) 一种面向边缘计算的轻量化双模态交互目标检测方法
WO2021218725A1 (zh) 一种图像数据处理方法及相关装置
CN110069655A (zh) 一种私人相册的人脸搜索方法
CN108613672A (zh) 对象定位方法、对象定位系统和电子设备
CN117912113A (zh) 基于人-物关键点时空交互的扶梯乘客危险行为识别方法
CN113221670A (zh) 一种用于口罩佩戴识别的技术
KR102617756B1 (ko) 속성 기반 실종자 추적 장치 및 방법
CN213281803U (zh) 一种智能nfc手杖
CN106932841A (zh) 环境监测装置、导航设备及导航服务端
CN106203279A (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN111860195B (zh) 一种基于大数据的安保检测方法及安保检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination