CN113449641A - 基于云边端协同的物体识别系统 - Google Patents
基于云边端协同的物体识别系统 Download PDFInfo
- Publication number
- CN113449641A CN113449641A CN202110727918.6A CN202110727918A CN113449641A CN 113449641 A CN113449641 A CN 113449641A CN 202110727918 A CN202110727918 A CN 202110727918A CN 113449641 A CN113449641 A CN 113449641A
- Authority
- CN
- China
- Prior art keywords
- module
- voice
- cloud
- recognition
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 241001166076 Diapheromera femorata Species 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000009429 distress Effects 0.000 claims abstract description 5
- 240000007651 Rubus glaucus Species 0.000 claims description 39
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 39
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000000149 penetrating effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 30
- 238000005259 measurement Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012905 input function Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
- A45B3/00—Sticks combined with other objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
- G01S19/17—Emergency applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
- A45B2200/00—Details not otherwise provided for in A45B
- A45B2200/05—Walking sticks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了基于云边端协同的物体识别系统，属于物体识别技术领域，包括语音交互模块、图片存储模块、实时监控模块和图像识别智能语音手杖，所述语音交互模块、图片存储模块及实时监控模块的输出端与云服务器计算处理模块的输入端相连接，所述云服务器计算处理模块、语音测距报警模块、物体检测与识别模块、GPS位置信息采集模块及摔倒邮件呼救模块的输出端与图像识别智能语音手杖的输入端电性连接；本发明充分利用云服务器开发了各种新功能，包括实时远程监控、一键拍照存云以及智能语音交互，此外，在对各功能模块进行选择调用后，还分别实现了测距语音警报、跌倒自动求救以及GPS实时定位，功能强大。
Description
技术领域
本发明属于物体识别技术领域，尤其涉及基于云边端协同的物体识别系 统。
背景技术
当前国内对手杖的外形设计已趋于饱和，各种减震防滑，适合人体工学的 手把设计，单、四脚底座互换设计等等五花八门的功能应有尽有。而今后对其 的研究方向正向着智能化、简易多功能化方向全面发展。当下专业生产智能拐 杖的厂家不多，功能也参差不齐，其主要功能有手电筒照明、收音机、MP3音 乐、SOS一键呼救、远程聆听、GPS一键导航、双向通话、专属APP功能等。
市面上出现了一种智能手杖，内置卫星定位、3G网络和无线网络，可作为 老年人的导航仪，也能让家人快速找到老人所在位置。借鉴于此，在开发新型 手杖的过程中，不但要考虑现有功能，还应突破现状，充分结合使用者的身份 特征推出更加智能且方便的功能。全球老龄化的到来将会有更多需要照顾的老 人，社会各层对老年人弱势群体的人文关怀也逐年上升，可想而知，未来的智 能手杖消费人群是十分庞大的。
此外，伴随着科技的飞速发展，云服务器的到来也为手杖开发新的功能提 供了契机，当前市面上较贵的智能手杖主打功能有通话、定位、一键呼救等 等，鲜有利用到云服务器的层面。在如今全球云计算市场风起云涌、群雄争霸 的情形下，我国云计算飞速发展，而云计算行业将会见证越来越多的传统企业 上云。这对于智能产品以及云服务器公司而言，将会是一种共赢的局面。
发明内容
本发明的目的在于：为了解决视力障碍患者的行路安全问题以及不同使用 者各种不同需求的问题，而提出的基于云边端协同的物体识别系统。
为了实现上述目的，本发明采用了如下技术方案：基于云边端协同的物体 识别系统，包括语音交互模块、图片存储模块、实时监控模块和图像识别智能 语音手杖，所述语音交互模块、图片存储模块及实时监控模块的输出端与云服 务器计算处理模块的输入端相连接，所述云服务器计算处理模块、语音测距报 警模块、物体检测与识别模块、GPS位置信息采集模块及摔倒邮件呼救模块的输 出端与图像识别智能语音手杖的输入端电性连接。
作为上述技术方案的进一步描述：
所述图像识别智能语音手杖包括手杖主体、树莓派拓展板、语音模块、按 键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS模 块，所述拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像 头、扩音器、陀螺仪与GPS定位模块均设置在手杖主体的内部，所述拓展板上 设置有树莓派。
进一步地，通过设置树莓派拓展板、语音模块、按键模块、超声波测距模 块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS模块，可有效实现多种功 能，提高功能性。
作为上述技术方案的进一步描述：
所述语音模块、超声波测距模块、陀螺仪及按键模块的输出端与树莓派拓 展板的输入端电性连接，所述树莓派拓展板、PiCamera的、USB摄像头、GPS定 位模块及扩音器的输出端均与树莓派电性连接。
进一步地，语音模块、超声波测距模块、陀螺仪及按键模块的输出端与树 莓派拓展板的输入端电性连接，能实现良好的数据传输；
作为上述技术方案的进一步描述：
所述超声波测距模块的型号为HC-SR04，所述陀螺仪的型号为MPU6050，所 述语音模块的型号为ReSpeaker2-Mics Pi HAT。
本发明还公开了基于云边端协同的物体识别方法，包括如下步骤：
S1、按键录音，按键按下状态作为判断依据，打开语音模块进行wav语音 文件的录制；
S2、语音转文本，通过调用百度智能云语音技术API进行wav文件的txt 转换；
S3、文本答复，通过调用图灵机器人AK对录入语音的文本文件进行答复；
S4、文本文件的语音输出，将上一步得到的答复文本转为mp3音频文件， 进行语音输出；
S5、按键按下则运行树莓派小程序截取一帧图像，调用七牛云存储空间的 API后可将其自动存储至云空间；
S6、Mjpg-streamer可由sudo apt-get install命令安装至树莓派，运行相 应指令可将摄像头实时图像上传至局域网内，配置华为云服务器的安全组开启 相应端口，分别在树莓派以及云服务器中安装Frp内网穿透工具后编辑相应ini 文件以映射IP地址，分别在命令行中输入相应Frp内网穿透指令则可将实时图 像共享至公网服务器内，输入相应网址则可连接成功，看到实时图像；
S7、通过对其返回的数据进行读取与判断，一旦y轴加速器超过安全阈 值，则表明手杖倾斜，用户有跌倒危险，打开QQ邮件的smtp协议后则可通过 命令发送求救邮件至指定邮箱，确保用户能够得到及时救援；
S8、通过串口通信工具得到其返回的经纬度信息，通过调用百度开放平台 的AK密钥将此经纬度转为地理位置输出，系统会定时将此位置上传至第三方邮 箱以得到定位结果方便搜寻；
S9、利用算法对下载的数据集进行处理，经过训练可得到物体检测模型； 其次，通过进行机器视觉识别，捕捉摄像头画面中的各物体；
S10、在学习框架下利用神经网络训练出物体识别模型，对此模型进行部署 即可得到画面中各物体的识别结果并给出准确率。
作为上述技术方案的进一步描述：
所述S4中，文本文件的语音输出，将上一步得到的答复文本转为mp3音频 文件，通过mplayer语音输出。
作为上述技术方案的进一步描述：
所述S5中，按键按下则运行树莓派小程序fswebcam截取一帧图像，调用 七牛云存储空间的API后可将其自动存储至云空间。
作为上述技术方案的进一步描述：
所述S8中，通过minicom串口通信工具得到其返回的经纬度信息，通过调 用百度开放平台的AK密钥将此经纬度转为地理位置输出，系统会定时将此位置 上传至第三方邮箱以得到定位结果方便搜寻。
作为上述技术方案的进一步描述：
所述S9中，利用YOLOV3算法对下载的COCO数据集进行处理，经过训练可 得到物体检测模型；其次，通过Opencv进行机器视觉识别，捕捉摄像头画面中 的各物体。
作为上述技术方案的进一步描述：
所述S10中，在TensorFlow Lite学习框架下利用CNN卷积神经网络训练出 物体识别模型，对此模型进行部署即可得到画面中各物体的识别结果并给出准 确率。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，充分利用云服务器开发了各种新功能，包括实时远程监控、 一键拍照存云以及智能语音交互，此外，在对各功能模块进行选择调用后，还 分别实现了测距语音警报、跌倒自动求救以及GPS实时定位，功能强大。
2、本发明中，系统采用了一种具有3排插针的I/O拓展板，根据功能需 求，系统选用了HC-SR04超声波测距模块实现测距功能，选用两个BUTTON SWITCH按键模块作为主令开关，选用RESPEAKER2-MICS PI HAT语音模块以供录 音，选用1个picamera以及2个USB摄像头分别实现实时远程监视、拍照捕捉 以及物体检测识别功能，选用MPU6050陀螺仪模块以检测是否跌倒，选用了GPS 双北斗模块定时返回经纬度数据及位置信息，为了方便语音接收，进一步保障 了各个功能的模块的正常运行，避免出现故障。
3、本发明中，通过采用树莓派作为主控制器，通过搭建一台公网云服务 器，树莓派摄像头捕捉到的画面能够实时上传到其中，第三方只需访问此公网 IP，便能够得到实时画面，以实现监控功能；一键拍照并不算新鲜，但在本系 统中此功能与云存储空间相结合，用户所拍摄的照片无需保存至本地，只需通 过访问云存储空间便能够随时随地对图片进行管理；语音交互自然也需要用到 云计算技术，由于树莓派不自带语音输入功能，只能在语音模块的帮助下将用 户录入的语音上传至百度云语音中进行解析，智能机器人能够对解析出的文本 文件作出回复，回复的文本文件再转为语音文件输出便完成了语音交互。此外，系统还带有测距语音警报、摔倒自动求救、GPS实时定位等基础功能。区别 于传统智能手杖，系统紧跟时代浪潮，自带基于深度学习的物体检测识别功 能，用户可根据识别结果迅速得知远方不易看清的物体，设计合理，成本低 廉，适于推广。
4、本发明中，远程监控技术利用的是华为云服务器，可有效提高系统运行 速率，使系统在速度更快的基础上且更加稳定，语音交互功能实现过程中使用 的mplayer可将mp3文件语音输出，保障了语音交互功能的稳定性。
附图说明
图1为基于云边端协同的物体识别系统的模块结构示意图。
图2为基于云边端协同的物体识别系统中图像识别智能语音手杖的模块结构 示意图。
图3为基于云边端协同的物体识别系统的总流程图。
图4为基于云边端协同的物体识别系统中I/O接口电路原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：基于云边端协同的物体识别系 统，包括语音交互模块、图片存储模块、实时监控模块和图像识别智能语音手 杖，所述语音交互模块、图片存储模块及实时监控模块的输出端与云服务器计 算处理模块的输入端相连接，所述云服务器计算处理模块、语音测距报警模 块、物体检测与识别模块、GPS位置信息采集模块及摔倒邮件呼救模块的输出端 与图像识别智能语音手杖的输入端电性连接；
所述图像识别智能语音手杖包括手杖主体、树莓派拓展板、语音模块、按 键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS模 块，所述拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像 头、扩音器、陀螺仪与GPS定位模块均设置在手杖主体的内部，所述拓展板上 设置有树莓派，所述语音模块、超声波测距模块、陀螺仪及按键模块的输出端 与树莓派拓展板的输入端电性连接，所述树莓派拓展板、PiCamera的、USB摄 像头、GPS定位模块及扩音器的输出端均与树莓派电性连接，所述超声波测距模块的型号为HC-SR04，所述陀螺仪的型号为MPU6050，所述语音模块的型号为 ReSpeaker2-Mics Pi HAT；
本发明还公开了基于云边端协同的物体识别方法，包括如下步骤：
S1、按键录音，按键按下状态作为判断依据，打开语音模块进行wav语音 文件的录制；
S2、语音转文本，通过调用百度智能云语音技术API进行wav文件的txt 转换；
S3、文本答复，通过调用图灵机器人AK对录入语音的文本文件进行答复；
S4、文本文件的语音输出，将上一步得到的答复文本转为mp3音频文件， 通过mplayer语音输出；
S5、按键按下则运行树莓派小程序fswebcam截取一帧图像，调用七牛云存 储空间的API后可将其自动存储至云空间；
S6、Mjpg-streamer可由sudo apt-get install命令安装至树莓派，运行相 应指令可将摄像头实时图像上传至局域网内，配置华为云服务器的安全组开启 相应端口，分别在树莓派以及云服务器中安装Frp内网穿透工具后编辑相应ini 文件以映射IP地址，分别在命令行中输入相应Frp内网穿透指令则可将实时图 像共享至公网服务器内，输入相应网址则可连接成功，看到实时图像；
S7、通过对其返回的数据进行读取与判断，一旦y轴加速器超过安全阈 值，则表明手杖倾斜，用户有跌倒危险，打开QQ邮件的smtp协议后则可通过 命令发送求救邮件至指定邮箱，确保用户能够得到及时救援；
S8、通过minicom串口通信工具得到其返回的经纬度信息，通过调用百度 开放平台的AK密钥将此经纬度转为地理位置输出，系统会定时将此位置上传至 第三方邮箱以得到定位结果方便搜寻；
S9、利用YOLOV3算法对下载的COCO数据集进行处理，经过训练可得到物 体检测模型；其次，通过Opencv进行机器视觉识别，捕捉摄像头画面中的各物 体；
S10、在TensorFlow Lite学习框架下利用CNN卷积神经网络训练出物体识 别模型，对此模型进行部署即可得到画面中各物体的识别结果并给出准确率。
其中，实时远程监控是为了解决使用者出行时的画面共享问题；一键拍照 存云方便用户随时随地拍照，存云是为了方便后期的管理；智能语音交互是为 了解决孤寡老年人群体的交流问题，还可进行天气预报；测距语音警报是为了 方便用户实时得到前方障碍物的距离以做出反应；跌倒自动求救是保障用户的 人身安全，在摔倒的第一时间发出求救以及时得到救援；GPS实时定位能够使第 三方定时得到用户的位置反馈；而物体检测识别是为了方便视障患者得到前方 物体的识别结果，通过对识别物体进行判断以对各种场景作出反应，为实现物 体检测与识别，必须具备摄像头，同时还需利用YOLOV3算法以及CNN卷积神经 网络训练出检测模型、目标识别模型并将其部署到系统当中。此外，由于树莓 派没有自带的语音输入功能，系统必须安装并配置RESPEAKER2-MICS PI HAT语 音模块，安装必要的驱动之后便可使用，为了达到语音交互的目的，系统还调 用了百度智能语音技术API从而进行语音文件以及文本文件的互相转换，通过 mplayer即可将语音文件输出。
请参阅图4，两个按键模块的ON口分别接到了树莓派的GPIO24以及GPIO4 口，MPU6050模块的RX、DX口分别接到了GPIO14与GPIO15口，而HC-SR04模 块的TRIG、ECHO口则分别接到了GPIO16口、GPIO21口。各摄像头只需按其接 口设置直接连接到树莓派的相应接口即可，由于RESPEAKER2-MICS PI HAT语音 模块需要占用所有I/O口，因而为了安装其余功能模块必须将树莓派与一个拓 展板相连。
系统开启后，摄像头由命令启动，脚本文件运行Python文件，HC-SR04模 块自动测量前方障碍物距离，MPU6050模块实时返回各轴数据，而GPS模块则实 时返回其捕捉的经纬度信息。两个按键模块分别控制语音的键入以及拍照的启 动，通过按下按键便能够使能相应I/O发出相应指令控制系统运行。
系统设计的各功能可概括为以下几点：使用者与前方障碍物距离过近时， 系统可自动输出语音警报以便用户作出反应；在安全范围内，按下相应按键可 录入语音，从而进行智能语音交互；摄像头捕捉实时画面上传至云服务器，方 便远程监视；按下按键可进行拍摄，拍摄到的照片自动上传至云存储空间；开 启对应摄像头可进行物体检测与识别，方便得知前方物体识别结果；使用者摔 倒时，系统及时发出求救邮件以得到及时救援；系统定时上传经纬度数据及地 理位置信息。
测距语音警报主要涉及HC-SR04超声波测距模块的调用，系统会 记录信号发送时刻以及信号接收时刻以求出距离，其计算公式为： 
其中，D为模块与障碍物的距离，t2为返回信号接收时间，t1为发出信号时 间。当系统计算出障碍物距离后，通过与安全阈值比较，一旦超出预先设置， 系统会调用mplayer将预先设置好的警告文本转为mp3文件语音输出。
本实施例中，采用树莓派作为主控制器，通过搭建一台公网云服务器，树 莓派摄像头捕捉到的画面能够实时上传到其中，第三方只需访问此公网IP，便 能够得到实时画面，以实现监控功能；一键拍照并不算新鲜，但在本系统中此 功能与云存储空间相结合，用户所拍摄的照片无需保存至本地，只需通过访问 云存储空间便能够随时随地对图片进行管理；语音交互自然也需要用到云计算 技术，由于树莓派不自带语音输入功能，只能在语音模块的帮助下将用户录入 的语音上传至百度云语音中进行解析，智能机器人能够对解析出的文本文件作 出回复，回复的文本文件再转为语音文件输出便完成了语音交互。此外，系统 还带有测距语音警报、摔倒自动求救、GPS实时定位等基础功能。区别于传统智 能手杖，系统紧跟时代浪潮，自带基于深度学习的物体检测识别功能，用户可 根据识别结果迅速得知远方不易看清的物体，设计合理，成本低廉，适于推 广。
需要说明的是：本发明中物体检测与识别是在TensorFlow Lite学习框架下 完成的，也可选用其他学习框架，检测模型和识别模型分别是利用YOLOV3算法 以及CNN卷积神经网络训练的，可根据实际情况选用其他算法进行实现，精确 度可能会发生一定改变，系统选用的是COCO数据集，此数据集内容较为丰富。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本 发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护 范围之内。
Claims (10)
1.基于云边端协同的物体识别系统，包括语音交互模块、图片存储模块、实时监控模块和图像识别智能语音手杖，所述语音交互模块、图片存储模块及实时监控模块的输出端与云服务器计算处理模块的输入端相连接，所述云服务器计算处理模块、语音测距报警模块、物体检测与识别模块、GPS位置信息采集模块及摔倒邮件呼救模块的输出端与图像识别智能语音手杖的输入端电性连接。
2.根据权利要求1所述的基于云边端协同的物体识别系统，其特征在于，所述图像识别智能语音手杖包括手杖主体、树莓派拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS模块，所述拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS定位模块均设置在手杖主体的内部，所述拓展板上设置有树莓派。
3.根据权利要求2所述的基于云边端协同的物体识别系统，其特征在于，所述语音模块、超声波测距模块、陀螺仪及按键模块的输出端与树莓派拓展板的输入端电性连接，所述树莓派拓展板、PiCamera的、USB摄像头、GPS定位模块及扩音器的输出端均与树莓派电性连接。
4.根据权利要求3所述的基于云边端协同的物体识别系统，其特征在于，所述超声波测距模块的型号为HC-SR04，所述陀螺仪的型号为MPU6050，所述语音模块的型号为ReSpeaker2-Mics Pi HAT。
5.根据权利要求1-4中任意一项所述的基于云边端协同的物体识别方法，其特征在于，包括如下步骤：
S1、按键录音，按键按下状态作为判断依据，打开语音模块进行wav语音文件的录制；
S2、语音转文本，通过调用百度智能云语音技术API进行wav文件的txt转换；
S3、文本答复，通过调用图灵机器人AK对录入语音的文本文件进行答复；
S4、文本文件的语音输出，将上一步得到的答复文本转为mp3音频文件，进行语音输出；
S5、按键按下则运行树莓派小程序截取一帧图像，调用七牛云存储空间的API后可将其自动存储至云空间；
S6、Mjpg-streamer可由sudo apt-get install命令安装至树莓派，运行相应指令可将摄像头实时图像上传至局域网内，配置华为云服务器的安全组开启相应端口，分别在树莓派以及云服务器中安装Frp内网穿透工具后编辑相应ini文件以映射IP地址，分别在命令行中输入相应Frp内网穿透指令则可将实时图像共享至公网服务器内，输入相应网址则可连接成功，看到实时图像；
S7、通过对其返回的数据进行读取与判断，一旦y轴加速器超过安全阈值，则表明手杖倾斜，用户有跌倒危险，打开QQ邮件的smtp协议后则可通过命令发送求救邮件至指定邮箱，确保用户能够得到及时救援；
S8、通过串口通信工具得到其返回的经纬度信息，通过调用百度开放平台的AK密钥将此经纬度转为地理位置输出，系统会定时将此位置上传至第三方邮箱以得到定位结果方便搜寻；
S9、利用算法对下载的数据集进行处理，经过训练可得到物体检测模型；其次，通过进行机器视觉识别，捕捉摄像头画面中的各物体；
S10、在学习框架下利用神经网络训练出物体识别模型，对此模型进行部署即可得到画面中各物体的识别结果并给出准确率。
6.根据权利要求5所述的基于云边端协同的物体识别方法，其特征在于，所述S4中，文本文件的语音输出，将上一步得到的答复文本转为mp3音频文件，通过mplayer语音输出。
7.根据权利要求5所述的基于云边端协同的物体识别方法，其特征在于，所述S5中，按键按下则运行树莓派小程序fswebcam截取一帧图像，调用七牛云存储空间的API后可将其自动存储至云空间。
8.根据权利要求5所述的基于云边端协同的物体识别方法，其特征在于，所述S8中，通过minicom串口通信工具得到其返回的经纬度信息，通过调用百度开放平台的AK密钥将此经纬度转为地理位置输出，系统会定时将此位置上传至第三方邮箱以得到定位结果方便搜寻。
9.根据权利要求5所述的基于云边端协同的物体识别方法，其特征在于，所述S9中，利用YOLOV3算法对下载的COCO数据集进行处理，经过训练可得到物体检测模型；其次，通过Opencv进行机器视觉识别，捕捉摄像头画面中的各物体。
10.根据权利要求5所述的基于云边端协同的物体识别方法，其特征在于，所述S10中，在TensorFlow Lite学习框架下利用CNN卷积神经网络训练出物体识别模型，对此模型进行部署即可得到画面中各物体的识别结果并给出准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727918.6A CN113449641B (zh) | 2021-06-29 | 2021-06-29 | 基于云边端协同的物体识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727918.6A CN113449641B (zh) | 2021-06-29 | 2021-06-29 | 基于云边端协同的物体识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113449641A true CN113449641A (zh) | 2021-09-28 |
| CN113449641B CN113449641B (zh) | 2022-02-25 |
Family
ID=77813989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110727918.6A Active CN113449641B (zh) | 2021-06-29 | 2021-06-29 | 基于云边端协同的物体识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449641B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114630396A (zh) * | 2021-12-31 | 2022-06-14 | 厦门阳光恩耐照明有限公司 | 一种基于图像识别的智能灯蓝牙配置方法和配置系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105232297A (zh) * | 2015-11-18 | 2016-01-13 | 深圳市启明创新科技开发有限公司 | 一种云智能导盲机器人 |
| CN106360897A (zh) * | 2016-08-30 | 2017-02-01 | 佛山市顺康达医疗科技有限公司 | 一种着重于老年人关怀和陪伴的智能拐杖装置 |
| CN108198559A (zh) * | 2018-01-26 | 2018-06-22 | 上海萌王智能科技有限公司 | 一种可学习动作的语音控制机器人系统 |
| CN207722059U (zh) * | 2017-05-11 | 2018-08-14 | 安阳师范学院 | 一种盲人智能拐杖 |
| CN109009904A (zh) * | 2018-06-06 | 2018-12-18 | 武汉科技大学 | 一种智能导盲杖 |
| CN111339264A (zh) * | 2018-12-19 | 2020-06-26 | 中国科学院深圳先进技术研究院 | 智能拐杖的工作方法、装置、设备、存储介质和智能拐杖 |
| CN211132024U (zh) * | 2019-11-06 | 2020-07-31 | 青岛港湾职业技术学院 | 一种基于ai开放平台的智能语音导盲系统 |
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
-
2021
- 2021-06-29 CN CN202110727918.6A patent/CN113449641B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105232297A (zh) * | 2015-11-18 | 2016-01-13 | 深圳市启明创新科技开发有限公司 | 一种云智能导盲机器人 |
| CN106360897A (zh) * | 2016-08-30 | 2017-02-01 | 佛山市顺康达医疗科技有限公司 | 一种着重于老年人关怀和陪伴的智能拐杖装置 |
| CN207722059U (zh) * | 2017-05-11 | 2018-08-14 | 安阳师范学院 | 一种盲人智能拐杖 |
| CN108198559A (zh) * | 2018-01-26 | 2018-06-22 | 上海萌王智能科技有限公司 | 一种可学习动作的语音控制机器人系统 |
| CN109009904A (zh) * | 2018-06-06 | 2018-12-18 | 武汉科技大学 | 一种智能导盲杖 |
| CN111339264A (zh) * | 2018-12-19 | 2020-06-26 | 中国科学院深圳先进技术研究院 | 智能拐杖的工作方法、装置、设备、存储介质和智能拐杖 |
| CN211132024U (zh) * | 2019-11-06 | 2020-07-31 | 青岛港湾职业技术学院 | 一种基于ai开放平台的智能语音导盲系统 |
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114630396A (zh) * | 2021-12-31 | 2022-06-14 | 厦门阳光恩耐照明有限公司 | 一种基于图像识别的智能灯蓝牙配置方法和配置系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113449641B (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10937288B2 (en) | Theft prevention monitoring device and system and method | |
| CN110368275A (zh) | 一种导盲机器人及导盲系统、导盲方法 | |
| CN106389078A (zh) | 一种智能导盲眼镜系统及其导盲方法 | |
| CN106254838B (zh) | 一种输电线路防外力破坏智能预警系统 | |
| CN112001347B (zh) | 一种基于人体骨架形态与检测目标的动作识别方法 | |
| CN108900801A (zh) | 一种基于人工智能的视频监控方法、系统及云服务器 | |
| CN113449641B (zh) | 基于云边端协同的物体识别系统 | |
| WO2020108234A1 (zh) | 图像索引生成方法、图像搜索方法、装置、终端及介质 | |
| CN112770054A (zh) | 一种智能门铃系统及应用方法 | |
| WO2018084726A1 (en) | Guardian system in a network to improve situational awareness of a crowd at an incident | |
| CN111626162A (zh) | 基于时空大数据分析的水上救援系统及溺水警情预测方法 | |
| CN208875459U (zh) | 一种智能安全帽 | |
| CN108447142A (zh) | 基于人脸识别的考勤处理方法及装置 | |
| CN109446946A (zh) | 一种基于多线程的多摄像头实时检测方法 | |
| CN110136501A (zh) | 一种基于ar及图像识别的英语学习机 | |
| CN106325113B (zh) | 机器人控制引擎及系统 | |
| CN110324589A (zh) | 一种旅游景区的监控系统与方法 | |
| CN209803819U (zh) | 人脸识别记录仪 | |
| CN205080563U (zh) | 火车站智能移动终端 | |
| CN208903379U (zh) | 一种基于人脸和声音识别的防盗报警系统 | |
| CN108270927B (zh) | 一种基于手机的生命救助仪及救助方法 | |
| CN202694375U (zh) | 一种基于手机照片识别定位的紧急求救系统 | |
| US20230270593A1 (en) | Assistive smart glasses for visual impairment, and system and control method thereof | |
| CN108055502A (zh) | 基于NB-IoT的城市治安快速布控系统和方法 | |
| CN203467751U (zh) | 一种可记录周围环境影像和声音的多功能警帽 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |