CN110895410A - 基于计算机视觉的幼儿看护小车 - Google Patents
基于计算机视觉的幼儿看护小车 Download PDFInfo
- Publication number
- CN110895410A CN110895410A CN201810970004.0A CN201810970004A CN110895410A CN 110895410 A CN110895410 A CN 110895410A CN 201810970004 A CN201810970004 A CN 201810970004A CN 110895410 A CN110895410 A CN 110895410A
- Authority
- CN
- China
- Prior art keywords
- infant
- trolley
- infant nursing
- upper computer
- cart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000474 nursing effect Effects 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 239000013056 hazardous product Substances 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Toys (AREA)
Abstract
为了帮助现代家庭实现智能幼儿看护，本发明开发了基于NVIDIA Jeston TK1、Arduino mega2560单片机和计算机视觉方法的幼儿看护小车。此幼儿看护小车包括运动系统、供电系统、控制系统、信息采集系统和上位机。上位机使用NVIDIA Jetson TK1，利用计算机视觉方法对USB摄像头采集的图像进行处理，检测幼儿位置和危险物体，并计算舵机角度等信息。上位机通过USB串口通信将信息发送给单片机，以控制舵机和小车车身旋转，或蜂鸣器发出警报。同时，单片机通过超声波传感器计算目标距离，以控制小车前进后退。该小车具有幼儿检测与跟踪、危险物品检测报警和自动拍摄幼儿图片等功能。
Description
技术领域
本发明涉及机器人的技术领域，尤其涉及一种幼儿智能看护机器人。
背景技术
1. 近年来，由于家长看管不力造成婴幼儿受伤的报道层出不穷，如何进行婴幼儿的安全看护现已成为社会关注的焦点。而人工智能正在逐步改变我们的生活，为智能生活带来了诸多便利。机器学习作为当前人工智能的核心技术之一，在计算机视觉领域所起到的作用非常重大。计算机视觉是人工智能领域最具代表性的技术之一，将计算机视觉技术融入到各种产品之中，是当下产业界面临的重大机遇和挑战。
2. 智能小车涵盖了计算机、自动控制以及计算机视觉等技术，基于NVIDIAJeston TK1和Arduino mega2560单片机。看护小车总体分为运动系统、供电系统、控制系统、信息采集系统和上位机，上位机使用NVIDIA Jetson TK1通过USB摄像头实时采集图像，对采集到的图像进行处理，检测目标位置和物体，并计算相应的舵机角度等信息，并将信息通过USB串口通信发送给控制系统。控制系统通过读取上位机的相关信息控制摄像头舵机和车轮马达，并通过超声波传感器计算距离后控制小车前进后退和控制蜂鸣器发出警报。
3. 智能幼儿看护系统主要功能包括目标追踪、危险物品检测和人脸检测捕捉存储照片等，实现提前主动式保护。通过目标追踪使婴幼儿始终处于目标范围内；通过危险物体检测，在婴幼儿接近对其而言可能危险的物品时及时发出警报，保障幼儿在安全的范围内活动，为幼儿提供最大程度的安全保护；通过人脸检测功能，实时捕捉婴幼儿照片并保存以供家长选择，记录幼儿的成长留作纪念。
发明内容
本发明针对市场上现有看护机器人不够灵活的基础上，设计了一种新型的跟踪式的看护机器人。通过发挥小车灵活的运动性能，结合计算机视觉技术识别危险物品，为幼儿的安全保驾护航。
本发明采用如下技术解决方案：
看护小车硬件结构可分为运动系统、供电系统、控制系统、信息采集系统和上位机五部分。所述运动系统可分为车身和驱动系统。其中车身由两层亚克力底板和螺母固定。驱动系统采用双轴直流减速电机，四个车轮用螺丝固定在车身下方。驱动系统采用两部分控制模式，分为左侧轮和右侧轮，控制小车的前进后退和左右转动。
所述供电系统由两部分构成，分别给上位机和控制系统供电。其中给上位机的供电采用5000mah、11V、1.3A锂电池，置于小车车尾，开发板下方。控制系统的供电采用两个18560锂电池，放入电池盒后置于小车中部，舵机云台下方。
控制系统采用Arduino mega2560芯片和UNO-40A转接板，通过螺母固定在小车前部。 控制系统完成的功能为通过USB串口通信接收上位机的信息，控制舵机和马达。
信息采集系统包括云台、摄像头和超声波传感器。云台采用9g舵机，通过螺母固定在车身中部。摄像头采用普通USB高清摄像头，通过USB数据线和上位机连接，完成的功能是实时图像采集。超声波传感器采用HC-SR04传感器通过跳线和Arduino mega2560芯片连接，完成的功能是与目标物测距。摄像头和超声波传感器通过螺丝固定在舵机云台上。
上位机采用NVIDIA Jetson TK1开发板，操作系统为Ubuntu14.04。上位机通过USB数据线与控制系统连接，通过USB连接摄像头。上位机通过WiFi天线可实现网络连接，通过共享桌面可实现远程控制。
本发明与现有技术相比，具有以下优点：
（1）本发明结合了计算机视觉技术和自动控制技术，实现幼儿目标的跟踪，并能实时识别危险物品；
（2）传统的幼儿看护系统通过视频监控系统，需要人的实时管理。本发明可以自动跟踪幼儿，实现看护无人化；
（3）在实时跟踪和目标检测的同时，看护小车还可实现人脸捕捉功能，捕捉幼儿美好瞬间，作为成长影集。
附图说明
图1是本发明结构示意图；
图2是本发明硬件结构图；
图3是本发明软件流程图。
具体实施方式
下面结合实例对本发明作进一步说明。所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例包括：智能幼儿看护小车，包括运动系统、供电系统、控制系统、信息采集系统和上位机。所述实施例的运动系统包括底板1、马达2和车轮3。
实施例的供电系统包括电池4和电池5。电池4置于车身后面，可由尼龙扎带固定住。电池4采用插式插口和芯片16连接，方便取下充电。电池5通过电池盒21固定在车底1的中部、舵机云台10的下方。方便18560电池取下通过固定充电器充电。
实施例的控制系统包括Arduino芯片6、UNO-40A转接板7。芯片和扩展板之间通过排针连接。芯片6和上位机之间通过USB串口8连接。转接板7板上包括蜂鸣器9。转接板和舵机云台10、马达之间通过跳线连接。其中，马达四个分两组控制。控制系统的电压指示器11通过螺母固定在车底的右前方。舵机云台10底座通过长螺母固定在车身中部底端，舵机12控制传感器X轴方向上的移动，舵机13控制传感器Y轴方向上的转动，两类移动范围均为180度。
实施例的信息采集系统包括摄像头14和超声波传感器15。摄像头14通过螺丝固定在云台10上部，超声波传感器15置于摄像头14的上部。其中摄像头14通过USB线与上位机连接，超声波传感器通过跳线与Arduino芯片6连接。两个传感器均跟随舵机云台10而转动。
实施例的上位机包括NVIDIA Jetson TK1开发板16、按点式开关17和WiFi天线18。其中，开发板16和电池4之间用按点式开关17连接。按点式开关17可置于开发板16与车底1的中部，方便智能小车的控制。WiFi天线18分置在车身后方两侧。由于开发板16只有一个USB口，所以这里增加了一个USB Hub19，置于开发板下方。用于分开连接摄像头14和芯片6。
实施例的上位机启动，用户通过远程控制的方式连接上位机。通过命令打开USB摄像头14，此时可以看到实时视频流。用户暂停视频流，在视频帧上选取需要跟踪的幼儿，或通过固定图像的形式传入上位机。
上位机进行图像处理，主要处理两种信息。第一，幼儿的位置信息。由幼儿的bounding box可以计算出幼儿在整个图像中所处的位置，将位置与图像的中心点进行比较，若bounding box在图像的右侧，即可判定幼儿在车身的右侧。随即将舵机角度值进行固定步长的加或减，从而上位机程序中舵机的角度值与幼儿和车身真实的角度值保持一致，即可实现幼儿始终在摄像头14的监控范围内。同时，实时对视频帧进行目标检测和人脸检测，判断幼儿周围是否有危险物品，并保存检测到的幼儿人脸图像至当前路径下的特定文件夹下，以便于捕捉美好瞬间。
在上位机成功进行幼儿位置判断和危险物品检测之后，即可转换为信号，通过USBHub19和USB串口8发送至Arduino芯片6。芯片6读取到信号后即可对舵机12和舵机13进行控制，带动摄像头14的转动。若幼儿移动的范围超过了舵机所能转动的范围，则芯片6开启对马达的控制，通过马达带动车身的左右转动，始终使得幼儿始终在摄像头14的监控范围内。同时，若有危险物品信号，芯片6即控制蜂鸣器9发出警报，提示用户。同时，芯片6通过控制超声波传感器，检测车身与幼儿的距离，使得幼儿始终保持在安全的距离范围内，否则将通过马达2控制车身的前进和后退。
实施例的上位机可以通过HDMI接口20连接显示器，通过USB Hub19连接输入设备，包括鼠标、键盘等，可以直接对上位机进行系统升级或软件升级等操作，这种操作方式较远程连接的方式更加简单方便。
基于计算机视觉的幼儿看护小车不仅可以识别固定类别的物品，家长或其他看护人员还可以根据实际需求设定其他类别的物品。在本实例中使用的物品为常见危险物品，如刀子、药片药丸等。可以通过输入设备或远程连接的方式连接上位机，将做好的物品数据集和对应的标注集放入训练文件夹下，运行程序即可生成新的物品检测模型，再将训练好的模型替换掉原有的模型即可。
综上所述，本发明的幼儿看护小车，适用于学龄前儿童的看护，实现幼儿看护的无人化和智能化。家长或其他看护人员可以通过输入输出设备或远程连接的方式连接，选取需要看护的幼儿，幼儿看护小车即能自动跟踪幼儿，使幼儿始终处于看护小车的范围内。看护小车可实时检测幼儿周围的危险物品，一旦检测到危险物品，小车可以发出警报声，及时提醒周围的看护人员前来保护。同时，看护小车还可以实时捕捉幼儿人脸照片，以备后期制作影集等留作纪念，增加趣味性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于计算机视觉幼儿看护小车，包括运动系统、供电系统、控制系统、信息采集系统和上位机。
2.根据权利要求1所述的幼儿看护小车，其特征在于，所述的供电系统均安装在幼儿看护小车的底部，且采用分离供电的方式为上位机和控制系统供电，均使用锂电池供电。
3.根据权利要求1所述的幼儿看护小车，其特征在于，所述的控制系统为通过控制舵机和马达，通过驱动幼儿看护小车采集信息，并通过上位机进行处理，通过蜂鸣器进行报警提示。
4.控制系统位于幼儿看护小车的前部，信息采集系统安装在看护小车的中部，上位机位于小车的尾部。
5.根据权利要求1所述的幼儿看护小车，其特征在于，所述的信息采集系统包含超声波测距模块和摄像头，超声波测距模块安装在摄像头上方，测量幼儿看护小车与幼儿的距离，且超声波测距模块和摄像头安装在幼儿看护小车的中部。
6.根据权利要求1所述的幼儿看护小车，其特征在于，通过摄像头获得幼儿的位置信息后，可以通过上位机进行处理，并控制双舵机分别在X、Y方向上旋转和车身左右协调旋转，跟踪目标，使幼儿始终处于监控范围内。
7.根据权利要求1所述的幼儿看护小车，其特征在于，幼儿看护小车可以通过HDMI连接显示器，通过USB Hub接口连接输入设备对上位机进行操作。
8.根据权利要求1所述的幼儿看护小车，其特征在于，幼儿看护小车可以通过WiFi模块连接无线网络，用户可以通过远程桌面的方式对幼儿看护小车进行控制。
9.根据权利要求1所述的幼儿看护小车，其特征在于，幼儿看护小车在进行幼儿跟踪的同时，可以完成危险物品检测和实时人脸图像捕捉。
10.根据权利要求1所述的幼儿看护小车，其特征在于，危险物品的种类不是固定的，家长或看护人员可以使用任何物品的图像集进行训练，训练后的幼儿看护小车可以将该物品识别为危险物品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810970004.0A CN110895410A (zh) | 2018-08-24 | 2018-08-24 | 基于计算机视觉的幼儿看护小车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810970004.0A CN110895410A (zh) | 2018-08-24 | 2018-08-24 | 基于计算机视觉的幼儿看护小车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110895410A true CN110895410A (zh) | 2020-03-20 |
Family
ID=69784796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810970004.0A Pending CN110895410A (zh) | 2018-08-24 | 2018-08-24 | 基于计算机视觉的幼儿看护小车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110895410A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965488A (zh) * | 2021-02-05 | 2021-06-15 | 重庆大学 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007310563A (ja) * | 2006-05-17 | 2007-11-29 | National Univ Corp Shizuoka Univ | 予定経路予告表示機能を内蔵する移動ロボット |
| CN204515399U (zh) * | 2015-01-04 | 2015-07-29 | 江苏师范大学 | 幼儿看护机器人 |
| CN204695019U (zh) * | 2015-06-30 | 2015-10-07 | 广州绿松生物科技有限公司 | 智能远程看护机器人 |
| CN206653396U (zh) * | 2017-01-10 | 2017-11-21 | 阿亦睿机器人科技（上海）有限公司 | 一种具有图像识别功能的早教机器人 |
| CN108189046A (zh) * | 2018-01-30 | 2018-06-22 | 成都奥兜科技有限公司 | 一种跟踪看护机器人 |
-
2018
- 2018-08-24 CN CN201810970004.0A patent/CN110895410A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007310563A (ja) * | 2006-05-17 | 2007-11-29 | National Univ Corp Shizuoka Univ | 予定経路予告表示機能を内蔵する移動ロボット |
| CN204515399U (zh) * | 2015-01-04 | 2015-07-29 | 江苏师范大学 | 幼儿看护机器人 |
| CN204695019U (zh) * | 2015-06-30 | 2015-10-07 | 广州绿松生物科技有限公司 | 智能远程看护机器人 |
| CN206653396U (zh) * | 2017-01-10 | 2017-11-21 | 阿亦睿机器人科技（上海）有限公司 | 一种具有图像识别功能的早教机器人 |
| CN108189046A (zh) * | 2018-01-30 | 2018-06-22 | 成都奥兜科技有限公司 | 一种跟踪看护机器人 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965488A (zh) * | 2021-02-05 | 2021-06-15 | 重庆大学 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
| CN112965488B (zh) * | 2021-02-05 | 2022-06-03 | 重庆大学 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9517559B2 (en) | Robot control system, robot control method and output control method | |
| CN206795815U (zh) | 一种灵活机械手的智能护理小车 | |
| CN106054895A (zh) | 智能营业厅机器人及其室内行走偏航自动校正方法 | |
| CN206400717U (zh) | 一种基于gps的安防巡逻机器人 | |
| WO2018227987A1 (zh) | 自动行走的行李箱、智能设备及系统 | |
| US20130338525A1 (en) | Mobile Human Interface Robot | |
| CN105015645B (zh) | 一种多功能无人探测机器人 | |
| CN206012963U (zh) | 设有双机械臂的无人飞行器 | |
| CN202189275U (zh) | 一种用于具有自动充电能力的仓库自主巡逻小车的电路 | |
| CN106774318B (zh) | 多智能体交互式环境感知与路径规划运动系统 | |
| CN207810578U (zh) | 搬运机器人以及分拣系统 | |
| CN111735541A (zh) | 一种移动式体温监测机器人 | |
| CN106393142A (zh) | 一种智能机器人 | |
| CN106909158A (zh) | 一种全方位移动环境vr图像探测车 | |
| CN107818705A (zh) | 多传感器融合的早教机器人系统及运行方法 | |
| CN110696012B (zh) | 配电间智能机器人系统 | |
| CN205942440U (zh) | 智能营业厅机器人 | |
| CN110895410A (zh) | 基于计算机视觉的幼儿看护小车 | |
| CN207630029U (zh) | 搬运机器人以及分拣系统 | |
| CN206200992U (zh) | 一种基于机器视觉的餐厅机器人 | |
| CN206292585U (zh) | 机器人及其控制系统 | |
| CN205968985U (zh) | 一种基于智能移动终端控制的便携式侦查机器人 | |
| CN207096814U (zh) | 变电站主控室远程智能巡视机器人 | |
| CN207058584U (zh) | 具有环境监测与语音交互功能的家庭智能机器人 | |
| Fang et al. | Vehicle-mounted with tracked Robotic System Based on the Kinect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200320 |
|
| RJ01 | Rejection of invention patent application after publication |