CN112965488B - 基于迁移学习神经网络的婴儿监控移动机器小车 - Google Patents
基于迁移学习神经网络的婴儿监控移动机器小车 Download PDFInfo
- Publication number
- CN112965488B CN112965488B CN202110162650.6A CN202110162650A CN112965488B CN 112965488 B CN112965488 B CN 112965488B CN 202110162650 A CN202110162650 A CN 202110162650A CN 112965488 B CN112965488 B CN 112965488B
- Authority
- CN
- China
- Prior art keywords
- baby
- value
- trolley
- camera
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000013526 transfer learning Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 229920000742 Cotton Polymers 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 29
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 229910052742 iron Inorganic materials 0.000 claims abstract description 13
- 230000000670 limiting effect Effects 0.000 claims abstract description 11
- 208000014674 injury Diseases 0.000 claims abstract description 6
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 5
- 230000006378 damage Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 42
- 238000013508 migration Methods 0.000 claims description 17
- 230000005012 migration Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 230000001681 protective effect Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000002829 reductive effect Effects 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 7
- 241000512668 Eunectes Species 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 2
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 claims 1
- 239000011737 fluorine Substances 0.000 claims 1
- 229910052731 fluorine Inorganic materials 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 241001314440 Triphora trianthophoros Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002147 killing effect Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D63/00—Motor vehicles or trailers not otherwise provided for
- B62D63/02—Motor vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D63/00—Motor vehicles or trailers not otherwise provided for
- B62D63/02—Motor vehicles
- B62D63/04—Component parts or accessories
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02T90/10—Technologies relating to charging of electric vehicles
- Y02T90/16—Information or communication technologies improving the operation of electric vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Combustion & Propulsion (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于迁移学习神经网络的婴儿监控移动机器小车，属于视觉识别领域。包括移动机器人、防撞棉块、齿轮条、传动电机、限位铁块和摄像头；限位铁块镶嵌在齿轮条的末端并放在小车内，防止传动电机将齿轮条全部传出去，同时也防止在伸出齿轮条时因为伸出量过多导致婴儿受伤。对小孩进行目标检测并且实时跟踪然后在小孩走出某个带有检测标识安全报警二维码的安全区域时触发报警传感器提醒父母，并且在报警后会有应急保护措施防止出现意外。在跟踪过程中始终和小孩保持一定的安全距离可以防止小车碰撞到小孩造成伤害。
Description
技术领域
本发明属于视觉识别领域，涉及基于迁移学习神经网络的婴儿监控移动机器小车。
背景技术
研究表明，夫妇在带新生儿时，很担心孩子的安全，但是碍于工作的原因没有过多的时间去带孩子，因此本发明提出一种基于迁移神经网络模型的智能婴儿监控小车。
迁移学习的方法是目前大为推广发展的一种机器学习方式，简而言之就是让计算机了解规则从而达到举一反三，触类旁通的目的，例如学会骑自行车之后就可以很容易的学会骑电动车。在实际的生活中由于许多前沿项目的发展需要大量的样本数据，但由于得到相应的样本数据代价巨大，在得不到足够多的样本数据的情况下迁移学习应运而生，通过少量的数据以及适当的模糊度让计算机对于目标检测的特征进行训练学习达到最终应用检测的目的，这种算法应用在实际场景可以极大的节约成本，减少对于目标样本数据的需求，在模糊度的配合下利用少量的样本即可达到同样的目的。本次发明采用迁移学习神经网络的目的在于可以利用少量样本训练出达到目标检测的精确模型达到节俭目标成本的目的实现减少对目标数据集需求的目的。
发明内容
有鉴于此，本发明的目的在于提供一种基于迁移学习神经网络的婴儿监控移动机器小车。为达到上述目的，本发明提供如下技术方案：
基于迁移学习神经网络的婴儿监控移动机器小车，包括移动机器人、防撞棉块、齿轮条、传动电机、限位铁块和摄像头；
所述移动机器人上设有摄像头，进行人像识别；
所述移动机器人上还设有蜂鸣报警装置和通讯模块；
所述移动机器人采用i7处理器的CPU来处理图像信息，对摄像头采集的图像和实际位置进行矫正，采用最高时速5m/s的轮毂电机对小车进行位置控制，用36V可充电型锂电池进行供电；
通过ros平台控制移动机器人，跟踪婴儿，并保持相对的距离；
转动电机连接在小车内部，转动电机带动齿轮条进行伸缩，并且在齿轮条的末端绑定棉制条状阻挡物；通过转动电机带动齿轮条伸缩进而带动棉制条状物为婴儿形成一道棉制的保护圈，并且转动电机通过绑定转速测量器形成闭环控制将伸缩速度控制在3秒完成，在完成棉条保护圈之后将完成信息传递给主机让主机给轮毂电机发送0.09rad/s的自转指令带动自身机身以及婴儿一同转体，直到摄像头不再扫到安全报警二维码位置为止便收起保护装置继续跟随目标婴儿；
传动电机带动齿轮条循着向内的圆环状方向伸缩，将目标婴儿框在保护区内的功能；
防撞棉块用于缓震，防撞棉块上装有力传感器完成柔顺控制，防止传动电机伸出齿轮条过快对婴儿造成伤害；齿轮条外设有一层特制软绵套，防止过硬的齿轮条在实现应急保护措施时候伤害到婴儿，齿轮条由电机实现传动外镶特质棉保护套这层棉套；
齿轮条一端放有特质面块防止撞击，另一端放有防止齿轮条全部传出的限位铁块；
限位铁块镶嵌在齿轮条的末端并放在小车内，防止传动电机将齿轮条全部传出去，同时也防止在伸出齿轮条时因为伸出量过多导致婴儿受伤。
可选的，所述人像识别为：将婴儿照片进行模型的训练，识别婴儿相关特征，将摄像头采集到的画面进行人像识别处理后反馈到计算机，当婴儿移动到提前设置好的安全区域以外时触发蜂鸣报警装置进行告警，通过通讯模块向手机发出警报。
可选的，所述通过ros平台控制移动机器人，跟踪婴儿，并保持相对的距离为：
移动机器人采用集成在MSP430F149单片机上的MPU9250多姿传感器对婴儿位置姿态进行检测，并且保持小车和婴儿的安全距离，其中MPU9250在内部集成三轴陀螺仪、三轴加速度计和三轴电子罗盘；通过集成到单片机上的集成电路进行数据传输控制，对目标婴儿的位置检测并向目标移动，其中陀螺仪测量的是旋转角速度，计算角度值的公式如下：
θk＝(ωk-ωbias_k)dt+θk-1 (2-12)
θk为当前的角度值而θk-1是上一个时间的角度值并且由当前时刻的角速度值ωk与当前时刻角速度偏移量ωbias_k的进行积分在和上一时刻的角度值相加得到当前时刻的角度值；并且三轴加速度计测量三个轴的加速度分量，通过：
计算角度目标角度姿，并且通过：
确定航向角，其中，Hx和Hy分别是X轴和Y轴上输出的磁感应强度数据；在角度姿态融合的过程中采用卡尔曼滤波的算法进行处理，从滤波效果来看选择卡尔曼滤波不仅提升角度姿态融合精度而且提升相应的响应速度；将摄像头给来的观测量作为滤波器的输入量之后，用一同状态量的估计值作为滤波器的输出量，利用系统噪声和观察噪声的特性进行最优化数据估值处理；
其中：xk为状态向量yk作为观察向量；A是从k-1时刻的状态转移矩阵；Uk则是系统的输入控制向量，B为输入向量的增益矩阵；为状态量到观测量的增益矩阵，ωk为噪声的输入量，vk为观察的噪声，假定输入噪声和观察到的噪声都服从正态分布，输入噪声的协方差为Q，观察到的噪声协方差为R则有：状态量的预估计、误差协方差预估计、卡尔曼增益更新、现状态估计值更新和误差协方差更新的五个递推，用于对硬件单模型的测量。
可选的，所述对婴儿位置姿态进行检测为：
陀螺仪的角度检测用(2-12)公式进行测量，三轴加速度计和电子罗盘测量的对应角度值作为检测的反馈值，状态方程为：
在其中，Ts为采样周期而ωk和ωk-1为k时刻以及k-1时刻的角速度，通过反馈的PWM值调节电机转速从而控制小车移动速度实现小车与婴儿的安全距离把控。
可选的，所述摄像头为D435i的深度摄像头，在摄像头传来婴儿的位置信息后传递给MPU9250传感器进行位置分析，然后将分析结果传递到主机，由主机处理器判断是否执行跟随操作，若与婴儿距离过大，确定要执行跟随操作，则驱动轮毂电机实现目标跟随；在跟随过程中通过对转速的测量实现转速的闭环，将转速值传递给主机判断是否速度过快会撞到婴儿，由主机实现闭环控制让转速在一个相对婴儿较安全的速度实现目标跟随。
可选的，所述小车还包括安全报警二维码，安全报警二维码设置在危险区域，当小车通过摄像头扫描安全报警二维码触发蜂鸣报警装置，提醒小孩可能处于危险，通过通讯模块向手机发出警报。
可选的，所述移动机器小车建立训练模型：
通过darknet-53卷积神经框架搭建而成，通过Anaconda的安装包创建对应的python环境并且通过Anaconda创建出的python环境进行tensorflow的搭建，tensorflow的作用是在机器学习中，把训练好的模型存储起来，在进行决策时直接将模型读出；并且在搭建过程中依据自身的计算机显卡NVIDIA950M配置，进行相应的cuda和cudnn的配置；搭建好背景后进行目标识别，基于深度卷积神经网络算法的人像监控检验算法的训练和测试，得到最佳的网络模型及其参数；
构建一个有关婴儿人像特征的数据集，包含已经标注的训练集和测试集比例为3：1在送入到卷积神经网络前先进性批量预处理和图片尺寸一致化处理；将训练集中的人像图片输入主体卷积神经网络进行特征提取，由57个卷积层和多个残差层组成；卷积层通过卷积运算对目标特征进行提取，残差层对不同层的输出进行跨层直接连接；
通过对全连接层的修改达到特征迁移的目的，通过对全连接层进行一定的模糊度设置让训练好的模型利用在不同场景下的婴儿进行训练学习然后对居家婴儿中进行识别；
在迁移学习中：
(1)初始权重向量
并且其中，
(2)设置
对于t＝1,...,N而言，
设置pt满足
调用线性化根据合并后的训练数据T以及T上的权重分布
pt和未标注数据S，得到一个S的分类器ht:X→Y；
计算ht在tb上的错误率：
设置βt＝∈t/(1-∈t)b
设置新的权重向量如下：
输出最终的分类器
在若干次分类之后辅助训练集中符合要求的样本在权重上得以增大，而不符合要求的样本数据则在每次迭代的过程中因为权重不断下降而逐渐被淘汰；
在每次迭代的过程中都有相应迭代次数i下的状态值s和预测动作值a对此得到在状态s下选择动作a得到的最大回报值为：
即在策略Π下对于i次迭代次数的状态Si能得到的最大奖励值R；通过强化学习诱导奖励机制的方式诱导每一步迭代得到最佳权重值；其中在Π的选择策略下得到的奖励值由θΠ(S)进行表示：
θΠ(S)＝EΠ[R(Si,ai)+γ*θΠ(Si+1)|Si＝S,Si+1＝S] (2.7)
其中γ代表折扣函数在区[0,1]之间，γ设为0，得到在S状态下的最佳回报值为：
并且在定义最佳的Q函数
并且在对于在i次迭代的R(S,a)值定义为最佳Q学习值时，通过公式(2.8)和(2.9)推导得到
在得到最佳期望奖励关于Q函数的关系式后推导下一步迭代的Q函数值
Qi+1(Si,ai)＝Qi+1(Si,ai)+α[R(Si,ai)-Qi(Si，ai)] (2.11)
得到在i次迭代时对i+1次迭代的Q函数即状态动作的最佳值，通过加入Q函数的强化学习方法在每次迭代中自动选择最优值的权重训练方式；将得到的最优权重值应用在特征提取当中；搭建成一个用于婴儿检测的模型，在利用相关样本照片进行特征提取训练之后搭载在小车主机上用于婴儿的识别检测。
本发明的有益效果在于：对小孩进行目标检测并且实时跟踪然后在小孩走出某个带有检测标识安全报警二维码的安全区域时触发报警传感器提醒父母，并且在报警后会有应急保护措施防止出现意外。在跟踪过程中始终和小孩保持一定的安全距离可以防止小车碰撞到小孩造成伤害。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为总体实现流程图；
图2为模型训练图；
图3为硬件实现流程图；
图4为安全报警触发模拟图；
图5为应急安全措施流程图；
图6为小车的应急保护启动前的俯视图；
图7为小车启动应急保护功能之后的俯视图；
图8为柔顺化控制系统流程；
图9为柔顺化控制的闭环控制图；
图10为0次迁移学习的测试集损失函数和验证集损失函数；
图11为3次迁移训练的测试集损失函数和验证集损失函数；
图12为10次迁移训练的测试集和验证集的损失函数
附图标记：1-防撞棉块，2-齿轮条，3-传动电机，4-限位铁块，5-摄像头。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图12，为基于迁移学习神经网络的婴儿监控移动机器小车，针对婴儿的实时监控问题，搭建了一个样本需求量少的检测模型供给使用者进行婴儿实时监控，不同于传统的固定摄像头监控系统，本发明将监控和报警功能搭建在小车上实时跟随监控，做到“移动保姆”的功能。并且使用的模型可以通过对不同的特征提取达到迁移到对其他目标进行检测的目的，在现实中由于实际情况的不同，每个现实情况会有不同的实际需求。因此在这个过程中采用的一种新的模型训练方式：构建基于奖励机制的深度迁移模型训练方法，并且通过迁移学习的方式训练出来的检测模型不仅可以通过少量的资料进行训练达到最终目的，通过这种方法不仅可以达到检测目的而且在对其他目标进行检测时只需要改变相关的特征选取即可，极大程度上实现多种目标功能并且达到了节约样本资源成本的目的。
本发明的主要作用流程图如图1所示。
第一步：训练软件模型：
本发明采用视觉检测方法是通过darknet-53卷积神经框架搭建而成，因此通过Anaconda的安装包创建对应的python环境并且通过Anaconda创建出的python环境进行tensorflow的搭建，tensorflow的作用是在机器学习中，把训练好的模型存储起来，这样在进行决策时直接将模型读出，而不需要重新训练模型，这样就大大节约了时间。并且在搭建过程中依据自身的计算机显卡配置(本发明在NVIDIA950M上实现)进行相应的cuda和cudnn的配置。搭建好背景后进行目标识别，基于深度卷积神经网络算法的人像监控检验算法的训练和测试，从而得到最佳的网络模型及其参数。构建一个有关婴儿人像特征的数据集，包含了已经标注的训练集和测试集比例为3：1在送入到卷积神经网络前先进性批量预处理和图片尺寸一致化处理；将训练集中的人像图片输入主体卷积神经网络进行特征提取，使用的框架如图1所示，由57个卷积层和多个残差层组成。卷积层通过卷积运算对目标特征进行提取，残差层对不同层的输出进行跨层直接连接，这种结构设计可以降低模型的复杂度，并且减少相关的参数，在加深网络层数的同时又避免了梯度消失或者爆照的问题出现。
通过对全连接层的修改达到特征迁移的目的，通过对全连接层进行一定的模糊度设置让训练好的模型可以利用在不同场景下的婴儿进行训练学习然后对居家婴儿中进行识别，不用根据特定的场所训练相应场所的检测模型。
其中应用到的特点识别算法
在本次发明的特点在于应用了迁移学习并且在迁移学习中基于提出一种改进算法如下：
1、初始权重向量
并且其中，
2、设置
对于t＝1,...,N而言，
设置pt满足
调用线性化根据合并后的训练数据T以及T上的权重分布
pt和未标注数据S，得到一个S的分类器ht:X→Y。
计算ht在tb上的错误率：
设置βt＝∈t/(1-∈t)b
设置新的权重向量如下：
输出最终的分类器
需要做到的相应说明是权重的更新方式对于辅助样本来讲，预测值和标签越接近，权重越大，而对于目标数据则是相反的预测值和标签值的差异越大，权重越大。并且通过此方法在若干次分类之后辅助训练集中符合要求的样本在权重上得以增大。而不符合要求的样本数据则在每次迭代的过程中因为权重不断下降而逐渐被淘汰。在此过程中对于每次迭代采用了强化学习方法改善成一种新的迁移框架可以提升效率值。
在每次迭代的过程中都有相应迭代次数i下的状态值s和预测动作值a对此可以得到在状态s下选择动作a得到的最大回报值为：
即在策略Π下对于i次迭代次数的状态Si能得到的最大奖励值R。通过强化学习诱导奖励机制的方式诱导每一步迭代得到最佳权重值，在最大程度上减少因为迁移学习导致的训练损失。其中在Π的选择策略下得到的奖励值可由
θΠ(S)进行表示：
θΠ(S)＝EΠ[R(Si,ai)+γ*θΠ(Si+1)|Si＝S，Si+1＝S] (2.7)
其中γ代表折扣函数在区[0,1]之间，由于在此过程中仅考虑直接回报值因此γ设为0所以得到在S状态下的最佳回报值如下表示
并且在定义了最佳的Q函数
并且在对于在i次迭代的R(S,a)值定义为最佳Q学习值时，可以通过公式(2.8)和(2.9)推导得到
在得到最佳期望奖励关于Q函数的关系式后可以推导下一步迭代的Q函数值
Qi+1(Si,ai)＝Qi+1(Si,ai)+α[R(Si,ai)-Qi(Si，ai)] (2.11)
就可以得到在i次迭代时对i+1次迭代的Q函数即状态动作的最佳值，通过加入Q函数的强化学习方法可以在每次迭代中自动选择最优值的权重训练方式。将得到的最优权重值应用在特征提取当中。通过以上相应算法和相应背景的搭建构成了一个用于婴儿检测的模型，在利用相关样本照片进行特征提取训练之后便可搭载在小车主机上用于婴儿的识别检测。
第二步：相关硬件
本次发明将目标检测技术搭载到移动机器人平台上并且搭配深度摄像头进行人像采集检测，通过ros平台控制小车，跟踪婴儿，并保持相对的距离。
在本发明的应用过程中首先将使用者家的婴儿少量照片用以计算机的检测模型进行对模型的训练，等计算机检测模型掌握了使用者家婴儿的相关特征并且可以识别出使用者家的婴儿时，便可以投入使用，在硬件的小车的搭建上通过摄像头对婴儿进行实时监控并且以此为目标，在与婴儿保持一定距离的同时通过目标跟随系统让小车实时跟随婴儿移动，担任一个“移动式保姆”的角色，并且将摄像头采集到的画面进行人像识别处理之后反馈到计算机，当婴儿移动到提前设置好的安全区域以外的时候会触发小车上的蜂鸣报警装置让家中带小孩的老人注意到小孩已经快要移动出安全区域了，并且通过连接到使用夫妇手机上的报警系统向在外工作的夫妇发出安全警报。
本发明主要是利用集载了i7处理器的CPU用来对图像信息进行处理，以及对实际摄像头采集图像和实际位置进行矫正，并且采用了最高时速可达到5m/s的轮毂电机对小车进行位置控制并且采用了36V可充电型锂电池进行电源供电，采用了蜂鸣报警装置作为家中报警装置，采用了集成在MSP430F149单片机上的MPU9250多姿传感器对婴儿位置姿态进行检测并且保持小车和婴儿的安全距离，其中MPU9250在内部集成了三轴陀螺仪，三轴加速度计，三轴电子罗盘通过集成到单片机上的集成电路进行数据传输控制对目标婴儿的位置检测以及实现向目标移动的功能，其中陀螺仪测量的是旋转角速度，计算角度值的公式如下：
θk＝(ωk-ωbias_k)dt+θk-1 (2-12)
θk为当前的角度值而θk-1是上一个时间的角度值并且由当前时刻的角速度值ωk与当前时刻角速度偏移量ωbias_k的进行积分在和上一时刻的角度值相加得到当前时刻的角度值。并且三轴加速度计可以测量三个轴的加速度分量。通过
可以计算角度目标角度姿。并且通过
可以确定航向角，其中，Hx和Hy分别是X轴和Y轴上输出的磁感应强度数据。并且在角度姿态融合的过程中采用卡尔曼滤波的算法进行处理，从滤波效果来看选择卡尔曼滤波不仅提升角度姿态融合精度而且提升了相应的响应速度。将摄像头给来的观测量作为滤波器的输入量之后，用一同状态量的估计值作为滤波器的输出量，并且利用系统噪声和观察噪声的特性进行最优化数据估值处理。
其中：
xk为状态向量yk作为观察向量；A是从k-1时刻的状态转移矩阵；Uk则是系统的输入控制向量，B为输入向量的增益矩阵；为状态量到观测量的增益矩阵，ωk为噪声的输入量，vk为观察的噪声，假定输入噪声和观察到的噪声都服从正态分布，输入噪声的协方差为Q，观察到的噪声协方差为R则有：状态量的预估计，误差协方差预估计，卡尔曼增益更新，现状态估计值更新，误差协方差更新的五个递推用于对硬件单模型的测量。
对于位姿检测，陀螺仪的角度检测可用(2-12)公式进行测量，三轴加速度计和电子罗盘测量的对应角度值可以作为检测的反馈值。在抑制陀螺仪角速度漂移方面系统还需要对偏移量进行估计处理，所以系统的状态方程可以如下公式描述
在其中，Ts为采样周期而ωk和ωk-1为k时刻以及k-1时刻的角速度。通过反馈的PWM值调节电机转速从而控制小车移动速度实现小车与婴儿的安全距离把控。
摄像头采用的是D435i的深度摄像头用来对婴儿进行实时位置检测。在摄像头传来婴儿的位置信息后传递给MPU9250传感器进行位置分析，然后将分析结果传递到主机由主机处理器判断是否执行跟随操作，若与婴儿距离过大确定要执行跟随操作则驱动轮毂电机实现目标跟随，在跟随过程中通过对转速的测量实现转速的闭环，将转速值传递给主机判断是否速度过快会撞到婴儿，由主机实现闭环控制让转速在一个相对婴儿较安全的速度实现目标跟随。
在使用本发明的同时会配有安全报警二维码，使用者通过提前对安全报警二维码的粘贴规定好安全区域让婴儿在规定的安全区域活动，当小车跟踪婴儿到达安全区域边界时，小车通过摄像头扫描安全报警二维码触发蜂鸣报警装置提醒家中老人小孩位置可能处于危险并让老人即时调整婴儿位置，并且将此信息传递到小车主机上利用主机和使用者手机的通信连接方式让使用者收到报警信息。通过下图的简易模拟示意报警装置的触发。
通过在不同位置粘贴安全安全报警二维码的方式可以让使用者自主确定安全区域上图是模拟将阳台视作危险地区，防止婴儿爬上阳台掉下去。同时在扫描到安全报警二维码的同时为了防止家人来不及做相应的应对策略，本发明在小车的两端装有的安全装置会自动伸出，防止婴儿越界进入危险区域，做到一个应急处理。在此处应急保护流程如图5所示。
并且在此过程中使用到转动电机连接在小车内部，转动电机上带有齿轮可以带动齿轮条进行伸缩，并且在齿轮条的末端绑定了棉制条状阻挡物。通过转动电机带动齿轮条伸缩进而带动棉制条状物为婴儿形成一道棉制的保护圈，并且在转动电机也会通过绑定转速测量器形成闭环控制将伸缩速度控制在3秒完成，这样既不会伤害到婴儿也能及时做到保护措施，并且在形成并且在完成棉条保护圈之后将完成信息传递给主机让主机给轮毂电机发送一个0.09rad/s的自转指令带动自身机身以及婴儿一同转体，直到摄像头不再扫到安全报警二维码位置为止便收起保护装置继续跟随目标婴儿。
从图6可观察到应急保护装置主要由传动电机3带动齿轮从而带动齿轮条2循着箭头方向伸缩从而达到将目标婴儿框在保护区内的功能。防撞棉块1用于缓震，防撞棉块1上装有力传感器完成柔顺控制，防止传动电机伸出齿轮条过快对婴儿造成伤害，传动电机3以及搭配的齿轮带动齿轮条按照图6中箭头轨迹运动的方向实现伸出和收回齿轮条。齿轮条2外设有一层特制软绵套，防止过硬的齿轮条在实现应急保护措施时候伤害到婴儿，齿轮条主要功能由电机实现传动外镶特质棉保护套这层棉套不仅实现在应急保护时不伤到婴儿，在后续小车转动带动婴儿转向时也能起到软引导的作用。一端放有特质面块防止撞击，另一端放有防止齿轮条全部传出的限位铁块4。限位铁块4镶嵌在齿轮条的末端并放在小车内，防止传动电机将齿轮条全部传出去，同时也防止在伸出齿轮条时因为伸出量过多导致婴儿受伤。摄像头5放在小车的顶端，在摄像头下方的齿轮条2用虚线表示，标注了齿轮条的运动轨迹以及在小车内部的存放位置。
图7所示为小车在伸出保护齿轮条以后实现应急婴儿保护功能的俯视图，限位铁块4卡住传动齿轮条2防止其全部传出，并且可以看到本发明的应急保护措施目的在于用带有缓冲防震棉块以及镶有特质绵套的齿轮条阻止婴儿继续向前进入危险区，实现一个保护区构建的目的，并且在完成婴儿安全区构建以后也就是齿轮条伸长至最大处的时候防震棉块1以及限位铁块4都有效的做到防止因为齿轮条伸长到最大处发生碰撞而误伤婴儿的情况。因为在整个过程中摄像头5始终做到婴儿检测的功能配合主机功能将主机上检测对象的检测框的对角线交点作为检测物体的中心，而保护装置始终围绕中心点的位置伸缩齿轮条从而达到中心定位保护的功能，在齿轮条设计时会依据婴儿的年龄相应做大，并且可通过调节齿轮条和传动电机3上转向齿轮的角度达到改变保护区半径大小的目的。与此同时选择相应大小的防震棉即可完成利用不同半径保护区应急保护不同年龄段的婴儿。此应急保护措施在扫描到危险安全报警二维码之前都是保持图6的状态，在扫描到危险安全报警二维码之后伸长齿轮条将婴儿保护在安全区内并且在完成齿轮条伸长活动即达到图7状态的时候，表明已经将婴儿框在安全区内，此时开始驱动轮毂电机使小车转动机身通过缓慢的速度以及软质的棉套达到对婴儿的软引导作用，迫使婴儿跟随小车向安全区移动，直到扫描不到危险安全报警二维码的时候便可以将齿轮条收回并且继续跟踪，如果婴儿又到了危险区域附近，则小车通过扫描安全报警二维码的方式又重复以上的应急保护措施，从而达到减少婴儿安全事故的目的。
柔顺化控制：
在本发明的硬件设计中，提出的柔顺化控制镶嵌在防撞棉块1上，在结合了位置伺服以及碰撞冲击稳定性的基础上完成柔顺控制保证婴儿在保护区中的舒适程度，以免发生撞伤夹伤婴儿的情况。在伸长齿轮条完成应急保护措施地过程中在防撞棉块1上镶嵌有力传感器可以检测刚性物体，在齿轮条完成前四分之三长度伸出时使用PID控制伸缩速度可以维持快速性并且始终保持预设地速度，但是在到达自身长度四分之三处时便以一个衰减的速度进行伸长直到齿轮条全部伸出时便锁死机身然后自转软引导婴儿，在伸长的过程中如果婴儿把手放到两块防撞棉块中见即使是有防碰撞棉块也会对婴儿造成巨大的挤压伤害如果救治不及时甚至可能会导致婴儿肢体组织坏死，进而截肢，因此为了防止由于齿轮条伸长造成对婴儿的挤压误伤，本发明提出了适用于本发明的柔顺化控制系统，在系统中将力传感器嵌入到防撞棉块上，在进入衰减速度期间如果防撞棉块上的传感器受到来自刚性物体的挤压(例如婴儿将手放到其间与防撞棉块发生挤压)使得传感器上有数值传递给主机则主机立即锁死齿轮条防止继续伸长，并且立即保持原状进行软引导带动婴儿调换方向走进安全区域。
在没有伸长到齿轮条总长四分之三的时候，齿轮条的伸长速度由PID控制，相较于衰减速度阶段由PID控制的伸长速度会快许多，保证快速性的同时由于只伸长总体长度的四分之三因此即使此时婴儿触碰也只是产生一个推力将婴儿向安全区域内部推动，并不会夹伤到婴儿。
通过摄像头和相关硬件以及模型的训练达到对婴儿实时检测监控的目的让在外工作的夫妇也能实时确保婴儿的安全。
和之前的机器模型训练相比而言，采用了深度迁移框架构建的方式进行模型训练，即在一个搭建好的卷积神经网络上通过全连接层嵌套自身需要的迁移学习版块从而达到对目标检测特征迁移的目的，并且在迭代过程中通过奖励机制对权重的选择进行最优化奖励处理。这种方式节约了对于样本资源的代价需求，同时做到了一模型多用的途径，如果要用到其他相似领域只要对全连接层进行特征迁移即可。
本次针对VOC2007行人数据集进行了预处理，其对人像的检测识别精度会高于其他类型的数据集，在实际应用中可以精确识别人像。
从损失函数的角度进行优势分析对比：为了验证迁移学习嵌入的可行性，进行了3次控制变量的训练模型检测，控制总的训练次数(总的训练次数由迁移训练和全连接层本来就有的特征微调训练组成)均为27次，其中迁移训练次数分别为0次、3次、10次(其中0次即不进行迁移训练的对比模型，此模型需要的数据均为样本目标数据)，具体数据如图10、11和12所示。
虽然在使用了迁移学习导致精度下降但是依然不妨碍模型将目标检测了出来。而对比图10和图11以及图12可以发现三个模型的总体趋势来看loss和val_loss都是呈现下降的趋势因此3个模型都是收敛的对比图10和图11可以发现在应用了迁移训练之后虽然起始损失函数值会有区别但最终两个模型在经历了27次训练之后均趋于18。这两个模型对比表明迁移学习的使用在保证能检验出结果以及保证损失函数相较于传统训练模型不会有明显变化的前提下减少了对样本数据的依赖，并且可以通过相关的特征类型转在别的场景下对其他类似特征目标的检测。再对比图11和图12可以发现验证集的损失函数val_loss在10次迁移训练之后有了较明显的波动趋势，因此也验证了迁移训练次数不能设置过大否则会造成过拟合的现象，在此基础上继续增大迁移训练次数会造成模型的过拟合从而导致失败。
本发明最重要的优势在于通过监控技术实现了小车对婴儿的跟随并且在婴儿靠近危险区域附近时发动警报并且做出相应应急措施保证婴儿安全。
本次设计的监控系统不仅可以应用搭配摄像头应用在婴儿安全实时监控计算机当中。同时也可以修改迁移特征应用到智能交通的行人检测以及其他多种用途当中。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.基于迁移学习神经网络的婴儿监控移动机器小车，其特征在于：包括移动机器人、防撞棉块、齿轮条、传动电机、限位铁块和摄像头；
所述移动机器人上设有摄像头，进行人像识别；
所述移动机器人上还设有蜂鸣报警装置和通讯模块；
所述移动机器人采用i7处理器的CPU来处理图像信息，对摄像头采集的图像和实际位置进行矫正，采用最高时速5m/s的轮毂电机对小车进行位置控制，用36V可充电型锂电池进行供电；
通过ros平台控制移动机器人，跟踪婴儿，并保持相对的距离；
转动电机连接在小车内部，转动电机带动齿轮条进行伸缩，并且在齿轮条的末端绑定棉制条状阻挡物；通过转动电机带动齿轮条伸缩进而带动棉制条状物为婴儿形成一道棉制的保护圈，并且转动电机通过绑定转速测量器形成闭环控制将伸缩速度控制在3秒完成，在完成棉条保护圈之后将完成信息传递给主机让主机给轮毂电机发送0.09rad/s的自转指令带动自身机身以及婴儿一同转体，直到摄像头不再扫到安全报警二维码位置为止便收起保护装置继续跟随目标婴儿；
传动电机带动齿轮条循着向内的圆环状方向伸缩，将目标婴儿框在保护区内的功能；
防撞棉块用于缓震，防撞棉块上装有力传感器完成柔顺控制，防止传动电机伸出齿轮条过快对婴儿造成伤害；齿轮条外设有一层特制软绵套，防止过硬的齿轮条在实现应急保护措施时候伤害到婴儿，齿轮条由电机实现传动外镶特质棉保护套这层棉套；
齿轮条一端放有特质面块防止撞击，另一端放有防止齿轮条全部传出的限位铁块；
限位铁块镶嵌在齿轮条的末端并放在小车内，防止传动电机将齿轮条全部传出去，同时也防止在伸出齿轮条时因为伸出量过多导致婴儿受伤；
所述人像识别为：将婴儿照片进行模型的训练，识别婴儿相关特征，将摄像头采集到的画面进行人像识别处理后反馈到计算机，当婴儿移动到提前设置好的安全区域以外时触发蜂鸣报警装置进行告警，通过通讯模块向手机发出警报；
所述小车还包括安全报警二维码，安全报警二维码设置在危险区域，当小车通过摄像头扫描安全报警二维码触发蜂鸣报警装置，提醒小孩可能处于危险，通过通讯模块向手机发出警报；
所述移动机器小车建立训练模型：
通过darknet-53卷积神经框架搭建而成，通过Anaconda的安装包创建对应的python环境并且通过Anaconda创建出的python环境进行tensorflow的搭建，tensorflow的作用是在机器学习中，把训练好的模型存储起来，在进行决策时直接将模型读出；并且在搭建过程中依据自身的计算机显卡NVIDIA950M配置，进行相应的cuda和cudnn的配置；搭建好背景后进行目标识别，基于深度卷积神经网络算法的人像监控检验算法的训练和测试，得到最佳的网络模型及其参数；
构建一个有关婴儿人像特征的数据集，包含已经标注的训练集和测试集比例为3：1在送入到卷积神经网络前先进性批量预处理和图片尺寸一致化处理；将训练集中的人像图片输入主体卷积神经网络进行特征提取，由57个卷积层和多个残差层组成；卷积层通过卷积运算对目标特征进行提取，残差层对不同层的输出进行跨层直接连接；
通过对全连接层的修改达到特征迁移的目的，通过对全连接层进行一定的模糊度设置让训练好的模型利用在不同场景下的婴儿进行训练学习然后对居家婴儿中进行识别；
在迁移学习中：
(1)初始权重向量
并且其中，
(2)设置
对于t＝1,...,N而言，
设置pt满足
调用线性化根据合并后的训练数据T以及T上的权重分布
pt和未标注数据S，得到一个S的分类器ht:X→Y；
计算ht在tb上的错误率：
设置βt＝∈t/(1-∈t)b
设置新的权重向量如下：
输出最终的分类器
在若干次分类之后辅助训练集中符合要求的样本在权重上得以增大，而不符合要求的样本数据则在每次迭代的过程中因为权重不断下降而逐渐被淘汰；
在每次迭代的过程中都有相应迭代次数i下的状态值s和预测动作值a对此得到在状态s下选择动作a得到的最大回报值为：
即在策略Π下对于i次迭代次数的状态Si能得到的最大奖励值R；通过强化学习诱导奖励机制的方式诱导每一步迭代得到最佳权重值；其中在Π的选择策略下得到的奖励值由θΠ(S)进行表示：
θΠ(S)＝EΠ[R(Si,ai)+γ*θΠ(Si+1)|Si＝S,Si+1＝S] (2.7)
其中γ代表折扣函数在区[0,1]之间，γ设为0，得到在S状态下的最佳回报值为：
并且在定义最佳的Q函数
并且在对于在i次迭代的R(S,a)值定义为最佳Q学习值时，通过公式(2.8)和(2.9)推导得到
在得到最佳期望奖励关于Q函数的关系式后推导下一步迭代的Q函数值
Qi+1(Si,ai)＝Qi+1(Si,ai)+α[R(Si,ai)-Qi(Si，ai)] (2.11)
得到在i次迭代时对i+1次迭代的Q函数即状态动作的最佳值，通过加入Q函数的强化学习方法在每次迭代中自动选择最优值的权重训练方式；将得到的最优权重值应用在特征提取当中；搭建成一个用于婴儿检测的模型，在利用相关样本照片进行特征提取训练之后搭载在小车主机上用于婴儿的识别检测；
所述通过ros平台控制移动机器人，跟踪婴儿，并保持相对的距离为：
移动机器人采用集成在MSP430F149单片机上的MPU9250多姿传感器对婴儿位置姿态进行检测，并且保持小车和婴儿的安全距离，其中MPU9250在内部集成三轴陀螺仪、三轴加速度计和三轴电子罗盘；通过集成到单片机上的集成电路进行数据传输控制，对目标婴儿的位置检测并向目标移动，其中陀螺仪测量的是旋转角速度，计算角度值的公式如下：
θk＝(ωk-ωbias_k)dt+θk-1 (2-12)
θk为当前的角度值而θk-1是上一个时间的角度值并且由当前时刻的角速度值ωk与当前时刻角速度偏移量ωbias_k的进行积分在和上一时刻的角度值相加得到当前时刻的角度值；并且三轴加速度计测量三个轴的加速度分量，通过：
计算角度目标角度姿，并且通过：
确定航向角，其中，Hx和Hy分别是X轴和Y轴上输出的磁感应强度数据；在角度姿态融合的过程中采用卡尔曼滤波的算法进行处理，从滤波效果来看选择卡尔曼滤波不仅提升角度姿态融合精度而且提升相应的响应速度；将摄像头给来的观测量作为滤波器的输入量之后，用一同状态量的估计值作为滤波器的输出量，利用系统噪声和观察噪声的特性进行最优化数据估值处理；
其中：xk为状态向量yk作为观察向量；A是从k-1时刻的状态转移矩阵；Uk则是系统的输入控制向量，B为输入向量的增益矩阵；为状态量到观测量的增益矩阵，ωk为噪声的输入量，vk为观察的噪声，假定输入噪声和观察到的噪声都服从正态分布，输入噪声的协方差为Q，观察到的噪声协方差为R则有：状态量的预估计、误差协方差预估计、卡尔曼增益更新、现状态估计值更新和误差协方差更新的五个递推，用于对硬件单模型的测量；
所述对婴儿位置姿态进行检测为：
陀螺仪的角度检测用(2-12)公式进行测量，三轴加速度计和电子罗盘测量的对应角度值作为检测的反馈值，状态方程为：
在其中，Ts为采样周期而ωk和ωk-1为k时刻以及k-1时刻的角速度，通过反馈的PWM值调节电机转速从而控制小车移动速度实现小车与婴儿的安全距离把控；
所述摄像头为D435i的深度摄像头，在摄像头传来婴儿的位置信息后传递给MPU9250传感器进行位置分析，然后将分析结果传递到主机，由主机处理器判断是否执行跟随操作，若与婴儿距离过大，确定要执行跟随操作，则驱动轮毂电机实现目标跟随；在跟随过程中通过对转速的测量实现转速的闭环，将转速值传递给主机判断是否速度过快会撞到婴儿，由主机实现闭环控制让转速在一个相对婴儿较安全的速度实现目标跟随。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110162650.6A CN112965488B (zh) | 2021-02-05 | 2021-02-05 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110162650.6A CN112965488B (zh) | 2021-02-05 | 2021-02-05 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112965488A CN112965488A (zh) | 2021-06-15 |
| CN112965488B true CN112965488B (zh) | 2022-06-03 |
Family
ID=76274662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110162650.6A Expired - Fee Related CN112965488B (zh) | 2021-02-05 | 2021-02-05 | 基于迁移学习神经网络的婴儿监控移动机器小车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112965488B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115015760B (zh) * | 2022-05-10 | 2024-06-14 | 香港中文大学（深圳） | 基于神经网络、迁移集成学习的锂电池健康状态评估方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2696651A1 (fr) * | 1992-10-13 | 1994-04-15 | Bae Myung Soon | Voiture électrique pour jeunes enfants. |
| CN203496768U (zh) * | 2013-09-24 | 2014-03-26 | 北京汽车股份有限公司 | 一种儿童安全监控警示系统及汽车 |
| CN106184330A (zh) * | 2016-08-04 | 2016-12-07 | 陕西科技大学 | 一种多功能智能跟随婴儿车 |
| GB201802658D0 (en) * | 2018-02-19 | 2018-04-04 | Chestnut Mobile Ltd | Infant monitor apparatus |
| CN108683724A (zh) * | 2018-05-11 | 2018-10-19 | 江苏舜天全圣特科技有限公司 | 一种智能儿童安全及步态健康监护系统 |
| CN108937337A (zh) * | 2018-07-10 | 2018-12-07 | 合肥数理电子信息科技有限公司 | 一种智能避险学步车 |
| CN109102002A (zh) * | 2018-07-17 | 2018-12-28 | 重庆大学 | 结合卷积神经网络和概念机递归神经网络的图像分类方法 |
| CN109117483A (zh) * | 2018-07-27 | 2019-01-01 | 清华大学 | 神经网络机器翻译模型的训练方法及装置 |
| CN109808794A (zh) * | 2019-03-27 | 2019-05-28 | 陈涛 | 一种多用途智能跟随陪护车 |
| CN110558945A (zh) * | 2019-09-10 | 2019-12-13 | 重庆大学 | 婴儿睡眠监护系统 |
| CN110850898A (zh) * | 2019-11-28 | 2020-02-28 | 曾阔 | 一种智能医用护理跟随小车及跟随方法 |
| CN110866922A (zh) * | 2019-11-19 | 2020-03-06 | 中山大学 | 基于强化学习和迁移学习的图像语义分割模型及建模方法 |
| CN110895410A (zh) * | 2018-08-24 | 2020-03-20 | 中国海洋大学 | 基于计算机视觉的幼儿看护小车 |
| CN111624992A (zh) * | 2020-04-28 | 2020-09-04 | 北京科技大学 | 一种基于神经网络的搬运机器人的路径跟踪控制方法 |
| CN111860485A (zh) * | 2020-07-24 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 图像识别模型的训练方法、图像的识别方法、装置、设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8109352B2 (en) * | 2007-04-24 | 2012-02-07 | Mattel, Inc. | Children's ride-on vehicles with window mechanisms |
| CN115855022A (zh) * | 2017-04-07 | 2023-03-28 | 辉达公司 | 使用深度神经网络执行自主路径导航 |
| US10565846B2 (en) * | 2017-10-27 | 2020-02-18 | Benjamin Lui | Systems and methods for a machine learning baby monitor |
| CN111667513B (zh) * | 2020-06-01 | 2022-02-18 | 西北工业大学 | 一种基于ddpg迁移学习的无人机机动目标跟踪方法 |
-
2021
- 2021-02-05 CN CN202110162650.6A patent/CN112965488B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2696651A1 (fr) * | 1992-10-13 | 1994-04-15 | Bae Myung Soon | Voiture électrique pour jeunes enfants. |
| CN203496768U (zh) * | 2013-09-24 | 2014-03-26 | 北京汽车股份有限公司 | 一种儿童安全监控警示系统及汽车 |
| CN106184330A (zh) * | 2016-08-04 | 2016-12-07 | 陕西科技大学 | 一种多功能智能跟随婴儿车 |
| GB201802658D0 (en) * | 2018-02-19 | 2018-04-04 | Chestnut Mobile Ltd | Infant monitor apparatus |
| CN108683724A (zh) * | 2018-05-11 | 2018-10-19 | 江苏舜天全圣特科技有限公司 | 一种智能儿童安全及步态健康监护系统 |
| CN108937337A (zh) * | 2018-07-10 | 2018-12-07 | 合肥数理电子信息科技有限公司 | 一种智能避险学步车 |
| CN109102002A (zh) * | 2018-07-17 | 2018-12-28 | 重庆大学 | 结合卷积神经网络和概念机递归神经网络的图像分类方法 |
| CN109117483A (zh) * | 2018-07-27 | 2019-01-01 | 清华大学 | 神经网络机器翻译模型的训练方法及装置 |
| CN110895410A (zh) * | 2018-08-24 | 2020-03-20 | 中国海洋大学 | 基于计算机视觉的幼儿看护小车 |
| CN109808794A (zh) * | 2019-03-27 | 2019-05-28 | 陈涛 | 一种多用途智能跟随陪护车 |
| CN110558945A (zh) * | 2019-09-10 | 2019-12-13 | 重庆大学 | 婴儿睡眠监护系统 |
| CN110866922A (zh) * | 2019-11-19 | 2020-03-06 | 中山大学 | 基于强化学习和迁移学习的图像语义分割模型及建模方法 |
| CN110850898A (zh) * | 2019-11-28 | 2020-02-28 | 曾阔 | 一种智能医用护理跟随小车及跟随方法 |
| CN111624992A (zh) * | 2020-04-28 | 2020-09-04 | 北京科技大学 | 一种基于神经网络的搬运机器人的路径跟踪控制方法 |
| CN111860485A (zh) * | 2020-07-24 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 图像识别模型的训练方法、图像的识别方法、装置、设备 |
Non-Patent Citations (2)
| Title |
|---|
| Children Positioning and Identification System Using Marker Recognition;Renard Xaviero Adhi Pramono，等;《2013 Joint International Conference on Rural Information &》;20131231;全文 * |
| 智能婴儿车的设计与实现;卢均治,等;《机械装备研发》;20201130;第51卷(第21期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112965488A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102292683B1 (ko) | 보행 환경 인식 방법 및 장치 | |
| CN109565574B (zh) | 用于移动体周围的机器人行为的系统和方法 | |
| Wagstaff et al. | Improving foot-mounted inertial navigation through real-time motion classification | |
| KR102701390B1 (ko) | 보행 보조 장치의 제어 방법 및 장치 | |
| TWI362632B (zh) | ||
| CN104950887A (zh) | 基于机器人视觉系统和自主跟踪系统的运输装置 | |
| US20060064202A1 (en) | Environment identification device, environment identification method, and robot device | |
| CN106780608A (zh) | 位姿信息估计方法、装置和可移动设备 | |
| CN112965488B (zh) | 基于迁移学习神经网络的婴儿监控移动机器小车 | |
| US11865717B2 (en) | Method of controlling movement of cart robot in response to change in travel surface using artificial intelligence and cart robot implementing the same | |
| EP3652600A1 (en) | Autonomous robot system | |
| Chalvatzaki et al. | User-adaptive human-robot formation control for an intelligent robotic walker using augmented human state estimation and pathological gait characterization | |
| Salman et al. | Advancing whisker based navigation through the implementation of bio-inspired whisking strategies | |
| Ohnuma et al. | Particle filter based feedback control of jaist active robotic walker | |
| Zhao et al. | A real-time low-computation cost human-following framework in outdoor environment for legged robots | |
| CN106681326A (zh) | 座椅、控制座椅运动的方法和用于座椅的运动控制系统 | |
| Song et al. | Safe guidance for a walking-assistant robot using gait estimation and obstacle avoidance | |
| CN114267088B (zh) | 一种步态信息的处理方法、装置及电子设备 | |
| Taghvaei et al. | Autoregressive-moving-average hidden Markov model for vision-based fall prediction—An application for walker robot | |
| Wang et al. | A reduced-order-model-based motion selection strategy in a leg-wheel transformable robot | |
| Green et al. | Optimization of an intelligent wheelchair: Lidar and camera vision for obstacle avoidance | |
| DeFazio et al. | Seeing-Eye Quadruped Navigation with Force Responsive Locomotion Control | |
| Solea et al. | Wheelchair control and navigation based on kinematic model and iris movement | |
| Prathibanandhi et al. | Hand Gesture Controlled Wheelchair | |
| Xu et al. | Multi-sensor based human motion intention recognition algorithm for walking-aid robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220603 |