CN114051951A - 一种基于宠物识别的宠物照料方法及宠物照料机器人 - Google Patents
一种基于宠物识别的宠物照料方法及宠物照料机器人 Download PDFInfo
- Publication number
- CN114051951A CN114051951A CN202111145056.2A CN202111145056A CN114051951A CN 114051951 A CN114051951 A CN 114051951A CN 202111145056 A CN202111145056 A CN 202111145056A CN 114051951 A CN114051951 A CN 114051951A
- Authority
- CN
- China
- Prior art keywords
- pet
- information
- judgment
- image information
- central control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 235000012631 food intake Nutrition 0.000 claims abstract description 17
- 230000037406 food intake Effects 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 12
- 230000036541 health Effects 0.000 claims abstract description 5
- 238000010419 pet care Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000037396 body weight Effects 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- DCYOBGZUOMKFPA-UHFFFAOYSA-N iron(2+);iron(3+);octadecacyanide Chemical compound [Fe+2].[Fe+2].[Fe+2].[Fe+3].[Fe+3].[Fe+3].[Fe+3].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-] DCYOBGZUOMKFPA-UHFFFAOYSA-N 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229960003351 prussian blue Drugs 0.000 description 1
- 239000013225 prussian blue Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K5/00—Feeding devices for stock or game ; Feeding wagons; Feeding stacks
- A01K5/02—Automatic devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Animal Husbandry (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Birds (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种基于宠物识别的宠物照料方法及宠物照料机器人利用能够进行3D测距的高精度成像模块捕捉宠物的生物图像信息，通过脸部、身体和生理特征三重比对识别宠物的身份，能够有效的提高识别的准确率，针对不同的宠物的需要提供更有针对性的照顾方案，满足宠物不同的进食和活动量需要，能够更好的照顾宠物；宠物机器人上设有包括喂食、互动和行走等不同功能的装置，能够准确的记录宠物的进食量和活动量信息，根据从网络获的具有针对性的照顾方案，根据该照顾方案执行相应的喂食和互动操作，确保宠物的健康。
Description
技术领域
本发明涉及智能机器人技术领域，具体涉及一种基于宠物识别的宠物照料方法及宠物照料机器人。
背景技术
宠物是人们生活的好伴侣，随着生活水平的提升，饲养宠物的人越来越多。但是许多饲养人由于需要工作的关系无法全天照顾宠物，做不到定时给它们喂食或陪它们玩耍，很多宠物被单独留在家中，这样会造成宠物进食不足或运动量不足，容易引发宠物的健康问题。为了方便照顾单独在家的宠物，人们开发出宠物照料机器人，能够帮助不在家中的饲养人照顾宠物，但是由于技术限制，一旦饲养人饲养了多只宠物，现有的宠物照料机器人并不能识别不同的宠物并起到良好的照顾效果。
发明内容
针对上述提到的现有技术中的宠物照料机器人不能识别不同的宠物进行区别照顾的问题，本发明提供一种基于宠物识别的宠物照料方法及宠物照料机器人，通过多重识别方法识别宠物，然后根据宠物的情况和科学喂养的标准进行不同独的操作，实现宠物照顾的区别化和科学化。
本发明解决其技术问题采用的技术方案是：一种基于宠物识别的宠物照料方法，包括以下步骤：
S1：中央控制装置控制成像模块获取进入预定位置的生物图像信息，成像模块将获得的生物图像信息返回给中央控制装置；
S2：调用图像判断模型判断生物图像信息是否有效；无效则控制成像模块继续获取信息，有效则做进一步判断；
S3：中央控制装置调取存储于云端或存储装置中的已登录宠物信息与采集的生物图像信息进行比对，并根据比较结果返回识别结果，所述已登录宠物信息包括脸部信息、身体信息和生理数据信息；
S4：中央控制装置根据所述识别结果读取宠物的照料信息，并根据所述照料信息控制喂食装置或互动装置执行喂食或互动等动作。
本发明解决其技术问题采用的技术方案进一步还包括：
如上所述的一种基于宠物识别的宠物照料方法，步骤S3具体包括以下步骤：
S31：将被判定为脸部图像信息的所述生物图像信息和中央控制装置的存储装置中存储的已录入宠物的脸部信息同时输入脸部判断模型中，所述脸部判断模型返回匹配分值，如果匹配分值大于第一预设值，则判定所述生物可能为已录入宠物，标记为二次判定对象，进行进一步判断；如果匹配分值小于第一预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S32：读取二次判定对象的生物图像信息，将被判定为将二次判定对象的身体图像信息和中央控制装置的存储装置中存储的已录入宠物的身体信息同时输入身体判断模型中，所述身体判断模型返回匹配分值，如果匹配分值大于第二预设值，则判定所述生物可能为已录入宠物，标记为三次判定对象，进行进一步判断；如果匹配分值小于于第二预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S33：对所述三次判定对象的生物图像信息进行分析，获取三次判定对象的生理参数，与中央控制装置的存储装置中存储的已录入宠物的生理数据进行比对获取匹配分值，如果匹配分值大于第三预设值，则判定所述生物为已录入宠物，并返回对应的已录入宠物的宠物ID；如果匹配分值小于第三预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令。
如上所述的一种基于宠物识别的宠物照料方法，所述脸部判断模型和身体判断模型为基于神经网络建立的判断模型，所述神经网络为卷积神经网络，所述卷积神经网络包括输入层、焦点网络层、骨干网络层、路径聚合网络层以及输出层；所述卷积神经网络设置有LSTM模块，所述LSTM模块设有遗忘门；
所述神经网络的输出公式为：
式中，aji为经过注意力加权后的输出特征；bij为归一化后的注意力权重；i 为注意力指示量；j为单向时间步；n为单向时间步数；cj为各个时间步的输出。
如上所述的一种基于宠物识别的宠物照料方法，所述遗忘门的公式为：
ft＝σ(Wf·[ht-1,Xt]+bf)
式中，ft为遗忘门函数；σ(*)为sigmoid激活函数；ht-1为前一个时间步(t-1) 的输出；t为时间步指示量；Xt为当前时间步的输入；bf为卷积层偏置项；Wf为卷积层权重。
如上所述的一种基于宠物识别的宠物照料方法，所述生理数据信息包括体长、体重、尾部长度、头部大小中的一种或多种，
如上所述的一种基于宠物识别的宠物照料方法，所述已登录宠物信息包括脸部信息、身体信息、生理数据信息、所属物种、品种以及对应的健康标准。
如上所述的一种基于宠物识别的宠物照料方法，所述照料信息包括历史进食量、历史活动量、历史活动偏好、历史进食时间段、当日进食量、当日活动量中的三种以上。
一种实现如上任一所述的宠物照料方法的宠物照料机器人，包括机身、行走机构和互动装置，所述机身设有用于对目标宠物进行识别的识别装置、用于对目标宠物进行喂食的喂食装置、控制宠物照料机器人运行的中央控制装置；所述中央控制装置包括能够运行程序的处理器、存储信息的存储装置和与其他设备通信的通信装置；所述喂食装置包括饲料储存装置和计量喂食量的计量装置，所述机身上设有与所述喂食装置配合的出料口；所述识别装置包括成像装置和图像处理器；所述成像装置用于采集宠物的脸部和身体图像，所述成像装置包括近红外摄像头、TOF测距传感器、红外泛光照明器、RGB摄像头、点阵式投影器和彩色/环境光传感器中的一种或多种；所述图像处理装置用于从采用预设的图像处理算法对成像装置获取的图像信息进行处理并传送给中央控制装置。
如上所述的宠物照料机器人，所述行走机构为履带式行走机构、车轮式行走机构、步行式心走机构中的一种。
如上所述的宠物照料机器人，所述互动装置包括机械臂、发球机、激光指示器、显示器、喇叭或麦克风中的一种或多种。
本发明的有益效果是：本发明的基于宠物识别的宠物照料方法及宠物照料机器人利用能够进行3D测距的高精度成像模块捕捉宠物的生物图像信息，通过脸部、身体和生理特征三重比对识别宠物的身份，能够有效的提高识别的准确率，针对不同的宠物的需要提供更有针对性的照顾方案，满足宠物不同的进食和活动量需要，能够更好的照顾宠物；宠物机器人上设有包括喂食、互动和行走等不同功能的装置，能够准确的记录宠物的进食量和活动量信息，根据从网络获的具有针对性的照顾方案，根据该照顾方案执行相应的喂食和互动操作，确保宠物的健康。
下面将结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为本发明的基于宠物识别的宠物照料方法流程图；
图2为本发明的宠物照料机器人实施例的结构示意图；
图中，1，中央控制装置，11、存储装置，12、处理器，13、通信装置，2、喂食装置，21、饲料储存装置，22、计量装置，3、互动装置，31、机械臂，32、激光指示器，33、显示器，34、喇叭，35、麦克风，4、行走机构，5、成像装置，51、近红外摄像头，52、TOF测距传感器，53、红外泛光照明器，54、RGB 摄像头，55、点阵式投影器，56、彩色/环境光传感器，6、图像处理装置，
具体实施方式
本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。
本发明的基于宠物识别的宠物照料方法实施例的流程参照图1所示，包括以下步骤：
步骤S1：中央控制装置控制成像模块获取进入预定位置的生物图像信息，成像模块将获得的生物图像信息返回给中央控制装置；
预定位置为宠物照料机器人的成像模块的拍摄范围，生物图像信息为宠物进入预定位置之后拍摄生物活动的图像，包括从各个不同角度和位置获得的脸部和身体图像，可以是图片或者连续的视频片段。在步骤S1之前还可以增加移动监测程序，成像模块对拍摄范围内的物体进行监控，当检测到拍摄范围内出现运动物体时才会启动，捕捉拍摄范围内的物体的影像，以减少宠物机器人的功耗。
步骤S2：调用图像判断模型判断生物图像信息是否有效；无效则控制成像模块继续获取信息，有效则做进一步判断；
成像装置获取了生物图像信息之后，中央控制装置利用图像处理程序对获取的生物图像信息进行校正和分析，如对拍摄图像的清晰度进行确认，确认图像的清晰度足够判断模型进行判断，确认图像中确实包含有需要进行分析的宠物，以及按照预设的要求将图像分成脸部图像信息和身体图像信息，方便下一步调用。
步骤S3：中央控制装置调取存储于云端或存储装置中的已登录宠物信息与采集的生物图像信息进行比对，并根据比较结果返回识别结果，所述已登录宠物信息包括脸部信息、身体信息和生理数据信息；
在确定获取的生物图像信息有效之后，中央控制装置会根据生物图像信息的类别调用对应的判断模型，将获取的图片与已登录宠物的信息进行比对，以识别目标宠物的身份。其中会进行三重对比，具体步骤如下：
S31：将被判定为脸部图像信息的所述生物图像信息和中央控制装置的存储装置中存储的已录入宠物的脸部信息同时输入脸部判断模型中，所述脸部判断模型返回匹配分值，如果匹配分值大于第一预设值，则判定所述生物可能为已录入宠物，标记为二次判定对象，进行进一步判断；如果匹配分值小于第一预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S32：读取二次判定对象的生物图像信息，将被判定为将二次判定对象的身体图像信息和中央控制装置的存储装置中存储的已录入宠物的身体信息同时输入身体判断模型中，所述身体判断模型返回匹配分值，如果匹配分值大于第二预设值，则判定所述生物可能为已录入宠物，标记为三次判定对象，进行进一步判断；如果匹配分值小于第二预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S33：对所述三次判定对象的生物图像信息进行分析，获取三次判定对象的生理参数，与中央控制装置的存储装置中存储的已录入宠物的生理数据进行比对获取匹配分值，如果匹配分值大于第三预设值，则判定所述生物为已录入宠物，并返回对应的已录入宠物的宠物ID；如果匹配分值小于第三预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令。
其中，为了确保宠物识别的精确度，本实施例中第一预设值为0.85，第二预设值为0.9，第三预设值为0.9，在具体使用中，可以根据使用场景的辨识需要等因素设置不同的改变第一预设值、第二预设值和第三预设值的大小。例如一般家用宠物数量比较少，宠物的外貌差别比较大，辨识比较简单，则可以将数值降低，方便迅速的辨识；又如有些宠物个体外貌差异比较小，像普鲁士蓝猫，脸部、身体花纹的差异都比较小，可以将预设值的数值调高，使得宠物识别的精确度更高。此外根据已登录宠物信息的差异程度以及辨识的历史准确率，通过深度学习，让中央控制装置的控制程序自动调整预设值的大小，使得保证识别准确率的同时提升识别速度。
在实施例中为了提高宠物识别结果的可靠程度，已登录宠物信息包括脸部信息、身体信息、生理数据信息、所属物种、品种以及对应的健康标准。在具体比对时，本实施例的宠物识别方法在识别过程中省略了对宠物的所属物种和品种进行识别的步骤，直接将获取的目标生物的生物图像信息与宠物照料机器人的数据库中已录入宠物信息进行比对，能够大幅降低需要比对的图像数量，节省时间。同时宠物的生理数据信息会根据宠物的种类不同，生理数据信息会包括体长、体重、尾部长度、头部大小中的一种或多种，如猫狗等体长、尾部长度、头部大小这些数据比较容易获得的种类，则生理数据信息则会比较详尽，一些类型比较特殊的宠物难以获得相应的数据的，则可能只包括体长数据。
在本实施例中，为了通过脸部图片和身体图片准确识别宠物，分别建立了脸部判断模型和身体判断模型，脸部判断模型和身体判断模型为基于神经网络建立的判断模型，神经网络为卷积神经网络，包括输入层、焦点网络层、骨干网络层、路径聚合网络层以及输出层，并且设有LSTM模块，LSTM模块设有遗忘门。
本实施例中，神经网络的输出公式为：
式中，aji为经过注意力加权后的输出特征；bij为归一化后的注意力权重；i 为注意力指示量；j为单向时间步；n为单向时间步数；cj为各个时间步的输出。
建立不同的模型时，分别输入对应的脸部或身体资料，这些资料应该包括正样本和随机负样本，正样本为包括目标宠物脸部或身体特别是毛色或花色的宠物图像，随机负样本为不包括目标宠物脸部或身体的随机图片。
本实施例中在建立具体的脸部判断模型时，宠物脸部不同的角度宠物脸部特征变化比较大，宠物的耳朵也会有多种的姿态，考虑到宠物脸部识别的难度与准确性，所以在建立宠物脸部判断模型，所选用的图片不包含宠物的耳朵，也尽可能的检测宠物的正脸，主要聚焦于宠物脸部部分眼睛、鼻子、嘴巴、毛发、花色等特征部位信息，正样本采集要求：
1)宠物脸部的不同角度的图像，包括前脸正视90°、左右侧脸20°、左右侧脸40°、左右侧脸60°、左右侧脸80°等，具体可以考虑宠物照料机器人摄像头安装位置能够拍摄的角度；
2)宠物脸部不同光照条件下的图像，包括黄光、白光、自然光等。
神经网络为卷积神经网络，卷积神经网络包括输入层、焦点网络层、骨干网络层、路径聚合网络层以及输出层；使用输入层接收宠物脸部的原始图像，经过预处理，将图像修改到预设大小，本实施例中为640*640，再使用焦点网络层进一步降低采样图像尺寸至320*320，降低输入网络的图片尺寸提高运行速度，并且该神经网络能减少输入信息的损失，经过骨干网络，在不同图像细粒度上形成图像特征，不同的特征图经过路径聚合网络进行图像特征融合与信息交流，最后经过输出层进行预测，生成边界框和预测类别，提高了识别准确率，并且便于后续步骤对宠物进行追踪；
卷积神经网络设有长短时记忆LSTM模块，LSTM模块设置有遗忘门；本实施例遗忘门的公式为：
ft＝σ(Wf·[ht-1,Xt]+bf)
式中，ft为遗忘门函数；σ(*)为sigmoid激活函数；ht-1为前一个时间步(t-1) 的输出；t为时间步指示量；Xt为当前时间步的输入；bf为卷积层偏置项；Wf为卷积层权重；整个计算过程就是把前一个时间步的输出和当前时间步的输入通过卷积层融合，然后通过sigmoid函数激活，输出限制在0-1之间，0表示全部遗忘，1表示全部保留。
本实施例的神经网络的注意力模块的公式为：
eij＝tanh((hs·w)+b)*u
式中，eij为归一化前的注意力权重；tanh(*)为双曲正切函数；hs为各个时间步的输出；w为卷积权重；b为卷积偏置项；u为缩放系数；i为注意力指示量； j为单向时间步。
本实施例的神经网络的注意力权重的公式为：
式中，αij为归一化后的注意力权重；eij为归一化前的注意力权重；i为注意力指示量；j为单向时间步；k为时间步指示量；n为单向时间步数；本次计算即进行归一化指数softmax函数激活，输出限制在0-1之间，得到注意力分布；神经网络的经过注意力加权后就能够得到前述的神经网络的输出公式。
本实施例中对生理参数的判断采用另一种方法，利用现有的3D测距技术，获取宠物的体长、尾巴长度、头部大小与数据库中的历史记录进行对比，偏差超过指定范围的则认为判定对象不属于已录入宠物。
为了不增加模型的复杂程度，本实施例的脸部判断模型和身体判断模型不考虑宠物的生长周期参数，而是采用多次对比的方式对宠物由于生长产生的变化进行修正。在中央控制模块获取了宠物的生物图像信息并识别了宠物之后，会将生物图像信息存储到对应的已录入宠物信息中，不断对现有的宠物信息进行覆盖，每个已录入宠物信息中都会保留一定时间范围内生物图像信息，直到图片保留时间超出指定的时间被新的生物图像信息覆盖。
本实施例中的脸部判断模型和身体判断模型为基于神经网络建立的判断模型，在具体实施中，脸部判断模型和身体判断模型还可以根据判断的需要选择其他算法数学模型作为基础建立相应模型，提高判断的精确度。
步骤S4：中央控制装置根据所述识别结果读取宠物的照料信息，并根据所述照料信息控制喂食装置或互动装置执行喂食或互动等动作。
在完成对宠物的识别之后，宠物照料机器人可以开始执行对目标宠物的照料行为，这时中央处理装置会从数据库中调取宠物照料信息，照料信息包括历史进食量、历史活动量、历史活动偏好、历史进食时间段、当日进食量、当日活动量中的三种以上。中央处理装置会根据照料信息控制宠物照料机器人对宠物进行照顾，如将历史进食量和当日进食量进行对比，当当日进食量大于历史进食量时，在当日不再执行喂食动作或者根据饲养者的要求提供有限的喂食动作。
为了实现本实施例所述的宠物照料方法，本实施例还提供一种宠物照料机器人，包括机身、行走机构和互动装置，机身设有用于对目标宠物进行识别的识别装置、用于对目标宠物进行喂食的喂食装置、控制机器人运行的中央控制装置。中央控制装置包括能够运行程序的处理器、存储信息的存储装置和与其他设备通信的通信装置，存储装置中存储有本实施例所述的宠物照料方法，处理器能够执行本实施例所述的宠物照料方法控制宠物照料机器人。为了能够紧缺控制宠物的进食量，本实施例中喂食装置包括饲料储存装置和计量喂食量的计量装置，机身上设有与喂食装置配合的出料口，计量装置设置在饲料存储装置和出料口之间的机身内部监测喂食量。识别装置包括成像装置和图像处理器；成像装置用于采集宠物的脸部和身体图像，为了实现3D测距，本实施例的成像装置包括近红外摄像头51、TOF测距传感器52、红外泛光照明器53、RGB摄像头54、点阵式投影器55和彩色/环境光传感器56中；图像处理装置用于从采用预设的图像处理算法对成像装置获取的图像信息进行初步处理并传送给中央控制装置。
本实施例中为了方照顾宠物，宠物照料机器人上设有行走机构，考虑现在一般宠物在居家环境中，该环境中地面比较光滑，而且宠物对噪音比较敏感，行走机构选择的是履带式行走机构，接地面积更大，摩擦力更大，即使在光滑的地面与宠物接触也不容易移动或侧翻，而且行进时产生的噪音比较小。在具体生产实施中，行走机构还可以根据使用环境选择车轮式行走机构和步行式心走机构。
现在由于通信网络发达，为了方便饲养者随时与宠物互动，观察宠物的情况，本实施例的互动装置包括显示器33、喇叭34和麦克风35，同时为了满足一些宠物的抚摸和玩耍需要，设有机械臂31，同时针对不同的宠物有不同的兴趣，本实施例中主要是针对猫，设有猫比较喜欢激光指示器32。在具体实施时，可以根据针对的宠物选择设置发球机等互动装置。
本发明的基于宠物识别的宠物照料方法及宠物照料机器人利用能够进行3D 测距的高精度成像模块捕捉宠物的生物图像信息，通过脸部、身体和生理特征三重比对识别宠物的身份，能够有效的提高识别的准确率，针对不同的宠物的需要提供更有针对性的照顾方案，满足宠物不同的进食和活动量需要，能够更好的照顾宠物；宠物机器人上设有包括喂食、互动和行走等不同功能的装置，能够准确的记录宠物的进食量和活动量信息，根据从网络获的具有针对性的照顾方案，根据该照顾方案执行相应的喂食和互动操作，确保宠物的健康。
Claims (10)
1.一种基于宠物识别的宠物照料方法，其特征在于，包括以下步骤：
S1：中央控制装置(1)控制成像模块获取进入预定位置的生物图像信息，成像模块将获得的生物图像信息返回给中央控制装置(1)；
S2：调用图像判断模型判断生物图像信息是否有效；无效则控制成像模块继续获取信息，有效则做进一步判断；
S3：中央控制装置(1)调取存储于云端或存储装置(11)中的已登录宠物信息与采集的生物图像信息进行比对，并根据比较结果返回识别结果，所述已登录宠物信息包括脸部信息、身体信息和生理数据信息；
S4：中央控制装置(1)根据所述识别结果读取宠物的照料信息，并根据所述照料信息控制喂食装置(2)或互动装置(3)执行喂食或互动等动作。
2.如权利要求1所述的宠物照料方法，其特征在于，步骤S3具体包括一下步骤：
S31：将被判定为脸部图像信息的所述生物图像信息和中央控制装置(1)的存储装置(11)中存储的已录入宠物的脸部信息同时输入脸部判断模型中，所述脸部判断模型返回匹配分值，如果匹配分值大于第一预设值，则判定所述生物可能为已录入宠物，标记为二次判定对象，进行进一步判断；如果匹配分值小于第一预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S32：读取二次判定对象的生物图像信息，将被判定为将二次判定对象的身体图像信息和中央控制装置(1)的存储装置(11)中存储的已录入宠物的身体信息同时输入身体判断模型中，所述身体判断模型返回匹配分值，如果匹配分值大于第二预设值，则判定所述生物可能为已录入宠物，标记为三次判定对象，进行进一步判断；如果匹配分值小于于第二预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令；
S33：对所述三次判定对象的生物图像信息进行分析，获取三次判定对象的生理参数，与中央控制装置(1)的存储装置(11)中存储的已录入宠物的生理数据进行比对获取匹配分值，如果匹配分值大于第三预设值，则判定所述生物为已录入宠物，并返回对应的已录入宠物的宠物ID；如果匹配分值小于第三预设值，则判定所述生物不是已录入宠物，将判断结果返回给中央处理装置，并等候进一步指令。
3.如权利要求2所述的宠物照料方法，其特征在于，所述脸部判断模型和身体判断模型为基于神经网络建立的判断模型，所述神经网络为卷积神经网络，所述卷积神经网络包括输入层、焦点网络层、骨干网络层、路径聚合网络层以及输出层；所述卷积神经网络设置有LSTM模块，所述LSTM模块设有遗忘门；
所述神经网络的输出公式为：
式中，aji为经过注意力加权后的输出特征；bij为归一化后的注意力权重；i为注意力指示量；j为单向时间步；n为单向时间步数；cj为各个时间步的输出。
4.如权利要求2所述的宠物识别方法，其特征在于，所述遗忘门的公式为：
ft＝σ(Wf·[ht-1,Xt]+bf)
式中，ft为遗忘门函数；σ(*)为sigmoid激活函数；ht-1为前一个时间步(t-1)的输出；t为时间步指示量；Xt为当前时间步的输入；bf为卷积层偏置项；Wf为卷积层权重。
5.如权利要求2所述的宠物照料方法，其特征在于，所述生理数据信息包括体长、体重、尾部长度、头部大小中的一种或多种。
6.如权利要求1所述的宠物照料方法，其特征在于，所述已登录宠物信息包括脸部信息、身体信息、生理数据信息、所属物种、品种以及对应的健康标准。
7.如权利要求1所述的宠物照料方法，其特征在于，所述照料信息包括历史进食量、历史活动量、历史活动偏好、历史进食时间段、当日进食量、当日活动量中的三种以上。
8.一种实现如权利要求1-7任一所述的宠物照料方法的宠物照料机器人，其特征在于，包括机身、行走机构(4)和互动装置(3)，所述机身设有用于对目标宠物进行识别的识别装置、用于对目标宠物进行喂食的喂食装置(2)、控制宠物照料机器人运行的中央控制装置(1)；所述中央控制装置(1)包括能够运行程序的处理器(12)、存储信息的存储装置(11)和与其他设备通信的通信装置(13)；所述喂食装置(2)包括饲料储存装置(21)和计量喂食量的计量装置(22)，所述机身上设有与所述喂食装置(2)配合的出料口；所述识别装置包括成像装置(5)和图像处理装置(6)；所述成像装置(5)用于采集宠物的脸部和身体图像，所述成像装置(5)包括近红外摄像头(51)、TOF测距传感器(52)、红外泛光照明器(53)、RGB摄像头(54)、点阵式投影器(55)和彩色/环境光传感器(56)中的一种或多种；所述图像处理装置(6)用于从采用预设的图像处理算法对成像装置(5)获取的图像信息进行处理并传送给中央控制装置(1)。
9.如权利要求8所述的宠物照料机器人，其特征在于，所述行走机构(4)为履带式行走机构、车轮式行走机构、步行式行走机构中的一种。
10.如权利要求8所述的宠物照料机器人，其特征在于，所述互动装置(3) 包括机械臂(31)、发球机、激光指示器(32)、显示器(33)、喇叭(34)或麦克风(35)中的一种或多种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111145056.2A CN114051951A (zh) | 2021-09-28 | 2021-09-28 | 一种基于宠物识别的宠物照料方法及宠物照料机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111145056.2A CN114051951A (zh) | 2021-09-28 | 2021-09-28 | 一种基于宠物识别的宠物照料方法及宠物照料机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114051951A true CN114051951A (zh) | 2022-02-18 |
Family
ID=80233820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111145056.2A Pending CN114051951A (zh) | 2021-09-28 | 2021-09-28 | 一种基于宠物识别的宠物照料方法及宠物照料机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114051951A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116339219A (zh) * | 2023-05-26 | 2023-06-27 | 北京猫猫狗狗科技有限公司 | 一种基于动物生理参数的宠物智能设备控制方法 |
-
2021
- 2021-09-28 CN CN202111145056.2A patent/CN114051951A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116339219A (zh) * | 2023-05-26 | 2023-06-27 | 北京猫猫狗狗科技有限公司 | 一种基于动物生理参数的宠物智能设备控制方法 |
| CN116339219B (zh) * | 2023-05-26 | 2023-07-28 | 北京猫猫狗狗科技有限公司 | 一种基于动物生理参数的宠物智能设备控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning | |
| Achour et al. | Image analysis for individual identification and feeding behaviour monitoring of dairy cows based on Convolutional Neural Networks (CNN) | |
| WO2019174439A1 (zh) | 图像识别方法、装置、终端和存储介质 | |
| Yang et al. | A review of video-based pig behavior recognition | |
| US11938614B2 (en) | Control device for robot to tease pet and mobile robot | |
| DE112017004363T5 (de) | Autonom agierender roboter, der die richtung einer geräuschquelle erkennt | |
| JP2002157596A (ja) | ロボット装置及び顔識別方法 | |
| WO2019245722A1 (en) | Sea lice detection and classification in an aquaculture environment | |
| CN102282570A (zh) | 用于立体视场多动物行为特征的系统和方法 | |
| CN111134033A (zh) | 一种动物智能喂食器及其方法和系统 | |
| Yang et al. | Pig mounting behaviour recognition based on video spatial–temporal features | |
| CN111723729A (zh) | 基于知识图谱的监控视频犬类姿态和行为智能识别方法 | |
| TWI661770B (zh) | 智慧深度學習農漁培養系統 | |
| CN109479746A (zh) | 一种机器人逗宠控制方法及芯片 | |
| CN110238837A (zh) | 自主移动装置、自主移动方法以及存储介质 | |
| Noe et al. | Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model | |
| CN114051951A (zh) | 一种基于宠物识别的宠物照料方法及宠物照料机器人 | |
| CN111178172A (zh) | 实验鼠嗅探动作识别方法、模块及系统 | |
| CN113057593A (zh) | 图像识别方法、可读存储介质及电子设备 | |
| TWI695678B (zh) | 智慧型生物便溺裝置 | |
| CN112655021A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN114569129A (zh) | 畜禽的情绪监控方法以及畜禽的情绪监控装置 | |
| Lee et al. | Comparison of Deep Learning and Image Processing for Tracking the Cognitive Motion of a Laboratory Mouse | |
| Yang et al. | Automated Recognition and Classification of Cat Pain Through Deep Learning | |
| CN111967413A (zh) | 一种猪脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |