CN111814665A - 基于宠物情绪识别的陪护方法、装置、服务器及存储介质 - Google Patents

基于宠物情绪识别的陪护方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111814665A
CN111814665A CN202010647467.0A CN202010647467A CN111814665A CN 111814665 A CN111814665 A CN 111814665A CN 202010647467 A CN202010647467 A CN 202010647467A CN 111814665 A CN111814665 A CN 111814665A
Authority
CN
China
Prior art keywords
pet
determining
image
robot
accompanying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010647467.0A
Other languages
English (en)
Inventor
林镇清
何鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Danya Technology Co Ltd
Original Assignee
Shenzhen Danya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Danya Technology Co Ltd filed Critical Shenzhen Danya Technology Co Ltd
Priority to CN202010647467.0A priority Critical patent/CN111814665A/zh
Publication of CN111814665A publication Critical patent/CN111814665A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明实施例公开了一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质,所述方法包括:通过声音采集设备获取宠物的声音信息;根据声音信息确定宠物的第一位置;根据第一位置和预设栅格地图确定机器人的移动路径;基于移动路径移动机器人接近宠物以拍摄宠物的图像数据;根据图像数据和声音信息确定宠物的情绪状态;根据情绪状态确定宠物的陪护任务。本发明通过对宠物的图像数据进行分析以确定宠物的情绪,针对不同的宠物情绪采取不同的陪护措施,解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪,甚至生病抑郁的技术问题,实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。

Description

基于宠物情绪识别的陪护方法、装置、服务器及存储介质
技术领域
本发明实施例涉及电子技术领域,尤其涉及一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质。
背景技术
随着中国生育率的下降,越来越多人开始饲养宠物;他们认为宠物与孩子一样都是重要家庭成员,如何更好的对宠物进行陪护成为了当下亟需解决的问题。
目前,由于宠物主人存在上班、逛街、出差和旅游等需要长时间外出的事情,宠物主人不能长时间守在宠物的身边,而如果宠物主人把宠物送去寄养,又担心宠物不能得到很好的照顾。研究表明部分宠物由于长时间无人陪伴,容易产生负面情绪,甚至生病抑郁,而主人由于没时间遛宠物和陪伴宠物,也容易带来内心的愧疚,甚至抑郁。
发明内容
本发明提供一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质,以实现智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康。
第一方面,本发明实施例提供了一种基于宠物情绪识别的陪护方法,包括:
通过声音采集设备获取宠物的声音信息;
根据所述声音信息确定所述宠物的第一位置;
根据所述第一位置和预设栅格地图确定机器人的移动路径;
基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
根据所述情绪状态确定所述宠物的陪护任务。
进一步的,所述通过声音采集设备获取宠物的声音信息之前包括:
根据所述机器人的历史移动路径建立所述预设栅格地图,所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。
进一步的,所述通过声音采集设备获取宠物的声音信息包括:
通过图像采集设备获取所述图像采集设备的第一当前视野图像;
根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内;
若所述宠物在所述图像采集设备的视野范围内,则通过所述声音采集设备获取所述宠物的声音信息;
若所述宠物不在所述图像采集设备的视野范围内,则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动,并通过所述图像采集设备以预设频率抓拍第二当前视野图像,直至所述宠物在所述图像采集设备的视野范围内。
进一步的,所述根据所述第一位置和预设栅格地图确定机器人的移动路径包括:
获取所述机器人的当前位置;
根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径;
根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。
进一步的,所述基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据包括:
基于所述最短移动路径移动所述机器人以接近所述宠物;
通过图像采集设备以预设频率拍摄所述宠物,以获取所述宠物的至少一个参考图像;
提取所述参考图像,以获取每个所述参考图像的参考图像特征;
根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心;
若所述宠物位于所述视觉中心,则将所述参考图像特征对应的参考图像作为所述宠物的图像数据;
若所述宠物偏离所述视觉中心,则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度;
基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。
进一步的,所述根据所述图像数据和所述声音信息确定所述宠物的情绪状态包括:
提取所述图像数据和所述声音信息,以获取所述图像数据的图像特征和所述声音信息的声音特征;
将所述图像特征和声音特征输入至预设神经网络模型进行分析,以获取分析结果;
根据所述分析结果确定所述宠物的情绪状态。
进一步的,所述根据所述情绪状态确定所述宠物的陪护任务包括:
根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。
第二方面,本发明实施例还提供了一种基于宠物情绪识别的陪护装置,包括:
声音获取模块,用于通过声音采集设备获取宠物的声音信息;
位置确定模块,用于根据所述声音信息确定所述宠物的第一位置;
移动路径确定模块,用于根据所述第一位置和预设栅格地图确定机器人的移动路径;
图像获取模块,用于基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
情绪确定模块,用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
陪护任务确定模块,用于根据所述情绪状态确定所述宠物的陪护任务。
第三方面,本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述实施例中任一项所述的基于宠物情绪识别的陪护方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例中任一项所述的基于宠物情绪识别的陪护方法。
本发明通过对宠物的图像数据进行分析以确定宠物的情绪,针对不同的宠物情绪采取不同的陪护措施,解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪,甚至生病抑郁的技术问题,实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。
附图说明
图1为本发明实施例一提供的基于宠物情绪识别的陪护方法的流程图;
图2为本发明实施例一提供的宠物的第一位置的示意图;
图3为本发明实施例一提供的一种宠物图像的位置示意图;
图4为本发明实施例二提供的基于宠物情绪识别的陪护方法的流程图;
图5为本发明实施例二提供的一种宠物的第一位置的示意图;
图6为本发明实施例二提供的机器人的移动路径的示意图;
图7为本发明实施例二的替代实施例提供的基于宠物情绪识别的陪护方法的流程图;
图8为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图;
图9为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图;
图10为本发明实施例三提供的基于宠物情绪识别的陪护装置的结构示意图;
图11为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”、“批量”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的基于宠物情绪识别的陪护方法的流程图,本实施例可适用于宠物主人不方便照看宠物情况,该方法可以由处理器或终端来执行,具体包括如下步骤:
步骤S110、通过声音采集设备获取宠物的声音信息。
具体的,声音采集设备在本实施例中可以包括麦克风设备,麦克风设备可以是单个麦克风,也可以是麦克风矩阵。当宠物发出声音时,陪护机器人的处理器就可以通过安装在该陪护机器人上的声音采集设备或声音采集部件获取宠物的声音信息,从而通过分析宠物的声音信息和声音来源方向确定出宠物的位置。
步骤S120、根据所述声音信息确定所述宠物的第一位置。
具体的,这里的第一位置是指宠物发出叫声时的当前位置。在通过步骤S110获取到该宠物的声音信息后,陪护机器人的处理器就可以将该声音信息输入至预设的声音分析模型中进行分析(比如先对该声音信息进行特征提取,然后再根据预设声音分析模型中的预设特征库对该声音信息的特征进行匹配),得到对应的分析结果,然后根据分析结果确定宠物的第一位置。
在本实施例中,由于宠物可能待在如床底、沙发底下或其他不易查找的地方,若陪护机器人在根据宠物的声音信息确定宠物的第一位置并沿移动路径靠近宠物后,陪护机器人的摄像头仍没有捕捉到宠物的图像时,陪护机器人的处理器还可以生成一个播放音频的指令,以播放提前录制好的宠物主人用于呼唤宠物的音频,吸引宠物从类似床底或沙发底的地方出来,直到陪护机器人的摄像头能捕捉到宠物的图像。
步骤S130、根据所述第一位置和预设栅格地图确定机器人的移动路径。
具体的,预设栅格地图是指该宠物主人家的栅格地图或宠物所在房子的栅格地图。这里的栅格地图可以通过陪护装置或陪护机器人沿墙或障碍物遍历整个房子,采用即时点位与地图构建算法(Simultaneous Localization And Mapping,SLAM)和雷达数据建立起来。在预设栅格地图建立好后,机器人就可以根据宠物的第一位置和预设栅格地图规划出从机器人的当前位置到宠物的第一位置的移动路径。
图2为本发明实施例一提供的宠物的第一位置的示意图。如图2所示,A点为陪护机器人的当前位置,B点为宠物的第一位置,这时就可以根据预设栅格地图A1、陪护机器人的当前位置A点以及宠物的第一位置B点,通过预设路径规划算法得到对应的移动路径w1。
步骤S140、基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据。
具体的,在确定了机器人的移动路径后,陪护机器人的处理器会生成一个驱动信号,然后根据该驱动信号驱动机器人沿移动路径靠近该宠物以拍摄该宠物的图像数据。举例来说,如图2所示,当确定了机器人的移动路径w1后,机器人就会沿移动路径w1从A点移动到B点以接近宠物。在本实施例中,在对宠物进行拍摄时,还可以实时判断宠物的图像是否在摄像头的视觉中心位置,这里的视觉中心位置是指摄像头的视野中心,如果宠物的图像不在摄像头的视觉中心位置时,可以通过转动摄像头(没有到达摄像头的转动极限角度时就能使宠物的图像位于视觉中心位置时)或移动机器人(到达摄像头的转动极限角度后仍不能使宠物的图像位于视觉中心位置时)的位置使得宠物的图像能保持在视觉中心位置处。举例来说,图3为本发明实施例一提供的一种宠物图像的位置示意图。如图3所示,在陪护机器人移动到宠物的第一位置处时,抓取到的宠物的图像是宠物图像A,从图3能看出宠物图像A并未在摄像头的视觉中心位置,这时就可以通过转动摄像头或移动陪护机器人的位置使得宠物的图像从宠物图像A对应的位置移动到宠物图像B对应的位置,即使得宠物图像位于视觉中心位置。
步骤S150、根据所述图像数据和所述声音信息确定所述宠物的情绪状态。
具体的,在陪护机器人通过图像采集设备(如摄像头)拍摄得到宠物的图像数据后,陪护机器人就可以将宠物的图像数据和对应的声音信息输入预设的数据分析模型或预设神经网络模型中进行宠物情绪的识别,最终通过分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等。
步骤S160、根据所述情绪状态确定所述宠物的陪护任务。
具体的,在陪护机器人的处理器通过步骤S150确定了宠物的情绪状态后,还可以根据该情绪状态生成并执行对应的陪护任务。举例来说,当宠物的情绪状态确认为抑郁时,说明宠物需要进行一些能让它兴奋或开心的事项,这时陪护机器人就可以通过播放主人预先录制好的鼓励视频或音频来排解该宠物的抑郁情绪;再如当宠物额情绪状态确认为无聊时,说明宠物需要有人陪它玩游戏或做一些有趣的事项,那么陪护机器人就可以通过抛出预先存储在存储仓中的小球来陪宠物玩耍,还可以在玩耍一定时长后给宠物存储仓中的食物以示奖励等.
在本实施例中,宠物主人还可以通过预先与陪护机器人关联的APP实时查看宠物的情绪状态和图像数据,对宠物的行为和踪迹进行实时监控,还可以通过该APP控制陪护机器人执行不同的陪护任务,如当宠物主人发现宠物在破坏家具或拆家时,宠物主人就可以通过控制陪护机器人,让陪护机器人播放用于训斥宠物的音频或视频等。
在本实施例中,陪护机器人在得到宠物的图像数据、声音信息以及通过图像数据和声音信息确认的宠物的情绪状态信息时,还可以将这些数据和信息存储到云端(即一种软件和操作系统的中间载体),通过云端将这些数据和信息实时同步到APP中,这样宠物主人就能更方便的查看宠物的当前状态(如宠物的当前行为和当前情绪状态等)。
本发明实施例一的有益效果在于通过宠物的声音定位宠物的位置,并移动陪护机器人到对应位置后获取宠物的图像数据,对图像数据进行分析以确定宠物的情绪,针对不同的宠物情绪采取不同的陪护措施,并通过APP将宠物的当前状态展示给主人以方便主人对宠物进行陪护,解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪,甚至生病抑郁的技术问题,实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。
实施例二
本发明实施例二是在实施例一的基础上做的进一步改进。图4为本发明实施例二提供的基于宠物情绪识别的陪护方法的流程图。如图4所示,本实施例的基于宠物情绪识别的陪护方法,包括:
步骤S201、根据所述机器人的历史移动路径建立所述预设栅格地图,所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。
具体的,历史移动路径是指陪护机器人沿房子的墙或障碍物遍历一次房子的所有移动路径。在本实施例中,用户可以预先将与所述陪护机器人关联的终端APP启动,当陪护机器人沿墙壁或障碍物遍历房子的每个角落后,陪护机器人的处理器就会将历史移动路径和传感器数据(或雷达数据)输入预设计算模型中,生成对应的栅格地图,并将该栅格地图同步到该APP中以显示给用户,这样用户就能实时查看陪护机器人的当前位置。
步骤S202、通过图像采集设备获取所述图像采集设备的第一当前视野图像。
具体的,图像采集设备可以包括摄像头、摄像机、相机、扫描仪和其他带有拍照功能的设备,本实施例以摄像头为例。第一当前视野图像是指陪护机器人的摄像头在当前位置拍摄到的在视野范围内的所有物体构成的图像。在陪护机器人建立好预设栅格地图后,陪护机器人就可以通过设置陪护机器人上的摄像头进行拍照,以获取第一当前视野图像。
步骤S203、根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内。
具体的,陪护机器人的处理器在获取了第一当前视野图像后,就可以根据分析第一当前视野图像,提取第一当前视野图像的图像特征,并根据预设数据库中用于宠物识别的预设图像特征对当前视野图像的图像特征进行匹配,当匹配度大于等于匹配度阈值时,就说明当前视野图像的图像特征与预设图像特征的一致性较高,那么陪护机器人的处理器就可以确定宠物在图像采集设备的视野范围内。而当匹配度小于匹配度阈值时,就说明当前视野图像的图像特征与预设图像特征的差异较大,那么陪护机器人的处理器就可以确定宠物不在图像采集设备的视野范围内。
步骤S204、若所述宠物在所述图像采集设备的视野范围内,则通过所述声音采集设备获取所述宠物的声音信息。
具体的,声音采集设备在本实施例中可以包括麦克风设备,麦克风设备可以是单个麦克风,也可以是麦克风矩阵。若宠物在图像采集设备的视野范围内,当宠物发出声音时,陪护机器人的处理器就可以通过安装在该陪护机器人上的声音采集设备或声音采集部件获取宠物的声音信息,从而通过分析宠物的声音信息和声音来源方向确定出宠物的位置。
步骤S205、若所述宠物不在所述图像采集设备的视野范围内,则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动,并通过所述图像采集设备以预设频率抓拍第二当前视野图像,直至所述宠物在所述图像采集设备的视野范围内。
具体的,第二当前视野图像在本实施例中是指陪护机器人在沿历史移动路径移动时拍下的对应位置的在视野范围内的所有物体的图像。当陪护机器人通过摄像头拍下了第一当前视野图像,并分析确定宠物不在第一当前视野图像对应的视野范围内时,陪护机器人的处理器会生成一个抓拍指令,并根据该抓拍指令通过摄像头抓拍陪护机器人沿历史移动路径移动时的第二当前视野图像,这个抓拍指令可以包括抓拍的预设频率(如每三秒拍一次等)。在拍摄第二当前视野图像的时候,还可以每获取一次第二当前视野图像,就将该第二当前视野图像输入到预设数据分析模型中或预设神经网络中进行图像识别和特征提取,当分析结果为宠物在第二当前视野图像对应的视野范围内时(即宠物出现在陪护机器人的摄像头的视野范围内),陪护机器人就会停止执行根据预设栅格地图驱动机器人沿历史移动路径移动,并通过图像采集设备以预设频率抓拍第二当前视野图像的步骤。
步骤S206、根据所述声音信息确定所述宠物的第一位置。
具体的,这里的第一位置是指宠物发出叫声时的当前位置。在通过步骤S204获取到该宠物的声音信息后,陪护机器人的处理器就可以将该声音信息输入至预设的声音分析模型中进行分析(比如先对该声音信息进行特征提取,然后再根据预设声音分析模型中的预设特征库对该声音信息的特征进行匹配),得到对应的分析结果,然后根据分析结果确定宠物的第一位置。
步骤S207、获取所述机器人的当前位置。
步骤S208、根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径。
具体的,在确定了宠物的第一位置后,陪护机器人的处理器还需要获取自己的当前位置,并通过当前位置、宠物的第一位置以及宠物所在房子的预设栅格地图确定出陪护机器人从当前位置移动到第一位置的至少一条移动路径。举例来说,图5为本发明实施例二提供的一种宠物的第一位置的示意图,如图5所示,A点为陪护机器人的当前位置,B点为宠物的第一位置,w1和w2为两条陪护机器人的移动路径,也就是说,陪护机器人要从A点到B点可以沿移动路径w1或移动路径w2来移动。
步骤S209、根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。
具体的,在确定出至少一条移动路径后,陪护机器人的处理器还需要确认每条移动路径的移动距离,并选择移动路径最小的那条移动路径作为陪护机器人的最短移动路径。举例来说,图6为本发明实施例二提供的机器人的移动路径的示意图。如图6所示,A点为陪护机器人的当前位置,B点为宠物的第一位置,陪护机器人从A点到B点的移动路径有两条,分别为w1和w2,从图6可知,w2的移动距离比w1要长,那么陪护机器人就可以选择w1作为最短移动路径。
步骤S210、基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据。
具体的,在确定了机器人的移动路径后,陪护机器人的处理器会生成一个驱动信号,然后根据该驱动信号驱动机器人沿最短移动路径靠近该宠物以拍摄该宠物的图像数据。
在本实施例中,当主人家有多只宠物时,还可以根据目标检测算法(Single ShotMultiBox Detector,SSD)或另一目标检测算法(You Only Look Once,YOLO)识别宠物。举例来说,当主人家有两只猫A和B,陪护机器人需要识别拍摄到的是哪只猫的图像数据时,就可以根据细粒度分类算法或子类别图像分类算法对采集到的猫咪的图像数据进行分析,从而判断出拍摄的是猫咪A还是猫咪B的图像数据。
步骤S211、根据所述图像数据和所述声音信息确定所述宠物的情绪状态。
具体的,在陪护机器人通过图像采集设备(如摄像头)拍摄得到宠物的图像数据后,陪护机器人就可以将宠物的图像数据和对应的声音信息输入预设的数据分析模型或预设神经网络模型中进行宠物情绪的识别,最终通过分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等。
步骤S212、根据所述情绪状态确定所述宠物的陪护任务。
具体的,在陪护机器人的处理器通过步骤S211确定了宠物的情绪状态后,还可以根据该情绪状态生成并执行对应的陪护任务。举例来说,当宠物的情绪状态确认为抑郁时,说明宠物需要进行一些能让它兴奋或开心的事项,这时陪护机器人就可以通过播放主人预先录制好的鼓励视频或音频来排解该宠物的抑郁情绪;再如当宠物额情绪状态确认为无聊时,说明宠物需要有人陪它玩游戏或做一些有趣的事项,那么陪护机器人就可以通过抛出预先存储在存储仓中的小球来陪宠物玩耍,还可以在玩耍一定时长后给宠物存储仓中的食物以示奖励等。
图7为本发明实施例二的替代实施例提供的基于宠物情绪识别的陪护方法的流程图,在本实施例中,如图7所示,步骤S210可以包括以下步骤:
步骤S301、基于所述最短移动路径移动所述机器人以接近所述宠物。
步骤S302、通过图像采集设备以预设频率拍摄所述宠物,以获取所述宠物的至少一个参考图像。
具体的,陪护机器人还可以沿最短移动路径移动到宠物的第一位置处,并拍摄宠物的至少一个参考图像。在本实施例中,还可以根据预设频率拍摄宠物多组参考图像,以通过多组参考图像更为准确的确定宠物的情绪状态。
步骤S303、提取所述参考图像,以获取每个所述参考图像的参考图像特征。
步骤S304、根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心。
步骤S305、若所述宠物位于所述视觉中心,则将所述参考图像特征对应的参考图像作为所述宠物的图像数据。
具体的,当陪护机器人的处理器获取了宠物的参考图像后,处理器还需要提取每个参考图像的参考图像特征,并根据这些图像特征判断宠物是否位于图像采集设备的视觉中心,这里的视觉中心位置是指摄像头的视野中心,当宠物的图像在摄像头的视觉中心位置,即宠物位于所述视觉中心时,就可以把拍摄到的宠物的参考图像作为宠物的图像数据。
步骤S306、若所述宠物偏离所述视觉中心,则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度。
步骤S307、基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。
具体的,如果宠物的图像不在摄像头的视觉中心位置时,可以通过转动摄像头(没有到达摄像头的转动极限角度时就能使宠物的图像位于视觉中心位置时)或移动机器人(到达摄像头的转动极限角度后仍不能使宠物的图像位于视觉中心位置时)的位置使得宠物的图像能保持在视觉中心位置处。在本实施例中,可以通过预设偏差算法和参考图像特征计算宠物的图像数据与视觉中心位置的偏差距离,并根据该偏差距离确定图像采集设备(如摄像头和相机等)的偏差角度,这里的偏差角度是指将宠物的参考图像从偏离视觉中心位置变为宠物的参考图像位于视觉中心位置,陪护机器人的图像采集设备如摄像头需要偏转的角度。在确定了偏差角度后,陪护机器人就可以根据该偏差角度转动位于陪护机器人上的图像采集设备(如摄像头和相机等)以使宠物能位于视觉中心处。
图8为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图,在本实施例中,如图8所示,步骤S212可以包括以下步骤:
步骤S401、提取所述图像数据和所述声音信息,以获取所述图像数据的图像特征和所述声音信息的声音特征。
步骤S402、将所述图像特征和声音特征输入至预设神经网络模型进行分析,以获取分析结果。
具体的,在陪护机器人的处理器获取到宠物的图像数据后,还需要提取图像数据和声音信息的图像特征和声音特征,并将该宠物的图像特征和声音特征输入到预设数据分析模型或预设神经网络模型中进行分析,将图像特征和声音特征与预设特征匹配库中的预设特征进行匹配,最终得到分析结果。
步骤S403、根据所述分析结果确定所述宠物的情绪状态。
具体的,在陪护机器人的处理器获取到分析结果后,还可以根据分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等,举例来说,当分析结果为宠物A的图像特征识别为宠物A在笑,宠物A的声音特征的匹配结果为宠物A的声音频率处在宠物A在开心时能发出的预设声音频率范围内,那么就可以确定宠物A的情绪状态为开心。
在本实施例中,陪护机器人还可以通过宠物的图像特征查询对应的图片数据库,这里的图片数据库可以包括宠物的一般图片和宠物较为有趣的图片的图像特征,当宠物的图像特征与图片数据库中的较为有趣的图片的图像特征的匹配度大于等于匹配度阈值时,陪护机器人的处理器还可以将该图片数据通过预先建立好关联的APP传输给该宠物的主人。图片数据库的图像特征可以通过python网络爬虫(即基于python语言的将需要的代码爬取到本地)在各个论坛或社交平台上抓取含有大量评论或点赞的有趣的宠物图片,同时抓取普通的宠物图片(如评论较少或点赞较少的图片),并将有趣的宠物图片和普通的宠物图片输入至预设神经网络模型中获取。
图9为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图,在本实施例中,如图9所示,步骤S212可以包括以下步骤:
步骤S501、根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。
具体的,在本实施例中,预设情绪-任务匹配表是指一种将情绪状态和陪护任务信息关联在一起的列表,即表中的每个情绪状态都对应一个陪护任务。在陪护机器人的处理器根据分析结果确定了宠物的情绪状态后,陪护机器人的处理器就可以根据该宠物的情绪状态生成并执行对应的陪护任务。
本发明实施例二的有益效果在于通过宠物的声音定位宠物的位置,并移动陪护机器人到对应位置后获取宠物的图像数据,将图像数据与预设图片库进行对比,当宠物出现有趣的图像时还可以通过APP推送给主人,对图像数据进行分析以确定宠物的情绪,针对不同的宠物情绪采取不同的陪护措施,主人还可以通过APP控制陪护机器人执行不同的陪护任务,解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪,甚至生病抑郁的技术问题,实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。
实施例三
图10为本发明实施例三提供的一种基于宠物情绪识别的陪护装置的结构示意图。如图10所示,本实施例的基于宠物情绪识别的陪护装置300,包括:
声音获取模块310,用于通过声音采集设备获取宠物的声音信息;
位置确定模块320,用于根据所述声音信息确定所述宠物的第一位置;
移动路径确定模块330,用于根据所述第一位置和预设栅格地图确定机器人的移动路径;
图像获取模块340,用于基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
情绪确定模块350,用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
陪护任务确定模块360,用于根据所述情绪状态确定所述宠物的陪护任务。
在一个实施例中,本实施例的基于宠物情绪识别的陪护装置300还包括:
地图生成模块370,用于根据所述机器人的历史移动路径建立所述预设栅格地图,所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。
在一个实施例中,所述声音获取模块310包括:
声音获取单元,用于通过图像采集设备获取所述图像采集设备的第一当前视野图像;根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内;若所述宠物在所述图像采集设备的视野范围内,则通过所述声音采集设备获取所述宠物的声音信息;若所述宠物不在所述图像采集设备的视野范围内,则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动,并通过所述图像采集设备以预设频率抓拍第二当前视野图像,直至所述宠物在所述图像采集设备的视野范围内。
在一个实施例中,所述移动路径确定模块330包括:
移动路径确定单元,用于获取所述机器人的当前位置;根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径;根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。
在本实施例中,所述图像获取模块340包括:
图像获取单元,用于基于所述最短移动路径移动所述机器人以接近所述宠物;通过图像采集设备以预设频率拍摄所述宠物,以获取所述宠物的至少一个参考图像;提取所述参考图像,以获取每个所述参考图像的参考图像特征;根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心;若所述宠物位于所述视觉中心,则将所述参考图像特征对应的参考图像作为所述宠物的图像数据;若所述宠物偏离所述视觉中心,则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度;基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。
在一个实施例中,所述情绪确定模块350包括:
情绪确定单元,用于提取所述图像数据和所述声音信息,以获取所述图像数据的图像特征和所述声音信息的声音特征;将所述图像特征和声音特征输入至预设神经网络模型进行分析,以获取分析结果;根据所述分析结果确定所述宠物的情绪状态。
在一个实施例中,所述陪护任务确定模块360包括:
陪护任务确定单元,用于根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。
本发明实施例所提供的基于宠物情绪识别的陪护装置可执行本发明任意实施例所提供的基于宠物情绪识别的陪护方法,具备执行方法相应的功能模块和有益效果。
实施例四
图11为本发明实施例四提供的一种服务器的结构示意图,如图11所示,该服务器包括处理器410、存储器420、输入装置430和输出装置440;服务器中处理器410的数量可以是一个或多个,图11中以一个处理器410为例;服务器中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图11中以通过总线连接为例。
存储器410作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的基于宠物情绪识别的陪护方法对应的程序指令/模块(例如,基于宠物情绪识别的陪护装置中的声音获取模块310、位置确定模块320、移动路径确定模块330、图像获取模块340、情绪确定模块350、陪护任务确定模块360和地图生成模块370)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述的基于宠物情绪识别的陪护方法。
也即:
通过声音采集设备获取宠物的声音信息;
根据所述声音信息确定所述宠物的第一位置;
根据所述第一位置和预设栅格地图确定机器人的移动路径;
基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
根据所述情绪状态确定所述宠物的陪护任务。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种基于宠物情绪识别的陪护方法,该方法包括:
通过声音采集设备获取宠物的声音信息;
根据所述声音信息确定所述宠物的第一位置;
根据所述第一位置和预设栅格地图确定机器人的移动路径;
基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
根据所述情绪状态确定所述宠物的陪护任务。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的基于宠物情绪识别的陪护方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述基于宠物情绪识别的陪护装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于宠物情绪识别的陪护方法,其特征在于,包括:
通过声音采集设备获取宠物的声音信息;
根据所述声音信息确定所述宠物的第一位置;
根据所述第一位置和预设栅格地图确定机器人的移动路径;
基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
根据所述情绪状态确定所述宠物的陪护任务。
2.根据权利要求1所述的基于宠物情绪识别的陪护方法,其特征在于,所述通过声音采集设备获取宠物的声音信息之前包括:
根据所述机器人的历史移动路径建立所述预设栅格地图,所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。
3.根据权利要求2所述的基于宠物情绪识别的陪护方法,其特征在于,所述通过声音采集设备获取宠物的声音信息包括:
通过图像采集设备获取所述图像采集设备的第一当前视野图像;
根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内;
若所述宠物在所述图像采集设备的视野范围内,则通过所述声音采集设备获取所述宠物的声音信息;
若所述宠物不在所述图像采集设备的视野范围内,则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动,并通过所述图像采集设备以预设频率抓拍第二当前视野图像,直至所述宠物在所述图像采集设备的视野范围内。
4.根据权利要求1所述的基于宠物情绪识别的陪护方法,其特征在于,所述根据所述第一位置和预设栅格地图确定机器人的移动路径包括:
获取所述机器人的当前位置;
根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径;
根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。
5.根据权利要求4所述基于宠物情绪识别的陪护方法,其特征在于,所述基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据包括:
基于所述最短移动路径移动所述机器人以接近所述宠物;
通过图像采集设备以预设频率拍摄所述宠物,以获取所述宠物的至少一个参考图像;
提取所述参考图像,以获取每个所述参考图像的参考图像特征;
根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心;
若所述宠物位于所述视觉中心,则将所述参考图像特征对应的参考图像作为所述宠物的图像数据;
若所述宠物偏离所述视觉中心,则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度;
基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。
6.根据权利要求5所述的基于宠物情绪识别的陪护方法,其特征在于,所述根据所述图像数据和所述声音信息确定所述宠物的情绪状态包括:
提取所述图像数据和所述声音信息,以获取所述图像数据的图像特征和所述声音信息的声音特征;
将所述图像特征和声音特征输入至预设神经网络模型进行分析,以获取分析结果;
根据所述分析结果确定所述宠物的情绪状态。
7.根据权利要求1所述的基于宠物情绪识别的陪护方法,其特征在于,所述根据所述情绪状态确定所述宠物的陪护任务包括:
根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。
8.一种基于宠物情绪识别的陪护装置,其特征在于,包括:
声音获取模块,用于通过声音采集设备获取宠物的声音信息;
位置确定模块,用于根据所述声音信息确定所述宠物的第一位置;
移动路径确定模块,用于根据所述第一位置和预设栅格地图确定机器人的移动路径;
图像获取模块,用于基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据;
情绪确定模块,用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态;
陪护任务确定模块,用于根据所述情绪状态确定所述宠物的陪护任务。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的基于宠物情绪识别的陪护方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于宠物情绪识别的陪护方法。
CN202010647467.0A 2020-07-07 2020-07-07 基于宠物情绪识别的陪护方法、装置、服务器及存储介质 Withdrawn CN111814665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010647467.0A CN111814665A (zh) 2020-07-07 2020-07-07 基于宠物情绪识别的陪护方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010647467.0A CN111814665A (zh) 2020-07-07 2020-07-07 基于宠物情绪识别的陪护方法、装置、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN111814665A true CN111814665A (zh) 2020-10-23

Family

ID=72842016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647467.0A Withdrawn CN111814665A (zh) 2020-07-07 2020-07-07 基于宠物情绪识别的陪护方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111814665A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401888A (zh) * 2020-11-13 2021-02-26 深圳创维-Rgb电子有限公司 宠物陪伴方法、系统及计算机可读存储介质
CN116391630A (zh) * 2023-04-24 2023-07-07 重庆长安汽车股份有限公司 一种车内宠物管理方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401888A (zh) * 2020-11-13 2021-02-26 深圳创维-Rgb电子有限公司 宠物陪伴方法、系统及计算机可读存储介质
CN116391630A (zh) * 2023-04-24 2023-07-07 重庆长安汽车股份有限公司 一种车内宠物管理方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP7377837B2 (ja) ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム
CN107925821B (zh) 监控
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
CN110434853B (zh) 一种机器人控制方法、装置及存储介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
RU2670429C1 (ru) Системы и способы отслеживания движущихся объектов на видеоизображении
WO2018152009A1 (en) Entity-tracking computing system
JP6806188B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN102693007A (zh) 姿势检测和识别
CN111753594B (zh) 危险识别方法、装置及系统
CN111643017B (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
CN111814665A (zh) 基于宠物情绪识别的陪护方法、装置、服务器及存储介质
CN107111363B (zh) 用于监视的方法、装置和系统
CN111263955A (zh) 一种目标对象的移动轨迹确定方法和装置
JP2005275912A (ja) 行動分析方法及びシステム
JP5012589B2 (ja) 画像情報を用いた人物追跡システム
JP2020027496A (ja) 監視装置、監視システム、及びプログラム
CN111919250B (zh) 传达非语言提示的智能助理设备
Haller et al. Human activity recognition based on multiple kinects
WO2021245749A1 (ja) 追跡装置、追跡方法、および記録媒体
CN117475493A (zh) 一种情绪识别方法、装置、电子设备、芯片及介质
JP6796289B2 (ja) 生物の生息状況調査方法
CN115690554A (zh) 目标识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201023

WW01 Invention patent application withdrawn after publication