CN110826358A - 动物情绪的识别方法、装置及存储介质 - Google Patents
动物情绪的识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110826358A CN110826358A CN201810894999.7A CN201810894999A CN110826358A CN 110826358 A CN110826358 A CN 110826358A CN 201810894999 A CN201810894999 A CN 201810894999A CN 110826358 A CN110826358 A CN 110826358A
- Authority
- CN
- China
- Prior art keywords
- target
- recognition model
- behavior
- data
- animal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008909 emotion recognition Effects 0.000 title abstract description 19
- 230000008451 emotion Effects 0.000 claims abstract description 113
- 230000001815 facial effect Effects 0.000 claims description 32
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000037237 body shape Effects 0.000 claims description 8
- 230000036651 mood Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims 1
- 230000002996 emotional effect Effects 0.000 claims 1
- 241000894007 species Species 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 151
- 238000012545 processing Methods 0.000 abstract description 15
- 230000015654 memory Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动物情绪的识别方法、装置及存储介质，属于数据处理技术领域。该方法包括：获取待识别的目标动物的行为数据，该行为数据包括视频画面数据和/或声音数据，根据该行为数据，确定与该目标动物的种类对应的目标识别模型，对该行为数据进行预处理，得到至少一个行为特征向量，该至少一个行为特征向量包括肢体特征向量和/或声音特征向量，调用该目标识别模型，将该至少一个行为特征向量输入该目标识别模型中，输出该目标动物的情绪标签。本发明实施例可以基于目标动物的任一种行为进行情绪识别，解决了采用人工识别时由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。
Description
技术领域
本发明实施例涉及数据处理技术领域，特别涉及一种动物情绪的识别方法、装置及存储介质。
背景技术
目前，动物受到了广泛的关注，譬如，一些诸如猫、狗之类的宠物，逐渐进入人们的生活中。随着动物在家庭和社会中地位的上升，动物的情绪也越来越受人们重视。
动物一般是通过动作、姿态、声音等行为来表达情绪，因此，在相关技术中，通常需要一些经验丰富的人员根据动物的行为来识别动物的情绪。譬如，当发现宠物狗撕咬家具时，说明该宠物狗当前可能比较饥饿。
然而，由于相关技术中需要经验丰富的人员来识别动物的情绪，而人工经验有限，因此，动物一些不经常出现的行为可能无法识别。
发明内容
本发明实施例提供了一种动物情绪的识别方法、装置及存储介质，可以解决由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。所述技术方案如下：
第一方面，提供了一种动物情绪的识别方法，所述方法包括：
获取待识别的目标动物的行为数据，所述行为数据包括视频画面数据和/或声音数据；
根据所述行为数据，确定与所述目标动物的种类对应的目标识别模型，所述目标识别模型用于根据动物的行为特征向量对所述种类的动物的情绪进行识别；
对所述行为数据进行预处理，得到至少一个行为特征向量，所述至少一个行为特征向量包括肢体特征向量和/或声音特征向量；
调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签。
可选地，所述根据所述行为数据，确定目标识别模型，包括：
根据所述行为数据，确定所述目标动物所属的种类；
从存储的多个识别模型中，确定所述种类对应的识别模型，并将所确定的识别模型确定为所述目标识别模型。
可选地，所述从存储的多个识别模型中，确定所述种类对应的识别模型，包括：
当所述行为数据包括视频画面数据和声音数据，且所述多个识别模型包括多个肢体识别模型和多个声音识别模型时，从所述多个识别模型中确定所述种类对应的目标肢体识别模型和目标声音识别模型；
将所述目标肢体识别模型和所述目标声音识别模型确定为所述种类对应的识别模型。
可选地，所述根据所述行为数据，确定所述目标动物所属的种类，包括：
当所述行为数据包括视频画面数据和声音数据时，基于所述视频画面数据，确定所述目标动物的面部特征和体型特征，以及基于所述声音数据，确定所述目标动物的声音特征；
根据所述面部特征、所述体型特征及所述声音特征，从预先存储的指定对应关系中确定对应的种类，所述指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；
将所确定的种类确定为所述目标动物所属的种类。
可选地，所述目标识别模型是根据所述多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，所述多个动物与所述目标动物所属的种类相同。
可选地，当所述行为数据包括所述视频画面数据和所述声音数据时，所述目标识别模型包括目标肢体识别模型和目标声音识别模型，所述目标肢体识别模型是基于所述多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的；所述目标声音识别模型是基于所述多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
可选地，所述对所述行为数据进行预处理，得到至少一个行为特征向量，包括：
当所述行为数据包括所述视频画面数据时，从所述视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括所述目标动物；
对所述至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；
将所述至少一个肢体特征向量确定为所述至少一个行为特征向量。
可选地，所述调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签之后，还包括：
查询所输出的情绪标签是否属于异常情绪标签；
当所述情绪标签属于所述异常情绪标签时，进行异常报警提示。
第二方面，提供了一种动物情绪的识别装置，所述装置包括：
第一获取模块，用于获取待识别的目标动物的行为数据，所述行为数据包括视频画面数据和/或声音数据；
确定模块，用于根据所述行为数据，确定与所述目标动物的种类对应的目标识别模型，所述目标识别模型用于根据动物的行为特征向量对所述种类的动物的情绪进行识别；
预处理模块，用于对所述行为数据进行预处理，得到至少一个行为特征向量，所述至少一个行为特征向量包括肢体特征向量和/或声音特征向量；
调用模块，用于调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签。
可选地，所述确定模块用于：
根据所述行为数据，确定所述目标动物所属的种类；
从存储的多个识别模型中，确定所述种类对应的识别模型，并将所确定的识别模型确定为所述目标识别模型。
可选地，所述确定模块用于：
当所述行为数据包括视频画面数据和声音数据，且所述多个识别模型包括多个肢体识别模型和多个声音识别模型时，从所述多个识别模型中确定所述种类对应的目标肢体识别模型和目标声音识别模型；
将所述目标肢体识别模型和所述目标声音识别模型确定为所述种类对应的识别模型。
可选地，所述确定模块用于：
当所述行为数据包括视频画面数据和声音数据时，基于所述视频画面数据，确定所述目标动物的面部特征和体型特征，以及基于所述声音数据，确定所述目标动物的声音特征；
根据所述面部特征、所述体型特征及所述声音特征，从预先存储的指定对应关系中确定对应的种类，所述指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；
将所确定的种类确定为所述目标动物所属的种类。
可选地，所述目标识别模型是根据所述多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，所述多个动物与所述目标动物所属的种类相同。
可选地，当所述行为数据包括所述视频画面数据和所述声音数据时，所述目标识别模型包括目标肢体识别模型和目标声音识别模型，所述目标肢体识别模型是基于所述多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的；所述目标声音识别模型是基于所述多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
可选地，所述预处理模块用于：
当所述行为数据包括所述视频画面数据时，从所述视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括所述目标动物；
对所述至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；
将所述至少一个肢体特征向量确定为所述至少一个行为特征向量。
可选地，所述装置还包括：
查询模块，用于查询所输出的情绪标签是否属于异常情绪标签；
报警模块，用于当所述情绪标签属于所述异常情绪标签时，进行异常报警提示。
第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的动物情绪的识别方法。
第四方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的动物情绪的识别方法。
本发明实施例提供的技术方案带来的有益效果是：
获取待识别的目标动物的行为数据，根据该行为数据，确定与该目标动物的种类对应的目标识别模型。即，根据待识别的动物的种类不同，这里采用不同的目标识别模型，该目标识别模型用于根据动物的行为特征向量对该种类的动物的情绪进行识别。在识别过程中，对上述行为数据进行预处理，得到至少一个行为特征向量，之后，调用所确定的目标识别模型，并将所得到的该至少一个行为特征向量输入至该目标识别模型中，输出该目标动物的情绪标签。本发明实施例中，目标识别模型可以基于目标动物的任一种行为对应的行为特征向量，对该目标动物的情绪进行识别，解决了采用人工识别时由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种动物情绪的识别方法流程图。
图2是根据一示例性实施例示出的一种动物情绪的识别装置的结构示意图。
图3是根据另一示例性实施例示出的一种动物情绪的识别装置的结构示意图。
图4是根据另一示例性实施例示出的一种动物情绪的识别装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例提供的动物情绪的识别方法进行详细介绍之前，先对本发明实施例涉及的应用场景和实施环境进行简单介绍。
首先，对本发明实施例涉及的应用场景进行简单介绍。
目前，一般采用人工识别方法来识别动物的情绪。然而，采用人工识别不仅浪费人力，且，由于人工经验有限，因此，导致动物一些不经常出现的行为可能无法识别。为此，本发明实施例提供了一种动物情绪的识别方法，该方法可以基于待识别的目标动物的种类，确定该种类对应的目标识别模型，并基于目标动物的任一种行为对应的行为特征向量，通过该目标识别模型对目标动物的情绪进行识别，解决了采用人工识别时由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。
其次，对本发明实施例涉及的实施环境进行简单介绍。
本发明实施例提供的动物情绪的识别方法可以由终端来执行，在一种可能的实现方式中，该终端可以配置有摄像装置和/或录音装置，用于采集目标动物的行为数据。或者，在另一种可能的实现方式中，该终端还可以通过数据线与摄像装置和/或录音装置连接，以实现行为数据的采集。在一些实施例中，该录音装置可以为麦克风阵列。进一步地，该终端还可以配置有播放器，用于在识别出动物的情绪存在异常时，通过声音报警的方式进行异常提示。
在一些实施例中，该终端可以包括手机、计算机、平板电脑等，本发明实施例对此不做限定。
在介绍完本发明实施例涉及的应用场景和实施环境后，接下来，将结合附图对本发明实施例提供的动物情绪的识别方法进行详细介绍。请参考如下图1所示实施例。
图1是根据一示例性实施例示出的一种动物情绪的识别方法流程图，本实施例以该动物情绪的识别方法应用于上述终端中进行举例说明，该动物情绪的识别方法可以包括如下几个步骤：
步骤101：获取待识别的目标动物的行为数据，该行为数据包括视频画面数据和/或声音数据。
在一些应用场景中，为了识别目标动物的情绪，可以在该目标动物的活动范围内安装终端，以通过该终端获取该目标动物的行为数据。
在一些实施例中，当该行为数据包括视频画面数据时，该终端可以通过摄像装置来获取该视频画面数据。或者，当该行为数据包括声音数据时，该终端可以通过录音装置来获取该声音数据。当然，当该行为数据包括视频画面数据和声音数据时，该终端可以分别通过摄像装置和录音装置来获取该目标动物的视频画面数据和声音数据。
步骤102：根据该行为数据，确定与该目标动物的种类对应的目标识别模型，该目标识别模型用于根据动物的行为特征向量对该种类的动物的情绪进行识别。
在一些实施例中，根据该行为数据，确定与该目标动物的种类对应的目标识别模型的实现过程可以包括如下1021-1022几个实现步骤：
1021：根据该行为数据，确定该目标动物所属的种类。
其中，该目标动物的种类可以包括猫类、犬类等，在本实施例中，根据目标动物的种类不同，所对应的目标识别模型不同。因此，在这里，终端需要根据该目标动物的行为数据，确定该目标动物的种类。
在一些实施例中，上述根据该行为数据，确定该目标动物所属的种类的实现过程可以包括：当该行为数据包括视频画面数据和声音数据时，基于该视频画面数据，确定该目标动物的面部特征和体型特征，以及基于该声音数据，确定该目标动物的声音特征。根据该面部特征、该体型特征及该声音特征，从预先存储的指定对应关系中确定对应的种类，该指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；将所确定的种类确定为该目标动物所属的种类。
在一些实施例中，终端可以从所获取的视频画面数据中，获取包括该目标动物的面部和体型的至少一帧视频画面，之后，可以采用图像识别技术，确定所获取的该至少一帧视频画面中该目标动物的面部特征和体型特征。
另外，终端可以对上述声音数据依次进行短时傅里叶变换、滤波分析处理，以得到上述声音特征，该声音特征可以用于描述该目标动物的声音的音色、响度等特征。
在一种可能的实现方式中，该终端中可以预先存储有面部特征、体型特征和声音特征与种类之间的指定对应关系，此时，终端确定该目标动物的面部特征、体型特征和声音特征后，基于该三者，可以从预先存储的该指定对应关系中，确定该目标动物所属的种类。
或者，在另外一种可能的实现方式中，上述面部特征、体型特征和声音特征与种类之间的对应关系还可以存储在云端服务器上，此时，终端可以基于所确定的该目标动物的面部特征、体型特征和声音特征，从该云端服务器中查询该目标动物所属的种类，如此，可以节省终端的存储空间。
值得一提的是，上述根据目标动物的面部特征、体型特征和声音特征，确定对应的种类，提高了种类判断的准确性。
进一步地，当该行为数据包视频画面数据时，终端基于该视频画面数据，确定该目标动物的面部特征和体型特征，根据该面部特征和该体型特征，从预先存储的第一对应关系中确定对应的种类，该第一对应关系用于存储面部特征和体型特征与种类之间的对应关系，之后，终端将所确定的种类确定为上述目标动物所属的种类。
与上述同理，终端可以从所获取的视频画面数据中，获取包括该目标动物的面部和体型的至少一帧视频画面，之后，可以采用图像识别技术，确定所获取的该至少一帧视频画面中该目标动物的面部特征和体型特征。该终端中可以预先存储有面部特征、体型特征与种类之间的第一对应关系，此时，终端确定该目标动物的面部特征和体型特征，基于该两者，可以从预先存储的该第一对应关系中，确定该目标动物所属的种类。
进一步地，当该行为数据包括声音数据时，终端基于该声音数据，确定该目标动物的声音特征，根据该声音特征，从预先存储的第二对应关系中确定对应的种类，该第二对应关系用于存储声音特征与种类之间的对应关系，之后，终端将所确定的种类确定为上述目标动物所属的种类。
与上述同理，终端可以对上述声音数据依次进行短时傅里叶变换、滤波分析处理，以得到上述声音特征，该声音特征可以用于描述该目标动物的声音的音色、响度等特征。该终端中可以预先存储有声音特征与种类之间的第二对应关系，此时，终端确定该目标动物的声音特征，并基于该声音特征，可以从预先存储的该第二对应关系中确定该目标动物所属的种类。
值得一提的是，上述可以根据该目标动物的面部特征和体型特征确定目标动物的种类，也可以根据该目标动物的声音特征确定该目标动物的种类，丰富了种类的判断方式。
1022：从存储的多个识别模型中，确定该种类对应的识别模型，并将所确定的识别模型确定为该目标识别模型。
在一些实施例中，上述从存储的多个识别模型中，确定该种类对应的识别模型的具体实现可以包括：当该行为数据包括视频画面数据和声音数据，且该多个识别模型包括多个肢体识别模型和多个声音识别模型时，从该多个识别模型中确定该种类对应的目标肢体识别模型和目标声音识别模型，将该目标肢体识别模型和该目标声音识别模型确定为该种类对应的识别模型。
也即是，当该行为数据包括视频画面数据和声音数据时，该终端中存储有多个肢体识别模型和多个声音识别模型，终端从该多个肢体识别模型和多个声音识别模型中，确定该目标动物所属种类对应的识别模型，此时，该目标动物所属种类对应的识别模型实际上包括目标肢体识别模型和目标声音识别模型两个，其中，目标肢体识别模型是基于该种类从该多个肢体识别模型中确定，该目标声音识别模型是基于该种类从该多个声音识别模型中确定。
譬如，该目标肢体识别模型的结构包括有输入层、卷积层、LSTM(Long Short-TermMemory，长短期记忆)层、MLP(Multi-Layer Perceptron，多层感知机)和输出层，如此，将该目标动物的肢体特征向量输入至该目标肢体识别模型后，通过该结构包括的各个层依次进行数据处理，即可输出该目标动物的情绪标签。
再如，该目标声音识别模型的结构可以包括有输入层，多个全连接层和输出层，如此，将该目标动物的声音特征向量输入至该目标声音识别模型后，通过该结构包括的各个层依次进行数据处理，即可输出该目标动物的情绪标签。
值得一提的是，上述分别确定目标肢体识别模型和目标声音识别模型，并将目标肢体识别模型和目标声音识别模型均作为目标识别模型，如此，采用双重判定，可以提高识别的准确性。
在一些实施例中，当该行为数据包括视频画面数据，且该多个识别模型包括多个肢体识别模型时，从该多个识别模型中确定该种类对应的目标肢体识别模型，将该目标肢体识别模型确定为该种类对应的识别模型。
在另一些实施例中，当该行为数据包括声音数据，且该多个识别模型包括多个声音识别模型时，从该多个识别模型中确定该种类对应的目标声音识别模型，将该目标声音识别模型确定为该种类对应的识别模型。
值得一提的是，在本发明实施例中，不同种类对应不同的目标识别模型，如此，可以有针对性的进行动物情绪识别，使得应用性更为广泛。
需要说明的是，上述当该行为数据包括视频画面数据时，或者，当该行为数据包括声音数据时，确定该目标动物所属种类对应的识别模型的实现原理与上述当该行为数据包括视频画面数据和声音数据时，确定该目标动物所属种类对应的识别模型的实现原理类似，这里不再详细介绍。
进一步地，该目标识别模型是根据该多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，该多个动物与该目标动物所属的种类相同。
在确定上述目标识别模型之前，通常需要通过训练来得到该目标识别模型，在训练过程中，一般是基于大量动物的行为进行深度学习，以对待训练的识别模型进行训练。其中，该行为包括但不限于趴、坐、直立、侧躺、仰躺、蜷缩、伸舌、夹尾巴、翘尾巴、挠爪、拍爪、跳跃、翻滚、奔跑。
在这里，终端获取大量动物的行为特征向量样本，以及获取每个行为特征向量样本对应的情绪标签，之后，基于所获取的数据待训练的识别模型进行训练。在一些实施例中，每个行为特征向量样本对应的情绪标签可以预先进行设置，譬如，该情绪标签可以包括但不限于兴奋、生气、害怕、想吃东西、要上厕所、想出门。
需要说明的是，上述待训练的识别模型可以为网络模型，在一种可能的实现方式中，该网络模型的结构可以包括有输入层、卷积层、LSTM层、MLP和输出层。在另一种可能的实现方式中，该网络模型的结构可以包括有输入层、多个全连接层和输出层等。
在一些实施例中，当该行为数据包括该视频画面数据和该声音数据时，该目标识别模型包括目标肢体识别模型和目标声音识别模型，该目标肢体识别模型是基于该多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的，该目标声音识别模型是基于该多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
值得一提的是，本发明实施例采用大数据对待训练的识别模型进行训练，以得到目标识别模型，如此，可以提高识别的准确率，且容错性较好。
进一步地，当该行为数据包括该视频画面数据时，上述根据该多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练，得到该目标识别模型的具体实现可以包括：基于该多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练，得到目标肢体识别模型，将所得到的目标肢体识别模型确定为该目标识别模型。
进一步地，当该行为数据包括声音数据时，上述根据该多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练，得到该目标识别模型的具体实现可以包括：基于该多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练，得到目标声音识别模型，将所得到的目标声音识别模型确定为该目标识别模型。
需要说明的是，上述当该行为数据包括该视频画面数据时，或者，当该行为数据包括声音数据时，根据该多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练，得到该目标识别模型的具体实现原理与上述当该行为数据包括该视频画面数据和声音数据时的实现原理类似，这里不再重复赘述。
在一些实施例中，终端经过训练得到该目标识别模型后，可以将该目标识别模型存储至本地，或者，也可以将该目标识别模型存储至云端服务器中，本发明实施例对此不做限定。
步骤103：对该行为数据进行预处理，得到至少一个行为特征向量，该至少一个行为特征向量包括肢体特征向量和/或声音特征向量。
在一种可能的实现方式中，当该行为数据包括该视频画面数据时，从该视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括该目标动物，对该至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量，将该至少一个肢体特征向量确定为该至少一个行为特征向量。
在一些实施方式中，终端可以采用目标跟踪算法，从该视频画面数据中获取至少一帧有效视频画面。譬如，该目标跟踪算法可以为KCF(Kernerlized Correlation Filter，角化相关滤波器)跟踪算法，在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧视频画面数据中预测区域是否包括目标动物，当包括时，获取下一帧视频画面数据为有效视频画面，并再用新检测结果去更新训练该目标检测器，以从该视频画面数据中获取至少一帧有效视频画面。
进一步地，当该行为数据包括声音数据时，对该声音数据进行预处理，得到至少一个声音特征向量，将该至少一个声音特征向量确定为上述至少一个行为特征向量。
在一些实施例中，可以采用短时傅里叶变换、滤波等处理方式，对上述声音数据进行预处理，以得到上述至少一个声音特征向量。
进一步地，当该行为数据包括该视频画面数据和声音数据时，从该视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括该目标动物，对该至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；以及对该声音数据进行预处理，得到至少一个声音特征向量。之后，终端将该至少一个肢体特征向量和该至少一个声音特征向量确定为上述至少一个行为特征向量。
在一些实施例中，可以采用目标跟踪算法，从该视频画面数据中获取至少一帧有效视频画面，譬如，该目标跟踪算法可以为KCF跟踪算法，在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧视频画面数据中预测区域是否包括目标动物，当包括时，获取下一帧视频画面数据为有效视频画面，并再用新检测结果去更新训练该目标检测器，以从该视频画面数据中获取至少一帧有效视频画面。此外，终端可以采用短时傅里叶变换、滤波等处理方式，对上述声音数据进行预处理，以得到上述至少一个声音特征向量。
步骤104：调用该目标识别模型，将该至少一个行为特征向量输入该目标识别模型中，输出该目标动物的情绪标签。
如前文所述，由于该目标识别模型是基于大量的行为特征向量样本和每个行为特征向量样本对应的情绪标签，通过训练得到，因此，终端将该至少一个行为特征向量输入该目标识别模型后，该目标识别模型即可确定对应的情绪标签。根据该情绪标签，即可获知该目标动物当前的情绪。
进一步地，查询所输出的情绪标签是否属于异常情绪标签，当该情绪标签属于该异常情绪标签时，进行异常报警提示。
为了能够根据动物的情绪，及时提醒用户动物的一些异常情绪，可以在该终端中预先存储异常情绪标签，该异常情绪标签可以预先进行设置，譬如，该异常情绪标签可以包括生气、饥饿、撕咬家具、上蹿下跳、爬阳台栏杆、呕吐、晕厥、长时间蜷缩不动等标签。如此，终端通过目标识别模型识别出目标动物的情绪标签后，可以查询该情绪标签是否属于异常情绪标签，一旦确定该情绪标签属于异常情绪标签，则提示用户该目标动物当前可能出现异常。
需要说明的是，当上述行为数据包括视频画面数据和声音数据时，假设目标肢体识别模型和目标声音识别模型识别出的情绪标签不同，则当两个情绪标签中存在至少一个情绪标签属于异常情绪标签时，终端执行异常报警提示操作。
在一些实施例中，终端可以采用播放报警提示音的方式进行异常报警提示。或者，该终端还可以采用开启闪关灯的方式进行异常报警提示，本发明实施例对此不做限定。
进一步地，在进行异常报警提示之后，还可以针对一些异常行为，采取相应的安抚措施，譬如，可以播放主人声音，再如，当确定该目标动物的情绪为饥饿时，在进行异常报警提示之后，还可以控制喂食设备自动添加食物等。
在本发明实施例中，获取待识别的目标动物的行为数据，根据该行为数据，确定与该目标动物的种类对应的目标识别模型。即，根据待识别的动物的种类不同，这里采用不同的目标识别模型，该目标识别模型用于根据动物的行为特征向量对该种类的动物的情绪进行识别。在识别过程中，对上述行为数据进行预处理，得到至少一个行为特征向量，之后，调用所确定的目标识别模型，并将所得到的该至少一个行为特征向量输入至该目标识别模型中，输出该目标动物的情绪标签。本发明实施例中，目标识别模型可以基于目标动物的任一种行为对应的行为特征向量，对该目标动物的情绪进行识别，解决了采用人工识别时由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。
图2是根据一示例性实施例示出的一种动物情绪的识别装置的结构示意图，该动物情绪的识别装置可以由软件、硬件或者两者的结合实现。该动物情绪的识别装置可以包括：
第一获取模块210，用于获取待识别的目标动物的行为数据，所述行为数据包括视频画面数据和/或声音数据；
确定模块220，用于根据所述行为数据，确定与所述目标动物的种类对应的目标识别模型，所述目标识别模型用于根据动物的行为特征向量对所述种类的动物的情绪进行识别；
预处理模块230，用于对所述行为数据进行预处理，得到至少一个行为特征向量，所述至少一个行为特征向量包括肢体特征向量和/或声音特征向量；
调用模块240，用于调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签。
可选地，所述确定模块220用于：
根据所述行为数据，确定所述目标动物所属的种类；
从存储的多个识别模型中，确定所述种类对应的识别模型，并将所确定的识别模型确定为所述目标识别模型。
可选地，所述确定模块220用于：
当所述行为数据包括视频画面数据和声音数据，且所述多个识别模型包括多个肢体识别模型和多个声音识别模型时，从所述多个识别模型中确定所述种类对应的目标肢体识别模型和目标声音识别模型；
将所述目标肢体识别模型和所述目标声音识别模型确定为所述种类对应的识别模型。
可选地，所述确定模块220用于：
当所述行为数据包括视频画面数据和声音数据时，基于所述视频画面数据，确定所述目标动物的面部特征和体型特征，以及基于所述声音数据，确定所述目标动物的声音特征；
根据所述面部特征、所述体型特征及所述声音特征，从预先存储的指定对应关系中确定对应的种类，所述指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；
将所确定的种类确定为所述目标动物所属的种类。
可选地，所述目标识别模型是根据所述多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，所述多个动物与所述目标动物所属的种类相同。
可选地，当所述行为数据包括所述视频画面数据和所述声音数据时，所述目标识别模型包括目标肢体识别模型和目标声音识别模型，所述目标肢体识别模型是基于所述多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的；所述目标声音识别模型是基于所述多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
可选地，所述预处理模块230用于：
当所述行为数据包括所述视频画面数据时，从所述视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括所述目标动物；
对所述至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；
将所述至少一个肢体特征向量确定为所述至少一个行为特征向量。
可选地，请参考图3，所述装置还包括：
查询模块250，用于查询所输出的情绪标签是否属于异常情绪标签；
报警模块260，用于当所述情绪标签属于所述异常情绪标签时，进行异常报警提示。
在本发明实施例中，获取待识别的目标动物的行为数据，根据该行为数据，确定与该目标动物的种类对应的目标识别模型。即，根据待识别的动物的种类不同，这里采用不同的目标识别模型，该目标识别模型用于根据动物的行为特征向量对该种类的动物的情绪进行识别。在识别过程中，对上述行为数据进行预处理，得到至少一个行为特征向量，之后，调用所确定的目标识别模型，并将所得到的该至少一个行为特征向量输入至该目标识别模型中，输出该目标动物的情绪标签。本发明实施例中，目标识别模型可以基于目标动物的任一种行为对应的行为特征向量，对该目标动物的情绪进行识别，解决了采用人工识别时由于人工经验有限导致动物一些不经常出现的行为可能无法识别的问题。
需要说明的是：上述实施例提供的动物情绪的识别装置在实现动物情绪的识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的动物情绪的识别装置与动物情绪的识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的动物情绪的识别方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图4中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图1所示实施例提供的动物情绪的识别方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1所示实施例提供的动物情绪的识别方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种动物情绪的识别方法，其特征在于，所述方法包括：
获取待识别的目标动物的行为数据，所述行为数据包括视频画面数据和/或声音数据；
根据所述行为数据，确定与所述目标动物的种类对应的目标识别模型，所述目标识别模型用于根据动物的行为特征向量对所述种类的动物的情绪进行识别；
对所述行为数据进行预处理，得到至少一个行为特征向量，所述至少一个行为特征向量包括肢体特征向量和/或声音特征向量；
调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签。
2.如权利要求1所述的方法，其特征在于，所述根据所述行为数据，确定目标识别模型，包括：
根据所述行为数据，确定所述目标动物所属的种类；
从存储的多个识别模型中，确定所述种类对应的识别模型，并将所确定的识别模型确定为所述目标识别模型。
3.如权利要求2所述的方法，其特征在于，所述从存储的多个识别模型中，确定所述种类对应的识别模型，包括：
当所述行为数据包括视频画面数据和声音数据，且所述多个识别模型包括多个肢体识别模型和多个声音识别模型时，从所述多个识别模型中确定所述种类对应的目标肢体识别模型和目标声音识别模型；
将所述目标肢体识别模型和所述目标声音识别模型确定为所述种类对应的识别模型。
4.如权利要求2所述的方法，其特征在于，所述根据所述行为数据，确定所述目标动物所属的种类，包括：
当所述行为数据包括视频画面数据和声音数据时，基于所述视频画面数据，确定所述目标动物的面部特征和体型特征，以及基于所述声音数据，确定所述目标动物的声音特征；
根据所述面部特征、所述体型特征及所述声音特征，从预先存储的指定对应关系中确定对应的种类，所述指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；
将所确定的种类确定为所述目标动物所属的种类。
5.如权利要求1所述的方法，其特征在于，所述目标识别模型是根据所述多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，所述多个动物与所述目标动物所属的种类相同。
6.如权利要求5所述的方法，其特征在于，当所述行为数据包括所述视频画面数据和所述声音数据时，所述目标识别模型包括目标肢体识别模型和目标声音识别模型，所述目标肢体识别模型是基于所述多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的；所述目标声音识别模型是基于所述多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
7.如权利要求1所述的方法，其特征在于，所述对所述行为数据进行预处理，得到至少一个行为特征向量，包括：
当所述行为数据包括所述视频画面数据时，从所述视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括所述目标动物；
对所述至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；
将所述至少一个肢体特征向量确定为所述至少一个行为特征向量。
8.如权利要求1所述的方法，其特征在于，所述调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签之后，还包括：
查询所输出的情绪标签是否属于异常情绪标签；
当所述情绪标签属于所述异常情绪标签时，进行异常报警提示。
9.一种动物情绪的识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取待识别的目标动物的行为数据，所述行为数据包括视频画面数据和/或声音数据；
确定模块，用于根据所述行为数据，确定与所述目标动物的种类对应的目标识别模型，所述目标识别模型用于根据动物的行为特征向量对所述种类的动物的情绪进行识别；
预处理模块，用于对所述行为数据进行预处理，得到至少一个行为特征向量，所述至少一个行为特征向量包括肢体特征向量和/或声音特征向量；
调用模块，用于调用所述目标识别模型，将所述至少一个行为特征向量输入所述目标识别模型中，输出所述目标动物的情绪标签。
10.如权利要求9所述的装置，其特征在于，所述确定模块用于：
根据所述行为数据，确定所述目标动物所属的种类；
从存储的多个识别模型中，确定所述种类对应的识别模型，并将所确定的识别模型确定为所述目标识别模型。
11.如权利要求10所述的装置，其特征在于，所述确定模块用于：
当所述行为数据包括视频画面数据和声音数据，且所述多个识别模型包括多个肢体识别模型和多个声音识别模型时，从所述多个识别模型中确定所述种类对应的目标肢体识别模型和目标声音识别模型；
将所述目标肢体识别模型和所述目标声音识别模型确定为所述种类对应的识别模型。
12.如权利要求10所述的装置，其特征在于，所述确定模块用于：
当所述行为数据包括视频画面数据和声音数据时，基于所述视频画面数据，确定所述目标动物的面部特征和体型特征，以及基于所述声音数据，确定所述目标动物的声音特征；
根据所述面部特征、所述体型特征及所述声音特征，从预先存储的指定对应关系中确定对应的种类，所述指定对应关系用于存储面部特征、体型特征和声音特征与种类之间的对应关系；
将所确定的种类确定为所述目标动物所属的种类。
13.如权利要求9所述的装置，其特征在于，所述目标识别模型是根据所述多个动物的行为特征向量样本和每个行为特征向量样本对应的情绪标签，对待训练的识别模型进行训练得到的，所述多个动物与所述目标动物所属的种类相同。
14.如权利要求13所述的装置，其特征在于，当所述行为数据包括所述视频画面数据和所述声音数据时，所述目标识别模型包括目标肢体识别模型和目标声音识别模型，所述目标肢体识别模型是基于所述多个动物的肢体特征向量样本和每个肢体特征向量样本对应的情绪标签，对待训练的肢体识别模型进行训练得到的；所述目标声音识别模型是基于所述多个动物的声音特征向量样本和每个声音特征向量样本对应的情绪标签，对待训练的声音识别模型进行训练得到的。
15.如权利要求9所述的装置，其特征在于，所述预处理模块用于：
当所述行为数据包括所述视频画面数据时，从所述视频画面数据中获取至少一帧有效视频画面，每帧有效视频画面中均包括所述目标动物；
对所述至少一帧有效视频画面中的每帧有效视频画面进行特征提取，得到至少一个肢体特征向量；
将所述至少一个肢体特征向量确定为所述至少一个行为特征向量。
16.如权利要求9所述的装置，其特征在于，所述装置还包括：
查询模块，用于查询所输出的情绪标签是否属于异常情绪标签；
报警模块，用于当所述情绪标签属于所述异常情绪标签时，进行异常报警提示。
17.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8所述的任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810894999.7A CN110826358B (zh) | 2018-08-08 | 2018-08-08 | 动物情绪的识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810894999.7A CN110826358B (zh) | 2018-08-08 | 2018-08-08 | 动物情绪的识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110826358A true CN110826358A (zh) | 2020-02-21 |
| CN110826358B CN110826358B (zh) | 2022-12-06 |
Family
ID=69535255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810894999.7A Active CN110826358B (zh) | 2018-08-08 | 2018-08-08 | 动物情绪的识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826358B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110931024A (zh) * | 2020-02-18 | 2020-03-27 | 成都大熊猫繁育研究基地 | 基于音频的圈养大熊猫自然交配结果的预测方法及系统 |
| CN111191053A (zh) * | 2020-02-28 | 2020-05-22 | 朱慧宁 | 一种用于动物沟通培训服务的系统及实现方法 |
| CN111951812A (zh) * | 2020-08-26 | 2020-11-17 | 杭州情咖网络技术有限公司 | 一种动物情感识别方法、装置及电子设备 |
| CN112017758A (zh) * | 2020-09-15 | 2020-12-01 | 龙马智芯（珠海横琴）科技有限公司 | 情感识别方法、装置、情感识别系统以及分析决策终端 |
| CN112562260A (zh) * | 2020-12-16 | 2021-03-26 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112633190A (zh) * | 2020-12-28 | 2021-04-09 | 南昌工程学院 | 一种深度学习方法 |
| CN112866370A (zh) * | 2020-09-24 | 2021-05-28 | 汉桑（南京）科技有限公司 | 一种基于宠物球的宠物互动方法、系统、装置及存储介质 |
| CN113349105A (zh) * | 2021-06-01 | 2021-09-07 | 深圳市天和荣科技有限公司 | 智能喂鸟方法、电子设备、喂鸟器和存储介质 |
| CN113822181A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN112016527B (zh) * | 2020-10-19 | 2022-02-01 | 成都大熊猫繁育研究基地 | 基于深度学习的大熊猫行为识别方法、系统、终端及介质 |
| CN116259072A (zh) * | 2023-01-10 | 2023-06-13 | 华瑞研能科技(深圳)有限公司 | 一种动物识别方法、装置、设备以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1256937A2 (en) * | 2001-05-11 | 2002-11-13 | Sony France S.A. | Emotion recognition method and device |
| WO2003015076A1 (fr) * | 2001-08-06 | 2003-02-20 | Index Corporation | Dispositif et procede d'evaluation des sentiments d'un chien a partir d'une analyse caracterielle des cris de l'animal |
| CN106340309A (zh) * | 2016-08-23 | 2017-01-18 | 南京大空翼信息技术有限公司 | 一种基于深度学习的狗叫情感识别方法及装置 |
| CN106531173A (zh) * | 2016-11-11 | 2017-03-22 | 努比亚技术有限公司 | 一种基于终端的动物数据处理方法和终端 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| US20180136615A1 (en) * | 2016-11-15 | 2018-05-17 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
| CN108074224A (zh) * | 2016-11-09 | 2018-05-25 | 环境保护部环境规划院 | 一种陆生哺乳动物与鸟类的监测方法及其监测装置 |
-
2018
- 2018-08-08 CN CN201810894999.7A patent/CN110826358B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1256937A2 (en) * | 2001-05-11 | 2002-11-13 | Sony France S.A. | Emotion recognition method and device |
| WO2003015076A1 (fr) * | 2001-08-06 | 2003-02-20 | Index Corporation | Dispositif et procede d'evaluation des sentiments d'un chien a partir d'une analyse caracterielle des cris de l'animal |
| CN106340309A (zh) * | 2016-08-23 | 2017-01-18 | 南京大空翼信息技术有限公司 | 一种基于深度学习的狗叫情感识别方法及装置 |
| CN108074224A (zh) * | 2016-11-09 | 2018-05-25 | 环境保护部环境规划院 | 一种陆生哺乳动物与鸟类的监测方法及其监测装置 |
| CN106531173A (zh) * | 2016-11-11 | 2017-03-22 | 努比亚技术有限公司 | 一种基于终端的动物数据处理方法和终端 |
| US20180136615A1 (en) * | 2016-11-15 | 2018-05-17 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
Non-Patent Citations (3)
| Title |
|---|
| R. KALAISELVI ET AL.: "Automatic emotion recognition in video", 《2014 INTERNATIONAL CONFERENCE ON GREEN COMPUTING COMMUNICATION AND ELECTRICAL ENGINEERING (ICGCCEE)》 * |
| 唐泽: "《图解宠物常识大百科》", 31 January 2014, 企业管理出版社 * |
| 陆明洲 等: "畜牧信息智能监测研究进展", 《中国畜牧兽医学会信息技术分会第十二届学术研讨会论文集》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110931024A (zh) * | 2020-02-18 | 2020-03-27 | 成都大熊猫繁育研究基地 | 基于音频的圈养大熊猫自然交配结果的预测方法及系统 |
| CN111191053A (zh) * | 2020-02-28 | 2020-05-22 | 朱慧宁 | 一种用于动物沟通培训服务的系统及实现方法 |
| CN111951812A (zh) * | 2020-08-26 | 2020-11-17 | 杭州情咖网络技术有限公司 | 一种动物情感识别方法、装置及电子设备 |
| CN112017758B (zh) * | 2020-09-15 | 2021-04-30 | 龙马智芯（珠海横琴）科技有限公司 | 情感识别方法、装置、情感识别系统以及分析决策终端 |
| CN112017758A (zh) * | 2020-09-15 | 2020-12-01 | 龙马智芯（珠海横琴）科技有限公司 | 情感识别方法、装置、情感识别系统以及分析决策终端 |
| CN112866370A (zh) * | 2020-09-24 | 2021-05-28 | 汉桑（南京）科技有限公司 | 一种基于宠物球的宠物互动方法、系统、装置及存储介质 |
| CN112016527B (zh) * | 2020-10-19 | 2022-02-01 | 成都大熊猫繁育研究基地 | 基于深度学习的大熊猫行为识别方法、系统、终端及介质 |
| CN112562260A (zh) * | 2020-12-16 | 2021-03-26 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112562260B (zh) * | 2020-12-16 | 2022-08-09 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112633190A (zh) * | 2020-12-28 | 2021-04-09 | 南昌工程学院 | 一种深度学习方法 |
| CN113349105A (zh) * | 2021-06-01 | 2021-09-07 | 深圳市天和荣科技有限公司 | 智能喂鸟方法、电子设备、喂鸟器和存储介质 |
| CN113822181A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN113822181B (zh) * | 2021-09-08 | 2024-05-24 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN116259072A (zh) * | 2023-01-10 | 2023-06-13 | 华瑞研能科技(深圳)有限公司 | 一种动物识别方法、装置、设备以及存储介质 |
| CN116259072B (zh) * | 2023-01-10 | 2024-05-10 | 华瑞研能科技(深圳)有限公司 | 一种动物识别方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110826358B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826358B (zh) | 动物情绪的识别方法、装置及存储介质 | |
| ES2964533T3 (es) | Método de control de voz y dispositivo electrónico | |
| WO2020211701A1 (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
| CN109379643B (zh) | 视频合成方法、装置、终端及存储介质 | |
| CN110572711B (zh) | 视频封面生成方法、装置、计算机设备及存储介质 | |
| CN111382624A (zh) | 动作识别方法、装置、设备及可读存储介质 | |
| CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
| CN110933468A (zh) | 播放方法、装置、电子设备及介质 | |
| CN111105788B (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
| CN111339938A (zh) | 信息交互方法、装置、设备及存储介质 | |
| CN108806670B (zh) | 语音识别方法、装置及存储介质 | |
| CN113918767A (zh) | 视频片段定位方法、装置、设备及存储介质 | |
| CN111613213A (zh) | 音频分类的方法、装置、设备以及存储介质 | |
| CN109547847B (zh) | 添加视频信息的方法、装置及计算机可读存储介质 | |
| CN110675473A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN109829067B (zh) | 音频数据处理方法、装置、电子设备及存储介质 | |
| CN111353513B (zh) | 一种目标人群筛选的方法、装置、终端和存储介质 | |
| CN111341317A (zh) | 唤醒音频数据的评价方法、装置、电子设备及介质 | |
| CN111611414A (zh) | 车辆检索方法、装置及存储介质 | |
| CN115437601A (zh) | 图像排序方法、电子设备、程序产品及介质 | |
| CN115206305A (zh) | 语义文本的生成方法、装置、电子设备及存储介质 | |
| CN115035187A (zh) | 声源方向确定方法、装置、终端、存储介质及产品 | |
| CN113706807B (zh) | 发出报警信息的方法、装置、设备及存储介质 | |
| CN109671425B (zh) | 音频分类方法、装置及存储介质 | |
| CN114360494A (zh) | 韵律标注方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |