CN114821815B - 一种宠物在线交互系统运行方法、装置、设备及介质 - Google Patents

一种宠物在线交互系统运行方法、装置、设备及介质 Download PDF

Info

Publication number
CN114821815B
CN114821815B CN202210732719.9A CN202210732719A CN114821815B CN 114821815 B CN114821815 B CN 114821815B CN 202210732719 A CN202210732719 A CN 202210732719A CN 114821815 B CN114821815 B CN 114821815B
Authority
CN
China
Prior art keywords
pet
interaction
target
interactive
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210732719.9A
Other languages
English (en)
Other versions
CN114821815A (zh
Inventor
赵刚强
金伟
应红力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Mirui Technology Co ltd
Original Assignee
Hangzhou Mirui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Mirui Technology Co ltd filed Critical Hangzhou Mirui Technology Co ltd
Priority to CN202210732719.9A priority Critical patent/CN114821815B/zh
Publication of CN114821815A publication Critical patent/CN114821815A/zh
Application granted granted Critical
Publication of CN114821815B publication Critical patent/CN114821815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Acoustics & Sound (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本申请公开了一种宠物在线交互系统运行方法、装置、设备及介质，涉及远程交互领域，该方法应用于云端服务器，包括：获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测实时音视频数据对应的视频画面中的目标宠物是否满足预设在线交互条件；若监测到目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；建立目标宠物的设备端与第一交互宠物的设备端之间的第一通信链路，以便目标宠物与第一交互宠物进行在线交互。本方法能够通过分析宠物声音与动作为宠物推荐交互好友，使宠物和宠物之间能够进行线上交互，解决无饲主陪伴时宠物的孤独问题，丰富宠物的数字生活。

Description

一种宠物在线交互系统运行方法、装置、设备及介质
技术领域
本发明涉及远程交互领域，特别涉及一种宠物在线交互系统运行方法、装置、设备及介质。
背景技术
随着生活水平提高，饲养宠物的人越来越多。由于很多饲主需要外出工作，宠物有很长时间只能孤单的呆在家里。对于居住在城市公寓里面的宠物，在没有主人陪伴时甚至很难有机会走出房门。长此以往，宠物的身心健康都可能受到影响。
基于现有的网络互联技术可以支持饲主和宠物之间的远程互动，一定程度上缓解了宠物的孤独问题，但是饲主往往不能全天候的陪伴宠物。还有一些新型的宠物喂食设备可供饲主对宠物进行食物奖励，但由于现在的宠物已经脱离了食物匮乏的阶段，且宠物每天花在食物上的时间是有限的，有大量的时间是无法利用食物来对宠物进行奖励的，所以在现有的方法中并没有能够缓解宠物孤独的方法。
由上可见，在饲养宠物的过程中，如何避免出现由于长时间没有饲主和其它宠物陪伴而导致孤独的情况是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种宠物在线交互系统运行方法、装置、设备及介质，能够通过分析宠物声音与动作为宠物推荐交互好友，使宠物和宠物之间能持续不断的进行线上交互，解决无饲主陪伴时宠物的孤独问题，丰富宠物的数字生活。其具体方案如下：
第一方面，本申请公开了一种宠物在线交互系统运行方法，包括：
获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；
若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；
建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
可选的，所述利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件，包括：
利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面；
若监测到所述视频画面中目标宠物的完整身体在视野内，或，所述视频画面中所述目标宠物的超过半个身体在视野内且所述目标宠物的头部朝向设备端的本地视频采集器，则判定所述目标宠物满足预设在线交互条件。
可选的，所述的宠物在线交互系统运行方法，还包括：
采集宠物交互时的语音样本，并提取每个所述语音样本中的梅尔倒谱系数特征，然后基于所述每个梅尔倒谱系数特征生成对应的语音特征向量，然后利用预设的聚类算法对所述全部的语音特征向量进行聚类，以生成预设数量的语音聚类向量，并将所述每一个所述语音聚类向量确定为一个语音单词，并基于全部的所述语音单词生成语音字典；
采集宠物交互时的视频信息，并提取每个视频中的光流信息和视频中每帧图像的色彩信息，然后将所述光流信息和所述色彩信息输入至预设深度神经网络中，并获取所述深度神经网络输出的动作特征向量，并利用预设的聚类算法对所述动作特征向量进行聚类，以生成预设数量的动作聚类向量，然后将所述每一个所述动作聚类向量确定为一个动作单词，并基于全部的所述动作单词生成动作字典。
可选的，所述建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互之后，还包括：
实时记录所述在线交互过程中所述目标宠物与所述第一交互宠物的交互动作信息与交互语音信息，以分别生成所述目标宠物与所述第一交互宠物的动作单词集合与语音单词集合；
基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量。
可选的，所述建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互之后，还包括：
若监测到所述目标宠物与所述第一交互宠物中的任一宠物离开视频视野已满足预设时间，则切断所述第一通信链路，并基于所述交互过程的交互质量对所述预设交互质量评价函数进行更新，然后将交互过程中生成的所述动作单词集合与语音单词集合存放至预设交互数据库中。
可选的，所述基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价方法确定所述交互过程的交互质量之后，还包括：
若当前交互质量不满足预设交互质量条件，则从当前在线且为空闲状态的宠物中确定第二交互宠物；
建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，以便所述目标宠物与所述第二交互宠物进行在线交互。
可选的，所述获取目标宠物的设备端的主机发送的实时音视频数据，包括：
分别获取目标宠物的多个设备端的设备主机发送的实时音视频数据；
相应的，所述监测到所述目标宠物满足预设在线交互条件之后，还包括：
从所述目标宠物的满足预设交互条件的设备端中确定主交互设备，并将所述目标宠物的设备端中除所述主交互设备以外的其它设备置为待机状态。
可选的，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路之前，还包括：
确定所述目标宠物的设备端状态；
相应的，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，包括：
当所述目标宠物为单设备状态时，建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，并将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域；
当所述目标宠物为多设备状态时，将所述目标宠物的待机状态设备中与当前主交互设备距离最近的设备确定为备用交互设备，并建立所述目标宠物的备用交互设备与所述第二交互宠物的设备端之间的第二通信链路，然后将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中。
可选的，所述将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域之后，还包括：
监测当前视频画面中所述目标宠物的视线；
当监测到所述目标宠物的视线转移到所述视频输出设备中的第二区域满足预设停留时间时，切断所述第一通信链路，并将所述第二交互宠物的音视频信息输出至音视频输出设备中。
可选的，所述将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中之后，还包括：
监测当前视频画面中所述目标宠物的视线；
当监测到所述目标宠物的视线转移到所述备用交互设备的视频输出设备中满足预设停留时间时，切断所述第一通信链路，并将所述备用交互设备确定为当前主交互设备。
可选的，所述利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物，包括：
确定所述目标宠物的语音单词集合与动作单词集合，并从当前在线且为空闲状态的宠物中确定目标交互宠物；
利用所述语音单词集合和动作单词集合与预设交互质量评价函数确定所述目标宠物与所述目标交互宠物的推荐评分；
将所述推荐评分最高的目标交互宠物确定为第一交互宠物。
第二方面，本申请公开了一种宠物在线交互系统运行装置，包括：
画面监测模块，用于获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；
交互宠物确定模块，用于若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；
在线交互模块，用于建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的宠物在线交互系统运行方法。
第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的宠物在线交互系统运行方法的步骤。
本申请先获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。这样一来，通过对目标宠物的设备端记录的音视频数据中的视频画面进行监测，便可在目标宠物满足预设在线交互条件时，为所述目标宠物推荐好友作为第一交互宠物，在建立所述目标宠物与所述第一交互宠物的通信链路后，便可使所述目标宠物与所述第一交互宠物进行宠物与宠物之间的在线交互。本方法无需宠物手动操作便可自动识别宠物的交互意图，并为其匹配交互好友。在饲主不能全天候的陪伴宠物的情况下，通过宠物与宠物间的交互减少宠物独自在家时的孤独感，丰富了宠物的数字化生活，增强宠物的幸福感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种宠物在线交互系统运行方法流程图；
图2为本申请提供的一种宠物的本地交互装置示意图；
图3为本申请提供的一种具体的宠物在线交互系统运行方法流程图；
图4为本申请提出的一种宠物与好友进行在线交互的过程示意图；
图5为本申请提出的一种模块关系图；
图6为本申请提供的一种交互宠物切换方法流程图；
图7为本申请提供的一种单装置软切换示意图；
图8为本申请提供的一种宠物在线交互示意图；
图9为本申请提供的一种具体的宠物在线交互系统运行方法流程图；
图10为本申请提供的一种宠物在线交互系统运行装置结构示意图；
图11为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，支持饲主和宠物之间的远程互动，一定程度上缓解了宠物的孤独问题，但是饲主往往不能全天候的陪伴宠物。还有一些新型的宠物喂食设备可供饲主对宠物进行食物奖励，但宠物每天花在食物上的时间是有限的，有大量的时间是无法利用食物来对宠物进行奖励的，所以在现有的方法中无法缓解饲主外出时宠物孤独的问题。在本申请中提出一种基于声音和动作分析的宠物与宠物在线交互系统的运行方法，能够通过分析宠物声音与动作为宠物推荐交互好友，使宠物和宠物之间能持续不断的进行线上交互，解决无饲主陪伴时宠物的孤独问题，丰富宠物的数字生活，增强宠物的幸福感。
本发明实施例公开了一种宠物在线交互系统运行方法，应用于云端服务器，参见图1所述，该方法包括：
步骤S11：获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件。
本实施例中提出的宠物在线交互系统运行方法分为两部分：宠物的本地交互装置和云端服务器，其中本地交互装置部署在宠物可以接触的地方，云端服务器部署在云端。如图2所示为一种宠物的设备端的本地交互装置示意图，所述本地交互装置包括：
（1）音频采集麦克风：负责采集环境中的音频信息，可以是单麦克风，也可以是麦克风阵列。
（2）视频采集摄像机：负责采集设备视野中的视频信息，可以是普通的彩色摄像机，也可以是带彩色信息的深度相机或者立体相机。
（3）音频播放扬声器：负责播放在线宠物好友传输过来的音频信息，可以是单个扬声器，也可以是多个扬声器。
（4）视频显示设备：负责显示在线宠物好友传输过来的视频信息，可以根据不同宠物的视觉特性调整显示的亮度、色彩等。
（5）设备主机：负责本地装置的运行，包括设备联网、音视频设备接入、音视频输出等所有相关功能。
可以理解的是，本实施例中所述实时音视频数据为所述目标宠物的设备端的设备主机发送的，且所述实时音视频数据为所述音频采集麦克风与所述视频采集摄像机实时采集到的音频信息与视频信息的组合数据。
本实施例中，所述利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件，可以包括：利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面；若监测到所述视频画面中目标宠物的完整身体在视野内，或，所述视频画面中所述目标宠物的超过半个身体在视野内且所述目标宠物的头部朝向设备端的本地视频采集器，则判定所述目标宠物满足预设在线交互条件。
本实施例中所述云端服务器在接收到所述实时音视频数据后，会利用预设的宠物监测算法对视频画面进行实时监测，具体地，可以检测目标宠物是否在视野内。有两种情况可以判定宠物在视野内：宠物的完整身体在摄像机视野内；宠物超过半个身体在视野内并且其头部朝向摄像机。其它所有情况都判定宠物离开了视野。
步骤S12：若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物。
可以理解的是，当监测到宠物在视野内时，则表明宠物满足预设在线交互条件，此时会利用预设宠物推荐方法为宠物推荐好友。具体地，会从当前在线且为空闲状态的宠物中确定第一交互宠物。
本实施例中，所述的宠物在线交互系统运行方法，还可以包括：采集宠物交互时的语音样本，并提取每个所述语音样本中的梅尔倒谱系数特征，然后基于所述每个梅尔倒谱系数特征生成对应的语音特征向量，然后利用预设的聚类算法对所述全部的语音特征向量进行聚类，以生成预设数量的语音聚类向量，并将所述每一个所述语音聚类向量确定为一个语音单词，并基于全部的所述语音单词生成语音字典；采集宠物交互时的视频信息，并提取每个视频中的光流信息和视频中每帧图像的色彩信息，然后将所述光流信息和所述色彩信息输入至预设深度神经网络中，并获取所述深度神经网络输出的动作特征向量，并利用预设的聚类算法对所述动作特征向量进行聚类，以生成预设数量的动作聚类向量，然后将所述每一个所述动作聚类向量确定为一个动作单词，并基于全部的所述动作单词生成动作字典。
本实施例中，在针对语音信息构建语音字典时，会采用无监督机器学习技术把大量的宠物语音信息聚类成多个宠物语音单词，每个语音单词对应宠物经常发出的某种独特的声音，比如宠物狗的“汪汪”声音，所有的宠物语音单词组成宠物语音字典。宠物语音字典的生成有如下步骤：收集大量宠物和宠物互动时的语音样本，收集的语音样本应覆盖不同的互动场景，既可以是同一种类宠物之间互动时的语音，也可以是不同种类宠物互动时的语音。然后提取每个语音样本的梅尔频率倒谱系数（即Mel-scale Frequency CepstralCoefficients，简称MFCCs）特征，每个MFCCs特征可以看作是维度固定的一个特征向量。接着对大量的MFCCs特征向量使用K均值聚类算法（即k-means clustering algorithm），得到一定数量（例如1024个）的均值向量，每个均值向量称为一个宠物语音单词，最后利用所有的宠物语音单词组成宠物语音字典。
本实施例中所述预设的语音特征包括但不限于所述梅尔频率倒谱系数特征，亦可以为深度神经网络语音特征或其它语音特征。
本实施例中，在针对宠物在线交互时丰富的行为动作构建动作字典时，会采用无监督学习技术把宠物视频动作信息聚类成多个宠物动作单词，所有宠物动作单词组成宠物动作字典。宠物动作字典的生成有如下步骤：收集大量宠物和宠物互动时的视频信息。收集的视频信息应覆盖不同的宠物互动行为，即可以是同一种类宠物互动时的视频信息，也可以是不同种类宠物互动时的视频信息。针对每个视频，首先提取其光流信息，光流信息描述了宠物在每帧图像的运动情况，其次提取每帧图像的颜色信息，然后把光流信息和颜色信息输入一个深度神经网络中，最后把该神经网络的输出看作一个固定维度的运动特征向量。然后对大量的运动特征向量使用K均值聚类算法，得到一定数量（比如1024个）的均值向量，每个均值向量称为一个宠物视频动作单词，最后利用所有的宠物视频动作单词组成宠物视频动作字典。
本实施例中所述预设的宠物运动信息包括但不限于所述光流信息，亦可以为帧差信息或其它可描述运动的信息。本实施例中所述预设的聚类算法包括但不限于所述K均值聚类算法。
本实施例中，所述利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物，包括：确定所述目标宠物的语音单词集合与动作单词集合，并从当前在线且为空闲状态的宠物中确定目标交互宠物；利用所述语音单词集合和动作单词集合与预设交互质量评价函数确定所述目标宠物与所述目标交互宠物的推荐评分；将所述推荐评分最高的目标交互宠物确定为第一交互宠物。
本实施例中会基于目标宠物的所述语音单词集合与动作单词集合进行好友推荐，例如本地宠物A有语音单词集合
Figure DEST_PATH_IMAGE001
和动作单词集合
Figure 749569DEST_PATH_IMAGE002
，设确定系统中两只目标交互宠物B和C处在空闲状态，它们的语音单词和动作单词集合分别为
Figure DEST_PATH_IMAGE003
、
Figure 994606DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
、
Figure 341054DEST_PATH_IMAGE006
。那么对宠物A来说，推荐宠物B为好友的得分
Figure DEST_PATH_IMAGE007
计算如下：
Figure 798580DEST_PATH_IMAGE008
其中
Figure DEST_PATH_IMAGE009
和
Figure 675270DEST_PATH_IMAGE010
为交互质量评价函数，
Figure DEST_PATH_IMAGE011
为一个惩罚值，用来抑制宠物A和B之间在同一天内过于频繁的相互推荐，得分越高则推荐的可能性越大。使用同样的方法也可以计算出A和C之间的推荐得分
Figure 560049DEST_PATH_IMAGE012
，然后通过比较
Figure 561503DEST_PATH_IMAGE007
和
Figure 855343DEST_PATH_IMAGE012
两个值的大小就可以确定推荐B和C中哪一个为宠物A的好友。
另外，如果宠物在线交互数据库中没有宠物A的语音和动作记录，则系统会随机选择一个在线的宠物作为A的好友。
步骤S13：建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
本实施例在确定第一交互宠物后，就会建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，所述目标宠物与所述第一交互宠物便可以开始在线交互。
需要指出的是，本方法可以对宠物在线交互情况进行统计，还可以在与饲主的设备端进行连接后，当云端获取到饲主发送的查询请求时，会将目标宠物相应的信息发送至饲主的设备端，以便饲主可以对目标宠物的状态进行实时查询，还可以查询宠物在线好友排名等信息。饲主也可以通过设备端对宠物的相关信息进行设置。
本实施例中，先获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。这样一来，通过对目标宠物的设备端记录的音视频数据中的视频画面进行监测，便可在目标宠物满足预设在线交互条件时，为所述目标宠物推荐好友作为第一交互宠物，在建立所述目标宠物与所述第一交互宠物的通信链路后，便可使所述目标宠物与所述第一交互宠物进行宠物与宠物之间的在线交互。本方法无需宠物手动操作便可自动识别宠物的交互意图，并为其匹配交互好友。通过对宠物在线交互质量进行实时评价，一方面可以方便后续的在线宠物好友精准推荐，另一方面也可以把宠物在线交互的情况及时汇报给宠物饲主。在饲主不能全天候的陪伴宠物的情况下，通过宠物与宠物间的交互减少宠物独自在家时的孤独感，丰富了宠物的数字化生活，增强宠物的幸福感。
图3为本申请实施例提供的一种具体的宠物在线交互系统运行方法流程图。参见图3所示，该方法包括：
步骤S21：获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件。
其中，关于步骤S21的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S22：若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物。
其中，关于步骤S22的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S23：建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
其中，关于步骤S23的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S24：实时记录所述在线交互过程中所述目标宠物与所述第一交互宠物的交互动作信息与交互语音信息，以分别生成所述目标宠物与所述第一交互宠物的动作单词集合与语音单词集合。
本实施例中，在目标宠物A与第一交互宠物B进行在线交互的过程中，会实时记录所述在线交互过程中目标宠物A与第一交互宠物B的交互语音信息与交互动作信息，然后提取宠物A和B交互语音信息的梅尔倒谱系数MFCC特征，使用语音特征在宠物语音字典里面进行查找，以生成语音单词集合
Figure DEST_PATH_IMAGE013
和
Figure 727484DEST_PATH_IMAGE014
；提取宠物A和B的交互动作信息的运动特征，对宠物A和B的运动特征在宠物视频动作字典里面进行查找，获得宠物A和B的动作单词集合
Figure 314324DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE015
。
步骤S25：基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量。
本实施例中，会按照预设评价频率对实时生成的动作单词集合与语音单词集合进行交互质量评价，在一些具体的实施方式中，可以使用
Figure 396549DEST_PATH_IMAGE016
对交互质量进行打分评价，其中
Figure 602402DEST_PATH_IMAGE009
函数使用宠物交互过程中的语音信息进行评价，
Figure 719263DEST_PATH_IMAGE010
函数使用交互过程中的视频动作信息进行评价，最终的交互质量得分
Figure DEST_PATH_IMAGE017
计算如下：
Figure 352370DEST_PATH_IMAGE018
;
其中
Figure 951585DEST_PATH_IMAGE011
是宠物A和B本次互动的时间得分，A和B互动时间越长
Figure 695550DEST_PATH_IMAGE011
值越大，
Figure 73442DEST_PATH_IMAGE017
值越大则A和B互动质量越好，可以看出交互时间的长短对交互质量评价有一定的影响。
步骤S26：若监测到所述目标宠物与所述第一交互宠物中的任一宠物离开视频视野已满足预设时间，则切断所述第一通信链路，并基于所述交互过程的交互质量对所述预设交互质量评价函数进行更新，然后将交互过程中生成的所述动作单词集合与语音单词集合存放至预设交互数据库中。
本实施例中，在交互过程中，若所述目标宠物与所述第一交互宠物中的任一宠物离开视频视野已满足预设时间，则会认为本次交互结束，此时会在切断第一通信链路后，基于交互过程的交互质量对所述预设交互质量评价函数
Figure DEST_PATH_IMAGE019
、
Figure 736504DEST_PATH_IMAGE010
进行更新。具体来说，当宠物A和B此次在线交互的时间越长，则语义单词对集合{（
Figure 199847DEST_PATH_IMAGE001
，
Figure 872136DEST_PATH_IMAGE014
）}和动作单词对集合{（
Figure 104535DEST_PATH_IMAGE002
，
Figure 469657DEST_PATH_IMAGE015
）}对应的交互质量得分越高。
另外，在交互结束后，会将本次交互过程中记录的语音单词集合
Figure 154716DEST_PATH_IMAGE001
和
Figure 771642DEST_PATH_IMAGE014
、动作单词集合
Figure 219066DEST_PATH_IMAGE002
和
Figure 896035DEST_PATH_IMAGE015
、在线交互的质量评价得分、在线交互的时间等数据记录在宠物在线交互数据库中，方便后续的宠物在线交互质量评价和在线宠物好友推荐。系统中记录的A和B的语音和动作单词可能包含了宠物A和B在交互过程中对彼此的称呼或者它们之间特有的语音或动作，当宠物A空闲时，系统可以根据宠物A发出的与宠物B相关的特色语音或者视频动作优先把宠物B推荐为A的好友。
图4为本实施例提出的一种宠物A与好友进行在线交互的过程示意图，图中当装置启动后，会实时监测宠物A是否在视野内，当宠物在视野内时，会基于预设交互数据库中宠物A的语音和动作集合为宠物A推荐好友，以便宠物A与好友开始在线交互，并实时采集宠物A与好友在线交互的语音信息和动作信息。当宠物A与好友互动结束时，还会对宠物A和好友本次在线交互的交互质量进行一次评价，然后将宠物A和好友本次交互生成的语音和动作集合更新到预设交互数据库中。图5为本实施例提出的一种模块关系图，图中可以根据宠物语音和动作信息生成宠物语音和动作字典；利用宠物在线交互数据库，并结合所述宠物语音和动作字典便可完成宠物在线交互质量评价和宠物在线好友推荐。也就是说，本实施例中宠物语音和动作字典是后续进行宠物在线交互质量评价和宠物在线好友推荐的基础。
本实施例中，通过实时记录的宠物在线交互过程中的交互动作信息与交互语音信息生成动作单词集合与语音单词集合，并按照预设评价频率对实时生成的动作单词集合与语音单词集合进行交互质量评价，并会将所述动作单词集合与语音单词集合与所述交互质量评价的结果存放至预设交互数据库中。且本实施例中提出在每次交互结束后，都会对预设交互质量评价函数进行更新，在后续为目标宠物推荐好友时，会基于所述预设交互数据库中记录的所述预设交互质量评价函数进行好友推荐，大大提升了好友推荐的准确性与适用性。
图6为本申请实施例提供的一种交互宠物切换方法流程图。参见图6所示，该方法包括：
步骤S31：若当前交互质量不满足预设交互质量条件，则从当前在线且为空闲状态的宠物中确定第二交互宠物。
本实施例中，在所述目标宠物与所述第一交互宠物进行在线交互的过程中，会按照预设频率对交互质量进行评价，当宠物在线交互过程中，可能因为交互时间过长或其它原因导致它们之间的交互质量较差，这时会为目标宠物推荐第二交互宠物。具体地，可以在当前交互质量的评分不满足预设阈值时，从当前在线且为空闲状态的宠物中确定第二交互宠物。
步骤S32：建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，以便所述目标宠物与所述第二交互宠物进行在线交互。
本实施例中，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路之前，还可以包括：确定所述目标宠物的设备端状态；相应的，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，包括：当所述目标宠物为单设备状态时，建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，并将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域；当所述目标宠物为多设备状态时，将所述目标宠物的待机状态设备中与当前主交互设备距离最近的设备确定为备用交互设备，并建立所述目标宠物的备用交互设备与所述第二交互宠物的设备端之间的第二通信链路，然后将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中。
本申请中，目标宠物的设备可能只有一个，也可能有多个。
当目标宠物的设备只有一个，即目标宠物为单设备状态时，则使用单装置软切换的方式实现交互宠物的切换。具体地，可以直接建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，并在所述目标宠物的视频输出设备中创建一个第二区域，并将第二交互宠物的实时视频信息输出至所述第二区域，如图7中的(a)所示为目标宠物A与第一交互宠物B的视频显示设备中显示的画面，整个画面中输出的为宠物B的视频信息，如图7中的(b)所示为当目标宠物A与第一交互宠物B交互质量较差时，宠物好友画面切换时目标宠物A的视频显示设备中显示的画面，画面中左侧为第一交互宠物B所在的第一区域，右侧为第二交互宠物C所在的第二区域。
本实施例中，所述将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域之后，还可以包括：监测当前视频画面中所述目标宠物的视线；当监测到所述目标宠物的视线转移到所述视频输出设备中的第二区域满足预设停留时间时，切断所述第一通信链路，并将所述第二交互宠物的音视频信息输出至音视频输出设备中。
在具体实施过程中，在目标宠物A的视频显示设备中同时显示第一交互宠物B与第二交互宠物C时，本方法会监测目标宠物的视线，当宠物视线已转移到第二区域一定时间后，如图7中的(c)会将第二区域的图像放大到整个显示装置，语音同步输出，并同时切断与宠物B的第一通信链路，即表示目标宠物A与宠物B本次交互结束，宠物A和C交互开始。
另外，本实施例提出一种单装置硬切换的方式，用于当所述目标宠物与所述第一交互宠物交互结束时，可以直接将第二交互宠物的音视频信息输出至所述目标宠物的本地设备中，则在单装置硬切换的模式下，目标宠物的视频显示设备中会直接从图7中的(a)转变为图7中的(c)。
当目标宠物的设备有多个，即目标宠物为多设备状态时，则在建立第二通信链路时，会将所述目标宠物的待机状态设备中与当前主交互设备距离最近的设备确定为备用交互设备，在确定当前的主交互设备与备用交互设备后，将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中，此时第一交互宠物的音视频信息会在主交互设备中显示，第二交互宠物的音视频信息会在备用交互设备中显示。
本实施例中，所述将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中之后，还可以包括：监测当前视频画面中所述目标宠物的视线；当监测到所述目标宠物的视线转移到所述备用交互设备的视频输出设备中满足预设停留时间时，切断所述第一通信链路，并将所述备用交互设备确定为当前主交互设备。
在一种具体的实施过程中，当目标宠物A的主交互设备中显示第一交互宠物的音视频信息，且备用交互设备中显示第二交互宠物的音视频信息时，本方法会监测目标宠物的视线，当宠物视线已转移到备用交互设备时，宠物A和B的本次交互结束，宠物A和C的交互开始，备用交互设备成为主交互装置。当宠物视线未转移时，宠物A和B的交互继续。
如图8为本实施例提出的一种宠物在线交互示意图，图中左侧与右侧分别为目标宠物与交互宠物的相同的设备端，两个设备端通过云端服务平台创建的通信链路进行连接，所述云端服务平台可以用于存储宠物语音和动作字典、存储宠物在线交互数据库、运行宠物在线交互质量评价、运行宠物在线好友推荐、运行饲主查询等功能。
本实施例中提出了一种交互宠物切换方法，在目标宠物与第一交互宠物的交互过程的交互质量较低时，会确定第二交互宠物，并基于所述目标宠物的设备端状态确定如何对所述第二交互宠物的信息进行显示，即在目标宠物为单设备状态时，采用单装置软切换的方法，将第一交互宠物与第二交互宠物显示至视频显示设备的不同区域；当目标宠物为多设备状态时，采用多装置切换的方法，将第二交互宠物的信息显示至备用交互设备中。在交互宠物切换时，会实时监测目标宠物的视线，并基于目标宠物的视线判断与所述第一交互宠物的交互是否结束。本实施例中提出的交互宠物切换方法无需宠物手动进行控制，便可根据宠物的表现进行视频显示设备中交互宠物的画面控制与切换，实现了宠物之间的合理化交互。
图9为本申请实施例提供的一种具体的宠物在线交互系统运行方法流程图。参见图9所示，该方法包括：
步骤S41：分别获取目标宠物的多个设备端的设备主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件。
其中，关于步骤S41的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S42：若监测到所述视频画面中的目标宠物满足预设在线交互条件，则从所述目标宠物的满足预设交互条件的设备端中确定主交互设备，并将所述目标宠物的设备端中除所述主交互设备以外的其它设备置为待机状态。
本实施例中，当目标宠物有多个设备端时，即目标宠物为多设备状态时，云端服务器会先根据接收到的实时音视频数据确定目标宠物A是否出现在装置的视野中，如果宠物A只出现在一个装置的视野中，则该装置为主交互装置；如果宠物A出现在多个装置中，则判断宠物A的视线，宠物A视线朝向的装置为主交互装置。主交互装置之外的其它装置处于待机状态。需要指出的是，本实施例中所述待机状态也可以称作省电状态，此种状态下装置会以预设的启动频率启动摄像机，以在目标宠物出现在待机状态装置的视野中时及时获取到目标宠物的视频画面。本实施例中目标宠物在多设备状态下进行交互时，宠物A可能在不同的装置间切换，此时可以根据目标宠物在各设备的视野中的变化情况进行主交互设备的切换。
步骤S43：利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物。
其中，关于步骤S43的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S44：建立所述目标宠物的主交互设备与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
可以理解的是，本实施例在目标宠物为多设备状态的情况下，在建立第一通信链路时，会建立目标宠物的主交互设备与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物利用主交互设备与所述第一交互宠物进行交互。
步骤S45：实时记录所述在线交互过程中所述目标宠物与所述第一交互宠物的交互动作信息与交互语音信息，以分别生成所述目标宠物与所述第一交互宠物的动作单词集合与语音单词集合,然后基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量。
其中，关于步骤S45的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S46：若当前交互质量不满足预设交互质量条件，则从当前在线且为空闲状态的宠物中确定第二交互宠物，然后将所述目标宠物的待机状态设备中与当前主交互设备距离最近的设备确定为备用交互设备，并建立所述目标宠物的备用交互设备与所述第二交互宠物的设备端之间的第二通信链路，然后将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中，以便所述目标宠物与所述第二交互宠物进行在线交互。
其中，关于步骤S46的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S47：监测当前视频画面中所述目标宠物的视线，当监测到所述目标宠物的视线转移到所述备用交互设备的视频输出设备中满足预设停留时间时，切断所述第一通信链路，并将所述备用交互设备确定为当前主交互设备。
其中，关于步骤S47的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本实施例提出了一种多设备状态下宠物在线交互的完整过程，可以采用多装置切换的方法，将第二交互宠物的信息显示至备用交互设备中。在交互宠物切换时，会实时监测目标宠物的视线，并基于目标宠物的视线判断与所述第一交互宠物的交互是否结束。本实施例中提出的宠物在线交互的方法无需宠物手动进行控制，便可根据宠物的表现进行视频显示设备中交互宠物的画面控制与切换，实现了宠物之间的合理化交互。
参见图10所示，本申请实施例公开了一种宠物在线交互系统运行装置，具体可以包括：
画面监测模块11，用于获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；
交互宠物确定模块12，用于若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；
在线交互模块13，用于建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。
本申请先获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互。这样一来，通过对目标宠物的设备端记录的音视频数据中的视频画面进行监测，便可在目标宠物满足预设在线交互条件时，为所述目标宠物推荐好友作为第一交互宠物，在建立所述目标宠物与所述第一交互宠物的通信链路后，便可使所述目标宠物与所述第一交互宠物进行宠物与宠物之间的在线交互。本方法无需宠物手动操作便可自动识别宠物的交互意图，并为其匹配交互好友。在饲主不能全天候的陪伴宠物的情况下，通过宠物与宠物间的交互减少宠物独自在家时的孤独感，丰富了宠物的数字化生活，增强宠物的幸福感。
进一步的，本申请实施例还公开了一种电子设备，图11是根据示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图11为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、显示屏24、输入输出接口25、通信接口26和通信总线27。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的宠物在线交互系统运行方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口26能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的宠物在线交互系统运行方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-OnlyMemory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述公开的宠物在线交互系统运行方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的宠物在线交互系统运行方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种宠物在线交互系统运行方法，其特征在于，应用于云端服务器，包括：
获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；
若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；
建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互；
其中，所述利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物，包括：确定所述目标宠物的语音单词集合与动作单词集合，并从当前在线且为空闲状态的宠物中确定目标交互宠物；利用所述语音单词集合和动作单词集合与预设交互质量评价函数确定所述目标宠物与所述目标交互宠物的推荐评分；将所述推荐评分最高的目标交互宠物确定为第一交互宠物；
并且，所述的宠物在线交互系统运行方法，还包括：采集宠物交互时的语音样本，并提取每个所述语音样本中的梅尔倒谱系数特征，然后基于所述每个梅尔倒谱系数特征生成对应的语音特征向量，然后利用预设的聚类算法对全部所述的语音特征向量进行聚类，以生成预设数量的语音聚类向量，并将所述每一个所述语音聚类向量确定为一个语音单词，并基于全部的所述语音单词生成语音字典；采集宠物交互时的视频信息，并提取每个视频中的光流信息和视频中每帧图像的色彩信息，然后将所述光流信息和所述色彩信息输入至预设深度神经网络中，并获取所述深度神经网络输出的动作特征向量，并利用预设的聚类算法对所述动作特征向量进行聚类，以生成预设数量的动作聚类向量，然后将所述每一个所述动作聚类向量确定为一个动作单词，并基于全部的所述动作单词生成动作字典；
并且，所述建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互之后，还包括：实时记录所述在线交互过程中所述目标宠物与所述第一交互宠物的交互动作信息与交互语音信息，以分别生成所述目标宠物与所述第一交互宠物的动作单词集合与语音单词集合；基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量；
并且，所述基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量之后，还包括：若当前交互质量不满足预设交互质量条件，则从当前在线且为空闲状态的宠物中确定第二交互宠物；建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，以便所述目标宠物与所述第二交互宠物进行在线交互。
2.根据权利要求1所述的宠物在线交互系统运行方法，其特征在于，所述利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件，包括：
利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面；
若监测到所述视频画面中目标宠物的完整身体在视野内，或，所述视频画面中所述目标宠物的超过半个身体在视野内且所述目标宠物的头部朝向设备端的本地视频采集器，则判定所述目标宠物满足预设在线交互条件。
3.根据权利要求1所述的宠物在线交互系统运行方法，其特征在于，所述建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互之后，还包括：
若监测到所述目标宠物与所述第一交互宠物中的任一宠物离开视频视野已满足预设时间，则切断所述第一通信链路，并基于所述交互过程的交互质量对所述预设交互质量评价函数进行更新，然后将交互过程中生成的所述动作单词集合与语音单词集合存放至预设交互数据库中。
4.根据权利要求1所述的宠物在线交互系统运行方法，其特征在于，所述获取目标宠物的设备端的主机发送的实时音视频数据，包括：
分别获取目标宠物的多个设备端的设备主机发送的实时音视频数据；
相应的，所述监测到所述目标宠物满足预设在线交互条件之后，还包括：
从所述目标宠物的满足预设交互条件的设备端中确定主交互设备，并将所述目标宠物的设备端中除所述主交互设备以外的其它设备置为待机状态。
5.根据权利要求4所述的宠物在线交互系统运行方法，其特征在于，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路之前，还包括：
确定所述目标宠物的设备端状态；
相应的，所述建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，包括：
当所述目标宠物为单设备状态时，建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，并将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域；
当所述目标宠物为多设备状态时，将所述目标宠物的待机状态设备中与当前主交互设备距离最近的设备确定为备用交互设备，并建立所述目标宠物的备用交互设备与所述第二交互宠物的设备端之间的第二通信链路，然后将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中。
6.根据权利要求5所述的宠物在线交互系统运行方法，其特征在于，所述将所述第一交互宠物的实时视频信息切换至设备的视频输出设备中的第一区域，将第二交互宠物的实时视频信息输出至所述视频输出设备中的第二区域之后，还包括：
监测当前视频画面中所述目标宠物的视线；
当监测到所述目标宠物的视线转移到所述视频输出设备中的第二区域满足预设停留时间时，切断所述第一通信链路，并将所述第二交互宠物的音视频信息输出至音视频输出设备中。
7.根据权利要求5所述的宠物在线交互系统运行方法，其特征在于，所述将所述第二交互宠物的实时音视频信息输出至所述备用交互设备音视频输出设备中之后，还包括：
监测当前视频画面中所述目标宠物的视线；
当监测到所述目标宠物的视线转移到所述备用交互设备的视频输出设备中满足预设停留时间时，切断所述第一通信链路，并将所述备用交互设备确定为当前主交互设备。
8.一种宠物在线交互系统运行装置，其特征在于，包括：
画面监测模块，用于获取目标宠物的设备端的主机发送的实时音视频数据，并利用预设的宠物监测算法监测所述实时音视频数据对应的视频画面中的所述目标宠物是否满足预设在线交互条件；
交互宠物确定模块，用于若监测到所述目标宠物满足预设在线交互条件，则利用预设宠物推荐方法从当前在线且为空闲状态的宠物中确定第一交互宠物；
在线交互模块，用于建立所述目标宠物的设备端与所述第一交互宠物的设备端之间的第一通信链路，以便所述目标宠物与所述第一交互宠物进行在线交互；
其中，所述画面监测模块，具体用于确定所述目标宠物的语音单词集合与动作单词集合，并从当前在线且为空闲状态的宠物中确定目标交互宠物；利用所述语音单词集合和动作单词集合与预设交互质量评价函数确定所述目标宠物与所述目标交互宠物的推荐评分；将所述推荐评分最高的目标交互宠物确定为第一交互宠物；
并且，所述宠物在线交互系统运行装置，还用于采集宠物交互时的语音样本，并提取每个所述语音样本中的梅尔倒谱系数特征，然后基于所述每个梅尔倒谱系数特征生成对应的语音特征向量，然后利用预设的聚类算法对全部所述的语音特征向量进行聚类，以生成预设数量的语音聚类向量，并将所述每一个所述语音聚类向量确定为一个语音单词，并基于全部的所述语音单词生成语音字典；采集宠物交互时的视频信息，并提取每个视频中的光流信息和视频中每帧图像的色彩信息，然后将所述光流信息和所述色彩信息输入至预设深度神经网络中，并获取所述深度神经网络输出的动作特征向量，并利用预设的聚类算法对所述动作特征向量进行聚类，以生成预设数量的动作聚类向量，然后将所述每一个所述动作聚类向量确定为一个动作单词，并基于全部的所述动作单词生成动作字典；
并且，所述在线交互模块，具体用于实时记录所述在线交互过程中所述目标宠物与所述第一交互宠物的交互动作信息与交互语音信息，以分别生成所述目标宠物与所述第一交互宠物的动作单词集合与语音单词集合；基于所述动作单词集合与语音单词集合，并按照预设评价频率利用预设交互质量评价函数确定所述在线交互过程的交互质量；
并且，所述宠物在线交互系统运行装置，具体还用于若当前交互质量不满足预设交互质量条件，则从当前在线且为空闲状态的宠物中确定第二交互宠物；建立所述目标宠物的设备端与所述第二交互宠物的设备端之间的第二通信链路，以便所述目标宠物与所述第二交互宠物进行在线交互。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的宠物在线交互系统运行方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的宠物在线交互系统运行方法。
CN202210732719.9A 2022-06-27 2022-06-27 一种宠物在线交互系统运行方法、装置、设备及介质 Active CN114821815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210732719.9A CN114821815B (zh) 2022-06-27 2022-06-27 一种宠物在线交互系统运行方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210732719.9A CN114821815B (zh) 2022-06-27 2022-06-27 一种宠物在线交互系统运行方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114821815A CN114821815A (zh) 2022-07-29
CN114821815B true CN114821815B (zh) 2022-11-15

Family

ID=82522568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210732719.9A Active CN114821815B (zh) 2022-06-27 2022-06-27 一种宠物在线交互系统运行方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114821815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580427B (zh) * 2023-05-24 2023-11-21 武汉星巡智能科技有限公司 包含人与宠物互动内容的电子相册制作方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080343B1 (en) * 2017-03-27 2018-09-25 Ewig Industries Macao Commercial Offshore Limited Pet monitoring and recommendation system
CN109091874A (zh) * 2018-08-06 2018-12-28 河南蜗跑电子科技有限公司 一种基于电子宠物的在线交互系统
WO2020215122A1 (en) * 2019-04-26 2020-10-29 JAF Apps Pty Ltd Location-based system for pet-based interactions
CN112199053A (zh) * 2020-12-02 2021-01-08 杭州觅睿科技股份有限公司 一种应用于小容量存储区的日志记录方法、装置及介质
CN112205316A (zh) * 2020-09-21 2021-01-12 珠海格力电器股份有限公司 一种宠物互动系统、方法及宠物娱乐终端
CN113053186A (zh) * 2019-12-26 2021-06-29 京东数字科技控股有限公司 交互方法、交互设备及存储介质
CN113841631A (zh) * 2021-11-02 2021-12-28 广州佳可电子科技有限公司 一种智能ai可视宠物设备
CN114255479A (zh) * 2021-12-30 2022-03-29 新瑞鹏宠物医疗集团有限公司 基于宠物互动的推荐方法、装置、存储介质及服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040975A (zh) * 2018-08-30 2018-12-18 四川爱联科技有限公司 宠物跟踪及交互系统
CN109362596A (zh) * 2018-09-30 2019-02-22 中山乐心电子有限公司 宠物和设备的交互方法、装置和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080343B1 (en) * 2017-03-27 2018-09-25 Ewig Industries Macao Commercial Offshore Limited Pet monitoring and recommendation system
CN109091874A (zh) * 2018-08-06 2018-12-28 河南蜗跑电子科技有限公司 一种基于电子宠物的在线交互系统
WO2020215122A1 (en) * 2019-04-26 2020-10-29 JAF Apps Pty Ltd Location-based system for pet-based interactions
CN113053186A (zh) * 2019-12-26 2021-06-29 京东数字科技控股有限公司 交互方法、交互设备及存储介质
CN112205316A (zh) * 2020-09-21 2021-01-12 珠海格力电器股份有限公司 一种宠物互动系统、方法及宠物娱乐终端
CN112199053A (zh) * 2020-12-02 2021-01-08 杭州觅睿科技股份有限公司 一种应用于小容量存储区的日志记录方法、装置及介质
CN113841631A (zh) * 2021-11-02 2021-12-28 广州佳可电子科技有限公司 一种智能ai可视宠物设备
CN114255479A (zh) * 2021-12-30 2022-03-29 新瑞鹏宠物医疗集团有限公司 基于宠物互动的推荐方法、装置、存储介质及服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Online procurement of pet supplies and willingness to pay for veterinary telemedicine;Nicole OlynkWidmar et.al;《Preventive Veterinary Medicine》;20200831;第1-11页 *
基于微信平台的宠物喂养远程控制系统的设计实现;董发志等;《实验科学与技术》;20171127(第02期);第7-11页 *
宠物在家独处远程交互系统及其手机App的设计与实现;吕爱华;《工业和信息化教育》;20170225;第74-80页 *

Also Published As

Publication number Publication date
CN114821815A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
WO2019228302A1 (zh) 直播间显示方法、装置、设备及存储介质
US10300394B1 (en) Spectator audio analysis in online gaming environments
CN111683263B (zh) 直播指导方法、装置、设备及计算机可读存储介质
CN110364146B (zh) 语音识别方法、装置、语音识别设备及存储介质
CN110557659B (zh) 视频推荐方法、装置、服务器及存储介质
WO2016177287A1 (zh) 互动信息处理方法、客户端、服务平台和存储介质
US20170065889A1 (en) Identifying And Extracting Video Game Highlights Based On Audio Analysis
CN108781300A (zh) 用于基于网络状况推荐内容的方法、系统以及介质
KR101983635B1 (ko) 개인방송 컨텐츠 추천방법
CN111475020A (zh) 一种信息的交互方法、交互装置、电子设备及存储介质
CN114821815B (zh) 一种宠物在线交互系统运行方法、装置、设备及介质
CN110083738A (zh) 一种基于声纹和情境感知的音乐推荐方法和终端设备
CN109151366B (zh) 一种视频通话的声音处理方法、存储介质和服务器
CN110427499B (zh) 多媒体资源的处理方法、装置及存储介质和电子装置
CN107451185B (zh) 录音方法、朗读系统、计算机可读存储介质和计算机装置
US20170278130A1 (en) Method and Electronic Device for Matching Advertisement Data
CN111949813B (zh) 交友请求方法、装置、计算机设备和存储介质
CN111008287A (zh) 音视频处理方法、装置、服务器及存储介质
CN112416116B (zh) 计算机设备的震动控制方法和系统
CN112565913B (zh) 视频通话方法、装置和电子设备
CN112533009B (zh) 一种用户互动方法、系统及存储介质和终端设备
CN114727119B (zh) 直播连麦控制方法、装置及存储介质
CN114898755A (zh) 语音处理方法及相关装置、电子设备、存储介质
CN109726267B (zh) 用于故事机的故事推荐方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant