CN112188296A - 交互方法、装置、终端和电视机 - Google Patents

交互方法、装置、终端和电视机 Download PDF

Info

Publication number
CN112188296A
CN112188296A CN202011043301.4A CN202011043301A CN112188296A CN 112188296 A CN112188296 A CN 112188296A CN 202011043301 A CN202011043301 A CN 202011043301A CN 112188296 A CN112188296 A CN 112188296A
Authority
CN
China
Prior art keywords
state
pet
real
preset
time image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011043301.4A
Other languages
English (en)
Inventor
孙思凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202011043301.4A priority Critical patent/CN112188296A/zh
Publication of CN112188296A publication Critical patent/CN112188296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Toys (AREA)

Abstract

本发明实施例公开了一种交互方法、装置、终端和电视机,应用于交互技术领域。其中交互方法包括:采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;执行所述宠物状态对应的交互方案。这样,可以通过自动监控并分析宠物的实时状态以为其提供适应性的交互方案,避免主人不在家无法为宠物提供陪伴的情况,提供了宠物陪伴的便捷性、趣味性和安全性。

Description

交互方法、装置、终端和电视机
技术领域
本发明涉及交互技术领域,尤其涉及一种交互方法、装置、终端和电视机。
背景技术
现有社会养宠物的人越来越多,宠物主人日常要外出上班,宠物被独自留在家中。为了了解家里宠物的状态,通常在家里安装摄像头,主人通过手机观看摄像头采集的宠物的视频,来了解宠物的实时状态。但这样只能远程、单方面的为主人提供宠物状况,不能与宠物进行实际的交互,趣味性较差。
可见,亟需一种能与宠物进行实际交互的方案。
发明内容
为了解决上述技术问题,本发明提供了一种交互方法、装置、终端和电视机,具体方案如下:
第一方面,本公开实施例提供了一种交互方法,所述交互方法包括:
采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
执行所述宠物状态对应的交互方案。
根据本公开的一种具体实施方式,所述执行所述宠物状态对应的交互方案的步骤,包括以下任一种:
若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频;
若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息;
若所述宠物状态为预设的第三状态,控制自动投食器向所述目标宠物投喂食物。
根据本公开的一种具体实施方式,所述若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频的步骤,包括:
若所述宠物状态为所述第一状态,则播放游戏视频;
采集所述目标宠物对应的影音信息;
根据所述影音信息确定所述目标宠物基于所述游戏视频的反馈动作;
根据所述反馈动作,调整所述游戏视频的内容。
根据本公开的一种具体实施方式,所述若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息的步骤,包括:
若所述宠物状态为所述第二状态,采集所述目标宠物对应的影音信息;
向所述预设终端发送影音信息;
若在预设时段内未接收到所述预设终端基于所述影音信息反馈的确认指令,向所述预设终端拨打语音电话。
根据本公开的一种具体实施方式,所述采集预设区域的实时图像的步骤之前,所述方法还包括:
获取对应第一状态的第一样本图片、对应第二状态的第二样本图片以及对应第三状态的第三样本图片;
将所述第一样本图片、所述第二样本图片和所述第三样本图片输入神经网络模型,并为所述第一样本图片添加第一状态的标签,为所述第二样本图片添加所述第二状态的标签,以及为所述第三样本图片添加所述第三状态的标签;
利用所述神经网络模型学习训练所述第一样本图片、第二样本图片和所述第三样本图片,得到所述状态分析模型。
根据本公开的一种具体实施方式,所述将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤之前,所述方法还包括:
采集所述预设区域的实时语音;
所述将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤,包括:
将所述实时图像和所述实时语音输入所述状态分析模型,以使所述状态分析模型根据所述实时图像和所述实时语音综合分析对应的宠物状态。
第二方面,本公开实施例还提供了一种交互装置,所述交互装置包括:
采集模块,用于采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
分析模块,用于将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
执行模块,用于执行所述宠物状态对应的交互方案。
根据本公开的一种具体实施方式,所述执行模块用于:
若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频;
若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息;
若所述宠物状态为预设的第三状态,控制自动投食器向所述目标宠物投喂食物。
第三方面,本公开实施例还提供了一种交互终端,包括摄像头、存储器以及处理器,所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述交互终端执行第一方面中任一项所述的交互方法。
第四方面,本公开实施例还提供了一种电视机,包括视频播放器、摄像头、存储器以及处理器,所述视频播放器、所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电视机执行第一方面中任一项所述的交互方法。
第五方面,本公开实施例还提供了一种计算机可读存储介质,其储存有第三方面所述的交互终端中所用的所述计算机程序。
本公开实施例提供的交互方法、装置、交互终端及电视机,主要通过采集预设区域内包含目标宠物的特征信息的实时图像,将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态,然后再执行所述宠物状态对应的交互方案。这样,可以通过自动监控并分析宠物的实时状态为其提供适应性的交互方案,避免主人不在家无法为宠物提供陪伴的情况,提供了宠物陪伴的便捷性、趣味性和安全性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本公开实施例提供的一种交互方法的流程示意图;
图2示出了本公开实施例提供的交互方法的过程示意图;
图3示出了本公开实施例提供的一种交互装置的模块框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
参见图1,为本公开实施例提供的一种交互方法的流程示意图。如图1所示,所述交互方法主要包括以下步骤:
S101,采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
本公开实施例提供的交互方法,主要用于为家中无人陪伴的宠物提供一种实际有效的与宠物交互的方法,所涉及宠物可以包括宠物猫、宠物狗等。具体实施时,将待交互的宠物定义为目标宠物,将该目标宠物所在的区域定义为预设区域,通常预设区域为目标宠物的活动空间,例如家里客厅。
本实施例所提供的交互方法应用于目标宠物所在的预设区域内装配的交互终端,该交互终端为至少具备图像采集功能和数据处理功能的电子设备,例如内置有摄像头和控制器的电子设备,或者为预设空间内的摄像头与远程控制器组合成的电子设备等,不做限定。考虑到家里客厅通常装配有电视机或者投影仪,可以将本实施例的交互方法所应用的交互终端以集成式或者插件式的方式结合到预设区域内的电视机或者投影仪,以减少设备成本和布线。
在为目标宠物提供交互方案时,开启目标宠物所在预设区域内的摄像头,以使该摄像头采集该预设区域内的实时图像,所采集的实时图像至少包含目标宠物的部分特征信息。具体实施时,摄像头可以按照预设周期持续采集预设区域内的实时图像,也可以仅在检测到预设区域内的场景发生动态变化时执行图像采集操作。
需要说明的是,摄像头采集图像时,可能采集到不包含目标宠物的特征信息的图像,而本方案仅对采集到包含目标宠物的特征信息的实时图像进行后续的分析及处理。交互终端可以采集预设区域内的实时图像,再针对采集到的实时图像进行特征检测,即检测是否包含目标宠物的特征信息,若包含目标宠物的特征信息,则对该实时图像进行后续的处理操作。若采集到的实时图像不包含目标宠物的特征信息,则丢弃此实时图像。或者,摄像头在进行图像采集时,可以通过预览分析的方式,在预览分析确定检测到目标宠物时才进行图像采集。当然,若持续较长一段时间均未采集到目标宠物的特征信息,则可以认定目标宠物消失,可以向绑定用户发送提示消息。
S102,将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
交互终端内预先加载有状态分析模型,该状态分析模型为能根据输入图像中宠物的特征信息分析对应宠物状态的神经网络模型。该状态分析模型所能分析的宠物状态可以为宠物的精神状态,例如宠物当前是否无聊或者焦虑;所述宠物状态也可以为宠物的身体状态,例如宠物当前是否饥饿或者身处危险位置。
宠物在不同状态下,其表情特征或者位姿特征会不同,状态分析模型主要是通过分析实时图像中宠物的表情特征或者位姿特征来获得宠物的状态。例如,当宠物狗处于焦虑状态时,宠物狗的表情特征通常会体现为鲸鱼眼特征、过度频繁打哈欠、舔舌头、舔嘴唇、伸舌头舔鼻子。当宠物狗处于害怕状态时,宠物狗的表情特征通常体现为露出眼白。当宠物狗处于无聊状态时,会体现为在白天呼呼大睡、撕咬沙发桌椅、安静发呆等。当宠物狗处于饥饿状态时,宠物狗会在投食器的食盆前不停打转。当宠物狗一定时间内头部或者身体部位卡在沙发缝等位置摇摆,则通常处于危险状态。
状态分析模型在接收到输入的实时图像后,即分析该实时图像内的目标宠物的特征信息,是否与预设的某一状态特征相匹配,这样即可获得该目标宠物当前的宠物状态。
S103,执行所述宠物状态对应的交互方案。
交互终端内预先存储有对应不同宠物状态的交互方案,用于实现每种状态下与宠物的交互。交互终端可以控制内置的视频播放器等部件执行相应的交互方案,也可以控制外接的其他设备执行交互方案。例如,在宠物状态为焦虑状态时播放具有安抚效应的视频或者音频,在宠物饥饿状态下控制投食器投食等。
上述本公开实施例提供的交互方法,通过采集预设区域内包含目标宠物的特征信息的实时图像,将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态,然后再执行所述宠物状态对应的交互方案。通过自动分析宠物的实时状态为其提供针对性的陪伴方案,避免主人不在家无法为宠物提供陪伴的情况,提供了宠物陪伴的趣味性和安全性。
在上述实施例的基础上,本公开的另一种具体实施方式还增设了语音分析方案。具体的,上述S102所述的,将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤之前,所述方法还可以包括:
采集所述预设区域的实时语音;
S102所述的,将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤,可以包括:
将所述实时图像和所述实时语音输入所述状态分析模型,以使所述状态分析模型根据所述实时图像和所述实时语音综合分析对应的宠物状态。
本实施方式中,考虑多种宠物状态下宠物的语音特征。仍以宠物狗举例,宠物狗发出“嗯----”这样低沉连续的声音,代表宠物狗比较悲伤;当宠物狗发出“汪----”这种清脆的叫声,且间隙较长,通常表示这宠物狗是肚子饥饿或者生气了;当狗发出“呜----呜----”这样的叫声是宠物狗悲伤或者因为寂寞而发出比较哀悯的叫声;很急促的吠叫“汪、汪”这不是宠物狗很兴奋,那就是有敌人入侵,处于危险状态;当宠物狗的叫声比较低沉痛苦且很连续,有可能是受伤等危险状态,比如桌角砸到腿了。
交互终端除了采集预设区域内目标宠物的实时图像之外,还采集预设区域的实时语音,将实时语音和实时图像输入到状态分析模型,进行综合性的状态分析,以提高状态分析的准确性。
下面将结合几种情况来具体解释下交互方案的执行过程,上述S103所述的,执行所述宠物状态对应的交互方案的步骤,可以包括以下任一种:
第一方面,若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频;
实施时可以将焦虑和/或无聊等状态定义为第一状态,该第一状态下需要为宠物提供安抚方案或者趣味性方案。交互终端内可以预先存储交互视频,交互视频可以为游戏视频、动画片或者预先录制的目标宠物与主人游戏时的视频。确定目标宠物当前的宠物状态为预设的第一状态,则即可控制视频播放装置播放交互视频。
可选的,所述若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频的步骤,可以具体包括:
若所述宠物状态为所述第一状态,则播放游戏视频;
采集所述目标宠物对应的影音信息;
根据所述影音信息确定所述目标宠物基于所述游戏视频的反馈动作;
根据所述反馈动作,调整所述游戏视频的内容。
本实施方式中,在确定宠物状态为第一状态时,播放游戏视频,并同时采集该目标宠物对应的影音信息,即确定目标宠物是否观察到该游戏视频并作出反馈动作。
例如,播放游戏视频为浮动的气球,若通过图像分析或者红外分析等方式确定目标宠物做出跳起顶气球的动作,则表示目标宠物作出了反馈动作。此时,可以控制对应的气球大幅度弹起,给目标宠物一个反馈。这样,可以激发目标宠物的热情,使其参与到游戏互动中,提高交互方案的趣味性。
再例如,可以设置对应宠物狗的骨骼识别算法、表情识别算法及上层应用程序包(Android application Package,简称APK)的支持,APK会呈现电子狗形象,当表情识别到目标宠物张嘴或者伸舌头,APK会控制电子狗形象同步跟随,使得宠物狗知道自己的表情会得到回应,同理,关于电子狗形象对宠物狗的动作也会做出反应,这样可以使得宠物狗有交到朋友的感觉。
第二方面,若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息;
具体实施时,将宠物被桌椅砸伤、卡紧、绳索拉扯等动作定义为第二动作,此种情况下通常表示目标宠物当前的状态可能比较危险,需要及时施救。交互终端可以预先将主人的手机或者附近可施救人员的手机绑定为预设终端,在第二状态时即向绑定的预设终端发送危险信息。
可选的,所述若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息的步骤,包括:
若所述宠物状态为所述第二状态,采集所述目标宠物对应的影音信息;
向所述预设终端发送影音信息;
若在预设时段内未接收到所述预设终端基于所述影音信息反馈的确认指令,向所述预设终端拨打语音电话。
在初步分析宠物状态为第二状态时,再次采集目标宠物当前的影音信息,将影音信息发送给预设终端,由预设终端再次判断是否确实为危险情况。预设终端的主人或者其他用户判定确实为危险情况,可以向交互终端返回确认指令,表示会尽快施救。若预设终端的主人或者其他用户判定为并非危险情况,可以向交互终端返回取消指令,即取消此次报警。
为避免预设终端的主人因为未及时查收危险信息延误施救时机,交互终端在发送危险信息给预设终端之后,还会在预设时段内监控是否接收到预设终端返回的确认指令或者取消指令,若未接收到相关指令,则直接向预设终端拨打语音电话,以提高提醒效果。
第三方面,若所述宠物状态为预设的第三状态,控制自动投食器向所述目标宠物投喂食物。
本实施方式中,将对应饥饿的状态定义为第三状态,在此状态下,可直接控制该预设区域内的自动投食器向目标宠物投喂食物,以便目标宠物能及时补充水分和口粮。
当然,除了上述几种宠物状态和交互方案之外,还可以有其他情况,例如在分析宠物状态为寒颤发抖等寒冷状态或者口吐舌头等炎热状态时,可以控制家里的空调调节室内温度,不再穷举。
此外,本公开实施例还对状态分析模型的获取过程作了进一步限定。
根据本公开的一种具体实施方式,所述采集预设区域的实时图像的步骤之前,所述方法还包括:
获取对应第一状态的第一样本图片、对应第二状态的第二样本图片以及对应第三状态的第三样本图片;
将所述第一样本图片、所述第二样本图片和所述第三样本图片输入神经网络模型,并为所述第一样本图片添加第一状态的标签,为所述第二样本图片添加所述第二状态的标签,以及为所述第三样本图片添加所述第三状态的标签;
利用所述神经网络模型学习训练所述第一样本图片、第二样本图片和所述第三样本图片,得到所述状态分析模型。
本实施方式主要对利用图片进行模型训练的方案作了具体解释。在准备样本图片的时候,需要针对每种状态分别准备预设数量的样本图片。即在需要训练能够分析识别宠物第一状态、第二状态和第三状态的状态分析模型时,准备的样本图片至少包括:对应第一状态的第一样本图片、对应第二状态的第二样本图片和对应第三状态的第三样本图片。当然,若要训练具备其他状态识别能力的状态分析模型,所提供的样本图片应该包括该其他状态的样本图片,不作限定。需要说明的是,这里所说的对应第一状态的第一样本图片,是指图片中的宠物当前的表情特征满足第一状态,其他同理。
将上述的样本图片输入到基础的神经网络模型进行学习训练,并为每类样本图片添加相应的状态标签,即可得到的状态分析模型即具备分析第一状态、第二状态和第三状态的功能。
下面将以电视机为执行主体具体解释本发明的交互方法。
在Android 8.0发布之后,Android操作提供一套Android神经网络应用程序编程接口(Neural Networks Application Programming Interface,简称NNAPI),使用开发人员可以基于NN进行卷积算法的开发。即提前训练相关的模型,模型的训练原理是采取海量素材提供给模型,模型识别后,进行人工纠偏,通过不断训练提升模型对素材的识别准确率,该识别可以运行在单独的硬件网络互连协议(Internet Protocol,简称IP)单元,不占用主芯片(System on Chip,简称SOC)的中央处理器(central processing unit,简称CPU)和图形处理器(Graphics Processing Unit,简称GPU)资源,达到在不响应电视机正常使用的情况下,进行人工智能识别。同步的,目前智能电视平台引入云台摄像头等外设,可以全方位获取客厅实时情况,包括声音及图像两个维度。在此技术背景下,通过海量采集宠物在各种情绪下的表情图片及叫声音频,对这些素材进行训练纠错,输出状态分析模型。将上述模型导入智能电视平台,通过摄像头、麦克风Microphone等外设对宠物的表情及声音进行采集并通过人工智能(Artificial Intelligence,简称AI)引擎进行判断,得到当时的宠物状态。
如图2所示,内置NN卷积单元的智能电视(Television,简称TV)操作系统是主控模块,在主人离开之后,会通过两维360度云台摄像头及阵列MIC监控宠物状态。录音/截屏模块会把摄像头录制的宠物图片及宠物狗发出的声音送给模块运行模块,模型运行模块负责给出识别的倾向结果,识别结果处理模块负责判定准确的识别结果,进一步的,该模块把准确的识别结果传递给动作执行模块,进行动作处理,如在屏幕上播放电子宠物狗互动游戏,与宠物狗互动;或者判断宠物狗饥饿,可以通过控制IOT狗粮投递装置进行狗粮的投放;更进一步的,或者识别宠物狗有危险,主控系统直接向所绑定的手机号发送文字或图片预警信息。同时,还默认支持绑定手机号通过远场控制电视机进行手动查看宠物状态。
具体交互过程如下:
1,用户离开家里,开启AI宠物狗看护功能;
2,内置NN卷积单元的智能电视操作系统(以下简称主控模块)会开启摄像头及阵列MIC进行宠物狗的活动跟随及声音获取;
3,基于表情抓取得图片及宠物狗的叫声发送到模块运行模块进行判断,该过程是2秒钟抓取一次;
4,如果模块运行模块拿到当前宠物狗的整体照片及叫声文件,会与内置的卷积单元模型进行对比,给出当前宠物狗状态的判断结果,判断结果送至识别结果处理模块,这一步会进行反复校验,只有连续三次抓取一致的结果才会传递个下个模块--动作执行模块。
5,基于上一步给出的准确结果,如判断当前宠物狗处于焦虑无聊的状态,则放出电子宠物狗游戏与宠物狗进行互动沟通;
6,同步的,如果发现宠物狗处于饥饿状态可以控制狗粮投喂器进行投喂;
7,进一步的,如果判断当前宠物狗处于危险的状态,如头部卡在沙发下面,则会向绑定系统的手机号发送预警文字及照片。
综上,本发明基于目前主流TV SOC中加入的单独卷积运算单元进行智能场景识别,配合云台摄像头及阵列mic等外设可以对周围环境进行精准抓取,在主人不在家,留守宠物狗有时会因为缺少陪伴造成一些心理问题,甚至在发生危险的时候不能及时得到干预。该发明内置了海量宠物狗表情及叫声音频文件的模型,可以针对抓取的宠物狗图片及叫声进行AI智能判断,得到当时宠物狗状态,并针对该状态做出响应,如进行电子宠物交互陪伴,控制狗粮投递器进行狗粮投递,或者在发现宠物狗状态异常向远程主人发出警报信息。所提供的交互方案满足爱宠人士关爱留守宠物狗身心健康的需求。
参见图3,为本公开实施例提供的一种交互装置的模块框图。如图3所示,所述交互装置300主要包括:
采集模块301,用于采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
分析模块302,用于将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
执行模块303,用于执行所述宠物状态对应的交互方案。
根据本公开的一种具体实施方式,所述执行模块303用于:
若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频;
若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息;
若所述宠物状态为预设的第三状态,控制自动投食器向所述目标宠物投喂食物。
此外,本公开实施例还提供了一种交互终端,包括摄像头、存储器以及处理器,所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述交互终端执行上述实施例所提供的交互方法。
另外,本公开实施例还提供了一种电视机,包括视频播放器、摄像头、存储器以及处理器,所述视频播放器、所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述交互终端执行上述实施例所提供的交互方法。
存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
可选的,处理器可包括一个或多个处理单元;优选的,处理器可集成应用处理器,应用处理器主要处理操作系统、用户界面和应用程序等。处理器可以集成调制解调处理器,调制解调处理器也可以不集成到处理器中。
另外,该交互终端还可以包括:射频(Radio Frequency,RF)电路、输入单元、显示单元、音频电路、无线保真(wireless fidelity,WiFi)模块以及电源等部件。输入单元可以包括触控面板并且可以包括其他输入设备,显示单元可以包括显示面板。
射频电路用于接收和发送无线信号,主要包括天线、无线开关、接收滤波、频率合成器、高频放大、接收本振、混频、中频、发射本振、功放控制、功放等。
输入单元可用于接收输入的数字或字符信息,以及产生与交互终端的用户设置以及功能控制有关的键信号输入。具体地,输入单元可包括触控面板以及其他输入设备。
显示单元可用于显示由用户输入的信息或提供给用户的信息以及交互终端的各种菜单、界面,如游戏界面。显示单元可包括显示面板。
音频电路可提供用户与交互终端之间的音频接口。
WiFi属于短距离无线传输技术,交互终端通过无线保真模块(下述WiFi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
电源可以通过电源管理系统与处理器逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本领域技术人员可以理解,上述的交互终端结构并不构成对交互终端的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明再一实施例还提供了一种计算机可读存储介质,用于储存上述交互终端中使用的所述计算机程序。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种交互方法,其特征在于,所述交互方法包括:
采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
执行所述宠物状态对应的交互方案。
2.根据权利要求1所述的方法,其特征在于,所述执行所述宠物状态对应的交互方案的步骤,包括以下任一种:
若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频;
若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息;
若所述宠物状态为预设的第三状态,控制自动投食器向所述目标宠物投喂食物。
3.根据权利要求2所述的方法,其特征在于,所述若所述宠物状态为预设的第一状态,控制视频播放装置播放交互视频的步骤,包括:
若所述宠物状态为所述第一状态,则播放游戏视频;
采集所述目标宠物对应的影音信息;
根据所述影音信息确定所述目标宠物基于所述游戏视频的反馈动作;
根据所述反馈动作,调整所述游戏视频的内容。
4.根据权利要求2所述的方法,其特征在于,所述若所述宠物状态为预设的第二状态,向预设终端发送关联所述目标宠物的危险信息的步骤,包括:
若所述宠物状态为所述第二状态,采集所述目标宠物对应的影音信息;
向所述预设终端发送影音信息;
若在预设时段内未接收到所述预设终端基于所述影音信息反馈的确认指令,向所述预设终端拨打语音电话。
5.根据权利要求2所述的方法,其特征在于,所述采集预设区域的实时图像的步骤之前,所述方法还包括:
获取对应第一状态的第一样本图片、对应第二状态的第二样本图片以及对应第三状态的第三样本图片;
将所述第一样本图片、所述第二样本图片和所述第三样本图片输入神经网络模型,并为所述第一样本图片添加第一状态的标签,为所述第二样本图片添加所述第二状态的标签,以及为所述第三样本图片添加所述第三状态的标签;
利用所述神经网络模型学习训练所述第一样本图片、第二样本图片和所述第三样本图片,得到所述状态分析模型。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤之前,所述方法还包括:
采集所述预设区域的实时语音;
所述将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态的步骤,包括:
将所述实时图像和所述实时语音输入所述状态分析模型,以使所述状态分析模型根据所述实时图像和所述实时语音综合分析对应的宠物状态。
7.一种交互装置,其特征在于,所述交互装置包括:
采集模块,用于采集预设区域的实时图像,其中,所述实时图像包含目标宠物的特征信息;
分析模块,用于将所述实时图像输入预设的状态分析模型,以使所述状态分析模型分析所述目标宠物的特征信息对应的宠物状态;
执行模块,用于执行所述宠物状态对应的交互方案。
8.一种交互终端,其特征在于,包括摄像头、存储器以及处理器,所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述交互终端执行权利要求1至6中任一项所述的交互方法。
9.一种电视机,其特征在于,包括视频播放器、摄像头、存储器以及处理器,所述视频播放器、所述摄像头和所述存储器均与所述处理器连接,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电视机执行权利要求1至6中任一项所述的交互方法。
10.一种计算机可读存储介质,其特征在于,其储存有权利要求8所述的交互终端中所用的所述计算机程序。
CN202011043301.4A 2020-09-28 2020-09-28 交互方法、装置、终端和电视机 Pending CN112188296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043301.4A CN112188296A (zh) 2020-09-28 2020-09-28 交互方法、装置、终端和电视机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043301.4A CN112188296A (zh) 2020-09-28 2020-09-28 交互方法、装置、终端和电视机

Publications (1)

Publication Number Publication Date
CN112188296A true CN112188296A (zh) 2021-01-05

Family

ID=73946621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043301.4A Pending CN112188296A (zh) 2020-09-28 2020-09-28 交互方法、装置、终端和电视机

Country Status (1)

Country Link
CN (1) CN112188296A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111748A (zh) * 2021-03-31 2021-07-13 青岛海尔科技有限公司 行为数据处理方法及装置、存储介质及电子装置
CN113784185A (zh) * 2021-08-26 2021-12-10 深圳创维-Rgb电子有限公司 基于电视机的宠物看养方法、系统及电视机
CN114208694A (zh) * 2021-12-03 2022-03-22 珠海格力电器股份有限公司 一种宠物屋

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206135988U (zh) * 2016-11-14 2017-04-26 北京加益科技有限公司 宠物交互设备及宠物交互系统
CN108459512A (zh) * 2018-03-12 2018-08-28 京东方科技集团股份有限公司 智能终端及基于其的交互方法、交互系统、处理器
CN110244611A (zh) * 2019-06-06 2019-09-17 北京迈格威科技有限公司 一种宠物监控方法及装置
CN111597942A (zh) * 2020-05-08 2020-08-28 上海达显智能科技有限公司 一种智能宠物训导、陪伴方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206135988U (zh) * 2016-11-14 2017-04-26 北京加益科技有限公司 宠物交互设备及宠物交互系统
CN108459512A (zh) * 2018-03-12 2018-08-28 京东方科技集团股份有限公司 智能终端及基于其的交互方法、交互系统、处理器
CN110244611A (zh) * 2019-06-06 2019-09-17 北京迈格威科技有限公司 一种宠物监控方法及装置
CN111597942A (zh) * 2020-05-08 2020-08-28 上海达显智能科技有限公司 一种智能宠物训导、陪伴方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111748A (zh) * 2021-03-31 2021-07-13 青岛海尔科技有限公司 行为数据处理方法及装置、存储介质及电子装置
CN113784185A (zh) * 2021-08-26 2021-12-10 深圳创维-Rgb电子有限公司 基于电视机的宠物看养方法、系统及电视机
CN114208694A (zh) * 2021-12-03 2022-03-22 珠海格力电器股份有限公司 一种宠物屋

Similar Documents

Publication Publication Date Title
CN112188296A (zh) 交互方法、装置、终端和电视机
KR101762780B1 (ko) 반려 동물용 통신 장치
CN101682695B (zh) 可配置用于自主自学操作的照相机
US9642340B2 (en) Remote pet monitoring systems and methods
KR101413043B1 (ko) 실시간 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
JP2013225860A (ja) 自律動作のためのカメラコンフィギュレーション
KR102009844B1 (ko) 표정 인식 장치 및 이를 이용한 치매환자 관리서비스 서버
CN110706449A (zh) 一种婴幼儿监测方法、装置与摄像设备及存储介质
WO2017031891A1 (zh) 播放控制方法、装置及终端
CN109327737A (zh) 电视节目推荐方法、终端、系统及存储介质
CN111597942A (zh) 一种智能宠物训导、陪伴方法、装置、设备及存储介质
US11937573B2 (en) Music providing system for non-human animal
JP2010068268A (ja) 愛玩動物再現システムおよび愛玩動物再現プログラム
CN111975772A (zh) 机器人控制方法、装置、电子设备及存储介质
US20200068852A1 (en) Animal Caretaking System with an Animal-Mounted Audio Player Device
US20170027133A1 (en) Adaptive Learning System for Animals
JP2010134910A (ja) ペット画像検出システムおよびその動作制御方法
US20160057384A1 (en) Device and system for facilitating two-way communication
KR20220065746A (ko) 치매 환자의 기록 데이터 가공 서비스를 지원하는 시스템
CN115291533A (zh) 智能床垫的控制方法及装置、智能床垫、存储介质
KR102481445B1 (ko) 디스플레이장치 및 그 제어방법
CN104332022B (zh) 一种防止幼儿进食异物的警报系统及方法
CN113728941B (zh) 一种智能驯养宠物犬的方法及驯养系统
CN110506661A (zh) 一种基于机器学习的防止宠物斗殴方法
US20190104249A1 (en) Server apparatus, distribution system, distribution method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105