CN110197103A - 一种人与动物交互的方法及装置 - Google Patents
一种人与动物交互的方法及装置 Download PDFInfo
- Publication number
- CN110197103A CN110197103A CN201810162453.2A CN201810162453A CN110197103A CN 110197103 A CN110197103 A CN 110197103A CN 201810162453 A CN201810162453 A CN 201810162453A CN 110197103 A CN110197103 A CN 110197103A
- Authority
- CN
- China
- Prior art keywords
- animal
- user
- intended
- interaction
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000003993 interaction Effects 0.000 claims abstract description 119
- 230000003542 behavioural effect Effects 0.000 claims abstract description 58
- 238000013519 translation Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000002452 interceptive effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 5
- 230000005055 memory storage Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 20
- 241001481833 Coryphaena hippurus Species 0.000 description 17
- 235000013305 food Nutrition 0.000 description 12
- 244000144977 poultry Species 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 241000282452 Ailuropoda melanoleuca Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 241000282376 Panthera tigris Species 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 241000894007 species Species 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 230000037351 starvation Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种人与动物交互的方法及装置,用于解决现有技术存在人与动物沟通不便的技术问题。方法包括:获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
Description
技术领域
本发明涉及人工智能领域,特别涉及一种人与动物交互的方法及装置。
背景技术
日常生活中,人们通常具有和动物沟通的需求,比如游客在走进动物园时,总希望能够跟动物进行互动。
现有技术在解决人与动物的沟通的问题时,局限于动物专家的专业知识,依赖于动物专家单向地将动物的声音或者行为翻译为人类语言,或者是单向地将人类的语言模拟成动物的声音传达给动物。
但实际上,人们更希望能够直接和动物进行实时的双向互动,但是现有技术这种单向输出翻译结果的方式,却无法满足人与动物进行实时双向互动的需求,现有技术存在人与动物沟通不便的技术问题。
发明内容
本发明提供一种人与动物交互的方法及装置,用于解决现有技术存在人与动物沟通不便的技术问题。
第一方面,本发明实施例提供一种人与动物交互的方法,包括:
获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;
从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;
获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;
从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
上述方案在将用户的交互意图翻译为对应的训练事件传达给动物后,还采集动物对于该训练事件的反馈行为,并将动物反馈的行为翻译为人类语言传达给用户,提供了一种新的人与动物的交互体验,能够满足人与动物进行实时双向互动的需求,解决了现有技术存在的人与动物沟通不便的技术问题。并且,上述方案在确定动物反馈的行为特征所对应的交互意图后,并未直接将动物的交互意图进行输出,而是进一步结合场景特征对动物的交互意图进行解释,即从所述数据库中确定出在该场景特征下与动物交互意图相匹配的翻译事件,并执行所述翻译事件,实现将动物交互意图传达给所述用户,进一步提高了翻译动物行为的准确性,提高了用户体验。
可选的,获得用户的行为特征,包括:获得声音传感器采集的用户的声音信息,并从所述用户的声音信息中提取所述用户的声音特征;和/或,获得图像传感器采集的用户的图像信息,并从所述用户的图像信息中提取所述用户的身体特征。
本方式可通过声音、图像等传感器采集用户的行为信息,并从用户的行为信息中提取用户的行为特征,保证人与动物沟通的可靠性。
可选的,所述训练事件为:执行预定的交互动作或播放预定的语音。
本方式在确定用户的交互意图后,将用户的交互意图翻译为预定的交互动作或者语音,使得动物能够更加迅速和准确地理解用户的交互意图,提高了人与动物沟通的有效性。
可选的,所述训练事件为:管理员在向所述动物表达所述第一交互意图时所执行的事件,或,同类动物在表达所述第一交互意图时所执行的事件。
本方式在确定用户的交互意图后,将用户的交互意图翻译为管理员/同类动物的交互动作或者语音,使得动物能够更加迅速和准确地理解用户的交互意图,提高了人与动物沟通的有效性。
可选的,在确定所述动物的第二交互意图之后,所述方法还包括:判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
本方式可以修正数据库中第一交互意图对应的训练事件,使得用户表现第一交互意图时,动物能够更加准确地理解用户的第一交互意图,回应该用户期望该动物回应的交互意图,提高人与动物沟通的有效性。
可选的,获得所述动物的行为特征,包括:获得声音传感器采集的所述动物的声音信息,并从所述动物的声音信息中提取所述动物的声音特征;和/或,获得图像传感器采集的所述动物的图像信息,并从所述动物的图像信息中提取所述动物的身体特征;获得场景特征,包括:获得声音传感器采集的周围环境中的声音信息,和/或,获得图像传感器采集的周围环境的图像信息。
本方式可通过声音、图像等传感器采集动物反馈的行为信息以及环境信息,并从动物的行为信息中提取动物的行为特征,保证人与动物沟通的可靠性。
可选的,所述场景特征包括所述用户的身体特征和/或声音特征。
可选的,从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,包括:基于所述场景特征,确定所述用户的语种;从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息;所述执行所述翻译事件,包括:以语音和/或文字的形式呈现所述语言信息。
本方式在确定动物反馈的行为特征所对应的交互意图后,并未直接将动物的交互意图进行输出,而是进一步结合场景特征确定翻译对象(即用户)的语种,并采用该语种将动物的交互意图转达给用户,使得用户能够更加迅速和准确地理解动物的交互意图,提高了人与动物沟通的有效性。
可选的,从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,包括:基于所述场景特征,确定所述用户的肢体语言;从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作;所述执行所述翻译事件,包括:以虚拟人物的的形式呈现所述肢体动作。
本方式在确定动物反馈的行为特征所对应的交互意图后,并未直接将动物的交互意图进行输出,而是进一步结合场景特征确定翻译对象(即用户)的肢体语言,并通过展示肢体动作的方式将动物的交互意图转达给用户,使得用户能够更加迅速和准确地理解动物的交互意图,提高了人与动物沟通的有效性。
可选的,所述场景特征包括所述动物的身体特征和/或声音特征;在获得场景特征之后,所述方法还包括:根据所述动物的身体特征和/或声音特征判断所述动物的身体是否健康;在确定所述动物身体不健康时,从所述数据库中确定出健康预警对应的翻译事件,并执行所述健康预警对应的翻译事件,以实现将所述动物身体不健康的讯号传达给所述用户。
本方式能够主动将动物不好的身体状况传达给用户,进一步优化人与动物交互的体验。
第二方面,本发明实施例提供一种人与动物交互的装置,包括:获得单元,用于获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;处理单元,用于从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;所述获得单元,还用于获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;所述处理单元,还用于从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
可选的,所述训练事件为:执行预定的交互动作或播放预定的语音。
可选的,所述训练事件为:管理员在向所述动物表达所述第一交互意图时所执行的事件,或,同类动物在表达所述第一交互意图时所执行的事件。
可选的,所述处理单元还用于:在确定所述动物的第二交互意图之后,判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
可选的,所述场景特征包括所述用户的身体特征和/或声音特征。
可选的,所述处理单元用于:基于所述场景特征,确定所述用户的语种;从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息;以语音和/或文字的形式呈现所述语言信息。
可选的,所述处理单元用于:基于所述场景特征,确定所述用户的肢体语言;从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作;以虚拟人物的的形式呈现所述肢体动作。
第三方面,本发明实施例提供一种人与动物交互的设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本发明实施例技术方案在将用户的交互意图翻译为对应的训练事件传达给动物后,还采集动物对于该训练事件的反馈行为,并将动物反馈的行为翻译为人类语言传达给用户,提供了一种新的人与动物的交互体验,能够满足人与动物进行实时双向互动的需求,解决了现有技术存在的人与动物沟通不便的技术问题。并且,本发明实施例技术方案在确定动物反馈的行为特征所对应的交互意图后,并未直接将动物的交互意图进行输出,而是进一步结合场景特征对动物的交互意图进行解释,即从所述数据库中确定出在该场景特征下与动物交互意图相匹配的翻译事件,并执行所述翻译事件,实现将动物交互意图传达给所述用户,进一步提高了翻译的准确性,提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中人与动物交互的方法的流程示意图;
图2为本发明实施例中人与动物交互的装置的结构示意图;
图3为本发明实施例中人与动物交互的设备的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
需要理解的是,在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。在本发明实施例的描述中“多个”,是指两个或两个以上。
本发明实施例中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本发明实施例提供一种人与动物交互的方法,执行该方法的设备可以是手机、平板电脑、笔记本电脑、服务器、可穿戴式设备、音/视频播放设备等任何具有计算能力的电子设备,或者多个这样的电子设备组成的电子设备系统,本发明实施例不做具体限制。参照图1,该人与动物交互的方法包括:
步骤101:获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图。
其中,用户的行为特征可以包括用户的身体特征、声音特征等,本发明实施例不做具体限制,例如用户的手势动作、用户的面部表情、用户的语言等。当用户的行为特征包括用户的身体特征时,所述获得用户的行为特征包括:获得图像传感器采集的用户的图像信息,并从所述用户的图像信息中提取所述用户的身体特征;当用户的行为特征包括用户的声音特征时,所述获得用户的行为特征包括:获得声音传感器采集的用户的声音信息,并从所述用户的声音信息中提取所述用户的声音特征。在具体实施过程中,在图像信息或声音信息中提取特征时,为了提高特征提取的效率和准确性,还可以采用深度学习的方法进行特征提取,具体实现方式可以参照现有技术中深度学习的具体实现方法,本发明实施例不再进行详细介绍。
其中,在基于所述用户的行为特征确定所述用户的第一交互意图时,所述第一交互意图可以通过交互指令的形式来描述。例如,在识别到用户向海豚说“你好”后,将该用户的行为特征解释为“向海豚打招呼”;又例如,在识别到用户的脚步远离大熊猫并配有摆手动作时,将该用户的行为特征解释为“向大熊猫告别”;又例如,在识别到用户向狗狗投递狗粮时,该用户的行为特征解释为“向狗狗喂食”。
步骤102:从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物。
其中,所述训练事件具体可以为执行预定的交互动作或播放预定的语音。所述数据库可预先存储多种交互意图,以及与各交互意图与对应的训练事件。各交互意图匹配的训练事件可根据该领域专家或者饲养人员的经验总结确定,比如管理员在向所述动物表达所述第一交互意图时所执行的事件,或者,同类动物在表达所述第一交互意图时所执行的事件,本发明实施例对训练事件的具体形式不做限制。
例如,所述第一交互意图具体为“向狗狗喂食”,所述数据库中存储的“向狗狗喂食”对应的训练事件包括使用饲养员声音播放语音“开饭啦”;又例如,所述第一交互意图具体为“向海豚打招呼”,所述数据库中存储的“向海豚打招呼”对应的训练事件为饲养员使用左手做出指定的手势动作。
其中,执行所述训练事件具体可以通过音频、图像等的方式实现。例如,继续延用上述例子,在识别到用户向狗狗投递狗粮后,即确定第一交互意图具体为“向狗狗喂食”时,使用语音播放终端播放饲养员声音的语音片段“开饭啦”,使得狗狗能够理解到游客的行为是喂食;又例如,在识别到用户向海豚说“你好”后,即确定第一交互意图具体为“向海豚打招呼”时,使用视频播放终端播放饲养员使用左手做出指定的手势的动作画面,使得海豚能够理解到有人在向其打招呼。
当然,在具体实施过程中,执行训练事件的具体实现方法可以不限于音频、图像等形式,以上内容只是对本发明实施例执行训练事件的方法进行举例,不能用来限制本发明实施例的具体范围,比如执行训练事件的方式还可以是释放特殊味道的气体(比如食物的味道、管理员的味道等)、通过辅助装置执行具体的互动操作等等。
举一个具体的例子:假设饲养员在向海豚打招呼时习惯在做出预定手势后还投递小鱼喂食,那么数据库中定义的第一交互意图对应的训练事件具体可以为:饲养员左手做出指定的手势并投递小鱼喂食。那么在具体应用时,在识别到用户向海豚说“你好”后,除了上述控制视频播放终端播放饲养员使用左手做出指定的手势的动作画面外,还控制预先布置好的投食装置向海豚投递小鱼,使得海豚能够迅速、准确地理解人类在打招呼。
步骤103:获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图。
其中,动物的行为特征可以包括动物的身体特征、声音特征等,本发明实施例不做具体限制,例如动物的肢体动作、动物的面部表情、动物的声音等。当动物的行为特征包括动物的身体特征时,所述获得动物的行为特征包括:获得图像传感器采集的动物的图像信息,并从所述动物的图像信息中提取所述动物的身体特征;当动物的行为特征包括动物的声音特征时,所述获得动物的行为特征包括:获得声音传感器采集的动物的声音信息,并从所述动物的声音信息中提取所述动物的声音特征。在具体实施过程中,在图像信息或声音信息中提取动物的行为特征时,为了提高特征提取的效率和准确性,同样可采用深度学习的方法进行特征提取,具体实现方式可以参照现有技术中深度学习的具体实现方法,本发明实施例不再进行详细介绍。
其中,获得场景特征,包括:获得声音传感器采集的周围环境中的声音信息,并从采集到的声音信息中获取场景的声音特征;和/或,获得图像传感器采集的周围环境的图像信息,并从采集到的图像信息中获取场景的图像特征。在具体实施过程中,所述场景信息中还可以包括动物的行为信息,也就是说,采集动物的声音和/或图像信息可包括在采集场景信息步骤中,获得动物的行为信息和场景信息可通过一个采集装置执行一次采集任务完成。
其中,所述基于所述动物反馈的行为特征确定所述动物的第二交互意图时,所述第二交互意图也可以通过交互指令的形式来描述。例如,在向海豚传达了用户打招呼的意图后,如果识别到海豚拍打尾翼的动作,可确定该海豚在理解并回应了用户的招呼,即可确定第二交互意图为“回应人类的招呼”;又例如,在用户向狗狗投递狗粮后,如果识别到狗狗吃下狗粮的动作,可确定该狗狗接受了用户的喂食,即可确定第二交互意图为“感谢人类的喂食”。
步骤104:从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
在确定出动物的第二交互意图后,结合具体的场景特征,将动物的第二交互意图采用用户更容易理解的翻译方式进行翻译。比如,在场景特征包括用户的特征(如身体特征、声音特征等)时,可以基于所述用户的身体特征和/或声音特征,确定所述用户的肢体语言,从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作,并在视频图像中以虚拟人物的的形式呈现所述肢体动作。又比如,在场景特征包括用户的特征(如身体特征、声音特征等)时,可以基于所述用户的身体特征和/或声音特征,确定所述用户的语种,从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息,并以语音和/或文字的形式呈现所述语言信息。当然,在具体实施过程中,还可以将这两种方式进行结合,并以结合的方式进行实施,本发明实施例不做具体限制。
举两个具体的例子:
示例1,在用户向海豚打招呼后,识别到海豚拍打尾翼的动作,即确定海豚的交互意图为向用户打招呼时,与此同时,通过场景识别,还确定出用户是习惯使用英语的欧美人,那么在向用户传达动物的交互意图时,可以使用英语向用户打招呼,比如“hello”。
示例2,在用户向狗狗投递狗粮后,如果识别到狗狗吃下狗粮的动作,可确定该狗狗接受了用户的喂食,即可确定狗狗的交互意图为“感谢人类的喂食”,与此同时,通过场景识别,还是确定该用户是聋哑人,那么可以在视频上呈现一虚拟人物使用手语向用户表达“谢谢您的食物”的画面。
上述方案在将用户的交互意图翻译为对应的训练事件传达给动物后,还采集动物对于该训练事件的反馈行为,并将动物反馈的行为翻译为人类语言传达给用户,提供了一种新的人与动物的交互体验,能够满足人与动物进行实时双向互动的需求,因而解决了现有技术存在的人与动物沟通不便的技术问题。并且,上述方案在确定动物反馈的行为特征所对应的交互意图后,并未直接将动物的交互意图进行输出,而是进一步结合场景特征对动物的交互意图进行解释,即从所述数据库中确定出在该场景特征下与动物交互意图相匹配的翻译事件,并执行所述翻译事件,实现将动物交互意图传达给所述用户,进一步提高了翻译的准确性,提高了用户体验。
可选的,在执行上述步骤103采集声音、图像等信息以获得动物反馈的行为后,还可以直接将采集到的声音、图像等信息一并呈现给用户,进一步提高人与动物的交互体验。
可选的,在确定所述动物的第二交互意图之后,判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
也就是说,在执行上述步骤103之后,还可以进一步基于动物反馈的行为特征确定步骤102向动物转达第一交互意图的方式的是否准确,即确定数据库中存储的与第一交互意图匹配的训练事件是否精准,动物的反馈是否满足用户的预期;在确定转达方式不够准确时,调整更新数据库存储的第一交互意图匹配的训练事件。
在具体实施过程中,还可以设定一预定时长,用以检测动物的反馈行为是否在执行训练事件之后的预定时长范围内发生。如果检测到动物没有在执行训练事件之后的预定时长范围内执行用户预期的反馈行为,则调整数据库中与第一交互意图相匹配的训练事件,使得动物能够在在执行训练事件之后的预定时长内迅速准确地理解用户的第一交互意图并回应用户期望的反馈行为。
通过此方式可以在人与动物交互的过程中不断地完善数据库中训练事件,不断提高人类语言和动物语言相互转换的准确性,提高人与动物交互的体验。
可选的,以上步骤101至104是基于用户先发起交互行为时,人与动物交互的具体方法,在具体实施过程中,也可以是动物先发起交互行为。在动物先发起交互行为时,只需要将上述方法中的步骤顺序更变为:步骤103→步骤104→步骤101→步骤102。对应步骤的具体是实现方式可参照前文101至步骤104的具体实现方式,本发明实施例不再进行赘述。
举两个具体的例子:
1)在检测到大熊猫的表现出饥饿行为时,从数据库中确定出大熊猫饥饿预警对应的训练事件,并执行该训练事件,以将大熊猫饥饿的讯号主动传达给饲养员,比如播放“我饿了,需要食物”的语音;然后检测饲养员的行为以及饲养员所在的场景信息,如识别到饲养员正在为大熊猫准备食物,则将饲养员正在准备食物的讯号以音频的方式传达给大熊猫,让其耐心等待食物,安抚大熊猫情绪。
2)在检测到老虎在不断靠近游客时,从数据库中确定出老虎安全威胁对应的训练事件,并执行该训练事件,以将老虎对游客的安全威胁讯号主动传达给游客,如播放“我正在靠近你”的语音提示;然后检测游客的行为以及游客所在的场景信息,比如识别到游客说出“不要过来”语音,则将游客讯号翻译给老虎,比如播放管理员训退老虎不要靠近游客的语音。
本方式在将动物的交互意图翻译为对应的训练事件传达给用户后,还采集用户对于该训练事件的反馈行为,并将用户反馈的行为翻译为动物语言传达给动物,提供了一种新的人与动物的交互体验,能够满足人与动物进行实时双向互动的需求,解决了现有技术存在的人与动物沟通不便的技术问题。
基于同一发明构思,本发明实施例还提供一种人与动物交互的装置,参照图2,包括:
获得单元201,用于获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;
处理单元202,用于从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;
所述获得单元201,还用于获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;
所述处理单元202,还用于从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
可选的,所述训练事件为:执行预定的交互动作或播放预定的语音。
可选的,所述训练事件为:管理员在向所述动物表达所述第一交互意图时所执行的事件,或,同类动物在表达所述第一交互意图时所执行的事件。
可选的,所述处理单元202还用于:在确定所述动物的第二交互意图之后,判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
可选的,所述场景特征包括所述用户的身体特征和/或声音特征;
所述处理单元202用于:基于所述用户的身体特征和/或声音特征,确定所述用户的语种;从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息;以语音和/或文字的形式呈现所述语言信息。
可选的,所述场景特征包括所述用户的身体特征和/或声音特征;
所述处理单元202用于:基于所述用户的身体特征和/或声音特征,确定所述用户的肢体语言;从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作;以虚拟人物的的形式呈现所述肢体动作。
以上各单元所执行操作的具体实现方式可以参照本发明实施例上述人与动物交互的方法中对应的步骤,本发明实施例不再赘述。
本发明实施例还提供一种人与动物交互的设备,参照图3,包括:
至少一个处理器301,以及
与所述至少一个处理器301通信连接的存储器302;
其中,所述存储器302存储有可被所述至少一个处理器301执行的指令,所述至少一个处理器301通过执行所述存储器302存储的指令执行本发明实施例上述人与动物交互的方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行本发明实施例上述人与动物交互的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种人与动物交互的方法,其特征在于,包括:
获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;
从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;
获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;
从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
2.如权利要求1所述的方法,其特征在于,所述训练事件为:执行预定的交互动作或播放预定的语音。
3.如权利要求1所述的方法,其特征在于,在确定所述动物的第二交互意图之后,所述方法还包括:
判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;
在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
4.如权利要求1所述的方法,其特征在于,所述场景特征包括所述用户的身体特征和/或声音特征。
5.如权利要求1-4所述的方法,其特征在于,从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,包括:
基于所述场景特征,确定所述用户的语种;从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息;
所述执行所述翻译事件,包括:
以语音和/或文字的形式呈现所述语言信息。
6.如权利要求1-4任一项所述的方法,其特征在于,从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,包括:
基于所述场景特征,确定所述用户的肢体语言;从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作;
所述执行所述翻译事件,包括:
以虚拟人物的的形式呈现所述肢体动作。
7.一种人与动物交互的装置,其特征在于,包括:
获得单元,用于获得用户的行为特征,并基于所述用户的行为特征确定所述用户的第一交互意图;
处理单元,用于从数据库中确定出与所述第一交互意图相匹配的训练事件,并执行所述训练事件,以实现将所述第一交互意图传达给动物;
所述获得单元,还用于获得所述动物反馈的行为特征和场景特征,并基于所述动物反馈的行为特征确定所述动物的第二交互意图;
所述处理单元,还用于从所述数据库中确定出在所述场景特征下与所述第二交互意图相匹配的翻译事件,并执行所述翻译事件,以实现将所述第二交互意图传达给所述用户。
8.如权利要求7所述的装置,其特征在于,所述训练事件为:执行预定的交互动作或播放预定的语音。
9.如权利要求7所述的装置,其特征在于,所述处理单元还用于:
判断所述第二交互意图是否为所述用户期望所述动物回应的交互意图;
在确定所述第二交互意图不是所述用户期望所述动物回应的交互意图时,调整所述数据库中与所述第一交互意图相匹配的训练事件。
10.如权利要求7所述的方法,其特征在于,所述场景特征包括所述用户的身体特征和/或声音特征。
11.如权利要求7-10任一项所述的装置,其特征在于,所述处理单元用于:
基于所述场景特征,确定所述用户的语种;从所述数据库中确定出在使用所述语种表达所述第二意图时的语言信息;以语音和/或文字的形式呈现所述语言信息。
12.如权利要求7-10任一项所述的装置,其特征在于,所述处理单元用于:
基于所述场景特征,确定所述用户的肢体语言;从所述数据库中确定出在使用所述肢体语言表达所述第二意图时的肢体动作;以虚拟人物的的形式呈现所述肢体动作。
13.一种人与动物交互的设备,其特征在于,包括:
至少一个处理器,以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令执行权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810162453.2A CN110197103B (zh) | 2018-02-27 | 2018-02-27 | 一种人与动物交互的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810162453.2A CN110197103B (zh) | 2018-02-27 | 2018-02-27 | 一种人与动物交互的方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110197103A true CN110197103A (zh) | 2019-09-03 |
CN110197103B CN110197103B (zh) | 2021-04-23 |
Family
ID=67750894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810162453.2A Active CN110197103B (zh) | 2018-02-27 | 2018-02-27 | 一种人与动物交互的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110197103B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951787A (zh) * | 2020-07-31 | 2020-11-17 | 北京小米松果电子有限公司 | 语音输出方法、装置、存储介质和电子设备 |
CN112219746A (zh) * | 2020-11-11 | 2021-01-15 | 四川为民科技有限公司 | 一种动物行为训练交互方法及系统 |
CN112507157A (zh) * | 2020-11-28 | 2021-03-16 | 爱荔枝科技(北京)有限公司 | 一种动物间的翻译方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100231391A1 (en) * | 2009-03-12 | 2010-09-16 | Dror Jonathan Sinai | System and method for human dog communication |
CN105976821A (zh) * | 2016-06-17 | 2016-09-28 | 北京小米移动软件有限公司 | 动物语言识别方法和装置 |
CN107147736A (zh) * | 2017-06-09 | 2017-09-08 | 河海大学常州校区 | 用于增强动物与人主动交流的微系统及其工作方法 |
CN107368567A (zh) * | 2017-07-11 | 2017-11-21 | 深圳传音通讯有限公司 | 动物语言识别方法及用户终端 |
CN107423821A (zh) * | 2017-07-11 | 2017-12-01 | 李家宝 | 人类和动物交互的智能系统 |
CN107633846A (zh) * | 2016-07-15 | 2018-01-26 | 吴星宁 | 动物语言信息转换与识别的方法和装置 |
-
2018
- 2018-02-27 CN CN201810162453.2A patent/CN110197103B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100231391A1 (en) * | 2009-03-12 | 2010-09-16 | Dror Jonathan Sinai | System and method for human dog communication |
CN105976821A (zh) * | 2016-06-17 | 2016-09-28 | 北京小米移动软件有限公司 | 动物语言识别方法和装置 |
CN107633846A (zh) * | 2016-07-15 | 2018-01-26 | 吴星宁 | 动物语言信息转换与识别的方法和装置 |
CN107147736A (zh) * | 2017-06-09 | 2017-09-08 | 河海大学常州校区 | 用于增强动物与人主动交流的微系统及其工作方法 |
CN107368567A (zh) * | 2017-07-11 | 2017-11-21 | 深圳传音通讯有限公司 | 动物语言识别方法及用户终端 |
CN107423821A (zh) * | 2017-07-11 | 2017-12-01 | 李家宝 | 人类和动物交互的智能系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951787A (zh) * | 2020-07-31 | 2020-11-17 | 北京小米松果电子有限公司 | 语音输出方法、装置、存储介质和电子设备 |
CN112219746A (zh) * | 2020-11-11 | 2021-01-15 | 四川为民科技有限公司 | 一种动物行为训练交互方法及系统 |
CN112219746B (zh) * | 2020-11-11 | 2022-07-05 | 四川为民科技有限公司 | 一种动物行为训练交互方法及系统 |
CN112507157A (zh) * | 2020-11-28 | 2021-03-16 | 爱荔枝科技(北京)有限公司 | 一种动物间的翻译方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110197103B (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021169431A1 (zh) | 交互方法、装置、电子设备以及存储介质 | |
CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
CN109726624B (zh) | 身份认证方法、终端设备和计算机可读存储介质 | |
JP6902683B2 (ja) | 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器 | |
CN107369196B (zh) | 表情包制作方法、装置、存储介质及电子设备 | |
CN109635616B (zh) | 互动方法和设备 | |
US11511436B2 (en) | Robot control method and companion robot | |
CN109176535B (zh) | 基于智能机器人的交互方法及系统 | |
US20110112826A1 (en) | System and method for simulating expression of message | |
US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
CN105126355A (zh) | 儿童陪伴机器人与儿童陪伴系统 | |
CN110197103A (zh) | 一种人与动物交互的方法及装置 | |
CN109391842B (zh) | 一种配音方法、移动终端 | |
CN116704085B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN111467074A (zh) | 用于检测牲畜状态的方法和装置 | |
CN113313797A (zh) | 虚拟形象驱动方法、装置、电子设备和可读存储介质 | |
CN105388786B (zh) | 一种智能提线木偶偶人控制方法 | |
CN114567693A (zh) | 视频生成方法、装置和电子设备 | |
KR20190126552A (ko) | 반려동물의 감정상태에 대한 정보 제공 시스템 및 방법 | |
CN111079495B (zh) | 一种点读模式的开启方法及电子设备 | |
CN110992958B (zh) | 内容记录方法、装置、电子设备及存储介质 | |
WO2023065963A1 (zh) | 互动展示方法、装置、电子设备及可读介质 | |
CN111311713A (zh) | 漫画处理方法、显示方法、装置、终端及存储介质 | |
CN109905381A (zh) | 自助面试方法、相关装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |