CN105894873A - 一种面向智能机器人的儿童教学方法和装置 - Google Patents
一种面向智能机器人的儿童教学方法和装置 Download PDFInfo
- Publication number
- CN105894873A CN105894873A CN201610380245.0A CN201610380245A CN105894873A CN 105894873 A CN105894873 A CN 105894873A CN 201610380245 A CN201610380245 A CN 201610380245A CN 105894873 A CN105894873 A CN 105894873A
- Authority
- CN
- China
- Prior art keywords
- modal
- child
- teaching
- information
- instructional objectives
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009471 action Effects 0.000 claims description 20
- 239000000203 mixture Substances 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000013481 data capture Methods 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000010422 painting Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 239000003973 paint Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035922 thirst Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种面向智能机器人的儿童教学方法和装置。属于机器人技术领域,解决了现有的智能机器人的儿童教育功能存在很多不足,导致用户体验度较低的技术问题。该面向智能机器人的儿童教学方法包括:获取多模态输入数据;确认所述多模态输入数据中存在教学指示信息;根据所述教学指示信息获取教学目标;根据所述教学目标生成多模态输出数据并输出。
Description
技术领域
本发明涉及机器人技术领域,具体的说,涉及一种面向智能机器人的儿童教学方法和装置。
背景技术
随着信息技术、计算机技术以及人工智能技术的不断发展,智能机器人已经走入到医疗、保健、家庭、娱乐以及服务行业等与人们生活息息相关的领域。人们对于智能机器人的要求也越来越高,需要智能机器人具备更多的功能从而为人类生活提供更多的帮助。
目前,智能机器人技术在儿童教育领域的应用获得了越来越多的关注,但是现有的智能机器人的儿童教育功能尚存在很多不足,例如,教学功能和方式比较单一,不能进行深度的交互和信息获取,导致用户体验度较低。
因此,亟需一种能够提高用户体验的面向智能机器人的儿童教学方法和装置。
发明内容
本发明的目的在于提供一种面向智能机器人的儿童教学方法和装置,提高儿童教育的用户体验。
本发明提供一种面向智能机器人的儿童教学方法,该方法包括:
获取多模态输入数据;
确认所述多模态输入数据中存在教学指示信息;
根据所述教学指示信息获取教学目标;
根据所述教学目标生成多模态输出数据并输出。
当所述教学目标为文字时,在根据所述教学目标生成多模态输出数据并输出的步骤中包括:
识别所述教学目标中的文字信息;
根据所述文字信息生成朗读语音信息并输出。
当所述教学目标为图片时,在根据所述教学目标所述生成多模态输出数据并输出的步骤中包括:
识别所述教学目标中的图片;
根据所述图片进行检索,获取图片对应的文字信息;
根据所述文字信息生成朗读语音信息并输出。
根据所述教学目标生成多模态输出数据并输出之后,还包括:
接收用户针对所述多模态输出数据的问题信息;
解析所述问题信息,生成对所述问题信息进行答复的多模态信息并输出。
所述多模态输出数据包括:与所述教学目标相关联的肢体动作输出数据。
本发明还提供一种面向智能机器人的儿童教学装置,该装置包括:
数据获取单元,其用于获取多模态输入数据;
指示确认单元,其用于确认所述多模态输入数据中存在教学指示信息;
教学目标获取单元,其用于根据所述教学指示信息获取教学目标;
多模态输出单元,其用于根据所述教学目标生成多模态输出数据并输出。
所述多模态输出单元包括:
文字识别模块,其用于当所述教学目标为文字时,识别所述教学目标中的文字信息;
第一输出模块,其用于根据所述文字信息生成朗读语音信息并输出。
所述多模态输出单元包括:
图片识别模块,其用于当所述教学目标为图片时,识别所述教学目标中的图片;
检索模块,其用于根据所述图片进行检索,获取图片对应的文字信息;
第二输出模块,其用于根据所述文字信息生成朗读语音信息并输出。
本发明还提供的面向智能机器人的儿童教学装置还包括:
问题信息获取单元,其用于在根据所述教学目标生成多模态输出数据并输出之后,接收用户针对所述多模态输出数据的问题信息;
答复信息输出单元,其用于解析所述问题信息,生成对所述问题信息进行答复的多模态信息并输出。
所述多模态输出数据包括:与所述教学目标相关联的肢体动作输出数据。
本发明实施例提供的面向智能机器人的儿童教学方法和装置,针对现有的智能机器人的儿童教育功能和方式比较单一,不能进行深度的交互和信息获取,用户体验度低等问题。本发明通过用户的多模态输入数据以被动或主动方式触发儿童教学功能,然后基于身体识别、物体识别以及图像识别技术获取教学目标,基于儿童需求的教学内容和教学方式生成结合语音、图像和动作的多模态的教学行为输出,教学方式丰富多样,可以提高儿童的学习兴趣和学习效果。在教学的触发和进行过程中,机器人的行为模式更加拟人化,可以与儿童用户建立更为亲密的关系,可以提高教学的效果和儿童用户学习的积极性。并且,可以通过联网来实时获得最新的内容,从而与儿童用户进行关于教学内容的深度问答互动,充分发挥儿童的想象力,调动儿童的好奇心和求知欲,加深对教学内容的记忆,扩展获取知识的深度和广度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚的说明本发明实施例中的技术方案,下面将对实施例描述中所需要的附图做简单的介绍:
图1是本发明实施例提供的面向智能机器人的儿童教学方法的流程示意图;
图2是本发明实施例提供的面向智能机器人的儿童教学方法的应用示意图;
图3是本发明实施例提供的面向智能机器人的儿童教学装置的示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
本发明实施例提供一种面向智能机器人的儿童教学方法,该方法针对的用户群体为儿童。众所周知,儿童在思想、性格以及智力等方面的可塑性很强,儿童时期的教育将为人的一生打下重要的基础。因此,为儿童提供更丰富、更适宜的教学方法是儿童教育方面的重要环节,本发明实施例提供的面向智能机器人的儿童教学方法和装置,针对现有的智能机器人儿童教育功能的不足,丰富了教学功能,提高了用户体验,通过与机器人的深度交互,在教学中让儿童开阔视野,便于儿童进行思考和探索,并在这一过程中学习知识,锻炼能力。
本发明实施例提供的面向智能机器人的儿童教学方法,如图1所示,该方法包括:步骤101至步骤104。在步骤101中,获取多模态输入数据。所获取的多模态输入数据包括语音、视觉以及感应输入等相关信息,如来自用户的语言、文字、图像以及肢体动作,以及与交互环境相关的信息。
在步骤102中,确认多模态输入数据中存在教学指示信息。在本步骤中,对获取的多模态数据中的来自用户的语言、文字、图像、肢体动作以及当前交互环境信息进行识别,并分析其中是否存在教学指示信息。教学指示信息为从多模态输入数据中分析出的可以判断用户需要进行相应教学的相关多模态信息。也就是说通过对于多模态输入数据中的来自用户的语言、文字、图像或肢体动作结合交互环境判断用户是否有与机器人进行交互教学的需要。在确认多模态输入数据中存在教学指示信息时,也即表明当前用户需要与机器人进行交互教学,则进入相应的教学模式,并执行后续对应的教学步骤。
例如,儿童在进行阅读时,可以向机器人说:“请给我读一下这个故事。”机器人获取多模态数据,并对其进行识别,确认其中存在与阅读相关的教学指示信息,即确定当前儿童用户需要进行交互教学。或者,儿童可以通过对机器人的交互界面进行操作,如点击界面内的相关教学选项,机器人根据儿童用户的信息输入,进入相应的教学模式。又或者,机器人通过对多模态视觉输入的识别获知当前儿童用户正在进行阅读,或者准备开始进行阅读,如通过对儿童的动作和物体识别,获知儿童手捧书本正在阅读,或者正在打开书本准备阅读,则可确认儿童需要进行阅读的交互教学,也可根据上述信息通过多模态输出相应的教学需求询问,然后根据儿童用户的回答确认其是否有进行相应阅读教学的需求,进而选择是否进入相应的阅读教学模式。
在进行主动式的教学时,即用户没用明确的需要进行教学的意思表示,如上例中,和机器人说“请给我读一下这个故事”或对机器人进行相应的操作指示进入教学模式,而是机器人根据多模态数据识别出用户可能具有进行相关教学的需求,如上例中,通过对儿童的动作和物体识别,获知儿童手捧书本正在阅读,或者正在打开书本准备阅读,此时,教学指示信息的确认标准采用拟人化的方式认定,即模拟人与人交流和相处过程中,学习和交流的习惯,基于不呆板也不打扰的原则把握教学的切入时机。
例如,机器人识别到儿童在看书时,看某一页内容花的时间较长,阅读停滞不前,或伴随皱眉或挠头等动作,机器人获取到这些信息后,即可认为用户具有相应教学需求,进而对该书页内容主动进行教学,或者发出相应的需求询问:“小主人,这一页的内容需要我教给你吗?”从而与儿童用户在行为上达成默契,建立更为亲密的关系,提高教学的效果和儿童用户学习的积极性。
在步骤103中,根据教学指示信息获取教学目标。在确定当前用户有进行交互教学的需求后,进入相应的教学模式,首先获取教学目标,教学目标为需要进行教学的内容和方式。
在本步骤中,在获取教学目标中的教学内容时,需要采用身体识别和物体识别技术对教学内容进行定位,然后通过图像识别技术对所定位的位置进行具体内容的识别。例如,当儿童用手指指向书本上某段文字时,通过身体和物体识别技术识别到手指的形状和动作,得知儿童正在用手指指向某段文字,并且通过对于手指指甲的识别确认手指的方向和指向的位置,进而确定教学目标位置。然后通过图像识别对目标位置的具体内容进行识别,获知目标位置的是一段文字。又或者,用户用笔指向书本上的一幅画,机器人可通过身体和物体识别技术识别到手和笔的形状和动作特征,进而确定笔所指向的教学目标位置,然后通过图像识别获知所指位置是一幅图片。
在本步骤中,对教学指示信息进行分析获取其中的教学目标,例如,通过对于多模态输入数据的识别分析获得描述用户正在用手指着一本书中的一个词语,并且同时向机器人说:“这个词怎么念”的教学指示信息,确认该生词读法教学需求的教学指示信息后,根据该教学指示信息分析获取相应教学目标,在本例的教学目标中,该词语为教学内容,教儿童该词语的读法为教学方式,然后根据教儿童该词语的读法的教学目标,进行相应的输出。
又如,通过对于多模态输入数据的识别分析获得描述用户正在用手指着一本书中的一个词语“耄耋”,并且同时向机器人询问说:“耄耋是什么意思”的教学指示信息,确认该词语释义教学需求的教学指示信息后,根据该教学指示信息分析获取相应教学目标,在本例的教学目标中,该词语“耄耋”为教学内容,教儿童该词语的释义为教学方式,然后根据教儿童该词语的释义的教学目标,进行相应的输出。
在步骤104中,根据教学目标生成多模态输出数据并输出。在本步骤中,基于步骤103中识别获取的教学目标生成针对教学内容进行相应教学方式的教学行为多模态数据并输出。
进一步的,上述步骤103中通过图像识别对于定位的教学目标的内容进行具体识别,当识别出教学目标为文字时,则在本步骤中,首先,识别教学目标中的文字信息,即对教学内容进行文字识别,得知其具体内容。然后,根据识别出的文字信息生成朗读语音信息并输出,即通过语音输出将该文字朗读出来。
进一步的,当识别出教学目标为图片时,则在本步骤中,首先,识别教学目标中的图片。然后,根据图片的识别结果进行检索,获取图片对应的文字信息,如图片的相关讲解、出处、对应的故事以及相关联内容的介绍等文字。相应的检索的可以通过网络或数据库查询或其他智能机器人的数据获取方式进行。最后,根据检索到的文字信息生成朗读语音信息并输出,即通过语音输出将检索到的文字朗读出来。
如步骤103中的例举,根据教儿童该词语的读法的教学目标,机器人识别该词语,然后将该词语朗读给儿童听。或,根据教儿童词语的释义的教学目标,机器人识别该词语“耄耋”,然后通过数据库或网络等方式查询“耄耋”的释义文字,然后将该释义文字朗读给儿童听。
同样的,上述例举的两种方式也可以进行结合,例如,当儿童指向书本中的一首唐诗,并需要机器人进行朗读教学时,机器人可以识别所指诗句文字,并朗读该唐诗,同时,可根据识别到的该唐诗的文字查询相关的文字释义,进而在唐诗朗读的过程中,穿插讲解诗句中的文字释义,从而使儿童对于文字的学习更加深入和立体。
在本步骤中,对于文字信息的朗读讲解通过从文本到语言(Text To Speech,TTS)技术实现,其通过神经网络的设计,对文本文件进行实时转换,把文字智能地转化为自然语音流。
进一步的,在本发明实施例提供的面向智能机器人的儿童教学方法,在步骤104根据教学目标生成多模态输出数据并输出之后,还包括与用户进行教学相关内容的问答过程。在该问答过程中,首先,接收用户针对多模态输出数据的问题信息,其中包括来自用户的通过语言、文字、图像以及肢体动作等方式提出的有关于步骤104中教学行为输出的问题信息。如机器人在进行完唐诗朗读的教学行为后,用户对于所朗读的唐诗的诗句的释义提出相应的语音询问:“这句诗是什么意思?”或者对于唐诗的出处提出的询问:“这首诗的作者是谁,是哪个朝代的?”等等。
然后,解析上述问题信息,生成对问题信息进行答复的多模态信息并输出。即对用户的提出的问题进行语义解析,以获知用户想要询问的内容是什么,然后可以进行相应的检索查询,生成答复问题的多模态信息输出。可以通过语音回答,也可以通过屏幕显示答复内容,或者其他方式以及上述多种方式的结合来与用户进行关于教学内容的深度问答。
当然,问答话题的内容并不局限于步骤104中输出的教学行为的内容中,随着问答交互过程的深入,可以进行更加深入的百科问答。例如,如机器人在进行完唐诗朗读的教学行为后,儿童对于所朗读的唐诗的出处提出的询问:“这首诗的作者是谁,是哪个朝代的?”机器人查询并生成相应的答复输出:“作者是李白,是唐代伟大的浪漫主义诗人,被后人誉为诗仙,与杜甫并称为李杜。”儿童可以根据该答复继续提问:“那杜甫又是谁?”机器人查询并生成相应的答复输出:“杜甫是唐代伟大的现实主义诗人。”儿童可以进行思考后提出更深入的问题:“那浪漫和现实又是什么意思?”机器人则可根据该问题进行更加深入的解答,通过机器人在上述教学行为之后与用户进行的深入问答交互过程,可以充分发挥儿童的想象力,调动儿童的好奇心和求知欲,加深对教学内容的记忆,扩展获取知识的深度和广度。
进一步的,在本发明实施例中,步骤104中多模态输出数据中包括有与教学目标相关联的肢体动作输出数据。机器人在进行相关的教学行为输出时,可以通过语音输出、通过显示界面显示文字或者图片输出、通过动作输出以及上述方式的结合方式输出。
例如,当儿童用手指指向书本上某段文字,需要机器人进行朗读教学时,机器人识别到教学目标位置,进而识别所指文字并朗读,与此同时,机器人输出相应的动作,将自身手指指向教学目标位置,并伴随朗读以相同速度移动自身手指,即读到哪里指到哪里。
又如,当儿童用手指指向书本上某个词语,需要机器人进行讲解教学时,机器人识别所指文字并查询释义,并将查询到的释义文字朗读出来,与此同时,机器人可通过自身显示界面同时将查询到的释义文字显示出来,并且输出相应的动作,将自身手指指向自身显示界面上,并伴随朗读文字将自身手指移动到正在朗读的文字上,以使得儿童可以清楚的学到哪个字读什么音,加深学习效果。
通过这种语音、画面与动作结合的多模态拟人输出方式,可以使儿童在学习过程中注意力更加集中,加深记忆,提高学习兴趣。
下面以儿童绘本阅读教育场景对本发明实施例提供的面向智能机器人的儿童教学方法做更为具体的说明。儿童绘本阅读,是近几年非常火的亲子教育场景,但是,由于家长阅读技能和知识的欠缺,以及家长陪伴孩子时间有限,儿童在绘本阅读时往往不能获得最佳的阅读效果,所以我们尝试通过本发明实施例提供的面向智能机器人的儿童教学方法来提高儿童绘本阅读的体验效果。
在该场景中,如图2所示,首先执行步骤101,获取多模态输入数据。其中包括儿童的语音、动作、交互环境场景信息以及儿童向机器人输入的指示信息。
然后执行步骤102,确认上述获取的多模态输入数据中存在绘本阅读教学指示信息。若儿童说想要进行绘本阅读教学的相关内容,或通过机器人操作界面输入进行绘本阅读的指令,则机器人通过对多模态输入数据的分析确认存在上述绘本阅读教学指示信息,继而进入绘本阅读教学模式。或者,机器人通过多模态输入数据识别出儿童当前正在阅读绘本,则基于当前儿童用户的习惯(喜欢在看绘本时参与教学)确认存在绘本阅读的教学指示信息,继而进入绘本阅读教学模式。
下面执行步骤103,根据绘本阅读教学指示信息获取教学目标。即同时执行步骤1031和步骤1032,基于绘本阅读的教学指示信息获取教学内容和教学方式。由于儿童绘本以绘画为主,并附有少量的文字,因此,教学内容可能是文字,也可能是图片。在获取教学内容时,通过身体识别和物体识别确认儿童在绘本上所指的目标区域,然后通过图像识别得知目标区域内是文字还是图片,继而结合不同的教学方式生成不同的输出。
教学方式的获取基于绘本阅读的教学指示信息获得,若儿童说“这个怎么读”“这个是什么意思”或通过其他多模态输入方式表示明确的教学方式需求,则即可获取相应的朗读和讲解教学方式。若教学目标为图片,则可以以检索图片,获取图片对应的文字信息并朗读的教学方式为常态。
进而,执行教学行为输出步骤。当教学目标为绘本上的文字,教学方式为朗读时,执行步骤1041,对目标文字进行文字识别,生成朗读文字的多模态输出数据并输出,将目标文字朗读给儿童听,同时,机器人将手指指向目标文字区域,随着朗读文字的速度移动手指,使其始终指向正朗读出的文字上。
当教学目标为绘本上文字,教学方式为讲解时,执行步骤1042,对目标文字进行文字识别,根据识别结果进行释义检索,获取目标文字释义文字,生成朗读目标文字释义的多模态输出数据并输出,将目标文字的释义文字朗读给儿童听,同时,机器人通过自身显示界面将目标文字释义显示出来,将自身手指指向显示界面上正在被朗读的文字上。
当教学目标为绘本上的图片时,教学方式为检索绘本图片,获取绘本图片对应的信息文字,然后朗读。绘本图片对应的信息文字可以通过联网进行公共信息搜索,或者对接到相关内容合作方的内容数据库来获取,其可能是图片对应的相关故事文字。此时,执行步骤1043,对目标区域的绘本图片进行识别,获取对应的相关故事文字信息,生成朗读图片相关故事的多模态输出数据并输出,将相关故事文字信息朗读给儿童听,同时,机器人通过自身显示界面将相关故事文字信息显示出来,将自身手指指向显示界面上正在被朗读的文字上。
在执行上述步骤后,机器人还可以接收用户针对上述朗读的绘本文字、绘本文字的释义、绘本图片相关的故事内容的问题信息,然后解析上述问题信息,生成对问题信息进行答复的多模态信息并输出。从而为儿童用户提供关于绘本阅读内容的更加深入的问答交互。
本发明实施例还提供一种面向智能机器人的儿童教学装置,如图3所示,该装置包括:数据获取单元1、指示确认单元2、教学目标获取单元3以及多模态输出单元4。其中,数据获取单元1用于获取多模态输入数据。指示确认单元2用于确认多模态输入数据中存在教学指示信息。教学目标获取单元3用于根据教学指示信息获取教学目标。多模态输出单元4用于根据教学目标生成多模态输出数据并输出。
其中,多模态输出数据包括:与教学目标相关联的肢体动作输出数据。
进一步的,在本发明实施例中,多模态输出单元4包括:文字识别模块和第一输出模块。其中,文字识别模块用于当教学目标为文字时,识别教学目标中的文字信息。第一输出模块用于根据文字信息生成朗读语音信息并输出。
进一步的,多模态输出单元还包括:图片识别模块、检索模块以及第二输出模块。其中,图片识别模块用于当教学目标为图片时,识别教学目标中的图片。检索模块用于根据图片进行检索,获取图片对应的文字信息。第二输出模块用于根据文字信息生成朗读语音信息并输出。
进一步的,本发明实施例提供的面向智能机器人的儿童教学装置还包括:问题信息获取单元和答复信息输出单元。问题信息获取单元用于在根据教学目标生成多模态输出数据并输出之后,接收用户针对多模态输出数据的问题信息。答复信息输出单元用于解析问题信息,生成对问题信息进行答复的多模态信息并输出。
本发明实施例提供的面向智能机器人的儿童教学方法和装置,针对现有的智能机器人的儿童教育功能和方式比较单一,不能进行深度的交互和信息获取,用户体验度低等问题。本发明通过用户的多模态输入数据基于身体识别、物体识别以及图像识别技术获取教学目标,基于儿童需求的教学内容和教学方式生成结合语音、图像和动作的多模态的教学行为输出,教学方式丰富多样,可以提高儿童的学习兴趣和学习效果。在教学的触发和进行过程中,机器人的行为模式更加拟人化,可以与儿童用户建立更为亲密的关系,可以提高教学的效果和儿童用户学习的积极性。并且,可以通过联网来实时获得最新的内容,从而与儿童用户进行关于教学内容的深度问答互动,充分发挥儿童的想象力,调动儿童的好奇心和求知欲,加深对教学内容的记忆,扩展获取知识的深度和广度。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种面向智能机器人的儿童教学方法,其特征在于,包括:
获取多模态输入数据;
确认所述多模态输入数据中存在教学指示信息;
根据所述教学指示信息获取教学目标;
根据所述教学目标生成多模态输出数据并输出。
2.根据权利要求1所述的面向智能机器人的儿童教学方法,其特征在于,当所述教学目标为文字时,在根据所述教学目标生成多模态输出数据并输出的步骤中包括:
识别所述教学目标中的文字信息;
根据所述文字信息生成朗读语音信息并输出。
3.根据权利要求1所述的面向智能机器人的儿童教学方法,其特征在于,当所述教学目标为图片时,在根据所述教学目标所述生成多模态输出数据并输出的步骤中包括:
识别所述教学目标中的图片;
根据所述图片进行检索,获取图片对应的文字信息;
根据所述文字信息生成朗读语音信息并输出。
4.根据权利要求1所述的面向智能机器人的儿童教学方法,其特征在于,根据所述教学目标生成多模态输出数据并输出之后,还包括:
接收用户针对所述多模态输出数据的问题信息;
解析所述问题信息,生成对所述问题信息进行答复的多模态信息并输出。
5.根据权利要求1所述的面向智能机器人的儿童教学方法,其特征在于,所述多模态输出数据包括:与所述教学目标相关联的肢体动作输出数据。
6.一种面向智能机器人的儿童教学装置,其特征在于,包括:
数据获取单元,其用于获取多模态输入数据;
指示确认单元,其用于确认所述多模态输入数据中存在教学指示信息;
教学目标获取单元,其用于根据所述教学指示信息获取教学目标;
多模态输出单元,其用于根据所述教学目标生成多模态输出数据并输出。
7.根据权利要求6所述的面向智能机器人的儿童教学装置,其特征在于,所述多模态输出单元包括:
文字识别模块,其用于当所述教学目标为文字时,识别所述教学目标中的文字信息;
第一输出模块,其用于根据所述文字信息生成朗读语音信息并输出。
8.根据权利要求6所述的面向智能机器人的儿童教学装置,其特征在于,所述多模态输出单元包括:
图片识别模块,其用于当所述教学目标为图片时,识别所述教学目标中的图片;
检索模块,其用于根据所述图片进行检索,获取图片对应的文字信息;
第二输出模块,其用于根据所述文字信息生成朗读语音信息并输出。
9.根据权利要求6所述的面向智能机器人的儿童教学装置,其特征在于,还包括:
问题信息获取单元,其用于在根据所述教学目标生成多模态输出数据并输出之后,接收用户针对所述多模态输出数据的问题信息;
答复信息输出单元,其用于解析所述问题信息,生成对所述问题信息进行答复的多模态信息并输出。
10.根据权利要求6所述的面向智能机器人的儿童教学装置,其特征在于,所述多模态输出数据包括:与所述教学目标相关联的肢体动作输出数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610380245.0A CN105894873A (zh) | 2016-06-01 | 2016-06-01 | 一种面向智能机器人的儿童教学方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610380245.0A CN105894873A (zh) | 2016-06-01 | 2016-06-01 | 一种面向智能机器人的儿童教学方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105894873A true CN105894873A (zh) | 2016-08-24 |
Family
ID=56710423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610380245.0A Pending CN105894873A (zh) | 2016-06-01 | 2016-06-01 | 一种面向智能机器人的儿童教学方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105894873A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106781721A (zh) * | 2017-03-24 | 2017-05-31 | 北京光年无限科技有限公司 | 一种基于机器人的儿童英语交互方法以及机器人 |
CN107016402A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN107016046A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 基于视觉场景化的智能机器人对话方法及系统 |
CN107085734A (zh) * | 2017-05-24 | 2017-08-22 | 南京华设科技股份有限公司 | 智能业务受理机器人 |
CN107992507A (zh) * | 2017-03-09 | 2018-05-04 | 北京物灵智能科技有限公司 | 一种儿童智能对话学习方法、系统及电子设备 |
CN108231059A (zh) * | 2017-11-27 | 2018-06-29 | 北京搜狗科技发展有限公司 | 处理方法和装置、用于处理的装置 |
CN109065019A (zh) * | 2018-08-27 | 2018-12-21 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法及系统 |
CN109147433A (zh) * | 2018-10-25 | 2019-01-04 | 重庆鲁班机器人技术研究院有限公司 | 儿童语言辅助教学方法、装置及机器人 |
CN109741645A (zh) * | 2019-03-15 | 2019-05-10 | 山东顺势教育科技有限公司 | Ai机器人引导及互动对话教学系统 |
CN109857929A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN109871450A (zh) * | 2019-01-11 | 2019-06-11 | 北京光年无限科技有限公司 | 基于绘本阅读的多模态交互方法及系统 |
CN109934867A (zh) * | 2019-03-11 | 2019-06-25 | 深圳前海达闼云端智能科技有限公司 | 一种图像讲解的方法、终端和计算机可读存储介质 |
CN110010127A (zh) * | 2019-04-01 | 2019-07-12 | 北京儒博科技有限公司 | 场景切换方法、装置、设备和存储介质 |
CN110111648A (zh) * | 2019-04-17 | 2019-08-09 | 吉林大学珠海学院 | 一种编程训练系统及方法 |
CN110427945A (zh) * | 2019-06-27 | 2019-11-08 | 福州瑞芯微电子股份有限公司 | 一种基于实物及手势的交互方法和计算机设备 |
CN110610627A (zh) * | 2019-09-29 | 2019-12-24 | 苏州思必驰信息科技有限公司 | 启发式诗词学习方法及装置 |
CN112148836A (zh) * | 2020-09-07 | 2020-12-29 | 北京字节跳动网络技术有限公司 | 多模态信息处理方法、装置、设备及存储介质 |
CN113031762A (zh) * | 2021-03-05 | 2021-06-25 | 马鞍山状元郎电子科技有限公司 | 一种感应互动教育方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060257830A1 (en) * | 2005-05-13 | 2006-11-16 | Chyi-Yeu Lin | Spelling robot |
CN101064070A (zh) * | 2006-04-26 | 2007-10-31 | 杭州草莓资讯有限公司 | 互动式智慧型语言教学玩偶 |
CN102077260A (zh) * | 2008-06-27 | 2011-05-25 | 悠进机器人股份公司 | 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法 |
CN103280126A (zh) * | 2013-05-14 | 2013-09-04 | 郑州英博锐电子技术有限公司 | 一种智能互动早教系统 |
CN103914996A (zh) * | 2014-04-24 | 2014-07-09 | 广东小天才科技有限公司 | 一种从图片获取文字学习资料的方法和装置 |
-
2016
- 2016-06-01 CN CN201610380245.0A patent/CN105894873A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060257830A1 (en) * | 2005-05-13 | 2006-11-16 | Chyi-Yeu Lin | Spelling robot |
CN101064070A (zh) * | 2006-04-26 | 2007-10-31 | 杭州草莓资讯有限公司 | 互动式智慧型语言教学玩偶 |
CN102077260A (zh) * | 2008-06-27 | 2011-05-25 | 悠进机器人股份公司 | 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法 |
CN103280126A (zh) * | 2013-05-14 | 2013-09-04 | 郑州英博锐电子技术有限公司 | 一种智能互动早教系统 |
CN103914996A (zh) * | 2014-04-24 | 2014-07-09 | 广东小天才科技有限公司 | 一种从图片获取文字学习资料的方法和装置 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016402A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN107016046A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 基于视觉场景化的智能机器人对话方法及系统 |
CN107992507A (zh) * | 2017-03-09 | 2018-05-04 | 北京物灵智能科技有限公司 | 一种儿童智能对话学习方法、系统及电子设备 |
CN106781721A (zh) * | 2017-03-24 | 2017-05-31 | 北京光年无限科技有限公司 | 一种基于机器人的儿童英语交互方法以及机器人 |
CN107085734A (zh) * | 2017-05-24 | 2017-08-22 | 南京华设科技股份有限公司 | 智能业务受理机器人 |
CN108231059A (zh) * | 2017-11-27 | 2018-06-29 | 北京搜狗科技发展有限公司 | 处理方法和装置、用于处理的装置 |
CN109065019A (zh) * | 2018-08-27 | 2018-12-21 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法及系统 |
CN109065019B (zh) * | 2018-08-27 | 2021-06-15 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法及系统 |
CN109147433A (zh) * | 2018-10-25 | 2019-01-04 | 重庆鲁班机器人技术研究院有限公司 | 儿童语言辅助教学方法、装置及机器人 |
CN109857929B (zh) * | 2018-12-29 | 2021-06-15 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
CN109857929A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN109871450A (zh) * | 2019-01-11 | 2019-06-11 | 北京光年无限科技有限公司 | 基于绘本阅读的多模态交互方法及系统 |
CN109871450B (zh) * | 2019-01-11 | 2021-10-19 | 北京光年无限科技有限公司 | 基于绘本阅读的多模态交互方法及系统 |
CN109934867A (zh) * | 2019-03-11 | 2019-06-25 | 深圳前海达闼云端智能科技有限公司 | 一种图像讲解的方法、终端和计算机可读存储介质 |
CN109934867B (zh) * | 2019-03-11 | 2021-11-09 | 达闼机器人有限公司 | 一种图像讲解的方法、终端和计算机可读存储介质 |
CN109741645A (zh) * | 2019-03-15 | 2019-05-10 | 山东顺势教育科技有限公司 | Ai机器人引导及互动对话教学系统 |
CN110010127A (zh) * | 2019-04-01 | 2019-07-12 | 北京儒博科技有限公司 | 场景切换方法、装置、设备和存储介质 |
CN110111648A (zh) * | 2019-04-17 | 2019-08-09 | 吉林大学珠海学院 | 一种编程训练系统及方法 |
CN110427945A (zh) * | 2019-06-27 | 2019-11-08 | 福州瑞芯微电子股份有限公司 | 一种基于实物及手势的交互方法和计算机设备 |
CN110610627A (zh) * | 2019-09-29 | 2019-12-24 | 苏州思必驰信息科技有限公司 | 启发式诗词学习方法及装置 |
CN112148836A (zh) * | 2020-09-07 | 2020-12-29 | 北京字节跳动网络技术有限公司 | 多模态信息处理方法、装置、设备及存储介质 |
CN113031762A (zh) * | 2021-03-05 | 2021-06-25 | 马鞍山状元郎电子科技有限公司 | 一种感应互动教育方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105894873A (zh) | 一种面向智能机器人的儿童教学方法和装置 | |
CN105632251B (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
Wegerif | Dialogue and teaching thinking with technology: Opening, expanding and deepening the ‘inter-face’ | |
CN106097793B (zh) | 一种面向智能机器人的儿童教学方法和装置 | |
Shotter | More than cool reason:‘Withness-thinking’or ‘systemic thinking’and ‘thinking about systems’ | |
JP2018014094A (ja) | 仮想ロボットのインタラクション方法、システム及びロボット | |
Hodges | Righting language: a view from ecological psychology | |
CN106057023A (zh) | 一种面向智能机器人的儿童教学方法和装置 | |
Whitfield | The micro grasp and macro gestus strategy as a facilitation of dyslexia in actor-training: Reconstructing the written text when performing Shakespeare | |
Hubbard et al. | Child-robot interaction to integrate reflective storytelling into creative play | |
Michaels et al. | Narratives and Inscriptions: Cultural tools, power and powerful sense-making: Sarah Michaels and Richard Sohmer | |
CN104361132B (zh) | 一种语言数据处理方法及装置 | |
CN110379234A (zh) | 一种学习辅导方法及装置 | |
Vossoughi et al. | Writing as a social act: The feedback relation as a context for political and ethical becoming | |
Johansen et al. | Characterising soundscape research in human-computer interaction | |
Gong | [Retracted] Application of Multimedia Human‐Computer Interaction Technology in Preschool Children Drama Education | |
Blancas et al. | Analyzing children's expectations from robotic companions in educational settings | |
Doumanis et al. | An empirical study on the effects of embodied conversational agents on user retention performance and perception in a simulated mobile environment | |
Magyar et al. | Towards adaptive cloud-based platform for robotic assistants in education | |
Budiarti et al. | Analysis of Figurative Language on Song Lyrics Provided in “Pathway to English” Textbook Published by Erlangga for Eleventh Grades of Senior High School | |
Edlund | In search for the conversational homunculus: serving to understand spoken human face-to-face interaction | |
Robson et al. | On Mediating Space, Sound and Experience: Interviews with situated sound art practitioners | |
Read | A study of non-linguistic utterances for social human-robot interaction | |
Cameron et al. | Children’s age influences their use of biological and mechanical questions towards a humanoid | |
Rowe et al. | Methods of Performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160824 |
|
RJ01 | Rejection of invention patent application after publication |