CN110286835A - 一种具有意图理解功能的交互式智能容器 - Google Patents

一种具有意图理解功能的交互式智能容器 Download PDF

Info

Publication number
CN110286835A
CN110286835A CN201910548006.5A CN201910548006A CN110286835A CN 110286835 A CN110286835 A CN 110286835A CN 201910548006 A CN201910548006 A CN 201910548006A CN 110286835 A CN110286835 A CN 110286835A
Authority
CN
China
Prior art keywords
user
intention
tac
intelligent container
reagent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910548006.5A
Other languages
English (en)
Other versions
CN110286835B (zh
Inventor
冯志全
袁杰
冯仕昌
范雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201910548006.5A priority Critical patent/CN110286835B/zh
Publication of CN110286835A publication Critical patent/CN110286835A/zh
Application granted granted Critical
Publication of CN110286835B publication Critical patent/CN110286835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；感知模块用于获取智能容器的触觉信息以及通过语音输入输出设备获取语音信息。识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；意图融合模块采用类比推理的方式，得到用户的准确意图，并纠正教学导航。交互应用模块根据用户的意图呈现不同的实验效果，本发明设计了一种具有意图理解功能的交互式智能容器，以及研究适用于化学实验的多模态融合模型与算法，形成多模态感知的导航式虚实融合智能实验系统。本发明采用触觉信息和语音信息的意图融合，使人机交互更加自然。

Description

一种具有意图理解功能的交互式智能容器
技术领域
本发明属于智能容器技术领域，特别涉及一种具有意图理解功能的交互式智能容器。
背景技术
随着信息技术的不断发展，虚拟教学相继进入教师和学生的教学环境中。化学、物理、生物等抽象科目，都可以应用到虚拟教学环境当中。化学是一门以实验为基础的学科，化学实验是进行科学探究的主要方式。学习化学需要通过化学实验来掌握大部分抽象得化学知识。然而，在现实生活往往面临化学实验过程危险、部分国家与地区教学资金不足和设备缺乏等问题，这些原因导致学校不会开设实验课，老师仅通过实验视频来完成教学任务。在某些情况下，虚拟实验室代替传统实验室已经成为一种趋势，学生往往可以在实验平台中，重复练习化学实验，这样就可以避免资源浪费和对学生健康造成危害。目前已有得虚拟实验室大体可以分为:非沉浸式和沉浸式。
虚拟实验已经进入我们的学习与生活，虚拟实验室为学生提供了一个安全的实验环境而不浪费资源。Fowler等证明了化学实验教学能够有效地应用于虚拟世界。Ramos S等为了解决各个国家教育水平不同的问题，建立了一个VirtuaLabQ的虚拟实验室，改善了学生的学习。Ullah S等证明在虚拟环境中的指导可以增强学生的学习，提高他们在现实世界中的表现。Xiaoming D等将虚拟实验与学习评估融合，提高了学生的自主学习能力。Hou HT等将增强现实与虚拟实验室相结合，证明了学生在游戏后学习成绩有明显提高。Ifthinan等探究了学生在探究性的虚拟试验室下的使用效果，实验结果表明，使用虚拟化学实验软件的学生更容易回答与实际技术相关的化学问题，更加专注于实验。我们可以得出将虚拟化学实验用于教学是可行的，在某种程度上优于传统的教学。在将多种通道加入虚拟实验方面，Mayer R E等等人探索了视觉和听觉双通道下人的学习效率的问题。Jones J M G证明触觉在人认知和学习的过程中有重要作用。Sato M等将触觉引入虚拟教学。Ali N等等人将建立了一个多模态的虚拟化学实验室，将视觉和听觉结合起来。Aldosari S S等将触觉和手势引入虚拟化学实验中。Isabwe等提出了多模态交互，将视觉、听觉和动觉加入虚拟实验中，提高学生在多模式交互的环境中学习的兴趣。通过以上，我们可以得出在虚拟现实中使用多模态交互可以提高学生的学习兴趣和实验效果。意图理解是人机交互中关键问题之一，使用多模态融合的方法，是计算机理解感知人的意图问题的解决方法之一。路璐等提出了一种融合触觉、听觉、视觉的多通道信息认知加工模型，并提出了多通道交互的分层处理模型，得到了良好的实验效果。为解决虚拟环境下，多模式交互使传统事件驱动系统复杂化，增加用户认知操作符合，Ge等通过观察实际操作过程并分析意图表达，构建了一个意图驱动系统。实验结果表明，意图驱动系统比传统的事件驱动系统更有效，并且能够准确地表达用户的想法。同时，Mounir等[34]为解决虚拟环境下用户认知和操作负担过重，将复杂事件处理(CEP)的技术和方法应用到多模态系统的输入事件，系统生成的事件将基于规则转化为意图，提高了虚拟环境下人机交互的自然度和效率。Mollaret等提出了一种新颖的检测人的互动意图的方法，该方法使用基于概率离散状态隐马尔科夫模型，融合了包括头部姿态、肩部方向、和声音多模态线索，是机器人更容易理解用户意图。Mollaret等提出了一种基于多模态感知的机器人系统框架，利用视觉和语音理解用户意图。
现有的虚拟实验教学系统，一般都通过鼠标、手指、手柄等设备进行人机交互，完成实验任务。然而，这些教学平台中往往存在用户只是移动和操控虚拟的物体，真实的操作感不强。同时，用户需要一定时间的学习才可以掌握系统的操作，增加了用户的负担。另外，像浓硫酸的强腐蚀性的试剂，正确的操作方式和错误的操作方式会产生完全不同的化学反应效果，对容器及操作方式要求都很高。
发明内容
本发明提出了一种具有意图理解功能的交互式智能容器，通过一套新型的实验设备，并应用于虚拟实验系统，采用触觉信息和语音信息的意图融合，检测用户的行为，理解用户的意图，使人机交互更加自然。
为了实现上述目的，本发明提出的一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；
所述感知模块通过设置在智能容器上触摸传感器感知加入的试剂、通过设置在智能容器上第一姿态传感器的角速度检测倾倒试剂的速度、通过设置在玻璃棒上的第二姿态传感器检测用户搅拌试剂的速度以获取触觉信息；通过语音输入输出设备获取语音信息；
所述识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；所述五元组的输出包括当前用户输入的语音意图、当前用户输入的触觉信息以及当前教学的步骤；所述数据库信息包括语音命令库、教学导航库和触觉感知库；
所述意图融合模块采用类比推理的方式，根据五元组的输出采用融合算法得到用户的准确意图或者模糊意图，然后再对模糊意图，让用户重新确认，得到二元组，将二元组和所述数据库信息重新比对得到用户的准确意图，并纠正教学导航；
所述交互应用模块用于根据用户的意图呈现不同的实验效果，根据不同的倾倒试剂速度、以及不同搅拌试剂的速度呈现不同的实验效果。
进一步的，所述触摸传感器设置在智能容器的侧壁上，且所述触摸传感器的数量为若干个；所述第一姿态传感器设置在智能容器的底部；所述第二姿态传感器设置在玻璃棒远离搅拌液体的一端。
进一步的，识别模块将输入的触觉信息和语音信息表示成是三元组，所述三元组为Interact_In＝(Step，Aud，Tac)；所述Step为当前教学导航信息；所述Aud为用户语音信息；所述Tac为触觉信息；
然后将三元组和数据库信息进行比对得出五元组的输出；其中语音命令库包括Sel_c1，Sel_c2，Fb_y，Fb_n；教学导航库包括正确步骤Step_t和错误步骤Step_f；触觉感知库包括Tac_1，Tac_2；所述五元组的输出为Compare_Data＝(S，A1，A2，T1，T2)；S＝(Step∩Stept)；A1＝(Aud∩Selc1)；A2＝(Aud∩Selc2)；T1＝(Tac∩Tac1)；T2＝(Tac∩Tac2)；所述S为当前教学的步骤；所述A1和A2分别为当前用户输入的语音意图中加入不同的试剂；所述T1和T2分别为当前用户输入的触觉信息中加入不同的试剂。
进一步的，在意图融合模块中，将五元组Compare_Data＝(S，A1，A2，T1，T2)代入F(S，A1，A2，T1，T2)；得到
当F(S，A1，A2，T1，T2)＝1时，为用户的准确意图为B1；继续教学导航，再通过算法得到用户意图B2；当F(S，A1，A2，T1，T2)＝0时,为用户的模糊意图；将用户当前的行为反馈给用户，让用户重新选择，使用二元组Again_In-(Aud，Tac),通过与所述数据库信息重新做比对得到一个新的Compare_Datanew＝(A1new，A2new，T1new，T2new),A1new＝(Aud∩Fb_y)；A2new＝(Aud∩Fb_n)；T1new＝(Tac∩Tac1)；T2new＝(Tac∩Tac2)；将A1new∪A2new∪T1new∪T2new
得到用户的准确意图B1；计算M＝S∩B1,当当M为1是继续当前教学导航，当M为0时，纠正教学导航进入错误步骤导航，预测用户错误的实验步骤；
纠正教学导航后，产生的三元组Interact_In＝(Step，Aud，Tac)；再与所述数据库信息对比后，使S＝Step∩Step_f，从而得出五元组Compare_Data＝(S，A1，A2，T1，T2)，再通过融合算法得到用户意图B2。
进一步的，在进行倾倒试剂时，第一智能容器P1和第二智能容器P2均同时存在试剂。
进一步的，在进行倾倒试剂时，设置倾倒速度的阈值ε1，倾倒速度的计算公式为：所述x，y，z分别为姿态传感器在x轴，y轴，z轴的角速度；
当ω1＜ε1时，用户倾倒速率缓慢，呈现缓慢倾倒试剂的动画；
当ω1＞ε1时，用户倾倒速率快速，呈现快速倾倒试剂的动画。
进一步的，在进行搅拌试剂时，采用玻璃棒进行搅拌，选择玻璃棒速度的阈值ε2，则所述玻璃棒搅拌速度的计算公式为：
所述a，b，c分别为第二姿态传感器在x轴，y轴，z轴的角速度；
当ω2＜ε2时，用户缓慢搅拌，会呈现缓慢搅拌的动画；
当ω2＞ε2时，用户快速搅拌，会呈现快速搅拌的动画。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例提出了一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；感知模块通过设置在智能容器上触摸传感器感知加入的试剂、通过设置在智能容器上第一姿态传感器的角速度检测倾倒试剂的速度、通过设置在玻璃棒上的第二姿态传感器检测用户搅拌试剂的速度以获取触觉信息；通过语音输入输出设备获取语音信息。识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；五元组的输出包括当前用户输入的语音意图、当前用户输入的触觉信息以及当前教学的步骤；数据库信息包括语音命令库、教学导航库和触觉感知库。意图融合模块采用类比推理的方式，根据五元组的输出采用融合算法得到用户的准确意图或者模糊意图，然后再对模糊意图，让用户重新确认，得到二元组，将二元组和数据库信息重新比对得到用户的准确意图，并纠正教学导航。交互应用模块用于根据用户的意图呈现不同的实验效果，根据不同的倾倒试剂速度、以及不同搅拌试剂的速度呈现不同的实验效果。本发明设计了一套实验设备或工具，使之具有较强的感知与认知能力,以及研究一个适用于化学实验的多模态融合模型与算法，构建实验设备认知模块的核心引擎，最终形成一个多模态感知的导航式虚实融合智能实验系统。本发明采用触觉信息和语音信息的意图融合，检测用户的行为，理解用户的意图，提高用户的真实体验感，使人机交互更加自然。
附图说明
附图1是本发明实施例1提出的一种具有意图理解功能的交互式智能容器系统框架图；
附图2是本发明实施例1提出的一种具有意图理解功能的交互式智能容器的硬件结构图；
附图3是本发明实施例1提出的选择试剂的多模态融合意图理解的示意图；
附图4是本发明实施例1提出的一种具有意图理解功能的交互式智能容器的系统架构图；
附图5是本发明实施例1提出的一种具有意图理解功能的交互式智能容器感知模块中的数据库信息表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
本发明提出了一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；
感知模块通过设置在智能容器上触摸传感器感知加入的试剂、通过设置在智能容器上第一姿态传感器的角速度检测倾倒试剂的速度、通过设置在玻璃棒上的第二姿态传感器检测用户搅拌试剂的速度以获取触觉信息；通过语音输入输出设备获取语音信息。
识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；五元组的输出包括当前用户输入的语音意图、当前用户输入的触觉信息以及当前教学的步骤；数据库信息包括语音命令库、教学导航库和触觉感知库。
意图融合模块采用类比推理的方式，根据五元组的输出采用融合算法得到用户的准确意图或者模糊意图，然后再对模糊意图，让用户重新确认，得到二元组，将二元组和数据库信息重新比对得到用户的准确意图，并纠正教学导航。
交互应用模块用于根据用户的意图呈现不同的实验效果，根据不同的倾倒试剂速度、以及不同搅拌试剂的速度呈现不同的实验效果。
附图1给出了本发明实施例1提出的一种具有意图理解功能的交互式智能容器系统框架图；针对稀释浓硫酸的实验，我们设计了一套新型的实验设备：智能烧杯和智能玻璃棒。附图2给出了本发明实施例1提出的一种具有意图理解功能的交互式智能容器的硬件结构图。在智能烧杯的侧壁上设置若干个触摸传感器，在智能烧杯的底部设置第一姿态传感器，在玻璃棒远离搅拌液体的一端设置第二姿态传感器。设置在智能容器上触摸传感器感知加入的试剂，设置在智能容器上第一姿态传感器的角速度检测倾倒试剂的速度，设置在玻璃棒上的第二姿态传感器检测用户搅拌试剂的速度，通过智能烧杯和智能玻璃棒来检测用户的行为感知。
通过本发明提出的一套新型的实验设备：智能烧杯和智能玻璃棒，采用多通道的方式进行教学。同时获取语音信息，将触觉信息和语音信息进行多模态意图融合。附图3给出了本发明实施例1提出的选择试剂的多模态融合意图理解的示意图；选择试剂的通道分为触觉和听觉，触觉使用触摸传感器进行试剂的选择，听觉使用语音进行试剂的选择。然后使用融合算法对触觉信息和听觉信息融合。融合结果放入意图理解模型，然后计算机通过屏幕和语音播报的方式反馈给用户，如果用户选择错误，则进行重新选择，防止用户误选。
本发明选择择稀释浓硫酸，则在试剂选择过程中存在顺序，稀释过程有一定的要求。正确的浓硫酸稀释的操作过程为：将浓硫酸沿器壁缓慢倒入水中，并是用玻璃棒缓慢搅拌。在浓硫酸稀释的过程中，不同的试剂倾倒选择，倾倒过程的错误操作和玻璃棒搅拌的错误操作，会导致不同的实验效果。首先，检测两个烧杯中是否具有化学试剂，并且提示基础性错误，避免学生未加入化学试剂就开始进行操作的错误，其次，使用烧杯上的姿态传感器来检测用户倾倒的速度和用玻璃棒上的姿态传感器检测用户搅拌的速度，通过不同化学试剂和不同的操作映射不同的实验结果。期间我们选择在虚拟实验的同时，播放真实的实验录像，增加用户的信任。由于我们使用虚实融合的方法，化学反应将在屏幕中显示，这里我们选择放大实验效果，让用户可以体验到更加明显地实验效果，发现实验过程中的机理机制。
附图4给出了本发明实施例1提出的一种具有意图理解功能的交互式智能容器的系统架构图。
识别模块将输入的触觉信息和语音信息表示成是三元组，三元组为Interact_In＝(Step，Aud，Tac)；其中Step为当前教学导航信息；Aud为用户语音信息；Tac为触觉信息。然后将三元组与数据库信息作比对，我们根据稀释浓硫酸实验的需求设计了四个语音命令库，两个教学导航库和两个触觉感知库。附图5给出了本发明实施例1提出的一种具有意图理解功能的交互式智能容器感知模块中的数据库信息表。根据不同语言会表达同一个语义的特点，我们分别根据同一语义建立不同语音命令库Swl_c1，Sel_c2，Fb_y，Fb_n。根据稀释浓硫酸实验过程将两种化学试剂相互倾倒，建立教学导航库，一种为正确步骤Step_t,一种为错误步骤Step_f。两种化学试剂建立两个触觉感知库Tac_1，Tac_2。用户刚开始使用系统时，默认进行正确步骤的化学实验导航，用户进入系统开始实验选择化学试剂后，智能容器接收到一个三元组Interact_In＝(Step，Aud，Tac)，然后将三元组和数据库信息进行比对得出五元组的输出；五元组的输出为Compare_Data＝(S，A1，A2，T1，T2)；S＝(Step∩Stept)；A1＝(Aud∩Selc1)；A2＝(Aud∩Selo2)；T1＝(Tac∩Tac1)；T2＝(Tac∩Tac2)；其中S为当前教学的步骤；A1为当前用户输入的语音信息加入浓硫酸、A2为当前用户输入的语音信息加入水，T1为当前用户输入的触觉信息中加入浓硫酸，T2为当前用户输入的触觉信息中加入水。
本发明的多模态意图理解，在理解出用户模糊意图时进行意图反馈，是因为在人们的学习中，会产生类比推理，类比推理在人们的认识活动中有重要作用，它能够启发人们的思维。用户使用化学试验系统后，会根据已有的认知进行类比推理。由于所选取的稀释浓硫酸的实验，正确的步骤是将浓硫酸注入水中。因此，会出现用户想要将水注入浓硫酸这种情况。
在意图融合模块中，将五元组Compare_Data＝(S，A1，A2，T1，T2)代入F(S，A1，A2，T1，T2)；得到
当F(S，A1，A2，T1，T2)＝1时，为用户的准确意图为B1；继续教学导航，再通过算法得到用户意图B2；当F(S，A1，A2，T1，T2)＝0时,为用户的模糊意图；将用户当前的行为反馈给用户，让用户重新选择，当用户二次选择，我们选择让用户使用语音或者触觉确认这次选择是否正确。二次选择时我们使用二元组Again_In＝(Aud，Tac),通过与数据库信息重新做比对得到一个新的Compare_Datanew＝(A1new，A2new，T1new，T2new),A1new＝(Aud∩Fb_y)；A2new＝(Aud∩Fb_n)；T1new＝(Tac∩Tac1)；T2new＝(Tac∩Tac2)；将A1new∪A2new∪T1new∪T2new得到用户的准确意图B1；计算M＝S∩B1,当M为1是继续当前教学导航，当M为0时，纠正教学导航进入错误步骤导航，预测用户错误的实验步骤，即将水加入浓硫酸；
纠正教学导航后，产生的三元组Interact_In＝(Step，Aud，Tac)；再与数据库信息对比后，使S＝Step∩Step_f，从而得出五元组Compare_Data＝(S，A1，A2，T1，T2)，再通过融合算法得到用户意图B2。
另外，当五元组Compare_Data＝(S，A1，A2，T1，T2)中，为空时，智能容器仅通过输入的触觉信息实现意图融合。以此实现触觉为主，语音为辅的智能化学试验系统。最终通过多模态意图感知层得到当前烧杯加入的化学试剂B。
在进行倾倒试剂时，第一智能容器P1和第二智能容器P2均同时存在试剂。
通过感知模块，得到用户选择化学试剂部分的结果B1，B2。稀释浓硫酸实验中，将浓硫酸注入水和将水注入浓硫酸是两种截然不同的反应，因此我们会根据B1，B2中试剂的选择呈现出不同的化学反应。同时，在用户操作部分，根据用户不同的操作，也会有不同的反应。由于我们采用虚实结合的方式，在化学实验的操作方面，我们面临动画与录像的一致性，用户行为与动画的一致性。对于动画与录像的一致性，我们选择通过控制播放录像来与烧杯倾倒的动作相对一致；对于用户行为与动画的一致性，我们选择了用户舒适的倾倒时间来设置动画。尽可能地做到人动动画动录像动，给用户一定的真实感，而不是虚拟的假的化学实验的感觉。
在进行倾倒试剂时，设置倾倒速度的阈值ε1，倾倒速度的计算公式为：其中x，y，z分别为姿态传感器在x轴，y轴，z轴的角速度；
当ω1＜ε1时，用户倾倒速率缓慢，呈现缓慢倾倒试剂的动画；
当ω1＞ε1时，用户倾倒速率快速，呈现快速倾倒试剂的动画。
在进行倾倒试剂的同时，采用玻璃棒进行搅拌试剂，选择玻璃棒速度的阈值ε2，则玻璃棒搅拌速度的计算公式为：
其中a，b，c分别为第二姿态传感器在x轴，y轴，z轴的角速度；
当ω2＜ε2时，用户缓慢搅拌，会呈现缓慢搅拌的动画；
当ω2＞ε2时，用户快速搅拌，会呈现快速搅拌的动画。与用户的行为一一对应，即用户动动画动，用户停动画停。
在化学实验反应部分，我们根据两个烧杯内的化学试剂，操作过程中的倾倒速度ω1和搅拌速度ω2分别匹配到不同的反应效果。对于化学实验的反应效果，我们采取的方式是夸大实验效果，以此来让用户可以清楚的看到化学反应，让用户观察到真实反映观察不到的现象比如热。
本发明从多模态意图感知的角度出发，针对目前虚拟化学实验平台操作感不强的现状，采用虚实融合的方法，来提高用户的真是操作感。设计并实现一种具有意图理解功能的交互式智能容器，提出一种多模态融合模型与算法，并提出了一种具有意图理解功能的交互式智能容器导航式实验过程交互范式。在用户使用系统的过程中，我们可以通过多模态融合算法对用户行为进行意图感知，利用信息增强技术，实现关键现象的呈现与解释，并可以在用户实验过程中，对用户的错误操作提示与可视化。通过导航式实验过程交互范式，学生可以自主进行实验学习，我们采用虚实融合的方法，既有传统实验过程的操作感，又可以避免在在传统实验过程中的危险。
以上内容仅仅是对本发明的结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种具有意图理解功能的交互式智能容器，其特征在于，包括感知模块、识别模块、意图融合模块和交互应用模块；
所述感知模块通过设置在智能容器上触摸传感器感知加入的试剂、通过设置在智能容器上第一姿态传感器的角速度检测倾倒试剂的速度、通过设置在玻璃棒上的第二姿态传感器检测用户搅拌试剂的速度以获取触觉信息；通过语音输入输出设备获取语音信息；
所述识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；所述五元组的输出包括当前用户输入的语音意图、当前用户输入的触觉信息以及当前教学的步骤；所述数据库信息包括语音命令库、教学导航库和触觉感知库；
所述意图融合模块采用类比推理的方式，根据五元组的输出采用融合算法得到用户的准确意图或者模糊意图，然后再对模糊意图，让用户重新确认，得到二元组，将二元组和所述数据库信息重新比对得到用户的准确意图，并纠正教学导航；
所述交互应用模块用于根据用户的意图呈现不同的实验效果，根据不同的倾倒试剂速度、以及不同搅拌试剂的速度呈现不同的实验效果。
2.根据权利要求1所述的一种具有意图理解功能的交互式智能容器，其特征在于，所述触摸传感器设置在智能容器的侧壁上，且所述触摸传感器的数量为若干个；所述第一姿态传感器设置在智能容器的底部；所述第二姿态传感器设置在玻璃棒远离搅拌液体的一端。
3.根据权利要求1所述的一种具有意图理解功能的交互式智能容器，其特征在于，识别模块将输入的触觉信息和语音信息表示成是三元组，所述三元组为Interact_In＝(Step，Aud，Tac)；所述Step为当前教学导航信息；所述Aud为用户语音信息；所述Tac为触觉信息；
然后将三元组和数据库信息进行比对得出五元组的输出；其中语音命令库包括Sel_c1，Sel_c2，Fb_y，Fb_n；教学导航库包括正确步骤Step_t和错误步骤Step_f；触觉感知库包括Tac_1，Tac_2；所述五元组的输出为Compare_Data＝(S，A1，A2，T1，T2)；S＝(Step∩Stept)；A1＝(Aud∩Selc1)；A2＝(Aud∩Selc2)；T1＝(Tac∩Tac1)；T2＝(Tac∩Tac2)；所述S为当前教学的步骤；所述A1和A2分别为当前用户输入的语音意图中加入不同的试剂；所述T1和T2分别为当前用户输入的触觉信息中加入不同的试剂。
4.根据权利要求1所述的一种具有意图理解功能的交互式智能容器，其特征在于，在意图融合模块中，将五元组Compare_Data＝(S，A1，A2，T1，T2)代入F(S，A1，A2，T1，T2)；得到
当F(S，A1，A2，T1，T2)＝1时，为用户的准确意图为B1；继续教学导航，再通过算法得到用户意图B2；当F(S，A1，A2，T1，T2)＝0时，为用户的模糊意图；将用户当前的行为反馈给用户，让用户重新选择，使用二元组Again_In＝(Aud，Tac)，通过与所述数据库信息重新做比对得到一个新的Compare_Datanew＝(A1new，A2new，T1new，T2new)，A1new＝(Aud∩Fb_y)；A2new＝(Aud∩Fb_n)；T1new＝(Tac∩Tac1)；T2new＝(Tac∩Tac2)；将A1new∪A2new∪T1new∪T2new得到用户的准确意图B1；计算M＝S∩B1，当M为1是继续当前教学导航，当M为0时，纠正教学导航进入错误步骤导航，预测用户错误的实验步骤；
纠正教学导航后，产生的三元组Interact_In＝(Step，Aud，Tac)；再与所述数据库信息对比后，使S＝Step∩Step_f，从而得出五元组Compare_Data＝(S，A1，A2，T1，T2)，再通过融合算法得到用户意图B2。
5.根据权利要求4所述的一种具有意图理解功能的交互式智能容器，其特征在于，当五元组Compare_Data＝(S，A1，A2，T1，T2)中，为空时，所述智能容器通过输入的触觉信息实现意图融合。
6.根据权利要求1所述的一种具有意图理解功能的交互式智能容器，其特征在于，在进行倾倒试剂时，第一智能容器P1和第二智能容器P2均同时存在试剂。
7.根据权利要求6所述的一种具有意图理解功能的交互式智能容器，其特征在于，在进行倾倒试剂时，设置倾倒速度的阈值ε1，倾倒速度的计算公式为：所述x，y，z分别为姿态传感器在x轴，y轴，z轴的角速度；
当ω1＜ε1时，用户倾倒速率缓慢，呈现缓慢倾倒试剂的动画；
当ω1＞ε1时，用户倾倒速率快速，呈现快速倾倒试剂的动画。
8.根据权利要求7所述的一种具有意图理解功能的交互式智能容器，其特征在于，在进行搅拌试剂时，采用玻璃棒进行搅拌，选择玻璃棒速度的阈值ε2，则所述玻璃棒搅拌速度的计算公式为：所述a，b，c分别为第二姿态传感器在x轴，y轴，z轴的角速度；
当ω2＜ε2时，用户缓慢搅拌，会呈现缓慢搅拌的动画；
当ω2＞ε2时，用户快速搅拌，会呈现快速搅拌的动画。
CN201910548006.5A 2019-06-21 2019-06-21 一种具有意图理解功能的交互式智能容器 Active CN110286835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548006.5A CN110286835B (zh) 2019-06-21 2019-06-21 一种具有意图理解功能的交互式智能容器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548006.5A CN110286835B (zh) 2019-06-21 2019-06-21 一种具有意图理解功能的交互式智能容器

Publications (2)

Publication Number Publication Date
CN110286835A true CN110286835A (zh) 2019-09-27
CN110286835B CN110286835B (zh) 2022-06-17

Family

ID=68005093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548006.5A Active CN110286835B (zh) 2019-06-21 2019-06-21 一种具有意图理解功能的交互式智能容器

Country Status (1)

Country Link
CN (1) CN110286835B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814095A (zh) * 2020-06-23 2020-10-23 济南大学 一种虚拟实验中的探究式交互算法
CN112099633A (zh) * 2020-09-16 2020-12-18 济南大学 一种多模态感知的智能实验方法及装置
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112783477A (zh) * 2021-01-28 2021-05-11 江南大学 实验器材驱动软件架构的构建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030191608A1 (en) * 2001-04-30 2003-10-09 Anderson Mark Stephen Data processing and observation system
CN1564536A (zh) * 2004-03-18 2005-01-12 上海交通大学 基于攻防和视频组播技术的网络化交互式教学实验方法
US20080168014A1 (en) * 2006-12-27 2008-07-10 Bhagat Phiroz M Catalyst discovery through pattern recognition-based modeling and data analysis
CN104517489A (zh) * 2013-09-28 2015-04-15 南京专创知识产权服务有限公司 教学用虚拟实验台
CN105336233A (zh) * 2015-11-24 2016-02-17 华中科技大学 一种虚拟仿真教学应用平台
US20170140669A1 (en) * 2015-11-13 2017-05-18 International Business Machines Corporation Virtual lab for hands-on learning using tangible user interactions
WO2017107010A1 (zh) * 2015-12-21 2017-06-29 浙江核新同花顺网络信息股份有限公司 基于事件回测的信息分析系统及方法
CN108710346A (zh) * 2018-04-08 2018-10-26 中国科学院自动化研究所 基于虚拟融合的汽车总装线智能化监控装置与方法
CN109550476A (zh) * 2018-12-05 2019-04-02 济南大学 一种双支智能实验试管套件及其应用
CN109841122A (zh) * 2019-03-19 2019-06-04 深圳市播闪科技有限公司 一种智能机器人教学系统及学生学习方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030191608A1 (en) * 2001-04-30 2003-10-09 Anderson Mark Stephen Data processing and observation system
CN1564536A (zh) * 2004-03-18 2005-01-12 上海交通大学 基于攻防和视频组播技术的网络化交互式教学实验方法
US20080168014A1 (en) * 2006-12-27 2008-07-10 Bhagat Phiroz M Catalyst discovery through pattern recognition-based modeling and data analysis
CN104517489A (zh) * 2013-09-28 2015-04-15 南京专创知识产权服务有限公司 教学用虚拟实验台
US20170140669A1 (en) * 2015-11-13 2017-05-18 International Business Machines Corporation Virtual lab for hands-on learning using tangible user interactions
CN105336233A (zh) * 2015-11-24 2016-02-17 华中科技大学 一种虚拟仿真教学应用平台
WO2017107010A1 (zh) * 2015-12-21 2017-06-29 浙江核新同花顺网络信息股份有限公司 基于事件回测的信息分析系统及方法
CN108710346A (zh) * 2018-04-08 2018-10-26 中国科学院自动化研究所 基于虚拟融合的汽车总装线智能化监控装置与方法
CN109550476A (zh) * 2018-12-05 2019-04-02 济南大学 一种双支智能实验试管套件及其应用
CN109841122A (zh) * 2019-03-19 2019-06-04 深圳市播闪科技有限公司 一种智能机器人教学系统及学生学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NUMAN ALI等: "3D Interactive Virtual Chemistry Laboratory for Simulation of High School Experiments", 《JOURNAL OF LATEX CLASS FILES》 *
冯志全 等: "手势识别研究综述", 《济南大学学报( 自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814095A (zh) * 2020-06-23 2020-10-23 济南大学 一种虚拟实验中的探究式交互算法
CN112099633A (zh) * 2020-09-16 2020-12-18 济南大学 一种多模态感知的智能实验方法及装置
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112295617B (zh) * 2020-09-18 2022-04-01 济南大学 一种基于实验场景态势感知的智能烧杯
CN112783477A (zh) * 2021-01-28 2021-05-11 江南大学 实验器材驱动软件架构的构建方法

Also Published As

Publication number Publication date
CN110286835B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110286835A (zh) 一种具有意图理解功能的交互式智能容器
Suzuki et al. AlgoBlock: a tangible programming language, a tool for collaborative learning
Dong et al. An elicitation study on gesture preferences and memorability toward a practical hand-gesture vocabulary for smart televisions
CN110554774A (zh) 一种面向ar的导航式交互范式系统
Zheng et al. Real time gesture based 3D graphics user interface for CAD modeling system
CN109992107B (zh) 虚拟操控装置及其操控方法
CN110286764A (zh) 一种多模态融合实验系统及其使用方法
US20190318659A1 (en) Hands-On Laboratory and Demonstration Equipment with a Hybrid Virtual/Augmented Environment, Along With Their Methods of Use
CN110286763A (zh) 一种具有认知功能的导航式实验交互装置
Jung et al. A review on interaction techniques in virtual environments
CN111665941A (zh) 一种面向虚拟实验的多模态语义融合人机交互系统和方法
Bogosian et al. Work in progress: towards an immersive robotics training for the future of architecture, engineering, and construction workforce
CN110286762A (zh) 一种具有多模态信息处理功能的虚拟实验平台
CN110075519A (zh) 虚拟现实中的信息处理方法及装置、存储介质及电子设备
Veselic et al. Human-robot interaction with robust prediction of movement intention surpasses manual control
Vultur et al. Real-time gestural interface for navigation in virtual environment
Wagner et al. An empirical evaluation of a vocal user interface for programming by voice
Bradley et al. Older user errors in handheld touchscreen devices: to what extent is prediction possible?
Mihov et al. STEM ROBOTICS IN PRIMARY SCHOOL.
CN112748800B (zh) 一种基于智能手套的实验场景感知交互方法
Zeng et al. Research on intelligent experimental equipment and key algorithms based on multimodal fusion perception
CN111968470B (zh) 一种面向虚实融合的闯关交互式实验方法和系统
CN110196642B (zh) 一种基于意图理解模型的导航式虚拟显微镜
Touretzky Robotics for computer scientists: what’s the big idea?
LaViola Jr et al. Multimodal input for perceptual user interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant