CN110286765A - 一种智能实验容器及其使用方法 - Google Patents

一种智能实验容器及其使用方法 Download PDF

Info

Publication number
CN110286765A
CN110286765A CN201910544619.1A CN201910544619A CN110286765A CN 110286765 A CN110286765 A CN 110286765A CN 201910544619 A CN201910544619 A CN 201910544619A CN 110286765 A CN110286765 A CN 110286765A
Authority
CN
China
Prior art keywords
image
module
information
value
turn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910544619.1A
Other languages
English (en)
Other versions
CN110286765B (zh
Inventor
冯志全
孟俊宏
冯仕昌
杨晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201910544619.1A priority Critical patent/CN110286765B/zh
Publication of CN110286765A publication Critical patent/CN110286765A/zh
Application granted granted Critical
Publication of CN110286765B publication Critical patent/CN110286765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/24Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for chemistry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能实验容器及其使用方法,所述智能实验容器包括容器本体和控制模块,所述容器本体包括杯体,所述杯体外壁设置触摸传感器,所述杯体内侧设置摄像头、光源和流体物,所述摄像头和光源设置在杯体顶部,流体物设置在杯体底部;所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息,构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略,更加准确理解用户意图,实现自然的人机交互,可以及时纠正用户的错误操作,并通过语音合成模块引导其进行正确的实验操作。

Description

一种智能实验容器及其使用方法
技术领域
本发明涉及虚拟实验教学环境领域,具体涉及一种智能实验容器及其使用方法。
背景技术
随着计算机技术和网络技术的迅速发展,虚拟实验教学环境的研究已经成为了当前研究的一个新热点,将传统的化学实验采用虚拟仿真的技术模拟出来,可以加深学生对知识的理解。
在中学化学实验的教学中,需要通过倾倒物质,来让同学们观察某两种或多种化学物质混合的现象。目前的智能实验容器使用时,学生只能按部就班地进行规定的实验步骤操作,无法试探性完成实验,而且不能纠正用户的错误操作。
发明内容
为了解决上述技术问题,本发明提供了一种智能实验容器及其使用方法,能够多通道融合用户意图,并指导用户操作。
为实现上述目的,本发明采用以下技术方案:
一种智能实验容器,包括容器本体和控制模块,
所述容器本体包括杯体,所述杯体外壁设置触摸传感器,所述杯体内侧设置摄像头、光源和流体物,所述摄像头和光源设置在杯体顶部,流体物设置在杯体底部;
所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块;
所述视觉模块获取摄像头采集的图像信息,对图像进行处理,计算容器的倾斜角度;
所述听觉模块通过麦克风获取用户语音,实现语音识别,提取用户操作意图;通过语音合成,以语音形式向用户反馈当前实验操作状态;
所述触觉模块获取触摸传感器采集的触觉信息,实现对容器中流体物的物质选择功能;
所述信息融合模块包括行为库和交互库,所述行为库包括由“动作-对象”组成的动宾格式行为,所述交互库包括容器的视觉、听觉和触觉通道设备信息和应用场景信息;所述信息融合模块获取视觉模块、听觉模块和触觉模块处理的信息,与行为库中的动作和对象匹配,构建完整的用户行为。
进一步地,所述杯体内壁上还设置有方向标识片,方向标识片颜色与流体物颜色不同,用于识别容器的倾斜方向。
进一步地,所述杯体外侧还设置有红外测距传感器,所述红外测距传感器设置在杯体底部,用于计算不同容器间的距离。
本发明还提供了一种智能实验容器的使用方法,其特征是,具体步骤包括:
1)获取用户视觉、听觉或触觉信息;
2)对获取信息进行预处理并提取特征,作为当前事件;视觉信息提取图像特定颜色面积信息,听觉信息提取关键词语义信息,触觉信息提取选择的传感器编号信息;
3)根据关键词模板判断当前事件的优先级,比较当前事件与前一事件的优先级;若当前事件优先级高于前一事件,则独立执行当前事件对应指令任务,转8);若当前事件优先级不高于前一事件,则当前事件与前一事件进行信息互补融合,转4);
4)将提取的特征放入交互库中匹配相应通道模块信息,并给相应的信息加以通道编号的标签;
5)进入行为库匹配相应动作集Action与对象集Object;
6)判断当前事件与在前事件的动作与对象是否构成完整行为,若行为完整,转7);否则,利用语音合成模块询问用户,转1);
7)若当前事件与前一事件的通道编号的标签不同,判断两个事件的动作和对象是否相同,若动作或对象不同,利用语音合成模块提示报错,转1);否则转入8);
8)执行动作-对象对应行为。
进一步地,所述视觉信息提取方法包括图像去噪、图像高光去除和计算特定颜色面积。
进一步地,所述图像去噪方法包括求中值和中值滤波,采用3×3窗口,
所述求中值步骤具体为:
11)输入九个像素点;
12)初始化数组arr[9],分别将九个像素点的值依次赋给该数组;
13)对数组arr进行希尔排序;
14)返回arr[4]的值,即输出这九个像素的中值;
所述中值滤波步骤具体为:
21)输入原始视频帧图像;
22)初始化计数变量i,j=0;
23)判断i-1,i+1,j-1,j+1是否超出图像的行列上下界,若未超出,转24),否则,转25);
24)第i行第j列的像素点的值更新为所述求中值步骤后的值,转第26);
25)该位置像素值不变,转26);
26)i=i+1,j=j+1,若i,j在图像总行列范围内,转23),否则转27);
27)返回更新后的图像,即输出中值滤波去噪图像。
进一步地,所述图像高光去除的具体步骤为:
31)输入去噪后图像;
32)初始化计数变量k,l=0;
33)获取图像中第k行第l列位置下红、绿、蓝颜色通道的像素值并分别赋值给R、G、B;
34)若R、G、B同时为0,该位置像素值不变,转310),否则转35);
35)求与像素颜色相关的色度,公式为其中c=r,g,b,Ic为第c颜色通道的像素值,
36)求最大色度MaxC=max(R,G,B)和最小色度Minα=min{αc,c=r,g,b};
37)得到最大漫反射色度估计值,公式为:
38)利用线性模型,扩散传播最大漫反射的值,公式如下:
39):将38)得到的值加0.5作为差值替换原像素值;
310):k=k+1,l=l+1,若k,l在图像总行列范围内,转33),否则转311);
311):返回更新后的图像,即高光去除后的图像。
进一步地,所述计算特定颜色面积的具体步骤为:
41)输入高光去除后的图像;
42)初始化待计算表面面积S=0,容器内纹理面积S1=0,计数变量m,n=0;
43)将输入图像转化为HSV空间图像;
44)获取图像中第m行第n列位置颜色通道的像素值并分别赋值给H、S、V;
45)若该点的像素值满足HSV空间下红色的范围值,S=S+1,并令该位置像素值为255,转48),否则转46);
46)若该点的像素值满足HSV空间下绿色的范围值,S1=S1+1,该位置像素值不变,转48),否则转47);
47)令该点的像素值为0,转48);
48)m=m+1,n=n+1,若m,n在图像总行列范围内,转44),否则转49);
49)返回S的值,即输出特定颜色面积。
进一步地,还可以判断智能实验容器的倾斜方向,具体方法为:
51)规定方向标识片面积阈值;
52)计算容器杯体内壁方向标识片面积;
53)比较计算所得面积与规定阈值的大小,若计算所得面积小于规定阈值,则容器向方向标识片设置方向倾斜;否则,容器向相反方向倾斜。
进一步地,还可以判断智能实验容器的倾斜角度,建立流体物表面面积x与智能实验容器倾斜角度y的关系函数:
y=(-116.3801)+13.0165*x+(-0.2430)*x2+0.0018*x3+(-5.0019×10(-6))*x4,根据计算的流体物表面面积求得倾斜角度。
本发明的有益效果是:
本发明在多通道意图融合理解中,针对信息互补和信息独立两种情况分别提出融合策略,并给出了判断两种情况是否发生的条件;在信息互补情况下,提出了构建完整行为的策略;在信息独立情况下,执行优先级比较策略;从而更加准确理解用户意图,实现自然的人机交互。
为去除图像高光的影响,本发明基于漫反射原理,提出了图像去高光算法,使获取图像识别准确。
本发明还设计了多通道融合的对话管理,从而对用户的错误行为进行感知,可以及时纠正用户的错误操作,并通过语音合成模块引导其进行正确的实验操作。
附图说明
图1是本发明实施例容器本体结构示意图;
图2是本发明实施例容器倾斜角度公式迭代曲线拟合图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
本发明所述一种智能实验容器包括容器本体和控制模块。
如图1所示,本发明实施例容器本体包括杯体1,所述杯体1外壁设置触摸传感器2,所述杯体1内侧设置摄像头3、光源4和流体物5,所述摄像头3和光源4设置在杯体1顶部,流体物5设置在杯体1底部;
所述杯体1内壁上还设置有方向标识片6,方向标识片6颜色与流体物5颜色不同,用于识别容器的倾斜方向。本实施例中流体物5颜色为红色,方向标识片6颜色为绿色。
所述杯体1外侧还设置有红外测距传感器7,所述红外测距传感器7设置在杯体1底部,通过计算两容器间的距离,对倾倒过程中是否在正确的位置倾倒进行容错判断。
所述触摸传感器2为多个,配置STM32开发板,其功能为通过选择使容器套件“盛装”不同实验材料。
所述摄像头3为USB摄像头,带有LED灯作为光源4,采集容器中流体物5的表面状态图像,LED灯提供光源,以解决不透光环境下采集图像的困难。
所述杯体1为普通塑料杯,外壁不透光,内壁为白色光滑材质。
所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块;
所述视觉模块获取摄像头采集的图像信息,采用一定的图像处理方法对图像进行处理,从中获取需要的特征信息,计算容器的倾斜角度。
所述听觉模块通过麦克风获取用户语音,实现语音识别,提取用户操作意图;通过语音合成,以语音形式向用户反馈当前实验操作状态;语音识别和语音合成基于百度语音提供的API建立起语音识别模块:通过语音识别功能,计算机能够从用户的语音指令中提取出用户的意图,据此做出相应的反应,执行人的操作意图;通过语音合成,计算机能够将当前化学实验的操作状态以语音的形式反馈给用户,并能够与用户进行友好的对话。
所述触觉模块获取触摸传感器采集的触觉信息,实现对容器中流体物的物质选择功能;
所述信息融合模块包括行为库和交互库,所述行为库包括由“动作-对象”组成的动宾格式行为,所述交互库包括容器的视觉、听觉和触觉通道设备信息和应用场景信息;所述信息融合模块获取视觉模块、听觉模块和触觉模块处理的信息,与行为库中的动作和对象匹配,构建完整的用户行为。
上述智能实验容器融合了视觉、听觉、触觉三种通道进行信息输入,根据三个通道间的相互关系,可以分为信息互补和信息独立两种情况,分别采用不同的策略来完成信息的融合,从而实现一个面向自然交互的多通道虚拟化学实验操作平台。使用方法如下:
1)获取用户视觉、听觉或触觉信息;
2)对获取信息进行预处理并提取特征,作为当前事件;视觉信息提取图像特定颜色面积信息,听觉信息提取关键词语义信息,触觉信息提取选择的传感器编号信息;
3)根据关键词模板判断当前事件的优先级,比较当前事件与前一事件的优先级;若当前事件优先级高于前一事件,则独立执行当前事件对应指令任务,转8);若当前事件优先级不高于前一事件,则当前事件与前一事件进行信息互补融合,转4);
4)将提取的特征放入交互库中匹配相应通道模块信息,并给相应的信息加以通道编号的标签;
5)进入行为库匹配相应动作集Action与对象集Object;
6)判断当前事件与在前事件的动作与对象是否构成完整行为,若行为完整,转7);否则,利用语音合成模块询问用户,转1);
7)若当前事件与前一事件的通道编号的标签不同,判断两个事件的动作和对象是否相同,若动作或对象不同,利用语音合成模块提示报错,转1);否则转入8);
8)执行动作-对象对应行为。
信息互补指的是在交互过程中需要利用视、听、触三个通道彼此互补的信息来完成特定的交互任务。当获取各通道信息并对其进行处理后,分别与在行为库中以“动作-对象”动宾格式的行为进行匹配,然后通过判断行为的构建状态,来决定系统是否有可执行的完整语义交互任务。例如,当用户想要倾倒浓硫酸时,该任务的流程是输入语音指令“向左倾倒物质”,同时用触摸传感器选择“浓硫酸”,这样就构建了一个完整的行为。
“动作-对象”集合的组成满足笛卡尔乘积的原理,即满足以下公式:
A×B={(a,b)a∈A,b∈B}
例如,动作集为{“选择”,“倾倒”},对象集为{“浓硫酸”,“高锰酸钾”,“乙醇”,“水”},行为数据库中的行为集则有{“选择浓硫酸”,“选择高锰酸钾”,“选择乙醇”,“选择水”,“倾倒浓硫酸”,“倾倒高锰酸钾”,“倾倒乙醇”,“倾倒水”}。
通过各通道输入信息的特征提取,将行为完整构建且不产生歧义,系统将会根据所表达的意图执行交互任务。
在实验场景中还存在另一种情况,就是构建行为的时候某一过程上发生了冲突。例如,用户下达语音指令“选择浓硫酸”,但又选择了表示“水”的触摸传感器,这时在填充对象块时就发生了冲突,系统无法判断出用户想要选择何种物质的意图,此时系统将会通过语音合成模块以语音的形式将错误反馈给用户。
信息独立指的是各个通道所表达的语义信息间的关联性不是很大,彼此之间可以相互独立。针对这种情况,本发明实施例采用一种优先级比较的融合策略,建立关键词模板,关键词模板包括“开始”、“结束”、“继续”等关键任务指令。当获取到关键词模板中对应的任务指令时,不管此时的任务执行情况,都要跳过现在的任务而转执行这种指令的任务,实现了将一个正在运行的较低优先级的任务转换成执行具有较高优先级的任务。同时,具有相同优先级的指令则按照指令下达的先后顺序进行执行。
在实际进行虚拟化学实验的场景中,信息互补和信息独立这两种情况的发生在概率上是相互独立的,每一次获取到来自不同通道的信息之后,都要对这两种情况的发生进行判断。针对信息独立下优先级比较策略的特点,因此,将优先级比较作为特征提取之后就要执行的工作,以用来整合两种情况的融合策略。也就是,当多通道信息被输入并且进行特征提取后,在行为库中会将该事件添加上相应的优先级标签,系统通过判断前一个事件与该事件相应的优先级比较结果,选择信息互补或信息独立情况下的融合策略。
对用户输入的信息进行融合之后,系统将会执行相应任务,来给予用户相应的反馈。不仅能够使系统提示当前实验状态信息,而且当提供的信息不足、任务指令有歧义等情况发生时,系统将会主动提出一些问题来确定用户的意图。当行为没有构建完整,而此时又没有其他通道的补充信息时,系统将会主动发起对话,询问用户接下来的操作。此外,如果遇到行为结构发生了冲突,系统也会提示错误行为,并询问用户是否重新操作。
对视觉信息的图像处理基于OpenCV进行,主要基于颜色识别进行图像处理。通过对容器内流体物的表面图像采集,首先对图像进行中值滤波来去噪预处理。再利用颜色识别的方法,获取某几种特殊颜色的像素点并进行图像的二值化。此外,为了解决光源照射产生的反光现象,又提出了一种基于漫反射原理去除图像高光问题的算法。
针对图像噪声问题,采用中值滤波算法对图像预处理,从而更好地进行颜色识别以提高其准确率。采用3×3的窗口为数学模型,所述求中值步骤具体为:
11)输入九个像素点;
12)初始化数组arr[9],分别将九个像素点的值依次赋给该数组;
13)对数组arr进行希尔排序;
14)返回arr[4]的值,即输出这九个像素的中值;
所述中值滤波步骤具体为:
21)输入原始视频帧图像;
22)初始化计数变量i,j=0;
23)判断i-1,i+1,j-1,j+1是否超出图像的行列上下界,若未超出,转24),否则,转25);
24)第i行第j列的像素点的值更新为所述求中值步骤后的值,转第26);
25)该位置像素值不变,转26);
26)i=i+1,j=j+1,若i,j在图像总行列范围内,转23),否则转27);
27)返回更新后的图像,即输出中值滤波去噪图像。
对于颜色识别来说,图像的质量将会大大影响其识别结果。由于本发明实施例受不透光环境下光源的影响,采集到流体物的图像会出现高光溢出的现象,所谓高光是物体反射产生的,而高光溢出是指高光的亮度超过了感光材料能够记录的上限而产生的失真现象。为了提高颜色识别的准确率,本发明实施例采用了一种去除图像高光现象的算法。
高光被视为是漫反射分量以及镜面反射分量的一种线性组合,而对于最大漫反射色度来说,它具有局部平滑的性质,通过将其扩散传播,可以实现图像的高光去除。本发明实施例采用的算法是使用最大漫反射色度的估计值作为引导值,通过建立线性模型以指导平滑过程。具体步骤为:
31)输入去噪后图像;
32)初始化计数变量k,l=0;
33)获取图像中第k行第l列位置下红、绿、蓝颜色通道的像素值并分别赋值给R、G、B;
34)若R、G、B同时为0,该位置像素值不变,转310),否则转35);
35)求与像素颜色相关的色度,公式为其中c=r,g,b,Ic为第c颜色通道的像素值,
36)求最大色度MaxC=max(R,G,B)和最小色度Minα=min{αc,c=r,g,b};
37)得到最大漫反射色度估计值,公式为:
38)利用线性模型,扩散传播最大漫反射的值,公式如下:
39):将38)得到的值加0.5作为差值替换原像素值;
310):k=k+1,l=l+1,若k,l在图像总行列范围内,转33),否则转311);
311):返回更新后的图像,即高光去除后的图像。
经过上述处理后,对所得图像进行基于HSV空间的颜色识别。由于实验容器内部盛放有红色的流体物,通过对红色像素值的识别,即可计算流体物的表面面积。此外,由于容器内壁上附有小块绿色的方向标识片,利用同样的方法即可实时地计算出绿色像素值的面积,为后面倾倒实验的方向判断提供依据。
面积计算方法如下:
41)输入高光去除后的图像;
42)初始化待计算表面面积S=0,容器内纹理面积S1=0,计数变量m,n=0;
43)将输入图像转化为HSV空间图像;
44)获取图像中第m行第n列位置颜色通道的像素值并分别赋值给H、S、V;
45)若该点的像素值满足HSV空间下红色的范围值,S=S+1,并令该位置像素值为255,转48),否则转46);
46)若该点的像素值满足HSV空间下绿色的范围值,S1=S1+1,该位置像素值不变,转48),否则转47);
47)令该点的像素值为0,转48);
48)m=m+1,n=n+1,若m,n在图像总行列范围内,转44),否则转49);
49)返回S的值,即输出特定颜色面积。
当实验容器分别向不同方向倾斜时,容器内壁上的小块绿色方向标识片会出现不同的情况,当容器向设置方向标识片的一侧倾斜时,容器内的流体物会埋没过部分或全部的方向标识片;而容器向另一侧倾斜时,不管倾斜多少,绿色方向标识片会一直存在,不会出现被流体物没过的情况。因此,预先设置一个合适的阈值,即可判断容器的倾斜方向,比较计算所得容器杯体内壁方向标识片面积与规定阈值的大小,若计算所得面积小于规定阈值,则容器向方向标识片设置方向倾斜;否则,容器向相反方向倾斜。
对于容器的倾斜角度,预先通过多次倾斜操作,手工获取多组流体物表面面积与容器倾斜角度数据,选用Matlab中的lsqcurvefit函数对流体物表面面积x与容器倾斜角度y进行非线性曲线拟合,从而得到表面面积与倾斜角度的关系模型。
预先建立y=a(1)+a(2)*x+a(3)*x2+a(4)*x3+a(5)*x4作为目标函数,代入预先获取的数据,经过10次迭代(图2为迭代曲线拟合图),最终得到红色流体物表面面积x与容器套件的倾斜角度y的关系函数为:y=(-116.3801)+13.0165*x+(-0.2430)*x2+0.0018*x3+(-5.0019×10(-6))*x4
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制。对于所属领域的技术人员来说,在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种智能实验容器,其特征是,包括容器本体和控制模块,
所述容器本体包括杯体,所述杯体外壁设置触摸传感器,所述杯体内侧设置摄像头、光源和流体物,所述摄像头和光源设置在杯体顶部,流体物设置在杯体底部;
所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块;
所述视觉模块获取摄像头采集的图像信息,对图像进行处理,计算容器的倾斜角度;
所述听觉模块通过麦克风获取用户语音,实现语音识别,提取用户操作意图;通过语音合成,以语音形式向用户反馈当前实验操作状态;
所述触觉模块获取触摸传感器采集的触觉信息,实现对容器中流体物的物质选择功能;
所述信息融合模块包括行为库和交互库,所述行为库包括由“动作-对象”组成的动宾格式行为,所述交互库包括容器的视觉、听觉和触觉通道设备信息和应用场景信息;所述信息融合模块获取视觉模块、听觉模块和触觉模块处理的信息,与行为库中的动作和对象匹配,构建完整的用户行为。
2.根据权利要求1所述的一种智能实验容器,其特征是,所述杯体内壁上还设置有方向标识片,方向标识片颜色与流体物颜色不同,用于识别容器的倾斜方向。
3.根据权利要求1所述的一种智能实验容器,其特征是,所述杯体外侧还设置有红外测距传感器,所述红外测距传感器设置在杯体底部,用于计算不同容器间的距离。
4.一种权利要求1-3所述智能实验容器的使用方法,其特征是,具体步骤包括:
1)获取用户视觉、听觉或触觉信息;
2)对获取信息进行预处理并提取特征,作为当前事件;视觉信息提取图像特定颜色面积信息,听觉信息提取关键词语义信息,触觉信息提取选择的传感器编号信息;
3)根据关键词模板判断当前事件的优先级,比较当前事件与前一事件的优先级;若当前事件优先级高于前一事件,则独立执行当前事件对应指令任务,转8);若当前事件优先级不高于前一事件,则当前事件与前一事件进行信息互补融合,转4);
4)将提取的特征放入交互库中匹配相应通道模块信息,并给相应的信息加以通道编号的标签;
5)进入行为库匹配相应动作集Action与对象集Object;
6)判断当前事件与在前事件的动作与对象是否构成完整行为,若行为完整,转7);否则,利用语音合成模块询问用户,转1);
7)若当前事件与前一事件的通道编号的标签不同,判断两个事件的动作和对象是否相同,若动作或对象不同,利用语音合成模块提示报错,转1);否则转入8);
8)执行动作-对象对应行为。
5.根据权利要求4所述的智能实验容器的使用方法,其特征是,所述视觉信息提取方法包括图像去噪、图像高光去除和计算特定颜色面积。
6.根据权利要求5所述的智能实验容器的使用方法,其特征是,所述图像去噪方法包括求中值和中值滤波,采用3×3窗口,
所述求中值步骤具体为:
11)输入九个像素点;
12)初始化数组arr[9],分别将九个像素点的值依次赋给该数组;
13)对数组arr进行希尔排序;
14)返回arr[4]的值,即输出这九个像素的中值;
所述中值滤波步骤具体为:
21)输入原始视频帧图像;
22)初始化计数变量i,j=0;
23)判断i-1,i+1,j-1,j+1是否超出图像的行列上下界,若未超出,转24),否则,转25);
24)第i行第j列的像素点的值更新为所述求中值步骤后的值,转第26);
25)该位置像素值不变,转26);
26)i=i+1,j=j+1,若i,j在图像总行列范围内,转23),否则转27);
27)返回更新后的图像,即输出中值滤波去噪图像。
7.根据权利要求5所述的智能实验容器的使用方法,其特征是,所述图像高光去除的具体步骤为:
31)输入去噪后图像;
32)初始化计数变量k,l=0;
33)获取图像中第k行第l列位置下红、绿、蓝颜色通道的像素值并分别赋值给R、G、B;
34)若R、G、B同时为0,该位置像素值不变,转310),否则转35);
35)求与像素颜色相关的色度,公式为其中c=r,g,b,Ic为第c颜色通道的像素值,
36)求最大色度MaxC=max(R,G,B)和最小色度Minα=min{αc,c=r,g,b};
37)得到最大漫反射色度估计值,公式为:
38)利用线性模型,扩散传播最大漫反射的值,公式如下:
39):将38)得到的值加0.5作为差值替换原像素值;
310):k=k+1,l=l+1,若k,l在图像总行列范围内,转33),否则转311);
311):返回更新后的图像,即高光去除后的图像。
8.根据权利要求5所述的智能实验容器的使用方法,其特征是,所述计算特定颜色面积的具体步骤为:
41)输入高光去除后的图像;
42)初始化待计算表面面积S=0,容器内纹理面积S1=0,计数变量m,n=0;
43)将输入图像转化为HSV空间图像;
44)获取图像中第m行第n列位置颜色通道的像素值并分别赋值给H、S、V;
45)若该点的像素值满足HSV空间下红色的范围值,S=S+1,并令该位置像素值为255,转48),否则转46);
46)若该点的像素值满足HSV空间下绿色的范围值,S1=S1+1,该位置像素值不变,转48),否则转47);
47)令该点的像素值为0,转48);
48)m=m+1,n=n+1,若m,n在图像总行列范围内,转44),否则转49);
49)返回S的值,即输出特定颜色面积。
9.根据权利要求5所述的智能实验容器的使用方法,其特征是,还可以判断智能实验容器的倾斜方向,具体方法为:
51)规定方向标识片面积阈值;
52)计算容器杯体内壁方向标识片面积;
53)比较计算所得面积与规定阈值的大小,若计算所得面积小于规定阈值,则容器向方向标识片设置方向倾斜;否则,容器向相反方向倾斜。
10.根据权利要求5所述的智能实验容器的使用方法,其特征是,还可以判断智能实验容器的倾斜角度,建立流体物表面面积x与智能实验容器倾斜角度y的关系函数:
y=(-116.3801)+13.0165*x+(-0.2430)*x2+0.0018*x3+(-5.0019×10(-6))*x4,根据计算的流体物表面面积求得倾斜角度。
CN201910544619.1A 2019-06-21 2019-06-21 一种智能实验容器及其使用方法 Active CN110286765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910544619.1A CN110286765B (zh) 2019-06-21 2019-06-21 一种智能实验容器及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910544619.1A CN110286765B (zh) 2019-06-21 2019-06-21 一种智能实验容器及其使用方法

Publications (2)

Publication Number Publication Date
CN110286765A true CN110286765A (zh) 2019-09-27
CN110286765B CN110286765B (zh) 2022-11-04

Family

ID=68004767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910544619.1A Active CN110286765B (zh) 2019-06-21 2019-06-21 一种智能实验容器及其使用方法

Country Status (1)

Country Link
CN (1) CN110286765B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768439A (zh) * 2019-10-31 2020-10-13 杭州海康威视数字技术股份有限公司 一种确定实验评分的方法、装置、电子设备及介质
CN111968470A (zh) * 2020-09-02 2020-11-20 济南大学 一种面向虚实融合的闯关交互式实验方法和系统
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN117288294A (zh) * 2023-11-03 2023-12-26 北京科技大学 一种基于听觉与触觉的水杯水位检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
CN108073875A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 一种基于单目摄像头的带噪音语音识别系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
CN108073875A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 一种基于单目摄像头的带噪音语音识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄朝美等: "基于信息融合的移动机器人目标识别与定位", 《计算机测量与控制》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768439A (zh) * 2019-10-31 2020-10-13 杭州海康威视数字技术股份有限公司 一种确定实验评分的方法、装置、电子设备及介质
CN111768439B (zh) * 2019-10-31 2024-02-02 杭州海康威视数字技术股份有限公司 一种确定实验评分的方法、装置、电子设备及介质
CN111968470A (zh) * 2020-09-02 2020-11-20 济南大学 一种面向虚实融合的闯关交互式实验方法和系统
CN111968470B (zh) * 2020-09-02 2022-05-17 济南大学 一种面向虚实融合的闯关交互式实验方法和系统
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112295617B (zh) * 2020-09-18 2022-04-01 济南大学 一种基于实验场景态势感知的智能烧杯
CN117288294A (zh) * 2023-11-03 2023-12-26 北京科技大学 一种基于听觉与触觉的水杯水位检测方法及装置

Also Published As

Publication number Publication date
CN110286765B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110286765A (zh) 一种智能实验容器及其使用方法
CN101393599B (zh) 一种基于人脸表情的游戏角色控制方法
CN109508654B (zh) 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109800689A (zh) 一种基于时空特征融合学习的目标跟踪方法
CN106997236A (zh) 基于多模态输入进行交互的方法和设备
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN107578023A (zh) 人机交互手势识别方法、装置及系统
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
CN104038799A (zh) 一种面向立体电视的手势操控方法
Pramada et al. Intelligent sign language recognition using image processing
CN111444764A (zh) 一种基于深度残差网络的手势识别方法
CN110399888A (zh) 一种基于mlp神经网络和计算机视觉的围棋裁判系统
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN115933868A (zh) 翻转讲台的立体综合教学场系统及其工作方法
CN113779289A (zh) 基于人工智能的绘画步骤还原系统
Azad et al. Real-time human-computer interaction based on face and hand gesture recognition
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
WO2019098872A1 (ru) Способ отображения трехмерного лица объекта и устройство для него
CN113723277A (zh) 一种融入多模态视觉信息的学习意图监测方法及系统
WO2021203368A1 (zh) 图像处理方法、装置、电子设备和存储介质
CN113158914A (zh) 一种舞蹈动作姿态、节奏和表情的智能评估方法
CN209895305U (zh) 手势交互系统
CN110490165B (zh) 一种基于卷积神经网络的动态手势跟踪方法
Holden Visual recognition of hand motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant