CN107748621A - 一种智能交互机器人 - Google Patents

一种智能交互机器人 Download PDF

Info

Publication number
CN107748621A
CN107748621A CN201711079909.0A CN201711079909A CN107748621A CN 107748621 A CN107748621 A CN 107748621A CN 201711079909 A CN201711079909 A CN 201711079909A CN 107748621 A CN107748621 A CN 107748621A
Authority
CN
China
Prior art keywords
image
mrow
module
submodule
filtered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711079909.0A
Other languages
English (en)
Inventor
潘柏霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711079909.0A priority Critical patent/CN107748621A/zh
Publication of CN107748621A publication Critical patent/CN107748621A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种智能交互机器人,包括摄像模块、处理模块、识别模块、语音模块、智能控制模块和动作模块,所述摄像模块用于获取用户的影像,所述处理模块用于对用户的影像进行处理,所述识别模块用于对处理后的影像进行识别,获取识别结果,所述语音模块用于获取用户的语音信息,所述智能控制模块用于根据识别结果和语音信息产生交互指令,所述动作模块用于根据交互指令控制机器人进行交互。本发明的有益效果为:实现了高水平的人机交互,极大方便了人们的生活。

Description

一种智能交互机器人
技术领域
本发明涉及机器人技术领域,具体涉及一种智能交互机器人。
背景技术
随着科学技术的不断进步和机器人技术的不断发展,智能机器人已经走入千家万户,而在机器人交互过程中,用户影像的获取和处理显得尤为重要。
图像是对客观对象的直观描述或生动写真。图像与人们的生活息息相关。关于图像处理的研究与应用广泛存在于众多的科学和工程领域,比如:工业检测、地质勘探、气象、侦察、通信、医学诊断、智能机器人等。然而,现实中的图像往往都含有噪声,噪声对图像产生的破坏效果主要有两个方面:客观上,影响主观视觉效果。受到噪声污染的图像,视觉效果往往会变得很差。如果噪声强度大,则图像中的某些细节将难以辨认。主观上,使图像的信息层和知识层的处理不能继续进行,降低图像数据层处理的质量和精度。对于一些图像处理过程来说,噪声经常产生某种局部二义性。比如,在有噪声干扰的情况下,许多边缘检测算法的效果将会降低,出现大量的虚检和漏检,从而使后续的目标提取和识别难以进行。
发明内容
针对上述问题,本发明旨在提供一种智能交互机器人。
本发明的目的采用以下技术方案来实现:
提供了一种智能交互机器人,包括摄像模块、处理模块、识别模块、语音模块、智能控制模块和动作模块,所述摄像模块用于获取用户的影像,所述处理模块用于对用户的影像进行处理,所述识别模块用于对处理后的影像进行识别,获取识别结果,所述语音模块用于获取用户的语音信息,所述智能控制模块用于根据识别结果和语音信息产生交互指令,所述动作模块用于根据交互指令控制机器人进行交互。
本发明的有益效果为:实现了高水平的人机交互,极大方便了人们的生活。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图;
附图标记:
摄像模块1、处理模块2、识别模块3、语音模块4、智能控制模块5、动作模块6。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1,本实施例的一种智能交互机器人,包括摄像模块1、处理模块2、识别模块3、语音模块4、智能控制模块5和动作模块6,所述摄像模块1用于获取用户的影像,所述处理模块2用于对用户的影像进行处理,所述识别模块3用于对处理后的影像进行识别,获取识别结果,所述语音模块4用于获取用户的语音信息,所述智能控制模块5用于根据识别结果和语音信息产生交互指令,所述动作模块6用于根据交互指令控制机器人进行交互。
本实施例实现了高水平的人机交互,极大方便了人们的生活。
优选的,所述动作模块6包括电机驱动电路和电机,所述电机驱动电路用于接收所述智能控制模块5发出的交互指令,并驱动电机产生相应的运动。
本优选实施例机器人动作更加稳定。
优选的,所述处理模块2包括第一建模模块、第二滤波模块和第三滤波效果评价模块,所述第一建模模块用于建立影像噪声模型,所述第二滤波模块用于对影像进行滤波处理,获取滤波后的影像,所述第三滤波效果评价模块用于根据滤波后的影像对滤波效果进行评价;所述第一建模模块用于建立影像噪声模型,具体为:EH(x,y)=YW(x,y)+N(x,y);
上述式子中,(x,y)表示像素点的位置,EH(x,y)表示含噪声的影像,YW(x,y)表示滤波后的影像,N(x,y)表示影像噪声。
本优选实施例通过处理模块实现了影像的去噪处理和去噪效果的评价,建立的噪声模型符合噪声实际情况,为后续去噪处理奠定了良好的基础。
优选的,所述第二滤波模块包括一次滤波子模块、二次滤波子模块和综合滤波子模块,所述一次滤波子模块基于影像局部邻域对影像进行滤波处理,得到一次滤波影像,所述二次滤波子模块基于影像全局对影像进行滤波处理,得到二次滤波影像,所述综合滤波子模块用于根据一次滤波影像和二次滤波影像获取滤波后的影像。
所述一次滤波子模块基于影像局部邻域对影像进行滤波处理,具体为:对任意像素点设置大小为n×n的窗口,以该像素点为中心,窗口内的像素点作为邻域,采用下式对影像进行处理:
上述式子中,YW1(x,y)表示一次滤波影像,EH(x,y)表示影像像素点(x,y)的灰度值,n2表示窗口内包含的像素点的个数,表示像素点(x,y)窗口内邻域;所述二次滤波子模块基于影像全局对影像进行滤波处理,具体为:对任意像素点(x,y),K(x,y)为以(x,y)为中心,大小为n×n的图像块,H(x′,y′)是K(x,y)邻域内以(x′,y′)为中心,大小为n×n的图像块,采用下式对影像进行处理:
上述式子中,YW2(x,y)表示二次滤波影像,EH(x′,y′)表示影像像素点(x′,y′)的灰度值,Ω表示影像区域,表示图像块K(x,y)和H(x′,y′)之间的高斯加权欧式距离,a表示高斯核函数的标准差;所述综合滤波子模块用于根据一次滤波影像和二次滤波影像获取滤波后的影像,具体为:
上述式子中,YW(x,y)表示滤波后的影像。
本优选实施例通过第二滤波模块实现了影像的高效准确滤波,具体的,一次滤波子模块基于影像局部邻域对影像进行滤波处理,有效去除了噪声引起的灰度值尖锐变化,二次滤波子模块基于影像全局对影像进行滤波处理,防止了将细节信息当作噪声滤除,提高了滤波的可靠性,综合滤波子模块根据一次滤波影像和二次滤波影像确定滤波后的影像,同时具备了一次滤波子模块和二次滤波子模块的优点。
优选的,所述第三滤波效果评价模块包括一次评价子模块、二次评价子模块和综合评价子模块,所述一次评价子模块根据滤波后的影像峰值信噪比对滤波效果进行评价,获取第一评价因子,所述二次评价子模块根据滤波后的影像的清晰度对滤波效果进行评价,获取第二评价因子,所述综合评价子模块用于根据第一评价因子和第二评价因子对滤波效果进行综合评价。
所述一次评价子模块根据滤波后的影像峰值信噪比对滤波效果进行评价,具体为:采用下式获取第一评价因子:
LG1=2(p2+p)×ln(P+1)
上述式子中,LG1表示第一评价因子,P表示滤波后的影像峰值信噪比;第一评价因子越大,表示滤波效果越好;所述二次评价子模块根据滤波后的影像的清晰度对滤波效果进行评价,具体为:采用下式获取第二评价因子:
上述式子中,LG2表示第二评价因子,T表示滤波后的影像平均梯度值;第二评价因子越大,表示滤波效果越好;所述综合评价子模块用于根据第一评价因子和第二评价因子对滤波效果进行综合评价,具体为:采用下式获取综合评价因子:
上述式子中,LG表示综合评价因子;综合评价因子越大,表示滤波效果越好。
本优选实施例通过第三滤波效果评价模块实现了对滤波效果的准确评价,保证了滤波水平,具体的,综合评价因子结合了影像的第一评价因子和第二评价因子对滤波效果进行评价,克服了单一指标进行评价的片面性,提高了评价的可靠性。
采用本发明智能交互机器人进行交互,选取5个用户进行实验,分别为用户1、用户2、用户3、用户4、用户5,对交互效率和用户满意度进行统计,同现有交互机器人相比,产生的有益效果如下表所示:
交互效率提高 用户满意度提高
用户1 29% 27%
用户2 27% 26%
用户3 26% 26%
用户4 25% 24%
用户5 24% 22%
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种智能交互机器人,其特征在于,包括摄像模块、处理模块、识别模块、语音模块、智能控制模块和动作模块,所述摄像模块用于获取用户的影像,所述处理模块用于对用户的影像进行处理,所述识别模块用于对处理后的影像进行识别,获取识别结果,所述语音模块用于获取用户的语音信息,所述智能控制模块用于根据识别结果和语音信息产生交互指令,所述动作模块用于根据交互指令控制机器人进行交互。
2.根据权利要求1所述的智能交互机器人,其特征在于,所述动作模块包括电机驱动电路和电机,所述电机驱动电路用于接收所述智能控制模块发出的交互指令,并驱动电机产生相应的运动。
3.根据权利要求2所述的智能交互机器人,其特征在于,所述处理模块包括第一建模模块、第二滤波模块和第三滤波效果评价模块,所述第一建模模块用于建立影像噪声模型,所述第二滤波模块用于对影像进行滤波处理,获取滤波后的影像,所述第三滤波效果评价模块用于根据滤波后的影像对滤波效果进行评价;所述第一建模模块用于建立影像噪声模型,具体为:EH(x,y)=YW(x,y)+N(x,y);
上述式子中,(x,y)表示像素点的位置,EH(x,y)表示含噪声的影像,YW(x,y)表示滤波后的影像,N(x,y)表示影像噪声。
4.根据权利要求3所述的智能交互机器人,其特征在于,所述第二滤波模块包括一次滤波子模块、二次滤波子模块和综合滤波子模块,所述一次滤波子模块基于影像局部邻域对影像进行滤波处理,得到一次滤波影像,所述二次滤波子模块基于影像全局对影像进行滤波处理,得到二次滤波影像,所述综合滤波子模块用于根据一次滤波影像和二次滤波影像获取滤波后的影像。
5.根据权利要求4所述的智能交互机器人,其特征在于,所述一次滤波子模块基于影像局部邻域对影像进行滤波处理,具体为:对任意像素点设置大小为n×n的窗口,以该像素点为中心,窗口内的像素点作为邻域,采用下式对影像进行处理:
上述式子中,YW1(x,y)表示一次滤波影像,EH(x,y)表示影像像素点(x,y)的灰度值,n2表示窗口内包含的像素点的个数,表示像素点(x,y)窗口内邻域;所述二次滤波子模块基于影像全局对影像进行滤波处理,具体为:对任意像素点(x,y),K(x,y)为以(x,y)为中心,大小为n×n的图像块,H(x′,y′)是K(x,y)邻域内以(x′,y′)为中心,大小为n×n的图像块,采用下式对影像进行处理:
上述式子中,YW2(x,y)表示二次滤波影像,EH(x′,y′)表示影像像素点(x′,y′)的灰度值,Ω表示影像区域,表示图像块K(x,y)和H(x,y′)之间的高斯加权欧式距离,a表示高斯核函数的标准差;所述综合滤波子模块用于根据一次滤波影像和二次滤波影像获取滤波后的影像,具体为:
<mrow> <mi>Y</mi> <mi>W</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <msub> <mi>YW</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>YW</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> </mrow>
上述式子中,YW(x,y)表示滤波后的影像。
6.根据权利要求5所述的智能交互机器人,其特征在于,所述第三滤波效果评价模块包括一次评价子模块、二次评价子模块和综合评价子模块,所述一次评价子模块根据滤波后的影像峰值信噪比对滤波效果进行评价,获取第一评价因子,所述二次评价子模块根据滤波后的影像的清晰度对滤波效果进行评价,获取第二评价因子,所述综合评价子模块用于根据第一评价因子和第二评价因子对滤波效果进行综合评价。
7.根据权利要求6所述的智能交互机器人,其特征在于,所述一次评价子模块根据滤波后的影像峰值信噪比对滤波效果进行评价,具体为:采用下式获取第一评价因子:
LG1=2(P2+P)×ln(P+1)
上述式子中,LG1表示第一评价因子,P表示滤波后的影像峰值信噪比;第一评价因子越大,表示滤波效果越好;所述二次评价子模块根据滤波后的影像的清晰度对滤波效果进行评价,具体为:采用下式获取第二评价因子:
<mrow> <msub> <mi>LG</mi> <mn>2</mn> </msub> <mo>=</mo> <mn>2</mn> <msqrt> <mrow> <msup> <mi>T</mi> <mn>2</mn> </msup> <mo>+</mo> <mn>2</mn> <mi>T</mi> </mrow> </msqrt> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>T</mi> <mo>+</mo> <mn>2</mn> </mrow> </msup> </mrow>
上述式子中,LG2表示第二评价因子,T表示滤波后的影像平均梯度值;第二评价因子越大,表示滤波效果越好;所述综合评价子模块用于根据第一评价因子和第二评价因子对滤波效果进行综合评价,具体为:采用下式获取综合评价因子:
<mrow> <mi>L</mi> <mi>G</mi> <mo>=</mo> <msqrt> <mrow> <msub> <mi>LG</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>LG</mi> <mn>2</mn> </msub> </mrow> </msqrt> <mo>+</mo> <mn>2</mn> <msup> <mi>e</mi> <mrow> <mo>(</mo> <msub> <mi>LG</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>LG</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </msup> </mrow>
上述式子中,LG表示综合评价因子;综合评价因子越大,表示滤波效果越好。
CN201711079909.0A 2017-11-06 2017-11-06 一种智能交互机器人 Pending CN107748621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711079909.0A CN107748621A (zh) 2017-11-06 2017-11-06 一种智能交互机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711079909.0A CN107748621A (zh) 2017-11-06 2017-11-06 一种智能交互机器人

Publications (1)

Publication Number Publication Date
CN107748621A true CN107748621A (zh) 2018-03-02

Family

ID=61250611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711079909.0A Pending CN107748621A (zh) 2017-11-06 2017-11-06 一种智能交互机器人

Country Status (1)

Country Link
CN (1) CN107748621A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833230A (zh) * 2018-06-27 2018-11-16 梧州井儿铺贸易有限公司 一种智能家居系统
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技(深圳)有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN110267052A (zh) * 2019-06-19 2019-09-20 云南大学 一种基于实时情绪反馈的智能弹幕机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604139A (zh) * 2004-10-28 2005-04-06 上海交通大学 图像融合评价系统的构建方法
CN104867159A (zh) * 2015-06-05 2015-08-26 北京大恒图像视觉有限公司 一种数字相机传感器污点检测及分级方法与装置
US20160086015A1 (en) * 2007-01-09 2016-03-24 Si Corporation Method and system for automated face detection and recognition
CN106584480A (zh) * 2016-12-31 2017-04-26 天津菲戈博特智能科技有限公司 机器人及其面部识别方法和语音控制方法
CN106663127A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 一种虚拟机器人的交互方法、系统及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604139A (zh) * 2004-10-28 2005-04-06 上海交通大学 图像融合评价系统的构建方法
US20160086015A1 (en) * 2007-01-09 2016-03-24 Si Corporation Method and system for automated face detection and recognition
CN104867159A (zh) * 2015-06-05 2015-08-26 北京大恒图像视觉有限公司 一种数字相机传感器污点检测及分级方法与装置
CN106663127A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 一种虚拟机器人的交互方法、系统及机器人
CN106584480A (zh) * 2016-12-31 2017-04-26 天津菲戈博特智能科技有限公司 机器人及其面部识别方法和语音控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
沈萍萍 等: "基于离散余弦变换的非局部均值图像去噪算法", 《计算机工程与设计》 *
石晓进: "星载干涉合成孔径雷达信号处理若干问题研究", 《信息科技辑》 *
顾广娟: "乳腺X线影像微钙化簇检测技术研究", 《信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833230A (zh) * 2018-06-27 2018-11-16 梧州井儿铺贸易有限公司 一种智能家居系统
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技(深圳)有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN110267052A (zh) * 2019-06-19 2019-09-20 云南大学 一种基于实时情绪反馈的智能弹幕机器人

Similar Documents

Publication Publication Date Title
CN104143079B (zh) 人脸属性识别的方法和系统
CN106548169B (zh) 基于深度神经网络的模糊文字增强方法及装置
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN110349122A (zh) 一种基于深度卷积融合神经网络的路面裂缝识别方法
CN106446930A (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN103119609B (zh) 一种确定视频前景主体图像区域的方法和装置
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN107748621A (zh) 一种智能交互机器人
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN107463881A (zh) 一种基于深度增强学习的人物图像搜索方法
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN106874913A (zh) 一种菜品检测方法
CN107766864A (zh) 提取特征的方法和装置、物体识别的方法和装置
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN109784297A (zh) 一种基于深度学习的三维目标识别与最优抓取方法
CN109815823A (zh) 数据处理方法及相关产品
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN110827355B (zh) 一种基于视频图像坐标的移动目标快速定位方法及系统
CN106204565A (zh) 一种通过斑块特征配准的图像清晰度检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180302

RJ01 Rejection of invention patent application after publication