CN101354608A - 一种视频输入实现方法及系统 - Google Patents

一种视频输入实现方法及系统 Download PDF

Info

Publication number
CN101354608A
CN101354608A CNA2008101466643A CN200810146664A CN101354608A CN 101354608 A CN101354608 A CN 101354608A CN A2008101466643 A CNA2008101466643 A CN A2008101466643A CN 200810146664 A CN200810146664 A CN 200810146664A CN 101354608 A CN101354608 A CN 101354608A
Authority
CN
China
Prior art keywords
module
algorithm
video input
movement
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101466643A
Other languages
English (en)
Inventor
夏正勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CNA2008101466643A priority Critical patent/CN101354608A/zh
Publication of CN101354608A publication Critical patent/CN101354608A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供一种视频输入实现方法及系统,其中,该系统包括:图像采集模块、运动轨迹提取模块、智能识别模块、联动处理模块,其中,图像采集模块,用于实时采集用户发起的连续运动图像,将转换后的连续图像数据传递给运动轨迹提取模块;运动轨迹提取模块,用于分析采集到的连续运动图像数据,采用运动轨迹提取算法提取用户运动轨迹;智能识别模块,用于通过智能识别算法识别运动轨迹提取模块中提取的用户运动轨迹,并将识别结果传送给联动处理模块;联动处理模块,用于根据收到的识别结果执行预定的联动处理操作。本发明能够在进行信息输入时,不需要接触键盘或屏幕,为固定设备或移动终端提供了一种新的信息获取源,丰富了现有的接触式输入方法。

Description

一种视频输入实现方法及系统
技术领域
本发明涉及多媒体技术领域,特别涉及一种视频输入实现方法及系统。 背景技术
随着计算机技术的发展,各种输入设备及输入方法应运而生,例如:键盘、 鼠标、触摸屏、指紋采集器。特别对于移动终端,目前通常的输入方法为:通 过键盘输入或触摸屏输入。但是,这些输入方法存在以下一些缺点:
在进行信息输入时,需要频繁接触键盘或屏幕,对设备有一定损耗;键盘 输入方法比较复杂;触摸屏输入方法输入区域有限,通常取决于屏幕大小;触 摸屏输入法必须要求输入者与输入设备保持接触。
目前,随着流媒体技术的发展, 一些视频采集设备(例如:摄像头)也成 为计算机或移动终端的常见配置,这也为固定设备或移动终端提供了一种新的 信息获取源。因此,可以通过对视频采集设备进行信息输入,但是,目前视频 釆集设备还不具备该功能。
为此,需要找到一种解决办法,能够通过对视频采集设备进行信息输入, 以变革现有的接触式输入方法。 发明内容
本发明的目的在于,提供一种视频输入系统。 本发明的另一目的在于,提供一种视频输入实现方法。 本发明的视频输入系统,包括:图像釆集模块、运动轨迹提取模块、智能 识别模块、联动处理模块,其中,所述图像采集模块,用于实时采集用户发起 的连续运动图像,将转换后的连续图像数据传递给运动轨迹提取模块;所述运 动轨迹提取模块,用于分析釆集到的连续运动图像数据,采用运动轨迹提取算 法提取用户运动轨迹;所述智能识别模块,用于通过智能识别算法识别所述运 动轨迹提取模块中提取的用户运动轨迹,并将识别结果传送给联动处理模块; 所述联动处理模块,用于根据收到的识别结果执行预定的联动处理操作。
其中,所述图像采集模块包括手机摄像头、或者网络摄像头、或者企业监 控摄像头。
其中,所述运动轨迹提取模块中,运动轨迹提取算法包括隐马尔科夫模型
算法、或者神经网络算法、或者OpenCV运动模板算法。
其中,所述智能识别模块采用的智能识别算法通过光学字符识别OCR技 术识别接收到的运动轨迹。
其中,所述联动处理模块中预定的联动处理操作,包括显示识别的字母或 笔画操作、或者执行手势控制操作。
本发明的视频输入实现方法,包括下列步骤:
步骤A:实时采集用户发起的连续运动图像,并分析采集到的连续运动图 像数据,采用运动轨迹提取算法提取用户运动轨迹;
步骤B:通过智能识别算法识别所述提取的用户运动轨迹,并根据识别结 果执行预定的联动处理操作。
其中,在所述步骤A中,通过手机摄像头、或者网络摄像头、或者企业 监控摄像头实时采集用户发起的连续运动图像。
其中,在所述步骤A中,所述运动轨迹提取算法包括隐马尔科夫模型算 法、或者神经网络算法、或者OpenCV运动模板算法。
其中,在所述步骤B中,所述智能识别算法通过光学字符识别OCR技术 识别接收到的运动轨迹。
其中,在所述步骤B中,所述预定的联动处理操作,包括显示识别的字 母或笔画操作、或者执行手势控制操作。
本发明的有益效果是:依照本发明的视频输入实现方法及系统,能够在进 行信息输入时,不需要接触键盘或屏幕,从而实现对设备的较好维护;另夕卜, 进行信息输入时可以不局限于屏幕大小;更大地发挥视频采集设备(例如:摄 像头)的作用,为固定设备或移动终端提供了一种新的信息获取源,丰富了现 有的接触式输入方法。 附图说明
图1为本发明的视频输入系统的示意图;
图2为本发明的视频输入实现方法的流程图。
具体实施方式
以下,参考附图1〜2详细描述本发明的视频输入实现方法及系统。
如图l所示,本发明的视频输入系统,包括:图像采集模块、运动轨迹提 取模块、智能识别模块、联动处理模块。
其中,图像采集模块,用于实时釆集用户A发起的连续运动图像,并对 采集到的图像进行模数转换,将转换后的连续图像的RGB数据传递给运动轨 迹提取模块;其中,图像釆集模块可以为手机摄像头、网络摄像头(IP Camera, IPC)、企业监控摄像头等。
运动轨迹提取模块,用于分析采集到的连续运动图像RGB数据,采用运 动侦测算法提取用户的运动轨迹,然后可以将用户的运动轨迹进行保存(例如 可以放在内存或存为文件)。
其中,运动轨迹提取模块中采用的运动侦测算法可以如下:定时侦测(时 间越短精确度越高)图像移动方向与X轴的夹角,则可将图像的移动轨迹抽 象为一串移动方向角度的序列。例如可以采用现有的运动轨迹提取算法有隐马 尔禾牛夫才莫型(Hidden Markov Model , HMM )和-申经网纟各(Neural Network, NN)方法,也可用现有的Intel公司的Open CV库"运动模板"(Motion Templates)实现。
智能识别模块,用于通过智能识别算法识别接收到的运动轨迹,并将识别 结果(例如,字母"S")传送给联动处理模块。
在本实施例中,因为目标是识别文字,所以可以用现有的光学字符识别技 术(Optical Character Recognition, OCR)进行识别。以识别26个字母为例, 需构造三个滤波器,将26个字母表示成& U=l, 2...26),任选其中l个为 &, &与每一个&做内积得到Kfc/,即
将Kw按由大到小排列,通过聚4分'为三组。对于已聚类所得到的3类, 分别给予码值4 = 1 ,0, - 1 , MASK (/)是迭代到第t次时所得到的物空间滤波 函数表示。以字母"S"为例,按输出能量取阈,其标准码值(3个滤波器) 为"011"。可将待识别的轨迹图像的码值与各字母的标准码值进行比较,完成 26个字母的识别。类似地,也可以实现中文汉字笔画的识别。
联动处理模块,用于对收到的识别结果做相应的联动处理,包括,触发报 警等操作,另外,对于手机终端,联动处理包括显示识别的字母或笔画等操作。
对于联动处理模块,在不同的实施环境下,有不同的识别目的,可采用不 通智能识别算法。例如,目标是识别"手势",则可以采用与识别"鼠标手势,,
一样的利用神经网络算法:首先从轨迹上取若干采样点,记录相邻釆样点的角 度数值,这样就将轨迹转化为一系列数值序列,然后可通过映射到HopfieW 网络等经典神经网络模型与训练得到的标准手势模型库进行匹配,由Hopfield 网络判定当前的"手势"最接近哪种标准手势,从而识别不同手势。
作。例如:当识别结果是"手势"时,可原先设定"手势A"对应的联动为"报 警操作","手势B"对应的联动为"摄像头右转"等。
如图l所示的应用场景中,用户A面对图像采集模块,例如网络摄像头, 可实时采集视频图像,用手指临空写字(如图示:字母"S"),模块B实时釆 集图像,将连续图像的RGB数据传送给运动轨迹提取模块,运动轨迹提取模 块通过对这些图像的处理,提取用户A手指的运动轨迹,智能识别模块对这 些运动轨迹进行处理,提取出字母"S",联动处理模块将智能识别模块传递过 来的字母"S"显示,这样用户通过不接触输入设备实现了信息输入。
如图2所示,本发明的视频输入实现方法,具体包括下列步骤:
步骤100:用户A面对图像采集设备,例如,网络摄像头(IP Camera, IPC), 发起的连续运动图像,例如用手临空写字母、划笔画或者打手势;
步骤200:图像釆集设备实时采集用户连续运动图像,并对采集到的图像 进行模数转换;
步骤300:分析采集到的连续运动图像RGB数据,采用运动侦测算法提 取用户A的运动轨迹,并将用户A的运动轨迹进行保存(例如可以放在内存 或存为文件);
其中,在步骤300中,可以采用如下的运动侦测算法:定时侦测(时间越 短精确度越高)图像移动方向与X轴的夹角,则可将图像的移动轨迹抽象为 一串移动方向角度的序列。
步骤400:通过智能识别算法识别接收到的运动轨迹;
其中,在步骤400中,可以用现有的光学字符识别技术(Optical Character Recognition, OCR)进行识别。以识别26个字母为例,需构造三个滤波器, 将26个字母表示成& (&=1, 2...26),任选其中l个为&, &与每一个&做 内积得到即
将Fw按由大到小排列,通过聚i分'为三组。对于已聚类所得到的3类, 分别给予码值4= 1,0, - 1, MASK ("是迭代到第t次时所得到的物空间滤波 函数表示。以字母"S"为例,按输出能量耳又阈,其标准码值(3个滤波器) 为"011"。可将待识别的轨迹图像的码值与各字母的标准码值进行比较,完成 26个字母的识別。类似地,也可以实现中文汉字笔画的识别。
另外,在步骤400中,在不同的实施环境下,有不同的识别目的,可采用 不通智能识别算法。例如,目标是识别"手势,,,则可以采用与识别"鼠标手 势" 一样的利用神经网络算法:首先从轨迹上取若干采样点,记录相邻采样点 的角度数值,这样就将轨迹转化为一系列数值序列,然后可通过映射到 Hopfield网络等经典神经网络模型与训练得到的标准手势模型库进行匹配,由 Hopfield网络判定当前的"手势"最接近哪种标准手势,从而识别不同手势。
步骤500:根据步骤400中的识别结果执行相应的联动操作。
其中,在步骤500中,可以根据预先定义的联动策略做相应的联动操作。 例如:当识别结果是"手势"时,可原先设定"手势A"对应的联动为"报警 操作","手势B"对应的联动为"摄像头右转"等。
以上,仅以举例的形式对本发明在连续运动图像输入的情形进行了详细描 述,但是本发明并不仅局限于连续运动图像的输入,对于能提取运动轨迹或轮 廓的其他输入方式(例如:红外遥感、静态图像轮廓)同样适用。
综上所述,依照本发明的视频输入实现方法及系统,能够在进行信息输入 时,不需要接触键盘或屏幕,从而实现对设备的较好维护;另外,进行信息输 入时可以不局限于屏幕大小;更大地发挥视频采集设备(例如:摄像头)的作 用,为固定设备或移动终端提供了一种新的信息获取源,丰富了现有的接触式 專俞入方法。
以上是为了使本领域普通技术人员理解本发明,而对本发明所进行的详细
描述,但可以想到,在不脱离本发明的权利要求所涵盖的范围内还可以做出其 它的变化和修改,这些变化和修改均在本发明的保护范围内。

Claims (10)

1.一种视频输入系统,其特征在于,包括:图像采集模块、运动轨迹提取模块、智能识别模块、联动处理模块,其中, 所述图像采集模块,用于实时采集用户发起的连续运动图像,将转换后的连续图像数据传递给运动轨迹提取模块; 所述运动轨迹提取模块,用于分析采集到的连续运动图像数据,采用运动轨迹提取算法提取用户运动轨迹; 所述智能识别模块,用于通过智能识别算法识别所述运动轨迹提取模块中提取的用户运动轨迹,并将识别结果传送给联动处理模块; 所述联动处理模块,用于根据收到的识别结果执行预定的联动处理操作。
2. 如权利要求1所述的视频输入系统,其特征在于,所述图像采集模块 包括手机摄像头、或者网络摄像头、或者企业监控摄像头。
3. 如权利要求1或2所述的视频输入系统,其特征在于,所述运动轨迹 提取模块中,运动轨迹提取算法包括隐马尔科夫模型算法、或者神经网络算法、 或者Open CV运动模板算法。
4. 如权利要求3所述的视频输入系统,其特征在于,所述智能识别模块 采用的智能识别算法通过光学字符识别OCR技术识别接收到的运动轨迹。
5. 如权利要求4所述的视频输入系统,其特征在于,所述联动处理模块 中预定的联动处理操作,包括显示识别的字母或笔画操作、或者执行手势控制 操作。
6. —种视频输入实现方法,其特征在于,包括下列步骤:步骤A:实时采集用户发起的连续运动图像,并分析釆集到的连续运动图 像数据,釆用运动轨迹提取算法提取用户运动轨迹;步骤B:通过智能识别算法识别所述提取的用户运动轨迹,并根据识别结 果执行预定的联动处理操作。
7. 如权利要求6所述的视频输入实现方法,其特征在于,在所述步骤A 中,通过手机摄像头、或者网络摄像头、或者企业监控摄像头实时采集用户发 起的连续运动图像。
8. 如权利6或7所述的视频输入实现方法,其特征在于,在所述步骤A 中,所述运动轨迹提取算法包括隐马尔科夫模型算法、或者神经网络算法、或 者Open CV运动模板算法。
9. 如权利8所述的视频输入实现方法,其特征在于,在所述步骤B中, 所述智能识别算法通过光学字符识别OCR技术识别接收到的运动轨迹。
10. 如权利9所述的视频输入实现方法,其特征在于,在所述步骤B中, 所述预定的联动处理操作,包括显示识别的字母或笔画"t乘作、或者执行手势控 制操作。
CNA2008101466643A 2008-09-04 2008-09-04 一种视频输入实现方法及系统 Pending CN101354608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008101466643A CN101354608A (zh) 2008-09-04 2008-09-04 一种视频输入实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008101466643A CN101354608A (zh) 2008-09-04 2008-09-04 一种视频输入实现方法及系统

Publications (1)

Publication Number Publication Date
CN101354608A true CN101354608A (zh) 2009-01-28

Family

ID=40307441

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101466643A Pending CN101354608A (zh) 2008-09-04 2008-09-04 一种视频输入实现方法及系统

Country Status (1)

Country Link
CN (1) CN101354608A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807111A (zh) * 2009-02-13 2010-08-18 夏普株式会社 信息设备及其控制方法和系统
CN102063618A (zh) * 2011-01-13 2011-05-18 中科芯集成电路股份有限公司 互动系统中的动态手势识别方法
CN102103409A (zh) * 2011-01-20 2011-06-22 桂林理工大学 基于运动轨迹识别的人机交互方法及装置
CN102385439A (zh) * 2011-10-21 2012-03-21 华中师范大学 一种用于电子白板的人机手势交互系统
CN103092343A (zh) * 2013-01-06 2013-05-08 深圳创维数字技术股份有限公司 一种基于摄像头的控制方法和移动终端
CN103135746A (zh) * 2011-11-25 2013-06-05 夏普株式会社 基于静态姿势和动态姿势的非接触控制方法、系统和设备
CN103176594A (zh) * 2011-12-23 2013-06-26 联想(北京)有限公司 一种文本操作方法及系统
CN103529930A (zh) * 2013-01-04 2014-01-22 深圳市中兴移动通信有限公司 基于体感识别的索引菜单的方法、装置及其终端
CN104143075A (zh) * 2013-05-08 2014-11-12 光宝科技股份有限公司 应用于电子装置的手势判断方法
CN104156491A (zh) * 2014-09-01 2014-11-19 携程计算机技术(上海)有限公司 移动终端及其列表信息检索方法
CN105302298A (zh) * 2015-09-17 2016-02-03 深圳市国华识别科技开发有限公司 空中书写断笔系统和方法
CN105760005A (zh) * 2014-12-19 2016-07-13 宏达国际电子股份有限公司 触控显示装置及其控制方法
CN106168864A (zh) * 2015-05-18 2016-11-30 佳能株式会社 显示控制装置以及显示控制方法
CN107272881A (zh) * 2017-04-26 2017-10-20 北京新美互通科技有限公司 一种信息输入方法及装置,输入法键盘和电子设备
CN107483813A (zh) * 2017-08-08 2017-12-15 深圳市明日实业股份有限公司 一种根据手势进行跟踪录播的方法、装置及存储装置
CN107526438A (zh) * 2017-08-08 2017-12-29 深圳市明日实业股份有限公司 根据举手动作进行跟踪录播的方法、装置及存储装置
CN107562203A (zh) * 2017-09-14 2018-01-09 北京奇艺世纪科技有限公司 一种输入方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807111A (zh) * 2009-02-13 2010-08-18 夏普株式会社 信息设备及其控制方法和系统
CN102063618A (zh) * 2011-01-13 2011-05-18 中科芯集成电路股份有限公司 互动系统中的动态手势识别方法
CN102063618B (zh) * 2011-01-13 2012-10-31 中科芯集成电路股份有限公司 互动系统中的动态手势识别方法
CN102103409A (zh) * 2011-01-20 2011-06-22 桂林理工大学 基于运动轨迹识别的人机交互方法及装置
CN102385439A (zh) * 2011-10-21 2012-03-21 华中师范大学 一种用于电子白板的人机手势交互系统
CN103135746A (zh) * 2011-11-25 2013-06-05 夏普株式会社 基于静态姿势和动态姿势的非接触控制方法、系统和设备
CN103135746B (zh) * 2011-11-25 2018-01-02 夏普株式会社 基于静态姿势和动态姿势的非接触控制方法、系统和设备
CN103176594B (zh) * 2011-12-23 2016-08-17 联想(北京)有限公司 一种文本操作方法及系统
CN103176594A (zh) * 2011-12-23 2013-06-26 联想(北京)有限公司 一种文本操作方法及系统
CN103529930A (zh) * 2013-01-04 2014-01-22 深圳市中兴移动通信有限公司 基于体感识别的索引菜单的方法、装置及其终端
CN103092343A (zh) * 2013-01-06 2013-05-08 深圳创维数字技术股份有限公司 一种基于摄像头的控制方法和移动终端
CN103092343B (zh) * 2013-01-06 2016-12-28 深圳创维数字技术有限公司 一种基于摄像头的控制方法和移动终端
CN104143075A (zh) * 2013-05-08 2014-11-12 光宝科技股份有限公司 应用于电子装置的手势判断方法
CN104156491A (zh) * 2014-09-01 2014-11-19 携程计算机技术(上海)有限公司 移动终端及其列表信息检索方法
CN105760005B (zh) * 2014-12-19 2019-04-05 宏达国际电子股份有限公司 触控显示装置及其控制方法
CN105760005A (zh) * 2014-12-19 2016-07-13 宏达国际电子股份有限公司 触控显示装置及其控制方法
US10296130B2 (en) 2015-05-18 2019-05-21 Canon Kabushiki Kaisha Display control apparatus, display control method, and storage medium storing related program
CN106168864A (zh) * 2015-05-18 2016-11-30 佳能株式会社 显示控制装置以及显示控制方法
US10725552B2 (en) 2015-09-17 2020-07-28 Shenzhen Prtek Co., Ltd. Text input method and device based on gesture recognition, and storage medium
CN105302298A (zh) * 2015-09-17 2016-02-03 深圳市国华识别科技开发有限公司 空中书写断笔系统和方法
CN107272881B (zh) * 2017-04-26 2020-06-09 北京新美互通科技有限公司 一种信息输入方法及装置,输入法键盘和电子设备
CN107272881A (zh) * 2017-04-26 2017-10-20 北京新美互通科技有限公司 一种信息输入方法及装置,输入法键盘和电子设备
CN107483813A (zh) * 2017-08-08 2017-12-15 深圳市明日实业股份有限公司 一种根据手势进行跟踪录播的方法、装置及存储装置
CN107526438A (zh) * 2017-08-08 2017-12-29 深圳市明日实业股份有限公司 根据举手动作进行跟踪录播的方法、装置及存储装置
CN107562203A (zh) * 2017-09-14 2018-01-09 北京奇艺世纪科技有限公司 一种输入方法及装置

Similar Documents

Publication Publication Date Title
CN101354608A (zh) 一种视频输入实现方法及系统
CN105242779B (zh) 一种识别用户动作的方法和移动智能终端
Gu et al. Human gesture recognition through a kinect sensor
Ibraheem et al. Survey on various gesture recognition technologies and techniques
CN104317386B (zh) 一种姿势序列有限状态机动作识别方法
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
Chen et al. A real-time dynamic hand gesture recognition system using kinect sensor
CN105005787B (zh) 一种基于灵巧手触觉信息的联合稀疏编码的材质分类方法
CN103150019A (zh) 一种手写输入系统及方法
CN102103409A (zh) 基于运动轨迹识别的人机交互方法及装置
CN102854982A (zh) 一种识别自定义手势轨迹的方法
CN103914149A (zh) 一种面向互动电视的手势交互方法和系统
CN102508547A (zh) 基于计算机视觉的手势输入法构建方法及系统
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN102520790A (zh) 一种基于图像传感模块的字符输入方法、装置及终端
CN103425257B (zh) 一种生僻字符信息的提示方法和装置
JP2020508511A (ja) 動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
Elharrouss et al. Mhad: multi-human action dataset
CN102117116B (zh) 运动物体识别方法及基于运动物体识别的指令输入方法
CN107292295B (zh) 手势分割方法及装置
Salunke et al. Power point control using hand gesture recognition based on hog feature extraction and K-NN classification
CN112949544A (zh) 一种基于3d卷积网络的动作时序检测方法
CN111766941B (zh) 一种基于智能戒指的手势识别方法及系统
CN111738218A (zh) 人体异常行为识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20090128

C12 Rejection of a patent application after its publication