CN102073405B - 一种图像缩放与旋转判别方法 - Google Patents
一种图像缩放与旋转判别方法 Download PDFInfo
- Publication number
- CN102073405B CN102073405B CN 201010569371 CN201010569371A CN102073405B CN 102073405 B CN102073405 B CN 102073405B CN 201010569371 CN201010569371 CN 201010569371 CN 201010569371 A CN201010569371 A CN 201010569371A CN 102073405 B CN102073405 B CN 102073405B
- Authority
- CN
- China
- Prior art keywords
- touch point
- image
- touch
- line
- rectangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种图像缩放与旋转判别方法,包括以下步骤:初始化图像采集装置,获取初始帧及当前帧中,确定各个相对应触摸点的位置;设起始帧中两触摸点为Ai与Bi,当前帧中相应于Ai的触摸点为Ac,相应于Bi的触摸点为Bc,Ai与Ac的连线记为la,Bi与Bc的连线记为lb;以Ai与Bi的连线为直径形成一圆形区域Si,并记Si的中心为Ci,半径为R,判断Ac、Bc与Si的位置关系;若Ac、Bc中有任一触摸点处于Si中,则认为是旋转操作;若Ac、Bc中无任一触摸点处于Si中,则通过圆心Ci分别作直线la与lb的垂线,分别得到位于Si内的交点Pa和Pb;以Ai与Ac为对角线,作矩形Ra;以Bi与Bc为对角线,作矩形Rb;判断Pa与Pb是否处于Ra和Rb中,若有任意一点处于相对应的矩形中,则判定为旋转操作,否则为缩放操作。本发明操作简便,具有高实时性和强鲁棒性。
Description
技术领域
本发明涉及图像分析、机器视觉与模式识别领域,特别是多点触摸图像缩放与旋转判别方法。
背景技术
随着机器智能化的发展,人们要求与机器交互更加自然,要求能够更加直接建立起现实模拟世界与虚拟数字世界之间的桥梁。基于机器视觉的多点触摸技术,由于其表达的自然性和实时性等优点,在学术研究和工业实践中得到大力发展。基于单触摸点的产品已实现产品化,而基于多点触摸技术的产品由于存在种种困难,一直难于产品化。其困难主要基于两方面:一是技术困难;虽然模式识别与机器视觉在这些年的到长足发展,但对一些现实问题,哪怕是人类能够非常简单解决的问题,机器仍无法做出正确的判断;另一方面是人自身表达方式的不确定性;机器由于其智能化程度低,不能正确理解同一问题的多种表达方式,也不能容忍某种具体操作的多变性。
正是基于以上原因,多点触摸技术在实际中都要求专业人员进行操作,或者对初学者进行一段时间的培训,待其熟悉和规范操作流程之后才能正式交付使用,然而这样却阻碍了产品市场推广。在一种文化中,某一描述的表达方式实质上都能达成共识,如图片放大操作,当两手指定位在图片上,并且两手指的距离越来越远时,人都能理解其意是将图片放大;再如图片旋转,当两触摸点相向而行并表现出一定弧度时,人都能理解其意是将图片旋转。然而机器却不能实时地做出正确的分析判断,因为机器是基于精确计算的程序处理过程。当操作者放大或缩小与旋转动作较为接近时,机器则不能正确理解操作者意图,进而执行错误的操作。采用高深的图像处理与模式识别技术当然能很好地解决这个问题,但是实时性往往无法得到保证,然而这类产品的一个主要特点就是实时性,所以开发一种简便、实时性强、鲁棒性强的新技术将具有广泛的应用市场。
针对图像放大缩小与旋转,目前采用的方法主要是通过计算当前帧中两触摸点与起始帧中两触摸点连线的夹角来判定,如起始帧中两触摸点A0和B0,两触摸点的连线用lab表示,当前帧中相应于A0与B0的两触摸点为A1和B1,A0与A1之间的连线用la表示,B0与B1之间的连线用lb表示,则若直线la与lab所形成的夹角(∠1)与直线lb与lab所形成的夹角(∠2)在给定范围之内,则判别为缩放操作,若不在给定范围内则认定为旋转操作,如图1所示。但是这种设定具有不稳定性,由于人操作的随意性,角1与角2可能会出现一个处于设定阈值之内,另一个处于设定阈值之外,则机器该如何执行操作?此外,如若角1与角2都与设定阈值相等,假设都为45度,那此时到底是旋转还是缩放,机器也无法给出正确的操作。所以,完全基于角度判别的方法具有不稳定性。
发明内容
本发明的目的是解决人机交互中基于机器视觉技术的图像误操作问题,通过图像分析技术对当前帧与起始帧中触摸点进行分析,公开一种简便、实时性强、鲁棒性极强的图像缩放与旋转判别方法,从而让机器理解操作者想要执行的真实操作,进而执行相应的动作。
为实现上述目的,本发明提出的技术方案提供一种图像缩放与旋转判别方法,其包括以下步骤:
A1、初始化图像采集装置,获取图像;
A2、处理图像,获取并确定初始帧中,一个或多个触摸点的初始位置;
A3、连续获取图像,采用跟踪与图像分析技术获取当前帧中各个触摸点的位置,所述当前帧中各个触摸点相应于初始帧中各个触摸点;
A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置,判别对图像实现的操作;
其中,步骤A4中的判别方法如下:
1)设起始帧中两触摸点为Ai与Bi,当前帧中相应于Ai的触摸点为Ac,相应于Bi的触摸点为Bc,Ai与Ac的连线记为la,Bi与Bc的连线记为lb;
2)以Ai与Bi的连线为直径形成一圆形区域Si,并记Si的中心为Ci,半径为R,判断Ac、Bc与Si的位置关系;
3)若Ac、Bc中有任一触摸点处于Si中,即下式成立:
式中dij表示两点i与j之间的距离,R为Si的半径;则认为是旋转操作;
4)若Ac、Bc中无任一触摸点处于Si中,则通过圆心Ci分别作直线la与lb的垂线,分别得到位于Si内的交点Pa和Pb;
5)以Ai与Ac为对角线,作矩形Ra;以Bi与Bc为对角线,作矩形Rb;
6)判断Pa与Pb是否处于Ra和Rb中,若有任意一点处于相对应的矩形中,则判定为旋转操作,否则为缩放操作。
进一步地,对获取的图像进行去噪、二值化、增强后,对触摸点区域进行重心归一化处理,以重心坐标表示触摸点。
步骤6)中的判定方法为:记,
其中min{A,B}表示取A,B中最小值,max{A,B}表示取A,B中最大值。
① 且
②XRb_min<Xb<XRb_max且
若以上两条件有任一成立,则判为旋转操作;若二者均不成立,则判为缩放操作。
与现有技术相比,本发明有益效果在于:
本发明主要解决人机交互中基于视觉技术的多点触摸图像操作问题,该系统中通过两手指接触触摸屏对图像进行旋转和缩放操作。传统解决方案主要采用角度来判定该执行何种操作,但由于两方面的原因致使机器不能正确理解:一是技术本身限制,因为机器是通过精确计算来处理问题的,对于模糊性的操作,机器无能为力;二是操作者操作不规范,致使机器不能正确理解。鉴于以上原因,本发明创造性地通过引入一圆形区域,进而计算当前帧中触摸点与圆形区域的关系来确定用户实际执行的操作,该方法只需简单的数学计算便能得到正确的结果,具有高实时性、强鲁棒性、易操作等优势。本发明能广泛应用于接触式与非接触式人机交互设备中,特别是实时性要求极高的场合。
附图说明
图1:现有技术图片放大缩小与旋转操作判定示意图;
图2:图像旋转操作示意图(有一触摸点位于圆形区域中);
图3:图像旋转操作示意图(两触摸点都处于圆形区域中);
图4:图像缩放操作(两触摸点均位于圆形区域外);
图5:图像旋转操作(两触摸点交叉处于圆形区域外);
图6:图像缩放操作(无任一垂足位于各自矩形区域中);
图7:图像旋转操作(两垂足都位于各自矩形中)。
具体实施方式
下面对本发明加以详细说明,应指出的是,所描述的实施例旨在便于对本发明的理解,而对其不起任何限定作用。
本发明实现方法需要的硬件为图像采集设备、计算机、红外光源及一块触摸屏。
本发明中的红外光源用于产生红外光场,红外光场均匀覆盖在触摸屏上方,图像采集器为红外摄像头,置于触摸屏后方,以64帧/每秒获取灰度图像。当有手指接触到触摸屏时,触摸点处光线被反射,致使获取的红外图像中,在触摸点处生成具有较高灰度值的亮点,所获取的图像送入计算机进行去噪、二值化、增强后,对触摸点区域进行重心归一化处理,以重心坐标表示触摸点。
其包括以下步骤:
A1、初始化图像采集装置,获取图像;
A2、处理图像,获取并确定初始帧中,一个或多个触摸点的初始位置;
A3、连续获取图像,采用跟踪与图像分析技术获取当前帧中各个触摸点的位置,所述当前帧中各个触摸点相应于初始帧中各个触摸点;
A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置,判别对图像实现的操作;
其中,步骤A4中的判别方法如下:
1)设起始帧中两触摸点为Ai与Bi,当前帧中相应于Ai的触摸点为Ac,相应于Bi的触摸点为Bc,Ai与Ac的连线记为la,Bi与Bc的连线记为lb;
2)以Ai与Bi的连线为直径形成一圆形区域Si,并记Si的中心为Ci,半径为R,判断Ac、Bc与Si的位置关系;
3)若Ac、Bc中有任一触摸点处于Si中,即下式成立:
式中dij表示两点i与j之间的距离,R为Sj的半径;则认为是旋转操作;
4)若Ac、Bc中无任一触摸点处于Si中,则通过圆心Ci分别作直线la与lb的垂线,分别得到位于Si内的交点Pa和Pb;
5)以Ai与Ac为对角线,作矩形Ra;以Bi与Bc为对角线,作矩形Rb;
6)判断Pa与Pb是否处于Ra和Rb中,若有任意一点处于相对应的矩形中,则判定为旋转操作,否则为缩放操作。
进一步地,对获取的图像进行去噪、二值化、增强后,对触摸点区域进行重心归一化处理,以重心坐标表示触摸点。
步骤6)中的判定方法为:记,
其中min{A,B}表示取A,B中最小值,max{A,B}表示取A,B中最大值。
① 且
②XRb_min<Xb<XRb_max且
若以上两条件有任一成立,则判为旋转操作;若二者均不成立,则判为缩放操作。
实施例1
如图2至图7所示,当检测到触摸屏上有两触摸点时,便生成一圆形区域,记起始帧中两触摸点为A0(400,300)与B0(600,300),其所形成的圆形区域记S为,圆心记为C,半径记为R,假设在第K帧中相对于A0与B0的两触摸点分别为A1(300,150)与B1(800,400)。
步骤2:记连接A0、A1的直线为la,记连接B0、B1的直线为lb,过C分别作直线la与lb的垂线,分别交于la的延长线点Pa(430,346)和lb的延长线点Pb(520,260),执行步骤3;
步骤3:根据A0、A1作矩形RA,根据B0、B1作矩形RB,通过下式判断Pa、Pb是否处于矩形RA与RB中;
若Pa处于RA中,则
若Pb处于RB中,则
式中,Xk、Yk分别表示点K的横坐标和纵坐标值。经计算,Pa、Pb均不处于矩形RA与RB中,所以可以确定该操作为缩放操作。
实施例2
当检测到触摸屏上有两触摸点时,便生成一圆形区域,记起始帧中两触摸点为A0(400,300)与B0(600,300),其所形成的圆形区域记S为,圆心记为C,半径记为R,假设在第K帧中相对于A0与B0的两触摸点分别为A1(600,150)与B1(450,500)。
步骤2:记连接A0、A1的直线为la,记连接B0、B1的直线为lb,过C分别作直线la与lb的垂线,分别交la于点Pa(564,348)、交lb于点Pb(464,252),执行步骤3;
步骤3:根据A0、A1作矩形RA,根据B0、B1作矩形RB,通过下式判断Pa、Pb是否处于矩形RA与RB中;
若Pa处于RA中,则
若Pb处于RB中,则
式中,Xk、Yk分别表示点K的横坐标和纵坐标值。经计算,Pa、Pb均处于矩形RA与RB中,所以可以确定该操作为旋转操作。
Claims (3)
1.一种图像缩放与旋转判别方法,包括以下步骤:
A1、初始化图像采集装置,获取图像;
A2、处理图像,获取并确定初始帧中一个或多个触摸点的初始位置;
A3、连续获取图像,采用跟踪与图像分析技术获取当前帧中各个触摸点的位置,所述当前帧中各个触摸点相应于初始帧中各个触摸点;
A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置,判别对图像实现的操作;
其特征在于,步骤A4中的判别方法如下:
1)设初始帧中两触摸点为Ai与Bi,当前帧中相应于Ai的触摸点为Ac,相应于Bi的触摸点为Bc,Ai与Ac的连线记为la,Bi与Bc的连线记为lb;
2)以Ai与Bi的连线为直径形成一圆形区域Si,并记Si的中心为Ci,半径为R,判断Ac、Bc与Si的位置关系;
3)若Ac、Bc中有任一触摸点处于Si中,即下式成立:
或
式中dij表示两点i与j之间的距离,R为Si的半径,则认为是旋转操作;
4)若Ac、Bc中无任一触摸点处于Si中,则通过圆心Ci分别作直线la与lb的垂线,分别得到位于Si内的交点Pa和Pb;
5)以Ai与Ac为对角线,作矩形Ra;以Bi与Bc为对角线,作矩形Rb;
6)判断Pa与Pb是否处于Ra和Rb中,若有任意一点处于相对应的矩形中,则判定为旋转操作,否则为缩放操作。
2.根据权利要求1所述的图像缩放与旋转判别方法,其特征在于,步骤A2中,对获取的图像进行去噪、二值化、增强后,对触摸点区域进行重心归一化处理,以重心坐标表示触摸点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010569371 CN102073405B (zh) | 2010-11-30 | 2010-11-30 | 一种图像缩放与旋转判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010569371 CN102073405B (zh) | 2010-11-30 | 2010-11-30 | 一种图像缩放与旋转判别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102073405A CN102073405A (zh) | 2011-05-25 |
CN102073405B true CN102073405B (zh) | 2012-12-05 |
Family
ID=44031966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010569371 Expired - Fee Related CN102073405B (zh) | 2010-11-30 | 2010-11-30 | 一种图像缩放与旋转判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102073405B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799576B (zh) * | 2012-07-05 | 2016-08-10 | 珠海金山办公软件有限公司 | 在电子表格中给出不同行列操作提示的方法及装置 |
CN103970328B (zh) * | 2013-02-05 | 2016-12-28 | 株式会社理光 | 触摸式或非触摸式的多输入点控制指令检测方法和装置 |
CN104714746B (zh) * | 2013-12-16 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
CN106469457B (zh) * | 2016-09-22 | 2019-02-19 | 北京仁光科技有限公司 | 一种修复触控系统触点错误轨迹的方法 |
CN109814784B (zh) * | 2019-01-07 | 2022-07-08 | 平安科技(深圳)有限公司 | 图片旋转方法、装置、计算机设备和存储介质 |
CN112732120A (zh) * | 2021-01-18 | 2021-04-30 | 海信视像科技股份有限公司 | 一种显示设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1969254A (zh) * | 2004-06-17 | 2007-05-23 | 皇家飞利浦电子股份有限公司 | 在触摸屏上使用两手指输入 |
CN101813995A (zh) * | 2010-05-12 | 2010-08-25 | 福州锐达数码科技有限公司 | 一种红外感应式电子白板识别手势的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI460621B (zh) * | 2008-01-21 | 2014-11-11 | Elan Microelectronics Corp | 可供進行多物件操作之觸控板及應用其中之方法 |
-
2010
- 2010-11-30 CN CN 201010569371 patent/CN102073405B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1969254A (zh) * | 2004-06-17 | 2007-05-23 | 皇家飞利浦电子股份有限公司 | 在触摸屏上使用两手指输入 |
CN101813995A (zh) * | 2010-05-12 | 2010-08-25 | 福州锐达数码科技有限公司 | 一种红外感应式电子白板识别手势的方法 |
Non-Patent Citations (1)
Title |
---|
凌云翔,李锐,老松杨.基于多指触摸的指挥空间用户操作模型.《计算机工程》.2009,第35卷(第10期),第1-3页. * |
Also Published As
Publication number | Publication date |
---|---|
CN102073405A (zh) | 2011-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102073405B (zh) | 一种图像缩放与旋转判别方法 | |
CN103353935B (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
CN103294996A (zh) | 一种3d手势识别方法 | |
CN104992171A (zh) | 一种基于2d视频序列的手势识别及人机交互方法和系统 | |
CN100550039C (zh) | 一种图像特征点定位方法及装置 | |
TW201120681A (en) | Method and system for operating electric apparatus | |
CN101393497A (zh) | 基于双目立体视觉的多点触摸方法 | |
CN104318588A (zh) | 一种基于位置感知判别外观模型的多摄像机目标跟踪方法 | |
US20130202212A1 (en) | Information processing apparatus, information processing method, and computer program | |
CN102096471A (zh) | 一种基于机器视觉的人机交互方法 | |
CN108073930A (zh) | 一种基于多个不规则roi的目标检测和跟踪方法 | |
CN103092437A (zh) | 一种基于图像处理技术的便捷式触控交互系统 | |
CN103970328A (zh) | 触摸式或非触摸式的多输入点控制指令检测方法和装置 | |
CN106600664A (zh) | 对称图形的绘制方法和装置 | |
CN109189219A (zh) | 基于手势识别的非接触式虚拟鼠标的实现方法 | |
CN104730958A (zh) | 智能水杯、智能水杯通过手势进行指令控制的方法及系统 | |
CN104700403B (zh) | 一种基于kinect的手势控制液压支架的虚拟示教方法 | |
CN103927014A (zh) | 一种字符输入方法及装置 | |
CN102023759B (zh) | 一种有源笔书写定位方法 | |
Hou et al. | Four-point trapezoidal calibration algorithm for human-computer interaction system based on 3D sensor | |
CN108255352B (zh) | 一种投影交互系统中多点触摸实现方法及系统 | |
CN109032343A (zh) | 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 | |
CN105373329A (zh) | 显示器与展台的交互方法及系统 | |
CN105426107A (zh) | 基于触控板的手势识别方法 | |
JP6028320B2 (ja) | 接触検出装置、記録表示装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670 Patentee after: Wei Chong group Limited by Share Ltd Address before: 510663 No. 6, color road, hi tech Industrial Development Zone, Guangdong, Guangzhou, China Patentee before: Guangdong Weichuangshixun Science and Technology Co., Ltd. |
|
CP03 | Change of name, title or address | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121205 Termination date: 20191130 |
|
CF01 | Termination of patent right due to non-payment of annual fee |