CN102868811B - 一种基于实时视频处理的手机屏幕操控方法 - Google Patents

Abstract

一种基于实时视频处理的手机屏幕操控方法，它有七大步骤：一：摄像头获取实时图像，并对其数字化；二：增强图像的灰度、对比度，并对其噪声抑制、锐化、平移、缩放和旋转处理；三：手机处理器对图像分割成目标区域和背景区域；四：对图像进行贴标签、细线化，对二值图像进行腐蚀与膨胀的数学形态学处理；五:图像中的问题在空间域上分析和处理比较困难时，将其转换到频域或其他变换频域上进行处理；六：选取图像特征点，并与前一张图像的特征点进行匹配，得到移动向量；七：手机处理器将移动向量转换为输入信号传输给传感器，经过触摸屏的中间交互层，反映到最外层的触摸表层，即实现了移动向量向手机屏幕中光标需要移动的方向和距离的映射。

Description

一种基于实时视频处理的手机屏幕操控方法

（一）技术领域

本发明涉及一种基于实时视频处理的手机屏幕操控方法，它是对于目前智能手机摄像头的新应用，通过摄像头对实时图像的获取，运用相关软件，经过图像的处理，实现代替目前智能手机对于手指触摸屏幕方向键控制的问题。另外，在手机游戏应用方面，实现对相应的图像处理及换算，将为手机游戏用户带来一场革命性的全新体验。

（二）背景技术

目前的智能手机大多都已经通过手指触摸滑动的方式来实现了看网页，玩游戏等操作，但是在一些应用方面，并不是做到了完美无缺。从用户的角度，“手势”技术思想在屏幕上的实现，或多或少会限制手势的大小和无法实现精度的控制。用手机看网页时，网页的显示方式与在电脑上的显示方式不同，很多都是竖屏的。而且，手机等移动设备的优势是小巧便携，但是同样也因为这个优点限制了屏幕的大小，从而使手机上看网页等内容时，非常不方便，还影响视觉体验。同时，为了看清楚屏幕上的小字，很多人头与手机距离很近，长期举着胳膊，也容易疲劳。这种情况主要集中体现了两点问题，一个是“看”的问题，一个是“操作”的问题。目前的智能手机大部分以大屏幕和简单的几个按键为主，针对游戏应用，除了用重力感应器陀螺仪等装置辅助外，主要靠触摸屏幕来实现方向上的控制操作。而在触摸的过程中，手指会挡住屏幕或屏幕上的光标，导致控制精度出现误差。这将影响游戏的体验。本发明旨在解决这种情况，从摄像头的角度来实现对这种方向键的操作控制，提高对手机应用和手机游戏应用的可操作性。

（三）发明内容

（1）目的：

本发明的目的是提供一种基于实时视频处理的手机屏幕操控方法，它针对现有智能手机对手机浏览网页，游戏等屏幕操作上的不足，利用手机摄像头实现对实时图像的获取，通过图像匹配与跟踪，以及相应的算法，实现对手机屏幕的控制达到精度较高，操作简便的目的。

（2）技术方案：

本发明专利申请解决其技术问题所采取的技术方案是：

通过手机背面的摄像头获取静态实时图像，即图像采集的过程，然后通过图像处理，进行目标的匹配与跟踪，寻找描述目标个体的特征，获得特征点（也称为控制点），借助这些特征点的性质及其之间的关系进行匹配，以确定前后两个图片的对应点的映射关系。摄像头将采集到的目标物的光学图像，在内部转换为一维时间（t）信号，即视频信号。利用视频信号中包含的目标的相关信息，可以对具体目标进行匹配，将间隔时间内的特征点的移动进行计算（见步骤六），从而得出特征点的坐标移动向量（如图1）。该向量将成为相关软件应用中方向键操作的代替。

所述控制点是指可以清晰分辨并易于测量的点，通过它们建立不同坐标空间之间的对应关系。

所述图像跟踪是对监视视场中的运动目标进行跟踪的过程。

特征点的移动计算如图1所示，得到特征点移动向量（x’-x，y’-y），那么特征点1移动到特征点2的移动方向为α为特征点1移动到特征点2相对于竖直方向的角度，x，y，x'，y'分别为两个特征点的坐标值。两个特征点之间的移动距离计算为：前后两张图像存在平移、缩放和旋转这三种空间几何变换的一种或者多种。综合以上计算过程，那么特征点的移动可以用如下变换矩阵表示：

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{,}\\ y^{,}\\ 1\end{array}\right)$

图像配准的过程，就是求仿射变换矩阵的过程。若解出所有未知参数，前后两张图像之间点的一一对应关系就可以找到了。由上式可以得出：

x_w=x_is cosθ-y_is sinθ+x₀

y_w=x_is sinθ+y_is cosθ+y₀

四个未知参数x₀，y₀，s，θ，通过两组控制点对，即可算出。对应控制点对可以采用自动特征检测算法来获取。上式中x’，y’为待匹配图像特征点的坐标，x，y为模型图像中相对应的特征点的坐标，x₀，y₀为平移系数，s为缩放系数，θ为旋转角度。

综上所述，本发明一种基于实时视频处理的手机屏幕操控方法，该方法具体步骤如下：

步骤一：摄像头开启，获取实时图像，并对其进行数字化，使得图像以数字的形式进行表示，并且做到既不失真，又便于手机处理器的处理。

步骤二：增强所采集图像的灰度，提高图像的暗亮对比度，加大亮暗差异的目标特征。并对图像进行噪声抑制，锐化，以及对图像进行平移、缩放和旋转。

步骤三：手机处理器对图像进行分割，即将图像中目标物区域进行划分，将其分割为目标区域和背景区域两大类。图像分割的质量决定了特征点的选取，目标识别的好坏。

步骤四：经过图像分割后的二值图像，通常情况下会存在误检与漏检，与所希望的有所差异，那么就需要对图像进行贴标签、细线化，对二值图像进行腐蚀与膨胀的数学形态学处理。

其处理过程描述如下：为区分不同的连通区域，就需要对二值图像的每个不同的连通域进行不同的编号，即贴标签。它包含了两个关键步骤：一个是按照从上到下从左到右的顺序扫描所有像素值为1的像素，判断其是否与已经贴过标签的像素属于同一连通域，如果是，则贴相同的标签，否则暂时判定为不同的连通域，贴新的标签。另一个是对已经贴好的标签进行校正，对在下方连接在一起的、已经贴为不同标签的像素归并为同一标签，并对整体的标签进行调整。然后对目标区域进行距离变换，根据距离变换获得的结果寻找目标区域骨架（目标区域的一种只有单像素宽的细化结构）线，即是细线化处理的过程。腐蚀是在结构元素约束下消除目标图像部分分界点，使其边界向内部收缩的算法，具有收缩目标图像的作用。膨胀是腐蚀运算的对偶运算，是在结构元素的约束下将与目标区域相接触的背景点合并到该目标物中，使目标边界向外部扩张，从而物体的面积增大了相应数量的点。二值图像的腐蚀与膨胀运算，能够改变目标物连通区域的连接特性，由此达到分析目标预处理的目的。目前这两种算法都比较成熟。

步骤五：图像中的问题在空间域上分析和处理比较困难或复杂时，将其转换到频域或其它变换频域上进行分析处理。

步骤六：基于上述步骤，选取图像特征点，坐标为（x’，y’），并与前一张图像的特征点(x，y)进行匹配，得到移动向量为（x’-x，y’-y）。特征点的移动可以用如下变换矩阵表示：

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{,}\\ y^{,}\\ 1\end{array}\right)$

图像配准的过程，就是求仿射变换矩阵的过程。若解出所有未知参数，前后两张图像之间点的一一对应关系就可以找到了。由上式可以得出：

x_w=x_is cosθ-y_is sinθ+x₀

y_w=x_is sinθ+y_is cosθ+y₀

四个未知参数x₀，y₀，s，θ，通过两组控制点对，即可算出。对应控制点对可以采用自动特征检测算法来获取。式中x’，y’为待匹配图像特征点的坐标，x，y为模型图像中相对应的特征点的坐标，x₀，y₀为平移系数，s为缩放系数，θ为旋转角度。

步骤七：手机处理器将移动向量转换为输入信号传输给传感器，传感器对信号进行处理，经过触摸屏的中间交互层，反映到最外层的触摸表层。即实现了移动向量向手机屏幕中光标需要移动的方向和距离的映射。

（3）优点及功效：本发明利用智能手机后置摄像头实现对手机屏幕操作控制的方案具有如下优点和功效：

功效一：对手机屏幕进行操作时，手机的后置摄像头能够自动开启，进行图像获取。

功效二：手机在相对小的移动或转动情况下不足以对手机屏幕进行误操作，手机的左侧

设置操作开启/关闭的开关，可防止在非人为移动或抖动的情况下导致的误操作。

本发明相对重力加速度传感器应用在手机中的优点：

①若以手机游戏为例，相对传统的利用重力加速度传感器在内部构造上，是测量质量刚体是布置在轴向的方向上，那么所实现的不用按键，是通过手机的倾斜或左右前后移动来完成高难度的动作的，而利用手机的摄像头对于手机运动的加速度不是必须的，而在手机匀速移动条件下也可以实现完成游戏的高难度动作。使得操作更简便，控制更精确。

②手机中重力加速度传感器无法实现对手机姿态的感应，即无法检测手机的旋转动作，利用摄像头对于手机的运动并不存在这个问题。

本发明相对陀螺仪应用在手机中的优点：

相对于目前的陀螺仪在手机中的应用，陀螺仪实现的是对手机姿态变化的感应，它测量的是手机旋转时的角速度。经手机中的处理器对角速度积分后就得到手机在某一段时间内旋转的角度。但它并不能检测手机在相对水平面的发生的变换。但本发明，利用摄像头实现对实时图像的获取，特征点的选取后移动方向是未知的，则经过特征点匹配追踪，并且运用相关已有的成熟算法进行计算，对于手机运动的各个方向，都不影响手机的屏幕操作。

（四）附图说明

图1为本发明所述原理示意图

图2为本发明流程框图

图中符号说明如下：

1为摄像头获取的第一张实时图像选取的特征点

（x，y）为获取的第一张实时图像特征点的坐标

2为摄像头移动后，获取的第二张实时图像的特征点

（x’，y’）为获取的第二张实时图像特征点的坐标

（x’-x，y’-y）为前后两张图像中特征点移动的向量

（五）具体实施方式

本发明中，模糊了重力加速度传感器和陀螺仪对手机屏幕触摸控制的方法，抛开传统观念，完全是以手机后置摄像头作为输入设备，进行对图像的处理控制达到对屏幕光标或浏览网页时换页的目的。

实现此手机屏幕操控目的所涉及到的物理条件及基本参数：

网络模式：不要求

外观设计：直板

主屏尺寸：4英寸854X480像素

触摸屏：电容屏，多点触控

摄像头像素：200万像素CMOS以上

闪光点：推荐内置LED补光灯

自动对焦：推荐

操作系统：推荐MIUI+原生Android

机身内存：256MB以上

CPU类型：推荐异步双核处理器

CPU频率：两枚主频为1.5HZ的通用异步处理核心

CPU工艺：45纳米工艺制程

2D/3D加速：推荐支持

键盘类型：虚拟QWERTY键盘

图像采样间隔时间：推荐1/50秒以上

具体实施过程：

整个过程是手机处于应用状态时，若施行对手机屏幕或者屏幕中的光标进行操作，手机的移动或旋转都可以使得手机的后置摄像头自动打开，获取实时图像，通过图像处理选取特征点，将间隔时间内特征点的移动进行计算，得出坐标移动的向量。通过测量特征点的移动，计算摄像头移动的距离。从而通过傅里叶变换，Mallat等已有的成熟算法进行计算，可以准确的指导手机网页或光标移动。

综上过程，本发明是一种基于实时视频处理的手机屏幕操控方法，该方法具体实施步骤如下：

步骤一：手机摄像头开启，进行图像采集，受光照环境较好的条件下可以获得比较好的图像。

步骤二：在获得图像后，手机处理器对图像进行数字化处理，手机处理器将在空间上连续分布的图像转换成离散的图像点，然后再将图像的亮暗信息以离散的数字来表示，即量化的过程。增强所采集图像的灰度，提高图像的暗亮对比度，加大亮暗差异的目标特征。并对图像进行噪声抑制，锐化，以及对图像进行平移、缩放和旋转。

步骤三：完成了以上图像的处理过程后，手机处理器对图像进行分割，划分为目标区域和背景区域两大类。

步骤四：对图像分割后的二值图像，进行贴标签、细线化，对二值图像进行腐蚀与膨胀的数学形态学处理。

其处理过程描述如下：为区分不同的连通区域，就需要对二值图像的每个不同的连通域进行不同的编号，即贴标签。它包含了两个关键步骤：一个是按照从上到下从左到右的顺序扫描所有像素值为1的像素，判断其是否与已经贴过标签的像素属于同一连通域，如果是，则贴相同的标签，否则暂时判定为不同的连通域，贴新的标签。另一个是对已经贴好的标签进行校正，对在下方连接在一起的、已经贴为不同标签的像素归并为同一标签，并对整体的标签进行调整。然后对目标区域进行距离变换，根据距离变换获得的结果寻找目标区域骨架（目标区域的一种只有单像素宽的细化结构）线，即是细线化处理的过程。腐蚀是在结构元素约束下消除目标图像部分分界点，使其边界向内部收缩的算法，具有收缩目标图像的作用。膨胀是腐蚀运算的对偶运算，是在结构元素的约束下将与目标区域相接触的背景点合并到该目标物中，使目标边界向外部扩张，从而物体的面积增大了相应数量的点。二值图像的腐蚀与膨胀运算，能够改变目标物连通区域的连接特性，由此达到分析目标预处理的目的。目前这两种算法都比较成熟。

步骤五：图像中的问题在空间域上分析和处理比较困难或复杂时，将其转换到频域或其他变换频域上进行分析处理。

步骤六：对分析处理后的图像进行特征点选取，即得到了特征点质心的坐标位置，与前一幅图像的特征点的质心坐标相比较，发生的移动以向量表示为（x’-x，y’-y）。特征点的移动可以用如下变换矩阵表示：

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{,}\\ y^{,}\\ 1\end{array}\right)$

图像配准的过程，就是求仿射变换矩阵的过程。若解出所有未知参数，前后两张图像之间点的一一对应关系就可以找到了。由上式可以得出：

x_w=x_is cosθ-y_is sinθ+x₀

y_w=x_is sinθ+y_is cosθ+y₀

四个未知参数x₀，y₀，s，θ，通过两组控制点对，即可算出。对应控制点对可以采用自动特征检测算法来获取。上式中x’，y’为待匹配图像特征点的坐标，x，y为模型图像中相对应的特征点的坐标，x₀，y₀为平移系数，s为缩放系数，θ为旋转角度。

步骤七：手机处理器将移动向量转换为输入信号传输给传感器，通过传感器对信号进行处理传输，传递给显示器，反映到最外层的触摸表层。即实现了移动向量向手机屏幕中光标需要移动的方向和距离的映射。

如图1中的第一个框图为摄像头打开后获取的第一张图的实时图像，在选取特征点后映射到摄像头捕捉到的第二张图像上，在第二张图像上移动前与移动后的特征点进行比较，换算出向量，通过相关算法，程序调用，将这些向量转换为手机屏幕中屏幕或光标需要移动的距离。达到对手机屏幕的精确控制。

对屏幕的不断控制过程正是由手机摄像头的不断移动或旋转获取的N多个这样的实时图像，在变换的过程中每个图像进行一定的几何变换，映射到前一图像上，选取特征点与前一张图像进行匹配，且在摄像头对图像的跟踪过程中，通过图像匹配方法获得当前帧中目标质心或形心所在的位置，计算该位置与屏幕当前中心的距离，将该距离值对应的数量转化为控制信号再反馈给控制环节，经过进一步处理之后，通过反馈量可以提供给手机屏幕需要相应的移动距离或角度。

如图2为整个运作程序结构示意图，首先在进行操作时，程序初始化，由服务后台控制实施摄像头的自动开启操作，若操作者想看手机网页中边缘因为屏幕不够大而被遮盖的文字或图片信息时，只要相应的将手机摄像头往一致的方向移动，此时在手机摄像头不断的移动旋转过程中，根据如图1的原理，经过以上技术方案以及实施方式介绍，将信号传输到传感器、控制器，指导屏幕的操作（见以上七个步骤）。

本发明针对智能手机摄像功能提出了一种新的应用方式，如果将这种应用构建于操作系统的底层，则将带来一场用户体验的全新革命。

Claims (1)

1.一种基于实时视频处理的手机屏幕操控方法，其特征在于：该方法具体步骤如下：

步骤一：手机摄像头开启，进行图像采集，受光照环境较好的条件下获得比较好的图像；

步骤二：在获得图像后，手机处理器对图像进行数字化处理，手机处理器将在空间上连续分布的图像转换成离散的图像点，然后再将图像的亮暗信息以离散的数字来表示，即量化的过程；增强所采集图像的灰度，提高图像的暗亮对比度，加大亮暗差异的目标特征；并对图像进行噪声抑制，锐化，以及对图像进行平移、缩放和旋转；

步骤三：完成了以上图像的处理过程后，手机处理器对图像进行分割，划分为目标区域和背景区域两大类；

步骤四：对图像分割后的二值图像，进行贴标签、细线化，对二值图像进行腐蚀与膨胀的数学形态学处理；

其处理过程描述如下：为区分不同的连通区域，就需要对二值图像的每个不同的连通域进行不同的编号，即贴标签；它包含了两个关键步骤：一个是按照从上到下从左到右的顺序扫描所有像素值为1的像素，判断其是否与已经贴过标签的像素属于同一连通域，如果是，则贴相同的标签，否则暂时判定为不同的连通域，贴新的标签；另一个是对已经贴好的标签进行校正，对在下方连接在一起的、已经贴为不同标签的像素归并为同一标签，并对整体的标签进行调整；然后对目标区域进行距离变换，根据距离变换获得的结果寻找目标区域骨架线，目标区域的一种只有单像素宽的细化结构，即是细线化处理的过程；腐蚀是在结构元素约束下消除目标图像部分分界点，使其边界向内部收缩的算法，具有收缩目标图像的作用；膨胀是腐蚀运算的对偶运算，是在结构元素的约束下将与目标区域相接触的背景点合并到该目标物中，使目标边界向外部扩张，从而物体的面积增大了相应数量的点；二值图像的腐蚀与膨胀运算，能够改变目标物连通区域的连接特性，由此达到分析目标预处理的目的；

步骤五：图像中的问题在空间域上分析和处理比较困难或复杂时，将其转换到频域或其他变换频域上进行分析处理；

步骤六：对分析处理后的图像进行特征点选取，即得到了特征点质心的坐标位置，与前一幅图像的特征点的质心坐标相比较，发生的移动以向量表示为(x’-x,y’-y)；特征点的移动用如下变换矩阵表示：

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{,}\\ y^{,}\\ 1\end{array}\right)$

图像配准的过程，就是求仿射变换矩阵的过程；若解出所有未知参数，前后两张图像之间点的一一对应关系就能找到了；由上式得出：

x_w＝x_iscosθ-y_issinθ+x₀

y_w＝x_issinθ+y_iscosθ+y₀

四个未知参数x₀，y₀，s，θ，通过两组控制点对，即算出；对应控制点对采用自动特征检测算法来获取；上式中x’，y’为待匹配图像特征点的坐标，x,y为模型图像中相对应的特征点的坐标，x₀，y₀为平移系数，s为缩放系数，θ为旋转角度；

步骤七：手机处理器将移动向量转换为输入信号传输给传感器，通过传感器对信号进行处理传输，传递给显示器，反映到最外层的触摸表层；即实现了移动向量向手机屏幕中光标需要移动的方向和距离的映射；

摄像头打开后获取的第一张图的实时图像，在选取特征点后映射到摄像头捕捉到的第二张图像上，在第二张图像上移动前与移动后的特征点进行比较，换算出向量，通过相关算法，程序调用，将这些向量转换为手机屏幕中屏幕或光标需要移动的距离；达到对手机屏幕的精确控制；

对屏幕的不断控制过程正是由手机摄像头的不断移动或旋转获取的N多个这样的实时图像，在变换的过程中每个图像进行仿射变换，映射到前一图像上，选取特征点与前一张图像进行匹配，且在摄像头对图像的跟踪过程中，通过图像匹配方法获得当前帧中目标质心或形心所在的位置，计算该位置与屏幕当前中心的距离，将该距离值对应的数量转化为控制信号再反馈给控制环节，经过进一步处理之后，通过反馈量提供给手机屏幕需要相应的移动距离或角度；

首先在进行操作时，程序初始化，由服务后台控制实施摄像头的自动开启操作，若操作者想看手机网页中边缘因为屏幕不够大而被遮盖的文字或图片信息时，只要相应的将手机摄像头往一致的方向移动，此时在手机摄像头不断的移动旋转过程中，将信号传输到传感器、控制器，指导屏幕的操作。