CN103425402A - 一种移动终端姿态的检测方法及其装置 - Google Patents

Abstract

本发明涉及一种移动终端姿态的检测方法及其装置，属于图像处理技术领域。本装置包括前置摄像头、后置摄像头和应用处理器，所述的前置摄像头和后置摄像头分别与应用处理器相连接。本发明利用移动终端在位置和姿态发生变化时，前置摄像头和后置摄像头拍摄的景物图像产生相应的移动和转动，监测前方景物图像和后方景物图像的位移量和转动角度，将图像位移量和转动角度换算为移动终端的位置偏移和姿态变化值，从而实现对移动终端的姿态测量。本发明检测方法及其装置，提高了移动终端位置变化和姿态变化的检测灵敏度，同时不用增加移动终端的功耗、体积和成本，就可以利用人的肢体动作，通过移动终端进行人机交互。

Description

一种移动终端姿态的检测方法及其装置

技术领域

本发明涉及一种移动终端姿态的检测方法及其装置，特别涉及一种用于智能手机、平板电脑等移动终端的姿态检测装置，属于图像处理技术领域。

背景技术

移动终端是一种可以在移动中使用的计算机设备，如智能手机、笔记本电脑和平板电脑等。随着集成电路技术的飞速发展，移动终端已经成为拥有强大数据处理能力的综合信息处理平台，能够满足人们对便携性和移动性的需求，已广泛应用于经济和社会生活的各个方面。

移动终端受体积、结构和使用环境的限制，无法使用鼠标和键盘等人机交互装置，通常采用触摸屏作为基本的人机交互设备，但是在操作触摸屏时，手指和手掌会遮挡屏幕图像，影响视觉体验。为了使移动终端的人机交互方式更加自然、方便，美国苹果公司和韩国三星公司在智能手机和平板电脑中增加了惯性动作感应装置，通过检测移动终端姿态来识别人体肢体动作，利用肢体动作与移动终端进行人机交互。例如，iPhone4手机和GalaxyNote手机均采用了3轴MEMS（Micro Electro Mechanic System）微机械陀螺传感器来检测手机的姿态，从而实现对移动终端的动作感应。

惯性动作感应装置通过安装在移动终端内部的3轴MEMS陀螺传感器，利用哥氏效应分别测量移动终端相对X、Y和Z轴的角加速度，对角加速度测量结果分别进行一次积分和二次积分，就可计算出移动终端相对X、Y和Z轴的角加速度和角位移变化（图1）。

惯性动作感应装置在实际应用中存在下述的缺点：

（1）动作感应迟钝。陀螺传感器测量的是移动终端角加速度，需要经过两次对时间的积分运算后才能获得角位移，所以角位移测量结果不仅与移动终端的角加速度测量值有关，而且还与移动终端角加速度值存在的时间长度有关，因此二次积分运算使移动终端的角位移测量结果相对移动终端运动存在延迟效应，进行人机交互时，移动终端的角位移变化总是滞后于使用者的手势动作变化。

（2）动作感应灵敏度低。手势动作产生的加速度非常小，与陀螺传感器的误差信号约为同一数量级，因此手势动作的力度较小时，移动终端因陀螺传感器输出信号的信噪比太低而无法判断其姿态。

（3）陀螺传感器即增加了系统的复杂性，也增大了产品的功耗、体积及成本。

发明内容

本发明的目的是提出一种移动终端姿态的检测方法及其装置，改变已有移动终端姿态检测的方法，直接检测移动终端的角位移，以提高动作检测的灵敏度，而且在已有移动终端中无需增加新的硬件器件，保持移动终端的原有功耗、体积及成本。

本发明提出的移动终端姿态的检测方法，包括以下步骤：

（1）设定一个直角坐标系，分别实时拍摄移动终端前方和后方景物的图像；

（2）分别实时计算前方相邻两幅图像在直角坐标系中的偏移量△X_f、△Y_f、相邻两幅图像的尺寸变化幅度△D和相邻两幅图像的相对转动角度γ_f，以及后方相邻两幅图像在直角坐标系中的偏移量△X_b、△Y_b；

（3）根据上述偏移量进行判断，当△X_f与△X_b的方向相反时，则判定移动终端沿x轴左、右平移，当△X_f与△X_b的方向相同时，则判断移动终端绕y轴转动；当△Y_f和△Y_b方向相反时，则判断移动终端沿y轴上、下平移，当△Y_f和△Y_b方向相同时，则判断移动终端绕x轴转动；

（4）根据下列公式，分别计算移动终端：

△X=a×△X_f

△Y=b×△Y_f

△Z=c×△D

其中，系数a、b和c为常数，取值范围分别为1～10；

（5）根据下列公式，分别计算移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ：

α=e×△Y_f

β=d×△X_f

γ=γ_f

其中，e和d为常数，取值范围分别为：1～10。

本发明提出的移动终端姿态的检测装置，包括：

前置摄像头，用于拍摄移动终端前方景物图像，并将前方景物图像信号传送给应用处理器；

后置摄像头，用于拍摄移动终端后方景物图像，并将后方景物图像信号传送给应用处理器；

应用处理器，用于接收前置摄像头和后置摄像头输出的图像信号，并根据图像信号，分别计算相邻两幅物图像在直角坐标系中的位移量和转动角度，根据图像位移量和转动角度，计算得到移动终端的沿x轴、y轴和z轴的偏移量以及移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ。

本发明提出的移动终端姿态的检测方法，可实时检测移动终端在直角坐标系中的位置（X、Y、Z）和姿态（俯仰角、摇摆角、转动角）变化，从而可识别出移动终端的姿态，利用人的肢体动作，通过移动终端进行人机交互。本发明检测装置，直接检测移动终端的位置和姿态，无二次积分运算过程，解决了已有技术中惯性动作感应装置存在的动作感应迟钝和灵敏度低的问题。同时，采用本发明的检测方法和检测装置，可使用移动终端原有的前置摄像头和后置摄像头，无需在移动终端上增加新的硬件器件，因此不用增加移动终端的功耗、体积和成本，就可以利用人的肢体动作，通过移动终端进行人机交互。

附图说明

图1是本发明方法中，移动终端的直角坐标系示意图，（X、Y、Z）坐标系的Z轴与移动终端显示屏幕垂直，X轴和Y轴分别与显示屏幕的横坐标轴和纵坐标轴重合；俯仰角α是移动终端绕X轴的转角，摇摆角β是移动终端绕Y轴的转角，转动角γ是移动终端绕Z轴的转角。。

图2是本发明提出的移动终端姿态检测装置的原理框图。

图3是本发明提出的移动终端姿态检测装置的结构示意图，其中，1是移动终端前面板，2是前置摄像头，3是后置摄像头，4是移动终端后背板。

图4是本发明移动终端在直角坐标系的X-Y平面内平移时的前置图像示意图，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端平移后的前置图像。

图5是本发明移动终端在直角坐标系中，沿Z轴移动时的前置图像示意图，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端沿Z轴移动后的前置图像。

图6是本发明移动终端在直角坐标系中，绕Z轴转动时的前置图像示意图，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端绕Z轴转动γ角后的前置图像。

图7是本发明移动终端在直角坐标系中，绕Y轴转动时的前置图像和后置示意图，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端绕Y轴转动β角后的前置图像，（c）为移动终端初始状态时的后置图像，（d）为移动终端绕Y轴转动β角后的后置图像。

具体实施方式

本发明提出的移动终端姿态的检测方法，该方法包括以下步骤：

（1）设定一个直角坐标系，如图1中所示，分别实时拍摄移动终端前方和后方景物的图像；

（2）分别实时计算前方相邻两幅图像在直角坐标系中的偏移量△X_f、△Y_f、相邻两幅图像的尺寸变化幅度△D和相邻两幅图像的相对转动角度γ_f，以及后方相邻两幅图像在直角坐标系中的偏移量△X_b、△Y_b；

（3）根据上述偏移量进行判断，当△X_f与△X_b的方向相反时，则判定移动终端沿x轴左、右平移，当△X_f与△X_b的方向相同时，则判断移动终端绕y轴转动；当△Y_f和△Y_b方向相反时，则判断移动终端沿y轴上、下平移，当△Y_f和△Y_b方向相同时，则判断移动终端绕x轴转动；

（4）根据下列公式，分别计算移动终端：

△X=a×△X_f

△Y=b×△Y_f

△Z=c×△D

其中，系数a、b和c为常数，取值范围为1～10，表示移动终端单位位移量时的景物图像偏移量，其大小可以控制动作感应的灵敏度。

（5）根据下列公式，分别计算移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ：

α=e×△Y_f

β=d×△X_f

γ=γ_f

其中，e和d为常数，取值范围为：1～10，表示移动终端转动单位角位移时的前方景物图像的偏移量，其大小可以控制动作感应的灵敏度。

本发明提出的移动终端姿态的检测装置，其原理框图如图2所示，其结构图如图3所示，图3中，1是移动终端前面板，2是前置摄像头，3是后置摄像头，4是移动终端后背板。检测装置包括：

前置摄像头2，用于拍摄移动终端前方景物图像，并将前方景物图像信号传送给应用处理器。本发明的一个实施例中，前置摄像头2固定在移动终端的前面板1上。

后置摄像头3，用于拍摄移动终端后方景物图像，并将后方景物图像信号传送给应用处理器。本发明的一个实施例中，后置摄像头3固定在移动终端的后背板4上。

应用处理器，用于接收前置摄像头和后置摄像头输出的图像信号，并根据图像信号，分别计算相邻两幅物图像在直角坐标系中的位移量和转动角度，根据图像位移量和转动角度，计算得到移动终端的沿x轴、y轴和z轴的偏移量以及移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ，前置摄像头2和后置摄像头3分别与应用处理器相连接。

本发明的移动终端姿态检测装置中，应用处理器采用TI公司生产的OMAP4处理器，前置摄像头和后置摄像头均采用OmniVision公司生产的OV2640图像传感器模组，OMAP4处理器和OV2640图像传感器模组使用CSI（COMS Sensor Interface）接口连接，传输YUV422格式的视频信号。

本发明姿态检测装置的工作原理是：

移动终端的前置摄像头和后置摄像头分别实时拍摄移动终端前方和后方的景物图像，并将前方景物图像和后方景物图像传送给应用处理器。当移动终端的位置（X、Y、Z）和姿态（俯仰角α、摇摆角β、转动角γ）发生变化时，前方景物图像和后方景物图像会产生相应的移动和转动；应用处理器实时监测前方景物图像和后方景物图像的移动量和转动量，就可判断出移动终端的位置（X、Y、Z）和姿态（俯仰角α、摇摆角β、转动角γ）变化，从而可利用移动终端的位置和姿态变化进行动作感应人机交互。

当移动终端在（X、Y）平面内移动时，前方景物图像和后方景物图像也会产生相应的移动，前方景物图像的移动方向与后方景物图像的移动方向相反。应用处理器可实时测量图像沿X轴的偏移量△X_f和沿Y轴的偏移量△Y_f，如图4所示，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端平移后的前置图像。前方景物图像偏移量△X_f和△Y_f正比于移动终端的实际位移量△X和△Y，有：

△X=a×△X_f

△Y=b×△Y_f

式中系数a和系数b为常数，表示移动终端单位位移量时的景物图像偏移量，其大小可以控制动作感应的灵敏度。

当移动终端沿Z轴移动时，前方景物图像会相应地变大或变小如图5所示，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端沿Z轴移动后的前置图像。应用处理器实时测量图像的变化幅度△D，△D与移动终端沿Z轴的实际位移量△Z成正比，有：△Z=c×△D，式中系数c为常数，表示移动终端沿Z轴的单位位移量时的景物图像大小变化量，其大小可以控制动作感应的灵敏度。

当移动终端绕Z轴转动γ角时，前方景物图像也会绕Z轴转动γ角，如图6所示，其中（a）为移动终端初始状态时的前置图像，（b）为移动终端绕Z轴转动γ角后的前置图像。应用处理器实时测量图像的转角γ，即可获得移动终端绕Z轴的转动角γ值。

当移动终端绕Y轴转动β角时，前方景物图像和后方景物图像均沿X轴产生相应的移动量△X_f和△X_b，如图7中所示，中（a）为移动终端初始状态时的前置图像，（b）为移动终端绕Y轴转动β角后的前置图像，（c）为移动终端初始状态时的后置图像，（d）为移动终端绕Y轴转动β角后的后置图像。前方景物图像的移动方向与后方景物图像的移动方向相同。应用处理器实时测量前方景物图像的偏移量△X_f，△X_f与移动终端绕Y轴转动角β成正比，有：β=d×△X_f，式中系数d为常数，表示移动终端绕Y轴转动单位角位移时的前方景物图像沿X轴的偏移量，其大小可以控制动作感应的灵敏度。

当移动终端绕X轴转动α角时，前方景物图像和后方景物图像均沿Y轴产生相应的移动量△Y_f和△Y_b，前方景物图像的移动方向与后方景物图像的移动方向相同。应用处理器实时测量前方景物图像的偏移量△Y_f，△Y_f与移动终端绕X轴转动角α成正比，有：α=e×△Y_f，式中系数e为常数，表示移动终端绕X轴转动单位角位移时的前方景物图像沿Y轴的偏移量，其大小可以控制动作感应的灵敏度。

本发明姿态检测装置可实时监测移动终端的位置变化和姿态变化，解决了已有惯性动作感应装置动作感应迟钝和灵敏度低的问题。同时，采用本发明的技术方案，可使用移动终端原有的前置摄像头和后置摄像头，无需增加新的硬件器件，在不增加产品的功耗、体积及成本的前提下，可通过人的肢体动作，实现人机交互。

Claims (2)

1.一种移动终端姿态的检测方法，其特征在于该方法包括以下步骤：

（1）设定一个直角坐标系，分别实时拍摄移动终端前方和后方景物的图像；

（2）分别实时计算前方相邻两幅图像在直角坐标系中的偏移量△X_f、△Y_f、相邻两幅图像的尺寸变化幅度△D和相邻两幅图像的相对转动角度γ_f，以及后方相邻两幅图像在直角坐标系中的偏移量△X_b、△Y_b；

（3）根据上述偏移量进行判断，当△X_f与△X_b的方向相反时，则判定移动终端沿x轴左、右平移，当△X_f与△X_b的方向相同时，则判断移动终端绕y轴转动；当△Y_f和△Y_b方向相反时，则判断移动终端沿y轴上、下平移，当△Y_f和△Y_b方向相同时，则判断移动终端绕x轴转动；

（4）根据下列公式，分别计算移动终端：

△X=a×△X_f

△Y=b×△Y_f

△Z=c×△D

其中，系数a、b和c为常数，取值范围分别为1～10；

（5）根据下列公式，分别计算移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ：

α=e×△Y_f

β=d×△X_f

γ=γ_f

其中，e和d为常数，取值范围分别为：1～10。

2.一种移动终端姿态的检测装置，其特征在于该检测装置包括：

前置摄像头，用于拍摄移动终端前方景物图像，并将前方景物图像信号传送给应用处理器；

后置摄像头，用于拍摄移动终端后方景物图像，并将后方景物图像信号传送给应用处理器；

应用处理器，用于接收前置摄像头和后置摄像头输出的图像信号，并根据图像信号，分别计算相邻两幅物图像在直角坐标系中的位移量和转动角度，根据图像位移量和转动角度，计算得到移动终端的沿x轴、y轴和z轴的偏移量以及移动终端绕x轴的俯仰角α、绕y轴的摇摆角β和绕z轴的转动角γ。

Images