CN102984563A - 一种智能遥控电视系统及其遥控方法 - Google Patents

Abstract

本发明涉及一种智能遥控电视系统及其遥控方法，电视系统包括遥控装置和电视机，其中，所述遥控装置包括遥控器通讯模块，所述电视机包括电视机通讯模块、屏幕显示模块和应用模块，所述遥控装置还包括主控模块；主动摄像头；存储模块；以及视频处理分析模块；所述电视机还包括光标模式接口支持模块。本发明通过视频处理分析模块检测和分析电视机屏幕在主动摄像头拍摄的图像里的位置，使遥控装置相对于电视机的位置和方向被映射为电视机屏幕的光标位置，并由电视机中的光标模式接口支持模块接收光标位置信息并执行相关动作，从而利用单目摄像头实现了电视机光标模式的控制。

Description

一种智能遥控电视系统及其遥控方法

技术领域

本发明涉及一种智能遥控电视系统及其遥控方法。

背景技术

手持式遥控器已经是被用户广泛接受的电视机附件。一般来说遥控器向电视机发送某个按键被按下的信号，电视机则根据这些信号采取相应动作，比如开关电视，更换频道，调整音量等等。

以这种方式工作的遥控装置能接受的用户行为非常有限，仅限于上面说到的按键动作。智能电视则希望能给用户提供更自由和方便自然的用户体验。目前，智能电视的普及遇到的最大的问题之一就是操作便利性的问题；利用传统的电视遥控器是无法让用户方便地操作具有无限功能潜力的智能电视的，而且按键式的遥控操作也缺少自然直观的感觉。

作为一种手持设备，遥控器其实可以提供给电视机更多的信息，而不仅限于通知电视机某个按键被按下了。比如说，遥控器与电视机的相对位置信息在用户与电视机的交互过程中是非常有用的；事实上当遥控器指向电视机的时候，遥控器的位置和方向就可以被映射成电视机屏幕上的光标位置，这样遥控器就像一个手持式鼠标在工作。这就给用户提供了一种很自然的与电视机交互的方式；又比如说，遥控器的快速水平移动可以被解释成要求电视屏幕上菜单项快速滚动的命令。这样的位置映射还可以用于各种基于手持遥控器的光标游戏，比如射击类游戏和驾驶类游戏等。

基于视觉的方法是获得一个运动物体(在这里是指遥控器)相对于一个静止物体(在这里是指电视机)的相对运动位置和方向的比较低成本的解决办法。一般来说摄像头会安装在静止物体上，面向运动物体，这种方式被称为被动式摄像，然而，遥控器尺寸比较小，而且其背景是不能保持静止的用户，因此在电视机上的被动摄像头拍摄的图像里检测遥控器的位置和方向是很难达到可以接受的精度和鲁棒度的。鉴于上述原因，现在需要开发一种新的智能遥控电视系统及遥控方法，以满足用户的使用需要。

发明内容

为了解决上述现有技术存在的问题，本发明旨在提供一种智能遥控电视系统及其遥控方法，以将遥控装置相对于电视机的位置和方向映射为电视机屏幕的光标位置，从而方便用户与电视机之间的交互。

本发明之一所述的一种智能遥控电视系统，它包括遥控装置和电视机，其中，所述遥控装置包括遥控器通讯模块，所述电视机包括电视机通讯模块、屏幕显示模块和应用模块，

所述遥控装置还包括：

主控模块；

主动摄像头，采集所述电视机的图像；

存储模块，保存所述电视机的识别模型和特征集；以及

视频处理分析模块，根据所述存储模块中的识别模型和特征集，在所述主动摄像头采集的图像中检测和定位电视机屏幕，计算所述图像的中心点在所述电视机屏幕中的相对位置，并向所述遥控器通讯模块输出计算结果信息；所述电视机还包括：

光标模式接口支持模块，根据通过所述电视机通讯模块从遥控器通讯模块接收到的信息，控制所述屏幕显示模块和应用模块执行相应功能；

其中，所述主控模块控制主动摄像头、视频处理分析模块和遥控器通讯模块进入或退出光标模式并执行相应功能。

在上述的智能遥控电视系统中，所述视频处理分析模块包括：

图像验证子模块，检查所述主动摄像头采集到的图像是否达到要求，若是，则输出图像，否则，反馈至所述主动摄像头，以使该主动摄像头调整采集参数；

图像特征提取子模块，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集来检测和定位所述电视机屏幕的图像特征，并验证所得到的特征位置是否合理以及数量足够，若是，则输出所述图像特征的信息，否则，向所述遥控器通讯模块输出特征提取失败的错误信息；以及

光标获取子模块，根据所述图像特征的信息计算所述图像的中心点在所述电视机屏幕中的相对位置，并验证该位置的可信度，若可靠，则向所述遥控器通讯模块输出该位置信息，否则，向所述遥控器通讯模块输出光标位置不合理或者计算失败的错误信息；

在上述的智能遥控电视系统中，所述图像特征提取子模块包括：

图像分析模式识别单元，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集检测和定位所述电视机屏幕的角点；以及

识别结果验证单元，验证检测到的所述电视机屏幕的角点数目是否达到要求以及角点位置是否合理，若是，则输出所述角点的信息，否则，向所述遥控器通讯模块输出识别失败的错误信息。

在上述的智能遥控电视系统中，所述图像分析模式识别单元还根据在所述电视机的屏幕面板上设置标志物来辅助检测和定位所述电视机屏幕的角点。

在上述的智能遥控电视系统中，所述图像特征提取子模块包括：

图像分析模式识别单元，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集检测和定位所述电视机屏幕的各条边；以及

识别结果验证单元，验证检测到的所述电视机屏幕的边的条数是否达到要求以及各条边位置是否合理，若是，则输出所述各条边的信息，否则，向所述遥控器通讯模块输出识别失败的错误信息。

在上述的智能遥控电视系统中，所述图像分析模式识别单元还根据在所述电视机的屏幕面板上设置标志物来辅助检测和定位所述电视机屏幕的各条边。

在上述的智能遥控电视系统中，所述光标获取子模块包括：

光标计算单元，根据所述电视机屏幕的角点的信息计算所述图像的中心点在所述电视机屏幕中的相对位置；以及

光标验证单元，验证所述图像的中心点在所述电视机屏幕中的相对位置的可信度，若可靠，则向所述遥控器通讯模块输出该位置信息，否则，向所述遥控器通讯模块输出光标位置不合理或计算失败的错误信息。

在上述的智能遥控电视系统中，所述光标获取子模块包括：

光标计算单元，根据所述电视机屏幕的各条边的信息计算所述图像的中心点在所述电视机屏幕中的相对位置。

在上述的智能遥控电视系统中，所述光标计算单元根据所述角点的信息计算出投影变换关系矩阵M，并通过该投影变换关系矩阵M计算得到所述图像的中心点在所述电视机屏幕中的光标位置，所述投影变换关系矩阵M＝[m₁₁，m₂₁，m₃₁，m₁₂，m₂₂，m₃₂，m₁₃，m_23，1]^T，其中，m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁和m₃₂均为参数，且满足公式(1)：

$\left\{\begin{array}{c}{x}^{\′}=\frac{m_{11}x+m_{12}y+m_{13}}{m_{31}x+m_{32}y+1}\\ y^{\′}=\frac{m_{21}x+m_{22}y+m_{23}}{m_{31}x+m_{32}y+1}\end{array}\right.---\left(1\right),$

式中，(x，y)为所述图像中电视机屏幕上某点的坐标，(x’，y’)为该点在所述电视机的屏幕上的实际坐标；

所述参数根据所述图像中电视机屏幕的角点坐标(x_i，y_i)和所述电视机的屏幕的实际角点坐标(x_i’，y_i’)确定，其中，i＝1，2，3，4。

在上述的智能遥控电视系统中，所述光标计算单元根据所述各条边的信息计算出投影变换关系矩阵M，并通过该投影变换关系矩阵M计算得到所述图像的中心点在所述电视机屏幕中的光标位置，所述投影变换关系矩阵M＝[m₁₁，m₂₁，m₃₁，m₁₂，m₂₂，m₃₂，m₁₃，m_23，1]^T，其中，m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁和m₃₂均为参数，且满足公式(2)：

$\left[\begin{array}{ccc}{0}^T& {-c}_i{{L^{\′}}_i}^T& b_i{{L^{\′}}_i}^T\\ c_i{{L^{\′}}_i}^T& 0^T& {-a}_i{{L^{\′}}_i}^T\\ -b_i{{L^{\′}}_i}^T& a_i{{L^{\′}}_i}^T& 0^T\end{array}\right]M=0---\left(2\right),$

式中，i＝1，2，3，4，L＝[a，b，c]^T，L′＝[a′，b′，c′]^T；

所述参数根据所述图像中电视机屏幕的边所在的直线l_i：a_ix+b_iy+c_i＝0和所述电视机的屏幕的实际边所在的直线l′_i：a′_ix′+b′_iy′+c′_i＝0确定，其中，i＝1，2，3，4。

在上述的智能遥控电视系统中，所述视频处理分析模块还包括识别模型特征集更新子模块；若所述光标验证单元验证所述图像的中心点在所述电视机屏幕中的相对位置可靠，则所述识别模型特征集更新子模块向所述存储模块输出更新的所述电视机的识别模型和特征集。

在上述的智能遥控电视系统中，所述存储模块保存由外围摄像装置拍摄并经外围计算机处理得到的所述电视机的识别模型和特征集。

在上述的智能遥控电视系统中，所述主控模块启动光标模式并向所述主动摄像头和视频处理分析模块输出启动信号，或者退出光标模式并向所述主动摄像头和视频处理分析模块输出退出信号。

在上述的智能遥控电视系统中，所述遥控装置还包括用于向所述主控模块发送启动或退出光标模式指令的键盘模块。

在上述的智能遥控电视系统中，所述光标模式接口支持模块控制屏幕显示模块更新所述电视机的屏幕上的光标位置和用户控制菜单，并激活所述应用模块执行相应的功能或者启动相关的应用程序。

本发明之二所述的一种如上述的智能遥控电视系统的遥控方法，包括以下步骤：

步骤A，所述主控模块启动光标模式；

步骤B，所述主动摄像头采集所述电视机的图像；

步骤C，所述视频处理分析模块根据所述存储模块中的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在所述主动摄像头采集的图像中检测和定位电视机屏幕，计算所述图像的中心点在所述电视机屏幕中的相对位置，并向所述遥控器通讯模块输出计算结果信息；

步骤D，所述主控模块判断是否退出光标模式，若是，则退出，否则，执行步骤B；

步骤E，所述光标模式接口支持模块根据通过所述电视机通讯模块从遥控器通讯模块接收到的信息，控制所述屏幕显示模块和应用模块执行相应功能。

在上述的智能遥控电视系统的遥控方法中，所述步骤A包括步骤S21，通过所述键盘模块向主控模块发送启动光标模式指令，该主控模块接收键盘输入，启动光标模式，并控制所述遥控器通讯模块将启动信息发送给所述电视机。

在上述的智能遥控电视系统的遥控方法中，所述步骤B包括步骤S22，所述主控模块控制主动摄像头拍摄一帧图像。

在上述的智能遥控电视系统的遥控方法中，所述步骤C包括：

步骤S23，所述图像验证子模块判断图像质量是否满足要求，若是，则执行步骤S24，否则，执行步骤S22；

步骤S24，所述图像分析模式识别单元根据保存在所述存储模块中的电视机的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在图像中检测所述电视机屏幕；

步骤S25，所述识别结果验证单元判断检测到的所述电视机屏幕的特征是否足以确定投影变换关系矩阵M中的参数，若是，则执行步骤S26，否则，执行步骤S30；

步骤S26，所述光标计算单元计算所述投影变换关系矩阵M；

步骤S27，所述光标计算单元根据所述图像的中心点位置和所述投影变换关系矩阵M计算光标位置；

步骤S28，所述光标验证单元判断所述光标位置是否可靠，若是，则执行步骤S29，否则，执行步骤S30；

步骤S29，所述遥控器通讯模块将光标位置信息发送给所述电视机；

步骤S30，所述遥控器通讯模块将错误信息发送给所述电视机。

在上述的智能遥控电视系统的遥控方法中，所述步骤D包括：

步骤S31，所述主控模块判断是否收到所述键盘模块发出的退出光标模式指令，若是，则执行步骤S32，否则，执行步骤S22；

步骤S32，所述主控模块退出光标模式，并控制所述遥控器通讯模块将退出信息发送给所述电视机。

在上述的智能遥控电视系统的遥控方法中，所述步骤E包括：

步骤S41，所述光标模式接口支持模块通过所述电视机通讯模块接收所述遥控器通讯模块发送的信息；

步骤S42，所述光标模式接口支持模块解析接收到的信息，判断该信息是否要求开启光标模式，若是，则执行步骤S43，否则，执行步骤S44；

步骤S43，所述光标模式接口支持模块开启光标模式，并执行步骤S50；

步骤S44，所述光标模式接口支持模块判断接收到的信息是否要求退出光标模式，若是，则执行步骤S45，否则，执行步骤S46；

步骤S45，所述光标模式接口支持模块取消光标模式，并执行步骤S50；

步骤S46，所述光标模式接口支持模块判断接收到的信息是否包含光标位置信息，若是，则执行步骤S47，否则，执行步骤S48；

步骤S47，所述光标模式接口支持模块根据所述光标位置信息使所述屏幕显示模块更新所述电视机的屏幕上的光标位置和用户控制菜单，激活所述应用模块执行相应的功能或者启动相关的应用程序，并执行步骤S50；

步骤S48，所述光标模式接口支持模块判断接收到的信息是否指明错误发生，若是，则执行步骤S49，否则，执行步骤S50；

步骤S49，所述光标模式接口支持模块进行相应的错误处理，并执行步骤S50；

步骤S50，所述光标模式接口支持模块根据已经接收到的信息及相应的处理结果来判断是否继续等待所述遥控器通讯模块发送的新信息，若是，则执行步骤S41，否则，控制流程结束。

由于采用了上述的技术解决方案，本发明通过在遥控装置内安装主动摄像头，使之面向静止的电视机，即采用主动式摄像的方式，从而在检测电视机与运动的遥控装置之间相对位置和方向时，较被动摄像方式有较大的优势；具体来说，电视机屏幕是具有规则形状的平面刚体，而且其背景电视墙在系统使用期间不会变化，因而在遥控装置的主动摄像头拍摄到的图像中相对比较容易被检测；同时，本发明通过视频处理分析模块检测和分析电视机屏幕在由主动摄像头拍摄的图像里的位置，使遥控装置相对于电视机的位置和方向被映射为电视机屏幕的光标位置，并由电视机中新增的光标模式接口支持模块接收遥控装置发送的光标位置信息并执行相关动作，从而达到了利用单目摄像头实现电视机光标模式控制的目的，使电视机的操作更为便利，并能通过遥控装置向电视机提供更多的信息，提高用户与电视机的交互性。

附图说明

图1是本发明之一的一种智能遥控电视系统中遥控装置与电视机交互的示意图；

图2是本发明之一的一种智能遥控电视系统的结构示意图；

图3(a)-(d)分别是用户在不同位置从不同方向将遥控装置指向电视机时，主动摄像头拍摄的图像中心点相对于图像中电视机屏幕的位置的变化示意图；

图4是本发明之一中主动摄像头拍摄图像的中心点到电视机屏幕中光标位置的映射过程示意图；

图5是本发明之一中主动摄像头拍摄的图像示意图；

图6是本发明之一中存储模块内的电视机识别模型和特征集的采集流程图；

图7(a)、(b)分别是训练数据采集过程中摄像装置采集的电视机图片和经计算机预处理后的可用于训练的图片的示意图；

图8是本发明之一的遥控装置中视频处理分析模块的结构示意图；

图9是本发明之二的一种智能遥控电视系统的遥控方法中遥控装置在光标模式下与电视机交互的工作流程图；

图10是本发明之二的一种智能遥控电视系统的遥控方法中电视机配合遥控装置在光标模式下的工作流程图。

具体实施方式

下面结合附图，给出本发明的较佳实施例，并予以详细描述。

如图1所示，本发明的智能遥控电视系统包括遥控装置1和电视机2。用户可以通过安装有单个主动摄像头的遥控装置1与电视机2交互；在最常见的电视使用环境，如家庭起居室里，用户可以从不同的位置和方向将遥控装置1指向电视机2。

如图2所示，本发明的遥控装置1包括主动摄像头11、视频处理分析模块12、存储模块13、主控模块14和常规的通用功能部件，在本实施例中，通用功能部件包括遥控器通讯模块15和键盘模块16，其中，主动摄像头11可以采用如网络摄像头这类的低端设备，其分辨率可以远低于电视机2的分辨率，比如低到640*480，甚至320*240；存储模块13在实际应用中可以是闪存。

相应地，电视机2包括光标模式接口支持模块21以及常规的电视机通讯模块22、屏幕显示模块23和相关的应用模块24。

当用户通过键盘模块16向主控模块14发送启动光标模式指令后，主控模块14启动光标模式，并控制主动摄像头11连续拍摄电视机2的图像，完成采集工作，同时控制视频处理分析模块12，使其根据存储模块13中保存的电视机2的识别模型和特征集，在主动摄像头11拍摄的图像中检测和定位电视机屏幕3，从而计算出主动摄像头11拍摄的图像中心点P在电视机屏幕3上的相对位置，即电视机屏幕3中的光标位置，并将这个光标位置信息通过遥控装置1中现有的遥控器通讯模块15(遥控器通讯模块15由主控模块14管理控制)与电视机2中现有的电视机通讯模块22之间的无线通讯(可以是红外，蓝牙或WIFI通讯方式)发送给电视机2；然后由电视机2的光标模式接口支持模块21接收该光标位置信息，并将这个光标位置信息传递给屏幕显示模块23来更新电视机2的屏幕上的光标位置及用户控制的菜单，并激活应用模块24执行相应的功能或者启动相关的应用程序。

下面介绍视频处理分析模块12计算主动摄像头11拍摄的图像中心点P在电视机屏幕3中的相对位置的过程，该计算过程也就是图像中心点P到电视机屏幕3上的光标位置的映射过程。

请参阅图3(a)-(d)，其中，图3(b)为图3(a)中遥控装置1的主动摄像头11拍摄的图像，图3(d)为图3(c)中遥控装置1的主动摄像头11拍摄的图像；由图可知，当用户在不同位置从不同方向将遥控装置1指向电视机2的时候，光标位置，也就是图3(b)、(d)中的图像中心点P(摄像头光轴110与电视机2屏幕的交点在拍摄的图像中为图像中心点P，即其几何中心)映射在电视机屏幕3上的位置将发生变化；这是因为：不论遥控装置1如何运动，其主动摄像头11拍摄的图像中心点P将始终在图像对角线的交点上保持不变，但是主动摄像头11里看到的电视机2的屏幕位置和方向将发生变化，因而图像中心点P相对于视频处理分析模块12利用模式识别的方法找到的电视机屏幕3的位置发生变化；事实上电视机屏幕3在主动摄像头11从不同方向和位置拍摄的图像里面满足不同的投影变换关系。

如图4所示，摄像头图像坐标系XOY里面某平面上的兴趣点与相应在电视机屏幕坐标系X’O’Y’里对应点位置之间满足投影变换关系，该投影变换关系矩阵M可由前述的公式(1)表达。以图像中心点P为例，P(x，y)为该平面上图像中心点P在摄像头图像坐标系XOY里的坐标，而P’(x’，y’)则是图像中心点P在电视机屏幕坐标系X’O’Y’里的坐标。投影变换关系矩阵M的8个参数，可以由四组对应点(其中任意三点不共线)，在摄像头图像坐标系XOY和电视机屏幕坐标系X’O’Y’里的对应位置唯一确定(如果有少于四组这样的对应点位置则无法求解)。

对于一个固定的电视机型号，其屏幕的角点在电视机屏幕坐标系X’O’Y’里的位置A’、B’、C’、D’是已知的，因此，屏幕的角点在摄像头图像坐标系XOY里的位置A、B、C、D相对比较容易被视频处理分析模块12检测到(如果在摄像头图像中无法获得这样的四个在电视机屏幕坐标系X’O’Y’下位置已知的点，则无法求解投影变换关系矩阵M)。

事实上如果视频处理分析模块12已经检测出摄像头图像坐标系XOY中屏幕的三个角点的坐标值，而第四个角点的两条边又都部分地被检测出来，则第四个角点的位置可以通过估算这两条边所在直线的交点得到。例如，图5中的屏幕的角点C已经落在摄像头图像之外，但是两条边CD和BC的大部分落在图像中可以被检测到，这样还是可以通过视频处理分析模块12估算出角点C在摄像头图像坐标系XOY里的坐标位置。如图5所示，通过(A，A’)、(B，B’)、(C，C’)和(D，D’)这四组点求解一个投影变换关系矩阵M的8个参数，即投影变换关系矩阵M＝[m₁₁，m₂₁，m₃₁，m₁₂，m₂₂，m₃₂，m₁₃，m_23，1]^T中的参数m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁和m₃₂，然后图像中心点P在电视机屏幕坐标系X’O’Y’下对应的光标点P’的坐标就可以直接通过前述的公式(1)运算得到，这些计算工作也是由视频处理分析模块12实现的。

实际使用中根据实际使用的范围要求，可以对光标位置做一定处理，从而使得在不同距离使用遥控装置1时，相应的遥控装置1移动/转动角度引起的光标位置移动距离大致相同。具体来说，这种处理是对主动摄像头11捕捉到的每一帧图像根据需要进行处理，更进一步地是通过视频处理分析模块12在用户使用过程中根据实际图像中电视机屏幕的大小做动态归一化处理来达到的。

下面介绍通过检测电视机屏幕的各条边的方式来计算前述的投影变换关系矩阵M，并进而计算光标位置的过程。

当摄像头图像坐标系XOY和电视机屏幕坐标系X’O’Y’中有四组已知的对应直线(其中任意三条直线不共点)的时候，投影变换关系矩阵M可以被求解。在摄像头图像中检测出电视机屏幕的四条边，则可以得到摄像头图像坐标系XOY下此四条边各自所在的直线。对于一个给定型号的电视机，其屏幕尺寸是给定的，所以在电视机屏幕坐标系X’O’Y’下屏幕的四条边各自所在的直线也是已知的。这样就可以用前述公式(2)表达的约束方程组来求解投影变换关系矩阵M，并进一步通过前述公式(1)计算出摄像头图像中心在电视机屏幕坐标X’O’Y’下的对应点位置，即光标位置。事实上不用在摄像头图像中完整的检测出电视机屏幕的各条边，只需要各条边的部分被检测出来就可以知道其各自所在的直线。

下面介绍存储模块13内的电视机训练数据的采集流程；训练数据的采集和模型训练过程是一般是离线进行的，此过程中需要用到摄像装置(比如与遥控装置1中使用的相同型号的摄像头)和计算机，但是不需要用到遥控装置1。

如图6所示，在给定型号电视机2的训练数据的采集过程中，主要包括以下步骤：

步骤S11，设置采集环境；采集环境，即拍摄环境是受控的，这样可以保证采集的图片质量达到要求；拍摄环境可以被设计成接近实用情况下的环境，比如说环境光照可以有不同变化；

步骤S12，摄像装置拍摄一张或者多张标准的电视机图片；拍摄的时候电视机的背景可以使用白色背景，以免有干扰物体出现在拍摄的图像中(如果电视机的边框是很浅的颜色，则可以考虑使用深色背景)；

步骤S13，通过人工设定的方式判断拍摄的电视机图片是否足够，若是，则执行步骤S15，否则执行步骤S12，或在需要的情况下，执行步骤S14后再执行步骤S12；

步骤S14，通过人工设定的方式变换采集环境(此步骤可根据实际需要进行或跳过)；

步骤S15，通过计算机对拍摄的电视机图片进行预处理，训练识别模型；预处理是指提取图像中所需的信息，由于是离线训练，因此可以在任何计算机中处理，例如用白色屏蔽屏幕区域20(如图7(a)、图7(b)所示)，预处理的原因是在电视使用中屏幕内部的内容会发生变化，因而在提取电视机特征的时候不能使用屏幕内部的图像区域；将这些拍摄下来的数据用于训练就可以得到描述电视机所必要的而且鲁棒的识别模型和特征集；

步骤S16，保存识别模型和特征集；将上述识别模型和特征集保存在存储模块13中(不同型号的电视机2有不同的外观，这样就会有不同的识别模型和特征集被保存在对应该型号电视机2的遥控装置1的存储模块13里)。

在实际操作时，视频处理分析模块12就是利用存储模块13中的这些识别模型和特征集在主动摄像头11拍摄的图像中寻找和定位电视机屏幕3的。另外，在实际使用中，为了提高检测的鲁棒性，可以采用在电视机2的屏幕面板上放置易于检测的标志物的办法。

当然，通过训练得到的电视机图像的识别模型和特征集也不一定是一成不变的。在实际使用中，这些识别模型和特征集可以利用在实际环境里检测到的电视机屏幕的特征来不断更新，以获得当前环境下更好的检测效果。因此，本发明中识别模型和特征集的获得方案包括以下三种：

1)存储模块13中的电视机屏幕识别模型和特征集是通过上述预先的离线训练得到的，并且固定不再变化；

2)存储模块13中的电视机屏幕识别模型和特征集是通过上述预先的离线训练得到的，但在实际使用中识别模型和特征集可以通过每次得到的实际图像更新完善；

3)存储模块13中一开始没有任何识别模型和特征集，即不需要预先的离线训练，而识别模型和特征集的建立和完善都是通过实际使用中的实际图像来完成的。

由此可知，方案2)和3)都要求本系统有“自学习”的功能，尤其是方案3)，它是最具有智能化的方案，也是技术上最困难的。在方案2)和3)中，识别模型和特征集的完善都是在视频处理分析模块12中完成的，下面将对视频处理分析模块12的具体结构进行详细介绍。

如图8所示，视频处理分析模块12具体包括：

图像验证子模块121，用于检查主动摄像头11采集到的图像是否达到要求(比如亮度等)，若达到要求，则将达到要求的图像传递至后续子模块，否则，相应反馈给主动摄像头11以调整采集参数；

图像特征提取子模块1223，它具体包括：

图像分析模式识别单元122，用于在达到要求的图像中根据保存在存储模块13中的电视机图像的识别模型和特征集来检测和定位电视机屏幕3的图像特征，特别是检测出电视机屏幕3的角点或各条边(图像分析模式识别单元122还可以根据设置在电视机2的屏幕面板上的标志物检测和定位电视机屏幕3的角点或边)；

识别结果验证单元123，用于验证图像分析模式识别单元122中直接检测或估算出的角点或边的数目是否达到要求以及角点或边的位置是否合理，若通过验证，则将角点或边的位置等图像特征的信息传递至后续子模块，若角点或边的数目不够或者位置不合理，则向遥控器通讯模块15输出特征提取失败的错误信息；

光标获取子模块1245，它具体包括：

光标计算单元124，用于根据识别结果验证单元123直接检测或估算出的图像特征的信息，即四个角点或四条边的位置计算出投影变换关系矩阵M，进而计算出光标位置；

光标验证单元125，用于验证光标计算单元124计算得到的光标位置的可信度，若光标位置可靠，则将可靠的光标位置传递至遥控器通讯模块15，否则，向遥控器通讯模块15发出光标位置不合理或计算失败的错误信息；

识别模型特征集更新子模块126，如果当前的电视机屏幕3检测结果可靠，则将此次检测到的电视机图像的屏幕特征用于更新电视机图像的识别模型和特征集，并将新的识别模型和特征集放入存储模块13；由此可见，通过识别模型特征集更新子模块126即可实现上文中识别模型和特征集的获取方案2)和3)。

在上述图像分析模式识别单元122的结构基础上，遥控器通讯模块15将可靠的光标位置与成功检测标志编码发送给电视机2，或者将识别失败/计算失败标志与相应的错误信息一起编码发送。目前基于红外通信的电视遥控器信号发送是单向的，即从遥控器到电视机，这已经可以满足本系统的要求，即遥控装置1可以通过单向红外通信的方式将需要的信息发送给电视机2。如果使用蓝牙或者WIFI等通讯方式时，遥控装置1也可以接收电视机2对其发送的编码信息，对信息解码并采取相应行动；比如在遥控装置1上的扬声器(图中未示)可以根据电视机2的指令发出声音。

下面对本发明的一种智能遥控电视系统的遥控方法进行详细说明；该遥控方法包括：

步骤A，主控模块14启动光标模式；

步骤B，主动摄像头11采集电视机2的图像；

步骤C，视频处理分析模块12根据存储模块13中的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在主动摄像头11采集的图像中检测和定位电视机屏幕3，计算图像的中心点在电视机屏幕3中的相对位置，并向遥控器通讯模块15输出计算结果信息；

步骤D，主控模块14判断是否退出光标模式，若是，则退出，否则，执行步骤B；

步骤E，光标模式接口支持模块21根据通过电视机通讯模块22从遥控器通讯模块15接收到的信息，控制屏幕显示模块23和应用模块24执行相应功能。

具体来说，如图9所示，当遥控装置1工作于光标模式时，它与电视机2交互的工作流程主要包括以下步骤：

步骤S21，通过键盘模块16向主控模块14发送启动光标模式指令，主控模块14接收键盘输入，启动光标模式，并控制遥控器通讯模块15将启动信息发送给所述电视机；

步骤S22，主控模块14控制主动摄像头11拍摄一帧图像；

步骤S23，图像验证子模块121判断图像质量是否满足要求，若是，则执行步骤S24，否则，执行步骤S22；

步骤S24，图像分析模式识别单元122根据保存在存储模块13中的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在图像中检测电视机屏幕3；

步骤S25，识别结果验证单元123判断检测到的电视机屏幕3的特征是否足以确定投影变换关系矩阵M中的参数(即是否检测到能确定位置变换关系的足够多的电视机上的特征，包括电视机屏幕3的角点或边)，若是，则执行步骤S26，否则，执行步骤S30；

步骤S26，光标计算单元124计算投影变换关系矩阵M；

步骤S27，光标计算单元124根据图像的中心点和投影变换关系矩阵M计算光标位置；

步骤S28，光标验证单元125判断光标位置是否可靠，若是，则执行步骤S29，否则，执行步骤S30；

步骤S29，遥控器通讯模块15将光标位置发送给电视机2；

步骤S30，遥控器通讯模块15将错误信息发送给电视机2；

步骤S31，主控模块14判断是否收到键盘模块16发出的退出启动光标模式指令，若是，则执行步骤S32，否则，执行步骤S22；

步骤S32，主控模块14退出光标模式，并控制遥控器通讯模块15将退出信息发送给电视机2。

由此可知，当工作于光标模式时，遥控装置1上的主动摄像头11开始连续拍摄视频，并且在每一帧图像中，视频处理分析模块12根据电视机图像的识别模型和特征集检测和定位电视机屏幕3；如果电视机屏幕3的角点或边中能确定位置的少于四个，则向电视机2发送经过编码的错误信息。如果四个角点或四条边被直接检测或者估算到，则进行投影变换关系矩阵M的计算，并据此计算出光标的位置；光标位置的可信程度会被进一步检查(因为有可能屏幕角点或边有定位错误，使得计算出来的光标位置不可靠)，可靠的光标位置和检测成功标志一起经过编码发送给电视机2，否则将编码发送检测错误标志和相应的错误信息。如果没有命令退出光标模式的话，上面的过程将重复进行。

如图10所示，电视机2配合遥控装置1工作于光标模式下的流程主要包括以下步骤：

步骤S41，光标模式接口支持模块21通过电视机通讯模块22接收遥控装置1发送的信息；

步骤S42，光标模式接口支持模块21解析接收到的信息，判断该信息是否要求开启光标模式，若是，则执行步骤S43，否则，执行步骤S44；

步骤S43，光标模式接口支持模块21开启光标模式，并执行步骤S50；

步骤S44，光标模式接口支持模块21判断接收到的信息是否要求退出光标模式，若是，则执行步骤S45，否则，执行步骤S46；

步骤S45，光标模式接口支持模块21取消光标模式，并执行步骤S50；

步骤S46，光标模式接口支持模块21判断接收到的信息是否包含光标信息，若是，则执行步骤S47，否则，执行步骤S48；

步骤S47，光标模式接口支持模块21根据光标信息采取相应行动，包括通过屏幕显示模块23更新光标位置以及激活应用模块24，并执行步骤S50；

步骤S48，光标模式接口支持模块21判断接收到的信息是否指指明错误发生，若是，则执行步骤S49，否则，执行步骤S50；

步骤S49，光标模式接口支持模块21进行相应的错误处理，并执行步骤S50；

步骤S50，光标模式接口支持模块21根据已经接收到的信息及相应的处理结果来判断是否继续等待遥控器通讯模块15发送的新信息，若是，则执行步骤S41，否则，控制流程结束，即退出流程。

由此可知，电视机2通过光标模式接口支持模块21解析遥控装置1发送给电视机2的信息，从而开启或关闭光标模式，处理合法的光标位置信息，或者执行差错处理；根据接收到的合法的光标位置信息，电视机2通过OSD(On-Screen-Display，即屏幕显示模块23)更新显示光标的位置，并根据光标位置的指示激活应用模块24执行相应的功能，比如高亮显示在屏幕上光标位置处的某按钮，这样遥控装置1上的后续按键动作可以被解读为按下高亮显示的该按钮；另外，之前的光标位置和当前的光标位置一起可以被用来估算光标的运动速度，如果速度高于一个门限，则可以启动某些特定功能，比如菜单项的滚动；如果从遥控装置1接收到编码的错误标志及错误信息，则可以执行相应的差错处理，比如在电视机2的屏幕中显示警告信息。

本发明中的遥控装置1的操作与电脑的鼠标非常相似，可以认为是一种三维的鼠标。在这样的遥控装置1上，用户不再需要很多的按键。事实上，只使用一个按键就可以完成所有的操作，即由光标位置的移动来指示电视机屏幕上的功能菜单项，而这个按键就表示功能项的选中。当然，为了方便操作，比如对于像更换电视频道或调节音量这样的高频率的操作，也可以考虑在遥控装置1上添加一些快捷按键，让用户能更方便直接地进行那些需要经常做的操作。通过这样的遥控装置1，用户就可以像利用鼠标操作电脑一样方便地操作如今的智能电视机2了。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (22)

1.一种智能遥控电视系统，它包括遥控装置和电视机，其中，所述遥控装置包括遥控器通讯模块，所述电视机包括电视机通讯模块、屏幕显示模块和应用模块，其特征在于，

所述遥控装置还包括：

主控模块；

主动摄像头，采集所述电视机的图像；

存储模块，保存所述电视机的识别模型和特征集；以及

视频处理分析模块，根据所述存储模块中的识别模型和特征集，在所述主动摄像头采集的图像中检测和定位电视机屏幕，计算所述图像的中心点在所述电视机屏幕中的相对位置，并向所述遥控器通讯模块输出计算结果信息；

所述电视机还包括：

光标模式接口支持模块，根据通过所述电视机通讯模块从遥控器通讯模块接收到的信息，控制所述屏幕显示模块和应用模块执行相应功能；

其中，所述主控模块控制主动摄像头、视频处理分析模块和遥控器通讯模块进入或退出光标模式并执行相应功能。

2.根据权利要求1所述的智能遥控电视系统，其特征在于，所述视频处理分析模块包括：

图像验证子模块，检查所述主动摄像头采集到的图像是否达到要求，若是，则输出图像，否则，反馈至所述主动摄像头，以使该主动摄像头调整采集参数；

图像特征提取子模块，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集来检测和定位所述电视机屏幕的图像特征，并验证所得到的特征位置是否合理以及数量足够，若是，则输出所述图像特征的信息，否则，向所述遥控器通讯模块输出特征提取失败的错误信息；以及

光标获取子模块，根据所述图像特征的信息计算所述图像的中心点在所述电视机屏幕中的相对位置，并验证该位置的可信度，若可靠，则向所述遥控器通讯模块输出该位置信息，否则，向所述遥控器通讯模块输出光标位置不合理或者计算失败的错误信息；

3.根据权利要求2所述的智能遥控电视系统，其特征在于，所述图像特征提取子模块包括：

图像分析模式识别单元，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集检测和定位所述电视机屏幕的角点；以及

识别结果验证单元，验证检测到的所述电视机屏幕的角点数目是否达到要求以及角点位置是否合理，若是，则输出所述角点的信息，否则，向所述遥控器通讯模块输出识别失败的错误信息。

4.根据权利要求3所述的智能遥控电视系统，其特征在于，所述图像分析模式识别单元还根据在所述电视机的屏幕面板上设置标志物来辅助检测和定位所述电视机屏幕的角点。

5.根据权利要求2所述的智能遥控电视系统，其特征在于，所述图像特征提取子模块包括：

图像分析模式识别单元，在所述图像验证子模块输出的图像中，根据所述存储模块中的识别模型和特征集检测和定位所述电视机屏幕的各条边；以及

识别结果验证单元，验证检测到的所述电视机屏幕的边的条数是否达到要求以及各条边位置是否合理，若是，则输出所述各条边的信息，否则，向所述遥控器通讯模块输出识别失败的错误信息。

6.根据权利要求5所述的智能遥控电视系统，其特征在于，所述图像分析模式识别单元还根据在所述电视机的屏幕面板上设置标志物来辅助检测和定位所述电视机屏幕的各条边。

7.根据权利要求2-4中任意一项所述的智能遥控电视系统，其特征在于，所述光标获取子模块包括：

光标计算单元，根据所述电视机屏幕的角点的信息计算所述图像的中心点在所述电视机屏幕中的相对位置；以及

光标验证单元，验证所述图像的中心点在所述电视机屏幕中的相对位置的可信度，若可靠，则向所述遥控器通讯模块输出该位置信息，否则，向所述遥控器通讯模块输出光标位置不合理或计算失败的错误信息。

8.根据权利要求2、5或6所述的智能遥控电视系统，其特征在于，所述光标获取子模块包括：

光标计算单元，根据所述电视机屏幕的各条边的信息计算所述图像的中心点在所述电视机屏幕中的相对位置；以及

光标验证单元，验证所述图像的中心点在所述电视机屏幕中的相对位置的可信度，若可靠，则向所述遥控器通讯模块输出该位置信息，否则，向所述遥控器通讯模块输出光标位置不合理或计算失败的错误信息。

9.根据权利要求7所述的智能遥控电视系统，其特征在于，所述光标计算单元根据所述角点的信息计算出投影变换关系矩阵M，并通过该投影变换关系矩阵M计算得到所述图像的中心点在所述电视机屏幕中的光标位置，所述投影变换关系矩阵M＝[m₁₁，m₂₁，m₃₁，m₁₂，m₂₂，m₃₂，m₁₃，m_23，1]^T，其中，m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁和m₃₂均为参数，且满足公式(1)：

$\left\{\begin{array}{c}{x}^{\′}=\frac{m_{11}x+m_{12}y+m_{13}}{m_{31}x+m_{32}y+1}\\ y^{\′}=\frac{m_{21}x+m_{22}y+m_{23}}{m_{31}x+m_{32}y+1}\end{array}\right.---\left(1\right),$

式中，(x，y)为所述图像中电视机屏幕上某点的坐标，(x’，y’)为该点在所述电视机的屏幕上的实际坐标；

所述参数根据所述图像中电视机屏幕的角点坐标(x_i，y_i)和所述电视机的屏幕的实际角点坐标(x_i’，y_i’)确定，其中，i＝1，2，3，4。

10.根据权利要求8所述的智能遥控电视系统，其特征在于，所述光标计算单元根据所述各条边的信息计算出投影变换关系矩阵M，并通过该投影变换关系矩阵M计算得到所述图像的中心点在所述电视机屏幕中的光标位置，所述投影变换关系矩阵M＝[m₁₁，m₂₁，m₃₁，m₁₂，m₂₂，m₃₂，m₁₃，m_23，1]^T，其中，m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁和m₃₂均为参数，且满足公式(2)：

$\left[\begin{array}{ccc}{0}^T& {-c}_i{{L^{\′}}_i}^T& b_i{{L^{\′}}_i}^T\\ c_i{{L^{\′}}_i}^T& 0^T& {-a}_i{{L^{\′}}_i}^T\\ -b_i{{L^{\′}}_i}^T& a_i{{L^{\′}}_i}^T& 0^T\end{array}\right]M=0---\left(2\right),$

式中，i＝1，2，3，4，L＝[a，b，c]^T，L′＝[a′，b′，c′]^T；

所述参数根据所述图像中电视机屏幕的边所在的直线l_i：a_ix+b_iy+c_i＝0和所述电视机的屏幕的实际边所在的直线l′_i：a′_ix′+b′_iy′+c′_i＝0确定，其中，i＝1，2，3，4。

11.根据权利要求2所述的智能遥控电视系统，其特征在于，所述视频处理分析模块还包括识别模型特征集更新子模块；若所述光标验证单元验证所述图像的中心点在所述电视机屏幕中的相对位置可靠，则所述识别模型特征集更新子模块向所述存储模块输出更新的所述电视机的识别模型和特征集。

12.根据权利要求1或2所述的智能遥控电视系统，其特征在于，所述存储模块保存由外围摄像装置拍摄并经外围计算机处理得到的所述电视机的识别模型和特征集。

13.根据权利要求12所述的智能遥控电视系统，其特征在于，所述视频处理分析模块还包括识别模型特征集更新子模块；若所述光标验证单元验证所述图像的中心点在所述电视机屏幕中的相对位置可靠，则所述识别模型特征集更新子模块向所述存储模块输出更新的所述电视机的识别模型和特征集。

14.根据权利要求1或2所述的智能遥控电视系统，其特征在于，所述主控模块启动光标模式并向所述主动摄像头和视频处理分析模块输出启动信号，或者退出光标模式并向所述主动摄像头和视频处理分析模块输出退出信号。

15.根据权利要求14所述的智能遥控电视系统，其特征在于，所述遥控装置还包括用于向所述主控模块发送启动或退出光标模式指令的键盘模块。

16.根据权利要求1或2所述的智能遥控电视系统，其特征在于，所述光标模式接口支持模块控制屏幕显示模块更新所述电视机的屏幕上的光标位置和用户控制菜单，并激活所述应用模块执行相应的功能或者启动相关的应用程序。

17.一种如权利要求1-16所述的智能遥控电视系统的遥控方法，其特征在于，所述遥控方法包括以下步骤：

步骤A，所述主控模块启动光标模式；

步骤B，所述主动摄像头采集所述电视机的图像；

步骤C，所述视频处理分析模块根据所述存储模块中的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在所述主动摄像头采集的图像中检测和定位电视机屏幕，计算所述图像的中心点在所述电视机屏幕中的相对位置，并向所述遥控器通讯模块输出计算结果信息；

步骤D，所述主控模块判断是否退出光标模式，若是，则退出，否则，执行步骤B；

步骤E，所述光标模式接口支持模块根据通过所述电视机通讯模块从遥控器通讯模块接收到的信息，控制所述屏幕显示模块和应用模块执行相应功能。

18.根据权利要求17所述的智能遥控电视系统的遥控方法，其特征在于，所述步骤A包括步骤S21，通过所述键盘模块向主控模块发送启动光标模式指令，该主控模块接收键盘输入，启动光标模式，并控制所述遥控器通讯模块将启动信息发送给所述电视机。

19.根据权利要求18所述的智能遥控电视系统的遥控方法，其特征在于，所述步骤B包括步骤S22，所述主控模块控制主动摄像头拍摄一帧图像。

20.根据权利要求19所述的智能遥控电视系统的遥控方法，其特征在于，所述步骤C包括：

步骤S23，所述图像验证子模块判断图像质量是否满足要求，若是，则执行步骤S24，否则，执行步骤S22；

步骤S24，所述图像分析模式识别单元根据保存在所述存储模块中的电视机的识别模型和特征集，或结合在所述电视机的屏幕面板上设置标志物，在图像中检测所述电视机屏幕；

步骤S25，所述识别结果验证单元判断检测到的所述电视机屏幕的特征是否足以确定投影变换关系矩阵M中的参数，若是，则执行步骤S26，否则，执行步骤S30；

步骤S26，所述光标计算单元计算所述投影变换关系矩阵M；

步骤S27，所述光标计算单元根据所述图像的中心点位置和所述投影变换关系矩阵M计算光标位置；

步骤S28，所述光标验证单元判断所述光标位置是否可靠，若是，则执行步骤S29，否则，执行步骤S30；

步骤S29，所述遥控器通讯模块将光标位置信息发送给所述电视机；

步骤S30，所述遥控器通讯模块将错误信息发送给所述电视机。

21.根据权利要求20所述的智能遥控电视系统的遥控方法，其特征在于，所述步骤D包括：

步骤S31，所述主控模块判断是否收到所述键盘模块发出的退出光标模式指令，若是，则执行步骤S32，否则，执行步骤S22；

步骤S32，所述主控模块退出光标模式，并控制所述遥控器通讯模块将退出信息发送给所述电视机。

22.根据权利要求21所述的智能遥控电视系统的遥控方法，其特征在于，所述步骤E包括：

步骤S41，所述光标模式接口支持模块通过所述电视机通讯模块接收所述遥控器通讯模块发送的信息；

步骤S42，所述光标模式接口支持模块解析接收到的信息，判断该信息是否要求开启光标模式，若是，则执行步骤S43，否则，执行步骤S44；

步骤S43，所述光标模式接口支持模块开启光标模式，并执行步骤S50；

步骤S44，所述光标模式接口支持模块判断接收到的信息是否要求退出光标模式，若是，则执行步骤S45，否则，执行步骤S46；

步骤S45，所述光标模式接口支持模块取消光标模式，并执行步骤S50；

步骤S46，所述光标模式接口支持模块判断接收到的信息是否包含光标位置信息，若是，则执行步骤S47，否则，执行步骤S48；

步骤S47，所述光标模式接口支持模块根据所述光标位置信息使所述屏幕显示模块更新所述电视机的屏幕上的光标位置和用户控制菜单，激活所述应用模块执行相应的功能或者启动相关的应用程序，并执行步骤S50；

步骤S48，所述光标模式接口支持模块判断接收到的信息是否指明错误发生，若是，则执行步骤S49，否则，执行步骤S50；

步骤S49，所述光标模式接口支持模块进行相应的错误处理，并执行步骤S50；

步骤S50，所述光标模式接口支持模块根据已经接收到的信息及相应的处理结果来判断是否继续等待所述遥控器通讯模块发送的新信息，若是，则执行步骤S41，否则，控制流程结束。

Images