CN101867744A - 一种具有电子绘图功能的电视机及其实现方法 - Google Patents

Abstract

本发明公开了一种具有电子绘图功能的电视机及其实现方法，所述实现方法包括：电视机进入电子绘图功能，并显示出绘图界面；摄像头获取绘图设备输入的绘图信息；所述绘图信息经图像处理模块处理生成绘图图像；所述绘图图像通过所述显示屏进行显示。本发明通过在传统电视机上连接一摄像头，采用绘图设备在电视机屏幕上绘图，通过摄像头实时检测绘图设备的形状和位置，采用图像处理模块来执行相对应的绘图功能，并将绘制的图像传输到电视机的显示屏进行显示，使传统电视机具有了电子绘图功能，丰富了电视机的功能。

Description

一种具有电子绘图功能的电视机及其实现方法

技术领域

本发明涉及一种电视机，尤其涉及一种具有电子绘图功能的电视机及其实现方法。

背景技术

传统的电视机只具有单一的播放功能，用户只能被动的选择电视节目收看，无法实现用户与电视之间的互动。即使目前采用的数字电视机顶盒等功能，也只能是在更大的范围内进行节目选择，与电脑等设备的输入互动功能相比，其娱乐性极其有限。

因此，提供一种具有电子绘图功能的电视机将增加电视更多的娱乐选择。

发明内容

本发明要解决的技术问题是提供一种具有电子绘图功能的电视机及其实现方法。

解决本发明技术问题的技术方案如下：

一种电视机电子绘图功能实现方法，包括以下步骤：

A、电视机进入电子绘图功能，并显示出绘图界面；

B、摄像头获取绘图设备输入的绘图信息；

C、所述绘图信息经图像处理模块处理生成绘图图像；

D、所述绘图图像通过所述显示屏进行显示。

本发明所述的实现方法，其中，所述步骤C中，包括以下步骤：

C1、图像处理模块利用色度分量对所述绘图设备状态图像进行颜色检测，利用亮度分量对所述绘图设备状态图像进行运动检测，采用主动形状模型跟踪技术，完成对所述绘图设备状态图像中绘图设备的位置和状态的检测。

本发明所述的实现方法，其中，所述绘图界面包括功能区域和绘图区域，所述功能区域用于显示绘图功能按钮，所述绘图区域用于显示所述绘制的图像。

本发明所述的实现方法，其中，所述功能区域包括文件操作区域，画笔选择区域和调色板区域。

本发明所述的实现方法，其中，所述文件操作区域包括新建按钮、浏览按钮、保存按钮或退出按钮；所述画笔选择区域包括擦除按钮、铅笔按钮、刷子按钮或喷枪按钮。

一种具有电子绘图功能的电视机，包括电视机主机，所述电视机主机上设置有显示屏，其中，所述电视机还包括摄像头和图像处理模块，所述摄像头用于检测绘图设备输入的绘图信息，并将所述绘图信息发送给所述图像处理模块；所述图像处理模块根据所述绘图信息得出绘图图像，并将所述绘图图像通过所述显示屏显示。

本发明通过在传统电视机上连接一摄像头，采用绘图设备在电视机屏幕上绘图，通过摄像头实时检测绘图设备的形状和位置，采用图像处理模块来执行相对应的绘图功能，并将绘制的图像传输到电视机的显示屏进行显示，使传统电视机具有了电子绘图功能，丰富了电视机的功能，其实现简单，应用广泛。

附图说明

图1为本发明实施例的具有电子绘图功能的电视机结构示意图；

图2为本发明实施例的作为绘图设备的手指闭合手型示意图；

图3为本发明实施例的作为绘图设备的手指打开手型示意图；

图4为本发明实施例的电子绘图功能界面划分示意图；

图5为本发明实施例的功能区域的划分及其定义示意图；

图6为本发明实施例的浏览功能弹出的操作按钮示意图；

图7为本发明实施例的具有电子绘图功能的电视机实现方法流程图；

图8为本发明实施例的电子绘图功能动作转移图；

图9为本发明实施例的手的轮廓的跟踪与手型的识别算法框图。

具体实施方式

以下结合附图，对本发明的较佳实施例加以详细说明。

本发明实施例中，具有电子绘图功能的电视机结构示意图如图1所示，其包括用于完成电视机功能的电视机主机101。电视机主机101的显示屏提供显示绘图界面，并显示绘制的图像。本发明方案中的绘图设备可以是任意的绘图装置，包括各类笔在内的任意材料的棒状物等。本实施例中，采用人的裸手手指作为绘图设备，在显示屏显示的绘图界面上绘图。在电视机主机连接一摄像头102，其主要用于检测绘图设备在显示屏上的位置和状态，并采用图像处理模块根据检测到的位置和状态通过采集手指的运动轨迹进行绘制图像，并通过电视机主机将手指的运动轨迹输出到显示屏上进行显示。该图像处理模块可设置在电视机主机内，也可设置在摄像头内。

本实施例中，当电视机进入电子绘图功能时，其显示屏上显示为虚拟电子绘图板，在图像处理模块的算法部分将其划分为功能区域和绘图区域，如图4所示。功能区域主要用于列出功能按钮，以供绘图设备选择合适的绘图工具。绘图区域主要用于显示虚拟绘制的点阵图像，通过检测绘图设备在绘图区域的运动轨迹，实现图画的绘制。

图像处理模块的工作状态的定义如表1所示。

表1摄像头工作状态定义

序号	状态	定义
			1	绘图状态	在绘图区域进行电子绘图
2	浏览状态	在绘图区域显示图像但不可编辑
			3	退出状态	退出电子绘图板

本实施例中，具体采用手指作为输入的绘图设备，摄像头内置的算法实时跟踪手并对手型进行识别并记录其运动轨迹。图2和图3所示为两个基本手型示意图，其中，图2所示为手指闭合状态，图3所示为手指打开状态，其手型代表的功能定义如表2所示。

表2手型的功能定义

本实施例中，具有电子绘图功能的电视机的实现方法流程图如图7所示，下面结合实际算法，对该流程步骤作详细描述：

步骤S101、电视机主机接收进入电视机的电子绘图功能的信号，进入电子绘图功能，并在电视机的显示屏显示出绘图界面；操作上，用户通过电视遥控器选择进入电子绘图板功能，出现欢迎界面后进入电子绘图状态，在电视机的显示屏上显示绘图界面。其中，绘图界面如图4所示，其包括功能区域和绘图区域。功能区域具体划分如图5所示，其包括：文件操作区域，画笔选择区域和调色板区域。三个区域分别用于文件的操作，确认当前画笔的类型，画笔的颜色等。其中，文件操作功能可分为：新建、浏览、保存退出、不保存退出。其中，新建功能用于创建一幅空白的图像，如图像名自动形成，格式为：年-月-日-编号.bmp，如200903080001.bmp。浏览功能是将多媒体存储介质中保存的图像文件显示在绘图区域，并同时显示出一个导航条，如图6所示，其用于查看及选择想打开及编辑的图像。保存退出的功能就是将当前编辑的图像保存到存储介质后退出电子绘图功能。不保存退出则直接退出。画笔类型可为：擦皮、铅笔、刷子、喷枪。

在绘图过程中，各状态的转换图如图8所示，其包括绘图状态、浏览状态和退出状态。系统初始默认进入绘图状态，进行新建文件的操作，自动生成一个图像文件名。同时默认画笔按下的状态，画笔类型默认为铅笔，画笔颜色默认为黑色。

步骤S102、摄像头获取绘图界面上的绘图信息；进入绘图状态后，用户即可采用手指在显示屏的相关区域进行绘图操作。如进行绘图功能的选择，以及按照需要绘制图像。

步骤S103、摄像头根据绘图信息得出绘制的图像；借助摄像头采集，电视机内部的多媒体处理器，实时处理并定位手指在显示屏的位置，并判断手型是闭合(Close)还是打开(open)。若当前手指在绘图区域，并且手型是Open状态，则多媒体处理器认为是画笔抬起，若手型是Close状态，则多媒体处理器认为是画笔按下，若手型为非Close或Open状态，则不显示任何画笔。本实施方式中，手指状态及位置的数据处理由电视机内部的多媒体处理器执行，也就是在电视机内部整合一个图像处理模块对摄像头采集的数据进行处理，摄像头仅采用普通的摄像头，完成一般图像采集功能即可，一个替代方案是采用带有手势识别绘图输入系统的智能摄像头执行手指状态的识别与位置的追踪，这个方案中图像处理模块被集成到智能摄像头中，此种方案较为适用现有的电视机，用户仅需将智能摄像头接入普通电视即可。当摄像头检测到手指在功能区域时，如果手型是Close状态停留在功能区域的某个按钮上方2秒，或者在按钮区域进行Close-open的手型变换，则表示完成一个有效的单击动作。依此进行画笔类型的选择、画笔颜色的选择，以及文件的操作。如果“单击”了新建按钮，则立即清除当前的绘图内容，并自动生成另一个图像文件名；如果选择了保存按钮，则将当前图像保存到存储介质；如果选择了退出按钮，则退出电子绘图板状态；如果选择了浏览按钮，则进入浏览状态，首先在存储介质中搜索所有的图像名，并将当前的图像显示在绘图区域，同时在功能区域显示出浏览导航按钮，如图6所示。随着对上、下一幅按钮的选择，将相应存储介质中的图像显示在绘图区域。若此时选择确认按钮，则打开当前显示在绘图区域的图像，并立即转换到绘图状态。状态切换总流向具体参照图8。

摄像头内置的电子绘图程序的实现算法详细描述如下：

首先进行初始化，令k＝0，画笔类型brush type为铅笔，画笔brush color为黑色，绘图区域为空白，新建一幅图像；设置功能区域以及绘图区域；利用运动信息估计当前手指的初始位置为(X₀，Y₀)，手指的形状描述为

n为手指轮廓的标记点数。确定工作目录下的所有图像名，并存储到一个图像文件名列表image_list。然后按以下步骤操作：

(1)k←k+1，获取新一帧图像I_k；

(2)根据在上一帧图像中估计的手指形状描述

以及当前的图像i_k，估计(跟踪)出当前的手指形状描述：

从该描述得到手的坐标估计：(X_k，Y_k)，以及手型的类型；

(3)判断手指坐标所在区域，若坐标(X_k，Y_k)在绘图区域，则转至(4)，否则转至(5)；

(4)若手型为Close，则在坐标(X_k，Y_k)处按指定颜色修改图像内容并显示，然后转至(1)；

(5)判断所述手型是否是单击动作，若非单击动作则转至(1)，否则转至(6)；

(6)若单击画笔选择按钮，则更改画笔类型，然后转至(1)，否则转至(7)；

(7)若单击调色板区域按钮，则更改画笔颜色，然后转至(1)，否则转至8)；

(8)若单击保存按钮，则将当前的图像文件存储，并将图像名添加到图像文件名列表，然后转至(1)，否则转至(9)；

(9)若单击新建按钮，则清除当前图像内类，然后转至(1)，否则转至(10)；

(10)若单击浏览按钮，则弹出浏览功能按钮，进入浏览状态，然后转至(1)，否则转至(14)；

(11)若单击下一幅按钮，则加载下一幅图像，并显示在绘图区域，然后转至(1)，否则转至(12)；

(12)若单击上一幅按钮，则加载上一幅图像，并显示在绘图区域，然后转至(1)，否则转至(13)；

(13)若单击确认按钮，则清除浏览功能按钮，退出浏览状态，转至(1)；

(14)若单击退出按钮，则退出电子绘图板功能，否则转至(1)。

本实施例综合利用三方面的信息实现手的轮廓的匹配与识别，即手的肤色信息，运动信息，和手型的轮廓信息。手指的轮廓的跟踪与定位算法的实现框图如图9所示，其包括形状跟踪初始化部分和形状跟踪部分。初始化部分的作用是设置形状跟踪的初始形状。形状跟踪部分利用上一帧的形状信息，以及当前图像帧的Y分量，确定当前帧的形状描述。其中，初始化部分利用YUV彩色图像的UV分量(色度分量)进行皮肤颜色检测，以及利用Y分量(亮度分量)进行运动检测，两者的结合用于形状跟踪的初始化。形状跟踪采用主动形状模型(Active Shape Model)跟踪技术。利用形状描述可以进行手型的识别，即利用形状分量的取值来进行识别。在形状跟踪的过程中停止第一部分的工作，但若在形状的跟踪过程中，形状的拟合误差超过一定的阈值，此时可以认为跟踪失败，则重新启动第一部分的工作，以使得重新初始化形状跟踪部分。

主动形状模型的轮廓由标记点(landmark)来表示，标记点是一种人为规定的用于形状描述的点，顺序连接标记点可以勾绘出一个轮廓的形状。主动形状模型建立在大量的训练形状样本的基础之上，实际操作过程是先用手工的方法采集许多样本轮廓的点集，并基于这于点集构造出形状模型。主动形状模形采用主成分分析的方法进行建模。

一个主动形状模形主要由两部分组成：1)模板轮廓，2)形状参数。设

表示一个N个标记点的轮廓，将这2N个数据按顺序排列下来，可以行成一个2N维向量x，主动形状模型由式(1)表示：

$x=\stackrel{\‾}{x}+\mathrm{Pb}---\left(1\right)$

这里，

为模板形状，也是训练集的平均轮廓，P为经训练学习得到的2N×M维矩阵，b为M维向量，也就是形状参数，改变b的分量的取值，可以在模板形状的基础上得到相应的形状变形。

在上述模型的基础上再加上形状的平移、旋转及尺度变换，则构成如下式(2)的形状模形：

$X=M[s,\mathrm{\θ},x_t,y_t](\stackrel{\‾}{x}+\mathrm{Pb})---\left(2\right)$

这里x_t，y_t分别为水平及竖直方向的平移参数，s，θ分别为尺度及旋转角度参数，M为姿态及平移变换算子，变换方程如下式：

$M[s,\mathrm{\θ},x_t,y_t]\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}s\cos \mathrm{\θ}& -s\sin \mathrm{\θ}\\ s\sin \mathrm{\θ}& s\cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)---\left(3\right)$

主动形状跟踪算法由两部分组成：对应点的搜索和主动形状模型的拟合。对应点的搜索过程主要由下面三个步聚组成。第一步先根据形状模型的参数s，θ，x_t，y_t，b按照式(2)及式(3)生成模型轮廓的标记点；第二步确定轮廓曲线在每个标记点的法向方向；第三步对每个标记点沿其对应的法向方向在图像中搜索最强的边缘点，搜索到的点即为标记点的对应点。主动形状模型的拟合就是指对搜索到的对应点按形状模型式(3)，依照最小二乘法的原则，求取旋转、尺度、平移以及形状参数的估计的过程。设向量Y代表由搜索到的对应点构成的向量，则拟合算法就是求取式(4)的最小二乘解：

$(\hat{s},\widehat{\mathrm{\θ}},{\hat{x}}_t,{\hat{y}}_t,\hat{b})=\underset{(s,\mathrm{\θ},x_t,y_t)}{\arg \min }{\left|\right|Y-M[s,\mathrm{\θ},x_t,y_t](\stackrel{\‾}{x}+\mathrm{Pb})\left|\right|}^2---\left(4\right)$

主动形状跟踪算法由以下步骤构成：

a、输入：

a-1、当前第k帧灰度图像I(k)；

a-2、上一帧图像的姿态参数s(k-1)，θ(k-1)，x_t(k-1)，y_t(k-1)以及形状参数b(k-1)；

b、输出：与I(k)中目标的轮廓相匹配的姿态参数s(k)，θ(k)，x_t(k)，y_t(k)以及形状参数b(k)：

b-1、初始化，

s(k)＝s(k-1)，θ(k)＝θ(k-1)，x_t(k)＝x_t(k-1)，y_t(k)＝y_t(k-1)，b(k)＝b(k-1)；

b-2、利用式(2)计算生成轮廓模型的标记点；

b-3、对于轮廓模型的每一个标记点在I(k)中按照法线方向搜索目标点；

b-4、根据模型点与搜索到的目标点，按照式(4)更新姿态参数s(k)，θ(k)，x_t(k)，y_t(k)以及形状参数b(k)；

b-5、若收敛或到达限定的循环次数，则转b-6，否则转b-2；

b-6、结束。

步骤S104、图像处理模块将所述绘制的图像信息发送到电视机主机，并通过电视机主机的显示屏进行显示。

综上所述，本发明通过在传统电视机上连接一摄像头，采用手指在电视机屏幕上绘图，通过摄像头实时检测手指的形状和位置，采用图像处理模块来执行相对应的绘图功能，并将绘制的图像传输到电视机的显示屏进行显示，使传统电视机具有了电子绘图功能，丰富了电视机的功能，其实现简单。可以理解的是采用其它设备进行输入时，需要对笔的抬起与按下两个状态事先进行定义。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种电视机电子绘图功能实现方法，包括以下步骤：

A、电视机进入电子绘图功能，并显示出绘图界面；

B、摄像头获取绘图设备输入的绘图信息；

C、所述绘图信息经图像处理模块处理生成绘图图像；

D、所述绘图图像通过所述显示屏进行显示。

2.如权利要求1所述的实现方法，其特征在于，所述步骤C中，包括以下步骤：

C1、图像处理模块利用色度分量对所述绘图设备状态图像进行颜色检测，利用亮度分量对所述绘图设备状态图像进行运动检测，采用主动形状模型跟踪技术，完成对所述绘图设备状态图像中绘图设备的位置和状态的检测。

3.如权利要求2所述的实现方法，其特征在于，所述绘图界面包括功能区域和绘图区域，所述功能区域用于显示绘图功能按钮，所述绘图区域用于显示所述绘制的图像。

4.如权利要求3所述的实现方法，其特征在于，所述功能区域包括文件操作区域，画笔选择区域和调色板区域。

5.如权利要求1至4中任一项所述的实现方法，其特征在于，所述文件操作区域包括新建按钮、浏览按钮、保存按钮或退出按钮；所述画笔选择区域包括擦除按钮、铅笔按钮、刷子按钮或喷枪按钮。

6.一种具有电子绘图功能的电视机，包括电视机主机，所述电视机主机上设置有显示屏，其特征在于，所述电视机还包括摄像头和图像处理模块，所述摄像头用于检测绘图设备输入的绘图信息，并将所述绘图信息发送给所述图像处理模块；所述图像处理模块根据所述绘图信息得出绘图图像，并将所述绘图图像通过所述显示屏显示。

Images