CN101308426A - 使用摄像头的个人移动信息设备手写输入装置 - Google Patents

Abstract

一种使用摄像头的个人移动信息设备的手写输入装置，该装置包括书写笔，一只安装在所述个人移动信息设备上的由感光器件和镜头构成的摄像头组件，以及用于该摄像头组件输出信号处理的微处理器系统。所述摄像头的镜头的光轴平行于书写表面；在所述微处理器系统内，还包括一个检测书写笔的检测的软件模块装置程序，由比较判断书写表面是否存在书写物的识别模块装置、捕捉书写物与镜头光轴之间角度及成像尺寸的模块装置，以及一个计算书写物位置坐标的计算模块装置构成。本发明使用了现在个人移动信息设备上基本上都配置的摄像头作为手写输入的基本部件，因此具有生产成本低、适用性广的优点。

Description

使用摄像头的个人移动信息设备手写输入装置

技术领域

本发明涉及一种手写输入技术方案，属于手写输入和图像处理技术领域，尤其是用于以手机为主要代表的个人移动信息设备的手写输入技术领域。

技术背景

现有用于如手机、掌上电脑、PDA等个人移动信息设备的手写输入技术，基本上都是基于电阻膜手写板或者触摸屏技术的基础。其基本结构是在手机的某一个平面上(一般是在显示屏的表面)安装上一块电阻膜结构的触摸屏，利用手指或者手写笔在这块触摸屏上书写。虽然经过多年的发展，电阻膜结构的手写输入装置已经发展得很完善，在精度、稳定性、透明度、可维护性等方面都有很大提高，但是其固有的一些缺点却一直无法克服。这些缺点主要表现在以下几个方面。

首先，因为电阻膜尺寸的大小决定了书写面积的大小，所以在手机等这类本身尺寸有限的设备上，不可能安装大尺寸的触摸板，手写输入只能在尺寸很小的表面上操作，受到空间上的限制，因此对于使用者而言很不方便。

其次，因为手机等个人移动信息设备自身的尺寸都很有限，因此安装了手写板以后，键盘的安装就受到很大影响。采用折叠结构，将手写板安装在折叠的上盖上，虽然这样可以照常安装键盘，但手写板的操作会很不方便，使用效率大打折扣；而如果将手写板与键盘安装在同一表面，则键盘的尺寸就会受到限制，不方便操作；如果采用滑盖等其他结构，则会增加设备结构的复杂性，不利于降低成本、提高可靠性。因此很多设计都不得不舍弃键盘，给既希望使用手写输入而又习惯键盘操作的使用者带来很大不便。

第三，虽然电阻膜结构的手写板经过不断发展，性能已经非常不错，但是其透光性依然难以超过90％，导致同等耗电的条件下屏幕的亮度降低，并且抗刮伤划伤的能力依然有限。

因为电阻膜结构的手写板具有上述的这些缺点，因此现在又出现了一些应用于个人移动信息设备上的新的手写输入技术，如在键盘表面利用电容触摸屏技术实现的“指书”输入手写板，如中国专利号为ZL 00133388.7的中国专利所公开的超声波手写输入技术。但这些新技术也有一些不足之处。如电容原理的“指书”手写输入技术，其限制在于必须使用手指之类有一定面积导体作为手写笔，才能被检测到；并且因为传感层位于键盘后面，要在保证键盘的功能的同时，还要保证对手指触摸的检测信号的完整性和可靠性，所以给产品的结构设计带来了很多难题，而超声波技术虽然没有实际的书写底板的限制，可以实现大面积的手写输入，但是该技术尚未投入具体应用，但从原理上分析，一些可能遇到的问题尚未暴露，也很难说是一种很好的替代技术。

发明内容

现在手机等个人移动信息设备上绝大部分都配备有摄像头组件，因此可以利用这个摄像头组件来实现手写输入。在本发明中，所述手写输入装置包括有书写物，一只安装在所述个人移动信息设备上的由感光板和镜头构成的摄像头组件，以及用于该摄像头组件输出信号处理的微处理器系统。

在本发明中，所述摄像头的镜头的光轴平行于书写表面；在所述微处理器系统内，还包括检测书写物的检测装置，所述书写物检测装置包含有一个摄像头扫描范围控制装置，并且分别与同样包括在通过微处理器系统内部的：

一个通过检测摄像头输出的光电信号来判断是否在所述书写表面存在书写物的比较判断装置；一个捕捉书写物与镜头光轴之间角度，以及书写物在摄像头内感光器件上成像尺寸的装置；一个利用书写物与镜头光轴之间角度和成像尺寸来计算书写物位置坐标的计算装置通过控制和数据通道相连接。

如果使用个人移动信息设备的键盘或显示屏幕表面作为所述的书写表面，那么在所述摄像头的镜头内，应该包含有用于微距拍摄的透镜组。但好在很多这类设备中现有的摄像头的镜头，就有微距拍摄功能。又因为一般摄像头的镜头的光轴线都垂直于所述设备的机身表面，因此本发明中，所述摄像头组件应该安装在所述个人移动信息设备的一个端部，通过转轴与所述设备的外壳相连接；所述摄像头组件，能够以所述转轴为轴旋转到其镜头的光轴位于被设定的书写表面的上方。

在本发明中，使用的书写物可以是手指；也可以是一只手写笔。如果使用手写笔，那么还可以在手写笔内部安装电池、脉冲发生器、发光管和用于检测手写笔是否与书写表面相接触的检测开关，构成能够主动发射光线的有源手写笔，更方便摄像头捕捉图像信号。这时，所述检测开关的检测端安装在手写笔的笔尖上，其开关量输出端与所述脉冲发生器的控制端相连接，控制脉冲发生器输出脉冲；所述发光管也安装在手写笔的笔尖部位，与脉冲发生器的输出端相连接。这里，接触检测开关一般使用机械结构的微动开关，但也可以使用电流检测、磁场检测、电场检测结构的开关。

无论使用何种类型的书写物，在所述用于该摄像头输出信号处理的微处理器系统内部的存储器上，都应该存贮有手写笔图像的样板模型，用于判断在使用手写输入功能时，摄像头捕捉到的图像信号是否是设定的书写物在摄像头的感光板上所产生图像。

在本发明中，所述检测书写物的检测装置，所述的书写物的比较判断装置、检测书写物与镜头光轴之间角度以及书写物在摄像头内感光器件上成像尺寸的装置、计算书写物位置坐标的计算装置，实际上都是由微处理器系统内部的软件构成的，也就是由存贮在微处理器系统内存储器上的代码指令所构成的。在这三个功能模块之间主要的连接方式，是通过控制和数据通道，来实现各个模块装置的控制有关书写物的信息和数据的存贮与传递。因此，这三个功能模块之间，通过由存储器构成的控制和数据通道相连接。

由于本发明使用了现在个人移动信息设备上基本上都配置的摄像头作为手写输入的基本部件，对设备本身结构的改动较少，主要功能是通过软件实现的，因此具有生产成本低、适用性广的优点。

附图说明

图1摄像头组件与书写物之间的位置关系的示意图。

图2摄像头组件内感光板上的成像与书写物之间位置关系得示意图。

图3摄像头组件在设备上的一种安装结构的示意图。

图4有源手写笔内部电路结构的方框示意图。

图5有源手写笔笔尖部分的结构示意图。

图6微处理器内部手写物目标捕捉、位置计算的软件模块装置的结构图。

图7微处理器内部手写物目标捕捉、位置计算的软件流程图。

具体实施方案

下面将结合附图，详细说明本发明的具体实施方案及实施例。

图1中，摄像头组件103安装在个人移动信息设备101一端的中部，镜头104面对着书写面，即图中虚线内的区域106。这个区域可以是键盘所在的区域，也可以是显示屏幕所在的区域。其中，摄像头组件103包含有感光板(COMS或者CCD感光阵列)102和镜头104，因为要在摄像头附近捕捉书写物的图像，因此这个镜头应该能实现微距拍摄的功能。摄像的有效视角包含在由标志线107A和107B所围成的夹角α之内。因此，所述的书写面106也必须在这个夹角之内，如图所示，才能被摄像头有效捕捉。在书写面内，假设有书写物108A、108B、108C分别位于不同的位置(可以看作是同一个书写物在不同时间分别位于图中所示的各个位置)，那么它们将通过镜头，在感光板上不同的位置成像。成像的位置，因该书写物的中心与镜头的中心所决定的光轴109(A、B)的位置和角度的不同而不同。如图中108A和108B的位置，由书写物的中心与镜头的中心所决定的光轴109A与镜头中心的光轴105相重合，这是书写物的成像就在感光板的中轴线上；而当书写物位于108C所示的位置时，由书写物的中心与镜头的中心所决定的光轴就转移到了109B所在的位置，这样成像的位置就偏离到了感光板的一侧。图2给出了感光板上成像的局部放大的示意图。

在图2中，选择了感光板上横向三条感光线状的感光单元阵列202(在此称为线阵)，图1中书写物的不同位置，在这些线阵上形成的图像的尺寸和位置就不相同。当书写物位于108A所示的位置时，在这组线阵上成像的图像，其位置和尺寸如阴影201A所示。同理，书写物在108B、108C所示的位置时，在这组线阵上的图像，其位置和尺寸如阴影201B、201C所示。在有了如图中所示的图像与感光板中心的距离、图像的宽度等数据之后，根据光学计算的一些公式，如凸透镜的物距u、像距v与焦距f之间的公式

$\frac{1}{f}=\frac{1}{u}+\frac{1}{v}$

以及相似形的关系式，就可以计算出书写物与镜头的距离和与中心光轴105之间的角度，这样就在一个极坐标系里面确定了书写物的位置。

这里，选择的线阵的数量可以很少，可以只选择几条(图中所示为三条)。这是因为：第一要捕捉的书写物的图像不是全图，只要捕捉宽度就可以了；第二，如果使用普通手写笔或者手指书写，选择的线阵少些，在抬笔(笔离开书写面)时笔的成像将落到选定区域之外，容易完成笔画或者字词的分割。当然，如果选用更多的线阵也可以，只要在图像处理的时候针对特定的线阵或图像位置作出判断，也能实现对抬笔和落笔(笔接触到书写面)的识别。具体的选择还要和镜头与书写面之间的位置关系、书写物成像的一般位置等因素来决定。

现在个人移动信息设备上所配置的摄像头，很多已经都达到了200万像素，如果以4∶3的长宽比例为标准，那么纵横方向可用的像素数量分别为1600*1200。如果使用长度方向的线列用来检测书写物，那么每条线列上就有1600个用于捕捉书写物位置数据的感光单元，即像素。假设图1中书写面106的宽度是40mm(如果用于手机，宽度已经不小了)，那么每毫米的尺寸对应的像素数约为40个，因此在最近的书写距离上，水平方向的分辨率将达到1000dpi左右。再假设书写面沿镜头光轴方向的长度为60mm，有效视角α为90°，那么在另一边，通过三角形的计算可知每毫米对应的像素数为10个，横向分辨率为250DPI。这时，书写物沿光轴方向(纵向)距离的变化为60mm，像素的变化为30个，因此可知分辨率约为12.5dpi。但这是在书写物的直径是1mm情况下的分辨率，一般手写笔的直径都在4mm以上。如果书写笔的直径按照4mm计算，那么纵向分辨率就变为50dpi，即能分辨0.5mm左右的距离变化，足可以满足一般书写所要求的精确度。如果使用手指作为书写物来书写，即便是女性，手指的宽度也都在8mm以上，这时纵向分辨率就可以达到100dpi，更能满足实际需求。

图3给出的了摄像头组件的一种安装结构。图中摄像头组件103通过转轴302安装在个人移动信息处理设备101的一端，一般是安装在这端的中部，能够绕着轴302作不小于270°的旋转。当旋转到图中301虚线所示的位置时，该摄像头组件的镜头与键盘或者显示屏106的朝向相反，可以用于拍摄；当旋转到镜头的光轴与键盘或者显示屏的表面，即书写面106的表面相平行时，即图中实线所示的位置时，用于手写输入。当然，摄像头组件还有其他很多种安装结构，只要能兼顾拍摄和手写就都可以。本实施例所给出的只是一种安装结构。

在本发明中，书写物可以使用手指，也可以使用如前面所述、粗细合适普通的手写笔，也可以使用带有电源和发光管的专用手写笔。图4、图5给出了这种专用手写笔的基本原理的方框图和局部的结构图。如图4所示，在手写笔内部安装有电池404，至少一个发光管402及其信号发生和驱动单元401，以及一个开关403。所述信号发生和驱动单元401可以由单片机系统构成，也可以仅仅由逻辑电路或者脉冲发生电路加上功率驱动元件构成，用于驱动发光管发射一定频率的光脉冲。这里光脉冲的频率可以设定在几十赫兹致一、二百赫兹之间，保证手写笔在较快速运动时，在运动的轨迹上有足够的发光点供摄像头捕捉，得到足够连续的轨迹数据以获得连续的运动轨迹，即能够产生足够的手写采样点。这里发光管可以选用红外发光管，避免影响人的视线。之所以采用光脉冲的发光形式，主要是从降低平均功率以得到更长的电池使用时间的角度来考虑，。开关403的作用是控制电路401是否工作。因为手写输入图文时需抬笔落笔，抬笔后，发光管不发光，摄像头不能捕捉比的运动轨迹，或者即使捕捉到了，但是没有特定强度或形状的光图形电信号输出，而不被认为是书写的内容；落笔后，发光管发射光线，其位置或者运动轨迹就被认为是书写的内容而被响应。这里，该开关可以使用机械结构的压力开关，如微型按钮开关，也可以使用电流检测、磁场检测、电场检测结构的开关，检测手写笔是否接触到书写面，或者与书写面非常接近。

图5就是使用机械式压力检测开关的专用手写笔笔尖部分的结构示意图。图中，发光管安装在笔尖501部分的环状散射材料502以内，如果没有特殊的光学散射设计，一般要安装两个以上，采用串联或者冰联的方式分布安装，以保证笔端径向整个360°的范围内，都有比较均匀的光线射出。如果使用红外发光管，则这部分散射材料可以使用红外滤光材料制作。机械式压力开关503安装在笔尖的最端部，在这个实施例中，是一个微动压力开关。电池、信号发生何驱动电路等部分安装在笔杆以内(图中未画出)。由于使用电池的专用手写笔已经很普及，所以在此就不详细说明技术细节。

上面介绍的是本发明的机械和硬件结构。对于书写物尖端的捕捉、确认和位置计算，则需要个人移动信息设备内部微处理器系统的软件来实现。图6给出了这个由软件构成的装置的结构图，其中手写输入检测模块601是该软件的控制装置，其中包含有一个摄像头扫描控制模块装置602，用以设定用于捕捉书写物影像的线阵的数量和位置，以及被选定的线阵的光电信号的拾取、转换和输出；还包含有一个用于将经过计算得到的书写物位置坐标输出到微控制器系统的其他部分的数据输出模块装置606。并且，手写输入检测模块还通过控制和数据通道与：一个通过检测摄像头输出的光电信号来判断是否在所述书写表面存在书写物的影像分析、比较判断模块装置603；一个捕捉书写物与镜头光轴之间角度，以及书写物在摄像头内感光器件上成像尺寸的模块装置604；一个利用书写物与镜头光轴之间角度和成像尺寸来计算书写物位置坐标的计算模块装置605相连接。在所述影像分析、比较判断模块装置603中，还应当包含有一个书写物图像的样板模型。事实上，这部分主要采用的是“模式识别”技术，即通过对捕捉到的图像进行分析判断，来确定该图像是否是书写物的图像，因此内部需要保留一个比较判断的依据，即样板模型。同时，该比较判断模块装置中还包含有用于判断书写物工作状态的装置，用于判断书写物是与否与书写面相接触，或者专用笔是否发射了脉冲光线，然后再把这些信息通过所述的控制和数据通道传输到捕捉模块604中，告知该捕捉什么不该捕捉什么。为了能更准确地分析判定视频图像的性质和状态，在这个模块装置中，可以使用更多甚至感光板上的全部感光单元来用于视频图像的捕捉。在实际的结构中，这两部分并没有严格的界限，实际操作上就是对捕捉到的视频图像如何取舍的分析判断。在捕捉到与书写物对应的视频图像以后，捕捉模块604就将所述图像的尺寸、位置等信息同样通过所述的控制和数据通道传输到计算模块装置605中，根据选定的计算公式，计算出书写物与镜头中心连线线段的长度以及该线段与通过镜头中心光轴105的偏离角度。这样，就在以镜头104为原点的极坐标系中得到了书写物的位置数据。将这个位置数据转换为与书写面对应的直角坐标系(习惯上用直角坐标系，但也可以在书写面上直接使用上述的极坐标系)的坐标，再通过数据传输模块装置606传输到所述微处理器的其他部分，如文字识别、图形识别、设备操作部分，即可实现手写输入的功能。

图7给出了使用图6所示结构的软件装置的程序流程图，实际上也就是手写输入装置对数据进行处理的流程图。如图所示，通过启动步骤701启动手写输入模块装置601后，系统进入摄像头控制、扫描、线阵设定的步骤702，启动影像分析、比较判断模块装置603，然后通过步骤703，利用前面所述的书写物图像的样板模型，对感光板上的图像进行分析、判定。如果判定所分析的图像中没有书写物的特征图像，则返回到图像扫描步骤702捕捉下一桢或者下一幅图像，继续进行分析判定；如果判定所分析的图像中包含有书写物的特征图像，则进入步骤704，利用前面设定的线阵来捕捉被步骤703所认定的书写物在感光线阵上的尺寸、角度，得到书写物的位置信息数据。在有了这些位置信息数据之后，启动计算步骤705，通过所述控制和数据传输通道将上述位置数据输送到计算模块装置605中进行位置坐标的计算，然后通过数据传输步骤706，调用数据传输模块装置606，将计算结果传送到该设备的其他部分以供使用。

上面着重说明了实现本发明目的基本技术方案。但是作为完整的应用技术方案，上述明确说明的实施结构不是唯一的。比如摄像头组件的安装结构和方式，在现有技术条件下，几乎有无限多种具体结构；专用书写笔的光路结构、接触检测开关的结构和安装方式，也有着非常多的不同原理和具体结构；再比如软件部分的结构，即可以如说明书中及附图中那样使用界限比较清晰的模块化结构，也可以使用一体化的、不分割成模块的软件结构。并且，方案的实施还需要配合其它辅助部分，如本发明系统内微控制器的数据传输方式、应用的个人移动信息设备的类型、结构特点等。因此在本发明所给出的基本技术方案的基础上的进行的改进、移植、变通、删减、增补等方式的设计，都属于本发明的技术范围之内。

Claims (9)

1.一种使用摄像头的个人移动信息设备的手写输入装置，该装置包括书写物，一只安装在所述个人移动信息设备上的由感光器件和镜头构成的摄像头组件，以及用于该摄像头组件输出信号处理的微处理器系统，其特征在于：

所述摄像头的镜头的光轴平行于书写表面；在所述微处理器系统内，还包括检测书写物的检测装置，所述书写物检测装置包含有一个摄像头扫描范围控制装置，并且分别与同样包括在通过微处理器系统内部的：

一个通过检测摄像头输出的光电信号来判断是否在所述书写表面存在书写物的比较判断装置；

一个捕捉书写物与镜头光轴之间角度，以及书写物在摄像头内感光器件上成像尺寸的装置；

一个利用书写物与镜头光轴之间角度和成像尺寸来计算书写物位置坐标的计算装置相连接。

2.根据权利要求1所述的手写输入装置，其特征在于：所述摄像头的镜头内，包含有用于微距拍摄的透镜组。

3.根据权利要求1或2所述的手写输入装置，其特征在于：所述摄像头组件安装在所述个人移动信息设备的一个端部，通过转轴与所述设备的外壳相连接；所述摄像头组件，能够以所述转轴为轴旋转到其镜头的光轴位于被设定的书写表面的上方。

4.根据权利要求1或2所述的手写输入装置，其特征在于：所述的书写物是手指。

5.根据权利要求1或2所述的手写输入装置，其特征在于：所述的书写物是一只手写笔。

6.根据权利要求5所述的手写输入装置，其特征在于：所述的手写笔由电池、脉冲发生器、发光管和接触检测开关构成；所述接触检测开关的检测端安装在手写笔的笔尖上，其开关量输出端与所述脉冲发生器的控制端相连接；所述发光管也安装在手写笔的笔尖部位，与脉冲发生器的输出端相连接。

7.根据权利要求6所述的手写输入装置，其特征在于：所述接触检测开关是一个机械结构的微动开关。

8.根据权利要求1所述的手写输入装置，其特征在于：在所述用于该摄像头输出信号处理的微处理器系统内部的存储器上，存贮有书写物图像的样板模型。

9.根据权利要求1所述的手写输入装置，其特征在于：所述检测书写物的检测装置，与所述的书写物的比较判断装置、检测书写物与镜头光轴之间角度以及书写物在摄像头内感光器件上成像尺寸的装置、计算书写物位置坐标的计算装置之间，通过由存储器构成的控制和数据通道相连接。

Images