CN114710601B - 一种基于拍摄设备的屏幕书写方法及系统 - Google Patents

Abstract

本发明公开了一种基于拍摄设备的屏幕书写方法及系统，所述方法包括：拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点；拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示，从而达到屏幕书写效果，书写方便、兼容性强、成本低以及大小屏适应性强。

Description

一种基于拍摄设备的屏幕书写方法及系统

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于拍摄设备的屏幕书写方法、系统、终端及计算机可读存储介质。

背景技术

屏幕书写即通过相关设备模拟人书面书写的习惯，实现屏幕上的相关显示，从而达到文字书写以及画图的效果。在平时许多会议场景下，除非特殊材质的屏幕，否则很难实现随意涂改标注的效果，在会议过程中相关内容的临时修改就变得比较麻烦，同时，许多会议室不仅要配备屏幕用于PPT的播放，同时还需要准备专门的书写黑板用于临时方案调整的分解解释，因此需要屏幕书写来实现相关功能。

随着科技的发展，屏幕书写已经成为了一种重大的趋势。各种书写方式层出不穷，其中比较常见的大屏书写方式为电子白板书写，一般采用电阻膜、电磁感应、红外矩阵、超声波、CCD光扫描等技术，而其中存在的问题为有：设备笨重、兼容性弱、安装精度高、成本高等问题。而小屏书写采用压力传感和电容传感等方式，同样需要特定的屏幕和笔才能完成书写，局限性较大，且不适合大屏书写。

即现有屏幕书写的方式存在设备笨重、兼容性弱、成本高、以及大小屏不适应的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于拍摄设备的屏幕书写方法、系统、终端及计算机可读存储介质，旨在解决现有技术中屏幕书写的方式存在设备笨重、兼容性弱、成本高、以及大小屏不适应的问题。

为实现上述目的，本发明提供一种基于拍摄设备的屏幕书写方法，所述基于拍摄设备的屏幕书写方法包括如下步骤：

拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点；

拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，具体包括：

当拍摄设备顶端的中间笔芯接触到显示终端的屏幕时，拍摄设备通过拉力传感器启动拍摄，将光信号转换为电信号，通过数字图像处理将拍摄的图像转化为所接触的坐标点；

当拍摄设备顶端的中间笔芯离开显示终端的屏幕时，拍摄设备通过拉力传感器停止拍摄；

拍摄设备通过光电转换将拍摄的图片信息转换为数字信号，利用SOC将数字信号进行处理以获取中心坐标点。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示，具体包括：

拍摄设备通过无线通信方式与显示终端连接，将中心坐标点上传至显示终端；

显示终端通过APP将接收到的中心坐标点转换为光信号反馈到屏幕上，屏幕点亮中心坐标点对应的位置。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，之前还包括：

在拍摄设备拍摄显示终端的屏幕前，调节拍摄设备的曝光速度，控制曝光速度与显示终端的刷新频率相同或者成倍数关系。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，之前还包括：

拍摄设备获取显示终端的设备型号，根据设备型号确定像素矩阵大小。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述利用SOC将数字信号进行处理以获取中心坐标点，具体包括：

SOC采用具有DSP的处理能力的芯片利用矩阵的方式将数字信号进行排列，利用卷积核和二维数组整列解析的方法获取图像的中心，利用平均滤波的方式对每一个中心点进行校正，得到中心坐标点。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述显示终端通过APP将接收到的中心坐标点转换为光信号反馈到屏幕上，之前还包括：

显示终端的APP接收到中心坐标点后，采用滑动滤波的方法对中心坐标点进行校正，以纠正错误坐标。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述图像处理的方式为目标颜色矩阵识别。

可选地，所述的基于拍摄设备的屏幕书写方法，其中，所述拍摄设备通过CCD图像传感器进行图像采集。

此外，为实现上述目的，本发明还提供一种基于拍摄设备的屏幕书写系统，其中，所述基于拍摄设备的屏幕书写系统包括：

拍摄设备和显示终端；

拍摄设备和显示终端通过无线通信方式建立连接；

拍摄设备用于拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，并将中心坐标点上传至显示终端上的APP；

显示终端用于控制屏幕根据中心坐标点做出相应显示。

本发明中，拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点；拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示，从而达到屏幕书写效果，书写方便、兼容性强、成本低以及大小屏适应性强。

附图说明

图1是本发明基于拍摄设备的屏幕书写方法的较佳实施例的流程图；

图2是本发明基于拍摄设备的屏幕书写方法的较佳实施例中步骤S10的流程图；

图3是本发明基于拍摄设备的屏幕书写系统的原理示意图；

图4是本发明基于拍摄设备的屏幕书写方法的较佳实施例中高精度摄影系统原理示意图；

图5是本发明基于拍摄设备的屏幕书写方法的较佳实施例中采用矩阵一周定位的方法进行检测的示意图；

图6是本发明基于拍摄设备的屏幕书写方法的较佳实施例中拍摄设备示意图原理示意图；

图7是本发明基于拍摄设备的屏幕书写方法的较佳实施例中拍摄设备拍摄流程图；

图8是本发明基于拍摄设备的屏幕书写方法的较佳实施例中步骤S20的流程图；

图9是本发明基于拍摄设备的屏幕书写方法的较佳实施例中滑动滤波的示意图；

图10是本发明基于拍摄设备的屏幕书写方法的较佳实施例中显示终端的APP操作流程图；

图11是本发明基于拍摄设备的屏幕书写系统的较佳实施例的原理示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的基于拍摄设备的屏幕书写方法，如图1和图3所示，所述基于拍摄设备的屏幕书写方法包括以下步骤：

步骤S10、拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点。

具体的过程请参阅图2，其为本发明提供的基于拍摄设备的屏幕书写中步骤S10的流程图。

如图2所示，所述步骤S10包括：

S11、当拍摄设备顶端的中间笔芯接触到显示终端的屏幕时，拍摄设备通过拉力传感器启动拍摄，将光信号转换为电信号，通过数字图像处理将拍摄的图像转化为所接触的坐标点；

S12、当拍摄设备顶端的中间笔芯离开显示终端的屏幕时，拍摄设备通过拉力传感器停止拍摄；

S13、拍摄设备通过光电转换将拍摄的图片信息转换为数字信号，利用SOC将数字信号进行处理以获取中心坐标点。

具体地，如图3和图4所示，所述拍摄设备(即扫描设备)包括高精度摄影系统，所述高精度摄影系统是扫描设备的前端的透镜组到CCD的部分，所述高精度摄影系统由光学透镜组和CCD图像传感器组成，当所述拍摄设备顶端的中间笔芯接触到所述显示终端(例如电视机，或者其他类型的各种显示器，例如智能手机、平板电脑、会议室大屏等)的屏幕时(中间笔芯实际接触到屏幕且有收缩，原理类似于开关按下)，所述拍摄设备通过拉力传感器启动拍摄，将光信号转换为电信号，通过数字图像处理将拍摄的图像转化为所接触的坐标点，当所述拍摄设备顶端的中间笔芯离开所述显示终端的屏幕时，所述拍摄设备通过所述拉力传感器停止拍摄，拉力传感器控制拍摄的原理为：当中间笔芯压下时，弹簧被拉伸，由于弹簧的拉力，两侧的传感器会被拉起，拍摄电路导通，开始拍摄，当中间笔芯离开屏幕时，弹簧恢复，两侧的传感器复位，拍摄电路断开，停止拍摄(类似于按键开关原理)；接着，所述拍摄设备通过光电转换将拍摄的图片信息转换为数字信号(例如010101的数字值)，利用SOC将数字信号进行处理以获取中心坐标点(关键信号)。

其中，如图6所示，所述拍摄设备通过光学透镜组、图像传感器以及自动对焦系统组成拍摄系统，将所述显示终端(例如电视机)屏幕上的像素矩阵进行拍摄(例如是拍摄电视机屏幕上APP界面的图像，但仅指镜头内的一周，不包括中心点)。

由于摄影物镜(摄影物镜是摄影系统的前半段，摄影系统包括摄影物镜和摄影目镜两部分，CCD前面那三块是目镜组，再往前的镜片都是物镜组)属于大视场、大相对孔径的光学系统，为了获得更好的相质，要校正轴上点相差和轴外点相差，而双高斯摄影物镜组是一个对称的系统，因此垂轴相差很容易校正，因此在设计系统时只需要考虑球差、色差、场曲、像散的校正。在双高斯物镜中依靠厚透镜的结构变化可以校正场曲，利用薄透镜的弯曲可以校正球差，改变两块厚透镜之间的距离可以校正像散，在厚透镜中引入一个胶合面可以校正色差。双高斯物镜的半部系统可以看作是由厚透镜演变而来，一块校正了匹兹万场曲(意思就是它存在拍摄出来就不清晰，需要消除)的厚透镜是弯月形的，两个球面的半径相等。在厚透镜的背后加上一块正、负透镜组成的无光焦度薄透镜组，对整个光焦度的分配和像差分布没有明显的影响，然后把靠近厚透镜的负透镜分离出来，且与厚透镜合为一体，这样就组成了一个两球面半径不等的厚透镜和一个正光焦度的薄透镜的双高斯物镜半部系统。为了便于相差的消除，选用采用双高斯摄影物镜组具有更大的优势，若像素较低，像素点较大的显示器，也可采用其他摄影系统。

对于分辨率较高的屏幕，由于其像素矩阵范围较小，为了便于拍摄，可以在拍摄系统前端加入显微系统透镜组，将图像进行放大再拍摄，这样也能降低对摄影系统的精度要求。

本发明中，所述拍摄设备通过CCD图像传感器进行图像采集，采用CCD进行图像采集，由于CMOS传感器(CCD和CMOS是两个光学传感器，功能基本一样，原理上不太一样，CCD比较贵，精度比较高，CMOS便宜一点，精度比较低，一般高端产品用CCD，低端产品用CMOS)的每个象素由四个晶体管与一个感光二极管构成(含放大器与A/D转换电路)，使得每个象素的感光区域远小于象素本身的表面积，因此在象素尺寸相同的情况下，CMOS传感器的灵敏度要低于CCD传感器(即CCD图像传感器)。CMOS传感器的每个象素都比CCD传感器复杂，其象素尺寸很难达到CCD传感器的水平，因此，当比较相同尺寸的CCD与CMOS传感器时，CCD传感器的分辨率通常会优于CMOS传感器的水平，利用CCD(一个光电传感器(高端))采集到的中心点将会更加准确。由于CMOS传感器的每个感光二极管都需搭配一个放大器，而放大器属于模拟电路，很难让每个放大器所得到的结果保持一致，因此与只有一个放大器放在芯片边缘的CCD传感器相比，CMOS传感器的噪声就会增加很多，CCD传感器能达到更好的去噪效果。采用CMOS(也是一个光电传感器(低端))很难达到预期的高灵敏度与高精度的需求，因此采用CCD图像传感器进行图像信息采集。若像素较低，像素点较大的显示器，图像要求不那么高，也可采用CMOS传感器。

另外，拍摄显示终端(例如电视机)屏幕存在一个很大的问题是拍摄中的频闪问题，而拍摄过程中造成频闪的原因主要是因为两种设备的扫描频率不同造成，本发明解决的方法是：在拍摄设备拍摄显示终端的屏幕前，调节拍摄设备的曝光速度，控制曝光速度与显示终端的刷新频率相同或者成倍数关系，因此当显示终端的APP获取显示设备信息之后将刷新频率参数下发给拍摄设备，拍摄设备对扫描速度进行相应的匹配即可解决频闪问题。例如，液晶电视的刷新率设置为60Hz，那么设备扫描频率可调节为60HZ，120HZ等。

对于图像的处理方法，利用高速DSP芯片进行图像处理，因为采用RGB编码的方式，每个相元之间的差别可用颜色值进行区分，将RGB颜色区间划分为0～255，则颜色可表示有16581375种，用于编码，为了不对屏幕颜色产生较大干扰，利用矩阵形式组合出图像，若以25个像素点作为一个矩阵，则可表示的颜色可为原来的325倍，以此累加，可以在色差变化较小的范围内，实现整屏的书写，因此采用目标颜色矩阵识别的方式进行图像数据处理。

首先要实现色度空间的转换，读取CCD中的图像并滤波后，根据下列公式将图像从RGB转换到HSV空间：

v＝max(r，g，b)

其中，r(r’)表示红，g(g’)表示绿，b(b’)表示蓝，h表示色彩(色调)，s表示深度(饱和度)，v表示明暗(明亮程度)。

因为RGB只是用于形成想要的颜色，比如说，想要黄色，可以通过三原色形成黄色，不管是明黄还是淡黄，只需要用不同比例进行混合就能得到想要的颜色，但是在进行编程的过程中不能直接用这个比例，需要辅助工具，也就是HSV，所以需要将RGB转化成HSV；因为HSV用更加直观的数据描述需要的颜色，H代表色彩，S代表深浅，V代表明暗，HSV在进行色彩分割时作用比较大，通过阈值的划分，颜色能够被区分出来。

之后进行颜色分割，利用函数建立滑动条，对颜色空间转换后的各通道进行阈值分割(根据需要将H、S、V三个通道每一个通道的总差值自行分为许多段，每一段自己给对应上一种颜色)；根据阈值分割的结果，判断各种颜色的对应阈值(HSV模型为一个锥型体，根据需要进行分割对应)；针对不同颜色，分别对图像进行阈值分割；对阈值分割结果进行数学统计，判断图像的颜色并输出分类结果如下表所示：

	黑	灰	白	红	橙	黄	绿	青	蓝	紫
											hmin	0	0	0	0/156	11	26	35	78	100	125
hmax	180	180	180	10/180	25	34	77	99	124	155
											smin	0	0	0	43	43	43	43	43	43	43
smax	255	43	30	255	255	255	255	255	255	255
											vmin	0	46	221	46	46	46	46	46	46	46
vmax	46	220	255	255	255	255	255	255	255	255

例如表中黑色一列的数字的含义是：色调的最大值为180度，最小值为0度；饱和度最大值为255，最小值为0；明亮最大值为46，最小值为0。就是HSV只要在此范围内都可以称为黑，黑有需要又可以细分为好多种黑，根据需要进行分割，再设置阈值。

最后，进行目标颜色检测，对图像进行预处理，消除噪声并获取二值化图，对二值图进行轮廓检测；根据目标选择合适的多边形描述轮廓；获取多边形区域后，从原图中截取该区域图像；对多边形区域的图像进行颜色分割，对分割结果进行统计，判断图像的颜色并输出分类结果，利用此方法可获得当前图像范围内的各个颜色坐标值。

由于在屏幕书写过程中，要保证较快的响应速率，带来的问题就是中心点很快被更新的颜色覆盖，采用像素点定位的方式就不再可行，所以采用矩阵一周定位的方法进行检测，将中心点坐标作为拍摄设备与屏幕的接触源，即拍摄系统不对中间坐标进行检测，而是利用拍摄四周坐标定位中心点的方式进行定位，很好的避免了中心点被书写覆盖的问题，而四周的检测则采用模糊检测的方法，例如，采用5*5的矩阵进行采样定点，中间点忽略后，剩余24个位置确定的坐标，只要其中有5个及以上坐标位置匹配，则认为该位置匹配，不仅能解决中心点覆盖问题，还能解决周围部分点被覆盖问题，如图5所示，图示颜色相差较大是为了体现对比效果，实际设计过程中，颜色差异并没有图5这么大。

如图7所示，将获取后的坐标值以电信号的方式传给SOC，SOC采用具有DSP的处理能力的芯片，这样可以大大加快数据处理速度。将电信号利用矩阵的方式进行排列，利用卷积核和二维数组整列解析的方法找出图像的中心，利用平均滤波的方式对每一个中心点进行校正。将校正后的中心点参数利用蓝牙上传给APP，用于后续的处理。

利用前面的图像处理算法，已经得出各个像素点的颜色值，由于系统的精度无法保证每一次拍摄和识别都非常准确。为了消除这一隐患，只需将坐标点矩阵标号和颜色值全部放入缓冲区，与预先设定好的标准坐标点和色坐标值进行对比，采用模糊查找的方式，也就是坐标点矩阵标号和颜色值部分符合即将其匹配为该位置坐标，从而获取到了中心点坐标，也就是轨迹获取。具体模糊数据查找中以多大相似值作为匹配判定依据，可根据实际屏幕型号进行匹配。

蓝牙BLE协议规定连接参数最小是5，即7.25毫秒；一般的传输速率是50*20＝1000字节/每秒，抛开包头包尾和校验位(包头2字节，包尾2字节，校验位1字节)，剩下的为有效传输的数据位数，而每拍摄一次所产生的二维坐标值为2个值(一般为2字节)，采用当下分辨率最高的8k电视，有效数据最高也只为4字节，完全满足传输。

步骤S20、拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示。

具体的过程请参阅图8，其为本发明提供的基于拍摄设备的屏幕书写中步骤S20的流程图。

如图8所示，所述步骤S20包括：

S21、拍摄设备通过无线通信方式与显示终端连接，将中心坐标点上传至显示终端；

S22、显示终端通过APP将接收到的中心坐标点转换为光信号反馈到屏幕上，屏幕点亮中心坐标点对应的位置。

具体地，在所述拍摄设备得到中心坐标点后，利用无线通信(蓝牙或WIFI等)的方式将中心坐标点上传至所述显示终端的APP，所述显示终端的屏幕根据中心坐标点做出相应显示，例如APP将获取的关键信号进行处理，又将电信号(电信号就是关键信号，也就是中心坐标点，转换为光信号的意思也就是将对应的那个坐标值的位置点亮)转换为光信号反馈到屏幕上，就实现了屏幕书写的效果。

其中，所述显示终端的APP的主要功能为获取显示终端信息，与拍摄设备进行通信，以及对显示终端进行显示输出。

打开APP后，APP请求获取设备信息，主要获取的设备信息为分辨率和频闪参数以及设备型号，获取设备分辨率后，即可获得屏幕的相元个数，在程序内部利用二维数组将相元进行编码，使每一个相元都分配其唯一标识符(此标识符用于程序内部判断，显示终端不可见)，同样也是利用此标识符与拍摄设备传输的中心点坐标(也存在对应的唯一标识符)进行匹配。将每一个相元编码完成后，再利用光电转换的方式，在APP界面进行相应的编码分配，将编码输出显示于每一个相元，用于后续拍摄设备的拍摄。

例如，当下的电视机大多采用RGB的调色方式，而RGB颜色组范围为0～255，因此可表示的相元数量可达16581375种，完全满足大部分电视机的需求。而本发明采用的不是相元单一的编码方式，因此，倘若分配的矩阵数目为n，那么可分配的组合就变为了16581375*3n，因此可以利用更加相近的颜色完成更多的编码，在视觉上差异很小的状态下完成编码。

获取显示终端的频闪参数和设备型号后，将频闪参数及设备型号下发到拍摄设备，频闪参数用于拍摄设备调节扫描速率，在拍摄设备速率允许范围内，使拍摄的频率与电视机刷新频率成倍数关系，若电视机频闪速率较快，则使拍摄设备与电视机刷新频率保持一致，解决频闪问题。设备型号用于确定像素矩阵大小，由于摄影系统的焦距、孔径和视场已经确定，也就确定了可以采集的图像的面积，而设备的型号则可以确定每一个相元的物理大小，利用已知拍摄面积S，已知相元大小s，则可以采集到的相元个数n为S/s，得到相元数目n后，按照相元数目n来将矩阵内的相元排序放入缓冲区与事先设定好的识别模型进行对比，用于识别坐标。

另外，APP接收到拍摄设备上传数据之后，由于拍摄精度和算法也可能存在一定的误差，可能会出现识别偏差，导致书写过程中出现笔记“断裂”的情况，因此在APP端进行二次拟合，得到更为准确的中心坐标点，且纠正前序步骤可能出现的判断错误坐标，此处采用滑动滤波的方法对坐标进行校正，如图9所示，即每n个坐标分为一小组，分别表示为S₁，S₂，S₃....，S_n利用n个坐标为连续相元的方式进行局部校正，将每10n个坐标分为一个大组，进行总体校正。再利用光电转换的方法，将校正后的准确坐标利用RGB的显示方式对相对应的相元或相元矩阵进行填充，实现书写的全过程，所述显示终端的APP操作流程图如图10所示。

本发明利用拍摄设备和APP的相互结合，只需要一个手持设备和一个APP即可实现多种屏幕下的书写，使屏幕书写不再依赖于特定的屏幕。

进一步地，如图11所示，本发明还提供一种基于拍摄设备的屏幕书写系统，所述基于拍摄设备的屏幕书写系统包括：拍摄设备和显示终端；拍摄设备和显示终端通过无线通信方式建立连接；拍摄设备用于拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，并将中心坐标点上传至显示终端上的APP；显示终端用于控制屏幕根据中心坐标点做出相应显示。

综上所述，本发明提供一种基于拍摄设备的屏幕书写方法及系统，所述方法包括：拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点；拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示，从而达到屏幕书写效果，书写方便、兼容性强、成本低以及大小屏适应性强。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于拍摄设备的屏幕书写方法，其特征在于，所述基于拍摄设备的屏幕书写方法包括：

拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点；

所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，具体包括：

当拍摄设备顶端的中间笔芯接触到显示终端的屏幕时，拍摄设备通过拉力传感器启动拍摄，当中间笔芯压下时，弹簧被拉伸，弹簧的拉力带动两侧的传感器拉起，拍摄电路导通，开始拍摄，将光信号转换为电信号，通过数字图像处理将拍摄的图像转化为所接触的坐标点；

当拍摄设备顶端的中间笔芯离开显示终端的屏幕时，拍摄设备通过拉力传感器停止拍摄；

拍摄设备通过光电转换将拍摄的图片信息转换为数字信号，利用SOC将数字信号进行处理以获取中心坐标点；

拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示。

2.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述拍摄设备通过无线通信方式将中心坐标点上传至显示终端上的APP，显示终端的屏幕根据中心坐标点做出相应显示，具体包括：

拍摄设备通过无线通信方式与显示终端连接，将中心坐标点上传至显示终端；

显示终端通过APP将接收到的中心坐标点转换为光信号反馈到屏幕上，屏幕点亮中心坐标点对应的位置。

3.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，之前还包括：

在拍摄设备拍摄显示终端的屏幕前，调节拍摄设备的曝光速度，控制曝光速度与显示终端的刷新频率相同或者成倍数关系。

4.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述拍摄设备拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，之前还包括：

拍摄设备获取显示终端的设备型号，根据设备型号确定像素矩阵大小。

5.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述利用SOC将数字信号进行处理以获取中心坐标点，具体包括：

SOC采用具有DSP的处理能力的芯片利用矩阵的方式将数字信号进行排列，利用卷积核和二维数组整列解析的方法获取图像的中心，利用平均滤波的方式对每一个中心点进行校正，得到中心坐标点。

6.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述显示终端通过APP将接收到的中心坐标点转换为光信号反馈到屏幕上，之前还包括：

显示终端的APP接收到中心坐标点后，采用滑动滤波的方法对中心坐标点进行校正，以纠正错误坐标。

7.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述图像处理的方式为目标颜色矩阵识别。

8.根据权利要求1所述的基于拍摄设备的屏幕书写方法，其特征在于，所述拍摄设备通过CCD图像传感器进行图像采集。

9.一种基于拍摄设备的屏幕书写系统，其特征在于，所述基于拍摄设备的屏幕书写系统包括：拍摄设备和显示终端；

拍摄设备和显示终端通过无线通信方式建立连接；

拍摄设备用于拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，并将中心坐标点上传至显示终端上的APP；

所述拍摄显示终端的屏幕上APP界面的矩阵图像一周的RGB信息，通过图像处理算法将拍摄的图像进行图像处理，计算出图像的中心坐标点，具体包括：

当拍摄设备顶端的中间笔芯接触到显示终端的屏幕时，拍摄设备通过拉力传感器启动拍摄，当中间笔芯压下时，弹簧被拉伸，弹簧的拉力带动两侧的传感器拉起，拍摄电路导通，开始拍摄，将光信号转换为电信号，通过数字图像处理将拍摄的图像转化为所接触的坐标点；

当拍摄设备顶端的中间笔芯离开显示终端的屏幕时，拍摄设备通过拉力传感器停止拍摄；

拍摄设备通过光电转换将拍摄的图片信息转换为数字信号，利用SOC将数字信号进行处理以获取中心坐标点；

显示终端用于控制屏幕根据中心坐标点做出相应显示。