CN104820567A - 一种使用手写笔控制拍照的方法、设备与系统 - Google Patents

Abstract

本申请公开了一种使用手写笔控制拍照的方法、设备及系统，安装在手写笔上的摄像头根据操作进行拍摄；手写笔将所述摄像头所拍摄的图像发送给对应的智能移动设备；智能移动设备对所述图像进行处理得到目标图像，显示和/或保存所述目标图像。应用本申请公开的技术方案，能够实现快速、便捷、省时、准确地对特定物体进行拍照。

Description

一种使用手写笔控制拍照的方法、设备与系统

技术领域

本申请涉及智能终端技术领域，特别涉及一种使用手写笔控制拍照的方法、设备与系统。

背景技术

随着智能终端的日益普及，人们的生活方式发生了很大的变化，例如：人们可能随时需要用手机拍下当前所看到的风景或物品。但是，现有拍照方式存在以下缺点：

1)拍照模式僵化

目前比较基本的拍照方式需要用户将拍照设备的屏幕平行对准物体，确保图像在屏幕上第大小和显示角度无误，再按下快门。拍照者需要停止目前进行的任何活动，腾空双手，保持身体固定姿势拍摄照片，拍照模式僵化，无法运用较为自然随性的姿势进行拍照操作。

2)拍照费时较长

停止下目前进行的任何活动，举起拍照设备，保持全身稳定，等待屏幕聚焦，寻找最佳角度，拍下照片。目前这一系列拍照的动作需要耗费较长的时间，用户无法在繁忙快节奏的生活中快速进行拍照。

3)拍照稳定性限制

目前拍照全程需要维持全身尤其是手部较强的稳定性，轻微的晃动都将导致成像模糊。

4)无法快速定位拍照物体

用户如果需要定位某固定物体，需要手动放大或缩小屏幕以调节焦距，拍照设备本身不能快速自动对焦定位。

发明内容

本申请提供了一种使用手写笔控制拍照的方法、设备与系统，以实现快速、便捷、省时、准确地对特定物体进行拍照。

本申请提供了一种使用手写笔控制拍照的方法，包括：

安装在手写笔上的摄像头根据操作进行拍摄；

手写笔将所述摄像头所拍摄的图像发送给对应的智能移动设备；

智能移动设备对所述图像进行处理得到目标图像，显示和/或保存所述目标图像。

较佳地，所述安装在手写笔上的摄像头根据操作进行拍摄包括：

所述摄像头根据操作拍摄一张图像；

或者，所述摄像头根据操作拍摄手写笔运动过程中的一组图像；所述运动包括但不限于：水平移动、竖直移动、各种形状和角度的封闭或非封闭运动。

较佳地，所述手写笔上还安装有激光，在手写笔进行各种形状和角度的封闭或非封闭运动的过程中，所述激光打开，用于辅助操作者确定拍摄目标。

较佳地，当摄像头拍摄的是一组图像时，所述智能移动设备对所述照片进行处理包括：

a、对每个图像，从该图像中提取特征点；

b、对特征点进行匹配；

c、去除错误匹配；

d、判断对所述一组图像是采用拼接模式还是截取模式进行处理，如果是拼接模式，则进行图像拼接，如果是截取模式，则进行图像截取。

较佳地，所述d中判断的方式包括：

d1、从所述一组图像中随机抽取N组连续图像，每组图像为m张；

d2、对每组中连续的m张图像进行匹配处理，计算所有对应特征点连接线的斜率Ki，并求斜率的平均值(Ki)_j＝[Σ(Ki)]/(M-1)；

d3、对计算得到的N个斜率平均值(Ki)_j计算平均值，得到α＝[Σ(Ki)]_j/N；

d4、判断α和预设的经验值β的大小，如果α>β，则判定采用截取模式进行处理，否则采用拼接模式进行处理。

较佳地，所述采用截取模式进行处理包括：

A、若设置了使用激光在截取模式中进行辅助操作，则对获取到的所有图像进行激光光斑去除处理；

B、在获取到的一组图像中寻找清晰度最高的一张图像，记为Pic；

C、以Pic为起始，按照拍摄的时间顺序对每一张图像进行处理，当处理到最后一张图像时，跳到图像组中的第一张继续进行处理，直至处理到Pic的前一张；

D、计算Pic的中心点位置P₀(x0,y0)；

E、从Pic开始，以时间为序，对连续k张图像，进行匹配处理，其中k＝2，3，…，确定后一张图像的四个角中的一个角在前一张图像中的位置A，并以前一张图像中对应的角点为原点，记录运动向量(PA)_i；

F、以P₀为起始点，以获取到的所有运动矢量(PA)_i为位移向量，按照获取A点的顺序，计算截取图像的轮廓点P_i＝P_i-1+(PA)_i；

G、设置一个二维平移向量Vec对所有P_i点进行平移，使得P_ii＝P_i+Vec，根据所有的P_ii从Pic中截取出需要截取的图像；

H、判断设置的是采用矩形模式还是完全截取模式来显示保存图像，如果是完全截取模式，则根据P_ii从Pic中截取出所要截取的图像，如果是矩形模式，则从所有的Pii中找到最小的坐标Xmin和Ymin，以及最大坐标的Xmax和Ymax，再根据点Pmin(Xmin，Ymin)和点Pmax(Xmax，Ymax)从Pic中截取出矩形图像。

本申请还提供了一种使用手写笔控制拍照的系统，包括：手写笔和智能移动设备，其中：

所述手写笔上安装有摄像头，所述摄像头用于根据操作进行拍摄；

所述手写笔，用于将所述摄像头所拍摄的图像发送给所述智能移动设备；

所述智能移动设备，用于对所述图像进行处理得到目标图像，并显示和/或保存所述目标图像。

本申请还提供了一种智能移动设备，包括：通信管理模块、图像处理模块、存储/显示模块和系统设置模块，其中：

所述通信管理模块，用于实现智能移动设备与手写笔的数据通信、控制功能，并负责打开、关闭、连接、断开手写笔端的通信模块；其中，数据通信包括从手写笔接收图像；

所述图像处理模块，用于对从手写笔接收到的图像进行处理得到目标图像；

所述存储/显示模块，用于将通信管理模块接收到到图像存储在指定位置；并在图像处理模块将图像处理完成后，根据系统设置模块的设定，将目标图像存储在指定的位置或显示在屏幕上；

所述系统设置模块，用于控制手写笔端相关模块的工作模式和设置截取图像的显示效果。

较佳地，所述控制手写笔端相关模块的工作模式包括：

设置手写笔端摄像头拍照的相关功能，包括但不限于：“手写笔拼接-截取模式”下的帧率，以及自动聚焦、拍照模式；

设置手写笔端按键的相关功能；

设置手写笔端激光的相关功能；

设置手写笔端通信模块的相关功能。

本申请还提供了一种手写笔，所述手写笔上安装有摄像头和激光，并包括：摄像头控制模块、按键控制模块、通信管理模块和激光控制模块，其中：

所述摄像头用于根据操作进行拍摄；

所述激光用于辅助操作者确定拍摄目标；

所述摄像头控制模块，用于接收按键控制模块的控制信息及智能移动设备端系统设置模块的控制信息，控制手写笔端摄像头工作；

所述按键控制模块，用于根据智能移动设备端系统设置模块的设置，监测操作者的按键操作，并发送给摄像头控制模块，控制摄像头的工作；

所述通信管理模块，用于实现手写笔与智能移动设备间的数据通信、控制功能；

所述激光控制模块，用于辅助操作者在“手写笔拼接-截取模式”下确定要截取图像的边沿。

由上述技术方案可见，本发明提供了一种通过移动手写笔来进行拍照并截取图像的方式，无需将拍照设备的屏幕对准被拍物体，再保持屏幕稳定按下快门，只需使用手写笔进行动作操作，比如挥动手写笔圈住需要拍照的物体，安装在手写笔上的摄像头快速记录手写笔挥动过程中的所有影像，并最终分析并合成出目标物体的完整图像，保存在拍照设备中，从而能够快速灵活地拍摄目标物体图像。本发明提出的这种全新的拍照方式分离了拍照设备和存储设备，实现了快速、便捷、省时、准确地对特定物体进行拍照，解决了现有拍照模式僵化、费时、稳定性差，且无法快速准确定位的问题。

附图说明

图1为本发明一较佳拍照设备的组成结构示意图；

图2为本发明对手写笔拍摄到的一组图像进行处理的流程示意图；

图3为本发明对图像处理模式进行判断的流程示意图；

图4为本发明一较佳进行图像截取的处理流程示意图

图5为本发明一较佳手写笔的组成结构示意图；

图6为本发明智能移动设备和手写笔中各模块协同工作完成手写笔拼接、截取图像的工作流程示意图；

图7为本发明一较佳在手写笔上安装摄像头的示意图；

图8为本发明画圈拍照的场景示意图；

图9为本发明全景拍照的场景示意图；

图10为本发明将全景图像传输并保存至手机的示意图；

图11为本发明拍照与其他活动同时进行的场景示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

本发明公开了一种使用手写笔控制拍照的方法与系统。为实现本发明，在本拍照设备端包括如图1所示模块，在手写笔端包括如图2所示模块。图1和图2仅示出拍照设备和手写笔中与本发明技术方案相关的部分，而省略了其余部分。本申请所述拍照设备主要是指手机、平板之类的智能移动设备，因此，在下面的描述中有时也以智能移动设备指代拍照设备。

参见图1，本发明所提供的智能移动设备中包括：通信管理模块、图像处理模块、存储/显示模块和系统设置模块。下面对图1中各模块进行说明：

1)通信管理模块：该模块实现智能移动设备与手写笔的数据通信、控制等功能，并负责打开、关闭、连接、断开手写笔端的通信模块等操作，具体的通信技术实现可采用蓝牙、WIFI、红外、射频、超声波等。

2)图像处理模块：该模块对从手写笔接收到的图像进行处理得到目标图像，即：对手写笔拍摄得到一组图像进行拼接、剪裁出用户期望的图像效果。具体而言，获取到手写笔拍摄到的一组图像后，可以按照如图2所示的流程进行处理，包括：

a、对每个图像，从中提取特征点；

b、对特征点进行匹配；

c、去除错误匹配；

d、判断对图像是采用拼接模式还是截取模式进行后续处理，如果是拼接模式，则进行图像拼接，如果是截取模式，则进行图像截取。

其中，上述步骤d中，判断是拼接模式还是截取模式的判断流程如图3所示，包括以下步骤：

d1、从接收自手写笔的一组图像中随机抽取N组连续图像，每组图像为m张；

d2、对每组中连续的m张图像进行匹配处理，计算所有对应特征点连接线的斜率Ki，并求斜率的平均值(Ki)_j＝[Σ(Ki)]/(M-1)，如此，对应于每组将得到一个斜率平均值(Ki)_j；

d3、对计算得到的N个斜率平均值(Ki)_j计算平均值，得到α；

d4、判断α和一预设经验值β的大小，如果α>β,则判定采用截取模式进行后续处理，否则采用拼接模式进行后续处理。

对于图像拼接，可以采用现有技术进行处理。对于图像截取，图4示出了本发明一较佳进行图像截取的处理流程示意图，包括以下步骤：

A、若设置了使用激光在截取模式中进行辅助操作，则对获取到的所有图像进行激光光斑去除处理。

B、在获取到的图像组中寻找清晰度最高的一张图像，假设记为Pic。

C、以Pic为起始，按照拍摄的时间顺序对每一张图像进行处理，当处理到最后一张图像时，跳到图像组中的第一张继续进行处理，直至处理到Pic的前一张。

D、计算Pic的中心点位置P₀(x0,y0)。

E、从最清晰的图像Pic开始，以时间为序，对连续k张图像(k＝2，3，…)进行匹配处理，确定后一张图像的四个角(左上角、右下角、左下角和右下角)中的一个角(由于运动的关系，后一张图像的四个角中只可能有一个角落在前一张图像中)在前一张图像中的位置A，并以前一张图像中对应的角点为原点，记录运动向量(PA)_i。

F、以P₀为起始点，以获取到的所有运动矢量(PA)_i为位移向量，按照获取A点的顺序，计算用户截取图像的轮廓点P_i，即：P_i＝P_i-1+(PA)_i。

G、对所有P_i点进行一定的平移，即设置一个二维平移向量Vec，使得P_ii＝P_i+Vec，根据所有的P_ii从Pic中截取出用户所需要截取的图像。

H、判断用户设置的是采用矩形模式还是完全截取模式来显示保存图像，如果是完全截取模式，则根据P_ii从Pic中截取出用户所要截取的图像，如果是矩形模式，则从所有的Pii中找到最小的坐标Xmin和Ymin，以及最大坐标的Xmax和Ymax，再根据点Pmin(Xmin，Ymin)和点Pmax(Xmax，Ymax)从Pic中截取出矩形图像。

3)存储/显示模块：该模块主要包括以下功能：

在通信管理模块收到图像后，将这些图像存储在指定位置；

在图像处理模块将图像组处理完成后，根据用户设定，将最终得到的目标图像存储在用户指定的位置，或显示在屏幕上。

4)系统设置模块：本模块主要用于进行手写笔端和智能移动设备端的相关设置，具体而言：

对于手写笔端，该模块用于主要用于控制手写笔端相关模块的工作模式，主要包括：

(1)设置手写笔端摄像头拍照的相关功能，主要包括“手写笔拼接-截取模式”下，每秒钟拍摄多少帧，即帧率，以及自动聚焦、拍照模式等相关设置。

(2)设置手写笔端按键的相关功能，主要包括按键的“长按”、“单击”、“双击”触发动作的设定，例如，长按1秒为打开/关闭手写笔拍照相关模块；手写笔拍照模块开始工作后，长按超过30秒双击进入“手写笔拼接-截取模式”，即手写笔摄像头开始连拍；等等。

(3)设置手写笔端激光的相关功能，如设置激光仅在进入“手写笔截取连拍-剪接模式”时工作或不工作，等等。

(4)设置手写笔端通信模块的相关功能。

对于智能移动设备端，本模块主要用于设置截取图像的显示效果，包括：

(1)完全截取模式：按照用户的闭合动作所划出的图形，如圆形、三角形等，对最终得到的图像进行显示、保存，即最终的图片为矩形，但除截取出的图像部分，对其他部分以单一颜色填充，如黑色、白色等等，可以由用户进行设定；

(2)矩形模式：按照用户的闭合动作所划出的图形，对最终得到的图像进行显示、保存包含此图形的最小矩形，即最终截取出的图像为从图像中截取出的矩形。

参见图5，本发明所提供手写笔中安装有摄像头和激光，并包括以下模块：摄像头控制模块、按键控制模块、通信管理模块和激光控制模块。下面对图5中各模块进行说明：

摄像头控制模块：本模块主要用于接收手写笔端按键控制模块的控制信息及智能移动设备端系统设置模块的控制信息，控制手写笔端摄像头工作，如摄像头的启动、关闭，拍照、连拍、录像等功能。

按键控制模块：该模块根据智能移动设备端系统设置模块的设置，监测用户的按键操作，并发送给摄像头控制模块，控制摄像头的工作。

通信管理模块：该模块实现手写笔与移动设备间的数据通信、控制等功能，具体实现可采用蓝牙、WIFI、红外、射频、超声波等相关的通信技术。

激光控制模块：该模块实现辅助用户在“手写笔拼接-截取模式”下确定要截取图像边沿的功能，即用户根据激光所指示的位置，操作手写笔，画出所要拍照物体的轮廓。其主要是根据移动设备端系统设置模块的设置，完成打开/关闭/校准等功能。

图6通过一个示例说明智能移动设备和手写笔中各模块协同工作完成手写笔拼接、截取图像的工作流程，图6所示工作流程包括以下步骤：

第1步：手写笔上的按键被长按，进入“手写笔拼接-截取模式”。

第2步：按键控制模块发送消息通知智能移动设备端，当前进入“手写笔拼接-截取模式”。

第3步：判断按键是否被松开，如果按键未被松开，执行第4步，如果按键被松开，执行第6步。

第4步：手写笔上安装的摄像头进行拍照。

第5步：将拍摄到的图像数据传输到移动设备端，返回执行第3步的判断。

第6步：图像帧传输完毕。

第7步：图像处理模块对接收到的图像帧进行处理。

第8步：对最终的图像进行存储与显示。

第9步：移动设备端退出“手写笔拼接-截取模式”。

图7为本发明一较佳在手写笔上安装摄像头的示意图。

下面举例说明本发明的几种应用场景。

场景一：画圈拍照

如图8所示，当用户发现目标物体花朵时，可以用手指按住手写笔上的拍照按钮，并对准花朵进行画圈，手写笔拍摄到图像将传输至手机进行处理和保存，拍照完成后，可在手机上进行查看。这种场景下，用户可以预先在手机中设置存储的图片形式为完全截取模式,根据用户的设置，手机对拍摄的图片进行处理后，将自动存储相应的图片形式。

场景二：全景拍照

首先，按照图9，长按手写笔上的拍照按钮，水平移动手写笔，捕捉全景图像，然后，松开按钮，拍照完成，全景图像传输至手机并保持，可以在手机上查看，如图10所示。

场景三：拍照与其他活动同时进行

用户在进行其他活动(例如：学习、娱乐、办公)的同时，可能需要进行拍照。下面以用户在打电话为例进行说明。当用户在打电话时，发现风景想拍摄下来，此时，可以用手写笔画圈圈住想拍摄的目标，拍摄完成之后，将保存至手机，可在手机上查看。在本场景中，用户可预先在设置中设置存储的图片形式为矩形模式，如此，在处理图片时，手机将根据用户的设置，自动存储相应的图片形式。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种使用手写笔控制拍照的方法，其特征在于，包括：

安装在手写笔上的摄像头根据操作进行拍摄；

手写笔将所述摄像头所拍摄的图像发送给对应的智能移动设备；

智能移动设备对所述图像进行处理得到目标图像，显示和/或保存所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述安装在手写笔上的摄像头根据操作进行拍摄包括：

所述摄像头根据操作拍摄一张图像；

或者，所述摄像头根据操作拍摄手写笔运动过程中的一组图像；所述运动包括但不限于：水平移动、竖直移动、各种形状和角度的封闭或非封闭运动。

3.根据权利要求2所述的方法，其特征在于：

所述手写笔上还安装有激光，在手写笔进行各种形状和角度的封闭或非封闭运动的过程中，所述激光打开，用于辅助操作者确定拍摄目标。

4.根据权利要求2所述的方法，其特征在于，当摄像头拍摄的是一组图像时，所述智能移动设备对所述照片进行处理包括：

a、对每个图像，从该图像中提取特征点；

b、对特征点进行匹配；

c、去除错误匹配；

d、判断对所述一组图像是采用拼接模式还是截取模式进行处理，如果是拼接模式，则进行图像拼接，如果是截取模式，则进行图像截取。

5.根据权利要求4所述的方法，其特征在于，所述d中判断的方式包括：

d1、从所述一组图像中随机抽取N组连续图像，每组图像为m张；

d2、对每组中连续的m张图像进行匹配处理，计算所有对应特征点连接线的斜率Ki，并求斜率的平均值(Ki)_j＝[Σ(Ki)]/(M-1)；

d3、对计算得到的N个斜率平均值(Ki)_j计算平均值，得到α＝[Σ(Ki)]_j/N；

d4、判断α和预设的经验值β的大小，如果α>β，则判定采用截取模式进行处理，否则采用拼接模式进行处理。

6.根据权利要求4或5所述的方法，其特征在于，所述采用截取模式进行处理包括：

A、若设置了使用激光在截取模式中进行辅助操作，则对获取到的所有图像进行激光光斑去除处理；

B、在获取到的一组图像中寻找清晰度最高的一张图像，记为Pic；

C、以Pic为起始，按照拍摄的时间顺序对每一张图像进行处理，当处理到最后一张图像时，跳到图像组中的第一张继续进行处理，直至处理到Pic的前一张；

D、计算Pic的中心点位置P₀(x0,y0)；

E、从Pic开始，以时间为序，对连续k张图像，进行匹配处理，其中k＝2，3，…，确定后一张图像的四个角中的一个角在前一张图像中的位置A，并以前一张图像中对应的角点为原点，记录运动向量(PA)_i；

F、以P₀为起始点，以获取到的所有运动矢量(PA)_i为位移向量，按照获取A点的顺序，计算截取图像的轮廓点P_i＝P_i-1+(PA)_i；

G、设置一个二维平移向量Vec对所有P_i点进行平移，使得P_ii＝P_i+Vec，根据所有的P_ii从Pic中截取出需要截取的图像；

H、判断设置的是采用矩形模式还是完全截取模式来显示保存图像，如果是完全截取模式，则根据P_ii从Pic中截取出所要截取的图像，如果是矩形模式，则从所有的Pii中找到最小的坐标Xmin和Ymin，以及最大坐标的Xmax和Ymax，再根据点Pmin(Xmin，Ymin)和点Pmax(Xmax，Ymax)从Pic中截取出矩形图像。

7.一种使用手写笔控制拍照的系统，其特征在于，包括：手写笔和智能移动设备，其中：

所述手写笔上安装有摄像头，所述摄像头用于根据操作进行拍摄；

所述手写笔，用于将所述摄像头所拍摄的图像发送给所述智能移动设备；

所述智能移动设备，用于对所述图像进行处理得到目标图像，并显示和/或保存所述目标图像。

8.一种智能移动设备，其特征在于，包括：通信管理模块、图像处理模块、存储/显示模块和系统设置模块，其中：

所述通信管理模块，用于实现智能移动设备与手写笔的数据通信、控制功能，并负责打开、关闭、连接、断开手写笔端的通信模块；其中，数据通信包括从手写笔接收图像；

所述图像处理模块，用于对从手写笔接收到的图像进行处理得到目标图像；

所述存储/显示模块，用于将通信管理模块接收到到图像存储在指定位置；并在图像处理模块将图像处理完成后，根据系统设置模块的设定，将目标图像存储在指定的位置或显示在屏幕上；

所述系统设置模块，用于控制手写笔端相关模块的工作模式和设置截取图像的显示效果。

9.根据权利要求8所述的智能移动设备，其特征在于，所述控制手写笔端相关模块的工作模式包括：

设置手写笔端摄像头拍照的相关功能，包括但不限于：“手写笔拼接-截取模式”下的帧率，以及自动聚焦、拍照模式；

设置手写笔端按键的相关功能；

设置手写笔端激光的相关功能；

设置手写笔端通信模块的相关功能。

10.一种手写笔，其特征在于，所述手写笔上安装有摄像头和激光，并包括：摄像头控制模块、按键控制模块、通信管理模块和激光控制模块，其中：

所述摄像头用于根据操作进行拍摄；

所述激光用于辅助操作者确定拍摄目标；

所述摄像头控制模块，用于接收按键控制模块的控制信息及智能移动设备端系统设置模块的控制信息，控制手写笔端摄像头工作；

所述按键控制模块，用于根据智能移动设备端系统设置模块的设置，监测操作者的按键操作，并发送给摄像头控制模块，控制摄像头的工作；

所述通信管理模块，用于实现手写笔与智能移动设备间的数据通信、控制功能；

所述激光控制模块，用于辅助操作者在“手写笔拼接-截取模式”下确定要截取图像的边沿。