CN116048254A - 应用于智能设备的内容识别方法、智能设备、智能笔 - Google Patents

Abstract

本发明的实施方式提供了一种应用于智能设备的内容识别方法、智能设备、智能笔。该方法包括：在接收到智能笔发送的目标信号的情况下，获取智能笔在目标介质上的目标动作；根据目标动作，确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。本发明的方法使得用户可以使用智能笔来方便快速的对目标介质上的内容进行识别和操作，从而显著地降低了交互操作的复杂度，为用户带来了更好的体验，并且减少了用户的操作频率。此外，本发明的实施方式提供了一种应用于智能识别的内容识别的智能设备和智能笔。

Description

应用于智能设备的内容识别方法、智能设备、智能笔

技术领域

本发明的实施方式涉及智能设备领域，更具体地，本发明的实施方式涉及应用于智能设备的内容识别方法、智能设备、智能笔。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在使用纸笔进行书面学习、工作的过程中，在使用平板电脑进行辅助的过程中，如果要使用平板电脑识别书面上的内容，则需要用户拿起平板电脑、通过摄像头拍摄书面内容，并点击功能，选择要识别、查词等各项功能。

然而，上述操作过程中，需要用户执行的交互操作较多，交互繁琐，使用平板电脑进行辅助学习的效率低。

发明内容

因此在现有技术中，使用平板电脑辅助学习的过程中，交互操作太多，这是非常令人烦恼的过程。

为此，非常需要一种改进的应用于智能设备的内容识别方法、智能设备、智能笔，以提高使用平板电脑辅助学习的过程中的交互效率。

在本上下文中，本发明的实施方式期望提供一种应用于智能设备的内容识别方法、智能设备、智能笔。

在本发明实施方式的第一方面中，提供了一种应用于智能设备的内容识别方法，包括：在接收到智能笔发送的目标信号的情况下，获取上述智能笔在目标介质上的目标动作；根据上述目标动作，确定上述目标介质上待识别的目标内容以及对上述目标内容执行的目标操作。

在本发明的一个实施例中，接收上述智能笔发送的上述目标信号包括：在上述智能笔的信号生成功能被触发产生上述目标信号的情况下，接收上述智能笔发送的上述目标信号；或者在上述智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕未接收到触控信号的情况下，确定产生了上述目标信号，接收上述智能笔发送的上述目标信号；或者在上述智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕接收到触控信号的情况下，确定上述智能笔未产生上述目标信号。

在本发明的一个实施例中，上述智能笔的上述信号生成功能通过压力传感器或按钮或指纹或语音触发。

在本发明的一个实施例中，在接收到智能笔发送的目标信号之前，上述方法还包括：在包括上述摄像头的智能设备被放置到目标位置的情况下，开启上述摄像头；或者在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，开启上述摄像头；或者在包括上述摄像头的智能设备被放置到目标位置的情况下，在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，开启上述摄像头；或者在包括上述摄像头的智能设备被放置到目标位置的情况下，在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，在接收到启动命令的情况下，开启上述摄像头。

在本发明的一个实施例中，上述开启上述摄像头包括：将上述摄像头置于准备拍摄状态，其中，在上述摄像头处于准备拍摄状态下，上述智能设备上显示上述摄像头采集到的实时画面，上述智能设备未记录上述实时画面。

在本发明的一个实施例中，上述开启上述摄像头包括：将上述摄像头置于低帧率拍摄状态，其中，处于上述低帧率拍摄状态下的上述摄像头以第一帧率采集实时画面，上述智能设备记录上述实时画面，上述第一帧率小于上述摄像头拍摄上述多帧图像时的帧率。

在本发明的一个实施例中，在开启上述摄像头之前/同时/之后，上述方法还包括：控制上述摄像头上升；或者控制上述摄像头翻转；或者控制上述摄像头上升且翻转。

在本发明的一个实施例中，上述在接收到智能笔发送的目标信号的情况下，获取上述智能笔在目标介质上的目标动作包括：获取上述智能笔在上述目标介质上执行的点击动作；和/或获取上述智能笔在上述目标介质上执行的长按动作；和/或获取上述智能笔在上述目标介质上执行的圈定动作；和/或获取上述智能笔在上述目标介质上执行的滑动动作；和/或获取上述智能笔在上述目标介质上执行的拖拽动作；和/或获取上述智能笔在上述目标介质上执行的斜拉动作；和/或获取上述智能笔执行的旋转动作。

在本发明的一个实施例中，根据上述目标动作，确定上述目标内容包括：在上述目标动作为点击动作或长按动作的情况下，将上述点击动作或长按动作所接触到的子、词确定为上述目标内容；和/或在上述目标动作为圈定动作的情况下，将上述圈定动作圈定的内容确定为上述目标内容；和/或在上述目标动作为滑动动作的情况下，将上述滑动动作经过的内容确定为上述目标内容；和/或在上述目标动作为拖拽动作的情况下，将上述拖拽动作在长按阶段接触到的内容确定为上述目标内容；和/或在上述目标动作为斜拉动作和/或旋转动作的情况下，将上述目标介质上的所有内容确定为上述目标内容。

在本发明的一个实施例中，根据上述目标动作，确定对上述目标内容执行的目标操作包括：确定智能设备的当前场景；根据上述目标动作，确定在上述当前场景下的上述目标操作。

在本发明的一个实施例中，上述当前场景为阅读场景，上述根据上述目标动作，确定在上述当前场景下的上述目标操作包括：在上述目标动作为点击动作的情况下，将为上述智能设备上显示的虚拟目标内容添加标记点确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将为上述智能设备上显示的虚拟目标内容添加批注确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作的情况下，将为上述智能设备上显示的虚拟目标内容添加标记框和/或标记圈确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为滑动动作的情况下，将标记上述智能设备上显示的虚拟目标内容的句和/或段确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到特定位置确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将放大和/或缩小上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为旋转动作的情况下，将旋转上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的一个实施例中，上述当前场景为查询场景，上述根据上述目标动作，确定在上述当前场景下的上述目标操作包括：在上述目标动作为点击动作的情况下，将查询上述目标内容且在上述智能设备上显示对应的查询结果确定为上述目标操作；和/或在上述目标动作为长按动作的情况下，将为上述智能设备上显示的虚拟目标内容添加注释确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作或滑动动作的情况下，将搜索上述智能设备上显示的虚拟目标内容并显示搜索结果和/或复制上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到功能框确定为上述目标操作，其中，上述功能框用于对上述目标动作执行上述功能框对应的功能，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作或旋转动作的情况下，将对上述智能设备上显示的虚拟目标内容执行默认操作确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的一个实施例中，上述当前场景为学习辅导场景，上述根据上述目标动作，确定在上述当前场景下的上述目标操作包括：在上述目标动作为点击动作的情况下，将搜索上述智能设备上显示的虚拟目标内容并显示搜索结果和/或批改上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将讲解上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作或滑动动作的情况下，将查询上述智能设备上显示的虚拟目标内容并显示查询结果和/或收集上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到功能框确定为上述目标操作，其中，上述功能框用于对上述目标动作执行上述功能框对应的功能，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将调整上述智能设备朗读上述目标内容的声音确定为上述目标操作；和/或在上述目标动作为旋转动作的情况下，将调整上述智能设备朗读上述目标内容的语速确定为上述目标操作。

在本发明的一个实施例中，上述当前场景为扫描场景，上述根据上述目标动作，确定在上述当前场景下的上述目标操作包括：在上述目标动作为点击动作的情况下，将切换上述智能设备上显示的虚拟目标内容或注释上述虚拟目标内容或高亮上述虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将在上述智能设备上显示扫描类型并选择扫描上述目标内容的目标类型确定为上述目标操作；和/或在上述目标动作为圈定动作或滑动动作的情况下，将扫描上述目标内容并在上述智能设备上显示扫描出的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将对上述智能设备上显示的虚拟目标内容执行默认操作确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将调整上述智能设备上显示的虚拟目标内容的字体确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为旋转动作的情况下，将调整上述智能设备上显示的虚拟目标内容的清晰度确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的一个实施例中，在接收到智能笔发送的目标信号之前或之后，上述方法还包括：在上述智能笔与智能设备的距离大于距离阈值的情况下，通过上述智能设备的摄像头采集上述智能笔的目标轨迹；根据上述目标轨迹确定对上述智能设备执行的操作。

在本发明的一个实施例中，上述在上述智能笔与包括上述摄像头的智能设备的距离大于距离阈值的情况下，通过上述摄像头采集上述智能笔的目标轨迹包括：通过上述摄像头采集上述智能笔上的标记点的轨迹；将采集到的轨迹作为上述目标轨迹。

在本发明实施方式的第二方面中，提供了一种应用于智能设备的内容识别方法，包括：智能笔向智能设备发送目标信号；其中，上述智能设备在接收到上述目标信号的情况下，根据上述智能笔在目标介质上的目标动作确定上述目标介质上待识别的目标内容以及对上述目标内容执行的目标操作。

在本发明实施方式的第三方面中，提供了一种内容识别系统，包括：智能笔向智能设备发送目标信号；上述智能设备在接收到上述目标信号的情况下，根据上述智能笔在目标介质上的目标动作确定上述目标介质上待识别的目标内容以及对上述目标内容执行的目标操作。

在本发明实施方式的第四方面中，提供了一种智能设备，包括：获取模块，用于在接收到智能笔发送的目标信号的情况下，获取上述智能笔在目标介质上的目标动作；确定模块，用于根据上述目标动作，确定上述目标介质上待识别的目标内容以及对上述目标内容执行的目标操作。

在本发明的一个实施例中，该获取模块包括：拍摄单元，用于通过摄像头拍摄多帧图像；第一确定单元，用于根据上述多帧图像，确定上述目标动作。

在本发明的另一实施例中，该拍摄单元包括：控制子单元，用于控制上述摄像头在收到上述目标信号后的预定时间长度内连续拍摄，得到上述多帧图像；或者控制上述摄像头在收到上述目标信号后开始拍摄，在接收到停止信号的情况下，停止拍摄，并将拍摄到的图像作为上述多帧图像。

在本发明的又一个实施例中，该第一确定单元包括：识别子单元，用于识别每一帧图像中上述智能笔的第一位置；连接子单元，用于将上述第一位置按照时间顺序连接为上述目标动作。

在本发明的再一个实施例中，该识别子单元还用于：将每一帧图像中上述智能笔上的标记点的位置作为上述第一位置，其中，上述智能笔包括标记智能设备，上述标记智能设备在被拍摄的情况下，显示为上述标记点。

在本发明的再一个实施例中，该装置还包括：

接收模块，用于在上述智能笔的信号生成功能被触发产生上述目标信号的情况下，接收上述智能笔发送的上述目标信号；或者在上述智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕未接收到触控信号的情况下，确定产生了上述目标信号，接收上述智能笔发送的上述目标信号；或者在上述智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕接收到触控信号的情况下，确定上述智能笔未产生上述目标信号。

在本发明的再一个实施例中，该智能笔的上述信号生成功能通过压力传感器或按钮或指纹或语音触发。

在本发明的再一个实施例中，该智能设备还包括：开启模块，用于在接收到智能笔发送的目标信号之前，在包括上述摄像头的智能设备被放置到目标位置的情况下，开启上述摄像头；或者在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，开启上述摄像头；或者在包括上述摄像头的智能设备被放置到目标位置的情况下，在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，开启上述摄像头；或者在包括上述摄像头的智能设备被放置到目标位置的情况下，在上述智能笔由初始放置状态变为与上述智能设备分离的状态的情况下，在接收到启动命令的情况下，开启上述摄像头。

在本发明的再一个实施例中，该开启模块包括：第一设置单元，用于将上述摄像头置于准备拍摄状态，其中，在上述摄像头处于准备拍摄状态下，上述智能设备上显示上述摄像头采集到的实时画面，上述智能设备未记录上述实时画面。

在本发明的再一个实施例中，该开启模块包括：第二设置单元，用于将上述摄像头置于低帧率拍摄状态，其中，处于上述低帧率拍摄状态下的上述摄像头以第一帧率采集实时画面，上述智能设备记录上述实时画面，上述第一帧率小于上述摄像头拍摄上述多帧图像时的帧率。

在本发明的再一个实施例中，该开启模块还包括：控制单元，用于在开启上述摄像头之前/同时/之后，控制上述摄像头上升；或者控制上述摄像头翻转；或者控制上述摄像头上升且翻转。

在本发明的再一个实施例中，该获取模块包括：获取单元，用于获取上述智能笔在上述目标介质上执行的点击动作；和/或获取上述智能笔在上述目标介质上执行的长按动作；和/或获取上述智能笔在上述目标介质上执行的圈定动作；和/或获取上述智能笔在上述目标介质上执行的滑动动作；和/或获取上述智能笔在上述目标介质上执行的拖拽动作；和/或获取上述智能笔在上述目标介质上执行的斜拉动作；和/或获取上述智能笔执行的旋转动作。

在本发明的再一个实施例中，该确定模块包括：第二确定单元，用于在上述目标动作为点击动作或长按动作的情况下，将上述点击动作或长按动作所接触到的子、词确定为上述目标内容；和/或在上述目标动作为圈定动作的情况下，将上述圈定动作圈定的内容确定为上述目标内容；和/或在上述目标动作为滑动动作的情况下，将上述滑动动作经过的内容确定为上述目标内容；和/或在上述目标动作为拖拽动作的情况下，将上述拖拽动作在长按阶段接触到的内容确定为上述目标内容；和/或在上述目标动作为斜拉动作和/或旋转动作的情况下，将上述目标介质上的所有内容确定为上述目标内容。

在本发明的再一个实施例中，该确定模块包括：第三确定单元，用于确定智能设备的当前场景；根据上述目标动作，确定在上述当前场景下的上述目标操作。

在本发明的再一个实施例中，该当前场景为阅读场景，上述第三确定单元包括：第一确定子单元，用于在上述目标动作为点击动作的情况下，将为上述智能设备上显示的虚拟目标内容添加标记点确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将为上述智能设备上显示的虚拟目标内容添加批注确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作的情况下，将为上述智能设备上显示的虚拟目标内容添加标记框和/或标记圈确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为滑动动作的情况下，将标记上述智能设备上显示的虚拟目标内容的句和/或段确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到特定位置确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将放大和/或缩小上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为旋转动作的情况下，将旋转上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的再一个实施例中，该当前场景为查询场景，上述第三确定单元包括：第二确定子单元，用于在上述目标动作为点击动作的情况下，将查询上述目标内容且在上述智能设备上显示对应的查询结果确定为上述目标操作；和/或在上述目标动作为长按动作的情况下，将为上述智能设备上显示的虚拟目标内容添加注释确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作或滑动动作的情况下，将搜索上述智能设备上显示的虚拟目标内容并显示搜索结果和/或复制上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到功能框确定为上述目标操作，其中，上述功能框用于对上述目标动作执行上述功能框对应的功能，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作或旋转动作的情况下，将对上述智能设备上显示的虚拟目标内容执行默认操作确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的再一个实施例中，该当前场景为学习辅导场景，上述第三确定单元包括：第三确定子单元，用于在上述目标动作为点击动作的情况下，将搜索上述智能设备上显示的虚拟目标内容并显示搜索结果和/或批改上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将讲解上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为圈定动作或滑动动作的情况下，将查询上述智能设备上显示的虚拟目标内容并显示查询结果和/或收集上述智能设备上显示的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将把上述智能设备上显示的虚拟目标内容拖动到功能框确定为上述目标操作，其中，上述功能框用于对上述目标动作执行上述功能框对应的功能，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将调整上述智能设备朗读上述目标内容的声音确定为上述目标操作；和/或在上述目标动作为旋转动作的情况下，将调整上述智能设备朗读上述目标内容的语速确定为上述目标操作。

在本发明的再一个实施例中，该当前场景为扫描场景，上述第三确定单元包括：第四确定子单元，用于在上述目标动作为点击动作的情况下，将切换上述智能设备上显示的虚拟目标内容或注释上述虚拟目标内容或高亮上述虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为长按动作的情况下，将在上述智能设备上显示扫描类型并选择扫描上述目标内容的目标类型确定为上述目标操作；和/或在上述目标动作为圈定动作或滑动动作的情况下，将扫描上述目标内容并在上述智能设备上显示扫描出的虚拟目标内容确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为拖拽动作的情况下，将对上述智能设备上显示的虚拟目标内容执行默认操作确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为斜拉动作的情况下，将调整上述智能设备上显示的虚拟目标内容的字体确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容；和/或在上述目标动作为旋转动作的情况下，将调整上述智能设备上显示的虚拟目标内容的清晰度确定为上述目标操作，其中，上述虚拟目标内容为上述智能设备生成的与上述目标内容对应的内容。

在本发明的再一个实施例中，该智能设备还包括：识别模块，用于在接收到智能笔发送的目标信号之前或之后，在上述智能笔与智能设备的距离大于距离阈值的情况下，通过上述智能设备的摄像头采集上述智能笔的目标轨迹；根据上述目标轨迹确定对上述智能设备执行的操作。

在本发明的再一个实施例中，该识别模块包括：采集单元，用于通过上述摄像头采集上述智能笔上的标记点的轨迹；将采集到的轨迹作为上述目标轨迹。

在本发明实施方式的第五方面中，提供了一种智能笔，包括：发送模块，用于向智能设备发送目标信号；其中，上述智能设备在接收到上述目标信号的情况下，根据上述智能笔在目标介质上的目标动作确定上述目标介质上待识别的目标内容以及对上述目标内容执行的目标操作。

根据本发明实施方式的智能笔和智能设备，可以在智能笔发送目标信号的情况下，由智能设备获取智能笔在目标介质上的目标动作，并根据目标动作确定目标介质上待识别的目标内容和对目标内容执行的目标操作，而无需用户与智能设备执行复杂的交互动作，从而显著地降低了与平板的交互复杂度，为用户带来了更好的体验。

在上述过程中，通过摄像头拍摄图像确定目标动作，以及在预订时间长度内拍摄图像或者接收到停止信号的情况下停止拍摄，从而可以保证拍摄的图像的准确性，进一步保证识别到的智能笔的目标动作的准确性。

在上述过程中，通过识别每帧图像中智能笔的标记点的位置，按照时间顺序连接为目标动作，从而可以降低识别图像中智能笔位置的难度，提高识别目标动作的效率。

在上述过程中，通过检测智能设备的触控屏幕是否收到触控信号，从而可以保证目标信号的识别准确度，避免用户触摸智能设备的触摸屏的情况下产生信号。

在上述过程中，通过摄像头的不同的开启时机，可以使摄像头在合适恰当的时候开启，在不影响摄像头采集图像的情况下，降低摄像头的能耗。

在上述过程中，摄像头处于准备拍摄状态或者低帧率拍摄状态，可以降低摄像头拍摄的图像的数量，从而避免拍摄无效的图像。

在上述过程中，控制摄像头上升或翻转，可以使摄像头适配各种学习、辅助环境，避免摄像头无法拍摄有效图像。

在上述过程中，根据目标动作的不同，选择不同的内容作为目标内容，从而可以提高选择目标内容的灵活性与效率。

在上述过程中，根据当前场景的不同，目标动作对应的目标操作不同，从而可以使智能设备适配各种学习、辅助环境，提高利用效率。

在上述过程中，如果智能笔离开智能设备太远，则采集智能笔的目标轨迹并确定要执行的操作，从而可以启动通过智能笔控制智能设备的便捷操作方法，提高操作智能设备的效率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的应用场景描述图；

图2示意性地示出了根据本发明另一实施例的应用于智能设备的内容识别方法的流程图；

图3示意性地示出了根据本发明又一实施例的阅读场景示意图；

图4示意性地示出了根据本发明再一实施例的查询场景示意图；

图5示意性地示出了根据本发明再一实施例的学习辅导场景示意图；

图6示意性地示出了根据本发明再一实施例的扫描场景示意图；

图7示意性地示出了根据本发明再一实施例的智能设备结构图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

发明概述

本发明人发现，

根据本发明实施方式的智能笔和智能设备，可以在智能笔发送目标信号的情况下，由智能设备获取智能笔在目标介质上的目标动作，并根据目标动作确定目标介质上待识别的目标内容和对目标内容执行的目标操作，而无需用户与智能设备执行复杂的交互动作，从而显著地降低了与平板的交互复杂度，为用户带来了更好的体验。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，图1为实例性的应用场景描述。用户可以在目标介质上学习，在用户前方可以配备辅助用的智能设备。目标介质可以为纸或者其他材质的介质。目标介质上可以包括文本、符号、图片等内容。智能设备可以扫描目标介质上的内容，从而获取到目标介质上的内容。用户可以通过智能笔向智能设备发送目标信号，则智能设备开始获取智能笔的目标动作，并通过目标动作来确定用户想要操作的目标内容和想要执行的目标操作。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的应用于智能设备的内容识别方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

在本发明实施方式的第一方面中，提供了一种应用于智能设备的内容识别方法。如图2所示，上述应用于智能设备的内容识别方法包括：

S202，在接收到智能笔发送的目标信号的情况下，获取智能笔在目标介质上的目标动作；

上述的智能笔可以为可以收发信号的笔，智能笔可以带有在目标介质上书写的功能。智能笔可以在被用户触发的情况下，向智能设备发送目标信号。目标设备可以接收目标信号，并获取智能笔在目标介质上的目标动作。该目标动作可以由智能笔在发出目标信号后记录，或者由智能设备根据智能笔的轨迹进行识别。

S204根据目标动作，确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。

智能设备可以根据目标动作，来确定用户希望对目标介质上执行操作的目标内容和对目标内容执行的目标操作。智能设备保存由目标介质上的内容，并且确定出目标内容和目标操作后，可以通过智能设备的功能来执行该目标操作。实例性的，如搜索、翻译等。

在本实施例中，在接收到智能笔发送的目标信号的情况下，获取智能笔在目标介质上的目标动作可以包括：通过摄像头拍摄多帧图像；根据多帧图像，确定目标动作。

上述的摄像头可以为智能设备上携带的摄像头，也可以为配备在目标介质附近，可以与智能设备通信的摄像头。摄像头可以进行拍摄，得到多帧图像。多帧图像中，均包含有智能笔。如果不包含智能笔，则可以将图像删除。作为一种示例，摄像头还可以跟随智能笔进行拍摄。

在本实施例中，通过摄像头拍摄多帧图像可以包括：控制摄像头在收到目标信号后的预定时间长度内连续拍摄，得到多帧图像；或者控制摄像头在收到目标信号后开始拍摄，在接收到停止信号的情况下，停止拍摄，并将拍摄到的图像作为多帧图像。

本实施例中，摄像头在拍摄智能笔时，需要设定拍摄的时机，而不是无序的拍摄。拍摄的时机可以有两种唤醒方法。一种是在智能设备收到目标信号后，控制摄像头连续拍摄一段时间，例如连续拍摄两秒，那么，拍摄得到的图像即为上述多帧图像。或者，在智能设备收到目标信号后控制摄像头开始拍摄，直到收到停止信号。停止信号可以由智能笔触发，发送给智能设备。则智能设备拍摄得到多帧图像。

需要说明的是，本实施例中还可以对上述多帧图像进行筛选，如按照像素清晰度、是否包含智能笔等条件进行筛选，从而使用筛选后的多帧图像确定智能笔的目标动作。

在本实施例中，根据多帧图像，确定目标动作可以包括：识别每一帧图像中智能笔的第一位置；将第一位置按照时间顺序连接为目标动作。

上述第一位置可以为智能笔的中心点位置或者笔尖位置或者笔尾位置或者笔上的特定的标记点的位置。每一帧图像中，将该位置作为智能笔的第一位置。将第一位置按照时间先后顺序连接，则得到了智能笔的目标动作。目标动作可以为点击、长按、圈定、滑动、拖拽、斜拉等动作。斜拉可以为在目标介质上与目标介质的底边以一定角度划直线或近似直线，如果在目标介质上与目标介质的底边的角度为零或者角度较小，则目标动作为滑动。

在本实施例中，识别每一帧图像中智能笔的第一位置可以包括：将每一帧图像中智能笔上的标记点的位置作为第一位置，其中，智能笔包括标记装置，标记装置在被拍摄的情况下，显示为标记点。

本实施例中，可以在智能笔上设置标记点。标记点可以为红外线、激光点、各种颜色的灯光的光点等。该标记点可以被打开或关闭。打开标记点的智能笔，在被拍摄图像后，图像中可以查看到该标记点，该标记点在图像上的像素与周围图像的像素存在明显差异。

在本实施例中，接收智能笔发送的目标信号可以包括：在智能笔的信号生成功能被触发产生目标信号的情况下，接收智能笔发送的目标信号；或者在智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕未接收到触控信号的情况下，确定产生了目标信号，接收智能笔发送的目标信号；或者在智能笔的信号生成功能被触发的情况下，在智能设备的触控屏幕接收到触控信号的情况下，确定智能笔未产生目标信号。

在本实施例中，智能笔的信号生成功能通过压力传感器或按钮或指纹或语音触发。

本实施例中的智能笔上可以带有信号生成功能。信号生成功能的触发手段有多种。例如，触摸触发、指纹触发、压力传感器触发、按钮触发、语音触发等。通过触发手段触发信号生成功能，则信号生成功能生成目标信号。例如，智能笔的信号生成功能由压力传感器触发。用户在使用智能笔时，通过按下智能笔产生压力触发压力传感器，智能笔生成目标信号，将目标信号发送给智能设备。

本实施例中，智能笔可以通过蓝牙与智能设备进行无线通信，将目标信号发送给智能设备。

蓝牙是一种无线技术标准，可实现固定设备、移动设备之间的短距离数据交换(使用2.4～2.485GHz的波段的超高频无线电波)。智能设备和智能笔上可以携带蓝牙模块。

需要说明的是，在某些情况下，用户是通过智能笔在智能设备的触摸屏上滑动的。因此，如果智能笔的信号生成功能被触发，同时智能设备的触摸屏收到了触控信号，则此时是用户通过智能笔在智能设备上写画，该种情况不会生成目标信号，或者生成的目标信号发送给智能设备后，智能设备不会响应。

在本实施例中，在接收到智能笔发送的目标信号之前，还可以包括：在包括摄像头的智能设备被放置到目标位置的情况下，开启摄像头；或者在智能笔由初始放置状态变为与智能设备分离的状态的情况下，开启摄像头；或者在包括摄像头的智能设备被放置到目标位置的情况下，在智能笔由初始放置状态变为与智能设备分离的状态的情况下，开启摄像头；或者在包括摄像头的智能设备被放置到目标位置的情况下，在智能笔由初始放置状态变为与智能设备分离的状态的情况下，在接收到启动命令的情况下，开启摄像头。

本实施例中，通过摄像头拍摄多帧图像之前，启动摄像头的时机分为多种。上述的目标位置可以为放置智能设备的区域。将智能设备放置到目标位置，则自动启动摄像头。例如，智能设备中可以包括距离传感器，通过感应与使用者的距离确定是否处于目标位置，再如，智能设备中可以包括红外传感器以确定使用者是否位于智能设备附近，进而确定智能设备放置于目标位置，再比如将智能设备放置于与之配合的支架上时，所述支架包括指读镜，当指读镜与智能设备上的摄像头位于预定位置时，确定智能设备放置到目标位置。或者，将智能笔从智能设备上拿下时，则自动启动摄像头。或者，将智能设备放置到目标位置且拿下智能笔时，自动启动摄像头。或者，将智能设备放置到目标位置且拿下智能笔且收到启动命令，则开启摄像头。

开启摄像头后，在收到目标信号时，可以通过摄像头拍摄多帧图像。

在本实施例中，开启摄像头可以包括：将摄像头置于准备拍摄状态，其中，在摄像头处于准备拍摄状态下，智能设备上显示摄像头采集到的实时画面，智能设备未记录实时画面。

在本实施例中，开启摄像头可以包括：将摄像头置于低帧率拍摄状态，其中，处于低帧率拍摄状态下的摄像头以第一帧率采集实时画面，智能设备记录实时画面，第一帧率小于摄像头拍摄多帧图像时的帧率。

本实施例中，在摄像头开启后，并不是立即拍摄得到多帧图像。摄像头的开启，在未收到目标信号的情况下，摄像头仅仅为开启但不拍摄图像。例如，手机、平板上打开摄像头后，在不按下拍照按钮的情况下的状态。

或者，在摄像头开启后，将摄像头置于低帧率拍摄状态。低帧率拍摄状态例如每秒拍摄5帧、10帧等。在摄像头获取多帧图像时，如每秒24帧，低帧率拍摄状态的帧率小于每秒24帧。

在本实施例中，在开启摄像头之前/同时/之后，还可以包括：控制摄像头上升；或者控制摄像头翻转；或者控制摄像头上升且翻转。

本实施例中的摄像头如果安装在智能设备上，那么，摄像头可以上升和/或翻转，避免摄像头固定无法拍摄多帧图像。

本实施例中，摄像头可以为前置摄像头或者后置摄像头。摄像头可以与智能设备的前屏幕面或者后壳面齐平，或者相比于前屏幕面或者后壳面凹陷，或者凸出于前屏幕面或者后壳面。以前屏幕面为例，当摄像头上升时，可以保持摄像头的与前屏幕面的平行(假设摄像头是一个扁平的部件)，但是，摄像头的高度发生变化。如从凹陷于前屏幕面变化为齐平，齐平变化为凸出。凸出变化为更凸出等。上述的翻转可以为摄像头与前屏幕面不再平行，而是产生一定角度。如翻转90度，那么，假如智能设备与桌面垂直，摄像头初始与智能设备前屏幕面平行，经过90度翻转后，摄像头与桌面平行，可以拍摄桌面的内容。

当智能设备放置到桌面上的架子或者通过其他手段在桌面上固定好后，例如智能设备与桌面垂直，智能设备的摄像头可以先不启动。当用户将智能笔从智能设备上取下后，可以通过智能设备中的霍尔传感器感应到智能笔已经被取下，那么，智能设备上的摄像头可以受升降装置的控制开始上升，上升到一定程度后，如上升到预定位置，则开始翻转，例如翻转90度，翻转90度后，摄像头可以拍摄到桌面，从而识别桌面上的目标介质上的内容。

在本实施例中，在接收到智能笔发送的目标信号的情况下，获取智能笔在目标介质上的目标动作可以包括：获取智能笔在目标介质上执行的点击动作；和/或获取智能笔在目标介质上执行的长按动作；和/或获取智能笔在目标介质上执行的圈定动作；和/或获取智能笔在目标介质上执行的滑动动作；和/或获取智能笔在目标介质上执行的拖拽动作；和/或获取智能笔在目标介质上执行的斜拉动作；和/或获取智能笔执行的旋转动作。

本实施例中，智能笔在目标介质上执行的目标动作可以有多种。如点击、长按、圈定、滑动、拖拽、斜拉等。智能笔的旋转动作可以在接触或者不接触目标介质的情况下执行。可以在智能笔上安装至少3个定位点。至少3个定位点构成一个圆圈，至少3个定位点在外观上可以有不同。通过至少3个定位点构成的圆圈的变化，从而识别到智能笔的旋转动作。

在本实施例中，根据目标动作，确定目标内容可以包括：在目标动作为点击动作或长按动作的情况下，将点击动作或长按动作所接触到的子、词确定为目标内容；和/或在目标动作为圈定动作的情况下，将圈定动作圈定的内容确定为目标内容；和/或在目标动作为滑动动作的情况下，将滑动动作经过的内容确定为目标内容；和/或在目标动作为拖拽动作的情况下，将拖拽动作在长按阶段接触到的内容确定为目标内容；和/或在目标动作为斜拉动作和/或旋转动作的情况下，将目标介质上的所有内容确定为目标内容。

本实施例中，在检测到智能笔执行目标动作后，可以按照智能笔执行的目标动作，确定目标介质上的目标内容。

如果目标动作为点击动作或长按动作，则智能笔和目标介质的接触是一个点。此时该点在智能笔上所在的字词确定为目标内容。也就是说，用户可以通过智能笔在目标介质上点击或者长按，将目标介质上的字词等确定为目标内容。

如果目标动作为圈定动作，则可以将圈定动作所圈定的内容作为目标内容。圈定动作所圈定的内容可以为圈定动作的内圈圈定的内容。

如果目标动作为滑动动作，滑动动作可以为直线或者曲线，则滑动动作所经过的内容作为目标内容。例如，滑动动作划过一句话，则该句话作为目标内容。

如果目标动作为拖拽动作，则拖拽动作包含了两个阶段。1是长按选中阶段，2是拖动阶段。将长按选中阶段选中的内容作为目标内容。

如果目标动作为斜拉动作和/或旋转动作，则将目标介质上全部内容作为目标内容。

需要说明的是，本实施例中，目标介质上包含的内容可以与智能平板产生互动交互，智能平板可以显示或者不显示目标介质上的内容。作为一种示例，目标介质上的内容被智能平板扫描后，在智能平板的显示屏上实时显示。当用户选择目标内容后，智能平板上的目标内容同步被确定。

在本实施例中，根据目标动作，确定对目标内容执行的目标操作可以包括：确定智能设备的当前场景；根据目标动作，确定在当前场景下的目标操作。

在本实施例中，当前场景为阅读场景，根据目标动作，确定在当前场景下的目标操作可以包括：在目标动作为点击动作的情况下，将为智能设备上显示的虚拟目标内容添加标记点确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为长按动作的情况下，将为智能设备上显示的虚拟目标内容添加批注确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为圈定动作的情况下，将为智能设备上显示的虚拟目标内容添加标记框和/或标记圈确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为滑动动作的情况下，将标记智能设备上显示的虚拟目标内容的句和/或段确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为拖拽动作的情况下，将把智能设备上显示的虚拟目标内容拖动到特定位置确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为斜拉动作的情况下，将放大和/或缩小智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为旋转动作的情况下，将旋转智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容。

本实施例中，阅读场景下，智能设备可以辅助用户阅读目标介质上的内容，其中目标介质可以为普通的纸或者学习桌或其他可以记载呈现内容的媒介，例如通过智能设备上的投影装置将目标内容投影到桌面上。在阅读场景下，以目标介质上有“举杯邀明月，对影成三人”、“床前明月光，疑是地上霜。举头望明月，低头思故乡”以及“在这个值得庆祝的时刻，张三放下了手机，打开了窗户，目光看向斜阳，内心满足而又幸福”为例，如图3所示，图3为智能设备上显示的内容，智能设备上显示的内容与目标介质上显示的内容相同。至于图3中的加粗、批注、框选、下划线等内容，均为在智能设备上对目标内容执行的目标操作。如果目标动作为点击动作，例如，用户在阅读场景下点击目标介质上的字词，从而确定出目标内容，那么，可以将为目标内容添加标记点确定为目标操作。添加标记点可以为特殊标识目标内容。如使用特定的颜色、图案、下划线、加粗、倾斜等特殊标记来标记目标内容。如用户在目标介质上点击“明月”两个字，则在智能设备上，将“明月”两个字加粗。如果目标动作为长按动作，用户在目标介质上长按“三人”两个字，则智能设备添加批注。添加的批注可以标记由谁添加的。如果目标动作为圈定动作，则目标操作可以为添加标记框和/或标记圈。例如，用户圈定了“在这个……”一段话，则可以添加标记框。如果目标动作为滑动动作，则可以将目标操作确定为标记目标内容。标记目标内容的方式并不限定。例如，可以通过特定的颜色、图案、下划线、加粗、倾斜等进行标记。例如，用户对“内心满足而又幸福”执行滑动操作，那么，可以在智能平板上添加下划线标记。如果目标动作为拖拽动作，那么，目标操作可以为将目标内容拖拽到特定位置。特定位置可以为智能设备上的用于存放目标内容的位置。例如，用户对目标介质上的“霜”、“斜阳”执行拖拽操作，那么，智能设备上，“霜”、“斜阳”被拖拽到特定区域中存留。如“邀”被用户在目标介质上执行拖拽操作，则智能设备上，“邀”随着用户的拖拽动作移动，如果移动到特定位置，则加入到特定位置，如果没有移动到特定位置用户松手了，则不移动到特定位置。如果目标动作为斜拉动作，则目标操作可以为放大或者缩小目标内容。如果目标动作为旋转，则目标操作可以为旋转目标内容。例如，对图3中的所有内容进行放大或缩小或者旋转等。

在本实施例中，当前场景为查询场景，根据目标动作，确定在当前场景下的目标操作可以包括：在目标动作为点击动作的情况下，将查询目标内容且在智能设备上显示对应的查询结果确定为目标操作；和/或在目标动作为长按动作的情况下，将为智能设备上显示的虚拟目标内容添加注释确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为圈定动作或滑动动作的情况下，将搜索智能设备上显示的虚拟目标内容并显示搜索结果和/或复制智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为拖拽动作的情况下，将把智能设备上显示的虚拟目标内容拖动到功能框确定为目标操作，其中，功能框用于对目标动作执行功能框对应的功能，虚拟目标内容为智能设备生成的与目标内容对应的内容；和/或在目标动作为斜拉动作或旋转动作的情况下，将对智能设备上显示的虚拟目标内容执行默认操作确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容。

仍然以目标介质上有“举杯邀明月，对影成三人”、“床前明月光，疑是地上霜。举头望明月，低头思故乡”以及“在这个值得庆祝的时刻，张三放下了手机，打开了窗户，目光看向斜阳，内心满足而又幸福”为例，如图4所示，图4为智能设备上显示的内容，智能设备上显示的内容与目标介质上显示的内容相同。如果用户在目标介质上对“明月”执行点击动作，则将查询目标内容且在智能设备上显示对应的查询结果确定为目标操作，如图4中，显示对“明月”的查询结果。如果用户在目标介质上对“霜”执行长按动作，那么，在智能设备上对“霜”添加注释。如果用户在目标介质上对“在这个……”一段话执行圈定或者滑动动作，则可以搜索该段话并显示搜索结果，搜索可以为通过搜索引擎搜索。或者，可以为复制该段话。如智能设备上提示“内容已复制”。如果用户在目标介质上对任意内容执行拖拽操作，将任意内容拖拽到功能框，则可以执行功能框对应的功能。例如，用户将“斜阳”拖拽到功能框1或2，则对“斜阳”执行对应功能。功能框1或2的功能可以根据实际情况进行设置。如果目标动作为斜拉动作或旋转动作，则可以对图4中的所有内容执行默认操作。默认操作可以预先设置。如翻页，放大，缩小等。本实施例并不限定。

在本实施例中，当前场景为学习辅导场景，根据目标动作，确定在当前场景下的目标操作可以包括：在目标动作为点击动作的情况下，将搜索智能设备上显示的虚拟目标内容并显示搜索结果和/或批改智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为长按动作的情况下，将讲解智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为圈定动作或滑动动作的情况下，将查询智能设备上显示的虚拟目标内容并显示查询结果和/或收集智能设备上显示的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为拖拽动作的情况下，将把智能设备上显示的虚拟目标内容拖动到功能框确定为目标操作，其中，功能框用于对目标动作执行功能框对应的功能，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为斜拉动作的情况下，将调整智能设备朗读目标内容的声音确定为目标操作；和/或在目标动作为旋转动作的情况下，将调整智能设备朗读目标内容的语速确定为目标操作。

仍然以目标介质上有“举杯邀明月，对影成三人”、“床前明月光，疑是地上霜。举头望明月，低头思故乡”以及“在这个值得庆祝的时刻，张三放下了手机，打开了窗户，目光看向斜阳，内心满足而又幸福”为例，如图5所示，图5为智能设备上显示的内容，智能设备上显示的内容与目标介质上显示的内容相同。

如果用户在目标介质上对“明月”执行点击操作，则可以在智能设备上，搜索并显示“明月”的搜索结果。或者，可以对“明月”进行批改。如果用户在目标介质上对“明月”执行长按操作，则可以讲解“明月”对应的内容。讲解时，可以全诗讲解或者部分讲解。如果用户在目标介质上对“明月”执行圈定操作，则可以查询“明月”或者收集“明月”。收集可以为收集错题、标准题型等功能。如果用户在目标介质上对任意内容执行拖拽操作，将任意内容拖拽到功能框，则可以执行功能框对应的功能。例如，用户将“斜阳”拖拽到功能框1或2，则对“斜阳”执行对应功能。功能框1或2的功能可以根据实际情况进行设置。如果目标动作为斜拉动作，则可以调整朗读目标内容的声音，如调整音色、音量等。如图5中智能设备上的音量调整功能被触发。如果目标动作为旋转动作，则可以调整朗读语速。如语速分为3挡，加粗的2表示当前为2挡。通过顺时针旋转或者逆时针旋转可以升档或者降档。

在本实施例中，当前场景为扫描场景，根据目标动作，确定在当前场景下的目标操作可以包括：在目标动作为点击动作的情况下，将切换智能设备上显示的虚拟目标内容或注释虚拟目标内容或高亮虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为长按动作的情况下，将在智能设备上显示扫描类型并选择扫描目标内容的目标类型确定为目标操作；和/或在目标动作为圈定动作或滑动动作的情况下，将扫描目标内容并在智能设备上显示扫描出的虚拟目标内容确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为拖拽动作的情况下，将对智能设备上显示的虚拟目标内容执行默认操作确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标介质上包含的目标内容对应的内容；和/或在目标动作为斜拉动作的情况下，将调整智能设备上显示的虚拟目标内容的字体确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标内容对应的内容；和/或在目标动作为旋转动作的情况下，将调整智能设备上显示的虚拟目标内容的清晰度确定为目标操作，其中，虚拟目标内容为智能设备生成的与目标内容对应的内容。

仍然以目标介质上有“举杯邀明月，对影成三人”、“床前明月光，疑是地上霜。举头望明月，低头思故乡”以及“在这个值得庆祝的时刻，张三放下了手机，打开了窗户，目光看向斜阳，内心满足而又幸福”为例。智能设备上可以不显示内容或者显示其他内容。当用户在目标介质上执行圈定动作或滑动动作时，可以将圈定或者滑动所选的目标内容扫描到智能设备上。如图6所示，以用户圈定或滑动所有内容为例，图6为智能设备上显示的内容。如果目标动作为斜拉动作，则可以调整字体。如图6中的智能设备上显示的内容被调整为了宋体。如果目标动作为旋转动作，则可以调整清晰度。如当前清晰度为1080，可以通过顺时针旋转或逆时针旋转进行调整。如果用户在目标介质上执行点击动作，则可以标记目标内容。如用户点击“月光”，则可以加粗。除了加粗之外，还可以切换“月光”为其他词，或者注释“月关”或者高亮“月光”。如果用户在目标介质上长按，则可以在智能设备上显示扫描类型。如图6中的不同的扫描类型，用户可以通过与智能平板的触摸屏交互或者通过智能笔交互来选择扫描类型。如果用户在智能平板上执行拖拽动作，则可以对目标内容执行默认操作。如翻译、存档等。

在本实施例中，在接收到智能笔发送的目标信号之前或之后，还可以包括：在智能笔与智能设备的距离大于距离阈值的情况下，通过智能设备的摄像头采集智能笔的目标轨迹；根据目标轨迹确定对智能设备执行的操作。

本实施例中，如果用户携带智能笔向后移动，智能笔和智能设备的距离大于距离阈值，则可以通过摄像头采集智能笔的目标轨迹。如用户手持智能笔画圈、画三角、旋转等。根据目标轨迹，确定对智能设备执行的操作。如打开、关闭某应用，如声音控制、画面控制、向前翻页、向后翻页等。

在本实施例中，在智能笔与包括摄像头的智能设备的距离大于距离阈值的情况下，通过摄像头采集智能笔的目标轨迹可以包括：通过摄像头采集智能笔上的标记点的轨迹；将采集到的轨迹作为目标轨迹。

本实施例中，智能笔上可以设置标记点。如红外线、激光、各色颜色的灯光等。通过识别该标记点，可以降低识别轨迹的难度。

在本发明实施方式的第二方面中，提供了一种应用于智能设备的内容识别方法，可以应用在智能笔，包括：智能笔向智能设备发送目标信号；其中，智能设备在接收到目标信号的情况下，根据智能笔在目标介质上的目标动作确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。本实施例的其他示例请参见上述示例，在此不再赘述。

在本发明实施方式的第三方面中，提供了一种内容识别系统，包括：智能笔向智能设备发送目标信号；智能设备在接收到目标信号的情况下，根据智能笔在目标介质上的目标动作确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。本实施例的其他示例请参见上述示例，在此不再赘述。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的智能设备进行说明。

在本发明实施方式的第四方面中，提供了一种智能设备。如图7所示，智能设备包括：

获取模块702，用于在接收到智能笔发送的目标信号的情况下，获取智能笔在目标介质上的目标动作；

上述的智能笔可以为可以收发信号的笔，智能笔可以带有在目标介质上书写的功能。智能笔可以在被用户触发的情况下，向智能设备发送目标信号。目标设备可以接收目标信号，并获取智能笔在目标介质上的目标动作。该目标动作可以由智能笔在发出目标信号后记录，或者由智能设备根据智能笔的轨迹进行识别。

确定模块704，用于根据目标动作，确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。

智能设备可以根据目标动作，来确定用户希望对目标介质上执行操作的目标内容和对目标内容执行的目标操作。智能设备保存由目标介质上的内容，并且确定出目标内容和目标操作后，可以通过智能设备的功能来执行该目标操作。实例性的，如搜索、翻译等。

在本发明实施方式的第五方面中，提供了一种智能笔，包括：发送模块，用于向智能设备发送目标信号；其中，智能设备在接收到目标信号的情况下，根据智能笔在目标介质上的目标动作确定目标介质上待识别的目标内容以及对目标内容执行的目标操作。

根据本发明实施方式的智能笔和智能设备，可以在智能笔发送目标信号的情况下，由智能设备获取智能笔在目标介质上的目标动作，并根据目标动作确定目标介质上待识别的目标内容和对目标内容执行的目标操作，而无需用户与智能设备执行复杂的交互动作，从而显著地降低了与平板的交互复杂度，为用户带来了更好的体验。

应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (10)

1.一种应用于智能设备的内容识别方法，其特征在于，包括：

在接收到智能笔发送的目标信号的情况下，获取所述智能笔在目标介质上的目标动作；

根据所述目标动作，确定所述目标介质上待识别的目标内容以及对所述目标内容执行的目标操作。

2.根据权利要求1所述的方法，其特征在于，所述在接收到智能笔发送的目标信号的情况下，获取所述智能笔在目标介质上的目标动作包括：

通过摄像头拍摄多帧图像；

根据所述多帧图像，确定所述目标动作。

3.根据权利要求2所述的方法，其特征在于，所述通过摄像头拍摄多帧图像包括：

控制所述摄像头在收到所述目标信号后的预定时间长度内连续拍摄，得到所述多帧图像；或者

控制所述摄像头在收到所述目标信号后开始拍摄，在接收到停止信号的情况下，停止拍摄，并将拍摄到的图像作为所述多帧图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述多帧图像，确定所述目标动作包括：

识别每一帧图像中所述智能笔的第一位置；

将所述第一位置按照时间顺序连接为所述目标动作。

5.根据权利要求4所述的方法，其特征在于，所述识别每一帧图像中所述智能笔的第一位置包括：

将每一帧图像中所述智能笔上的标记点的位置作为所述第一位置，其中，所述智能笔包括标记装置，所述标记装置在被拍摄的情况下，显示为所述标记点。

6.根据权利要求1所述的方法，其特征在于，在接收到智能笔发送的目标信号之前或之后，所述方法还包括：

在所述智能笔与智能设备的距离大于距离阈值的情况下，通过所述智能

设备的摄像头采集所述智能笔的目标轨迹；

根据所述目标轨迹确定对所述智能设备执行的操作。

7.一种应用于智能设备的内容识别方法，其特征在于，包括：

智能笔向智能设备发送目标信号；

其中，所述智能设备在接收到所述目标信号的情况下，根据所述智能笔在目标介质上的目标动作确定所述目标介质上待识别的目标内容以及对所述目标内容执行的目标操作。

8.一种内容识别系统，其特征在于，包括：

智能笔向智能设备发送目标信号；

所述智能设备在接收到所述目标信号的情况下，根据所述智能笔在目标介质上的目标动作确定所述目标介质上待识别的目标内容以及对所述目标内容执行的目标操作。

9.一种智能设备，其特征在于，包括：

获取模块，用于在接收到智能笔发送的目标信号的情况下，获取所述智能笔在目标介质上的目标动作；

确定模块，用于根据所述目标动作，确定所述目标介质上待识别的目标内容以及对所述目标内容执行的目标操作。

10.一种智能笔，其特征在于，包括：

发送模块，用于向智能设备发送目标信号；

其中，所述智能设备在接收到所述目标信号的情况下，根据所述智能笔在目标介质上的目标动作确定所述目标介质上待识别的目标内容以及对所述目标内容执行的目标操作。

Images