CN110620912A - 运笔过程展示和记录设备及系统 - Google Patents

Abstract

本发明的实施方式提供了一种运笔过程展示和记录设备，包括连接件，设置于所述连接件的至少一个图像采集单元以及电动云台、控制单元和处理单元；其中所述至少一个图像采集单元至少用于采集运笔过程中的全景图像和/或视频和/或笔尖处的特写图像和/或视频；用于采集运笔过程中的特写图像和/或视频的图像采集单元设置于所述电动云台上；所述控制单元被配置为基于图像采集单元采集到的图像和/或视频发出控制指令，以控制相应的部件使设置于所述电动云台上的图像采集单元能够采集到用户运笔过程中笔尖处的特写图像和/或视频；所述处理单元被配置为对来自至少一个图像采集单元的图像和/或视频进行存储和/或传输。能够采集书画中全景和笔尖画面。

Description

运笔过程展示和记录设备及系统

技术领域

本发明的实施方式涉及书画教学领域，更具体地，本发明的实施方式涉及一种运笔过程展示和记录设备及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

现有的书法、美术教学，基本是传统的实物展示台和高拍仪的模式来给学生观看老师的书写或绘画过程。

发明内容

在本上下文中，本发明的实施方式期望提供一种运笔过程展示和记录设备及系统。

在本发明实施方式的第一方面中，提供了一种运笔过程展示和记录设备，包括连接件，设置于所述连接件的至少一个图像采集单元以及电动云台、控制单元和处理单元；其中所述至少一个图像采集单元至少用于采集运笔过程中的全景图像和/或视频和/或笔尖处的特写图像和/或视频；

用于采集运笔过程中的特写图像和/或视频的图像采集单元设置于所述电动云台上；

所述控制单元被配置为基于图像采集单元采集到的图像和/或视频发出控制指令，以控制相应的部件使设置于所述电动云台上的图像采集单元能够采集到用户运笔过程中笔尖处的特写图像和/或视频；

所述处理单元被配置为对来自图像采集单元的图像和/或视频进行存储和/或传输。

在本实施方式的一个实施例中，所述连接件能够在所述控制单元的控制下伸缩；和/或

所述至少一个图像采集单元能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

所述电动云台能够在所述控制单元的控制下改变设置于所述电动云台上的图像采集单元的水平角和/或俯仰角。

在本实施方式的一个实施例中，所述连接件设有至少一个调节部件，所述电动云台和未设置于电动云台上的图像采集单元分别设于所述至少一个调节部件上；其中：

至少一个调节部件能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

至少一个调节部件上的图像采集单元能够在所述控制单元的控制下改变在所述调节部件上的位置；和/或

至少一个调节部件能够在所述控制单元的控制下伸缩；和/或

至少一个调节部件包括第一支架，该调节部件上的图像采集单元或电动云台设于相应第一支架上。

在本实施方式的一个实施例中，至少一个设有第一支架的调节部件还包括设于其第一支架上的第二支架，且其对应的图像采集单元或电动云台设于该第二支架上；其中：

至少一个第二支架能够在所述控制单元的控制下改变其在第一支架上的位置；和/或

至少一个第二支架上的图像采集单元或电动云台能够在所述控制单元的控制下改变其在第二支架上的位置；和/或

至少一个第二支架能够在所述控制单元的控制下伸缩。

在本实施方式的一个实施例中，所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

在本实施方式的一个实施例中，所述设备还包括底座，所述连接件的一端设于所述底座上；其中：

所述连接件与所述底座之间的连接是固定连接或可拆卸式连接；和/或

所述连接件的一端在所述底座上的位置能够在所述控制单元的控制下改变或不可改变；和/或

所述底座和/或所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

在本实施方式的一个实施例中，还包括连接件固定装置，适于将所述连接件以大致垂直于采集对象所在平面的方向固定。

在本实施方式的一个实施例中，所述连接件的数量为至少两个。

在本实施方式的一个实施例中：

至少一个图像采集单元的采集方向正对采集对象所在平面；和/或

至少一个图像采集单元的采集方向与采集对象所在平面成锐角。

在本实施方式的一个实施例中，所述设备还包括一个或多个伺服机构，适于实现对所述设备的一个或多个组成部件的位置调节和/或伸缩调节，其中，所述一个或多个组成部件包括以下任一个或多个部件：

所述连接件；

所述电动云台；

所述至少一个图像采集单元；

所述连接件上的至少一个调节部件中的一个或多个；

所述调节部件上的第一支架；

所述第一支架上的第二支架。

在本实施方式的一个实施例中，所述设备还包括一个或多个步进运动机构，适于实现对所述设备的一个或多个组成部件的位置调节和/或伸缩调节，其中，所述一个或多个组成部件包括以下任一个或多个部件：

所述连接件；

所述电动云台；

所述至少一个图像采集单元；

所述连接件上的至少一个调节部件中的一个或多个；

所述调节部件上的第一支架；

所述第一支架上的第二支架。

在本实施方式的一个实施例中，所述设备还包括：

音频采集单元，用于采集音频以发送给所述处理单元对该音频进行存储和/或传输。

在本实施方式的一个实施例中，所述处理单元还被配置为基于图像采集单元实时采集的全景图像和/或视频和/或特写图像和/或视频确定相关位置信息；

所述控制单元包括：

指令生成模块，被配置为基于所述位置信息，生成调整控制指令，以使所述特写图像采集单元能够采集到符合要求的运笔过程中笔尖处的特写画面。

在本实施方式的一个实施例中，所述调整控制指令至少调整控制电动云台、伺服机构和步进运动机构中的一个。

在本实施方式的一个实施例中，所述处理单元还被配置为基于所述全景图像和/或视频构建坐标系，并进一步确定所述全景图像和/或视频中笔尖处的坐标；

所述指令生成模块包括：

调整偏移量确定子模块，被配置为基于所笔尖处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量；

指令生成子模块，被配置为基于所述偏移量生成相应的调整控制指令。

在本实施方式的一个实施例中，所述处理单元包括:

关键点获取模块，被配置为获取目标图像和/或视频的关键点；

第一位置确定模块，被配置为获取所述关键点在全景图像和/或视频中的坐标，并以所述坐标作为所述目标图像和/或视频在全景图像和/或视频中的坐标。

在本实施方式的一个实施例中，所述关键点为图像和/或视频的中心点。

在本实施方式的一个实施例中，所述调整偏移量确定子模块还被配置为基于所述特写图像和/或视频中笔/笔尖图像和/或视频的大小确定相应部件的移动距离；

所述指令生成单元还被配置为基于移动距离生成相应的调整控制伺服机构或步进运动机构的指令。

在本实施方式的一个实施例中，所述处理单元还被配置为判断图像采集单元实时采集的特写图像和/或视频中是否存在笔/笔尖。

在本实施方式的一个实施例中，所述处理单元还被配置为判断笔尖是否处于所述特写图像和/或视频的中心位置。

在本实施方式的一个实施例中，所述处理单元包括：

第二位置确定模块，被配置为基于所述特写图像和/或视频构建坐标系，并进一步确定所述笔尖的坐标；

判断模块，被配置为基于所述笔尖的坐标判断所述笔尖是否处于所述特写图像和/或视频的中心位置；

存储/传输模块，被配置为判断结果为是时，将所述特写图像和/或视频存储和/或传输。

在本实施方式的一个实施例中，所述处理单元还被配置为确定所述全景图像和/或视频中特写图像和/或视频处的坐标；

所述调整偏移量确定子模块还被配置为基于所笔尖处的坐标和特写图像和/或视频处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量。

在本实施方式的一个实施例中，用于采集特写图像和/或视频的图像采集单元包括光学变焦镜头。

在本发明实施方式的第二方面中，提供了一种运笔过程展示和记录系统，其中，所述系统包括如前任一项所述的运笔过程展示和记录设备，还包括与该运笔过程展示和记录设备建立通信连接的至少一个接收设备；

所述至少一个接收设备用于从所述运笔过程展示和记录设备接收图像和/或视频，并显示在该接收设备屏幕的与相应采集区域对应的显示区。

在本实施方式的一个实施例中，还包括遥控器或者网络控制设备，能够基于用户根据所述显示区所显示的图像和/或视频进行的操作来控制所述伺服机构或步进运动机构和/或电动云台，从而控制相应的图像采集单元以恰当的角度、距离和图像和/或视频采集参数对准所需的采集对象区域。

根据本发明实施方式的运笔过程展示和记录设备及系统，可以同时采集书画时的全景画面和运笔过程中的特写画面，使得学生能够更好地观摩学习运笔手法和技巧，从而更全面的掌握学习要领。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是示出根据本公开实施例的运笔过程展示和记录设备的一种示例结构的示意图；

图2是示出根据本公开实施例的运笔过程展示和记录设备的另一种示例结构的示意图；

图3是示出根据本公开实施例的运笔过程展示和记录设备的另一种示例结构的示意图；

图4是示意性地示出根据本公开实施例的运笔过程展示和记录设备的一种包括第二支架的示例结构的俯视图；

图5是示出根据本公开实施例的运笔过程展示和记录设备的另一种示例结构的示意图；

图6是示出根据本公开实施例的运笔过程展示和记录设备的又一种示例结构的示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的权利要求密切相关的装置结构和/或处理步骤，而省略了与本公开关系不大的其他细节。

本公开的实施例提供了一种运笔过程展示和记录设备，包括连接件，设置于所述连接件的至少一个图像采集单元以及电动云台、控制单元和处理单元；其中所述至少一个图像采集单元至少用于采集运笔过程中的全景图像和/或视频和/或笔尖处的特写图像和/或视频；

用于采集运笔过程中的特写图像和/或视频的图像采集单元设置于所述电动云台上；

所述控制单元被配置为基于图像采集单元采集到的图像和/或视频发出控制指令，以控制相应的部件使设置于所述电动云台上的图像采集单元能够采集到用户运笔过程中笔尖处的特写图像和/或视频；

所述处理单元被配置为对来自图像采集单元的图像进行存储和/或传输。

需要说明的是，在本公开中，“A和/或B”应当解释为可以是以下三种并列情况中的任一种：A；B；A和B。例如，“图像和/或视频”应当理解为是“图像”、“视频”以及“图像和视频”中的任一种。

图1示意性地示出了根据本公开实施例的设备的一种示例结构。

如图1所示，根据本公开实施例的设备100包括连接件1、设于连接件1上的至一个图像采集单元2，电动云台3，处理单元4以及控制单元5。

其中，连接件1例如可以是连接杆、连接支架或其他连接结构等。

此外，连接件1的材料例如可以是塑料、金属或复合材料等。

根据本公开的实施例，连接件1可以是用于基本上垂直地设置(比如放置、固定或安装)在近似水平展示台平面(如桌面等)上的立杆或立板等，在这种情况下，设备100所展示的对象位于上述近似水平展示台平面上。“近似水平展示台平面”是指展示台平面是水平面或接近水平面的展示台，而“接近水平面”例如可以是与水平面成小角度(如5度、10度或15度等)夹角的平面。

此外，根据本公开的实施例，连接件1也可以是用于基本上垂直地设置(比如放置、固定或安装)在近似竖立展示台平面(如黑板面、墙面等)上的横杆或横板等，在这种情况下，设备100所展示的对象位于上述近似竖立展示台平面上。“近似竖立展示台平面”是指展示台平面是竖直面或接近竖直面的展示台，而“接近竖直面”例如可以是与竖直面成小角度(如5度、10度或15度等)夹角的平面。

此外，如图1所示，设于连接件1上的上述至少一个图像采集单元2分别沿相应采集方向来捕获相应采集区域的图像和/或视频，且其至少用于采集全景画面或运笔时笔尖处的特写画面。

例如，上述图像采集单元2可以包括摄像机和独立改变节镜头。

另外，用于采集运笔过程中的特写图像和/或视频的图像采集单元2设置于所述电动云台3上.

这样，上述图像采集单元2将各自采集到的图像和/或视频发送给处理单元4，由处理单元4对这些图像和/或视频进行处理和/或存储和/或传输。

电动云台3能够在控制单元5的控制下调整姿态，使得设置于其上的图像采集单元2采集到合适的用户运笔过程中笔尖处的特写图像和/或视频。

需要说明的是，虽然图1等附图中的处理单元4与图像采集单元2之间以及电动云台3与控制单元5之间的连接方式为有线连接，但本公开的实施例并不限于此，例如，处理单元4与图像采集单元2之间的连接方式也可采用无线连接方式。

此外，根据本公开实施例的运笔过程展示和记录设备还可以选择性地包括用于采集音频的音频采集单元(图中未示出)。音频采集单元可设置在运笔过程展示和记录设备的预定位置，或者可在运笔过程展示和记录设备的不同位置间移动，或者可以与运笔过程展示和记录设备分离设置(如设置在示范者身上)，等等。音频采集单元与其他组件(如处理单元4)之间例如可以是有线连接或无线连接。此外，音频采集单元的数量不限于一个，也可以是多个。由此，通过音频采集单元能够在书写过程中进行自动录音。

根据本公开的实施例，音频采集单元例如包括以下一种或多种：有线麦克风；无线麦克风；集成在图像采集单元2中的内置麦克风；等等。

根据本公开的实施例，上述音频采集单元所采集的音频与上述至少一个图像采集单元2采集的图像和/或视频例如是关联的。音频采集单元例如可以将其采集到的音频与上述至少一个图像采集单元2采集的图像和/或视频关联地发送给处理单元4进行存储和/或传输，或者，音频采集单元也可以将其采集到的音频与上述至少另一个图像采集单元2采集的图像和/或视频合成一个数据流发送给处理单元4进行存储和/或传输。

例如，处理单元4中可以同时包括存储模块和通信模块，以对上述至少一个图像采集单元2接收到的图像和/或视频(还可以选择性地包括音频采集单元采集到的音频)实现存储和传输处理。需要说明的是，在其他示例中，处理单元4中也可以仅包括上述存储模块或仅包括上述通信模块，这里不再赘述。

根据本公开的实施例，连接件1能够伸缩。例如，在图1所示示例中，一个或多个图像采集单元2或电动云台3可安装在连接件1的伸缩部分，这样，上述一个或多个图像采集单元2或电动云台3能够随着连接件1伸缩部分的伸缩运动而改变位置。

根据本公开的实施例，部分或全部图像采集单元2可以分别通过其他连接组件而间接安装在连接件1上。

图2和图3分别给出了根据本公开实施例的运笔过程展示和记录设备的另外两种示例结构的示意图。

如图2所示，根据本公开实施例的运笔过程展示和记录设备所包括的部分图像采集单元2和/或电动云台3通过图中所示的第一支架(作为上述其他连接组件的示例)而间接安装至连接件1上。

如图3所示，根据本公开实施例的运笔过程展示和记录设备所包括的全部(两个)图像采集单元2均通过对应的第一支架(作为上述其他连接组件的示例)而间接安装至连接件1上。此时，直接安装于所述电动云台3的图像采集单元2通过电动云台3之间安装在所述第一支架上而间接安装于所述连接件1上。

应当理解的是，各个图像采集单元2之间的相对位置关系和相对方向并不限于以上实施例所述，也可以是其他相对位置和相对方向。

根据本公开的实施例，图像采集单元2相对于连接件1的位置可以是固定的，也可以是可改变的。例如，对于直接安装在连接件1上的图像采集单元2来说，可以通过在连接件1上移动的方式实现相对于连接件1的位置改变；又如，对于通过其他连接组件(如第一支架或电动云台)间接安装在连接件1上的图像采集单元2来说，可以通过在上述其他连接组件上移动其他组件在所述连接件1上移动的方式实现相对于连接件1的位置改变。

根据本公开的实施例，在上述至少两个图像采集单元2中，部分或全部图像采集单元2相对于连接件1的位置改变。

例如，对于上述“部分或全部图像采集单元2”中直接安装在连接件1上的图像采集单元2来说，其可以通过在连接件1上移动的方式来实现相对于连接件1的位置改变。

根据本公开的实施例，在上述至少两个图像采集单元2中，部分或全部图像采集单元2的水平角和/或俯仰角改变。例如，上述部分或全部图像采集单元2可以通过诸如云台之类的设备来实现对上述部分或全部图像采集单元2的水平角和/或俯仰角的调整。

根据本公开的实施例，连接件1上可以设有至少一个调节部件，调节部件例如是诸如步进运动机构或伺服机构等具有位置调节调节功能的部件。上述至少两个图像采集单元2中的至少一个可分别设于至少一个调节部件上，换句话说，连接件1上的每个调节部件上可分别设有一个图像采集单元2。

在连接件1上的所有调节部件中，例如可以有至少一个调节部件在连接件1上的位置是可改变的。

在连接件1上的所有调节部件中，例如可以有至少一个调节部件上的图像采集单元2在对应调节部件上的位置可改变。

在连接件1上的所有调节部件中，例如可以有至少一个调节部件能够伸缩。

在连接件1上的所有调节部件中，例如可以有至少一个调节部件分别包括第一支架，而在该至少一个调节部件上的图像采集单元2分别设于相应第一支架上。其中，第一支架例如可为横杆。

需要说明的是，以上示例中分别限定的“至少一个调节部件”是相互独立的，也就是说，示例分别限定的“至少一个调节部件”可以部分或全部相同、也可以完全不同。举例来说，如在连接件1上的所有调节部件中，有m1个调节部件在连接件1上的位置是改变的，而“m1个调节部件”之间可以相同，也可以完全不同。

图4给出了根据本公开实施例的运笔过程展示和记录设备的另一种示例结构的示意图。

如图4所示，在根据本公开实施例的运笔过程展示和记录设备400中，在连接件1上设有至少一个调节部件、且所有调节部件中至少有一个调节部件包括第一支架的情况下，部分或全部第一支架上还可以分别设有第二支架，而其对应的图像采集单元2或电动云台3则设于对应的第二支架上。其中，第二支架例如可为横杆。

在连接件1上的所有调节部件中，例如可以有至少一个第二支架在其所在第一支架上的位置是改变的。

在连接件1上的所有调节部件中，例如可以有至少一个第二支架上的图像采集单元2在其对应第二支架上的位置是改变的。

在连接件1上的所有调节部件中，例如可以有至少一个第二支架能够伸缩。

图4示出了根据本公开实施例的运笔过程展示和记录设备的一种包括第二支架的示例结构，且图4为该示例结构的俯视图。在图4所示示例中，连接件1上设有两个第一支架，其中一个第一支架上连接有一个图像采集单元2，而另一个第一支架上又设有第二支架，该第二支架上连接有另一个图像采集单元2。

根据本公开的实施例，连接件1可以包括采集对象固定装置，适于固定平面介质和/或三维物品。采集对象固定装置例如可以是设置在连接件1上的夹具或其他能够固定纸张的部件。

图5给出了根据本公开实施例的运笔过程展示和记录设备的另一种示例结构的示意图。

如图5所示，根据本公开实施例的运笔过程展示和记录设备500除了包括连接件1、图像采集单元2、电动云台3、处理单元4和控制单元5之外，还可以包括底座6，其中连接件1的一端设于底座6上。另外，需要注意的是，处理单元4和控制单元5集成在一起，如图5所示，或者处理单元4和控制单元5也可以分开设置，本公开的实施例对此不作限定。

连接件1与底座6之间的连接例如可以是固定连接，也可以是可拆卸式连接。

连接件1的一端在底座6上的位置例如可以是改变的，也可以是不改变的。

根据本公开的实施例，底座6和/或连接件1可以包括适于固定平面介质和/或三维物品的采集对象固定装置。换句话说，运笔过程展示和记录设备500可以包括采集对象固定装置，该采集对象固定装置可以设置在底座4上，也可以设置在连接件1上，或者也可以部分设置在底座6上、部分设置在连接件1上。

根据本公开的实施例，运笔过程展示和记录设备还可以包括连接件固定装置，适于将连接件1以大致垂直于采集对象所在平面的方向固定。采集对象所在平面例如可为上文所描述的近似水平展示台平面或近似竖立展示台平面。连接件固定装置例如可以是粘接件、吸附连接件或悬挂连接件等。

根据本公开的实施例，连接件1的数量可以为至少两个。其中，以上至少两个连接件1可以具有相同的结构，也可以具有不同的结构。此外，以上至少两个连接件1可以彼此独立分离，也可以部分或全部地彼此相连。在包括底座6的情况下，以上至少两个连接件1也可以部分或全部设于底座6上，如图6所示。

根据本公开的实施例，可以存在一个图像采集单元2的采集方向是正对采集对象所在平面的。

根据本公开的实施例，可以存在至少一个图像采集单元2的采集方向与采集对象所在平面成锐角。

需要说明的是，上述至少两个图像采集单元2中也可以同时包括采集方向正对采集对象所在平面的图像采集单元2以及采集方向与采集对象所在平面成锐角的至少一个图像采集单元2。

此外，根据本公开实施例的运笔过程展示和记录设备还可以包括一个或多个伺服机构或步进运动机构，适于实现对运笔过程展示和记录设备的一个或多个组成部件的位置调节和/或伸缩调节，其中，一个或多个组成部件包括以下任一个或多个部件：连接件1；至少一个图像采集单元2中的一个或多个；电动云台3；连接件1上的至少一个调节部件中的一个或多个；调节部件上的第一支架；第一支架上的第二支架。

需要说明的是，以上实施例中的调节部件(例如伺服机构、步进运动机构和电动云台)均可以在控制单元5的控制下运动或转动，以改变其承载的图像向采集单元2相对于采集对象的位置关系。

在本实施方式的一个实施例中，所述设备可以仅包括一个图像采集单元2，所述图像采集单元2可以在初始时获取全景图像和/或视频或者随机转动电动云台3(也可以根据先验经验转动电动云台3)从转动电动云台3采集到的特写图像和/或视频中检测笔或笔尖，进而根据所述图像和/或视频确定其中的笔或笔尖位置，再基于所述笔尖位置进行跟踪，以采集笔尖处的特写画面；

或者所述设备中也可以包括两个图像采集单元，其中之一设置于电动云台上，用于采集笔或笔尖处的特写图像和/或视频；另外一个图像采集单元用于采集全景图像和/或视频，用于采集全景图像和/或视频的图像采集单元可以固定设置在所述连接件上或以上实施例中所述的调节部件上，本实施方式对此不作限定。

因此，在以上各个实施例中，所述处理单元还被配置为基于图像采集单元实时采集的全景图像和/或视频和/或特写图像和/或视频确定相关位置信息；

具体的，所述处理单元首先获取一个图像采集单元2采集到的全景或特写图像和/或视频，然后识别出其中的笔/笔尖，进而确定笔/笔尖在所述图像和/或视频中的位置信息，对于笔/笔尖在所述图像和/或视频中的位置信息，可以通过所述处理单元3基于所述图像和/或视频构建坐标系，并进一步确定所述图像和/或视频中笔尖处的坐标，具体的，可以以笔/笔尖为目标对象，获取目标图像和/或视频的关键点，对于笔来说，可以将其图像和/或视频的中心点作为关键点，或者将笔尖的顶点作为关键点，然后获取所述关键点在图像和/或视频中的坐标，并以所述坐标作为所述目标图像和/或视频在图像和/或视频中的坐标，例如，基于图像和/或视频建立了1000*1000的二维坐标系，其中笔的中心点a在所述坐标系中的坐标为(400,640)，则可以将点a的坐标作为笔或笔尖在所述图像和/或视频中的坐标。

在获得所述笔尖的位置信息后，即可对承载采集特写图像和/或视频的图像采集单元的调节部件进行调整。

在本实施方式的一个实施例中，可以在获得笔或笔尖在所述图像和/或视频中的坐标后，基于电动云台3当前的姿态和位置等参数进行调整控制，以使得其所述搭载的图像采集单元2能够采集到图像和/或视频中心为笔或笔尖的特写图像和/或视频，可以理解的是，在本方案中，位置关系相对固定的图像采集单元更加利于实现本方案，例如，设备中包括图像采集单元2，电动云台3，并且图像采集单元2以及电动云台3均被固定安装于连接件1上，此时仅仅电动云台的姿态可以进行调整(即仅存在一个图像采集单元的水平角和俯仰角可以改变)，那么在确定笔或笔尖在所述全景图像和/或视频中的坐标后，只需要根据当前云台的姿态(水平角和俯仰角)，确定调整控制参数即可。

另外，对于位置关系相对多变的设备(包括伺服机构或步进运动机构的设备)，在在本实施方式的一个实施例中(本方案中包括两个图像采集单元2)，可以在获得笔或笔尖在所述全景图像和/或视频中的坐标后，进一步获取所述全景图像和/或视频中特写图像和/或视频处的坐标，对于特写图像和/或视频在全景图像和/或视频中的坐标如何获取，可以参考上述实施例中笔或笔尖在所述全景图像和/或视频中的坐标确定方式，本实施例在此不重复说明，需要注意的是，对于特写图像和/或视频中的关键点选取，可以选取其中最具有辨识度的图像和/或视频特征点为关键点，后者基于其中最具有辨识度的图像和/或视频特征构建关键点，例如，全景图像和/或视频展示的是书法或绘画时的整个桌面，而特写图像和/或视频展示的是其中桌面的一角(包括桌面和桌面上的文具)，那么即可以所述文具为基础选择关键点。

在获取到位置信息后(包括笔或笔尖在所述全景图像和/或视频中的坐标和全景图像和/或视频中特写图像和/或视频处的坐标)，基于所述位置信息，生成调整控制指令(至少调整控制电动云台、伺服机构和步进运动机构中的一个)，以使所述特写图像采集单元能够采集到符合要求的运笔过程中笔尖处的特写画面。

具体的，基于所笔尖处的坐标和特写图像和/或视频处的坐标，确定能够使得所述特写图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量(可以包括电动云台的水平角和/或俯仰角调整角度以及伺服机构或步进运动机构的运动距离)，然后基于所述偏移量生成相应的调整控制指令。

考虑到，在未调整电动云台和/或伺服机构或步进运动机构之前，图像采集单元采集到的特写图像和/或视频可能是符合要求的，因此，在本实施方式的一个实施例中，首先判断图像采集单元实时采集的特写图像和/或视频中是否存在笔/笔尖，若是，则将所述特写图像和/或视频存储和/或传输，具体的，基于所述特写图像和/或视频构建坐标系，并进一步确定所述笔尖在所述特写图像和/或视频中的坐标，然后判断所述坐标是否在预设阈值范围内(可以是特写图像和/或视频中心区域的坐标范围)。

另外，考虑到若设备中的电动云台位置可变，特写图像和/或视频中的中心区域即使存在笔或笔尖，其也可能不符合要求，比如笔或笔尖的大小不符合预设规定，此时，可以基于所述特写图像和/或视频中笔/笔尖图像和/或视频的大小确定相应部件(可以影响电动云台位置的伺服机构或步进运动机构)的移动距离，然后基于移动距离生成相应的调整控制伺服机构或步进运动机构的指令。

以上示例中，公开了以下技术方案：

在本实施方式的一个实施例中，所述处理单元还被配置为基于图像采集单元实时采集的全景图像和/或视频和/或特写图像和/或视频确定相关位置信息；

所述控制单元包括：

指令生成模块，被配置为基于所述位置信息，生成调整控制指令，以使所述特写图像采集单元能够采集到符合要求的运笔过程中笔尖处的特写画面。

在本实施方式的一个实施例中，所述调整控制指令至少调整控制电动云台、伺服机构和步进运动机构中的一个。

在本实施方式的一个实施例中，所述处理单元还被配置为基于所述全景图像和/或视频构建坐标系，并进一步确定所述全景图像和/或视频中笔尖处的坐标；

所述指令生成模块包括：

调整偏移量确定子模块，被配置为基于所笔尖处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量；

指令生成子模块，被配置为基于所述偏移量生成相应的调整控制指令。

在本实施方式的一个实施例中，所述处理单元包括:

关键点获取模块，被配置为获取目标图像和/或视频的关键点；

第一位置确定模块，被配置为获取所述关键点在全景图像和/或视频中的坐标，并以所述坐标作为所述目标图像和/或视频在全景图像和/或视频中的坐标。

在本实施方式的一个实施例中，所述关键点为图像和/或视频的中心点。

在本实施方式的一个实施例中，所述调整偏移量确定子模块还被配置为基于所述特写图像和/或视频中笔/笔尖图像和/或视频的大小确定相应部件的移动距离；

所述指令生成单元还被配置为基于移动距离生成相应的调整控制伺服机构或步进运动机构的指令。

在本实施方式的一个实施例中，所述处理单元还被配置为判断图像采集单元实时采集的特写图像和/或视频中是否存在笔/笔尖。

在本实施方式的一个实施例中，所述处理单元还被配置为判断笔尖是否处于所述特写图像和/或视频的中心位置。

在本实施方式的一个实施例中，所述处理单元包括：

第二位置确定模块，被配置为基于所述特写图像和/或视频构建坐标系，并进一步确定所述笔尖的坐标；

判断模块，被配置为基于所述笔尖的坐标判断所述笔尖是否处于所述特写图像和/或视频的中心位置；

存储/传输模块，被配置为判断结果为是时，将所述特写图像和/或视频存储和/或传输。

在本实施方式的一个实施例中，所述处理单元还被配置为确定所述全景图像和/或视频中特写图像和/或视频处的坐标；

所述调整偏移量确定子模块还被配置为基于所笔尖处的坐标和特写图像和/或视频处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量。

另外，可以理解的是，所述图像采集单元可以包括光学变焦镜头，以方便的无损放大或缩小采集到的图像和/或视频。

此外，本发明的实施例还提供了一种运笔过程展示和记录系统，该系统包括如上所述的运笔过程展示和记录设备，还包括与该运笔过程展示和记录设备建立通信连接的至少一个接收设备；其中，运笔过程展示和记录设备可以具有上文中各实施例或其结合所描述的任一种运笔过程展示和记录设备的结构和功能，并能达到相类似的技术效果，这里不再赘述。至少一个接收设备用于从运笔过程展示和记录设备接收图像和/或视频，并显示在该接收设备屏幕的与相应采集区域对应的显示区。

其中，不同显示区域可以是分立的屏幕。或者，也可以是同一块屏幕上的不同显示区域。

根据本发明的实施例，运笔过程展示和记录系统例如还可以包括遥控器或者网络控制设备。遥控器或者网络控制设备能够基于用户根据显示区所显示的图像和/或视频进行的操作来控制伺服机构和/或步进运动机构和/或电动云台，从而控制相应的图像采集单元以恰当的角度、距离和图像和/或视频采集参数对准所需的采集对象区域。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

1.一种运笔过程展示和记录设备，包括连接件，设置于所述连接件的至少一个图像采集单元以及电动云台、控制单元和处理单元；其中所述至少一个图像采集单元至少用于采集运笔过程中的全景图像和/或视频和/或笔尖处的特写图像和/或视频；

用于采集运笔过程中的特写图像和/或视频的图像采集单元设置于所述电动云台上；

所述控制单元被配置为基于图像采集单元采集到的图像和/或视频发出控制指令，以控制相应的部件使设置于所述电动云台上的图像采集单元能够采集到用户运笔过程中笔尖处的特写图像和/或视频；

所述处理单元被配置为对来自图像采集单元的图像和/或视频进行存储和/或传输。

2.如方案1所述的设备，其中，所述连接件能够在所述控制单元的控制下伸缩；和/或

所述至少一个图像采集单元能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

所述电动云台能够在所述控制单元的控制下改变设置于所述电动云台上的图像采集单元的水平角和/或俯仰角。

3.如方案2所述的设备，其中，所述连接件设有至少一个调节部件，所述电动云台和未设置于电动云台上的图像采集单元分别设于所述至少一个调节部件上；其中：

至少一个调节部件能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

至少一个调节部件上的图像采集单元能够在所述控制单元的控制下改变在所述调节部件上的位置；和/或

至少一个调节部件能够在所述控制单元的控制下伸缩；和/或

至少一个调节部件包括第一支架，该调节部件上的图像采集单元或电动云台设于相应第一支架上。

4、如方案3述的设备，其中，至少一个设有第一支架的调节部件还包括设于其第一支架上的第二支架，且其对应的图像采集单元或电动云台设于该第二支架上；其中：

至少一个第二支架能够在所述控制单元的控制下改变其在第一支架上的位置；和/或

至少一个第二支架上的图像采集单元或电动云台能够在所述控制单元的控制下改变其在第二支架上的位置；和/或

至少一个第二支架能够在所述控制单元的控制下伸缩。

5、如方案1-4中任一项所述的设备，其中，所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

6、如方案1-5中任一项所述的设备，其中，所述设备还包括底座，所述连接件的一端设于所述底座上；其中：

所述连接件与所述底座之间的连接是固定连接或可拆卸式连接；和/或

所述连接件的一端在所述底座上的位置能够在所述控制单元的控制下改变或不可改变；和/或

所述底座和/或所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

7、如方案1-6中任一项所述的设备，其中还包括连接件固定装置，适于将所述连接件以大致垂直于采集对象所在平面的方向固定。

8、如方案1-7中任一项所述的设备，其中，所述连接件的数量为至少两个。

9、如方案1-8中任一项所述的设备，其中：

至少一个图像采集单元的采集方向正对采集对象所在平面；和/或

至少一个图像采集单元的采集方向与采集对象所在平面成锐角。

10、如方案1-19中任一项所述的设备，其中，所述设备还包括一个或多个伺服机构，适于实现对所述设备的一个或多个组成部件的位置调节和/或伸缩调节，其中，所述一个或多个组成部件包括以下任一个或多个部件：

所述连接件；

所述电动云台；

所述至少一个图像采集单元；

所述连接件上的至少一个调节部件中的一个或多个；

所述调节部件上的第一支架；

所述第一支架上的第二支架。

11.如方案1-10中任一项所述的设备，其中，所述设备还包括一个或多个步进运动机构，适于实现对所述设备的一个或多个组成部件的位置调节和/或伸缩调节，其中，所述一个或多个组成部件包括以下任一个或多个部件：

所述连接件；

所述电动云台；

所述至少一个图像采集单元；

所述连接件上的至少一个调节部件中的一个或多个；

所述调节部件上的第一支架；

所述第一支架上的第二支架。

12.如方案1-11任一项所述的设备，其中，所述设备还包括：

音频采集单元，用于采集音频以发送给所述处理单元对该音频进行存储和/或传输。

13.如方案1-12任一项所述的设备，其中，所述处理单元还被配置为基于图像采集单元实时采集的全景图像和/或视频和/或特写图像和/或视频确定相关位置信息；

所述控制单元包括：

指令生成模块，被配置为基于所述位置信息，生成调整控制指令，以使所述特写图像采集单元能够采集到符合要求的运笔过程中笔尖处的特写画面。

14.如方案13所述的设备，其中，所述调整控制指令至少调整控制电动云台、伺服机构和步进运动机构中的一个。

15.如方案14所述的设备，其中，所述处理单元还被配置为基于所述全景图像和/或视频构建坐标系，并进一步确定所述全景图像和/或视频中笔尖处的坐标；

所述指令生成模块包括：

调整偏移量确定子模块，被配置为基于所笔尖处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量；

指令生成子模块，被配置为基于所述偏移量生成相应的调整控制指令。

16.如方案15所述的设备，其中，所述处理单元包括:

关键点获取模块，被配置为获取目标图像和/或视频的关键点；

第一位置确定模块，被配置为获取所述关键点在全景图像和/或视频中的坐标，并以所述坐标作为所述目标图像和/或视频在全景图像和/或视频中的坐标。

17.如方案16所述的设备，其中，所述关键点为图像和/或视频的中心点。

18.如方案15所述的设备，其中，所述调整偏移量确定子模块还被配置为基于所述特写图像和/或视频中笔/笔尖图像和/或视频的大小确定相应部件的移动距离；

所述指令生成单元还被配置为基于移动距离生成相应的调整控制伺服机构或步进运动机构的指令。

19.如方案9所述的设备，其中，所述处理单元还被配置为判断图像采集单元实时采集的特写图像和/或视频中是否存在笔/笔尖。

20.如方案19所述的设备，其中，所述处理单元还被配置为判断笔尖是否处于所述特写图像和/或视频的中心位置。

21.如方案20所述的设备，其中，所述处理单元包括：

第二位置确定模块，被配置为基于所述特写图像和/或视频构建坐标系，并进一步确定所述笔尖的坐标；

判断模块，被配置为基于所述笔尖的坐标判断所述笔尖是否处于所述特写图像和/或视频的中心位置；

存储/传输模块，被配置为判断结果为是时，将所述特写图像和/或视频存储和/或传输。

22.如方案15所述的设备，其中，所述处理单元还被配置为确定所述全景图像和/或视频中特写图像和/或视频处的坐标；

所述调整偏移量确定子模块还被配置为基于所笔尖处的坐标和特写图像和/或视频处的坐标，确定能够使得所述图像采集单元采集到用户书写/绘画时笔尖处的特写画面的偏移量。

23.如方案1所述的设备，其中，用于采集特写图像和/或视频的图像采集单元包括光学变焦镜头。

24.运笔过程展示和记录系统，其中，所述系统包括如方案1-12中任一项所述的运笔过程展示和记录设备，还包括与该运笔过程展示和记录设备建立通信连接的至少一个接收设备；

所述至少一个接收设备用于从所述运笔过程展示和记录设备接收图像和/或视频，并显示在该接收设备屏幕的与相应采集区域对应的显示区。

25.如方案24所述的运笔过程展示和记录系统，其中还包括遥控器或者网络控制设备，能够基于用户根据所述显示区所显示的图像和/或视频进行的操作来控制所述伺服机构或步进运动机构和/或电动云台，从而控制相应的图像采集单元以恰当的角度、距离和图像和/或视频采集参数对准所需的采集对象区域。

Claims (10)

1.一种运笔过程展示和记录设备，包括连接件，设置于所述连接件的至少一个图像采集单元以及电动云台、控制单元和处理单元；其中所述至少一个图像采集单元至少用于采集运笔过程中的全景图像和/或视频和/或笔尖处的特写图像和/或视频；

用于采集运笔过程中的特写图像和/或视频的图像采集单元设置于所述电动云台上；

所述控制单元被配置为基于图像采集单元采集到的图像和/或视频发出控制指令，以控制相应的部件使设置于所述电动云台上的图像采集单元能够采集到用户运笔过程中笔尖处的特写图像和/或视频；

所述处理单元被配置为对来自图像采集单元的图像和/或视频进行存储和/或传输。

2.如权利要求1所述的设备，其中，所述连接件能够在所述控制单元的控制下伸缩；和/或

所述至少一个图像采集单元能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

所述电动云台能够在所述控制单元的控制下改变设置于所述电动云台上的图像采集单元的水平角和/或俯仰角。

3.如权利要求2所述的设备，其中，所述连接件设有至少一个调节部件，所述电动云台和未设置于电动云台上的图像采集单元分别设于所述至少一个调节部件上；其中：

至少一个调节部件能够在所述控制单元的控制下改变在所述连接件上的位置；和/或

至少一个调节部件上的图像采集单元能够在所述控制单元的控制下改变在所述调节部件上的位置；和/或

至少一个调节部件能够在所述控制单元的控制下伸缩；和/或

至少一个调节部件包括第一支架，该调节部件上的图像采集单元或电动云台设于相应第一支架上。

4.如权利要求3所述的设备，其中，至少一个设有第一支架的调节部件还包括设于其第一支架上的第二支架，且其对应的图像采集单元或电动云台设于该第二支架上；其中：

至少一个第二支架能够在所述控制单元的控制下改变其在第一支架上的位置；和/或

至少一个第二支架上的图像采集单元或电动云台能够在所述控制单元的控制下改变其在第二支架上的位置；和/或

至少一个第二支架能够在所述控制单元的控制下伸缩。

5.如权利要求1-4中任一项所述的设备，其中，所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

6.如权利要求1-5中任一项所述的设备，其中，所述设备还包括底座，所述连接件的一端设于所述底座上；其中：

所述连接件与所述底座之间的连接是固定连接或可拆卸式连接；和/或

所述连接件的一端在所述底座上的位置能够在所述控制单元的控制下改变或不可改变；和/或

所述底座和/或所述连接件包括采集对象固定装置，适于固定平面介质和/或三维物品。

7.如权利要求1-6中任一项所述的设备，其中还包括连接件固定装置，适于将所述连接件以大致垂直于采集对象所在平面的方向固定。

8.如权利要求1-7中任一项所述的设备，其中，所述连接件的数量为至少两个。

9.运笔过程展示和记录系统，其中，所述系统包括如权利要求1-12中任一项所述的运笔过程展示和记录设备，还包括与该运笔过程展示和记录设备建立通信连接的至少一个接收设备；

所述至少一个接收设备用于从所述运笔过程展示和记录设备接收图像和/或视频，并显示在该接收设备屏幕的与相应采集区域对应的显示区。

10.如权利要求9所述的运笔过程展示和记录系统，其中还包括遥控器或者网络控制设备，能够基于用户根据所述显示区所显示的图像和/或视频进行的操作来控制所述伺服机构或步进运动机构和/或电动云台，从而控制相应的图像采集单元以恰当的角度、距离和图像和/或视频采集参数对准所需的采集对象区域。