CN116449965A - 基于儿童电子画板的数据处理方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种基于儿童电子画板的数据处理方法、装置及电子设备，所述方法包括：当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息；本申请的方法可以提升用户体验。

Description

基于儿童电子画板的数据处理方法、装置及电子设备

技术领域

本发明涉及电子画板技术领域，尤其是涉及一种基于儿童电子画板的数据处理方法、装置及电子设备。

背景技术

电子画板可以模拟画画感觉，它还可以利用电脑的优势，作出使用传统工具无法实现的效果。

现有的电子画板是对整个屏幕的输入进行分析，无法更好的分析用户在部分区域内的输入信息，用户体验差。

发明内容

本发明提供一种基于儿童电子画板的数据处理方法、装置及电子设备，以更好的分析用户在画板上局部区域的输入信息，提升用户体验。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本申请提供了一种基于儿童电子画板的数据处理方法，所述方法包括：当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

进一步的，所述方法还包括：依据画笔图像，确定画笔分析信息，画笔分析信息包括画笔相对于画板的画笔倾斜方向、画笔相对于画板的画笔倾斜角度和手持画笔的手持位置；依据画笔分析信息，确定画板屏幕上的支撑区域；对支撑区域内的采集信息进行防误触分析，以减少误输入。

进一步的，所述画笔上设置有至少三个定位点，所述定位点设置有定位标识，所述依据画笔图像，确定画笔分析信息，包括：依据定位标识，确定画笔上的定位点，并对定位点进行距离识别，得到距离识别结果；依据画笔长度和三个定位点之间的距离，对距离识别结果进行验证，并在验证通过后，确定画笔倾斜角度。

进一步的，三个定位点的定位标识不同，所述依据画笔图像，确定画笔分析信息，还包括：依据定位标识确定画笔相对于画板的画笔倾斜方向。

进一步的，所述依据画笔图像确定画笔与画板之间的空间位置关系，包括；依据画笔相对于画板的画笔倾斜角度，以确定画笔与画板之间的空间位置关系。

进一步的，所述眼部视角信息依据如下公式确定，公式为：

；

其中，A代表眼部视角信息，是指眼球与画板上凝视点与边界点两点的距离的差值；B是指眼球与画板之间时间夹角角度常数；C是指凝视点输出索引系数；是指眼球视角相对画板的视角夹角角度；/>是指画板相对眼球视角的视角夹角角度。

进一步的，所述方法还包括：获取用户的绘画习惯信息，所述绘画习惯信息包括绘画输入与输入结果之间的偏移信息和调整信息，所述用户通过摄像组件进行登录；依据绘画习惯信息，对绘画输入进行偏移和调整，得到输入结果。

进一步的，所述方法还包括：在接收到预设数量的采集信息之后，分析已有采集信息与预设模板之间的关联关系；依据关联关系，确定对应的目标模板；依据目标模板预测绘画区域，并对绘画区域内的采集信息进行调整。

第二方面，本申请提供了一种基于儿童电子画板的数据处理装置，所述装置包括：画笔方位获取模块，用于当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；相对位置获取模块，用于通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；画板方位获取模块，用于依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；眼部图像获取模块，用于从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；绘画区域确定模块，用于结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

第三方面，本申请提供了一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。

本申请提供了一种基于儿童电子画板的数据处理方法，所述方法包括：当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

本申请提供了一种基于儿童电子画板的数据处理方法，可以应用于儿童电子画板，儿童电子画板包括画板、画笔、设置在画板上的摄像组件，画板包括屏幕，所述画笔内设置方位角传感器，所述画笔可以通过无线传输的方式向画板传输信息，如向画板传输方位角信息。具体的，在用户开始绘画时，画板可能是平放，也可能是采取立式、斜立等方式，不同摆放方式，用户当前可绘画区域不同。因此，可以通过摄像组件来检测画笔与画板之间的相对位置，形成空间位置信息，并且，画板可以获取画笔的方位角信息，进而确定画板当前的方位角。并通过图像数据来提取用户的眼部图像，从而分析眼部视角信息，来确定用户的眼部凝视点。从而依据画板方位角信息和眼部视角信息，确定绘画区域，从而对绘画区域内的采集信息进行分析识别，并进行展示。并且，在绘画过程中，用户手掌由于缺少支持可能会与屏幕接触，容易误触，本方案可以依据画笔倾斜方向等信息，来判断画板的屏幕对应的支持区域，从而进行防误触识别。通过本方案，可以对用户在绘画区域内的输入进行更准确的识别，从而提升用户的绘画体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本申请一个实施例的基于儿童电子画板的数据处理方法的流程示意图；

图2是本申请另一个实施例的基于儿童电子画板的数据处理方法的步骤示意图；

图3是本申请一个实施例的基于儿童电子画板的数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请可以应用于儿童电子画板，儿童电子画板包括画板、画笔、设置在画板上的摄像组件，画板包括屏幕，所述画笔内设置方位角传感器，所述画笔可以通过无线传输的方式向画板传输信息，如向画板传输方位角信息。

在用户开始绘画时，画板可能是平放，也可能是采取立式、斜立等方式，不同摆放方式，用户当前可绘画区域不同。因此，如图1所示，可以通过摄像组件来拍摄图像数据，并提取画笔图像以检测画笔与画板之间的相对位置，形成空间位置信息，并且，画板（中的控制中心）可以获取画笔的方位角信息，进而确定画板当前的方位角。并通过图像数据来提取用户的眼部图像，从而分析眼部视角信息，来确定用户的眼部凝视点。从而依据画板方位角信息和眼部视角信息，确定绘画区域，从而对绘画区域内的采集信息进行分析识别，并进行展示，其中，采集信息还可以称为采集的数据，采集的数据是通过屏幕采集用户的输入获得的数据。并且，在绘画过程中，用户手掌由于缺少支持可能会与屏幕接触，容易误触，本方案可以依据画笔倾斜方向、画笔倾斜角度以及手持位置等信息，来判断画板的屏幕对应的支持区域，从而进行防误触识别。通过本方案，可以对用户在绘画区域内的输入进行更准确的识别，从而提升用户的绘画体验。需要说明的是，本申请中画板的控制中心可以是由处理器、存储器等组成，也可以是由实现相应功能的电路模块实现，具体可以依据需求进行配置。

本申请提供了一种基于儿童电子画板的数据处理方法，如图2所示，所述方法包括：

步骤202、当获取到画笔的绘画信息时，获取画笔的画笔方位角信息。本申请的方案中，在画笔内设置方位角传感器，在画板内无需设置方位角传感器，对画板的在硬件层面改动较小，实现方便；

步骤204、通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；

步骤206、依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；

步骤208、从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；

步骤210、结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

本申请的方案除了可以确定绘画区域之外，还可以确定屏幕上对应的支撑区域，支撑区域内可以通过防误触的识别方式来进行识别，减少误触，提升用户体验。具体的，作为一个可选的方案，所述方法还包括：依据画笔图像，确定画笔分析信息，画笔分析信息包括画笔相对于画板的画笔倾斜方向、画笔相对于画板的画笔倾斜角度和手持画笔的手持位置；依据画笔分析信息，确定画板屏幕上的支撑区域；对支撑区域内的采集信息进行防误触分析，以减少误输入。用户操作画笔的手可能是左手也可能是右手，因此，通过画笔倾斜方向可以判断用户是左手还是右手操作。通过画笔倾斜角度和用户手持位置，可以判断用户手掌与屏幕的可能接触位置，从而确定相应的支撑区域。

为了方便定位到画笔，本申请实施例可以在画笔上设置多个定位点，通过定位点可以快速确定摄像组件拍摄的图像数据中的画笔图像，从而确定相对的倾斜信息。具体的，作为一个可选的方案，所述画笔上设置有至少三个定位点，所述定位点设置有定位标识，所述依据画笔图像，确定画笔分析信息，包括：依据定位标识，确定画笔上的定位点，并对定位点进行距离识别，得到距离识别结果；依据画笔长度和三个定位点之间的距离，对距离识别结果进行验证，并在验证通过后，确定画笔倾斜角度。本申请实施例可以设置三个定位点，三个定位点可以在画笔的头部、中部和尾部，从而依据定位点与画笔图像之间的关系，生成画笔定位框，来提取画笔图像。确定画笔图像之后，可以对画笔上的定位点进行距离识别，本方案可以采取单图像的距离识别，也可以采取多帧连续图像的距离识别方案来确定各定位点的距离，在分析距离时，可以采取画笔头部接触到画板屏幕的图像，从而得到更准确的距离分析结果。并且，由于定位点的位置固定在画笔上，画笔的长度也是确定的，因此，可以依据画笔长度来验证定位点对应的距离的准确性，进而确定相应的画笔倾斜信息。

设置在画笔上的定位标识可以不同，从而便于区分头部、中部、尾部，确定画笔倾斜方向。具体的，作为一个可选的方案，三个定位点的定位标识不同，所述依据画笔图像，确定画笔分析信息，还包括：依据定位标识确定画笔相对于画板的画笔倾斜方向。

画板中摄像组件的位置和方向是固定的，因此，可以通分析画笔在拍摄图像中的位置、距离和相对倾斜角度，得到画笔与画板之间的空间位置关系。具体的，作为一个可选的方案，所述依据画笔图像确定画笔与画板之间的空间位置关系，包括；依据画笔相对于画板的画笔倾斜角度，以确定画笔与画板之间的空间位置关系。

在确定画板的方向角、画笔的方向角以及画笔在画板上的触点位置之后，可以按照以触点为中心的预设区域来生成绘画区域，而进一步的，还可以加入眼部识别的方式来更准确的分析绘画区域，如用户的视角（相对于画板）可能是向上或向下的，可以通过更加关注相对应的方向的区域的方式来提升识别效果。具体的，作为一个可选的方案，所述眼部视角信息依据如下公式确定，公式为：

；

其中，A代表眼部视角信息，是指眼球与画板上凝视点与边界点两点的距离的差值；B是指眼球与画板之间时间夹角角度常数；C是指凝视点输出索引系数；是指眼球视角相对画板的视角夹角角度；/>是指画板相对眼球视角的视角夹角角度。

本申请的画板可能被多个用户使用，而不同用户的使用习惯是不同的，相应的，可以在画板上设置登录按键，当登录按键触发时，通过面部图像识别的方式来确定当前的使用用户，面部识别的图像模板可以以加密的方式保存在本地。具体的，作为一个可选的方案，所述方法还包括：获取用户的绘画习惯信息，所述绘画习惯信息包括绘画输入与输入结果之间的偏移信息和调整信息，所述用户通过摄像组件进行登录；依据绘画习惯信息，对绘画输入进行偏移和调整，得到输入结果。比如说用户在绘画直线、曲线等线条时，准确率不高，可能需要画多次，相应的可以记录相应的绘画习惯，从而对绘画的轨迹进行微调，从而减少用户的修改次数。

本申请还可以预先提供多种参考模板给用户，用户可以按照参考模板进行模仿绘画，相应的，儿童电子画板可以基于用户已有的输入信息来确定对应的模板，从而按照该模板来预测绘画区域和对后续的输入进行调整优化。具体的，作为一个可选的方案，所述方法还包括：在接收到预设数量的采集信息之后，分析已有采集信息与预设模板之间的关联关系；依据关联关系，确定对应的目标模板；依据目标模板预测绘画区域，并对绘画区域内的采集信息进行调整。

在上述实施例的基础上，本申请实施例还提供一种基于儿童电子画板的数据处理装置，如图3所示，所述装置包括：

画笔方位获取模块302，用于当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；

相对位置获取模块304，用于通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；

画板方位获取模块306，用于依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；

眼部图像获取模块308，用于从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；

绘画区域确定模块310，用于结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

本申请的装置可以应用于儿童电子画板，儿童电子画板包括画板、画笔、设置在画板上的摄像组件，画板包括屏幕，所述画笔内设置方位角传感器，所述画笔可以通过无线传输的方式向画板传输信息，如向画板传输方位角信息。具体的，在用户开始绘画时，画板可能是平放，也可能是采取立式、斜立等方式，不同摆放方式，用户当前可绘画区域不同。因此，可以通过摄像组件来检测画笔与画板之间的相对位置，形成空间位置信息，并且，画板可以获取画笔的方位角信息，进而确定画板当前的方位角。并通过图像数据来提取用户的眼部图像，从而分析眼部视角信息，来确定用户的眼部凝视点。从而依据画板方位角信息和眼部视角信息，确定绘画区域，从而对绘画区域内的采集信息进行分析识别，并进行展示。并且，在绘画过程中，用户手掌由于缺少支持可能会与屏幕接触，容易误触，本方案可以依据画笔倾斜方向等信息，来判断画板的屏幕对应的支持区域，从而进行防误触识别。通过本方案，可以对用户在绘画区域内的输入进行更准确的识别，从而提升用户的绘画体验。

在上述实施例的基础上，本申请还提供一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如上述实施例所述的方法。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random ACGess Memory，简称RAM）、磁碟或者光盘等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的定界，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于儿童电子画板的数据处理方法，其特征在于，所述方法包括：

当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；

通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；

依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；

从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；

结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

依据画笔图像，确定画笔分析信息，画笔分析信息包括画笔相对于画板的画笔倾斜方向、画笔相对于画板的画笔倾斜角度和手持画笔的手持位置；

依据画笔分析信息，确定画板屏幕上的支撑区域；

对支撑区域内的采集信息进行防误触分析，以减少误输入。

3.根据权利要求2所述的方法，其特征在于，所述画笔上设置有至少三个定位点，所述定位点设置有定位标识，所述依据画笔图像，确定画笔分析信息，包括：

依据定位标识，确定画笔上的定位点，并对定位点进行距离识别，得到距离识别结果；

依据画笔长度和三个定位点之间的距离，对距离识别结果进行验证，并在验证通过后，确定画笔倾斜角度。

4.根据权利要求3所述的方法，其特征在于，三个定位点的定位标识不同，所述依据画笔图像，确定画笔分析信息，还包括：

依据定位标识确定画笔相对于画板的画笔倾斜方向。

5.根据权利要求4所述的方法，其特征在于，所述依据画笔图像确定画笔与画板之间的空间位置关系，包括：

依据画笔相对于画板的画笔倾斜角度，以确定画笔与画板之间的空间位置关系。

6.根据权利要求5所述的方法，其特征在于，所述眼部视角信息依据如下公式确定，公式为：

；

其中，A代表眼部视角信息，是指眼球与画板上凝视点与边界点两点的距离的差值；B是指眼球与画板之间时间夹角角度常数；C是指凝视点输出索引系数； 是指眼球视角相对画板的视角夹角角度；/> 是指画板相对眼球视角的视角夹角角度。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用户的绘画习惯信息，所述绘画习惯信息包括绘画输入与输入结果之间的偏移信息和调整信息，所述用户通过摄像组件进行登录；

依据绘画习惯信息，对绘画输入进行偏移和调整，得到输入结果。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到预设数量的采集信息之后，分析已有采集信息与预设模板之间的关联关系；

依据关联关系，确定对应的目标模板；

依据目标模板预测绘画区域，并对绘画区域内的采集信息进行调整。

9.一种基于儿童电子画板的数据处理装置，其特征在于，所述装置包括：

画笔方位获取模块，用于当获取到画笔的绘画信息时，获取画笔的画笔方位角信息；

相对位置获取模块，用于通过摄像组件获取图像数据，并提取出画笔的画笔图像，以依据画笔图像确定画笔与画板之间的空间位置关系；

画板方位获取模块，用于依据空间位置信息和画笔的方位角信息，确定画板的画板方位角信息；

眼部图像获取模块，用于从图像数据中提取用户的眼部图像，并依据眼部图像确定眼部视角信息；

绘画区域确定模块，用于结合画板方位角信息和眼部视角信息，确定绘画区域，并对绘画区域内的采集信息进行识别，以确定展示信息。

10.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

所述存储器用于存储计算机执行指令；

所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-8任一项所述的方法。