CN109240494B - 电子显示板的控制方法、计算机可读存储介质和控制系统 - Google Patents

Abstract

本发明公开了一种电子显示板的控制方法、计算机可读存储介质和控制系统，该控制方法包括：基于第一图像确定当前手部姿势；根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；基于第二图像确定手部动作信息；当判断出所述手部动作信息满足第一条件时，确定手指运动轨迹；根据所述手指运动轨迹确定输出操作指令，以使电子显示板在所述当前操作模式下执行对应的输出操作。该控制方法可方便用户操作电子显示板，增强电子显示板的用户体验。

Description

电子显示板的控制方法、计算机可读存储介质和控制系统

技术领域

本发明涉及显示技术领域，尤其涉及电子显示板的控制方法、计算机可读存储介质和控制系统。

背景技术

电子手写板为一种电子输入设备，可以使用专门的笔，或者手指在电子手写板的书写区域内书写文字或者绘画等，手写板可识别出笔或者手指走过的轨迹，进而在手写板上显示出文字或者图画。

现有的电子手写板主要包括电阻压力板、电容板以及电磁压感板等，这些电子手写板均为接触式，即笔或者手指需要接触电子手写板。

接触式的电子手写板需要笔或者手指与电子手写板接触才能实现文字或者绘画等功能，这种接触书写的方式在使用时受到一定限制。

发明内容

本发明提供一种电子显示板的控制方法、计算机可读存储介质和控制系统，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种电子显示板的控制方法，该方法包括：

基于第一图像确定当前手部姿势；

根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；

基于第二图像确定手部动作信息；

当判断出所述手部动作信息满足第一条件时，确定手指运动轨迹；

根据所述手指运动轨迹确定输出操作指令，以使电子显示板在所述当前操作模式下执行对应的输出操作。

可选的，在确定当前手部姿势对应的当前操作模式之后，还包括：

控制电子显示板上显示与当前操作模式对应的操作模式标识。

可选的，在判断出所述手部动作信息满足第一条件之后，还包括：

控制电子显示板上显示的操作模式标识更新为执行操作标识。

可选的，在根据所述手指运动轨迹确定输出操作指令之后，还包括：

当基于第三图像确定的手部动作信息满足第二条件时，控制电子显示板上显示的执行操作标识变为操作模式标识。

可选的，所述手部动作信息满足第一条件，包括：

手部向靠近电子显示板方向移动的距离大于距离阈值。

可选的，所述手部动作信息满足第二条件，包括：

手部向远离电子显示板方向移动的距离大于距离阈值。

可选的，所述根据所述手指运动轨迹确定输出操作指令，包括：

将手指运动轨迹映射到电子显示板上，得到手指在电子显示板上的相对运动轨迹；

根据所述相对运动轨迹确定输出操作指令。

可选的，还包括：

采用语音形式播报电子显示板的输出操作对应的输出信息。

可选的，在基于第一图像确定当前手部姿势之前，还包括：

当基于第一图像确定出多个手部姿势时，按照各手部姿势出现时间进行排序；

若出现时间最早的手部姿势为一个，则将出现时间最早的手部姿势作为当前手部姿势；

若出现时间最早的手部姿势有多个，则比较出现时间最早的各手部姿势与电子显示板之间的各距离的大小；

将出现时间最早的手部姿势中与电子显示板之间的距离最小的作为当前手部姿势。

可选的，还包括：

若当前手部姿势为释放控制权手部姿势，重新执行所述基于第一图像确定当前手部姿势的步骤。

可选的，所述基于第二图像确定手部动作信息，包括：

采用已训练的深度学习模型对所述第二图像进行识别，基于识别到的包括人体上半部分的特征和手部的特征确定手部动作信息。

可选的，还包括：

将所述当前手部姿势和所述手部动作信息发送给与本地电子显示板连接的外地电子显示板，以使所述外地显示板根据所述当前手部姿势确定当前操作模式，并根据所述手部动作信息控制在当前操作模式下执行对应的输出操作。

根据本发明实施例的第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一项所述方法的步骤。根据本发明实施例的第三方面，提供一种电子显示板控制系统，

包括：图像采集装置、处理器、存储器和电子显示板；

所述图像采集装置，用于采集图像，所述图像包括第一图像和第二图像；

所述处理器，用于基于第一图像确定当前手部姿势；根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；基于第二图像确定手部动作信息；当判断出手部动作信息满足第一条件时，确定手指运动轨迹；根据所述手指运动轨迹确定输出操作指令；

所述电子显示板，用于基于所述输出操作指令在所述当前操作模式下执行对应的输出操作；

所述存储器，用于存放运行在所述处理器上的计算机程序以及所述第一图像和所述第二图像。根据上述实施例可知，该电子显示板的控制方法，通过获取图像可确定手部姿势、手部动作信号和手指运动轨迹，据此实现通过手势控制电子显示板执行对应的输出操作，不需要与电子显示板直接接触，可方便用户操作，增强电子显示板的用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本发明一示例性实施例示出的电子显示板的控制方法的工作流程图；

图2是根据本发明一示例性实施例示出的手部姿势的示意图；

图3是根据本发明另一示例性实施例示出的手部姿势的示意图；

图4是根据本发明又一示例性实施例示出的手部姿势的示意图；

图5是根据本发明一示例性实施例示出的操作模式标识的示意图；

图6是根据本发明一示例性实施例示出的执行操作标识的示意图；

图7是根据本发明一示例性实施例示出的电子显示板上显示的手指书写的数据的示意图；

图8是根据本发明一示例性实施例示出的电子显示板上擦除的已写入数据的示意图；

图9是根据本发明一示例性实施例示出的电子显示板控制系统的方框图。

实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明提供一种电子显示板的控制方法，如图1所示，该方法包括：

步骤S10、基于第一图像确定当前手部姿势；

步骤S20、根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；

步骤S30、基于第二图像确定手部动作信息；

步骤S40、当判断出手部动作信息满足第一条件时，确定手指运动轨迹；

步骤S50、根据手指运动轨迹确定输出操作指令，以使电子显示板在当前操作模式下执行对应的输出操作。

电子显示板为一种电子输入设备，电子显示板可通过有线或者无线的方式与外部设备进行通信，电子显示板可以与外部设备进行数据交互，进而在外部设备的控制下在其上显示对应的文字或者图像，或者执行对应的操作命令等。

电子显示板具有显示功能并且可与外部设备进行数据交互，电子显示板例如为显示屏，外部设备例如为图像采集装置和扬声器等，电子显示板还可以包括一控制器，控制器例如为微控制单元MCU (Microcontroller Unit，简称MCU)，控制器与图像采集装置、扬声器和显示屏可以采用无线或者有线的方式连接，通过控制器实现显示屏与图像采集装置和扬声器等之间的数据交互。

可以通过图像采集装置采集图像，图像采集装置例如为摄像机、摄像头或者照相机等，也可将图像采集装置集成在电子显示板上，例如设置在电子显示板的边框上；或者图像采集装置为独立的设备，可以将图像采集装置设置在电子显示板所在空间的其他位置，图像采集装置的设置位置只需能采集到位于电子显示板前方一定范围内的图像即可。

当需要使用电子显示板的用户位于电子显示板前方某个位置时，图像采集装置可采集到包含用户的手部的图像，该图像为包括手部区域的图像，通过对该图像进行识别可以确定当前手部姿势，手部姿势指手部区域的状态，例如，由手部的手掌和手指组成的手部轮廓形状，由于人手部的多个手指可以较为灵活的活动，多个手指可处于不同的状态，例如，各手指均张开、各手指均弯曲，若干个手指张开若干个手指弯曲等，在手指处于不同状态时，手部轮廓形状也不同，因此手部姿势可具有多个不同的姿势。

可通过图像采集装置实时的采集图像，上述第一图像和第二图像指在不同时刻采集的图像，可采用已有的图像识别算法对图像进行识别，根据第一图像确定出当前手部姿势，根据第二图像确定出手部动作信息。操作模式指电子显示板所处的工作模式，在不同工作模式下，电子显示板可执行不同功能的操作，操作模式例如包括：书写输入模式、连续擦除模式和全部擦除模式等。

可预先建立手部姿势与操作模式的映射关系，即手部姿势与操作模式具有对应的关系，不同手部姿势对应不同的操作模式，举例而言，当手部姿势为图2所示的姿势时，即手部的食指和中指张开，其他手指弯曲，该手部姿势对应书写输入模式，即若当前手部姿势为图2所示的姿势时，操作模式为书写输入模式；若当前手势姿势为图3所示的姿势时，即手部的中指、无名指和小拇指张开，其他手指弯曲，该手势姿势对应连续擦除模式，即若当前手部姿势为图3所示的姿势时，操作模式为连续擦除模式；当手势姿势为图4所示的姿势时，即手部全部手指均弯曲(相当于握拳姿势)，该手势姿势对应全部擦除模式，即若当前手部姿势为图4所示的姿势时，操作模式为全部擦除模式。

上述的书写输入模式指电子显示板处于可在其上进行书写的工作模式，连续擦除模式指电子显示板处于可连续擦除其上已经输入的数据的工作模式，全部擦除模式指电子显示板处于一次性擦除其上已经输入的全部数据的工作模式。

根据预先建立的上述映射关系可以确定当前手部姿势对应的当前操作模式，在当前操作模式下电子显示板处于对应的工作模式下，例如，若当前操作模式为书写输入模式，此时电子显示板处于可在其上进行书写的工作模式。

当确定出当前操作模式后，进一步根据第二图像确定手部动作信息，可根据连续的若干帧第二图像确定手指动作信息，手部动作信息指手部在不同时刻的动作变化信息，该变化信息例如包括手部的空间位置变化信息等，当手部动作信息满足第一条件时，也就是通过手部动作信息确定出在当前操作模式下用户预执行输入操作时，例如，若当前操作模式为书写输入模式，手部动作信息满足第一条件指手部动作信息为表示用户预在电子显示板上进行书写的手部动作。

对于判断手部动作信息是否满足第一条件的具体方法，具体而言，可以根据手部的位置变化信息或者状态变化信息等判断，手部的位置变化信息例如包括手部整体的位置变化或者手部的手指的位置变化等，例如手部整体由某一位置变化到另一位置，或者手部的手指由某一位置变化到另一位置，手部的状态变化信息例如包括手部的若干个手指的状态变化或者一个手指的不同状态变化，例如，若干个手指中其中几个由张开状态变为弯曲状态，另外几个由弯曲状态变为张开状态，或者某个手指由张开状态变为完全状态或者由弯曲状态变为张开状态等。

当判断出手部动作信息满足第一条件时，可根据手部动作信息进一步的确定手指运动轨迹，手指运动轨迹值手指多个位置经过的路径，根据手指运动轨迹可确定输出操作指令，电子显示板根据该输出操作指令在当前操作模式下执行对应的输出操作。

输出操作指令可以包括显示手指运动轨迹对应在电子显示板的轨迹的指令，擦除手指运动轨迹对应在电子显示板的已写入数据的指令，或者擦除电子显示板上的全部已写入的数据的指令等。

举例而言，若当前操作模式为书写输入模式，根据手部动作信息判断出满足第一条件，手指运动轨迹例如为经过若干个位置的一条曲线，根据该曲线确定输出操作指令为在电子显示板上显示上述曲线的指令，电子显示板接收到该指令后，在对应区域显示该条曲线。

由上述描述可知，该电子显示板的控制方法，通过获取的图像可确定手部姿势、手部动作信号和手指运动轨迹，据此实现通过手势控制电子显示板执行对应的输出操作，不需要与电子显示板直接接触，可方便用户操作，增强电子显示板的用户体验。

并且，采用手势控制的方式，可满足某些特定情况下对电子显示板的操作，例如，当用户腾不开手去接触电子显示板或者由于手太湿、太油等而不愿意接触电子显示板的情况下，此时，采用手势控制的方式可方便用户操作电子显示屏。

在一个可选的实施方式中，在上述步骤S20所述的在确定当前手部姿势对应的当前操作模式，之后还包括：

S21、控制电子显示板上显示与当前操作模式对应的操作模式标识。

操作模式标识为用于指示当前操作模式的标识，可控制电子显示板上显示与当前操作模式对应的操作模式标识，通过该标识用户可直观的观察到电子显示板当前所处的工作模式。

该操作模式标识的具体形式可根据需要设置，可以为图案、文字或者图案和文字的结合等，例如，若当前操作模式为书写输入模式，该操作模式标识例如为图5所示的笔的图案，若当前操作模式为连续擦除模式，该操作模式标识例如为橡皮擦的图案，若当前操作模式为全部擦除模式，该操作模式标识例如为“是否全部删除”的提示框。

在一些例子中，上述步骤S40所述的在判断出手部动作信息满足第一条件，之后还包括：

步骤S41、控制电子显示板上显示的操作模式标识更新为执行操作标识。

当判断出手部动作信息满足第一条件后，说明在当前操作模式下用户预执行基于手势的输入操作，此时，控制电子显示板将显示的操作模式标识更新为执行操作标识，该执行操作标识可指示用户正在进行的输入操作，执行操作标识的具体形式与当前操作模式有关，用于指示当前操作模式下所执行的输入操作。

该执行操作标识可以为图案、文字或者图案和文字的结合等形式，例如，若当前操作模式为书写输入模式，该执行操作标识例如为图6所示的“手握笔”的图案，若当前操作模式为连续擦除模式，该操作模式标识例如为“手握橡皮擦”的图案，若当前操作模式为全部擦除模式，该执行操作标识例如为“是否全部删除”的提示框。

进一步的，在上述步骤S50中所述的根据手指运动轨迹确定输出操作指令，之后还包括：

步骤S61、当基于第三图像确定的手部动作信息满足第二条件时，控制电子显示板上显示的执行操作标识变为操作模式标识。

根据手指运动轨迹可控制电子显示板执行对应的输出操作，若用户一直连续的进行基于手势的输入操作，电子显示板连续执行对应的输出操作，若用户不再进行输入操作，用户手部动作会发生变化，因此，根据此时获取的第三图像可以进一步确定手部动作信息，当手部动作信息满足第二条件时，该第二条件为表示用户不再进行输入操作的手部动作，例如，根据手部动作信息确定手部停止动作，或者手指由原来的张开状态变为弯曲状态等时，表示手部动作信息满足第二条件。

当手部动作信息满足第二条件时，说明用户不再进行输入操作，电子显示板也不需要在执行对应的输出操作，此时，控制电子显示板将显示的执行操作标识变为操作模式标识，根据操作模式标识可指示电子显示板最新所处的状态和用户当前的操作状态。

在一个可选的实施方式中，步骤S40中所述的手部动作信息满足第一条件，包括：手部向靠近电子显示板方向移动的距离大于距离阈值。

步骤S51中所述的手部动作信息满足第二条件，包括：手部向远离电子显示板方向移动的距离大于距离阈值。

本实施例中，根据手部与电子显示板之间的距离大小变化确定手部动作信息是否满足第一条件或第二条件，当手部向靠近电子显示板方式移动的距离大于距离阈值时，说明手部动作信息满足第一条件，当手部向远离电子显示板方向移动的距离大于距离阈值时，说明手部动作信息满足第二条件。

具体而言，计算手部与电子显示板之间距离大小的方式，可计算手部的手指指尖与电子显示板之间的距离或者手部的某个位置与电子显示板之间的距离，当用户进行输入操作时，通常会伸出食指，通过食指的移动进行输入操作，因此，为了计算简便，可通过计算出的食指指尖与电子显示板之间的距离大小变化表示手部动作信息。

举例而言，当食指指尖与前一时刻相比，更靠近电子显示板，且移动的距离较大时，即食指指尖向靠近电子显示板方向移动的距离大于距离阈值，说明用户预进行输入操作，此时，进一步的确定手指运动轨迹，并根据手指运动轨迹确定输出操作指令，控制电子显示板执行对应的输出操作。

当食指指尖与前一时刻相比远离电子显示板，且移动的距离较大时，即食指指尖向远离电子显示板方向移动的距离大于距离阈值，说明用户不再执行输入操作，控制电子显示板显示操作模式标识，表示电子显示板为当前操作模式对应的工作模式。

需要说明书的是，上述的第一图像、第二图形和第三图像可以是通过深度摄像机采集的深度图像，或者通过两个或者多个摄像头采集的不同角度的图像，可以较为准确的这些图像确定当前手部姿势和手部动作信息。对于确定当前手部姿势的第一图像可以包括一帧图像或者包括连续的多帧图像，对于通过第二图像和第三图像确定手部动作信息的图像通常包括连续的多帧图像。

在一些例子中上述步骤S50中所述的根据手指运动轨迹确定输出操作指令，包括：

步骤S51、将手指运动轨迹映射到电子显示板上，得到手指在电子显示板上的相对运动轨迹；

步骤S52、根据相对运动轨迹确定输出操作指令。

本实施例中，将手指运动轨迹映射到电子显示板上，得到相对运动轨迹，具体而言，可对手指运动轨迹上的若干个位置的坐标进行坐标变换，得到若干个位置的坐标变换到电子显示板上后的坐标，根据若干个变换后的坐标可得到相对运动轨迹，进而，根据相对运动轨迹确定输出操作指令。

下面以几个具体应用场景为例，说明上述实施例提供的方法的工作流程：

第一个应用场景：

用户在电子显示板前方摆出如图2所示的手势，此时图像采集装置采集的图像称为第一图像，将该第一图像发送给执行该方法的装置，例如控制器，控制器对接收到该第一图像进行图像识别，确定当前手部姿势为图2所示的姿势；

该当前手部姿势对应的当前操作模式为书写输入模式，并且，控制电子显示板上显示书写输入模式对应的操作模式标识，该标识例如为图5所示的“笔”的图案；

确定出当前操作模式后，图像采集装置仍实时采集图像，称为第二图像，将该第二图像发送给控制器，控制器对接收到该第二图像进行图像识别，确定手部动作信息；

当手指指尖向靠近电子显示板方向移动的距离大于距离阈值时，控制电子显示板上显示的如5所示的“笔”的图案（操作模式标识）更新为如图6所示的“手握笔”的图案（执行操作标识）；

进一步的确定手指运动轨迹，用户移动手指书写或者绘画形成手指运动轨迹，手指运动轨迹上的若干个位置的坐标映射到电子显示板上的坐标例如为图7中所示的A点坐标（x1，y1）、B点坐标（x2，y2）和C点坐标（x3，y3），根据该三个点的坐标可得到相对运动轨迹例如为图7中所述的经过A点、B点和C点的曲线；

根据上述经过A点、B点和C点的曲线确定的输出操作指令为显示上述曲线的指令，电子显示板在书写输入模式下执行对应的输出操作为在电子显示板上显示上述曲线，例如，可通过控制电子显示板上对应区域的像素单元亮起，使电子显示板上显示上述曲线，如同用户用笔在电子显示板上书写一样，达到通过手势控制电子显示板进行书写操作的目的；

用户可连续书写，当用户手指移动到其他位置，此时的手指运动轨迹上的若干个位置的坐标映射到电子显示板上的坐标例如为图7中所示的D点坐标（x4，y4）、E点坐标（x5，y5）和F点坐标（x6，y6），根据该三个点的坐标可得到相对运动轨迹例如为图7中所述的经过D点、E点和F点的直线，电子显示屏上可显示上述直线；

当用户书写完成或者暂停书写，根据第三图像确定手部动作信息满足第二条件时，例如，手指指尖向远离电子显示板方向移动的距离大于距离阈值时，控制电子显示板上显示的如6所示的“手握笔”的图案变为如图5所示的“笔”的图案，此时，若用户移动手指，还可以使电子显示板上的显示的如图5所示的“笔”的图案移动，当手指移动到电子显示板上的某个区域内时，若手指指尖向靠近电子显示板方向移动的距离大于距离阈值时，可再次控制电子显示板上显示的如5所示的“笔”的图案更新为如图6所示的“手握笔”的图案，重复上述通过手指运动轨迹控制电子显示板书写操作的过程。

第二个应用场景，此场景的具体过程与上述第一个应用场景的过程类似，此处简单说明二者不同的地方，相同的地方不再赘述；

用户在电子显示板前方摆出如图3所示的手势，根据获取的第一图像确定当前手部姿势为图3所示的姿势；

该当前手部姿势对应的当前操作模式为连续擦除模式，并且，控制电子显示板上显示连续擦除模式对应的操作模式标识，该标识例如为橡皮擦的图案；

确定出当前操作模式后，根据获取的第二图像确定手部动作信息；

当手指指尖向靠近电子显示板方向移动的距离大于距离阈值时，控制电子显示板上显示的橡皮擦的图案（操作模式标识）更新为手握橡皮擦的图案（执行操作标识），进一步的确定手指运动轨迹，用户移动手指形成手指运动轨迹，手指运动轨迹上的两个位置的坐标映射到电子显示板上的坐标例如为图8中所示的G点坐标（x7，y7）和H点坐标（x8，y8），根据该两个点的坐标可得到相对运动轨迹例如为图8中所述的位于G点和H点之间的曲线；

根据上述位于G点和H点之间的曲线确定的输出操作指令为擦除上述曲线经过位置的数据的指令，电子显示板在连续擦除模式下执行对应的输出操作为在电子显示板上不再显示上述曲线经过位置的数据，具体而言，控制电子显示板上不再显示G点和H点之间的曲线经过位置的数据，例如之前显示的数据为如图8所示的经过G点、H点和I点的曲线，会擦除位于G点和H点之间的曲线，不再显示位于G点和H点之间的曲线（图8中用虚线表示的部分），如同用户用橡皮擦擦除电子显示板上之前写入的数据一样，达到通过手势控制电子显示板擦除操作的目的。

当用户完成擦除操作或者暂停擦除操作时，根据第三图像确定手部动作信息满足第二条件时，例如，手指指尖向远离电子显示板方向移动的距离大于距离阈值时，电子显示板上显示的“手握橡皮擦”的图案更新为“橡皮擦”的图案，此时，若用户移动手指，可使电子显示板上的显示的“橡皮擦”的图案移动，当手指移动到电子显示板上的某个区域内时，若手指指尖向靠近电子显示板方向移动的距离大于距离阈值时，电子显示板上显示的“橡皮擦”的图笔的图案更新为“手握橡皮擦”的图案，重复上述通过手指运动轨迹控制电子显示板擦除操作的过程。

第三个应用场景

用户在电子显示板前方摆出如图4所示的手势，根据获取的第一图像确定当前手部姿势为图4所示的姿势；

该当前手部姿势对应的当前操作模式为全部擦除模式，并且，控制电子显示板上显示全部擦除模式对应的操作模式标识，该标识例如为“是否全部擦除的提示框”；

确定出当前操作模式后，根据获取的第二图像确定手部动作信息；

当手指指尖向靠近电子显示板方向移动的距离大于距离阈值时，进一步的确定手指运动轨迹，具体而言，可根据手指运动轨迹确定映射到电子显示板上的对应位置是位于“是否全部擦除的提示框”中“是”的位置，还是位于“否”的位置，也即确定用户选择的为是全部擦除的操作还是不是全部擦除的操作；

根据上述手指运动轨迹确定的输出操作指令为确认用户是否执行擦除全部的确认指令，电子显示板在全部擦除模式下执行对应的输出操作为是否执行全部擦除的操作，例如，若手指运动轨迹对应“是”的位置，则电子显示板上显示“是”的部分高亮，并且擦除电子显示板上已经写入的全部数据，若手指运动轨迹对应“否”的位置，则电子显示板上显示“否”的部分高亮，不再擦除电子显示板上已经写入的全部数据，用户可一次性擦除全部已经写入的数据，达到通过手势控制电子显示板进行全部擦除操作的目的；

当完成全部擦除操作，可再次执行根据第一图像确定当前手部姿势，进行上述的过程。

在一个可选的实施方式中，该方法还可以包括：

步骤S62、采用语音形式播报电子显示板的输出操作对应的输出信息。

为了方便用户获取输出操作对应的输出信息，可通过语音形式播报该输出信息，可提高电子显示板在语音教学、娱乐等领域的应用体验。

输出操作对应的输出信息例如为用户通过手势在电子显示板上写入的文字信息或者图案信息等，对于能够通过语音形式播报的输出信息与将输出信息转换成语音数据的算法有关，对于有些不能识别的输入信息而言，例如，图片或者图形等，不能通过语音形式播报。

在一种可选的实施方式中，在上述步骤S10所述的在基于第一图像确定当前手部姿势之前，还包括：

步骤S101、当基于第一图像确定出多个手部姿势时，

步骤S102、按照各手部姿势出现时间进行排序；

步骤S103、若出现时间最早的手部姿势为一个，则将出现时间最早的手部姿势作为当前手部姿势；

步骤S104、若出现时间最早的手部姿势有多个，则比较出现时间最早的各手部姿势与电子显示板之间的各距离的大小；

步骤S105、将出现时间最早的手部姿势中与电子显示板之间的距离最小的作为当前手部姿势。

本实施例中，是针对多个用户需要操作电子显示板的场景，当基于第一图像确定出多个手部姿势，即检测到多个手部姿势时，此时为了避免干扰，按照多个手部姿势出现时间进行排序，将出现时间最早的手部姿势作为当前手部姿势，若出现时间最早的手部姿势有多个，根据手部姿势与电子显示板之间的距离大小确定，在多个出现时间最早的手部姿势中，选出与电子显示板距离最小的手部姿势作为当前手部姿势。

电子显示板基于当前手部姿势执行对应的输出操作，即当前手部姿势具有操作控制权，获得操作控制权的手部姿势将一直具有操作的电子显示板的权限，除非经过一段时间后该手部姿势不再操作；或者是当检测到该当前手部姿势为释放控制权手部姿势，释放控制权手部姿势为某种姿势的手势，例如，握拳姿势，此时，认为该当前手部姿势释放操作控制权，重新进行手势检测，即，重新执行基于第一图像确定当前手部姿势的步骤。

本发明实施例，可适用于多用户操作电子显示板的场景，可确定出优先级最高的用户，实现多用户下无干扰的输入操作，并且可以通过规定释放控制权手势姿势，结束当前操作，以重新开始基于手势的输入操作。

在一些例子中，在上述步骤S30所述的基于第二图像确定手部动作信息包括：

采用已训练的深度学习模型对第二图像进行识别，基于识别到的包括人体上半部分的特征和手部的特征确定手部动作信息。

电子显示板可应用在会议、培训和教学等场合，在这些场合下，通常会有多人参加，电子显示板会响应具有操作控制权的人员的手部动作信息执行对应的输出操作，图像采集装置采集的第一图像中可能包括其他人员的图像，例如其他人员的人体局部（例如头部、手部或者人体上半部分）的图像，此时，为了避免干扰，准确确定具有操作控制权的人员的手部动作信息，本实施例中采用已经训练好的深度学习模型对第一图像进行识别，该深度学习模型可以结合识别到的包括人体上半部分的特征和手部的特征确定手部动作信息，据此，可以确定具有操作控制权的人员身份，电子显示板基于该人员的手势执行对应的输出操作，避免因其他人员遮挡和干扰情况下，电子显示板无法正常工作，电子显示板可以适应复杂场景下。

已经训练好的深度学习模型指预先对深度学些模型进行训练，在训练时输入多种图像作为样本，作为样本的图像例如包括多个人的手部、头部、人体上半部分等的图像，通过样本图像对模型进行训练完成后，当将图像输入模型后，模型可以确定出图像中各个部分的特征，识别出手部动作信息，对于识别手部动作信息而言，可以结合人体上半部分的特征和手部的特征综合进行判断，例如，结合人体上半部分和手部组成的轮廓特征确定手部动作信息，举例而言，当识别出的人体上半部分和手部组成的连续轮廓为一个人通过手指进行写字或者绘画等的轮廓时，电子显示板可以基于该人的手部动作信息执行对应的输出操作，当识别出的人体上半部分和手部位于图像中两个相互分离的位置，例如人体上半部分位于图像的左下角，手部位于图像的右上部，此时可以确定该人体上半部分和手部可能为位于不同位置的两个人，而不是一个人的人体上半部分和手部，此时，可过滤人体上半部分的特征，仅根据手部的特征确定手部动作信息，这样，可以避免出现错误识别，达到对具有操作控制权的人员身份识别的目的。

在一个可选的实施方式中，该方法还可以包括：

将第一图像、当前手部姿势、当前操作模式、第二图像、手指运行轨迹和输出操作发送给与本地电子显示板连接的外部设备，以使外部设备上显示第一图像、当前手部姿势、当前操作模式、第二图像、手指运行轨迹和输出操作。

可将多个位于不同地点的外地电子显示板与本地电子显示板通过网络连接，外地电子显示板指与本地电子显示板位于不同地点，外地电子显示板与本地电子显示板可以通过网络的方式连接，本地电子显示板可以通过网络与外地电子显示板连接，或者将移动终端作为接入点，将本地电子显示板与外地电子显示板连接。

本实施例中，进一步的将获得的当前手部姿势和手部动作信息发送给外地电子显示板，外地电子显示板进一步的可根据接收到的当前手部姿势确定当前操作模式，根据手部动作信息执行对应的输出操作，这样，对于外地电子显示板而言，可基于从本地获取的手势执行与本地电子显示板相同的操作，可起到通过本地手势控制位于不同地点的一个或多个电子显示板的作用，达到本地电子显示板与外地电子显示板同步的效果，本地电子显示板和外地电子显示板组成的系统，可应用在位于不同地点的进行多方会议的场景。

本发明实施例还提供了一种电子显示板控制系统，如图9所示，该系统包括：图像采集装置91、处理器92、存储器93和电子显示板94；

所述图像采集装置91，用于采集图像，所述图像包括第一图像和第二图像；

所述处理器92，用于基于第一图像确定当前手部姿势；根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；基于第二图像确定手部动作信息；当判断出手部动作信息满足第一条件时，确定手指运动轨迹；根据所述手指运动轨迹确定输出操作指令；

所述电子显示板94，用于基于所述输出操作指令在所述当前操作模式下执行对应的输出操作；

所述存储器93，用于存放运行在所述处理器92上的计算机程序以及所述第一图像和所述第二图像。

具体的，该系统中的图像采集装置和电子显示板可以为分别为独立的设备，或者图像传感器集成在电子显示板上；处理器和存储器可以为独立的部件，或者可以集成在一个设备中，例如集成在控制器中，控制器可以为独立的部件，也可以集成在电子显示板中或者图像采集装置中，本实施例中，不对此作出限定。

该系统中图像采集装置、处理器、存储器和电子显示板之间可以通过有线或者无线的方式连接。

进一步的，如图9所示，该系统还可以包括扬声器95，扬声器95用于以语音形式播报电子显示板94的输出操作对应的输出信息。

该扬声器可以为独立的设备，或者将扬声器集成在电子显示板上。

本发明实施例还提供一种电子显示板的控制装置，该装置包括：

手部姿势确定单元，用于基于第一图像确定当前手部姿势；

操作模式确定单元，用于根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；

手部动作信息确定单元，用于基于第二图像确定手部动作信息；

手指运动轨迹确定单元，用于当判断出所述手部动作信息满足第一条件时，确定手指运动轨迹；

输出操作指令确定单元，用于根据所述手指运动轨迹确定输出操作指令，以使电子显示板在所述当前操作模式下执行对应的输出操作。

对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上；上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。

通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的设备所在的处理器将计算机可读存储介质中对应的计算机程序读取到内存中运行形成的。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述控制方法的步骤。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种电子显示板的控制方法，其特征在于，该方法包括：

基于第一图像确定当前手部姿势；

根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；所述操作模式为电子显示板所处的工作模式，在不同工作模式下，电子显示板执行不同功能的操作；

控制电子显示板上显示与当前操作模式对应的操作模式标识；

基于第二图像确定手部动作信息；所述第一图像和所述第二图像为不同时刻采集的图像；

当判断出所述手部动作信息满足第一条件时，确定手指运动轨迹；所述手部动作信息满足第一条件，包括：手部向靠近电子显示板方向移动的距离大于距离阈值；

控制电子显示板上显示的操作模式标识更新为执行操作标识；

根据所述手指运动轨迹确定输出操作指令，以使电子显示板在所述当前操作模式下执行对应的输出操作。

2.根据权利要求1所述的方法，其特征在于，在根据所述手指运动轨迹确定输出操作指令之后，还包括：

当基于第三图像确定的手部动作信息满足第二条件时，控制电子显示板上显示的执行操作标识变为操作模式标识；所述手部动作信息满足第二条件，包括：手部向远离电子显示板方向移动的距离大于距离阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述手指运动轨迹确定输出操作指令，包括：

将手指运动轨迹映射到电子显示板上，得到手指在电子显示板上的相对运动轨迹；

根据所述相对运动轨迹确定输出操作指令。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

采用语音形式播报电子显示板的输出操作对应的输出信息。

5.根据权利要求1-3任一项所述的方法，其特征在于，在基于第一图像确定当前手部姿势之前，还包括：

当基于第一图像确定出多个手部姿势时，按照各手部姿势出现时间进行排序；

若出现时间最早的手部姿势为一个，则将出现时间最早的手部姿势作为当前手部姿势；

若出现时间最早的手部姿势有多个，则比较出现时间最早的各手部姿势与电子显示板之间的各距离的大小；

将出现时间最早的手部姿势中与电子显示板之间的距离最小的作为当前手部姿势。

6.根据权利要求5所述的方法，其特征在于，还包括：

若当前手部姿势为释放控制权手部姿势，重新执行所述基于第一图像确定当前手部姿势的步骤。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述基于第二图像确定手部动作信息，包括：

采用已训练的深度学习模型对所述第二图像进行识别，基于识别到的包括人体上半部分的特征和手部的特征确定手部动作信息。

8.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

将所述当前手部姿势和所述手部动作信息发送给与本地电子显示板连接的外地电子显示板，以使所述外地显示板根据所述当前手部姿势确定当前操作模式，并根据所述手部动作信息控制在当前操作模式下执行对应的输出操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

10.一种电子显示板控制系统，其特征在于，包括：图像采集装置、处理器、存储器和电子显示板；

所述图像采集装置，用于采集图像，所述图像包括第一图像和第二图像；所述第一图像和所述第二图像为不同时刻采集的图像；

所述处理器，用于基于第一图像确定当前手部姿势；根据预先建立的手部姿势与操作模式的映射关系，确定当前手部姿势对应的当前操作模式；控制电子显示板上显示与当前操作模式对应的操作模式标识；基于第二图像确定手部动作信息；当判断出手部动作信息满足第一条件时，确定手指运动轨迹；所述手部动作信息满足第一条件，包括：手部向靠近电子显示板方向移动的距离大于距离阈值；控制电子显示板上显示的操作模式标识更新为执行操作标识；根据所述手指运动轨迹确定输出操作指令；所述操作模式为电子显示板所处的工作模式，在不同工作模式下，电子显示板执行不同功能的操作；

所述电子显示板，用于基于所述输出操作指令在所述当前操作模式下执行对应的输出操作；

所述存储器，用于存放运行在所述处理器上的计算机程序以及所述第一图像和所述第二图像。