CN110599822A - 语音板书显示方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种语音板书显示方法、系统及存储介质，所述语音板书显示方法包括：接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置；根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容；在投影区域内的待显示位置显示所述文字内容。本发明中授课者通过激光笔指示待显示位置，可以将语音转化为文字显示在投影区域的待显示位置以进行板书，使得听课者可以更为清晰地了解教学内容，同时通过语音转化文字显示板书的方式还能够减少授课者进行板书书写所消耗的时间，提升教学速度。

Description

语音板书显示方法、系统及存储介质

技术领域

本发明涉及图像显示领域，尤其涉及一种语音板书显示方法、系统及存储介质。

背景技术

随着科技的不断发展与进步，在现在的教学课堂中，授课者通常会通过投影的方式进行课堂教学，通过提前准备相应的演示文稿提升教学速度。然而，在投影教学的过程中，授课者在需要对相应的知识内容进行补充或者解答各种问题时，还需要通过板书和语言来进行补充说明。然而，在通过投影方式进行课堂教学的过程中，通常会将教室内的日光灯进行关闭来降低室内光线的亮度，以使学生能够清晰地看到投影内容。若是通过黑板和粉笔进行板书，在较为黑暗的室内环境下学生无法清晰地看到黑板上的板书，使得教学效果不佳。同时在该环境下长期进行教学还会对学生的视力造成一定影响。因此，在多媒体投影教学方式中，采用黑板板书补充教学的方式十分不便。

发明内容

本发明的主要目的在于提供一种语音板书显示方法、系统及存储介质，旨在解决多媒体投影教学中使用黑板板书教学效果不佳的问题。

为实现上述目的，本发明提供一种语音板书显示方法，包括以下步骤：

接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置；

根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容；

在投影区域内的待显示位置显示所述文字内容。

可选地，所述接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤包括：

接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像；

根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置；

根据所述亮点位置确定用户指定的待显示位置。

可选地，所述根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像的步骤包括：

根据所述显示指令控制滤光片移动至所述摄像模块的前端；

控制摄像模块对投影区域进行拍摄以获取经所述滤光片滤光后的亮点图像；

所述根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置的步骤包括：

根据所述亮点图像以及亮点检测算法确定所述亮点图像内的所述激光笔发出的激光亮点的亮点位置。

可选地，所述根据所述亮点位置确定用户指定的待显示位置的步骤包括：

根据所述亮点位置计算其对应的投影区域坐标；

根据所述亮点位置的投影区域坐标确定投影区域内对应的待显示位置。

可选地，所述根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容的步骤包括：

根据所述显示指令控制录音模块获取用户发出的语音；

对用户发出的语音进行语义识别，以得到对应的文字内容。

可选地，所述接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤之前，还包括：

控制摄像模块拍摄图像以识别投影区域。

可选地，所述控制摄像模块拍摄图像以识别投影区域的步骤包括：

控制摄像模块拍摄图像以获取包含投影区域在内的视频帧；

采用Sobel算子计算识别得出投影区域，其中Sobel算子根据视频帧的任一像素点及其附近的像素点的灰度计算得到对应的梯度值的计算公式为：

其中该像素点的坐标为Z5，Z1、Z2、Z3分别为Z5左上方、上方和右上方的像素点；Z4、Z6分别为Z5左方和右方的像素点；Z7、Z8、Z9分别为Z5左下方、下方和右下方的像素点；Gx和Gy分别为x方向和y方向的梯度分量，G为该像素点Z5所对应的梯度值；

对所述视频帧内的多个像素点进行梯度值的计算，将梯度值小于预设门限值T的像素点作为边缘像素点；

在垂直方向取两段由边缘像素点拟合而成的线段x1和x2，在水平方向取两段由边缘像素点拟合而成的线段y1和y2，并根据x1、x2、y1和y2拟合得到边缘矩形，将所述边缘矩形作为投影区域。

可选地，所述在投影区域内的待显示位置显示所述文字内容的步骤包括：

根据所述待显示位置确定其对应进行投影的演示文稿中的编辑位置；

在所述编辑位置添加所述文字内容，以使投影区域内的待显示位置相应显示所述文字内容。

此外，为实现上述目的，本发明还提供一种语音板书显示系统，所述语音板书显示系统包括投影设备和激光笔，所述投影设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音板书显示程序，其中：所述语音板书显示程序被所述处理器执行时实现如上所述的语音板书显示方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有语音板书显示程序，所述语音板书显示程序被处理器执行时实现如上所述的语音板书显示方法的步骤。

本发明实施例中，用户通过控制激光笔发出显示指令并发出相应的语音。投影设备在接收到该显示指令后，可以通过显示指令确定用户所指定的待显示位置并对用户发出的语音进行录制，在获取到用户发出的语音后，能够将其进行语义识别以得到对应的文字，并在投影区域内用户所指定的待显示位置显示该由用户的语音转化而成的文字。用户在进行投影教学的过程中，可以随时通过激光笔确定一个待显示位置，并通过语音进行相应的补充说明或讲解，投影设备在获取到用户的语音后可以将其转化为文字显示在用户通过激光笔指定的位置上，从而使得授课者可以在教学过程中随时对投影内容添加板书并作出讲解，同时还能让接受教学的学生或听课者得到授课者对教学内容细致的讲解，提升教学效果。通过语音转化文字进行显示的方式还能够减少授课者采用粉笔或油笔进行板书书写所消耗的时间，提升教学效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图2为本发明语音板书显示方法第一实施例的流程示意图；

图3为本发明语音板书显示方法第二实施例的流程示意图；

图4为本发明语音板书显示方法第三实施例的流程示意图；

图5为本发明语音板书显示方法第四实施例的流程示意图；

图6为本发明语音板书显示方法第五实施例的流程示意图；

图7为本发明语音板书显示方法第六实施例的流程示意图；

图8为本发明语音板书显示方法第七实施例的流程示意图；

图9为本发明语音板书显示方法Sobel算子的像素矩阵图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。

本发明实施例终端为语音板书显示系统，语音板书显示系统可以包括投影设备和激光笔。投影设备可以一体成型，也可以为多媒体主机和投影仪组成，多媒体主机和投影仪之间可以通过数据线连接通信或者蓝牙无线通信。激光笔则能够通过无线通信方式与投影设备进行信息数据传输。投影设备还可以在投影幕布或墙壁上进行图像或视频的投影。

如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，投影设备还可以包括摄像头、音箱、麦克风、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在硬件设备移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别硬件设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，投影设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及语音板书显示程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的语音板书显示程序，并执行以下操作：

接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置；

根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容；

在投影区域内的待显示位置显示所述文字内容。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像；

根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置；

根据所述亮点位置确定用户指定的待显示位置。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

根据所述显示指令控制滤光片移动至所述摄像模块的前端；

控制摄像模块对投影区域进行拍摄以获取经所述滤光片滤光后的亮点图像；

根据所述亮点图像以及亮点检测算法确定所述亮点图像内的所述激光笔发出的激光亮点的亮点位置。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

根据所述亮点位置计算其对应的投影区域坐标；

根据所述亮点位置的投影区域坐标确定投影区域内对应的待显示位置。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

根据所述显示指令控制录音模块获取用户发出的语音；

对用户发出的语音进行语义识别，以得到对应的文字内容。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

控制摄像模块拍摄图像以识别投影区域。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

控制摄像模块拍摄图像以获取包含投影区域在内的视频帧；

采用Sobel算子计算识别得出投影区域，其中Sobel算子根据视频帧的任一像素点及其附近的像素点的灰度计算得到对应的梯度值的计算公式为：

其中该像素点的坐标为Z5，Z1、Z2、Z3分别为Z5左上方、上方和右上方的像素点；Z4、Z6分别为Z5左方和右方的像素点；Z7、Z8、Z9分别为Z5左下方、下方和右下方的像素点；Gx和Gy分别为x方向和y方向的梯度分量，G为该像素点Z5所对应的梯度值；

对所述视频帧内的多个像素点进行梯度值的计算，将梯度值小于预设门限值T的像素点作为边缘像素点；

在垂直方向取两段由边缘像素点拟合而成的线段x1和x2，在水平方向取两段由边缘像素点拟合而成的线段y1和y2，并根据x1、x2、y1和y2拟合得到边缘矩形，将所述边缘矩形作为投影区域。

进一步地，处理器1001可以调用存储器1005中存储的语音板书显示程序，还执行以下操作：

根据所述待显示位置确定其对应进行投影的演示文稿中的编辑位置；

在所述编辑位置添加所述文字内容，以使投影区域内的待显示位置相应显示所述文字内容。

本发明语音板书显示系统的具体实施例与下述语音板书显示方法各实施例基本相同，在此不作赘述。

请参照图2，图2为本发明语音板书显示方法第一实施例的流程示意图，其中，所述语音板书显示方法包括如下步骤：

步骤S10，接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置；

在本实施例中，投影设备可以为一体成型，也可以由多媒体主机和投影仪组成。多媒体主机和投影仪之间可以通过数据线连接通信或者蓝牙无线通信。多媒体主机上显示的演示文稿或其他文件可以通过数据传输的方式发送至投影仪，投影仪在接收到相应的文稿或文件后将其投影在幕布或墙壁上，以使接受投影教学的学习者能够从幕布上的投影观看相应的文稿文件。用户在进行投影教学时，还持有可以与投影设备进行通信连接的激光笔。用户通过控制激光笔可以发出相应的显示指令，投影设备在接收到激光笔发出的显示指令后，可以根据该显示指令确定激光笔发出的激光亮点投射在投影区域的位置，并将其作为投影区域内的待显示位置。

步骤S20，根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容；

用户在通过激光笔发出显示指令后，即可开始发出相应的语音。投影设备在确定投影区域的待显示位置后，可以根据用户发出的显示指令对用户发出的语音进行录制，在获取到用户的语音后，对语音进行语义识别，以将用户的语音转化为相应的文字内容。

步骤S30，在投影区域内的待显示位置显示所述文字内容。

在根据用户的语音生成相应的文字内容后，投影设备可以将该文字内容编辑添加进正在投影的演示文稿或其他文件中相应的位置，以使得投影区域内用户所指定的待显示位置能够相应地显示该文字内容，以在投影教学过程中进行板书。

在本实施例中，用户可以通过控制激光笔发出显示指令，并发出相应的语音。投影设备在接收到该显示指令后，可以通过显示指令确定用户所指定的待显示位置并对用户发出的语音进行录制，在获取到用户发出的语音后，能够将其进行语义识别以得到对应的文字，并在投影区域内用户所指定的待显示位置显示该由用户的语音转化而成的文字。用户在进行投影教学的过程中，可以随时通过激光笔确定一个待显示位置，并通过语音进行相应的补充说明或讲解，投影设备在获取到用户的语音后可以将其转化为文字显示在用户通过激光笔指定的位置上，从而使得授课者可以在教学过程中随时对投影内容添加板书并作出讲解，同时还能让接受教学的学生或听课者得到授课者对教学内容细致的讲解，提升教学效果。通过语音转化文字进行显示的方式还能够减少授课者采用粉笔或油笔进行板书书写所消耗的时间，提升教学效率。

进一步的，参照图3，图3为本发明语音板书显示方法第二实施例的流程示意图，基于上述图2所示的实施例，所述步骤S10，接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤包括：

步骤S11，接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像；

步骤S12，根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置；

步骤S13，根据所述亮点位置确定用户指定的待显示位置。

在本实施例中，激光笔上设置有相应的“板书”按键，用户通过触发该按键可以控制激光笔发出显示指令，并发射出相应的激光在幕布或墙壁上产生亮点。投影设备在接收到该显示指令后，可以控制投影设备上的摄像模块对投影区域进行拍摄，以得到包含有亮点的亮点图像。在获取到包含有亮点的亮点图像后，可以根据亮点图像中的亮点与亮点图像中的投影区域的位置关系来确定激光笔所发出的激光亮点在幕布或墙壁上的投影区域中相应的亮点位置，该亮点位置即为用户通过激光笔发出的激光所指定的待显示位置。用户，即授课者通过激光笔发出的激光进行待显示位置的指定，可以使得投影设备准确地确定激光亮点的位置，以得到授课者想要进行板书的位置，使得投影设备能够准确地将用户的语音板书内容投影到该待显示位置。

进一步的，参照图4，图4为本发明语音板书显示方法第三实施例的流程示意图，基于上述图3所示的实施例，所述步骤S11，接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像的步骤包括：

步骤S111，接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制滤光片移动至所述摄像模块的前端；

步骤S112，控制摄像模块对投影区域进行拍摄以获取经所述滤光片滤光后的亮点图像；

所述步骤S12，根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置的步骤包括：

所述步骤S121，根据所述亮点图像以及亮点检测算法确定所述亮点图像内的所述激光笔发出的激光亮点的亮点位置。

在本实施例中，摄像模块上安设有可移动的滤光片，滤光片可以通过移动对摄像模块的镜头部分进行遮挡，以将进入镜头的光线进行滤光。具体地，该滤光片的中心波长可以选择与激光笔发出的激光波长一致，激光笔可以选择波光为650nm的红光激光笔。在接收显示指令以获取亮点图像时，投影设备可以控制滤光片移动至摄像模块的前端，并控制摄像模块通过滤光片对投影区域进行拍摄，以得到经过滤光片进行滤光后的亮点图像。通过滤光片进行滤光后得到的包含亮点的亮点图像中，由于激光亮点的波长与滤光片的中心波长一致，使得该激光亮点与亮点图像中的其他背景部分的对比度大大增强，更容易对亮点的位置进行检测。在得到经过过滤后的亮点图像后，投影设备内的处理器可以根据亮点图像以及预设的亮点检测算法确定亮点图像内的激光亮点的亮点位置。通过设置滤光片可以将亮点图像中的亮点与其他背景的对比度进行增强，从而能够通过亮点检测算法准确地确定亮点图像内的亮点位置。

进一步的，参照图5，图5为本发明语音板书显示方法第四实施例的流程示意图，基于上述图4所示的实施例，所述步骤S13，根据所述亮点位置确定用户指定的待显示位置的步骤包括：

步骤S131，根据所述亮点位置计算其对应的投影区域坐标；

步骤S132，根据所述亮点位置的投影区域坐标确定投影区域内对应的待显示位置。

在本实施例中，在获取到亮点图像后，可以从亮点图像中确定投影区域和亮点位置，根据投影区域建立相应的投影区域坐标系，亮点位置在投影区域内，则亮点位置对应有一投影区域坐标。举例说明如下：设投影区域为矩形区域，左上角、左下角、右上角和右下角的坐标分别为(0，0)、(0，100)、(100，0)和(100，100)，若亮点位置为投影区域的中心点，则相应的亮点位置对应的投影区域坐标为(50，50)。根据亮点在投影区域内的亮点位置确定对应的投影区域坐标后，即可进一步确定投影区域内该投影区域坐标对应的位置即为用户通过激光笔发射的激光所指定的待显示位置。由于亮点位置和投影区域在亮点图像内都是固定的，因此通过亮点位置对应的投影区域坐标即可确定用户在幕布或墙壁上通过激光指定的待显示位置。

进一步的，参照图6，图6为本发明语音板书显示方法第五实施例的流程示意图，基于上述图2所示的实施例，所述步骤S20，根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容的步骤包括：

步骤S21，根据所述显示指令控制录音模块获取用户发出的语音；

步骤S22，对用户发出的语音进行语义识别，以得到对应的文字内容。

在本实施例中，投影设备内设置有录音模块，在获取到激光笔发出的显示指令后，投影设备根据该显示指令控制录音模块对用户发出的语音进行录制，并对录制得到的用户语音进行语义识别，以将语音内容转化为对应的文字内容。通过对用户发出的语音进行语音识别，能够快速地将用户说出的话语转化为文字板书进行投影，减少了用户用笔书写板书所耗费的时间，从而能够提升课堂内的教学效率，使得学生或者听课者能够了解到更多的内容。

需要说明的是，投影设备还可以设置有数据通信模块，在录制得到用户语音后，可以通过数据通信模块将该语音内容发送至预设的语义识别服务器中，并接收语义识别服务器对语音进行识别后返回的文字内容。

进一步的，参照图7，图7为本发明语音板书显示方法第六实施例的流程示意图，基于上述图2-6所示的实施例，所述步骤S10，接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤包括：

步骤S40，控制摄像模块拍摄图像以识别投影区域。

在本实施例中，在对投影设备进行开机安装调试时，由于投影在幕布上的投影范围与摄像模块所能够拍摄到的图像范围并非完全一致，通常摄像模块的拍摄范围大于投影范围，并能够将所有投影区域进行拍摄。因此，需要先确定摄像模块所拍摄到的图像中投影区域的范围，即通过摄像模块对包含有投影区域在内的图像范围进行图像拍摄，以确定图像中的投影区域范围。

需要说明的是，在摄像模块固定时，摄像模块拍摄到的图像中投影区域的范围也是固定的。在摄像模块发生移动，例如调整了摄像头的角度时，需要重新对摄像模块拍摄到的图像进行投影区域的识别。

进一步地，在上述第六实施例中，控制摄像模块拍摄图像以识别投影区域的步骤如下：

控制摄像模块控制摄像模块拍摄图像以获取包含投影区域在内的视频帧，视频帧即某一时刻内拍摄到的图片。该视频帧内包含有所有投影区域以及其他背景内容。由于投影区域是由投影设备发出的光线进行投影所得到的，因此相比于周围的其他背景内容的亮度具有明显区别。

在拍摄得到视频帧后，对视频帧内的每一个像素点通过Sobel算子计算对应的梯度值。具体地，Sobel算子根据视频帧的任一像素点及其附近的像素点的灰度计算得到对应的梯度值的计算公式为：

如图9所示，其中Z5为该像素点的灰度值，Z2、Z3分别为Z5左上方、上方和右上方的像素点的灰度值；Z4、Z6分别为Z5左方和右方的像素点的灰度值；Z7、Z8、Z9分别为Z5左下方、下方和右下方的像素点的灰度值。根据任一像素点及其周围八个像素点的灰度值，即可得到该像素点x方向和y方向的梯度值分量Gx和Gy，并进一步得到该像素点Z5的梯度值G。

在获取到视频帧内的像素点的梯度值后，将每个像素点的梯度值G与预设的门限值T进行比较，将梯度值G小于预设门限值T的像素点的边缘值置为1，将梯度值G大于预设门限值T的像素点的边缘值置为0。将边缘值为1的像素点作为边缘像素点。边缘像素点即为投影区域与其他背景间亮度的分界点。

在视频帧图像的垂直方向取两段由边缘像素点拟合而成的线段x1和x2，在水平方向取两段由边缘像素点拟合而成的线段y1和y2，由x1、x2、y1和y2拟合得到一个由边缘像素点组成的边缘矩形，将该边缘矩形作为投影区域。

可以理解的是，在上述通过亮点图像检测亮点位置的实施例中，通过视频帧确定投影区域的范围后，即可在投影区域的范围内进行激光亮点的位置检测，在亮点图像中亮点的未处于投影范围内时可以视为用户未指定待显示位置，从而降低操作步骤，避免摄像模块将非投影区域的亮点位置作为待显示位置。

进一步的，参照图8，图8为本发明语音板书显示方法第七实施例的流程示意图，基于上述图2-6所示的实施例，所述步骤S30，在投影区域内的待显示位置显示所述文字内容的步骤包括：

步骤S31，根据所述待显示位置确定其对应进行投影的演示文稿中的编辑位置；

步骤S32，在所述编辑位置添加所述文字内容，以使投影区域内的待显示位置相应显示所述文字内容。

在本实施例中，在投影设备确定用户指定的待显示位置并将用户的语音转化为相应的文字内容后，可以对正在进行投影的演示文稿进行编辑以在演示文稿中加入该文字内容。具体地，投影设备可以由投影仪和多媒体主机组成，投影仪和多媒体主机之间通过信号连接线连接，投影仪和多媒体主机之间还可以进行无线传输。

投影仪上设置有摄像模块和麦克风，通过摄像模块确定待显示位置以及通过麦克风获取到用户的语音。投影仪上还设置有语义识别模块，能够将语音转化为对应的文字内容。投影仪可以将转化后的文字内容和确定的待显示位置通过无线传输的方式发送至多媒体主机，多媒体主机在接收到文字内容和待显示位置后，可以根据待显示位设置确定正在进行投影的演示文稿中对应的编辑位置，并在该编辑位置处添加该文字内容，修改后的演示文稿数据可以通过信号连接线发送至投影仪，以使投影仪在投影区域内显示演示文稿时在待显示位置显示该文字内容。

需要说明的是，上述实施例中的激光笔还设置有多个控制按键，例如播放/暂停、上翻、下翻、全屏等按键，激光笔能够在用户触发相应的按键时发出相应的激光，投影设备或多媒体主机接收到相应的激光后能够执行对应的步骤，例如对演示文稿执行翻页指令或全屏指令等。

此外本发明实施例还提出一种语音板书显示系统，该语音板书显示系统包括投影设备和激光笔，该投影设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的语音板书显示程序，语音板书显示程序被处理器执行时实现本发明各个实施例所述的语音板书显示方法，在此不一一赘述。

此外本发明实施例还提出一种计算机可读存储介质，其上存储有语音板书显示程序，所述存储介质可以是图1的终端中的存储器1005，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的成员设备(可以是手机，计算机，服务器，或者电视等)执行本发明各个实施例所述的语音板书显示方法。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种语音板书显示方法，其特征在于，包括以下步骤：

接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置；

根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容；

在投影区域内的待显示位置显示所述文字内容。

2.如权利要求1所述的语音板书显示方法，其特征在于，所述接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤包括：

接收用户触发激光笔的按键所发出的显示指令，根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像；

根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置；

根据所述亮点位置确定用户指定的待显示位置。

3.如权利要求2所述的语音板书显示方法，其特征在于，所述根据所述显示指令控制摄像模块对投影区域进行拍摄以得到亮点图像的步骤包括：

根据所述显示指令控制滤光片移动至所述摄像模块的前端；

控制摄像模块对投影区域进行拍摄以获取经所述滤光片滤光后的亮点图像；

所述根据所述亮点图像确定所述激光笔发出的激光亮点的亮点位置的步骤包括：

根据所述亮点图像以及亮点检测算法确定所述亮点图像内的所述激光笔发出的激光亮点的亮点位置。

4.如权利要求3所述的语音板书显示方法，其特征在于，所述根据所述亮点位置确定用户指定的待显示位置的步骤包括：

根据所述亮点位置计算其对应的投影区域坐标；

根据所述亮点位置的投影区域坐标确定投影区域内对应的待显示位置。

5.如权利要求1所述的语音板书显示方法，其特征在于，所述根据所述显示指令对用户发出的语音进行语义识别，以得到对应的文字内容的步骤包括：

根据所述显示指令控制录音模块获取用户发出的语音；

对用户发出的语音进行语义识别，以得到对应的文字内容。

6.如权利要求1-5中任一项所述的语音板书显示方法，其特征在于，所述接收用户控制激光笔发出的显示指令，根据所述显示指令确定所述激光笔发出的激光亮点投射在投影区域内的待显示位置的步骤之前，还包括：

控制摄像模块拍摄图像以识别投影区域。

7.如权利要求6所述的语音板书显示方法，其特征在于，所述控制摄像模块拍摄图像以识别投影区域的步骤包括：

控制摄像模块拍摄图像以获取包含投影区域在内的视频帧；

采用Sobel算子计算识别得出投影区域，其中Sobel算子根据视频帧的任一像素点及其附近的像素点的灰度计算得到对应的梯度值的计算公式为：

其中该像素点的坐标为Z5，Z1、Z2、Z3分别为Z5左上方、上方和右上方的像素点；Z4、Z6分别为Z5左方和右方的像素点；Z7、Z8、Z9分别为Z5左下方、下方和右下方的像素点；Gx和Gy分别为x方向和y方向的梯度分量，G为该像素点Z5所对应的梯度值；

对所述视频帧内的多个像素点进行梯度值的计算，将梯度值小于预设门限值T的像素点作为边缘像素点；

在垂直方向取两段由边缘像素点拟合而成的线段x1和x2，在水平方向取两段由边缘像素点拟合而成的线段y1和y2，并根据x1、x2、y1和y2拟合得到边缘矩形，将所述边缘矩形作为投影区域。

8.如权利要求1-5中任一项所述的语音板书显示方法，其特征在于，所述在投影区域内的待显示位置显示所述文字内容的步骤包括：

根据所述待显示位置确定其对应进行投影的演示文稿中的编辑位置；

在所述编辑位置添加所述文字内容，以使投影区域内的待显示位置相应显示所述文字内容。

9.一种语音板书显示系统，其特征在于，所述语音板书显示系统包括投影设备和激光笔，所述投影设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音板书显示程序，其中：所述语音板书显示程序被所述处理器执行时实现如权利要求1至8中任一项所述的语音板书显示方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有语音板书显示程序，所述语音板书显示程序被处理器执行时实现如权利要求1至8中任一项所述的语音板书显示方法的步骤。