CN102929387A - 一种基于普通纸笔的人机交互方法及人机交互系统 - Google Patents

Abstract

本发明公开了一种基于普通纸笔的人机交互方法及人机交互系统，其交互方法包括步骤：一、建立交互信息识别模板库并输入初始参数；二、信息交互前期预处理：获取背景信息、提取纸张信息与需交互信息采集；三、信息交互，其信息交互过程如下：信息分类符识别及信息分类和信息处理；其交互系统包括平铺在操作平台上的方形白纸、摄像头、与摄像头相接的控制器以及分别与控制器相接的参数设置单元、存储器和显示器。本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，输写方便，能简便将人们早已习惯的纸笔输入和现代化计算机技术结合在一起，简便实现二维、三维场景模拟与物理仿真。

Description

一种基于普通纸笔的人机交互方法及人机交互系统

技术领域

本发明属于混合现实领域中的信息交互技术领域，尤其是涉及一种基于普通纸笔的人机交互方法及人机交互系统。

背景技术

在当今计算机普及的时代，人与计算机的交互无处不在，因而决不能由于现有交互方式的限制，将某些研究领域阻挡在技术便利的大门之外。作为人机接口设备，鼠标与键盘扮演了极其重要的角色。然而在一定程度上鼠标与键盘却把一些人挡在了科技生活的大门之外，传统的鼠标键盘交互方式存在操作步骤比较繁琐、效率低、劳动强度较大、需长时间面对电脑且需配备相应的硬件设备等缺陷和不足。随着人机交互“自然化”的发展，传统的鼠标键盘交互方式已经不能满足用户日益增长的实际需求。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种方法步骤简单、实现方便且智能化程度高、使用效果好的计算机与纸笔信息交互方法。

为解决上述技术问题，本发明采用的技术方案是：一种一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤：

步骤一、建立交互信息识别模板库并输入初始参数：利用处理器建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸的尺寸信息；

步骤二、信息交互前期预处理，其预处理过程包括以下步骤：

步骤201、获取背景信息：通过摄像头摄取操作平台的图像信息并同步上传至处理器，所摄取的操作平台图像信息即为信息交互用背景信息，且处理器将所述背景信息存入存储器内；

步骤202、提取纸张信息：将方形白纸平铺在步骤201中所述的操作平台上，再通过摄像头摄取所述操作平台和平铺在所述操作平台上的方形白纸的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器；之后，结合步骤201中所述背景信息，所述处理器调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器将所述前景信息存入存储器内；之后，所述处理器结合步骤一中所输入方形白纸的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸的具体位置；

步骤203、需交互信息采集：处理器采用书写后采集方式或书写同步采集方式，对方形白纸上所书写的需交互图文信息进行采集；

当采用书写后采集方式进行采集时，步骤202中所述的方形白纸为上部已书写有一组或多组图文信息的方形纸；且处理器采用书写后采集方式进行采集时，处理器调用图像截取模块将步骤202中已检测出方形白纸上的图像信息截取出来，并将所截取图像信息存入存储器内；此时，存入存储器内的所截取图像信息便为需交互信息；

当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸为空白纸；本步骤中，所述处理器采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头对书写过程中各时刻方形白纸上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器；处理器调用视频运动检测模块对摄像头实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔的笔尖进行跟踪，且通过跟踪书写笔的笔尖，实时获取书写笔在方形白纸上所书写的图文信息，并将所获取的图文信息存入存储器内；此时，存入存储器内的实时所获取书写笔在方形白纸上所书写的图文信息，便为需交互信息；

步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；

步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；

步骤三、信息交互，其信息交互过程如下：

步骤301、信息分类符识别及信息分类：处理器调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类；

所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数；

步骤302、信息处理：采用处理器对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理；

且对任一组图文信息来说，所述处理器均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤203中采用书写后采集方式进行采集时，所述处理器按照方形白纸上所书写图文信息的书写位置先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理；

步骤203中采用书写同步采集方式进行采集时，所述处理器按照书写时间的先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤一中多个类型所述图文信息分类符包括纯文字信息分类符、草图绘制信息分类符、二维几何绘制信息分类符、三维几何建模信息分类符、物理信息分类符和仿真按钮信息分类符；

步骤302中进行信息处理时，对任一组图文信息来说，当步骤301中识读出该组图文信息的图文信息分类符为所述纯文字信息分类符时，该组图文信息为纯文字信息；且调用与所述纯文字信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器中；

当步骤301中识读出该组图文信息的图文信息分类符为所述草图绘制信息分类符时，该组图文信息为草图绘制信息；且调用与所述草图绘制信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用二维图像处理模块，将该组图文信息中的图文信息内容存储为图片格式，并通过显示器进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述二维几何绘制信息分类符时，该组图文信息为二维几何绘制信息；且调用与所述二维几何绘制信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维几何图形保存为图片格式；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对所保存的二维几何图形进行着色；然后，通过显示器对着色后的二维几何图形进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述三维几何建模信息分类符时，该组图文信息为三维几何建模信息；且调用与所述三维几何建模信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器中；再调用三维图像处理模块，将所识读出的二维图形信息转换为三维图形；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对转换后的三维图形进行着色；然后，通过显示器对着色后的三维图形进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述物理信息分类符时，该组图文信息为物理信息；且调用与所述物理信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器中；再调用三维图像处理模块，将所识读出的二维图形信息转换为三维图形；之后，所述处理器调用文字识别模块和/或控制符号识别模块，对是否存在与该组物理信息相关联的仿真按钮信息进行识读判断，并将识读判断结果返回至处理器：当识读得出不存在与该组物理信息相关联的仿真按钮信息时，则无需进行物理仿真，所述处理器控制显示器对转换后的三维图形进行直观显示；否则，当识读得出存在与该组物理信息相关联的仿真按钮信息时，人为通过“遮挡或不遮挡方形白纸上的该仿真按钮信息”对当前状态下“是否进行仿真”进行控制，且此时处理器调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器：当判断得出当前状态下需进行仿真时，所述处理器调用物理仿真系统，且利用转换后的三维图形进行物理仿真；而当判断得出当前状态下不进行仿真时，所述处理器控制显示器对转换后的三维图形进行直观显示。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤302中当调用与该图文信息分类符相对应的信息处理模块无法对该组图文信息进行处理时，说明该组图文信息的图文信息分类符识别错误；此时，所述处理器调用分类符识别错误标注模块对该组图文信息进行标注，再调用信息修改模块将该组图文信息的分类信息调整为待修改状态。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤202中处理器结合步骤一中所输入方形白纸的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸的四个顶点位置进行确定时，其确定过程如下：

步骤2021、前景信息中方形白纸上方两个顶点的位置确定：处理器调用目标检测模块，且根据通过所述参数设置单元预先输入的方形白纸上方两个顶点的图像，在所述前景信息中检测并确定出方形白纸上方两个顶点的位置；

步骤2022、前景信息中方形白纸上方两个顶点的位置推算：根据步骤2021中所确定的方形白纸上方两个顶点的位置，并结合步骤一中所输入的方形白纸的尺寸信息，所述处理器相应推算出方形白纸下方两个顶点的位置；

步骤2023、正交投影：根据步骤2021和步骤2022中所确定的所述前景信息中方形白纸四个顶点的位置，并结合步骤202中平铺在所述操作平台上的方形白纸的四个顶点位置，建立平铺在所述操作平台上的方形白纸四个顶点与所述前景信息中方形白纸四个顶点之间的位置关系，且通过透射变换获取透射变换矩阵，并相应获得方形白纸四个顶点的正投影点。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤203中进行需交互信息采集时，平铺在所述操作平台上的方形白纸位置保持不动。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤202中所述的方形纸上面通过多个封闭边框线划分为多个信息输入区，且步骤203中所述需交互信息中的每一组图文信息均书写在一个信息输入区内；

步骤301中进行信息分类符识别及信息分类的同时，所述处理器根据对步骤203中所述需交互信息中图文信息分类符的识读结果，并结合方形纸上的多个所述封闭边框线，且调用图像截割模块将所述需交互信息分隔为一个或多个信息区域，所述信息区域的数量与所识读出的所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符总数量相同，且步骤203中所述需交互信息中的每一组图文信息分别位于一个所述信息区域内；步骤302中进行信息处理时，所述处理器对一个或多个所述信息区域分别进行处理。

上述一种基于普通纸笔的人机交互方法，其特征是：步骤203中所述组合式标识符中的前后两个相同的标识符号，分别布设在封闭边框线的左侧上部和右侧下部；所述仿真按钮信息布设在与其相关联的一组物理信息所处的封闭边框线的左侧下部

上述一种基于普通纸笔的人机交互方法，其特征是：所述纯文字信息分类符为

所述草图绘制信息分类符为

所述二维几何绘制信息分类符为

所述三维几何建模信息分类符为所述物理信息的图文信息分类符为

所述仿真按钮信息分类符为当人为遮挡方形白纸上的表示当前状态下需进行仿真时，所述处理器调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器：当判断得出当前状态下

因遮挡不可见时，表示当前状态下需进行仿真；否则，当判断得出当前状态下

因不遮挡可见时，表示当前状态下不进行仿真。

同时，本发明还公开了一种电路设计合理、接线方便、使用操作简便且使用效果好、实用价值高的人机交互系统，其特征在于：包括平铺在操作平台上的方形白纸、用于在方形白纸上绘制一组或多组图文信息的书写笔、实时对方形白纸与方形白纸上所绘制图文信息进行摄取的摄像头、与摄像头相接且对摄像头所摄取图像信息进行识别和分析处理的处理器以及分别与处理器相接的参数设置单元、存储器和对处理器的分析处理结果进行同步显示的显示器，所述摄像头布设在方形白纸的正前方。

本发明与现有技术相比具有以下优点：

1、硬件设备简单且投入成本非常低。

2、设计新颖，采用已知尺寸白纸、普通的笔且采用摄像头作为信息交互手段，达到信息输入的目的，具体是通过摄像头读取已知尺寸白纸的信息且配合对读取信息的图像处理，实现信息输入的目的。

3、用于分类的标志形状（即图文信息分类符），绘制简单，识别准确，很容易达到对文字、草图绘制信息、二维图形绘制信息、三维几何建模信息、物理信息及仿真按钮信息等进行简便、快速且准确分类。

4、将纸张信息转化为显示器可显示的信息能激发人的情趣，物理仿真的建立能使学生更好地理解物理现象，有助于课堂教学。

5、在整个信息输入的过程中，不需要人工干预，仅仅通过在已知尺寸白纸写上自己的输入图文信息，就可以实现信息的自动录入。

6、只需在方形白纸上书写对应非常简单的二维图形信息，之后本发明能自动完成所书写信息的自动识别与处理过程。对于纯文字信息、草图信息和二维几何绘制的绘制、识别与处理更为简单，且实现方便。同外，使得三维几何模型的建模与物理仿真过程非常简便，并且所书写信息的书写要求较低，只需大概绘制图样即可。因而，实现非常简便。

7、对于物理仿真的控制过程非常简便，并且控制过程可调。

8、识别错误状态自动提醒，并且使用者修改方便，只需对方形白纸上所书写信息进行涂改即可。

综上所述，本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，将人们早已习惯的纸笔输入和现代的多样的计算机技术结合在一起，实时的把纸张上信息转换为二维或三维信息；使计算机更方便、实用地服务于大众，也使得在与计算机的交流过程中，用户信息的书写和表达更自然和具有个人特色。综上，通过数字图像处理手段对方形白纸上所书写信息进行分类和提取，并对所提取信息进行逐个分割识别，然后根据所输入的二维与三维图文信息并结合对应的模型匹配建立二维、三维场景，在几何建模领域可以做儿童游戏，如搭建城堡等，颜色识别的添加更能激发孩子的兴趣；对于物理信息与对应的三维物理模型匹配进行仿真，也可以做一些简单的物理小实验。对于人们的突然出现的灵感写在纸上，计算机可以对其仿真操作。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明所采用人机交互方法的流程框图。

图2为本发明所采用人机交互系统的工作原理框图。

图3为本发明所采用方形白纸的结构示意图。

图4为采用本发明对三棱锥进行三维几何建模时在方形白纸上所书写的图文信息内容的结构示意图。

图5为采用本发明对红旗进行三维几何建模时在方形白纸上所书写的图文信息内容的结构示意图。

图6为采用本发明对太阳进行三维几何建模时在方形白纸上所书写的图文信息内容的结构示意图。

图7为采用本发明对气球进行三维几何建模时在方形白纸上所书写的图文信息内容的结构示意图。

图8为采用本发明对圆球进行物理仿真时方形白纸上所书写的图文信息内容的结构示意图。

图9为采用本发明对单摆进行物理仿真时方形白纸上所书写的图文信息内容的结构示意图。

图10为采用本发明对弹簧进行物理仿真时方形白纸上所书写的图文信息内容的结构示意图。

图11为采用本发明对障碍物进行物理仿真时方形白纸上所书写的图文信息内容的结构示意图。

图12为采用本发明对天花板进行物理仿真时方形白纸上所书写的图文信息内容的结构示意图。

附图标记说明:

1—方形白纸；      2—摄像头；       3—PC机；

3-1—控制器；      3-2—显示器；     3-3—鼠标；

3-4—键盘；        3-5—存储器；     4—书写笔；

5—封闭边框线；    6—信息输入区；   7-1—纯文字信息分类符；

7-2—草图绘制信息分类符；

7-3—二维几何绘制信息分类符；

7-4—三维几何建模信息分类符；        7-5—物理信息分类符；

7-6—仿真按钮信息分类符。

具体实施方式

如图1所示的一种基于普通纸笔的人机交互方法，包括以下步骤：

步骤一、建立交互信息识别模板库并输入初始参数：利用处理器3-1建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸1的尺寸信息，本发明所采用硬件系统的电路原理框图详见图2。

步骤二、信息交互前期预处理，其预处理过程包括以下步骤：

步骤201、获取背景信息：通过摄像头2摄取操作平台的图像信息并同步上传至处理器3-1，所摄取的操作平台图像信息即为信息交互用背景信息，且处理器3-1将所述背景信息存入存储器3-5内。

实际操作过程中，在方形白纸1进入所述操作平台前，摄像头2处于等待状态；当前状态下，所述操作平台的图像信息作为背景信息，允许背景是任意的。

步骤202、提取纸张信息：将方形白纸1平铺在步骤201中所述的操作平台上，再通过摄像头2摄取所述操作平台和平铺在所述操作平台上的方形白纸1的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器3-1；之后，结合步骤201中所述背景信息，所述处理器3-1调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器3-1将所述前景信息存入存储器3-5内；之后，所述处理器3-1结合步骤一中所输入方形白纸1的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸1的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸1的具体位置。

实际使用过程中，将方形白纸1平铺在所述操作平台上后，对方形白纸1在所述操作平台上的位置进行检测，具体是对方形白纸1的四个顶点在所述操作平台上的位置进行检测。本实施例中，所述处理器3-1调用目标检测模块，检测出方形白纸1在所述操作平台上的位置。

步骤203、需交互信息采集：处理器3-1采用书写后采集方式或书写同步采集方式，对方形白纸1上所书写的需交互图文信息进行采集。

当采用书写后采集方式进行采集时，步骤202中所述的方形白纸1为上部已书写有一组或多组图文信息的方形纸；且处理器3-1采用书写后采集方式进行采集时，处理器3-1调用图像截取模块将步骤202中已检测出方形白纸1上的图像信息截取出来，并将所截取图像信息存入存储器3-5内；此时，存入存储器3-5内的所截取图像信息便为需交互信息。

当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸1为空白纸；本步骤中，所述处理器3-1采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头2对书写过程中各时刻方形白纸1上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器3-1；处理器3-1调用视频运动检测模块对摄像头2实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔4的笔尖进行跟踪，且通过跟踪书写笔4的笔尖，实时获取书写笔4在方形白纸1上所书写的图文信息，并将所获取的图文信息存入存储器3-5内；此时，存入存储器3-5内的实时所获取书写笔4在方形白纸1上所书写的图文信息，便为需交互信息。

步骤203中所述需交互信息包括一组或多组图文信息。且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符。

步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联。

本实施例中，步骤203中进行需交互信息采集时，平铺在所述操作平台上的方形白纸1位置保持不动。

本实施例中，所述方形白纸1为A4纸或B5纸，实际使用时，也可以采用其它规格的纸张。

步骤三、信息交互，其信息交互过程如下：

步骤301、信息分类符识别及信息分类：处理器3-1调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类。

所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数。

步骤302、信息处理：采用处理器3-1对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理。

且对任一组图文信息来说，所述处理器3-1均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。

本实施例中，结合图3，步骤一中多个类型所述图文信息分类符包括纯文字信息分类符7-1、草图绘制信息分类符7-2、二维几何绘制信息分类符7-3、三维几何建模信息分类符7-4、物理信息分类符7-5和仿真按钮信息分类符7-6。

本实施例中，所述纯文字信息分类符7-1为

所述草图绘制信息分类符7-2为

所述二维几何绘制信息分类符7-3为

所述三维几何建模信息分类符7-4为所述物理信息的图文信息分类符为

所述仿真按钮信息分类符7-6为当人为遮挡方形白纸1上的

表示当前状态下需进行仿真时，所述处理器3-1调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器3-1：当判断得出当前状态下

因遮挡不可见时，表示当前状态下需进行仿真；否则，当判断得出当前状态下

因不遮挡可见时，表示当前状态下不进行仿真。

相应地，步骤301中进行信息分类符识别及信息分类时，通过组合式符号

来区分纯文字信息，通过组合式符号

来区分草图绘制信息，通过组合式符号

来区分二维几何绘制信息，通过组合式符号

来区分三维几何建模信息，通过组合式符号

来区分物理信息，且通过符号

来区分仿真按钮信息，并通过符号

是否可见来区分是否进行仿真。

实际使用时，所述纯文字信息分类符7-1、草图绘制信息分类符7-2、二维几何绘制信息分类符7-3、三维几何建模信息分类符7-4、物理信息分类符7-5和仿真按钮信息分类符7-6也可以采用其它类型的分类符，只需简单、清楚且易于辨识即可。

本实施例中，所述纯文字信息分类符7-1、草图绘制信息分类符7-2、二维几何绘制信息分类符7-3、三维几何建模信息分类符7-4、物理信息分类符7-5和仿真按钮信息分类符7-6所采用的上述符号，充分考虑了简易书写与方便记忆的需求，同时计算机能够精确识别，并相互区别。

实际使用过程中，可以根据实际需要，对步骤一中所述交互信息识别模板库内的述图文信息分类符的类型进行进一步拓展，即相应在所述交互信息识别模板库内逐渐增添其它需进行信息交互的信息分类符类型，逐渐对所述交互信息识别模板库进行完善。

本实施例中，步骤202中处理器3-1结合步骤一中所输入方形白纸1的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸1的四个顶点位置进行确定时，其确定过程如下：

步骤2021、前景信息中方形白纸上方两个顶点的位置确定：处理器3-1调用目标检测模块，且根据通过所述参数设置单元预先输入的方形白纸1上方两个顶点的图像，在所述前景信息中检测并确定出方形白纸1上方两个顶点的位置；

步骤2022、前景信息中方形白纸上方两个顶点的位置推算：根据步骤2021中所确定的方形白纸1上方两个顶点的位置，并结合步骤一中所输入的方形白纸1的尺寸信息，所述处理器3-1相应推算出方形白纸1下方两个顶点的位置；

步骤2023、正交投影：根据步骤2021和步骤2022中所确定的所述前景信息中方形白纸1四个顶点的位置，并结合步骤202中平铺在所述操作平台上的方形白纸1的四个顶点位置（即上述所获取的方形白纸1四个顶点在所述操作平台上的位置），建立平铺在所述操作平台上的方形白纸1四个顶点与所述前景信息中方形白纸1四个顶点之间的位置关系，且通过透射变换获取透射变换矩阵，并相应获得方形白纸1四个顶点的正投影点。

本实施例中，通过透视变换，将这所述前景信息中方形白纸1的四个顶点均校正为正交投影，同时将所述前景信息中方形白纸1内的图像截取出来。

本实施例中，当所述方形白纸1进入所述操作平台后，通过摄像头2检测出方形白纸1上方的两个角点，此处通过目标检测方法，即事先定义出方形白纸1上方两个角的图像，然后通过所定义的两个角的图像，去定位当前摄像头2所获得前景信息中的两个角的位置方框，然后通过角点检测和直线检测，定位出这两个角点的二维坐标。同时，为了提高精度，可事先对摄像头2进行标定，通过标定得到摄像头2的参数，对所获得的图像进行校正。之后，根据方形白纸1的尺寸，估算出方形白纸1剩下两个角点的二维坐标，从而得到整个纸张的信息。

实际对所述前景信息中方形白纸1的四个顶点位置进行确定时，还可采用2011年02月16日公开的申请号为201010298962.1且发明名称为《一种基于摄像头的计算机与纸笔信息交互系统及方法》的发明专利申请中，所公开的方法，对方形白纸1的四个顶点位置进行确定。

本实施例中，步骤203中采用书写后采集方式进行采集时，所述处理器3-1按照方形白纸1上所书写图文信息的书写位置先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理；

步骤203中采用书写同步采集方式进行采集时，所述处理器3-1按照书写时间的先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理。

本实施例中，步骤302中进行信息处理时，对任一组图文信息来说，当步骤301中识读出该组图文信息的图文信息分类符为所述纯文字信息分类符7-1时，该组图文信息为纯文字信息；且调用与所述纯文字信息分类符7-1相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器3-5中。

当步骤301中识读出该组图文信息的图文信息分类符为所述草图绘制信息分类符7-2时，该组图文信息为草图绘制信息；且调用与所述草图绘制信息分类符7-2相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用二维图像处理模块，将该组图文信息中的图文信息内容存储为图片格式，并通过显示器3-2进行直观显示。

当步骤301中识读出该组图文信息的图文信息分类符为所述二维几何绘制信息分类符7-3时，该组图文信息为二维几何绘制信息；且调用与所述二维几何绘制信息分类符7-3相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维几何图形保存为图片格式；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对所保存的二维几何图形进行着色；然后，通过显示器3-2对着色后的二维几何图形进行直观显示。

当步骤301中识读出该组图文信息的图文信息分类符为所述三维几何建模信息分类符7-4时，该组图文信息为三维几何建模信息；且调用与所述三维几何建模信息分类符7-4相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器3-5中；再调用三维图像处理模块（具体是与识读出的二维图形信息相连接的3D模型），将所识读出的二维图形信息转换为三维图形；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对转换后的三维图形进行着色；然后，通过显示器3-2对着色后的三维图形进行直观显示。

当步骤301中识读出该组图文信息的图文信息分类符为所述物理信息分类符7-5时，该组图文信息为物理信息；且调用与所述物理信息分类符7-5相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器3-5中；再调用三维图像处理模块（具体是与识读出的二维图形信息相连接的3D模型），将所识读出的二维图形信息转换为三维图形；之后，所述处理器3-1调用文字识别模块和/或控制符号识别模块，对是否存在与该组物理信息相关联的仿真按钮信息进行识读判断，并将识读判断结果返回至处理器3-1：当识读得出不存在与该组物理信息相关联的仿真按钮信息时，则无需进行物理仿真，所述处理器3-1控制显示器3-2对转换后的三维图形进行直观显示；否则，当识读得出存在与该组物理信息相关联的仿真按钮信息时，人为通过“遮挡或不遮挡方形白纸1上的该仿真按钮信息”对当前状态下“是否进行仿真”进行控制，且此时处理器3-1调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器3-1：当判断得出当前状态下需进行仿真时，所述处理器3-1调用物理仿真系统，且利用转换后的三维图形进行物理仿真；而当判断得出当前状态下不进行仿真时，所述处理器3-1控制显示器3-2对转换后的三维图形进行直观显示。

实际使用时，步骤202中所述的方形纸1上面通过多个封闭边框线5划分为多个信息输入区6，且步骤203中所述需交互信息中的每一组图文信息均书写在一个信息输入区6内。

实际进行布设时，多个所述封闭边框线5由上至下布设在同一竖直线上，且多个所述封闭边框线5均布设在方形纸1的中部，多个所述封闭边框线5呈均匀布设。本实施例中，所述封闭边框线5为方框，且信息输入区6的形状相应为方形，所述方框具体为虚线框。

本实施例中，步骤301中进行信息分类符识别及信息分类的同时，所述处理器3-1根据对步骤203中所述需交互信息中图文信息分类符的识读结果，并结合方形纸1上的多个所述封闭边框线5，且调用图像截割模块将所述需交互信息分隔为一个或多个信息区域，所述信息区域的数量与所识读出的所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符总数量相同，且步骤203中所述需交互信息中的每一组图文信息分别位于一个所述信息区域内；步骤302中进行信息处理时，所述处理器3-1对一个或多个所述信息区域分别进行处理。

也就是说，步骤301中进行信息分类符识别及信息分类的同时，所述数据处理器3-1通过对所述封闭边框线5的外轮廓线进行提取，实现对所述需交互信息中多组图文信息进行分割的目的。之后，步骤302中进行信息处理时，所述处理器3-1对分割后的各组图像分别进行处理。

本实施例中，采用书写同步采集方式进行采集时，所述方形白纸1的位置不动，因而能通过运动检测方法确定书写笔4的笔尖位置，通过所获取图像信息中的前后帧差能确定所述方形白纸1上，书写笔4划过留下的痕迹区域，获取当前所书写的信息；然后通过对所述封闭边框线5的外轮廓线进行检测，将书写笔4所书写的全部内容分割成独立的小块（即独立的各组图文信息），针对每一个小块进行分类与处理。

本实施例中，步骤203中所述组合式标识符中的前后两个相同的标识符号，分别布设在封闭边框线5的左侧上部和右侧下部；所述仿真按钮信息布设在与其相关联的一组物理信息所处的封闭边框线5的左侧下部。

综上所述，本发明先通过提取各封闭边框线5的外轮廓线，对所述需交互信息中所包括的各组图文信息进行逐个分割，之后再对分割后的各组图文信息分别进行分类与处理。对于纯文字信息，分割后读取文字信息并以文本格式进行存储，其中文字信息为数字、汉字、字母等；对于草图绘制信息，分割后读取其图文信息内容，并以图像格式直接显示在显示器3-2上；对于二维几何绘制信息，分割后读取2D图像，并根据着色需求显示在显示器3-2上；对于三维几何建模信息，分割后经识读获取2D图像，再通过与所识读2D图像相关联的3D模型，获取3D图形并根据着色需求，显示在显示器3-2上；对于物理信息，分割后经识读获取2D图像，再通过与所识读2D图像相关联的3D模型，获取3D图形并根据着色需求，显示在显示器3-2上，其与三维几何建模信息的处理方法相同。对于仿真按钮信息，当当前状态下

因遮挡不可见时，表示当前状态下需进行仿真，此时场景开始动力学仿真；否则，当判断得出当前状态下

因不遮挡可见时，表示当前状态下不进行仿真，此时场景静止。

结合图4至图12，进行三维几何模型建模或者进行物理仿真时，只需在方形白纸1上书写对应非常简单的二维图形信息，之后本发明能自动完成所书写信息的自动识别与处理过程，三维几何模型的建模与物理仿真过程非常简便，并且所书写信息的书写要求较低，只需大概绘制图样即可。因而，实现非常简便。同时，对于纯文字信息、草图信息和二维几何绘制的绘制、识别与处理更为简单，且实现方便。同时，对于物理仿真的控制过程非常简便，并且控制过程可调。

实际操作过程中，实际进行信息交互之前，还需采用处理器3-1建立能够对纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息和仿真按钮信息这六种信息进行分类的分类器模型。具体而言，先通过建立正负样本及相应描述文件，再通过轮廓提取或直接建立样本的特征矢量文件，之后通过机器学习得到最终的分类器模型，并采用训练样本对所建立的分类器模型进行训练。

另外，本实施例中，步骤302中当调用与该图文信息分类符相对应的信息处理模块无法对该组图文信息进行处理时，说明该组图文信息的图文信息分类符识别错误；此时，所述处理器3-1调用分类符识别错误标注模块对该组图文信息进行标注，再调用信息修改模块将该组图文信息的分类信息调整为待修改状态。

本实施例中，所述处理器3-1调用分类符识别错误标注模块对该组图文信息进行标注后，并在显示器3-2上通过问号对该组图文信息进行标注，并允许用户在原来的基础上重新涂写更改，以进行正确识别。

如图2所示的一种人机交互系统，包括平铺在操作平台上的方形白纸1、用于在方形白纸1上绘制一组或多组图文信息的书写笔4、实时对方形白纸1与方形白纸1上所绘制图文信息进行摄取的摄像头2、与摄像头2相接且对摄像头2所摄取图像信息进行识别和分析处理的处理器3-1以及分别与处理器3-1相接的参数设置单元、存储器3-5和对处理器3-1的分析处理结果进行同步显示的显示器3-2，所述摄像头2布设在方形白纸1的正前方。

本实施例中，所述参数设置单元为分别与控制器3-1相接的鼠标3-3和键盘3-4，且所述控制器3-1、显示器3-2、鼠标3-3和键盘3-4组装成一个PC机3。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (10)

1.一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤：

步骤一、建立交互信息识别模板库并输入初始参数：利用处理器（3-1）建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸（1）的尺寸信息；

步骤二、信息交互前期预处理，其预处理过程包括以下步骤：

步骤201、获取背景信息：通过摄像头（2）摄取操作平台的图像信息并同步上传至处理器（3-1），所摄取的操作平台图像信息即为信息交互用背景信息，且处理器（3-1）将所述背景信息存入存储器（3-5）内；

步骤202、提取纸张信息：将方形白纸（1）平铺在步骤201中所述的操作平台上，再通过摄像头（2）摄取所述操作平台和平铺在所述操作平台上的方形白纸（1）的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器（3-1）；之后，结合步骤201中所述背景信息，所述处理器（3-1）调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器（3-1）将所述前景信息存入存储器（3-5）内；之后，所述处理器（3-1）结合步骤一中所输入方形白纸（1）的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸（1）的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸（1）的具体位置；

步骤203、需交互信息采集：处理器（3-1）采用书写后采集方式或书写同步采集方式，对方形白纸（1）上所书写的需交互图文信息进行采集；

当采用书写后采集方式进行采集时，步骤202中所述的方形白纸（1）为上部已书写有一组或多组图文信息的方形纸；且处理器（3-1）采用书写后采集方式进行采集时，处理器（3-1）调用图像截取模块将步骤202中已检测出方形白纸（1）上的图像信息截取出来，并将所截取图像信息存入存储器（3-5）内；此时，存入存储器（3-5）内的所截取图像信息便为需交互信息；

当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸（1）为空白纸；本步骤中，所述处理器（3-1）采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头（2）对书写过程中各时刻方形白纸（1）上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器（3-1）；处理器（3-1）调用视频运动检测模块对摄像头（2）实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔（4）的笔尖进行跟踪，且通过跟踪书写笔（4）的笔尖，实时获取书写笔（4）在方形白纸（1）上所书写的图文信息，并将所获取的图文信息存入存储器（3-5）内；此时，存入存储器（3-5）内的实时所获取书写笔（4）在方形白纸（1）上所书写的图文信息，便为需交互信息；

步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；

步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；

步骤三、信息交互，其信息交互过程如下：

步骤301、信息分类符识别及信息分类：处理器（3-1）调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类；

所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数；

步骤302、信息处理：采用处理器（3-1）对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理；

且对任一组图文信息来说，所述处理器（3-1）均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。

2.按照权利要求1所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤203中采用书写后采集方式进行采集时，所述处理器（3-1）按照方形白纸（1）上所书写图文信息的书写位置先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理；

步骤203中采用书写同步采集方式进行采集时，所述处理器（3-1）按照书写时间的先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理。

3.按照权利要求1或2所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤一中多个类型所述图文信息分类符包括纯文字信息分类符（7-1）、草图绘制信息分类符（7-2）、二维几何绘制信息分类符（7-3）、三维几何建模信息分类符（7-4）、物理信息分类符（7-5）和仿真按钮信息分类符（7-6）；

步骤302中进行信息处理时，对任一组图文信息来说，当步骤301中识读出该组图文信息的图文信息分类符为所述纯文字信息分类符（7-1）时，该组图文信息为纯文字信息；且调用与所述纯文字信息分类符（7-1）相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器（3-5）中；

当步骤301中识读出该组图文信息的图文信息分类符为所述草图绘制信息分类符（7-2）时，该组图文信息为草图绘制信息；且调用与所述草图绘制信息分类符（7-2）相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用二维图像处理模块，将该组图文信息中的图文信息内容存储为图片格式，并通过显示器（3-2）进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述二维几何绘制信息分类符（7-3）时，该组图文信息为二维几何绘制信息；且调用与所述二维几何绘制信息分类符（7-3）相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维几何图形保存为图片格式；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对所保存的二维几何图形进行着色；然后，通过显示器（3-2）对着色后的二维几何图形进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述三维几何建模信息分类符（7-4）时，该组图文信息为三维几何建模信息；且调用与所述三维几何建模信息分类符（7-4）相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器（3-5）中；再调用三维图像处理模块，将所识读出的二维图形信息转换为三维图形；之后，调用颜色识别模块对该组图文信息中图文信息内容的颜色进行识别，并根据识别结果且调用着色模块对转换后的三维图形进行着色；然后，通过显示器（3-2）对着色后的三维图形进行直观显示；

当步骤301中识读出该组图文信息的图文信息分类符为所述物理信息分类符（7-5）时，该组图文信息为物理信息；且调用与所述物理信息分类符（7-5）相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识读出的二维图形信息保存至存储器（3-5）中；再调用三维图像处理模块，将所识读出的二维图形信息转换为三维图形；之后，所述处理器（3-1）调用文字识别模块和/或控制符号识别模块，对是否存在与该组物理信息相关联的仿真按钮信息进行识读判断，并将识读判断结果返回至处理器（3-1）：当识读得出不存在与该组物理信息相关联的仿真按钮信息时，则无需进行物理仿真，所述处理器（3-1）控制显示器（3-2）对转换后的三维图形进行直观显示；否则，当识读得出存在与该组物理信息相关联的仿真按钮信息时，人为通过“遮挡或不遮挡方形白纸（1）上的该仿真按钮信息”对当前状态下“是否进行仿真”进行控制，且此时处理器（3-1）调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器（3-1）：当判断得出当前状态下需进行仿真时，所述处理器（3-1）调用物理仿真系统，且利用转换后的三维图形进行物理仿真；而当判断得出当前状态下不进行仿真时，所述处理器（3-1）控制显示器（3-2）对转换后的三维图形进行直观显示。

4.按照权利要求1或2所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤302中当调用与该图文信息分类符相对应的信息处理模块无法对该组图文信息进行处理时，说明该组图文信息的图文信息分类符识别错误；此时，所述处理器（3-1）调用分类符识别错误标注模块对该组图文信息进行标注，再调用信息修改模块将该组图文信息的分类信息调整为待修改状态。

5.按照权利要求1或2所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤202中处理器（3-1）结合步骤一中所输入方形白纸（1）的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸（1）的四个顶点位置进行确定时，其确定过程如下：

步骤2021、前景信息中方形白纸上方两个顶点的位置确定：处理器（3-1）调用目标检测模块，且根据通过所述参数设置单元预先输入的方形白纸（1）上方两个顶点的图像，在所述前景信息中检测并确定出方形白纸（1）上方两个顶点的位置；

步骤2022、前景信息中方形白纸上方两个顶点的位置推算：根据步骤2021中所确定的方形白纸（1）上方两个顶点的位置，并结合步骤一中所输入的方形白纸（1）的尺寸信息，所述处理器（3-1）相应推算出方形白纸（1）下方两个顶点的位置；

步骤2023、正交投影：根据步骤2021和步骤2022中所确定的所述前景信息中方形白纸（1）四个顶点的位置，并结合步骤202中平铺在所述操作平台上的方形白纸（1）的四个顶点位置，建立平铺在所述操作平台上的方形白纸（1）四个顶点与所述前景信息中方形白纸（1）四个顶点之间的位置关系，且通过透射变换获取透射变换矩阵，并相应获得方形白纸（1）四个顶点的正投影点。

6.按照权利要求1或2所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤203中进行需交互信息采集时，平铺在所述操作平台上的方形白纸（1）位置保持不动。

7.按照权利要求1或2所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤202中所述的方形纸（1）上面通过多个封闭边框线（5）划分为多个信息输入区（6），且步骤203中所述需交互信息中的每一组图文信息均书写在一个信息输入区（6）内；

步骤301中进行信息分类符识别及信息分类的同时，所述处理器（3-1）根据对步骤203中所述需交互信息中图文信息分类符的识读结果，并结合方形纸（1）上的多个所述封闭边框线（5），且调用图像截割模块将所述需交互信息分隔为一个或多个信息区域，所述信息区域的数量与所识读出的所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符总数量相同，且步骤203中所述需交互信息中的每一组图文信息分别位于一个所述信息区域内；步骤302中进行信息处理时，所述处理器（3-1）对一个或多个所述信息区域分别进行处理。

8.按照权利要求7所述的一种基于普通纸笔的人机交互方法，其特征在于：步骤203中所述组合式标识符中的前后两个相同的标识符号，分别布设在封闭边框线（5）的左侧上部和右侧下部；所述仿真按钮信息布设在与其相关联的一组物理信息所处的封闭边框线（5）的左侧下部。

9.按照权利要求3所述的一种基于普通纸笔的人机交互方法，其特征在于：所述纯文字信息分类符（7-1）为

所述草图绘制信息分类符（7-2）为

所述二维几何绘制信息分类符（7-3）为

所述三维几何建模信息分类符（7-4）为

所述物理信息的图文信息分类符为

所述仿真按钮信息分类符（7-6）为

当人为遮挡方形白纸（1）上的

表示当前状态下需进行仿真时，所述处理器（3-1）调用仿真判断模块对当前状态下“是否进行仿真”进行判断，并将判断结果返回至处理器（3-1）：当判断得出当前状态下

因遮挡不可见时，表示当前状态下需进行仿真；否则，当判断得出当前状态下

因不遮挡可见时，表示当前状态下不进行仿真。

10.一种用于实现如权利要求1所述人机交互方法的人机交互系统，其特征在于：包括平铺在操作平台上的方形白纸（1）、用于在方形白纸（1）上绘制一组或多组图文信息的书写笔（4）、实时对方形白纸（1）与方形白纸（1）上所绘制图文信息进行摄取的摄像头（2）、与摄像头（2）相接且对摄像头（2）所摄取图像信息进行识别和分析处理的处理器（3-1）以及分别与处理器（3-1）相接的参数设置单元、存储器（3-5）和对处理器（3-1）的分析处理结果进行同步显示的显示器（3-2），所述摄像头（2）布设在方形白纸（1）的正前方。

Images