CN104991640B

CN104991640B - 交互界面上的实物编程系统和方法

Info

Publication number: CN104991640B
Application number: CN201510335980.5A
Authority: CN
Inventors: 施政; 王慧慧; 杜耀宏
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-06-17
Filing date: 2015-06-17
Publication date: 2018-03-27
Anticipated expiration: 2035-06-17
Also published as: WO2016202270A1; CN104991640A

Abstract

一种交互界面上的实物编程系统和方法。实物编程系统包括若干实物编程块、一个交互界面、一个第一存储器、一个第二存储器和一个处理器。实物编程块包括一个标记在表面的编程符号。交互界面包括一个电极阵列。处理器与交互界面相连，用于探测实物编程块和交互界面的电极阵列的电容耦合程度，从而识别实物编程块的位置信息和作用于实物编程块上的手指触摸手势，还用于识别放置在交互界面上的实物编程块的身份信息。第一存储器与处理器相连，用于存储实物编程块的身份、编程符号和程序代码之间的关系。第二存储器与处理器相连，用于存储手指触摸手势与编程符号的程序设计逻辑之间的关系。其中，若干实物编程块放置在交互界面上，手指触摸手势作用于实物编程块，处理器生成基于手指触摸手势和实物编程块的编程符号的一段程序代码。

Description

交互界面上的实物编程系统和方法

技术领域

本发明属于人机交互领域，尤其是涉及一种交互界面上的实物编程系统和方法。

背景技术

伴随着计算技术的迅速发展，计算思维得到了越来越多的研究人员的重视。卡内基梅隆大学的教授周以真提出，计算思维是21世纪每个人都应该具备的基本技能，同时指出计算思维将成为和读、写、算同样重要的每个儿童都应该具备的能力。计算思维有助于儿童发展分析能力，对他们在STEM（科学、技术、工程和数学）学科和其他领域，甚至是日常生活都有很大的好处。编程允许儿童去探讨创造性的议题，并使其学习问题求解的技能。虽然计算思维并不只是计算机编程，但计算机科学与技术学科要求的编程能力中却处处需要计算思维能力，两者是相互促进的。

传统的编程通常是通过键盘输入文本语言来完成。这种编程方式对儿童而言，理解和使用起来很不方便，主要原因是传统编程语言中的语法、复杂指令以及大量输入工作。儿童很难记住和理解程序语言的语法、逻辑关系和程序架构等非常专业的知识。此外，对文字掌握得还不纯熟的儿童来说，程序的文本编辑方式缺乏直观性，儿童无法采用传统的编程方式来创作自己的程序。

图形化编程向儿童提供了一种编程的可行途径。它将各种编程的概念转化为显示在屏幕上的各种图形，儿童只需要对于各种图形进行拖动，就可以完成编程的整个过程。而实物编程被认为是图形化编程的一个分支。与图形化编程不同之处在于，实物编程对于程序的操作超越了计算机屏幕的限制。实物编程通过触觉、物理感知等技术与实物交互，再将实物逻辑转化为程序逻辑来进行编程。与直接让儿童操控电脑相比，让儿童通过操纵实物来与电脑进行交互，更容易让儿童投入在整个过程当中。通过实物编程系统，儿童可以对程序语言的逻辑有更加直观的理解。程序不再是一行行枯燥的代码，而是一组实物的组合，儿童通过对实物的拼接组合，就可以完成普通程序语言通过键盘输入代码完成的工作。实物编程的特点决定了它更适合儿童进行编程操作。

当前已经有一些实物编程的工作，这些工作是用户根据所选实物编程的任务及任务执行规则摆放实物编程块，形成一个实物编程块序列，对实物编程块位置的限制比较多。

发明内容

针对上述存在的问题，本发明提供一种交互界面上的实物编程系统和方法，用手指触摸手势表示实物编程块的编程符号的程序设计逻辑。

本发明提供一种交互界面上的实物编程系统，包括：

若干实物编程块，每一所述实物编程块包括一个标记在表面的编程符号；

一个交互界面，所述交互界面包括一个电极阵列；

一个与所述交互界面相连的处理器，所述处理器用于探测所述实物编程块与所述交互界面的电极阵列的电容耦合程度，进而识别所述实物编程块的位置信息和作用于所述实物编程块上的手指触摸手势，所述处理器还用于识别放置在所述交互界面上的所述实物编程块的身份信息；

一个与所述处理器相连的第一存储器，所述第一存储器用于存储所述实物编程块的身份、编程符号与程序代码之间的关系；

一个与所述处理器相连的第二存储器，所述第二存储器用于存储所述手指触摸手势与编程符号的程序设计逻辑之间的关系；

其中，若干所述实物编程块放置在所述交互界面上，所述手指触摸手势作用于若干所述实物编程块，所述处理器生成基于所述手指触摸手势和编程符号的一段程序代码。

进一步地，所述处理器识别放置在所述交互界面上的所述实物编程块的身份的方式为：所述实物编程块的射频识别标签与所述交互界面的射频天线阵列进行无线通信。

进一步地，所述手指触摸手势包括轻点手势、双轻点手势、按压手势。所述轻点手势，指快速碰触实物编程块。所述双轻点手势，指连续快速轻点实物编程块两次。按压手势，指将手指放置在实物编程块上维持一段时间。

进一步地，所述实物编程系统还包括一个反馈装置，所述反馈装置包括LED灯、音频装置、视频装置和振动发生器，所述处理器能指示反馈装置产生一个反馈，所述反馈用来指示所述程序代码的执行进度。

进一步地，所述交互界面用于显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。

本发明提供一种交互界面上的实物编程方法，包括以下步骤：

1）将若干实物编程块放置在交互界面上，每一所述实物编程块包括一个标记在表面的编程符号，所述交互界面包括一个电极阵列；

2）与交互界面相连的处理器探测所述实物编程块与所述交互界面的电极阵列的电容耦合程度，进而识别所述实物编程块的位置信息，所述处理器还识别放置在所述交互界面上的所述实物编程块的身份信息；

3）手指触摸手势作用于若干所述实物编程块；

4）所述处理器探测到所述实物编程块与所述电极阵列的电容耦合程度的变化，进而识别所述手指触摸手势；

5）根据与所述处理器相连的第一存储器存储的所述实物编程块的身份、编程符号与程序代码之间的关系以及与所述处理器相连的第二存储器存储的所述手指触摸手势与编程符号的程序设计逻辑之间的关系，所述处理器生成基于所述编程符号和手指触摸手势的一段程序代码。

进一步的，所述处理器识别放置在交互界面上的实物编程块的身份的方式为：所述实物编程块的射频识别标签与所述交互界面的射频天线阵列进行无线通信。

进一步的，所述处理器能指示反馈装置产生一个反馈，所述反馈用来指示所述程序代码的执行进度，所述反馈装置包括LED灯、音频装置、视频装置和振动发生器。

进一步的，所述交互界面显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。

本发明提供一种交互界面上的实物编程系统和方法。本实物编程系统用手指触摸手势表示实物编程块的编程符号的程序设计逻辑。这种实物编程系统使用起来更为方便，使儿童和新手更容易学习编程。

附图说明

图1为本实物编程系统的示意图；

图2A为编程符号代表子函数的实物编程块的示意图；

图2B为编程符号代表运动方式的实物编程块的示意图；

图2C为编程符号代表动作的实物编程块的示意图；

图2D为编程符号代表格点位置的实物编程块的示意图；

图3为用本实物编程系统点亮交互界面上第三排奇数格点的LED灯的示意图；

图4为用本实物编程系统点亮交互界面上第一排三个奇数格点和第三排两个奇数格点的LED灯的示意图；

图5为用本实物编程系统点亮交互界面上第二排奇数格点的LED灯的示意图；

图6为本实物编程方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

实施例一

实施例一提供了一种用实物编程块和手指触摸手势生成和执行计算机程序的系统。图1是本发明的实物编程系统的示意图。本实物编程系统包括若干实物编程块1、一个交互界面2、一个处理器3、一个第一存储器4和一个第二存储器5。

每一实物编程块1包括一个标记在表面的编程符号，每个编程符号有不同图案。每一实物编程块1包括一个射频识别（RFID）标签。实物编程块1可以是卡片、按钮、图标、薄片或者雕像。图1所示的交互界面2包括一个电极阵列和一个射频（RF）天线阵列。在本实施例中，电极为诸如铝片、铜片等金属电极。制成实物编程块1的材料包括能与电极进行电容耦合的材料。

处理器3与交互界面2相连。处理器3能探测到交互界面上的实物编程块1与交互界面2的电极阵列的电容耦合程度，进而推断出实物编程块1的位置。通过交互界面上的实物编程块1的射频识别标签与交互界面2的射频天线阵列的无线通信，处理器3能探测到实物编程块1的身份。手指触摸手势作用于实物编程块1时，实物编程块1与交互界面2的电容耦合程度发生变化，处理器3能探测到这种变化，进而识别手指触摸手势。所述手指触摸手势包括轻点手势、双轻点手势、按压手势。所述轻点手势，指快速碰触实物编程块。所述双轻点手势，指连续快速轻点实物编程块两次。所述按压手势，指将手指放置在实物编程块上维持一段时间。

第一存储器4与处理器3相连，第一存储器4存储了实物编程块的身份、编程符号和程序代码之间的关系。第二存储器5与处理器3相连，第二存储器5存储了手指触摸手势和实物编程块的编程符号的程序设计逻辑之间的关系。用户可以根据自己的喜好，定义手指触摸手势对应的程序设计逻辑。第二存储器5有一个初始值（即手指触摸手势和实物编程块的编程符号的程序设计逻辑之间的默认关系），用户可以恢复第二存储器5的初始值。当用户需要使用第一实物编程块1进行编程时，用手指触摸手势作用在第一实物编程块1上。当用户需要使用第N（N为大于1的整数）实物编程块1进行编程时，用手指触摸手势作用在第N（N为大于1的整数）实物编程块1上。若干实物编程块1放置在交互界面上，手指触摸手势作用于若干实物编程块1上，处理器3能生成基于实物编程块1的编程符号和手指触摸手势一段程序代码。交互界面2用于显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。

图1所示的实物编程系统还包括一个反馈装置11。反馈装置11包括LED灯、音频装置、视频装置和振动发生器。处理器3用于指示反馈装置11产生一个反馈，所述反馈用来指示程序代码的执行进度。

实施例二

实施例二提供了一个用本发明的实物编程系统进行实物编程的例子。

图2A、图2B、图2C和图2D是实施例二、三、四中的实物编程任务所用到的实物编程块。如图2A所示，实物编程块的编程符号代表子函数，用“P1”和“P2”表示子函数，定义子函数时用“=”表示。如图2B所示，实物编程块的编程符号代表运动方式。运动方式包括：向上运动，向下运动，向左运动，向右运动。如图2C所示，实物编程块的编程符号代表动作，动作包括：点亮LED灯，不点亮LED灯。如图2D所示，实物编程块的编程符号代表格点位置，用“odd”表示第N排第奇数个格点。

实施例二实物编程的任务是点亮第三排的奇数格点的LED灯10（在图3中，仅标出一个LED灯，其他LED灯未标记），第一排第一个格点是起始位置9。如图3所示，交互界面2分为显示区域和编程区域。显示区域有五排格点，每排有九个格点。在实施例二中，第二存储器中，轻点手势表示编程符号的程序设计逻辑是顺序结构，即依次执行各实物编程块的编程符号。

在编程区域摆放实物编程块1。与交互界面2相连的处理器3识别放置在交互界面2上的实物编程块1的身份和位置信息。按下逻辑按钮8，根据实物编程的任务，用轻点手势作用在若干实物编程块1上。处理器3识别交互界面上的手指触摸手势。交互界面2可以将程序设计逻辑显示出来，显示方式包括LED灯、触摸屏和电子墨水屏。如图3所示，实物编程块1在交互界面上用带箭头的直线或曲线连接起来，箭头指示方向。

根据与交互界面2相连的第一存储器4中存储的实物编程块1的身份、编程符号和程序代码之间的关系，处理器3得到了编程符号。根据与处理器3相连的第二存储器5中存储的手指触摸手势和编程符号的程序设计逻辑之间的关系，处理器3得到编程符号的程序设计逻辑。处理器3生成基于所述编程符号和手指触摸手势的一段程序代码。

按下开始按钮6，用户能运行他自己编的计算机程序，通过一个输出装置，用户能看到程序代码的结果（在实施例二中，输出装置是LED灯）。如果用户想调试计算机程序，他/她可以按下停止按钮7，然后调整实物编程块1和手指触摸手势。交互界面上的实物编程系统还包括一个反馈装置，所述处理器能指示反馈装置产生一个反馈，所述反馈用来指示程序代码的执行进度。例如，每个实物编程块1上可以连接一个LED灯。当实物编程块1所表示程序代码执行时，相应的LED灯亮。这样，用户能看到程序代码的执行进度，并且更容易调试程序。

如图3所示，用实物编程块1和手指触摸手势在交互界面2上进行编程，第三排的奇数格点的LED灯10被点亮。子函数P1所用的实物编程块的程序设计逻辑为：向右走一个格点、向右走一个格点、点亮LED灯。主函数所用的实物编程块的程序设计逻辑为：向下走一个格点、向下走一个格点、调用子函数P1、调用子函数P1、调用子函数P1、调用子函数P1、点亮LED灯。图3中的实物编程块1和手指触摸手势所产生的程序代码为：

main（）

{

down()

proc1()

light()

}

proc1()

{

right()

light()

}。

实施例三

实施例三提供了一个用本发明的实物编程系统进行实物编程的例子。在实施例三中，第二存储器中，轻点手势表示编程符号的程序设计逻辑是顺序结构，即依次执行各实物编程块的编程符号。

实施例三中实物编程块1的位置与实施例二中实物编程块1的位置相同，仅仅改变实施例二中的手指触摸手势作用在实物编程块1上的顺序，点亮LED灯的格点也发生改变。如图4所示，用实物编程块1和手指触摸手势在交互界面2上进行编程，第一排的三个奇数格点和第三排的两个奇数格点的LED灯10被点亮。子函数P1所用的实物编程块的程序设计逻辑为：向右走一个格点、向右走一个格点、点亮LED灯。主函数所用的实物编程块的程序设计逻辑为：调用子函数P1、调用子函数P1、点亮LED灯、向下走一个格点、向下走一个格点、调用子函数P1、调用子函数P1。图4中的实物编程块1和手指触摸手势所产生的程序代码为：

main（）

{

proc1()

light()

down()

proc1()

}

proc1()

{

right()

light()

}。

实施例四

实施例四提供了一个用本发明的实物编程系统进行实物编程的例子。在实施例四中，第二存储器中，轻点手势表示顺序结构以及分支结构中分支条件成立的分支上依次执行各实物编程块的编程符号，按压手势表示该实物编程块的编程符号作为分支节点，双轻点手势表示分支结构中分支条件不成立的分支上依次执行各实物编程块的编程符号。构造分支结构时，手指触摸手势的作用顺序约定如下：1）按压手势作用于代表分支节点的实物编程块1；2）轻点手势作用于分支条件成立的分支上的实物编程块1；3）按压手势作用于代表分支节点的实物编程块1；4）双轻点手势作用于分支条件不成立的分支上的实物编程块1。

如图5所示，用实物编程块1和手指触摸手势在交互界面2上进行编程，第二排奇数格点的LED灯10被点亮。放置实物编程块1时，用户可以根据自己的喜好设置实物编程块1的方向。其中，将代表分支节点的实物编程块1沿第一方向放置，其他实物编程块1沿第二方向放置，通过这种方式用户可以更直观的看到实物编程块1的编程符号的程序设计逻辑。

定义子函数P2时，手指触摸手势作用顺序为：轻点手势作用于编程符号为“P2”、的实物编程块，轻点手势作用于编程符号为“=”的实物编程块，按压手势作用于编程符号为“odd“的实物编程块，轻点手势作用于编程符号为“点亮LED灯” 的实物编程块，轻点手势作用于编程符号为“向右走一个格点”的实物编程块，按压手势作用于编程符号为“odd“的实物编程块，双轻点手势作用于编程符号为“不点亮LED灯” 的实物编程块，双轻点手势作用于编程符号为“向右走一个格点”的实物编程块。子函数P2所用的实物编程块的程序设计逻辑为：如果是第N排奇数格点，点亮LED灯，向右走一个格点；如果不是第N排奇数格点，不点亮LED灯，向右走一个格点。主函数所用的实物编程块的程序设计逻辑为：向下走一个格点、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2、调用子函数P2。图4中的实物编程块1和手指触摸手势所产生的程序代码为：

main（）

{

down()

proc2()

}

proc2()

{

if(type==odd)

{

light()

right()

}

else

{

no-light()

right()

}

}。

实施例五

实施例五提供了一种用实物编程块和手指触摸手势生成和执行计算机程序的方法。图6为本发明实施例生成和执行程序代码的流程图。如图6所示，本方法包括以下步骤。

步骤601：将若干实物编程块放在所述交互界面上。所述交互界面包括一个电极阵列和一个射频天线阵列。每一实物编程块表面标记一个编程符号。每一所述实物编程块包括一个射频识别标签。

步骤602：处理器探测到交互界面上的实物编程块与交互界面的电极阵列的电容耦合程度，进而推断出实物编程块的位置。通过交互界面上的实物编程块的射频识别标签与交互界面的射频天线阵列的无线通信，处理器探测到实物编程块的身份。

步骤603：手指触摸手势作用于若干所述实物编程块。

步骤604：手指触摸手势作用于实物编程块时，实物编程块与交互界面的电极阵列的电容耦合程度发生变化，处理器探测到这种变化，进而识别手指触摸手势。

步骤605：得到编程符号及其程序设计逻辑。根据与交互界面相连的第一存储器中存储的实物编程块的身份、编程符号和程序代码之间的关系，处理器得到了编程符号；根据与处理器相连的第二存储器中存储的手指触摸手势和编程符号的程序设计逻辑的关系，处理器得到编程符号的程序设计逻辑；交互界面显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。

步骤606：处理器生成基于所述编程符号和手指触摸手势的一段程序代码。

步骤607：处理器指示反馈装置产生一个反馈，所述反馈用来指示程序代码的执行进度。反馈装置包括LED灯、音频设备、视频设备、振动器设备。

步骤608：如果结果不对，终止程序代码的执行。

步骤609：通过改变编程符号和手指触摸手势，调试程序代码。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种交互界面上的实物编程系统，其特征在于，包括：

一个交互界面，所述交互界面包括一个电极阵列；

一个与所述交互界面相连的处理器，所述处理器用于探测所述实物编程块与所述交互界面的电极阵列的电容耦合程度，进而识别所述实物编程块的位置信息和作用于所述实物编程块上的手指触摸手势，所述处理器还用于识别放置在所述交互界面上的所述实物编程块的身份；

一个与所述处理器相连的第一存储器，所述第一存储器用于存储所述实物编程块的身份、编程符号和程序代码之间的关系；

其中，若干所述实物编程块放置在所述交互界面上，所述手指触摸手势作用于若干所述实物编程块，所述处理器生成基于所述手指触摸手势和编程符号的一段新的程序代码。

2.根据权利要求1所述的交互界面上的实物编程系统，其特征在于，所述处理器识别放置在所述交互界面上的所述实物编程块的身份的方式为：所述实物编程块的射频识别标签与所述交互界面的射频天线阵列进行无线通信。

3.根据权利要求1所述的交互界面上的实物编程系统，其特征在于，所述手指触摸手势包括轻点手势、双轻点手势、按压手势。

4.根据权利要求1所述的交互界面上的实物编程系统，其特征在于，所述实物编程系统还包括一个反馈装置，所述反馈装置包括LED灯、音频装置、视频装置和振动发生器，所述处理器用于指示反馈装置产生一个反馈，所述反馈用来指示所述程序代码的执行进度。

5.根据权利要求1所述的交互界面上的实物编程系统，其特征在于，所述交互界面用于显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。

6.一种交互界面上的实物编程方法，其特征在于，包括以下步骤：

将若干实物编程块放置在交互界面上，每一所述实物编程块包括一个标记在表面的编程符号，所述交互界面包括一个电极阵列；

与交互界面相连的处理器探测所述实物编程块与所述交互界面的电极阵列的电容耦合程度，进而识别所述实物编程块的位置信息，所述处理器还识别放置在所述交互界面上的所述实物编程块的身份；

手指触摸手势作用于若干所述实物编程块；

所述处理器探测到所述实物编程块与所述电极阵列的电容耦合程度的变化，进而识别所述手指触摸手势；

根据与所述处理器相连的第一存储器存储的所述实物编程块的身份、编程符号和程序代码之间的关系以及与所述处理器相连的第二存储器存储的所述手指触摸手势与编程符号的程序设计逻辑之间的关系，所述处理器生成基于所述编程符号和手指触摸手势的一段新的程序代码。

7.根据权利要求6所述的交互界面上的实物编程方法，其特征在于，所述处理器识别放置在交互界面上的实物编程块的身份的方式为：所述实物编程块的射频识别标签与所述交互界面的射频天线阵列进行无线通信。

8.根据权利要求6所述的交互界面上的实物编程方法，其特征在于，所述手指触摸手势包括轻点手势、双轻点手势、按压手势。

9.根据权利要求6所述的交互界面上的实物编程方法，其特征在于，所述处理器指示反馈装置产生一个反馈，所述反馈用来指示所述程序代码的执行进度，所述反馈装置包括LED灯、音频装置、视频装置和振动发生器。

10.根据权利要求6所述的交互界面上的实物编程方法，其特征在于，所述交互界面显示所述编程符号的程序设计逻辑，显示方式包括LED灯、触摸屏和电子墨水屏。