CN105138316A - 一种基于超级画板的自动化点击方法和装置 - Google Patents
一种基于超级画板的自动化点击方法和装置 Download PDFInfo
- Publication number
- CN105138316A CN105138316A CN201510439815.4A CN201510439815A CN105138316A CN 105138316 A CN105138316 A CN 105138316A CN 201510439815 A CN201510439815 A CN 201510439815A CN 105138316 A CN105138316 A CN 105138316A
- Authority
- CN
- China
- Prior art keywords
- button
- coordinate
- sketchpad
- works
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于超级画板的自动化点击方法,旨在解决超级画板无法自动化打开作品的问题和传统自动化点击方法需要有模拟器才能自动点击的弊端,使用户能够从繁琐机械的点击操作中脱离出来,观看超级画板中学生作品动态演示,自动测试作品,并且向作品开发用户提供用于后期分析作品信息的原始数据。其实现的主要过程如下:第一步:配置超级画板的按钮位置信息,将超级画板学生作品的当前页面保存为网页文件;第二步:根据学生作品对应的网页文件提取学生作品中所有的按钮位置信息;第三步用AutoScriptWriter获取实际点击学生作品的按钮位置,并与从相对应作品的网页文件提取的按钮位置做比较,计算出按钮点击的偏移值;第四步:配置录制视频所需的按钮位置信息;第五步根据对第四步中获得的录制视频所需的按钮位置信息,对每个学生作品的自动化操作进行视频的录制,在每次点击按钮一定时间后,对当前作品页面进行截图。
Description
技术领域
本发明涉及计算机软件自动化领域,具体地,涉及一种基于超级画板的自动化点击方法和装置。
背景技术
超级画板作为一款良好的用于制作几何和三维图形学生作品的教学软件,近几年来在中小学,乃至大学中得到了广泛的应用。通过超级画板制作的学生作品不仅仅能够在课堂上给学生带来形象和立体的教学展示,而且加强了教师与学生之间的良性课堂互动,使得课堂变得真正生动有趣。目前查看超级画板学生作品的方法主要是通过人工来点击学生作品的按钮来观看作品的动态者演示,该方法存在以下问题:用户查看或测试多个学生作品,需要进行复杂繁琐的人工点击操作,而且常常会错点、漏点按钮;多个学生作品的人工点击时间很长,用户不能从这种机械的点击操作中分身去做其他事情;用户想基于学生作品做信息增值分析却得不到学生作品的数据,作品信息不能固化存储,无法得到作品的网页文件,点击的作品页面图片和视频信息。
传统的学生作品点击方法是人工手动点击,虽然通过方法也能够进行点击来查看学生作品信息,但是这种方法只适用于学生作品数量较少的情况,一旦面对数以万计的学生作品,这种方法会存在错点、漏点,人工点击时间过长,效率低下,出错率高,很难获取点击的作品页面信息和视频信息等诸多问题。
一种利用模拟器进行安卓app自动化点击方法,该方法主要是将app放入模拟器中,通过ViewServer获取该页面中可执行的控件,形成候选事件集合,通过安卓命令执行工具Monkey执行点击事件。该方法能够对安卓app进行自动化点击操作,也能够进行自动化测试,但是这种方法需要有模拟器这一限定条件,一旦没有模拟器,模拟器中对按钮的绝对定位就失效。这种方法不适用于不带有模拟器的自动化点击操作。
一种录制自动化脚本的方法及装置,主要是依靠判断两次点击的事件,如果是在同一位置则认为是是点击事件,如果两次点击不是同一位置则认为是滑屏事件,进而录制自动化脚本,虽然能够对一些简单的点击事件予以处理,但是面对复杂的自动化操作,并不能满足用户的要求,而且不能自动化截图和自动化录制视频,录制的结果存在不能固化存储,只能每次执行自动化脚本观看自动化执行结果,不同的用户需要观看自动化执行结果时需要重复执行自动化脚本的问题,重复性高,效率低,不能做到一次自动化点击,处处观看执行结果。
在现有技术中,传统的点击操作就是手动点击,这种方法面对需要点击学生作品数量很多时,会存在错点、漏点,人工点击时间过长,效率低下,出错率高,很难获取点击的作品页面信息和视频信息等诸多问题。而通过模拟器进行自动化点击的方法,需要有模拟器这一限定条件,一旦没有模拟器,模拟器中对按钮的绝对定位就失效。这种方法不适用于不带有模拟器的自动化点击操作。另外一些录制自动化脚本的方法存储在录制的结果存在不能固化存储,只能每次执行自动化脚本观看自动化执行结果,不同的用户需要观看自动化执行结果时需要重复执行自动化脚本的问题。
发明内容
本技术发明针对上述问题,以超级画板为例,提出并实现一种自动化点击方法,能够有效解决超级画板只能依靠人工点击学生作品复杂繁琐的问题。该方法能够缩短点击时长,避免错点、漏点学生作品按钮,并能够解决无法自动化保存点击的作品页面信息和视频信息问题,使用户能够从繁琐的人工机械点击工作中解脱出来。通过自动化点击和自动化保存信息,不仅作品使用用户能够观看超级画板中学生作品的动态演示,作品开发用户也可用于自动测试作品的正确性,而且向作品开发用户提供用于后期分析作品信息的原始数据,即作品网页文件,按钮信息,页面信息和视频信息。
为解决上述的技术问题,本发明采用的方案如下:
第一步,配置超级画板的按钮位置信息,将超级画板学生作品的当前页面保存为网页文件;
第二步,根据学生作品对应的网页文件提取学生作品中所有的按钮位置信息;
第三步,用AutoScriptWriter获取实际点击学生作品的按钮位置,并与从相对应作品的网页文件提取的按钮位置做比较,计算出按钮点击的偏移值;
第四步,配置录制视频所需的按钮位置信息;
第五步,根据对第四步中获得的录制视频所需的按钮位置信息,对每个学生作品的自动化操作进行视频的录制,在每次点击按钮一定时间后,对当前作品页面进行截图。
有益效果
本发明对比已有的自动化点击方法,具有以下创新点:
a、通过在超级画板作品打开对话框中模拟键入计算好的作品绝对路径,解决超级画板无法自动化打开作品和批量打开作品时,需要拖动作品下拉列表而无法打开作品的问题;
b、采用从作品的网页文件提取按钮的截取位置和计算按钮的偏移值从而得到实际按钮点击位置来解决了传统点击操作中繁琐与不便,有效解决了需要有模拟器才能自动点击的弊端,通过本自动化点击方法实现了缩短点击时长,避免错点、漏点学生作品按钮。
c、通过在自动化点击中使用AutoHotKey的Gdip库和第三方视频录制软件相结合的方法,解决了无法自动化保存点击的作品页面信息和视频信息问题,使用户能够从繁琐的人工机械点击工作中解脱出来。实现了自动保存作品网页文件,自动截取按钮坐标,自动截图和自动录制视频,具有使用户能够观看超级画板中学生作品动态演示,自动测试作品,并且向作品开发用户提供用于后期分析作品信息的原始数据的优点。
本发明对比已有自动化点击方法具有以下显著优点:
1、解决超级画板无法自动化打开作品和批量打开作品时,需要拖动作品下拉列表而无法打开作品的问题;
2、解决了需要有模拟器才能自动点击的弊端,通过本自动化点击方法实现了缩短点击时长,避免错点、漏点学生作品按钮;
3、实现了自动保存作品网页文件,自动截取按钮坐标,自动截图和自动录制视频,具有使用户能够观看超级画板中学生作品动态演示,自动测试作品,并且向作品开发用户提供用于后期分析作品信息的原始数据的优点。
附图说明
附图1是本技术发明提供的一种基于超级画板的自动化点击方法的流程示意图;
附图2是本技术发明提供的一种基于超级画板的自动化点击装置的结构示意图。
具体的实施方式
为使本技术发明的目的、技术方案和优点更加清楚,下面将结合本技术发明的附图,对本技术发明的技术实施方案进行清楚地、完整地描述。
附图1是本技术发明提供的一种适用于超级画板的自动化点击方法的流程示意图,如图1所示,所述方法包括以下步骤:
S1:将超级画板学生作品的当前页面保存为网页文件
具体而言,步骤S1又可以具体细分为以下步骤,下面做进一步阐述:
S11:通过AutoScriptWriter打开超级画板,依次点击超级画板菜单栏中的”文件”位置board_filePoint,点击”打开”作品位置board_openPoint,将一个学生作品载入到超级画板中,点击"把当前活动页面保存为网页"位置board_saveHtmlPoint。
S12:将当前学生作品的页面保存为网页,点击作品"打开"对话框中文件路径输入框位置openDialog_pathPoint,选择一个学生作品,点击作品"打开"对话框中打开按钮位置openDialog_openPoint,点击"您想打开这个网页文件吗?"对话框的"否"按钮位置board_notOpenHtmlPoint。
S13:点击关闭超级画板的按钮坐标board_closePoint,点击是否保存对学生作品修改对话框的"否"按钮坐标board_notChangePoint。
S14:将上述步骤S11,S12,S13得到的8个坐标点:board_filePoint,board_openPoint,board_saveHtmlPoint,openDialog_pathPoint,openDialog_openPoint,board_notOpenHtmlPoint,board_closePoint,board_notChangePoint写入到配置文件Position.conf中。
S15:打开超级画板,遍历学生作品目录,对每个学生作品,依次读取配置文件Position.conf中上述8个点的坐标,然后用AutoHotKey脚本模拟点击这8个坐标点。
S16:直到所有学生作品全部遍历结束,关闭超级画板,得到所有学生作品保存的网页文件。
S2:提取学生作品网页文件中的坐标信息
具体而言,步骤S2又可以具体细分为以下步骤,下面做进一步阐述:
S21:对超级画板学生作品的按钮类型进行划分,得到两类按钮:Animation类型按钮和Variable类型按钮。
所述Animation类型按钮是:动画类型按钮,位置表示形式是:ObjPosition(nObjID,nLeft,nTop,nRight,nBottom),nObjID:表示学生作品中对象的id号,nLeft:按钮左边坐标,nTop:按钮上边坐标,nRight:按钮右边坐标,nBottom:按钮下边坐标。得到该类型下按钮包括以下几种:AnimationVar,Animation,AnimationRand,AnimationCond,AnimationParallel,AnimationSerial,Button。Animation类型按钮的位置切分标识符为ObjPosition。
所述Variable类型按钮是:变量尺类型按钮,提供拖拽功能,位置表示形式是:VariableProp(nObjID,nLeft,nTop,nRight,nValue,nHeight,nMin,mMax),ObjID:表示学生作品中对象的id号,nLeft:按钮左边坐标,nTop:按钮上边坐标,nRight:按钮右边坐标,nValue:拖拽条当前所在位置。
S22:在配置文件Position.conf中配置Animation类型按钮的按钮标识符为:AnimationVar,Animation,AnimationRand,AnimationCond,AnimationParallel,AnimationSerial,Button,切分标识符为:ObjPosition。在配置文件Position.Conf中配置Variable类型按钮的按钮标识符有:Variable,切分标识符为:AnimationProp。
在配置文件中Position.conf中配置点击按钮的x坐标偏移量xOffset=0,y坐标偏移量yOffset=0。
S23:遍历学生作品文件目录,如果学生作品没有遍历结束,读取当前学生作品的网页文件,执行步骤S24;否则,则执行步骤S211。
S24:如果网页文件没有读取结束,则执行步骤S25;否则,执行步骤S210。
S25:如果当前读取的行是对象行,则执行步骤S26;否则,执行步骤S29。所述对象行是指形如:“5=:AnimationVar(a,{动画:a[-5,5](a=$bl{a,4})});”,这种开头是以:“数字:=”形式的一行内容。
S26:如果该对象行中包含按钮标识符,就执行步骤S27。所述按钮标识符和切分标识符是步骤S22提到的按钮标识符和切分标识符。
S27:如果当前行内容不包含对应按钮的切分标识符,就循环读取下一行内容。直到找到含有切分标识符的行。
S28:如果按钮的类型为Variable变量尺类型,截取出该行内容中的按钮的坐标信息,得到三个坐标点:currentPoint(xCurrent,y),leftPoint(xLeft,y),rightPoint(xRight,y)。如果按钮类型为Animation动画类型,则截取出该行内容中的按钮坐标信息,得到animationPoint(x4,y4)。
对坐标点加上读取配置文件Position.conf的坐标偏移量值分别得到新的点的坐标:currentPoint(xCurrent+xOffset,y+yOffset),leftPoint(xLeft+xOffset,y+yOffset),rightPoint(xRight+xOffset,y+yOffset),animationPoint(x4+xOffset,y4+yOffset)。
将提取的坐标信息按照以下对象id号#按钮名称#坐标的格式写入到position.txt文件中。
所述xCurrent是变量尺中间的拖动轴当前x坐标,xLeft是变量尺最左边的x坐标,xRight是变量尺最右边的x坐标。
S29:读取下一行内容
S210:当前作品网页文件读取结束,转步骤S23
S211:所有作品的网页文件全部处理完毕,退出
S3:计算点击学生作品按钮的偏移值
具体而言,步骤S3又包含以下步骤,下面做进一步阐述
S31:从学生作品集合中任意选择n个(n一般>=10)个含有按钮的学生作品作为样本作品集合。
S32:如果样本作品集合没有遍历结束,执行步骤S32;否则,执行步骤S36。
S33:用超级画板打开当前样本作品,点击样本作品的按钮左上角位置,用AutoScriptWriter记录下当前点击按钮的坐标clickPoint(x1,y1),打开该样本作品的position.txt,根据所点击按钮的对象id号找到提取的按钮坐标extractPoint(x2,y2)。所述position.txt文件是上述步骤S28中得到的学生作品按钮位置信息的文件。
S34:计算按钮点击的x坐标偏移量xOffset=x2–x1,y坐标偏移量yOffset=y2–y1。
S35:当前样本作品的偏移量计算结束,转步骤S32。
S36:对步骤S34得到的n个xOffset计算平均偏移量xAverageOffset,对n个yOffset计算平均偏移量yAverageOffset。
S37:修改配置文件中的xOffset值为xAverageOffset,修改配置文件yOffset值为yAverageOffset写入到配置文件Position.conf中。
S38:再次执行步骤S2中所有步骤,得到每个学生作品中实际点击的按钮坐标信息文件position.txt,退出。
S4:配置录制视频所需的按钮位置信息
具体而言,步骤S4包括以下步骤,下面做进一步阐述
S41:打开视频录制软件Snagit11,开启视频录制功能。
S42:打开超级画板,点击超级画板作品展示区域的中上方的某一点,用AutoScriptWriter记录该点的坐标信息,记该坐标点为video_rangePoint。
S43:按下键盘上的PrtSc按钮,鼠标左击一下后,按住键盘上的PrtSc键,按下Shift+F9开始录制视频,等待一定时间间隔后,按下Shift+F10结束录制视频。
S44:按下Ctrl+S,等待Snagit11弹出视频另存为对话框,点击视频另存为对话框的"文件名"输入框,用AutoScriptWriter记录该点的坐标信息,记该坐标点为videoSaveAs_inputPoint。
S45:点击视频另存为对话框的“保存”按钮,用AutoScriptWriter记录该点的坐标信息,记该坐标点为videoSaveAs_reservePoint。
S46:点击Snagit11的关闭按钮,用AutoScriptWriter记录该点的坐标信息,记该坐标点为video_closePoint。
S47:将上述步骤S42,S44,S45,S46得到的坐标点:video_rangePoint,videoSaveAs_inputPoint,videoSaveAs_reservePoint,video_closePoint写入到配置文件Position.conf中。
S5:自动化点击学生作品
具体而言,步骤S4又包括以下步骤,下面做进一步阐述
S51:打开超级画板,打开视频录制工具Snagit11。
S52:遍历学生作品集合,如果学生作品没有遍历结束,则执行步骤S43;否则,执行步骤S513。
S53:获取当前遍历的学生作品绝对路径,读取配置文件Position.conf中以下超级画板中按钮的坐标:board_filePoint,board_openPoint,openDialog_pathPoint,openDialog_openPoint,通过依次点击这4个坐标将当前学生作品载入到超级画板中。
所述board_filePoint,board_openPoint,openDialog_pathPoint,openDialog_openPoint坐标点是S11和步骤S12中得到的坐标点。
S54:读取当前学生作品的坐标信息文件position.txt,获得该作品的按钮位置集合,遍历作品的按钮位置集合,如果按钮位置集合没有遍历结束,则执行步骤S45;否则,执行步骤S46。
S55:如果当前行的按钮位置信息是Variable变量尺类型按钮的,则截取出三个坐标currentPoint(xCurrent,y),leftPoint(xLeft,y),rightPoint(xRight,y),并将当前变量尺VariableRuler信息加入到变量尺按钮坐标数组variableArr中;否则,表明当前行的按钮位置信息是Animation动画类型按钮的,则截取出一个坐标animationPoint(x4,y4),并将当前坐标信息加入到动画按钮坐标数组animationArr中。转步骤S44。
所述VariableRuler结构如下,它包含一个坐标数组pointArray,含有3个坐标点currentPoint,leftPoint,rightPoint,分别是变量尺的当前拖动轴所在坐标,变量尺最左边坐标,变量尺最右边坐标:
S56:用AutoHotKey脚本模拟以下操作来开启视频录制:按下PrtSc键,点击超级画板作品展示区域的坐标video_rangePoint,按下Shift+F9键。
所述video_rangePoint是步骤S47中写入配置文件Position.conf的坐标。
S57:如果变量尺按钮坐标数组variableArr为空,则转步骤S58;否则转步骤S510。
S58:如果动画按钮坐标数组animationArr非空,则说明当前学生作品只有动画类型按钮,则遍历animationArr,点击当前正在遍历的坐标按钮位置,等待一定时间间隔后,调用Gdip库进行截图,以从1.png,2.png,3.png……这种图片编号累加的方式来命名,将图片保存在当前处理的学生作品目录下,并转步骤S512;否则,转步骤S59。
S59:该学生作品没有按钮,则调用Gdip库进行截一次图,将图片保存在当前处理的学生作品目录下,转步骤S512。
S510:如果有变量尺按钮,就进行变量尺按钮与动画型按钮的笛卡尔积点击。遍历变量尺按钮数组variableArr,对当前的遍历的变量尺信息体VariableRuler的坐标数组pointArray进行遍历,对于当前遍历的pointArray数组元素的变量尺坐标,遍历animationArr数组,进行如下模拟操作:根据pointArray的当前坐标点与下一个坐标点模拟进行变量尺按钮的拖拽操作,再点击当前遍历的动画按钮坐标,等待一定时间间隔后,调用Gdip库进行截图,以从1.png,2.png,3.png……这种图片编号累加的方式来命名,将图片保存在当前处理的学生作品目录下,转步骤S512;否则转步骤S511。
S511:该学生作品只有变量尺按钮,动画按钮不存在,则调用Gdip库进行截一次图,将图片保存在当前处理的学生作品目录下,转步骤512。
S512:通过AutoHotKey脚本模拟以下操作来结束视频录制并保存视频:按下Shift+F10,等待出现视频另存为对话框后,点击视频另存为对话框的"文件名"输入框坐标videoSaveAs_inputPoint,按下多次Backspace删除提供的默认视频文件名,向视频另存为对话框的"文件名"输入框中发送自己设定的视频文件保存的绝对路径,点击保存按钮videoSaveAs_reservePoint,点击Snagit的关闭按钮video_closePoint。
所述videoSaveAs_inputPoint,videoSaveAs_reservePoint,video_closePoint是步骤S47中写入配置文件Position.conf的坐标。
S513:所有学生作品的自动化点击操作全部完成,结束处理。
以上内容对本技术发明一种超级画板自动化点击方法进行了详细说明,本技术发明还提供一种超级画板自动化装置。
参照附图2,附图2为技术发明实施例提供的一种基于超级画板自动化点击装置的结构示意图,该装置包括:
网页保存模块:利用AutoScriptWriter记录:打开超级画板,打开学生作品,保存学生作品为网页文件的各个按钮位置信息,然后根据这些按钮位置信息利用AutoHotKey脚本进行自动化点击和保存网页。
按钮坐标提取模块:根据网页保存模块中得到的学生作品的网页文件,以及按钮的分类标识符,按钮名称,按钮切分标识符,按钮坐标截取策略,读取网页文件截取出按钮坐标信息,将按钮坐标信息写入到文件中。
偏移值计算模块:选择样本作品集合,利用AutoScriptWriter记录点击样本作品的实际按钮坐标,根据按钮坐标提取模块得到的按钮坐标信息文件读取对应的按钮截取坐标,用实际按钮坐标减去截取的按钮坐标得到偏移值,通过多组数据计算后取平均值,最终得到按钮点击坐标偏移值。所述计算偏移值的方法并不局限于上述提到的方法。
视频录制信息配置模块:利用AutoScriptWriter记录:打开Snagit视频录制软件,保存视频录制的各个按钮位置信息,并将这些信息写入到配置文件中。
自动化点击模块:读取作品的坐标位置文件,将坐标按照按钮类型的不同分成变量尺按钮数组和动画按钮数组。根据视频录制信息模块得到的按钮信息,利用AutoHotKey脚本开启视频录制功能,采用变量尺按钮与动画按钮笛卡尔积的点击方式进行点击,每次用AutoHotKey点击一定时间间隔后,截取当前页面并保存为图片,然后进行下一次点击操作,所有点击操作结束后,结束视频录制。所述点击方式多样,包括但不局限于上述点击方式。
以上结合附图详细描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种变型和修改,这样的变型和修改均落入所附权利要求所限定的范围内。
Claims (7)
1.一种基于超级画板的自动化点击方法,其特征在于,所述方法如下步骤:
S1、配置超级画板的按钮位置信息,将超级画板学生作品的当前页面保存为网页文件;
S2、根据学生作品对应的网页文件提取学生作品中所有的按钮位置信息;
S3、用AutoScriptWriter获取实际点击学生作品的按钮位置,并与从相对应作品的网页文件提取的按钮位置做比较,计算出按钮点击的偏移值;
S4、配置录制视频所需的按钮位置信息;
S5、根据获得的录制视频所需的按钮位置信息,对每个学生作品的自动化操作进行视频的录制,在每次点击按钮一定时间后,对当前作品页面进行截图。
2.根据权利要求1所述的基于超级画板的自动化点击方法,其特征在于,所述步骤S1具体包括:
打开超级画板,依次点击超级画板各按钮采集按钮位置信息,并将所述数据组装成特定的网页位置八元组{board_filePoint,board_openPoint,board_saveHtmlPoint,openDialog_pathPoint,openDialog_openPoint,board_notOpenHtmlPoint,board_closePoint,board_notChangePoint}。
打开超级画板,遍历学生作品目录,对每个学生作品,依次读取配置文件Position.conf中上述8元组坐标,然后用AutoHotKey脚本模拟点击这8个坐标点,保存学生作品页面为网页。
所述八元组中各元素分别表示:菜单栏中的”文件”位置,”打开”作品位置,"把当前活动页面保存为网页"位置,作品"打开"对话框中文件路径输入框位置,作品"打开"对话框中打开按钮位置,"您想打开这个网页文件吗?"对话框的"否"按钮位置,关闭超级画板的按钮坐标,是否保存对学生作品修改对话框的"否"按钮坐标。
3.根据权利要求1所述的基于超级画板的自动化点击方法,其特征在于,所述步骤S2具体包括:
S21,对超级画板学生作品的按钮类型进行划分,得到两类按钮:Animation类型按钮和Variable类型按钮;
S22,在配置文件Position.conf中配置Animation类型按钮的按钮标识符为:AnimationVar,Animation,AnimationRand,AnimationCond,AnimationParallel,AnimationSerial,Button,切分标识符为:ObjPosition。在配置文件Position.Conf中配置Variable类型按钮的按钮标识符有:Variable,切分标识符为:AnimationProp;
在配置文件中Position.conf中配置点击按钮的x坐标偏移量xOffset=0,y坐标偏移量yOffset=0;
S23,遍历学生作品文件目录,如果学生作品没有遍历结束,读取当前学生作品的网页文件,执行步骤S24;否则,则执行步骤S28;
S24,如果网页文件没有读取结束,则执行步骤S25;否则,执行步骤S27;
S25,如果当前读取的行是对象行,且对象行中包含按钮标识符,就循环读取下一行内容。直到找到含有切分标识符的行;
所述对象行是指形如:“5=:AnimationVar(a,{动画:a[-5,5](a=$bl{a,4})});”,开头以“数字:=”形式的一行内容;
S26,读取含有切分标识符的行,根据按钮类型的不同采用不同的按钮截取方式得到该行的按钮坐标信息,得到按钮坐标点,对按钮坐标加上点击按钮的坐标偏移量得到实际按钮坐标并写入按钮位置信息文件position.txt中;
S27,当前作品网页文件读取结束,转步骤S21;
S28,所有作品的网页文件全部处理完毕,退出。
4.根据权利要求1所述的基于超级画板的自动化点击方法,其特征在于,所述步骤S3具体包括:
用AutoScriptWriter获取实际点击学生作品的按钮位置,并与从相对应作品的网页文件提取的按钮位置做比较,计算出按钮点击的偏移值。
5.根据权利要求1所述的基于超级画板的自动化点击方法,其特征在于,所述步骤S4具体包括:
打开视频录制软件Snagit11,依次点击Snagit各按钮,采集按钮位置信息,将上述信息组织成特定的视频录制位置4元组{video_rangePoint,videoSaveAs_inputPoint,videoSaveAs_reservePoint,video_closePoint}。
所述视频录制位置4元组中各元素信息分别表示:超级画板作品展示区域的中上方的某一点位置,视频另存为对话框的"文件名"输入框位置,视频另存为对话框的“保存”按钮位置,Snagit11的关闭按钮位置。
6.根据权利要求1所述的基于超级画板的自动化点击方法,其特征在于,所述步骤S5具体包括:
第一步,打开超级画板,打开视频录制工具Snagit11,遍历学生作品集合。
第二步,获取当前遍历的学生作品绝对路径,读取配置文件Position.conf中以下超级画板中按钮的坐标:board_filePoint,board_openPoint,openDialog_pathPoint,openDialog_openPoint,通过依次点击这4个坐标将当前学生作品载入到超级画板中。
第三步,读取当前学生作品的坐标信息文件position.txt,获得该作品的按钮位置集合,遍历作品的按钮位置集合,根据当前行的按钮位置信息种类的不同,采取不同的按钮坐标截取算法进行截取
第四步,用AutoHotKey脚本模拟键击操作来开启视频录制。
第五步,根据按钮类型不同,采取不同的按钮自动化点击策略进行点击,每次点击后等待一定时间间隔后,调用Gdip库进行截图,以从1.png,2.png,3.png……这种图片编号累加的方式来命名,将图片保存在当前处理的学生作品目录下,等到所有点击操作全部结束,结束视频录制。
第六步,所有学生作品的自动化点击操作全部完成就结束处理。
7.基于超级画板的自动化点击装置,其特征在于,所述装置包括:
网页保存模块:根据保存网页所需的按钮位置信息利用AutoHotKey脚本进行自动化点击,并保存为网页文件,将网页文件发送给按钮坐标提取模块。
按钮坐标提取模块:接收网页保存模块中得到的学生作品的网页文件,并截取出按钮坐标信息,将按钮坐标信息写入到文件中,将坐标信息文件发送给偏移值计算模块和自动化点击模块。
偏移值计算模块:利用AutoScriptWriter记录点击样本作品的实际按钮坐标,根据按钮坐标提取模块得到的按钮坐标信息文件读取对应的按钮截取坐标,用实际按钮坐标减去截取的按钮坐标得到偏移值,将偏移值发送给自动化点击模块。
视频录制信息配置模块:利用AutoScriptWriter记录:打开Snagit视频录制软件,保存视频录制的各个按钮位置信息,并将这些信息写入到配置文件中。
自动化点击模块:接受偏移值计算模块发送过来的偏移值和按钮坐标提取模块发送的坐标位置文件,将坐标按照按钮类型的不同分成不同的按钮数组。根据视频录制信息模块得到的按钮信息进行视频录制,根据不同的按钮采用不同的按钮点击策略进行点击,按钮点击的实际坐标是偏移值加上坐标位置文件中的坐标。每次用AutoHotKey自动点击一定时间间隔后,截取当前页面并保存为图片,然后进行下一次点击操作,所有点击操作结束后,结束视频录制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510439815.4A CN105138316A (zh) | 2015-07-23 | 2015-07-23 | 一种基于超级画板的自动化点击方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510439815.4A CN105138316A (zh) | 2015-07-23 | 2015-07-23 | 一种基于超级画板的自动化点击方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105138316A true CN105138316A (zh) | 2015-12-09 |
Family
ID=54723674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510439815.4A Pending CN105138316A (zh) | 2015-07-23 | 2015-07-23 | 一种基于超级画板的自动化点击方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105138316A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106569819A (zh) * | 2016-11-04 | 2017-04-19 | 国网浙江省电力公司丽水供电公司 | 一种用于视频监控平台的自动抓图方法 |
CN107491311A (zh) * | 2017-08-16 | 2017-12-19 | 广州视源电子科技股份有限公司 | 生成页面文件的方法、系统以及计算机设备 |
CN108536495A (zh) * | 2017-03-06 | 2018-09-14 | 深圳市北斗智研科技有限公司 | 一种Excel软件操作信息获取方法 |
CN108762765A (zh) * | 2018-06-05 | 2018-11-06 | 河北工业大学 | 基于contiki系统的开发板程序编译下载方法 |
CN109871172A (zh) * | 2019-01-23 | 2019-06-11 | 广州杰赛科技股份有限公司 | 一种自动化测试中的鼠标点击方法、装置及可读存储介质 |
CN110399585A (zh) * | 2019-07-23 | 2019-11-01 | 广州创力信息科技有限公司 | 一种网站信息流量排名模拟人工操作系统 |
CN110807001A (zh) * | 2019-10-31 | 2020-02-18 | 苏州数字力量教育科技有限公司 | 一种流程自动化估值方法 |
CN111209034A (zh) * | 2020-01-13 | 2020-05-29 | 成都卓影科技股份有限公司 | Tv大屏可视化动态页面配置的方法 |
CN113255325A (zh) * | 2021-05-10 | 2021-08-13 | 成都微视联软件技术有限公司 | 一种自动计算电子文档的内容的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958058A (zh) * | 2010-08-20 | 2011-01-26 | 华中师范大学 | 一种数字化课堂教学系统 |
CN102044173A (zh) * | 2009-10-13 | 2011-05-04 | 华中师范大学 | 软性电子白板系统 |
-
2015
- 2015-07-23 CN CN201510439815.4A patent/CN105138316A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102044173A (zh) * | 2009-10-13 | 2011-05-04 | 华中师范大学 | 软性电子白板系统 |
CN101958058A (zh) * | 2010-08-20 | 2011-01-26 | 华中师范大学 | 一种数字化课堂教学系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106569819A (zh) * | 2016-11-04 | 2017-04-19 | 国网浙江省电力公司丽水供电公司 | 一种用于视频监控平台的自动抓图方法 |
CN106569819B (zh) * | 2016-11-04 | 2023-04-28 | 国网浙江省电力公司丽水供电公司 | 一种用于视频监控平台的自动抓图方法 |
CN108536495A (zh) * | 2017-03-06 | 2018-09-14 | 深圳市北斗智研科技有限公司 | 一种Excel软件操作信息获取方法 |
CN108536495B (zh) * | 2017-03-06 | 2021-06-04 | 深圳市北斗智研科技有限公司 | 一种Excel软件操作信息获取方法 |
CN107491311A (zh) * | 2017-08-16 | 2017-12-19 | 广州视源电子科技股份有限公司 | 生成页面文件的方法、系统以及计算机设备 |
CN108762765A (zh) * | 2018-06-05 | 2018-11-06 | 河北工业大学 | 基于contiki系统的开发板程序编译下载方法 |
CN109871172A (zh) * | 2019-01-23 | 2019-06-11 | 广州杰赛科技股份有限公司 | 一种自动化测试中的鼠标点击方法、装置及可读存储介质 |
CN110399585A (zh) * | 2019-07-23 | 2019-11-01 | 广州创力信息科技有限公司 | 一种网站信息流量排名模拟人工操作系统 |
CN110807001A (zh) * | 2019-10-31 | 2020-02-18 | 苏州数字力量教育科技有限公司 | 一种流程自动化估值方法 |
CN111209034A (zh) * | 2020-01-13 | 2020-05-29 | 成都卓影科技股份有限公司 | Tv大屏可视化动态页面配置的方法 |
CN111209034B (zh) * | 2020-01-13 | 2023-03-03 | 成都卓影科技股份有限公司 | Tv大屏可视化动态页面配置的方法 |
CN113255325A (zh) * | 2021-05-10 | 2021-08-13 | 成都微视联软件技术有限公司 | 一种自动计算电子文档的内容的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105138316A (zh) | 一种基于超级画板的自动化点击方法和装置 | |
CN109698920B (zh) | 一种基于互联网教学平台的跟随教学系统 | |
Fu et al. | Visual analysis of MOOC forums with iForum | |
US10083050B2 (en) | User interface usage simulation generation and presentation | |
CN110673777A (zh) | 在线教学方法、装置、存储介质及终端设备 | |
Wang et al. | Intelligent mobile cloud education: smart anytime-anywhere learning for the next generation campus environment | |
US20160035230A1 (en) | Assessing a user's engagement with digital resources | |
Seppälä et al. | Observations on student misconceptions—A case study of the Build–Heap Algorithm | |
CN103280130A (zh) | 一种用于互动教学的电子考试实现方法及系统 | |
CN107610011A (zh) | 一种考试成绩统计分析系统 | |
CN107193467B (zh) | 用于展示智能笔书写内容的方法及设备 | |
CN104731583A (zh) | 基于习题和知识点编号记录的学习方案生成系统及方法 | |
CN104900094A (zh) | 终端中书写模拟的实现方法和装置 | |
Pettit et al. | Designing a bespoke app to address botanical literacy in the undergraduate science curriculum and beyond | |
CN104732320A (zh) | 一种计算机职业技能鉴定训练系统 | |
Ebner et al. | Cloud-based service for eBooks using EPUB under the Aspect of Learning Analytics | |
Lin et al. | Data structure visualization on the web | |
CN105095443A (zh) | 一种基于超级画板的信息增值方法及装置 | |
CN109255997A (zh) | 一种电子教材备课授课方法及装置 | |
CN114745594A (zh) | 直播回放视频的生成方法、装置、电子设备及存储介质 | |
CN104317875A (zh) | 一种工程图学课程组卷系统 | |
Pu | Design and Application of English Online Learning Platform | |
Zhuang | A PHP Framework-Based Web-Based Instruction Platform. | |
CN106448311A (zh) | 3d题库中实现选项与试题对应关系序列的方法 | |
Lin | Study on the Design and Application of the Notice Release of Track and Field Web Course in University Physical Education |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151209 |