CN108536495A - 一种Excel软件操作信息获取方法 - Google Patents

Abstract

本发明一种Excel软件操作信息获取方法，应用于Excel软件操作信息获取系统，在用户点击Excel软件操作界面的过程中，当用户按下鼠标左键时，所述信息获取系统对Excel软件操作界面进行截图，并保存为图形1，当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2，后续步骤如下：所述信息获取系统通过钩子函数获取用户点击的位置坐标；所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面的点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种；所述信息获取系统获取用户点击位置的位置截图；所述信息获取系统对所述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。通过本发明中的方法可以获取当前插件及第三方软件不能获取的操作信息，更好的帮助实现办公的自动化及智能化。

Description

一种Excel软件操作信息获取方法

技术领域

本发明属于Excel软件数据交互领域，具体涉及Excel软件的第三方对Excel的数据获取方法及系统。

背景技术

微软发布的Excel里带有COM组件进行第三方数据获取，第三方可以通过COM组件和Excel软件进行数据交互并获取Excel中的使用数据，但是COM组件并不能获取用户是否点击了复制、粘贴、单元格，、工作簿等信息。当前，办公自动化越来越普及，我们如何帮助用户更深层次对办公软件智能处理，如何在现有微软框架下实现更加智能的操作信息获取方式。

发明内容

本发明旨在提供一种Excel软件操作信息获取方法及系统，弥补现有插件对Excel表内部信息获取的不足。

一种Excel软件操作信息获取方法，应用于Excel软件操作信息获取系统，其特征在于：在用户点击Excel软件操作界面的过程中，当用户按下鼠标左键时，所述信息获取系统对Excel软件操作界面进行截图，并保存为图形1，当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2，后续步骤如下：

所述信息获取系统通过钩子函数获取用户点击的位置坐标；

所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面的点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种；

所述信息获取系统获取用户点击位置的位置截图；

所述信息获取系统对所述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。

优选的，当所述信息获取系统判断用户点击位置为按钮区域时，对比图形1和图形2，判断所述位置坐标附近有颜色不同，获取图形1和图形2的不同区域，将所述不同区域截图从而获取位置截图。

优选的，在用户获取所述不同区域的过程中进行了膨胀腐蚀处理。

优选的，当判断用户点击位置为单元格区域，所述信息获取系统通过钩子函数获取横竖索引区域位置，并在获取的横竖索引区域处找出与横竖索引区域的其他地方颜色不同的区域，将上述横竖索引区域颜色不同区域截图得到所述位置截图。

一种Excel软件操作信息获取系统，应用于获取用户操作Excel软件时的操作位置信息，其特征在于，包括截图模块、分析处理模块、分类器、抓取模块，

所述截图模块在用户操作的过程中截取操作界面，具体为：在用户点击Excel软件操作界面的过程中，当用户按下鼠标左键时，所述截图模块对Excel软件操作界面进行截图，并保存为图形1，当用户放起鼠标左键时，所述截图模块对Excel软件操作界面再次进行截图，并保存为图形2；

所述抓取模块为与Windows系统自带软件进行互动，从Windows系统的钩子函数获取鼠标操作信息，在用户通过鼠标点击Excel操作界面后，抓取模块通过钩子函数获取鼠标点击信息及位置坐标；

所述分析处理模块，在所述抓取模块通过钩子函数获取了鼠标点击位置坐标后，分析处理模块通过位置坐标得出用户点击位置为按钮区域、单元格区域和工作表区域中的一种，及用于获取用户点击位置的位置截图范围；

所述截图模块还用于在分析模块获取用户点击位置为按钮区域、单元格区域和工作表区域中的一种，分析处理模块获取用户点击位置的位置截图范围后，截取用户点击位置的位置截图；

所述分类器用于对所述位置截图进行分类，从而识别用户点击位置的信息。

优选的，当判断用户点击位置为按钮区域时，分析处理模块还用于对比图形1和图形2，判断位置坐标附近有颜色不同，获取颜色不同区域，并通过截图模块截取所述不同区域得到位置截图。

优选的，分析处理模块，在获取颜色不同区域的过程中采用了膨胀腐蚀处理。

优选的，当判断用户点击位置为单元格区域时，比较单元格横竖索引区域中的颜色与横竖索引区域其他位置颜色不同的区域，通过截图模块将横竖索引区域中颜色不同的区域截图而获取位置截图。

优选的，分类器为训练好的滑动窗口分类器。

通过本发明中的一种Excel软件操作信息获取方法及系统可以获取当前其他插件或是第三方软件无法获取的操作信息，对于办公软件的智能学习有更大的帮助，促进办公软件更加的智能化。另外，上述具体实施例以Excel软件作为案例。但是本发明中的方法及系统不仅仅应用于Excel软件。还可以用到其他Word、PPT等软件。当然也可以扩展到其他的一些应用软件，例如专业的分析软件、管理软件等。

附图说明

图1为本发明一种Excel软件操作信息获取方法中的Excel操作界面示意图。

具体实施方式

本发明涉及一种Excel软件操作信息获取方法及系统，用于办公软件的自动化中的学习用户使用操作及习惯。通过本发明方法更深入学习用户使用习惯方便实现使用的自动化。本方法不限于使用具体哪个软件中。例如我们通常用到的word软件、PPT软件都能用到本发明中的方法及系统来获取软件中的用户操作信息。以下具体实施例中将以Excel软件的操作信息获取作为具体实施案例。

通常用户在操作Excel软件的时候，插件能够通过Windows系统自带的钩子函数获取一部分操作信息，例如用户点击鼠标的动作、用户点击操作界面的位置坐标。然而不能获取用户点击位置的具体信息，例如钩子函数能够获取用户点击了Excel操作界面的位置坐标为（100、100），但是不能获取用户点击的坐标（100、100）对应的为Excel表格的H88位置。而要获取用户操作信息必须获取信息H88。

如图1所示，我们首先将Excel软件操作界面分为按钮区域、单元格区域、工作表区域。图中框选的A区为按钮区域，B区为单元格区域，C区为工作表区域。其中B-1和B-2为B区的横竖引索区域。

本发明一种Excel软件操作信息获取方法及系统，主要是通过结合钩子函数知道用户点击鼠标的动作，并利用图形识别处理技术及分类器来达到识别用户点击位置信息的目的。

本发明一种Excel软件操作信息获取方法，应用于Excel软件操作信息获取系统（以下简称为信息获取系统）。主要应用在用户点击Excel软件操作界面的过程中，可以用于获取用户点击Excel操作界面的位置信息。在用户点击Excel软件操作界面的过程中，钩子函数获取用户对鼠标的操作。具体的信息获取方法为：

第一实施例

S11，当用户按下鼠标左键时，信息获取系统对Excel软件操作界面进行截图，并保存为图形1。当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2；上述的图形1和图形2为信息获取系统截取的整个Excel操作界面的截图。针对用户对鼠标的操作信息通过钩子函数获得。

S12，信息获取系统通过钩子函数获取用户点击位置坐标，当用户在Excel操作界面上有动作时，例如点击“格式刷”的按钮。钩子函数能够知道该位置在整个的Excel操作界面的位置为（11，13），信息获取系统通过钩子函数获取用户点击位置为（11,13），将用户点击位置（11,13）定义为位置坐标。

S13，所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种。信息获取系统通过位置坐标（11,13）得知用户点击区域为按钮区域。具体原理为，Excel操作界面中的按钮区域、单元格区域和工作表区域在整个的Excel表格中所在相对位置时固定的，可以将上述三个区域的位置划分出来保存在信息获取系统内，例如：通过对Excel表格分析得出坐标位置范围为（0,0—100,20）的区域为按钮区域。当获取的坐标位置为（11,13），即可判断用户点击位置为按钮区域。

S14，所述信息获取系统获取用户点击位置的位置截图；具体为，Excel系统在用户点击按钮区域中的按键时，鼠标需要按下和抬起，在鼠标被按下和抬起的两个步骤中按钮颜色会有一定的变化。信息获取系统将通过鼠标按下和抬起的过程中按钮颜色的变化获得两张在按钮区域有不同的两张截图。即上述的图形1和图形2。信息获取系统通过对图形1和图形2进行对比，在RGB彩色空间找出图形1和图形2之间不同的像素。从而得出坐标位置（11,13）周围有颜色变化。信息获取系统对颜色变化区域进行截图。获得位置截图。为了更加准确地获得位置截图的范围，信息获取系统采用了腐蚀膨胀处理以此获得更加准确地位置截图。采用膨胀腐蚀处理主要是因为按钮区域有些按键即有图标，又有按键名。例如粘贴的功能按键区域，他们被分为两块。所以要用到膨胀腐蚀处理，以此获得更加准确地位置截图。为了获得更加准确地位置截图。信息获取系统还对位置截图进行判断，判断位置截图的大小是否符合一个按钮的大小范围。例如按钮区域的按钮大小有10、20和30的尺寸。当位置截图的大小为10.01，则判断位置截图符合按钮大小的范围。上述对比允许位置截图具有一定的大小偏差。

S15，信息获取系统对上述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。具体的，信息获取系统中带有训练好的分类器，本实施例中，采用的分类器为滑动窗口分类器。训练好的分类器中存有Excel软件中所有按钮图标，按钮图标对应的附有按钮图标的信息。例如粘贴的图标，附有该图标功能为“粘贴”。这样即可获取用户点击位置为按钮“粘贴”。

第二实施例：

S11，当用户按下鼠标左键时，信息获取系统对Excel软件操作界面进行截图，并保存为图形1。当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2；上述的图形1和图形2为信息获取系统截图的整个Excel操作界面的截图。针对用户对鼠标的操作信息通过钩子函数获得。

S12，信息获取系统通过钩子函数获取用户点击位置坐标，当用户在Excel操作界面上有动作时，例如点击“J12”的单元格。钩子函数能够知道该位置在整个的Excel操作界面的位置为（88，56），信息获取系统通过钩子函数获取用户点击位置为（88,56），将用户点击位置（88，56）定义为位置坐标。

S13，所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种。信息获取系统通过位置坐标（88，56）得知用户点击区域为单元格区域。具体原理为，Excel操作界面中的按钮区域、单元格区域和工作表区域在整个的Excel表格中所在相对位置是固定的，可以将上述三个区域的位置划分出来保存在信息获取系统内，例如：通过对Excel表格分析得出坐标位置范围为（0,20—100,90）的区域为单元格区域。当获取的坐标位置为（88，56），即可判断用户点击位置为单元格区域。

S14，所述信息获取系统获取用户点击位置的位置截图；具体为，Excel系统在用户点击单元格后，被点击位置的横竖索引区域会有颜色变化。如图1所示，B-1和B-2为横竖索引区域，被点击的J12的对应的B-1和B-2区域中的“J”和“12”两个位置有颜色变化。信息获取系统查找该颜色变化的区域，通过查找横竖索引区域的中颜色与横竖索引区域其他位置颜色不同的位置，对颜色不同区域进行截图。获得位置截图。本实施例中的位置截图有两个，“J”和“12”。

S15，信息获取系统对上述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。具体的，信息获取系统中带有训练好的分类器，本实施例中，采用的分类器为滑动窗口分类器。训练好的分类器中存有Excel软件中所有单元格横竖索引区域的索引图标，通过训练好的分类器对位置截图进行分类，即可获得位置截图为“J”和“12”，以此获得用户点击的位置为单元格J12。

第三实施例：

S11，当用户按下鼠标左键时，信息获取系统对Excel软件操作界面进行截图，并保存为图形1。当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2；上述的图形1和图形2为信息获取系统截图的整个Excel操作界面的截图。针对用户对鼠标的操作信息通过钩子函数获得。

S12，信息获取系统通过钩子函数获取用户点击位置坐标，当用户在Excel操作界面上有动作时，例如点击“sheet1”的按钮。钩子函数能够知道该位置在整个的Excel操作界面的位置为（99,11），信息获取系统通过钩子函数获取用户点击位置为（99,11），将用户点击位置（99,11）定义为位置坐标。

S13，所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种。具体的，信息获取系统通过位置坐标（99,11）得知用户点击区域为按工作表区域。具体原理为，Excel操作界面中的按钮区域、单元格区域和工作表区域在整个的Excel表格中所在相对位置时固定的，可以将上述三个区域的位置划分出来保存在信息获取系统内，例如：通过对Excel表格分析得出坐标位置范围为（0,90—10,99）的区域为工作表区域。当获取的坐标位置为（99,11），即可判断用户点击位置为工作表位置。

S14，所述信息获取系统获取用户点击位置的位置截图；信息获取系统通过位置坐标（99,11）截取周围范围的截图，成为位置截图。

S15，信息获取系统对上述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。具体的，信息获取系统中带有训练好的分类器。训练好的分类器中存有Excel软件中所有工作表图标，按钮图标对应的附有工作表图标的信息。例如sheet1的图标，附有该图标功能为“工作表1”，这样即可获取用户点击位置为工作表1。

一种Excel软件操作信息获取系统，主要用于获取用户在Excel软件中的操作信息。包括截图模块11、分析处理模块12、分类器13和抓取模块14。

截图模块11，用于获取Excel操作界面的界面截图，当用户按下鼠标左键时，截图模块11对Excel软件操作界面进行截图，并保存为图形1。当用户放起鼠标左键时，截图模块11对Excel软件操作界面再次进行截图，并保存为图形2；上述的图形1和图形2为截图模块11截取的整个Excel操作界面的截图。针对用户对鼠标的操作信息通过钩子函数获得。

抓取模块14，用于与Windows系统的自带函数钩子函数相互获取信息。例如抓取用户点击Excel操作界面的位置坐标。

分析处理模块12，带有图片处理功能，用于处理对截取的图片进行处理对比，还用于分析各种数据分析及相对位置关系。抓取模块14通过上述位置坐标得出用户在Excel软件操作界面点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种。具体实现方式在一种Excel软件操作信息获取方法中步骤S13已经详细阐述，在此不再赘述。

分析处理模块12还用于获取用户点击位置的位置截图范围，并通过截图模块对截图范围进行截图。针对位于按钮区域、单元格区域和工作表区域获取截图范围的方式不同，具体的在上述3个实施例中的步骤S14中已经详细讲述，在此不再赘述。

分类器13，用于针对截图模块11获取的位置截图进行分类。获取用户对Excel软件操作界面的操作信息。

用户通过本具体实施例中讲述的一种Excel软件操作信息获取方法及系统能够通过截图通过钩子函数知道位置坐标进而获取所在的按钮区域、单元格区域和工作表区域中的一个。得知用在上述三个区域的一个后，根据不同的区域通过不同的操作方法获取位置截图。通过分类器获取位置截图所对于的位置信息。从而得出用户对Excel操作的位置信息。

通过本发明中的一种Excel软件操作信息获取方法及系统可以获取当前其他插件或是第三方软件无法获取的操作信息，对于办公软件的智能学习有更大的帮助，促进办公软件更加的智能化。另外，上述具体实施例以Excel软件作为案例。但是本发明中的方法及系统不仅仅应用于Excel软件。还可以用到其他Word、PPT等软件。当然也可以扩展到其他的一些应用软件，例如专业的分析软件、管理软件等。

上述具体实施例仅仅是提供一种详细的实施案例，我们不应该将本发明的保护范围限制于此，本领域技术人员根据本发明做出的简单推理或是替换都应该属于本发明的保护范围。

Claims (9)

1.一种Excel软件操作信息获取方法，应用于Excel软件操作信息获取系统，其特征在于：在用户点击Excel软件操作界面的过程中，当用户按下鼠标左键时，所述信息获取系统对Excel软件操作界面进行截图，并保存为图形1，当用户放起鼠标左键时，所述信息获取系统对Excel软件操作界面再次进行截图，并保存为图形2，后续步骤如下：

所述信息获取系统通过钩子函数获取用户点击的位置坐标；

所述信息获取系统通过所述位置坐标得出用户在Excel软件操作界面的点击位置从而判断用户点击位置为按钮区域、单元格区域和工作表区域中的一种；

所述信息获取系统获取用户点击位置的位置截图；

所述信息获取系统对所述位置截图进行分类，从而获取用户点击Excel软件操作界面的位置信息。

2.如权利要求1所述的一种Excel软件操作信息获取方法，其特征在于：当所述信息获取系统判断用户点击位置为按钮区域时，对比图形1和图形2，判断所述位置坐标附近有颜色不同，获取图形1和图形2的不同区域，将所述不同区域截图从而获取位置截图。

3.如权利要求2所述的一种Excel软件操作信息获取方法，其特征在于：在用户获取所述不同区域的过程中进行了膨胀腐蚀处理。

4.如权利要求1所述的一种Excel软件操作信息获取方法，其特征在于，当判断用户点击位置为单元格区域，所述信息获取系统通过钩子函数获取横竖索引区域位置，并在获取的横竖索引区域处找出与横竖索引区域的其他地方颜色不同的区域，将上述横竖索引区域颜色不同区域截图得到所述位置截图。

5.一种Excel软件操作信息获取系统，应用于获取用户操作Excel软件时的操作位置信息，其特征在于，包括截图模块、分析处理模块、分类器、抓取模块，

所述截图模块在用户操作的过程中截取操作界面，具体为：在用户点击Excel软件操作界面的过程中，当用户按下鼠标左键时，所述截图模块对Excel软件操作界面进行截图，并保存为图形1，当用户放起鼠标左键时，所述截图模块对Excel软件操作界面再次进行截图，并保存为图形2；

所述抓取模块为与Windows系统自带软件进行互动，从Windows系统的钩子函数获取鼠标操作信息，在用户通过鼠标点击Excel操作界面后，抓取模块通过钩子函数获取鼠标点击信息及位置坐标；

所述分析处理模块，在所述抓取模块通过钩子函数获取了鼠标点击位置坐标后，分析处理模块通过位置坐标得出用户点击位置为按钮区域、单元格区域和工作表区域中的一种，及用于获取用户点击位置的位置截图范围；

所述截图模块还用于在分析模块获取用户点击位置为按钮区域、单元格区域和工作表区域中的一种，分析处理模块获取用户点击位置的位置截图范围后，截取用户点击位置的位置截图；

所述分类器用于对所述位置截图进行分类，从而识别用户点击位置的信息。

6.如权利要求5所述的一种Excel软件操作信息获取系统，其特征在于，当判断用户点击位置为按钮区域时，分析处理模块还用于对比图形1和图形2，判断位置坐标附近有颜色不同，获取颜色不同区域，并通过截图模块截取所述不同区域得到位置截图。

7.如权利要求6所述的一种Excel软件操作信息获取系统，其特征在于；所述分析处理模块，在获取颜色不同区域的过程中采用了膨胀腐蚀处理。

8.如权利要求5所述的一种Excel软件操作信息获取系统，其特征在于：当判断用户点击位置为单元格区域时，比较单元格横竖索引区域中的颜色与横竖索引区域其他位置颜色不同的区域，通过截图模块将横竖索引区域中颜色不同的区域截图而获取位置截图。

9.如权利要求6-8中的一种Excel软件操作信息获取系统，其特征在于，所述分类器为训练好的滑动窗口分类器。