CN110858302B - 在画面影像中编辑监控脚本的系统及方法 - Google Patents

Abstract

本发明提供一种在画面影像中编辑监控脚本的系统及方法，其通过撷取欲监控装置的显示画面的画面影像，并提供在画面影像中选择目标区域后，判断目标区域的位置数据与目标区域中的文字的字型属性，并依据字型属性及位置数据产生监控脚本所包含的监控指令的技术手段，可以降低编辑脚本指令的困难度，并达成以更直觉的方式编辑脚本指令的技术功效。

Description

在画面影像中编辑监控脚本的系统及方法

技术领域

本发明涉及一种脚本编辑系统及方法，特别系指一种在画面影像中编辑监控脚本的系统及方法。

背景技术

产线是持续运作的，一旦维持产线运作的装置发生故障而导致产线停止，将造成巨大的损失。因此，对维持产线运作的装置通常会有监控系统，藉以在维持产线运作的装置故障而导致产线停止前，提前发现异常的装置，进而通知人员将异常的装置修复。

目前的监控系统监控装置的方式主要有侵入式与非侵入式两种方案以取得被监控的装置的数据。被监控的装置通常使用侵入式的方案来取得装置的数据来监控装置，但在老旧的装置或安全管控非常严格的装置上，往往无法使用侵入式的方案，因此，业界也有一些非侵入式的方案。

目前非侵入式的监控方案都要求要建立并维护监控脚本，并由特定的装置执行监控脚本以监控被监控的装置。另外，目前非侵入式的监控方案也要求被监控的装置所显示的窗口在监控脚本建立后便不能移动，一旦窗口发生位移，需要重新取得欲监控的区域的坐标与范围，并修改相对应的脚本指令。

然而，脚本指令如同程序代码，每一个指令都是由数个字母与符号组成，且编辑一个脚本指令可能还需要通过额外的工具取得欲监控的区域的坐标与范围，用户除了要学习脚本指令的语法之外，还需要学习取得坐标与范围的工具，甚至可能还需要在复杂的监控脚本中寻找需要修改坐标的脚本指令，因此，编辑脚本指令对于一般用户并不容易，这导致即使只是因为窗口发生位移而要些微调整欲监控的区域的坐标，也需要请技术人员来维护，一般用户无法自行调整。

综上所述，可知现有技术中长期以来一直存在编辑脚本指令有一定困难度导致只能由专业人员进行的问题，因此有必要提出改进的技术手段，来解决此问题。

发明内容

有鉴于现有技术存在编辑脚本指令有一定困难度导致只能由专业人员进行的问题，本发明公开一种在画面影像中编辑监控脚本的系统及方法，其中：

本发明所公开的在画面影像中编辑监控脚本的系统，至少包含：影像撷取模块，用以撷取显示画面的画面影像；区域选择模块，用以显示画面影像，并提供于画面影像中选择目标区域；位置侦测模块，用以判断目标区域的位置数据；字体判断模块，用以侦测目标区域中的文字的字型属性；参数设定模块，用以提供设定输出参数；脚本产生模块，用以依据字型属性及位置数据产生监控指令，并依据输出参数产生输出指令，及用以产生包含监控指令及输出指令的监控脚本。

本发明所公开的在画面影像中编辑监控脚本的方法，其步骤至少包括：撷取显示画面的画面影像；显示画面影像，并提供于画面影像中选择目标区域；判断目标区域的位置数据；判断目标区域中的文字的字型属性；依据字型属性及位置数据产生监控指令；提供设定输出参数，并依据输出参数产生输出指令；产生包含监控指令及输出指令的监控脚本。

本发明所公开的系统与方法如上，与现有技术之间的差异在于本发明通过撷取欲监控装置的显示画面的画面影像，并提供在画面影像中选择目标区域后，判断目标区域的位置数据与目标区域中的文字的字型属性，并依据字型属性及位置数据产生监控脚本所包含的监控指令，以及提供设定输出参数，并依据输出参数产生监控脚本所包含的输出指令，以解决现有技术所存在的问题，并可以达成以更直觉的方式编辑脚本指令的技术功效。

附图说明

图1为本发明所述的在画面影像中编辑监控脚本的系统架构图。

图2为本发明所述的在画面影像中编辑监控脚本的方法流程图。

符号说明：

110 影像撷取模块

120 区域选择模块

150 属性判断模块

160 参数设定模块

170 脚本产生模块

步骤202 撷取显示画面的画面影

步骤210 显示画面影像

步骤220 提供于画面影像中选择目标区域

步骤230 判断目标区域的位置数据

步骤250 判断目标区域中的文字的字型属性

步骤260 依据字型属性及位置数据产生监控指令

步骤270 提供设定输出参数

步骤280 依据输出参数产生输出指令

步骤290 产生包含监控指令及输出指令的监控脚本

具体实施方式

以下将配合附图及实施例来详细说明本发明的特征与实施方式，内容足以使任何本领域技术人员能够轻易地充分理解本发明解决技术问题所应用的技术手段并据以实施，由此实现本发明可达成的功效。

本发明可以提供用户通过在窗口中显示的画面影像设定脚本指令，以编辑监控脚本。

以下先以图1本发明所述的在画面影像中编辑监控脚本的系统架构图来说明本发明的系统运作。如图1所示，本发明的系统含有区域选择模块120、位置侦测模块130、字体判断模块150、参数设定模块160、脚本产生模块170，以及可以附加的影像撷取模块110。

影像撷取模块110可以由欲进行监控的目标装置的显示画面(图中未示)中撷取画面影像，一般而言，影像撷取模块110所撷取的画面影像包含显示画面中的所有内容。其中，显示画面即为目标装置的屏幕等显示模块显示的画面。

区域选择模块120负责显示画面影像。区域选择模块120所显示的画面影像包含目标装置的显示画面被撷取时，显示画面中的所有内容，其中，画面影像可以是由影像撷取模块110所撷取，也可以是由外部装置或模块所撷取，例如由欲进行监控的目标装置自行撷取画面影像，本发明没有特别的限制。

区域选择模块120也负责提供于所显示的画面影像中选择欲进行监控的目标区域。区域选择模块120可以提供直接输入显示画面或画面影像中的坐标的方式来选择目标区域，也可以提供点击与拖放的方式在所显示的画面影像中框选出目标区域，或可以在画面影像上提供双击并将围起被双击的位置的区域做为目标区域，但本发明并不以此为限，凡可以提供用户在画面影像中选择目标区域的方式都可以在本发明中被使用。

在部分的实施例中，区域选择模块120也可以提供由影像撷取模块110所撷取的画面影像中选择一个监测范围(图中未示)。其中，区域选择模块120可以使用选择目标区域的相同或相似方式提供在画面影像中选出监测范围。

区域选择模块120也可以对所选出的监测范围进行分析，以由监测范围中判断出一个或多个目标区域。例如，区域选择模块120可以依据监测范围在画面影像中的色块及/或线条判断目标区域，更详细的说，区域选择模块120可以将监测范围中的不同色块判断为不同的目标区域、或可以将监测范围中被线条分隔的部分判断为不同的目标区域等，但区域选择模块120由监测范围中判断目标区域的方式并不以上述为限，例如，区域选择模块120也可以依据监测范围中的控制组件或其他对象由监测范围中判断出目标区域。

区域选择模块120也可以产生与目标区域对应的目标表示数据。一般而言，区域选择模块120可以随机产生或是以预定的规则产生目标表示数据，本发明没有特别的限制。其中，本发明所述的目标表示数据可以由任意数量的文字、字母、数字、符号任意排列而成，用来表示相对应的目标区域。

区域选择模块120也负责取得被选择的目标区域的位置数据。其中，本发明所述的位置数据可以表示目标区域等特定区域在显示画面或画面影像中的位置，例如特定区域的右上角与左下角的坐标，又如特定区域的右下角的坐标以及特定区域的宽度与高度等，但本发明并不以上述为限。

在部分的实施例中，区域选择模块120可以判断索引坐标点与参考坐标点的相对位置以产生位置数据，此时，位置数据可以是参考坐标点至索引坐标点的相对距离，以及目标区域的宽度与高度，但本发明并不以此为限。其中，索引坐标点为目标区域上的特定点在画面影像中的坐标；参考坐标点为显示画面或画面影像中的特定点的坐标。上述特定点，包含但不限于左上角、左下角、右上角、右下角、或中心点等，一般而言，索引坐标点在目标区域上的相对位置会与参考坐标点在显示画面或画面影像上的相对位置一致，例如，当索引坐标点为目标区域的左上角的坐标时，参考坐标点也会是显示画面或画面影像的左上角的坐标。

区域选择模块120也可以依据目标区域的位置数据在所显示的画面影像中标示出相对应的目标区域，并提供调整所表示出的目标区域所涵盖的范围，同时，区域选择模块120也可以取得被调整后的目标区域的位置数据。例如，区域选择模块120可以使用线条在画面影像中框起目标区域，并提供移动所显示的线条以调整目标区域所涵盖的范围，但区域选择模块120提供调整目标区域所涵盖的范围的方式并不以上述为限。

属性判断模块150负责判断区域选择模块120所选出的目标区域中的文字的字型属性。属性判断模块150所判断出的字型属性包含但不限于字体(字型)、大小、是否为粗体、是否为斜体、是否有底线、是否有删除线等。其中，由于操作系统必定是使用已安装的字体显示目标区域中的文字，且操作系统所显示的同一文字的字型属性相同时，在显示画面中被显示的样式与特征都是固定的，因此，属性判断模块150可以通过已安装于操作系统的各个字体的不同大小来判断被显示于目标范围中的文字的字型与大小等各种字型属性。

一般而言，属性判断模块150可以根据区域选择模块120所取得的目标区域的位置数据，由影像撷取模块110所撷取的画面影像中撷取出目标区域所涵盖的目标影像，并可以将所撷取的目标影像与安装于操作系统中的字体进行比对，当目标影像中所表示的文字与被比对的字体的样板(或特征)相同或相似度达到门坎值时，属性判断模块150可以判断目标区域中的文字使用被比对的字体，进而判断目标区域中的文字的其他字型属性。但属性判断模块150判断目标区域中的文字的字型属性的方式并不以上述为限。

其中，属性判断模块150可以先使用一种或多种常用字体与所撷取的目标影像进行比对，并可以在无法由常用字体判断出区域选择模块120所选出的目标区域中的文字的字型属性时，也就是无法由常用字体中找到与目标影像所表示的文字相符的字体时，再使用安装于操作系统中不属于常用字体的其他字体与所撷取的目标影像进行比对，以判断目标区域中的文字的字型属性。

本发明所述的常用字体可以是由操作系统所定义，也可以是由特定的外部应用程序所定义，或可以是由属性判断模块150所定义，本发明没有特别的限制。例如，属性判断模块150可以在每一次判断出字型属性时，累计所判断出的字体的次数，并可以将累积次数达到门坎值的字体定义为常用字体，或可以将或是累积次数较多的数个字体定义为常用字体；属性判断模块150也可以将前几次所判断出的字型属性所包含的字体定义为常用字体。

属性判断模块150也可以显示所判断出的字型属性。例如，属性判断模块150可以在区域选择模块120所显示的画面影像中，与区域选择模块120所选出的目标区域相隔一定距离的位置显示所判断出的字型属性。其中，属性判断模块150可以使用弹出式对话框的方式显示字型属性。但属性判断模块150显示字型属性的方式并不以上述为限。

属性判断模块150也可以提供编辑所判断出的字型属性。例如，属性判断模块150可以在所显示的对话框中通过下拉式选单提供选择目标区域中的文字的字型以及大小，也可以在对话框中通过复选框提供选择目标区域中的文字是否为粗体、是否加底线、是否有删除线。属性判断模块150并可以将目标区域中的文字的字型属性更新为被编辑后的字型属性。但属性判断模块150提供编辑字型属性的方式亦不以上述为限。

属性判断模块150也可以提供编辑与目标区域对应的目标表示数据。例如，属性判断模块150可以在所显示的对话框中提供输入字段，以提供编辑目标表示数据。例如，用户可以使用能够让自己了解被对应之目标区域是哪一个的方式编辑目标表示数据，但本发明并不以此为限。

参数设定模块160负责提供设定执行环境数据。参数设定模块160提供设定的执行环境数据可以是一个或多个输出参数，也可以是监控模式，也可以是监控脚本的执行次数。一般而言，参数设定模块160可以使用对话框或是分页页签的方式提供设定输出参数、监控模式、执行次数等执行环境数据。

其中，输出参数包含与区域选择模块120所选出的目标区域所对应的输出项目，也就是说，参数设定模块160可以提供选择与区域选择模块120所选出的目标区域，并取得与被选择的目标区域对应的目标表示数据，以将所取得的目标表示数据作为输出项目。

参数设定模块160提供设定的监控模式可以表示监控执行监控脚本的本地装置，或是通过网络监控特定的远程装置，其中，当监控模式表示监控远程装置时，参数设定模块160还可以提供设定远程装置的网络地址。

参数设定模块160提供设定的执行次数可以表示只执行一次，也可以表示持续执行不停止，其中，当执行次数表示不停止时，参数设定模块160还可以提供每一次执行的间隔时间。

脚本产生模块170负责依据属性判断模块150所判断出的字型属性以及区域选择模块120所取得的位置数据产生监控指令，也负责依据参数设定模块160提供设定的输出参数产生输出指令。其中，监控指令可以使得执行监控脚本的装置辨识目标区域中的文字，输出指令可以输出目标区域中的文字的辨识结果。

脚本产生模块170也可以依据参数设定模块160提供设定的监控模式产生环境指令，也可以依据参数设定模块160提供设定的执行次数产生另一个环境指令。

脚本产生模块170也负责产生监控脚本。脚本产生模块170所产生的监控脚本中包含所产生的监控指令以及输出指令，若脚本产生模块170也有产生环境指令，则脚本产生模块170所产生的监控脚本中也会包含所产生的环境指令。也就是说，脚本产生模块170所产生的监控脚本中会包含脚本产生模块170所产生的各种指令。

接着以一个实施例来解说本发明的运作系统与方法，并请参照图2本发明所述的在画面影像中编辑监控脚本的方法流程图。

首先，影像撷取模块110可以撷取显示画面的画面影像(步骤202)。在本实施例中，假设影像撷取模块110可以通过有线或无线网络联机到欲进行监控的目标装置撷取目标装置的显示画面的画面影像。

在影像撷取模块110撷取画面影像后，区域选择模块120可以显示影像撷取模块110所撷取的画面影像(步骤210)，并可以提供于所显示的画面影像中选择目标区域(步骤220)。在本实施例中，假设区域选择模块120可以提供用户操作鼠标等输入设备在所显示的画面影像中双击，则区域选择模块120在用户双击后，可以取得用户在画面影像中双击的位置，并可以依据画面影像中的线条及/或色块判断围起被双击的位置的区域，区域选择模块120可以选择所判断出区域为目标区域，并可以为所判断出的目标区域产生目标表示数据。

在区域选择模块120于画面影像中选择目标区域后，区域选择模块120可以判断被选择的目标区域的位置数据(步骤230)。在本实施例中，假设区域选择模块120可以将画面影像中包含目标区域的窗口的左上角作为参考坐标点，并把目标区域的左上角作为索引坐标点，并可以计算索引坐标点与参考坐标点在水平方向与垂直方向的相对距离，以及判断目标区域在画面影像中的宽度与高度，以判断目标区域的位置数据。

在区域选择模块120选择目标区域并判断出目标区域的位置数据(步骤220、230)后，属性判断模块150可以判断区域选择模块120所选出的目标区域中的文字的字型属性(步骤250)，并在目标区域的周围显示所判断出的字型属性。在本实施例中，假设属性判断模块150可以依据区域选择模块120所取得的目标区域的位置数据由影像撷取模块110所撷取的画面影像中撷取出目标影像，并使用安装于操作系统中的字体中被定义为常用字体的字体与所撷取出的目标影像进行比对。若比对出相符的字体，则属性判断模块150可以进一步的判断目标影像所表示的文字的各个字型属性；而若所有常用字体都未与目标影像相符，则属性判断模块150可以继续使用安装于操作系统中的字体中未被定义为常用字体的字体与所撷取出的目标影像进行比对，若比对出相符的字体，则属性判断模块150可以进一步的判断目标影像所表示的文字的各个字型属性。而在属性判断模块150判断出字型属性后，可以在与目标区域相距一定距离的位置显示包含所判断出的字型属性的对话框，并提供用户编辑目标表示数据。

在属性判断模块150判断出区域选择模块120所选出的目标区域中的文字的字型属性(步骤250)后，脚本产生模块170可以依据区域选择模块120所取得的目标区域的位置数据以及属性判断模块150所判断出的字型属性产生与区域选择模块120所选出的目标区域对应的监控指令(步骤260)。

接着，用户可以重复上述步骤220至步骤250，直到通过区域选择模块120在画面影像中选出所有欲监控的目标区域为止。

之后，参数设定模块160可以提供设定输出参数(步骤270)。在本实施例中，假设用户可以开启参数设定模块160所提供的对话框，参数设定模块160可以取得与各个目标区域对应的目标表示数据，并在对话框中显示所有目标表示数据以提供用户选择。

在参数设定模块160提供设定输出参数(步骤270)后，脚本产生模块170可以依据参数设定模块160提供设定的输出参数产生输出指令(步骤280)。在本实施例中，假设用户选择所有的目标表示数据，则脚本产生模块170可以产生包含所有目标表示数据的输出指令。

在脚本产生模块170产生监控指令以及输出指令后，脚本产生模块170可以产生包含所产生的监控指令以及输出指令的监控脚本(步骤290)。

如此，通过本发明产生监控脚本后，可以将监控脚本复制到特定的装置上，并操作该装置执行监控脚本，以进行监控。

其中，若参数设定模块160提供设定的监控模式为本地监控，则上述的特定装置即为欲进行监控的装置，而若监控模式被设定为远程监控，则上述特定装置可以是能够通过IPKVM联机到被监控的装置的任意装置。

另外，若参数设定模块160提供设定的执行次数为一次，则脚本产生模块170产生的监控脚本中可以包含表示执行一次的环境指令，执行监控脚本的装置依据该环境指令只会输出一次对各个目标区域的文字的辨识结果，而若执行次数被参数设定模块160设定为不停止，则脚本产生模块170产生的监控脚本中可以包含表示不断执行的环境指令，执行监控脚本的装置依据表示为不断执行的环境指令可以持续对各个目标区域中的文字进行辨识，并输出辨识结果。

上述实施例中，在脚本产生模块170产生监控脚本(步骤290)前，本发明也可以提供用户编辑脚本产生模块170所产生的各个指令。在本实施例中，假设用户可以操作鼠标等输入设备点击欲编辑的监控指令，则区域选择模块120可以显示影像撷取模块110所撷取的画面影像，并可以依据监控指令中所包含的位置数据于画面影像中标示出与监控指令对应的目标区域，以及可以提供调整被标示出的目标区域，并再次判断调整后的目标区域的位置数据。同时，属性判断模块150也可以在被标示出的目标区域周围显示对话框，并可以在对话框中显示被标示出的目标区域中的文字的字型属性，以及提供编辑被显示的字型属性。

综上所述，可知本发明与现有技术之间的差异在于具有撷取欲监控装置的显示画面的画面影像，并提供在画面影像中选择目标区域后，判断目标区域的位置数据与目标区域中的文字的字型属性，并依据字型属性及位置数据产生监控脚本所包含的监控指令，以及提供设定输出参数，并依据输出参数产生监控脚本所包含的输出指令的技术手段，由此技术手段可以解决现有技术所存在编辑脚本指令有一定困难度导致只能由专业人员进行的问题，进而达成以更直觉的方式编辑脚本指令的技术功效。

再者，本发明的在画面影像中编辑监控脚本的方法，可实现于硬件、软件或硬件与软件的组合中，也可在计算机系统中以集中方式实现或以不同组件散布于若干互连的计算机系统的分散方式实现。

虽然本发明所说明的实施方式如上，惟所述的内容并非用以直接限定本发明的专利保护范围。任何本发明所属技术领域中的本领域技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的实施的形式上及细节上作些许的更动润饰，均属于本发明的专利保护范围。本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种在画面影像中编辑监控脚本的方法，其特征在于，该方法至少包含下列步骤：

撷取显示画面的画面影像；

显示该画面影像，并提供于该画面影像中选择目标区域；

判断该目标区域的位置数据；

判断该目标区域中的文字的字型属性；

依据该字型属性及该位置数据产生监控指令；

提供设定输出参数，并依据该输出参数产生输出指令；及

产生包含该监控指令及该输出指令的监控脚本。

2.如权利要求1所述的在画面影像中编辑监控脚本的方法，其特征在于，该方法于提供于该画面影像中选择目标区域的步骤前，还包含提供设定监控模式及/或执行次数，并产生相对应的环境指令的步骤。

3.如权利要求1所述的在画面影像中编辑监控脚本的方法，其特征在于，该方法于产生包含该监控指令及该输出指令的该监控脚本的步骤前，还包含显示该画面影像与该字型属性，并依据该位置数据于该画面影像中标示该目标区域，及提供编辑该字型属性及/或调整该目标区域，并再次判断调整后的目标区域的位置数据的步骤。

4.如权利要求1所述的在画面影像中编辑监控脚本的方法，其特征在于，提供设定输出参数的步骤还包含提供选择与该目标区域对应的目标表示数据的步骤。

5.如权利要求1所述的在画面影像中编辑监控脚本的方法，其特征在于，判断该目标区域的位置数据的步骤为判断该目标区域的索引坐标点与参考坐标点的相对位置。

6.一种在画面影像中编辑监控脚本的系统，其特征在于，该系统至少包含：

影像撷取模块，用以撷取显示画面的画面影像；

区域选择模块，用以显示该画面影像，并提供于该画面影像中选择目标区域；

位置侦测模块，用以判断该目标区域的位置数据；

字体判断模块，用以侦测该目标区域中的文字的字型属性；

参数设定模块，用以提供设定输出参数；及

脚本产生模块，用以依据该字型属性及该位置数据产生监控指令，并依据该输出参数产生输出指令，及用以产生包含该监控指令及该输出指令的监控脚本。

7.如权利要求6所述的在画面影像中编辑监控脚本的系统，其特征在于，该参数设定模块还用以提供设定监控模式及/或执行次数，该脚本产生模块还用以依据该监控模式及/或该执行次数产生至少一环境指令，及产生包含该至少一环境指令的该监控脚本。

8.如权利要求6所述的在画面影像中编辑监控脚本的系统，其特征在于，该字体判断模块还用以显示该字型属性，并提供编辑该字型属性，该区域选择模块还用以显示该画面影像及依据该位置数据于该画面影像中标示该目标区域，并提供调整该目标区域，该位置侦测模块还用以再次判断调整后的目标区域的位置数据。

9.如权利要求6所述的在画面影像中编辑监控脚本的系统，其特征在于，该参数设定模块是提供选择与该目标区域对应的目标表示数据以设定该输出参数。

10.如权利要求6所述的在画面影像中编辑监控脚本的系统，其特征在于，该位置侦测模块是判断该目标区域的索引坐标点与参考坐标点的相对位置以产生该位置数据。