CN110489188A - 由桌面应用生成移动应用程序的计算机实现的方法和系统 - Google Patents

由桌面应用生成移动应用程序的计算机实现的方法和系统 Download PDF

Info

Publication number
CN110489188A
CN110489188A CN201910396971.5A CN201910396971A CN110489188A CN 110489188 A CN110489188 A CN 110489188A CN 201910396971 A CN201910396971 A CN 201910396971A CN 110489188 A CN110489188 A CN 110489188A
Authority
CN
China
Prior art keywords
desktop
image
component
application
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910396971.5A
Other languages
English (en)
Other versions
CN110489188B (zh
Inventor
A.希瑟
M.齐恩
M.帕特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric SE
Original Assignee
Schneider Electric SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric SE filed Critical Schneider Electric SE
Publication of CN110489188A publication Critical patent/CN110489188A/zh
Application granted granted Critical
Publication of CN110489188B publication Critical patent/CN110489188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/76—Adapting program code to run in a different environment; Porting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation

Abstract

本发明涉及用于根据桌面应用生成移动应用程序的一种计算机实现的方法和一种系统，系统包括：图像采集单元，用于采集桌面应用的图形用户界面的各个视频图像；图像分析单元，用于分析视频图像并且用于将图像划分成桌面图像组件，以及用于分析桌面图像组件并且用于采集桌面图像组件的属性信息；转换单元，用于将桌面图像组件转换到预先定义的等效的与移动设备的显示器尺寸匹配的可实施的移动设备组件；生成单元，用于生成移动应用程序的可实施的图形用户界面；采集单元，用于采集用户交互、将用户交互转换为桌面应用的图像坐标、将图像坐标发送到桌面应用，其中作为对用户交互的响应，为移动应用程序生成更新的和/或可重新实施的移动设备组件。

Description

由桌面应用生成移动应用程序的计算机实现的方法和系统
技术领域
本发明涉及一种用于根据桌面应用生成具有可在移动设备的显示器上显示的交互图形用户界面的移动应用程序的计算机实现的方法，并且还涉及一种用于执行该方法的系统。
背景技术
开头所提到的类型的方法和系统从文献US 2014/0164944 A1中已知。在该方法中，通过对用户界面进行转换，从现有的基于企业的应用派生出用于在移动设备上使用的基于企业的应用，而继续保留基于企业的应用的功能。该方法包括基于至少一个组成部分产生非移动应用视图的多个分类，以及产生多个转换过滤器，其中多个转换过滤器中的每个与多个分类中的一个相关联。此外，还从多个非移动视图元件中选择视图元件，以及辨认从多个分类中选择的分类与所选择的非移动视图元件的一致。然后，将从多个转换器过滤器中选择的转换过滤器应用于所选择的非移动视图元件，以产生转换的元件。
文献US 2012/0229499A1涉及一种用于将非移动计算机平台的应用视图自动转变为移动应用的视图以便在移动设备上使用的方法。该方法包括至少部分地基于非移动计算机平台与移动设备之间的差异将非移动计算机平台的应用视图变换为移动应用的视图。所述差异包括与显示能力相关联的一个或多个外围设备。
在文献US 8,160,564 B1中描述了一种用于利用移动设备来控制桌面应用的方法和系统。文献US 8,160,564 B1涉及一种利用移动设备对在桌面计算机上实施的桌面应用的控制。在此，移动设备采集桌面应用的图像，在该图像中记录了在桌面计算机的显示器上显示的用户界面的照片。随后，借助移动设备从桌面计算机请求关于桌面应用的功能和规格的信息。桌面计算机提供桌面应用的位图表示以及与位图表示相关联的一个或多个用户可操作的选项，例如播放、快进、倒回等。移动设备将用户可操作的选项与图像的相应区域相关联。由此可以分配操作元件，以便为用户提供用于使用该选项的功能。
移动设备包括图像处理软件，其被设计为，用于请求关于与桌面应用相关联的规格的信息。该信息被映射到所采集的图像。此外，图像处理软件还被设计为，用于将与桌面应用相关联的选项与进行映射的区域并且与操作元件相关联，借此用户可以通过远程控制来操作桌面应用。
此外，移动设备还具有命令生成器软件，以便将移动设备上的用户输入转换为命令。这些命令被发送到桌面计算机以进行处理并且在桌面应用中触发动作。
已知方法的缺点在于，必须利用移动设备的照相机来记录桌面应用的图像。为此，强制性地要求移动设备的用户紧邻桌面应用，以便能够记录该桌面应用的图像。此外还应注意，桌面应用对用户输入的响应不能立即显示在移动设备的用户界面上。
此外，从现有技术中已知如下方法，在该方法中，桌面应用的图像例如借助远程桌面工具以流方式传输到移动设备，并且在移动设备的显示器上显示。
由于移动设备的显示器相比于桌面显示器较小，因此较小显示器上的以流方式传输的图像要么太大要么太小。
如果图像显示得太大，则只能看到一小部分，从而会失去概览，并且不能再使用各个操作元件。
如果桌面应用的图像与移动设备的显示器的尺寸相匹配，则大大减少了像素，使得操作者的操作、例如在触摸屏上的手动操作也是不可能的。
此外还应注意，桌面应用通常不针对触摸屏输入进行优化，使得即使桌面应用的图像显示在移动设备上，操作也很麻烦。
发明内容
基于此，本发明要解决的技术问题是，扩展开头所提到的类型的方法和系统，从而改进桌面应用在移动设备显示器上的显示，并且对借助移动设备来操作桌面应用进行简化。
该技术问题通过具有根据本发明的特征的方法来解决，该方法包括以下方法步骤：
借助视频流采集桌面应用的图形用户界面的各个图像，
借助模式识别分析图像并且将图像划分成桌面图像组件，
借助模式识别分析桌面图像组件并且采集桌面图像组件的属性信息，
借助属性信息和/或模式识别信息，将桌面图像组件通过其映射转换到预先定义的、等效的、与移动设备的显示器尺寸匹配的、可实施的移动设备组件，
根据相关联的移动设备组件生成移动应用程序的可实施的图形用户界面，
采集与可实施的移动设备组件中的一个的用户交互，将用户交互转换为桌面应用的相应的图像坐标，并且将图像坐标发送到桌面应用以实施相关联的桌面组件，其中，用户交互在桌面应用的相关联的桌面组件的图像坐标的位置处实施，和
作为对之前的用户交互的响应，在运行过程中，即“on the fly(动态地)”根据视频流的更新的视频图像为移动应用程序生成更新的和/或可重新实施的移动设备组件。
根据本发明，根据表示桌面应用的图形用户界面的图像的视频流产生移动应用的图形用户界面。
在此规定，将用户借助移动应用的交互发送到桌面应用，并且由此引起的桌面应用的图形用户界面的改变直接(动态地)产生移动应用的图形用户界面的相应的改变。
根据优选的实施规定，对以应用框架、菜单区域、文本区域、树状结构区域、列表结构区域和/或图形区域形式的桌面内容区域(content areas)中的图像作为桌面图像组件进行划分，并且在桌面内容区域的每一个中，对诸如文件和程序的图标(Icons)、按钮(Buttons)、滑块(Scroll bars)、工具栏(Tool bars)、菜单栏(Menu bars)和/或对话框的用户可操作的桌面控制组件，诸如树状结构和/或列表结构的用户可操作的动态桌面功能组件，和/或静态桌面图形组件作为桌面图像组件进行辨认。通过上述过程可以系统化和简化图像分析。
在模式识别中确定的桌面图像组件的属性信息优选地包含关于桌面图像组件在桌面屏幕上显示的类型、状态、位置、名称、文本区域、在时间上的状态变化和/或精确尺寸的信息。
优选地，在考虑模式识别信息和/或属性信息的情况下，借助诸如映射矩阵的映射文件(Mapping file)将通过模式识别辨认的桌面图像组件映射到预先定义的移动设备组件。
预先定义的移动设备组件可以以源代码模板形式根据基本图像组件来创建，所述基本图像组件在桌面应用的图形用户界面的不同状态的图像的图像分析中被辨认。
优选地，图像分析方法以依次建立的步骤执行。在图像分析的第一步骤中，辨认例如以具有应用标题的应用框架形式的桌面内容区域。在第二步骤中，可以在桌面内容区域中辨认桌面控制元件、桌面功能元件和/或桌面图形元件。然后在第三步骤中，可以将具有应用标题的应用框架转换为等效的、具有应用标题的移动应用框架。最后，在第四步骤中，可以将所辨认的桌面控制元件、桌面功能元件和/或桌面图形元件转换为等效的、可实施的移动设备控制元件、移动设备功能元件和/或移动设备图形元件。
优选地，模式识别信息和/或属性信息由配置文件提供，并且可以从中加载模式识别信息和/或属性信息以用于进行手动分析和/或转换和/或生成未知的桌面图像元件。
优选地，对图像的分析、桌面图像组件的转换和/或移动应用程序的生成，借助计算机设备、云环境中或移动设备本身中的处理器单元实施。
优选地，采集与移动应用程序的可实施的移动设备组件的用户交互，并且借助事件发射工具转换用户交互并将其发送到桌面应用。
此外，本发明还涉及一种数据处理系统，其用于根据在数据处理设备上实施的桌面应用生成具有可在移动设备的显示器上显示的交互图形用户界面的移动应用程序，所述数据处理系统包括：
诸如流客户端的图像采集单元，其用于借助视频流采集桌面应用的图形用户界面的各个视频图像；
图像分析单元，其用于借助模式识别分析视频图像并且用于将图像划分成桌面图像组件，以及用于借助模式识别分析桌面图像组件并且用于采集桌面图像组件的属性信息；
转换单元，其用于借助属性信息和/或模式识别信息将桌面图像组件通过其映射转换到预先定义的、等效的、与移动设备的显示器尺寸匹配的、可实施的移动设备组件；
生成单元，其用于根据相关联的移动设备组件生成移动应用程序的可实施的图形用户界面；
以事件发射工具形式的采集单元，其用于采集与可实施的移动设备组件中的一个的用户交互，用于将用户交互转换为桌面应用的相应的图像坐标，并且用于将图像坐标发送到桌面应用以实施相关联的桌面组件，其中，作为对用户交互的响应，在运行过程中，即“on the fly(动态地)”根据视频流的更新的视频图像为移动应用程序生成更新的和/或可重新实施的移动设备组件。
数据处理系统可以安装在移动设备中或者云环境中。
视频流是桌面应用的图形用户界面的一系列单个图像。通过改变和/或更新当前的图形用户界面，例如通过交互产生新的图像。借助图像分析器分析视频流的图像。当图像改变和/或更新时，更新或重新生成移动设备的图形用户界面的相应的移动设备组件。
附图说明
本发明的进一步的细节、优点和特征不仅可以从本发明、本发明采用的特征本身和/或其组合，还可以从附图采用的优选实施例的随后的描述中得出。附图中：
图1示出了用于在运行过程中(on the fly)将桌面应用的用户界面转换为移动设备的移动应用程序的系统的框图，
图2示出了用于执行该方法的方法步骤的示意性流程图，
图3a示出了用于辨认桌面应用的图形用户界面的桌面内容区域的方法步骤，
图3b示出了用于辨认桌面内容区域中的诸如桌面控制组件、桌面功能组件和/或桌面图形组件的桌面图像组件的方法步骤，
图3c示出了用于将桌面内容区域转换为等效的、与移动设备的显示器相匹配的、可实施的移动设备组件、诸如移动应用的图形用户界面的主菜单的菜单组件的方法步骤，
图3d示出了用于将诸如桌面控制组件、桌面功能组件和/或桌面图形组件的桌面组件转换为移动应用的图形用户界面的子菜单的诸如移动设备控制组件、移动设备功能组件和/或移动设备图形组件的等效的移动设备组件的方法步骤，
图4示出了具有用于将桌面内容区域或桌面图像组件转换为等效的移动内容区域或等效的移动设备组件的信息的表格，
图5示出了用于将诸如按钮的桌面控制组件转换为移动应用的图形用户界面的相应的移动设备控制组件的方法步骤，
图6示出了用于基于配置文件将诸如按钮的桌面控制组件转换为相应的移动设备组件的方法步骤，
图7示出了用于将诸如树状视图的桌面功能组件转换为诸如移动应用的列表视图的相应的移动设备功能组件的方法步骤，
图8示出了用于将诸如列表视图的桌面功能组件转换为诸如移动应用的列表视图的相应的移动设备功能组件的方法步骤，
图9示出了用于将桌面图形组件转换为诸如移动应用的图像元件的相应的移动设备图形组件的方法步骤。
具体实施方式
图1纯粹示意性示出了用于将在诸如桌面计算机DC的计算机设备上实施的桌面应用DA的图形用户界面DUI的图形转换为在移动设备MD上实施的移动应用MA的图形用户界面MUI的以框图形式的系统架构。
桌面应用DA的图形用户界面DUI包括以至少一个桌面内容区域CA1…CA5(例如菜单区域、文本区域、树状结构区域、列表区域和/或图形区域)形式的桌面图像组件，其中在至少一个桌面内容区域CA1...CA5中可以包含有以例如诸如按键(按钮)的桌面控制组件DCC、诸如树状结构或者列表结构的桌面功能组件DFC和/或桌面图形组件DGC形式的一个或多个桌面图像组件DC。
此外，该系统还包括诸如流客户端SC的图像采集单元，其被设计为用于以流方式传输桌面应用DA的图形用户界面DUI的各个图像。
以流方式传输的图像在具有图像处理软件的图像分析单元DUIA中进行分析，以辨认以桌面内容区域CA1...CA5形式的桌面图像组件并且以识别图形用户界面DUI的桌面内容区域CA1...CA5内的桌面控制组件、桌面功能组件和桌面图形组件DCC、DFC、DGC。
图像分析器DUIA与第一存储器相耦合，在第一存储器中存储有用于模式识别和模式匹配的、具有模式识别信息的文件PMI。
在图形用户界面DUI中辨认的桌面内容区域CA1...CA5和/或桌面组件DCC、DFC、DGC的模式在考虑模式识别信息的情况下进行进一步分析，以获得桌面内容区域和/或桌面组件的属性信息。
所辨认的桌面内容区域和/或桌面组件借助映射数据(Mapping file映射文件)，在考虑模式识别信息和/或属性信息的情况下，被映射到等效的、与移动设备的显示器MUI的尺寸相匹配的移动设备组件MCC、MFC、MGC。预先定义的移动设备组件作为源代码模板存储在存储器UIT中。
根据等效的可实施的移动设备组件MCC、MFC、MGC，借助图像生成器MUIG生成移动应用程序MA的可实施的图形用户界面MUI。
此外设置事件发射工具(Event-Emitter-Tool)EET，该事件发射工具采集用户在移动设备MD的触摸显示器上的输入或动作，并将其发送到桌面应用DA。
流客户端SC、图像分析器DUIA、图像生成器MUIG和事件发射工具EET可以被设计为在移动设备MD、桌面计算机DC中和/或设计为云或Web应用。
图2示出了具有根据本发明的方法的原理过程的流程图。在方法步骤S0中，借助流客户端SC接收桌面应用DA的图形用户界面DUI的视频流。从视频流例如借助单个图像功能(Einzel-Bild-Funktion)来采集图像或帧。
图形用户界面DUI的图像在方法步骤S1中在图像分析器DUIA中借助图像处理软件进行分析。
根据图3a，在图形用户界面DUI的图像或帧中，通过模式识别来辨认以桌面内容区域形式的桌面图像组件。桌面内容区域根据图3a纯示例性地包括菜单区域MA、列表视图区域LVA、树状视图区域TVA、文本区域TA和图形区域GA。
在方法步骤S2中，对所辨认的桌面内容区域MA、LVA、TVA、GA，TA进行分析。
借助模式匹配(Pattern Matching，模式匹配)，在桌面内容区域的每一个中，对用户可操作的桌面控制组件(诸如用于文件和程序的图标(Icons)、按钮(Buttons)、滑块(Scroll bars)、工具栏(Tool bars)菜单栏(Menu bars)和/或对话框)、用户可操作的动态桌面功能组件(诸如树状结构和/或列表结构)和/或静态桌面图形组件的作为桌面图像组件进行辨认。
在根据图3b的对内容区域的分析中，确定以关于桌面图像组件在桌面屏幕上显示的类型、状态、位置、名称、文本区域、在时间上的状态变化和/或精确尺寸的信息形式的桌面图像组件的属性信息。
借助图像匹配(Binary Matching，二进制匹配)还可以采集诸如图表、图像等的未知部段或区域的状况。
示例性地，根据图4的表格列出了以所辨认的桌面内容区域或者桌面组件DFC、DCC、DGC的类型和状态形式的属性信息以及等效的移动设备组件MFC、MCC、MGC。该表格用于将所辨认的桌面组件关联或映射到对应的预先定义的移动设备组件。
因此，根据方法步骤S1和S2可以提供以下属性信息：
-所辨认的桌面内容区域和桌面组件的类型，
-所辨认的桌面内容区域和桌面组件的状态，
-所辨认的桌面屏幕的桌面内容区域和桌面组件的位置，
-标签和文本区域，
-控制元件在时间上的状态和变化以及
-原始屏幕(桌面屏幕)的精确屏幕尺寸。
然后，在考虑上述属性信息的情况下，针对每个所辨认的桌面内容区域和/或针对每个所辨认的桌面控制元件、桌面功能元件和/或桌面图形元件，产生用于移动设备MD的图形用户界面MUI的等效的移动设备控制组件、移动设备功能组件和/或移动设备图形组件MCC、MFC、MGC。
在考虑用于模式采集和状态采集的先前定义的模识别信息以及属性信息的情况下，可以从存储在库中的源代码模板UIT(用户界面模板)中选择等效且可实施的移动设备组件MUIC。
在将所辨认的内容区域和/或所辨认的组件DCC、DFC和DGC转换到等效的移动设备组件MCC、MFC和MGC的过程中，在例如XML/JSON语言中使用伪像(针对工作过程结果的模型元件)，在这些语言中描述了哪种以属性信息形式的输入生成特定的移动设备控制组件、移动设备功能组件和/或移动设备图形组件MCC、MFC、MGC。
在方法步骤S3和S4中，根据各个等效或特定的并且本身可实施的移动设备控制组件、移动设备功能组件和/或移动设备图形组件MCC、MFC、MGC，生成移动设备的整个可实施的图形用户界面MUI，其然后可以显示在移动设备MD的显示器上。
对于方法步骤S4是要注意的是，根据特定移动设备控制组件、移动设备功能组件和/或移动设备图形组件MCC、MFC、MGC生产/产生移动设备MD的图形用户界面MUI，首先包括产生表示应用类型、应用的名称以及桌面应用的菜单项的主菜单视图。
在此特别地，根据图3c生成具有顶栏、边栏，优选具有应用程序名称的最初为空白的移动应用程序以及具有应用程序名称的图像元件。
在图3d中示出了，随后如何在另一步骤中产生以按钮、滑块、树状视图、列表视图形式的、具有特定的移动设备控制组件和移动设备功能组件MCC、MFC的子菜单。
在方法步骤S5中进行如下询问：是否最初请求移动设备MD的图形用户界面MUI。如果是，则生成的图形用户界面MUI在方法步骤S6中被加载到移动设备MD中，或者如果在移动设备中进行了生成，则显示在显示器上。否则，在方法步骤S7中进行先前已经在移动设备MD的显示器上显示的现有图形用户界面MUI的更新。
在方法步骤S8中，借助事件发射工具EET采集诸如操纵操作元件或其他用户操作的输入的用户交互，并且在方法步骤S9中进行转换并发送到桌面应用DA。在采集用户交互的过程中确定已操纵了哪个移动设备组件。在考虑模式识别信息的情况下，可以将用户交互转换为针对桌面应用的屏幕上的等效的桌面组件的相应的图像坐标，从而可以实施对等效的桌面组件的激活。
在方法步骤S10中，在桌面应用DA的图形用户界面DUI中实施用户交互，由此改变桌面应用DA的图形用户界面DUI。
由于桌面应用DA的图形用户界面DUI的图像在方法步骤S1中借助流客户端SC以流方式传输到图像分析器，因此在实施用户交互之后重新分析当前的图形桌面用户界面DUI的图像，并且基于该分析通过方法步骤S2、S3和S4为移动设备MD生成更新的图形用户界面MUI。图形用户界面MUI根据方法步骤S6在移动设备MD中进行更新。
图5纯粹示例性示出了用于将来自桌面内容区域CA的桌面控制组件DCC转换为移动应用MA的用户界面MUI的相应的移动设备控制组件MCC的方法步骤S1至S4。在方法步骤S1中，分析桌面应用的图形用户界面DUI的图像。所示示例显示了具有标题TI“ToggleButton”的打开窗口W。在要检查的内容区域CA中示出了桌面应用的控制组件DCC。
在方法步骤S2中，分析桌面内容区域CA，其中辨认桌面控制组件DCC。然后，在方法步骤S2.2中进行组件匹配(Component Matching)，这在图6中更详细地示出。
借助与所存储的模式识别信息PMI的模式匹配来分析所辨认的控制组件DCC，以为移动设备MD的图形用户界面MUI创建相应的移动设备控制组件MCC。匹配(Matching)可以借助配置文件CONF进行配置。除了移动设备控制组件MCC之外还生成应用的标题TI“ToggleButton”。根据方法步骤S2.4，基于配置文件选择文本组件和移动设备控制组件TI、MCC，并且在移动设备MD的图形用户界面MUI中进行显示，这正如之前在方法步骤S3和S4中说明的。
图7示出了用于将诸如树状视图组件的桌面功能组件DFC转换为移动应用MA的相应的移动设备功能组件MFC的方法步骤S1至S4。在方法步骤S1中，对桌面应用DA的图形用户界面DUI的窗口W进行分析，其中辨认应用的标题TI“TreeView Sample”和以树状视图形式的内容区域TVA。在方法步骤S2中，分析内容区域TVA的内容，其中借助模式匹配识别树状视图组件DFC。树状视图组件DFC显示多个级别L1、L2、L3，其中标记选中的级别L3.2。根据通过分析获得的信息，首先产生以具有应用标题和菜单结构的窗口形式的移动设备主菜单PNP。桌面应用DA的树状视图组件DFC在以相应的移动设备功能组件MFC形式的移动设备子菜单SNP中进行显示，例如在列表中进行显示，在列表中依次布置了各个级别L1，...，L3。
图8示出了用于转换以桌面应用DA的列表视图组件形式的桌面功能组件DFC的方法步骤S1至S4。
在方法步骤S1中，对标题TI“ListBox Sample”进行分析以及对内容区域CA进行分析。
在方法步骤S2中，辨认桌面应用DA的桌面功能组件DFC，并且确定存在哪些和多少列表条目LBI1，...，LBI3以及是否包含选中的列表条目LBI2。在方法步骤S3和S4，首先进行具有标题TI的移动设备主菜单PNP的产生，以及具有列表条目LBI1，...，LBI3和标记的列表条目LBI2的移动设备子菜单SNP的产生。
图9示出了用于转换具有桌面应用DA的图形用户界面DUI的图像组件DGC1和DGC2的桌面图形组件的方法步骤S1至S4。在方法步骤S1中，辨认标题TI“BinarySample”和内容区域GA。
在方法步骤S2中，分析内容区域GA并且识别图像组件DGC1和DGC2。根据桌面应用的标题TI“BinarySample”产生移动设备主菜单PNP，即其中显示相应的图像元件MGC1和MGC2的空白应用。

Claims (12)

1.一种用于根据在数据处理设备上实施的桌面应用生成具有能够在移动设备的显示器上显示的交互图形用户界面的移动应用程序的计算机实现的方法，其特征在于，
所述方法包括以下方法步骤：
借助视频流采集桌面应用的图形用户界面的各个视频图像，
借助模式识别分析视频图像并且将视频图像划分成桌面图像组件，
借助模式识别分析桌面图像组件并且采集桌面图像组件的属性信息，
借助属性信息和/或模式识别信息，将桌面图像组件通过其映射转换到预先定义的、等效的、与移动设备的显示器尺寸匹配的、可实施的移动设备组件，
根据相关联的移动设备组件生成移动应用程序的可实施的图形用户界面，
采集与可实施的移动设备组件中的一个的用户交互，将用户交互转换为桌面应用的相应的图像坐标，并且将图像坐标发送到桌面应用以实施相关联的桌面组件，其中用户交互在桌面应用的相关联的桌面组件的图像坐标的位置处实施，和
作为对用户交互的响应，在运行过程中(on the fly)根据视频流的更新的图像为移动应用程序生成更新的和/或可重新实施的移动设备组件。
2.根据权利要求1所述的方法，其特征在于，
对以应用框架、菜单区域、文本区域、树状结构区域、列表结构区域和/或图形区域形式的桌面内容区域(content areas)中的视频图像作为桌面图像组件进行划分，并且在桌面内容区域的每一个中，对诸如文件和程序的图标(Icons)、按钮(Buttons)、滑块(Scrollbars)、工具栏(Tool bars)、菜单栏(Menu bars)和/或对话框的用户可操作的桌面控制组件，诸如树状结构和/或列表结构的用户可操作的动态桌面功能组件，和/或静态桌面图形组件作为桌面图像组件进行辨认。
3.根据权利要求1所述的方法，其特征在于，
在模式识别中确定的桌面图像组件的属性信息包含关于桌面图像组件在桌面屏幕上显示的类型、状态、位置、名称、文本区域、在时间上的状态变化和/或精确尺寸的信息。
4.根据权利要求1所述的方法，其特征在于，
在考虑模式识别信息和/或属性信息的情况下，借助诸如映射矩阵的映射文件(Mapping file)将通过模式识别辨认的桌面图像组件映射到预先定义的移动设备组件。
5.根据权利要求1所述的方法，其特征在于，
以源代码模板形式的预先定义的移动设备组件根据基本图像组件来创建，所述基本图像组件在桌面应用的图形用户界面的不同状态的图像的图像分析中被辨认。
6.根据权利要求2所述的方法，其特征在于，
在图像分析的第一步骤中，辨认以具有应用标题的应用框架形式的桌面内容区域，在第二步骤中，在桌面内容区域中辨认桌面控制元件、桌面功能元件和/或桌面图形元件，在第三步骤中，将具有应用标题的应用框架转换为等效的、具有应用标题的移动应用框架，并且在第四步骤中，将所辨认的桌面控制元件、桌面功能元件和/或桌面图形元件转换为等效的、可实施的移动设备控制元件、移动设备功能元件和/或移动设备图形元件。
7.根据权利要求1所述的方法，其特征在于，
模式识别信息和/或属性信息由配置文件提供，并且从所述配置文件中加载模式识别信息和/或属性信息以用于进行手动分析和/或转换和/或生成未知的桌面图像元件。
8.根据权利要求1所述的方法，其特征在于，
图像的分析、桌面图像组件的转换和/或移动应用程序的生成，借助计算机设备、云环境中或移动设备本身中的处理器单元实施。
9.根据权利要求1所述的方法，其特征在于，
采集与移动应用程序的可实施的移动设备组件的用户交互，并且借助事件发射工具进行转换并发送到桌面应用。
10.一种数据处理系统，其用于根据在数据处理设备(DC)上实施的桌面应用(DA)生成具有能够在移动设备(MD)的显示器上显示的交互图形用户界面(MUI)的移动应用程序(MA)，所述数据处理系统包括：
诸如流客户端的图像采集单元(SC)，其用于借助视频流采集桌面应用(DA)的图形用户界面(DUI)的各个视频图像；
图像分析单元(DUIA)，其用于借助模式识别分析视频图像并且用于将图像划分成桌面图像组件(DFC，DCC，DGC)，以及用于借助模式识别分析桌面图像组件并且用于采集桌面图像组件的属性信息；
转换单元，其用于借助属性信息和/或模式识别信息将桌面图像组件(DFC，DCC，DGC)通过其映射转换到预先定义的、等效的、与移动设备的显示器尺寸匹配的、可实施的移动设备组件(MFC，MCC，MGC)；
生成单元(MUIG)，其用于根据相关联的移动设备组件(MFC，MCC，MGC)生成移动应用程序(MA)的可实施的图形用户界面；
以事件发射工具形式的采集单元(EET)，其用于采集与可实施的移动设备组件(MFC，MCC，MGC)中的一个的用户交互；用于将用户交互转换为桌面应用的相应的图像坐标；并且用于将图像坐标发送到桌面应用以实施相关联的桌面组件(DFC，DCC，DGC)，其中作为对用户交互的响应，在运行过程中(on the fly)根据视频流的更新的视频图像为移动应用程序生成更新的和/或可重新实施的移动设备组件(MFC，MCC，MGC)。
11.根据权利要求10所述的系统，其特征在于，
所述数据处理系统安装在移动设备中。
12.根据权利要求10所述的系统，其特征在于，
所述数据处理系统安装在云环境中。
CN201910396971.5A 2018-05-14 2019-05-14 由桌面应用生成移动应用程序的计算机实现的方法和系统 Active CN110489188B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18172147.3A EP3570164B1 (de) 2018-05-14 2018-05-14 Verfahren und system zum generieren einer mobilen applikation aus einer desktop-anwendung
EP18172147.3 2018-05-14

Publications (2)

Publication Number Publication Date
CN110489188A true CN110489188A (zh) 2019-11-22
CN110489188B CN110489188B (zh) 2024-01-26

Family

ID=62217757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396971.5A Active CN110489188B (zh) 2018-05-14 2019-05-14 由桌面应用生成移动应用程序的计算机实现的方法和系统

Country Status (3)

Country Link
US (1) US10963203B2 (zh)
EP (1) EP3570164B1 (zh)
CN (1) CN110489188B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556289A (zh) * 2020-04-20 2020-08-18 西安万像电子科技有限公司 图像分发方法和系统
CN111556289B (zh) * 2020-04-20 2024-05-17 西安万像电子科技有限公司 图像分发方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180630B2 (ja) * 2020-03-25 2022-11-30 カシオ計算機株式会社 プログラム、表示制御方法、サーバ装置、及び、システム
CN114648810B (zh) * 2022-03-11 2022-10-14 北京中科睿医信息科技有限公司 一种交互式步态识别方法、装置及电子设备
CN114943976B (zh) * 2022-07-26 2022-10-11 深圳思谋信息科技有限公司 模型生成的方法、装置、电子设备和存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499010A (zh) * 2008-01-30 2009-08-05 运软网络科技(上海)有限公司 一种在手机上使用桌面应用程序的方法
EP2184678A1 (de) * 2008-11-07 2010-05-12 Deutsche Telekom AG Automatisierte Generierung einer Computer-Applikation
US20100293499A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Rendering to a device desktop of an adaptive input device
CN102323880A (zh) * 2011-06-30 2012-01-18 中兴通讯股份有限公司 基于浏览器解析方式的手机应用界面的开发方法和终端
US8160564B1 (en) * 2008-06-10 2012-04-17 Sprint Communications Company L.P. Remote control of computing device applications using mobile device
CN103229156A (zh) * 2010-10-01 2013-07-31 Flex Electronics ID Co.,Ltd. 多操作系统环境中的对接系统的自动配置
CN103412701A (zh) * 2012-11-01 2013-11-27 华为技术有限公司 远程桌面图像处理方法及装置
US20140082511A1 (en) * 2009-03-31 2014-03-20 Yubitech Technologies Ltd. Method and system for emulating desktop software applications in a mobile communication network
US20140101573A1 (en) * 2012-10-04 2014-04-10 Jenke Wu Kuo Method and apparatus for providing user interface
US20140164944A1 (en) * 2012-07-31 2014-06-12 Georgia Tech Research Corporation System and method for deriving mobile applications from enterprise-based applications
US20140304321A1 (en) * 2013-04-08 2014-10-09 Navteq B.V. Desktop Application Synchronization to Process Data Captured on a Mobile Device
CN104679494A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 用于实现远程虚拟桌面和应用程序的方法以及设备
US9626183B1 (en) * 2014-08-15 2017-04-18 United Services Automobile Association (Usaa) Device interrogation framework

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US20060218191A1 (en) * 2004-08-31 2006-09-28 Gopalakrishnan Kumar C Method and System for Managing Multimedia Documents
JP5453246B2 (ja) * 2007-05-04 2014-03-26 クアルコム，インコーポレイテッド コンパクト・デバイスのためのカメラ・ベースのユーザ入力
US9740507B2 (en) * 2010-04-01 2017-08-22 Citrix Systems, Inc. Interacting with remote applications displayed within a virtual desktop of a tablet computing device
US8713474B2 (en) * 2010-10-05 2014-04-29 Citrix Systems, Inc. Providing user interfaces and window previews for hosted applications
US9880796B2 (en) * 2011-03-08 2018-01-30 Georgia Tech Research Corporation Rapid view mobilization for enterprise applications
US10432681B1 (en) * 2013-04-24 2019-10-01 Parallels International Gmbh Method and system for controlling local display and remote virtual desktop from a mobile device
US9535567B1 (en) * 2013-10-10 2017-01-03 Parallels International Gmbh Method for interception and blocking of mouse move and resize events on mobile device
US9531999B2 (en) * 2014-04-14 2016-12-27 Ricoh Co., Ltd. Real-time smart display detection system
US10838699B2 (en) * 2017-01-18 2020-11-17 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499010A (zh) * 2008-01-30 2009-08-05 运软网络科技(上海)有限公司 一种在手机上使用桌面应用程序的方法
US8160564B1 (en) * 2008-06-10 2012-04-17 Sprint Communications Company L.P. Remote control of computing device applications using mobile device
EP2184678A1 (de) * 2008-11-07 2010-05-12 Deutsche Telekom AG Automatisierte Generierung einer Computer-Applikation
US20140082511A1 (en) * 2009-03-31 2014-03-20 Yubitech Technologies Ltd. Method and system for emulating desktop software applications in a mobile communication network
US20100293499A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Rendering to a device desktop of an adaptive input device
CN103229156A (zh) * 2010-10-01 2013-07-31 Flex Electronics ID Co.,Ltd. 多操作系统环境中的对接系统的自动配置
CN102323880A (zh) * 2011-06-30 2012-01-18 中兴通讯股份有限公司 基于浏览器解析方式的手机应用界面的开发方法和终端
US20140164944A1 (en) * 2012-07-31 2014-06-12 Georgia Tech Research Corporation System and method for deriving mobile applications from enterprise-based applications
US20140101573A1 (en) * 2012-10-04 2014-04-10 Jenke Wu Kuo Method and apparatus for providing user interface
CN103412701A (zh) * 2012-11-01 2013-11-27 华为技术有限公司 远程桌面图像处理方法及装置
US20140304321A1 (en) * 2013-04-08 2014-10-09 Navteq B.V. Desktop Application Synchronization to Process Data Captured on a Mobile Device
CN104679494A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 用于实现远程虚拟桌面和应用程序的方法以及设备
US9626183B1 (en) * 2014-08-15 2017-04-18 United Services Automobile Association (Usaa) Device interrogation framework

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556289A (zh) * 2020-04-20 2020-08-18 西安万像电子科技有限公司 图像分发方法和系统
CN111556289B (zh) * 2020-04-20 2024-05-17 西安万像电子科技有限公司 图像分发方法和系统

Also Published As

Publication number Publication date
CN110489188B (zh) 2024-01-26
EP3570164A1 (de) 2019-11-20
US20190347059A1 (en) 2019-11-14
US10963203B2 (en) 2021-03-30
EP3570164B1 (de) 2023-04-26

Similar Documents

Publication Publication Date Title
CN108027708B (zh) 促成针对图形元素的属性值的选择
CN110489188A (zh) 由桌面应用生成移动应用程序的计算机实现的方法和系统
JP5812507B2 (ja) 端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラム
US10921795B2 (en) System for monitoring a technical device
CN112612864B (zh) 一种数据可视化展示的方法和终端
US20120313968A1 (en) Image display system, information processing apparatus, display device, and image display method
JP2019032719A (ja) 情報処理システム、情報処理方法及びプログラム
JPWO2012172687A1 (ja) プログラム可視化装置
US9684738B2 (en) Text-based command generation
US10018983B2 (en) PLC system and arithmetic-expression-data-creation supporting apparatus
US20070220438A1 (en) Icon generating device, computer readable medium storing program for generating icon and method for generating icon
US10970088B2 (en) User interface help control device, and information storage medium
TW201502862A (zh) 經由基於互動性的視覺分析以轉換視覺化資料
CN111158842A (zh) 操作流程检测方法、设备及存储介质
CN116257666A (zh) 一种基于Echarts的数据动态渲染展示方法及系统
EP3301529A1 (en) Method and apparatus for displaying monitoring information
JP2009290476A (ja) 画像編集装置、記録媒体および画像編集方法
EP1482406A1 (en) A method of customizing an object by parametrising an application program
JP5125347B2 (ja) ソフトウェア開発支援装置
CN111752653A (zh) 工业过程图形的响应性自动布局
JP6657799B2 (ja) 図形処理装置、図形処理方法、および、図形処理プログラム
CN113569821B (zh) 手势识别方法、装置、设备与计算机可读存储介质
CN110765736B (zh) 数学表达式输入方法、装置及移动设备
JP3668513B2 (ja) 表示制御装置
JP2019020954A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant