CN114995716A - 一种桌面系统上安卓应用相关文件的操作方法 - Google Patents

一种桌面系统上安卓应用相关文件的操作方法 Download PDF

Info

Publication number
CN114995716A
CN114995716A CN202210923325.1A CN202210923325A CN114995716A CN 114995716 A CN114995716 A CN 114995716A CN 202210923325 A CN202210923325 A CN 202210923325A CN 114995716 A CN114995716 A CN 114995716A
Authority
CN
China
Prior art keywords
mouse
file
hot spot
event
display interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210923325.1A
Other languages
English (en)
Other versions
CN114995716B (zh
Inventor
赵旺林
温研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Linzhuo Information Technology Co Ltd
Original Assignee
Beijing Linzhuo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Linzhuo Information Technology Co Ltd filed Critical Beijing Linzhuo Information Technology Co Ltd
Priority to CN202210923325.1A priority Critical patent/CN114995716B/zh
Publication of CN114995716A publication Critical patent/CN114995716A/zh
Application granted granted Critical
Publication of CN114995716B publication Critical patent/CN114995716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种桌面系统上安卓应用相关文件的操作方法，通过在桌面系统中监测安卓应用显示界面的变化，在显示界面变化时从中获取热点区域或新窗口区域，再通过对用户鼠标操作的分析以及鼠标位置与热点区域或新窗口区域的位置关系判断用户将执行的操作行为，由此确定桌面系统的响应行为，从而实现了采用桌面系统应用程序对安卓应用内相关文件的直接处理，缩短了用户操作响应时间，提高了处理效率，进而改善了用户体验。

Description

一种桌面系统上安卓应用相关文件的操作方法
技术领域
本发明属于桌面操作系统上运行移动应用的开发技术领域，具体涉及一种桌面系统上安卓应用相关文件的操作方法。
背景技术
运行在桌面操作系统上的安卓兼容环境是一种在桌面操作系统上运行安卓应用的技术，对丰富桌面操作系统应用生态有着重要的意义。现有安卓兼容环境研究实践中，典型的产品有桌面系统安卓兼容环境xDroid，xDroid通过xDroidServer与xDroidUI的配合实现了安卓应用与桌面操作系统的兼容，其中，xDroidServer为运行在安卓系统中的安卓应用兼容服务，xDroidUI为运行在桌面操作系统上的安卓应用显示单元。
现有的微信、QQ、钉钉等社交类安卓应用一般会提供分享文件或图片等功能，当用户接收到他人分享的文件或图片时通常会采用查看或保存的操作，对于运行在安卓系统中或运行在现有安卓兼容环境中的安卓应用来说，当用户执行查看操作时，安卓系统或安卓兼容环境会通过发送Intent消息的方式，启动运行在安卓系统或安卓兼容环境内的支持打开文件或图片操作的安卓应用执行查看操作，当存在多个支持打开文件或图片操作的安卓应用时往往还需要用户手动选择实际使用的安卓应用，此外，当用户执行保存操作时，安卓系统或安卓兼容环境仅支持将文件或图片保存在安卓系统或安卓兼容环境所在的目录中。
综上所述，在现有安卓兼容环境中当用户操作他人分享的文件或图片时，由于通常情况下安卓应用所提供的文件或图片编辑功能与桌面系统应用提供的功能相比往往易用性较差，因此导致用户无法获得与使用桌面系统应用相同的感受，此外，由于文件或图片仅能保存在安卓兼容环境所在的目录因此会为用户后续对文件或图片的操作带来不便，从而降低了用户的体验。
发明内容
有鉴于此，本发明提供了一种桌面系统上安卓应用相关文件的操作方法，能够实现桌面系统应用程序直接完成对运行在安卓兼容环境内安卓应用相关文件的处理。
本发明提供的一种桌面系统上安卓应用相关文件的操作方法，包括以下步骤：
步骤1、用户在桌面系统中使用安卓应用，当安卓应用显示界面的布局发生改变时，安卓兼容环境获取安卓应用当前显示界面中的热点区域，并将热点区域及其中所包含文件的全路径更新到热点区域列表中；当安卓应用显示界面中弹出新窗口时，提取新窗口区域，并将新窗口区域保存到新窗口区域列表中；当弹出的新窗口被关闭时，将新窗口区域从新窗口区域列表中删除；当用户关闭安卓应用时，清空热点区域列表和新窗口区域列表；
步骤2、当用户使用鼠标点击安卓应用的显示界面时，阻止将鼠标按下事件发送至安卓兼容环境，若鼠标按下事件为鼠标左键点击，则记录鼠标按下事件中的鼠标按下位置，执行步骤3；否则将鼠标按下事件发送至安卓兼容环境，结束本流程；
步骤3、获取下一次鼠标事件，若下一次鼠标事件为鼠标释放事件，则记录其中的鼠标释放位置，若鼠标释放位置与鼠标按下位置相同则执行步骤4，若鼠标释放位置与鼠标按下位置不同则结束本流程；若下一次鼠标事件为鼠标移动事件，则记录鼠标移动位置执行步骤6；
步骤4、若鼠标释放位置位于新窗口区域列表所保存的新窗口区域内，则将鼠标按下事件与鼠标释放事件先后发送至安卓兼容环境后结束本流程；若鼠标释放位置位于新窗口区域之外，且鼠标释放位置位于热点区域内则丢弃鼠标按下事件及鼠标释放事件后执行步骤5；若鼠标释放位置位于新窗口区域之外且鼠标释放位置位于热点区域之外则结束本流程；
步骤5、获取热点区域对应的文件全路径，选用桌面系统应用程序根据文件全路径打开文件，结束本流程；
步骤6、若鼠标移动位置位于热点区域列表所保存的热点区域内，则不改变鼠标图标，执行步骤7；若鼠标移动位置位于热点区域列表所保存的热点区域之外，则将鼠标图标修改为拖拽文件时的图标，执行步骤7；
步骤7、监测鼠标事件，若下一次鼠标事件为鼠标移动事件，则获取鼠标移动位置后，执行步骤6；若下一次鼠标事件为鼠标释放事件，且鼠标释放位置位于热点区域外，则获取鼠标释放位置所在的窗口，获取窗口进程名，若窗口进程名为文件管理器，则将文件保存在文件管理器的当前目录中；若窗口进程名为非文件管理器，则将热点区域列表中文件的全路径作为窗口进程的参数执行窗口进程完成打开文件的操作。
进一步地，所述步骤6中所述将鼠标图标修改为拖拽文件时的图标的条件为当鼠标移动位置与鼠标按下位置的差值大于阈值时。
进一步地，所述阈值为20像素。
进一步地，所述步骤7中所述将文件保存在文件管理器的当前目录中的方式为：获取窗口所指向的目录，判断目录中是否存在具有相同文件名的文件，如果没有则将文件保存到目录中，否则弹出提示窗提示用户覆盖或重命名文件。
进一步地，所述新窗口区域包括包含PopupWindow悬浮框或Toast消息框的窗口区域。
进一步地，所述步骤1中所述安卓兼容环境获取安卓应用当前显示界面中的热点区域的方式为：采用机器学习方法预先分析安卓应用显示界面，得到包含文件的界面区域的特征，当安卓应用显示界面的布局发生改变时，截取当前显示界面后，采用图像识别的方式根据特征分析当前显示界面，若匹配则确认当前显示界面中包含热点区域；再获取热点区域的矩形框坐标，并从热点区域中提取出所包含的文件名。
进一步地，所述步骤1中所述安卓兼容环境获取安卓应用当前显示界面中的热点区域的方式，包括以下步骤：
步骤1.1、获取安卓应用当前显示界面内根节点视图的视图树，获取视图树中设置为可见的线性布局；
步骤1.2、遍历线性布局，当线性布局中同时包含文本视图和图像视图时，提取文本视图中的文本内容及图像视图中的图片，若文本内容的格式符合预先定义的格式且图片与预先定义的图片相近，则执行步骤1.3；否则结束本流程；
步骤1.3、根据步骤1.2中获取的文本内容，在安卓应用对应的目录中查找是否存在具有与文本内容相同的文件名的文件，如果存在则线性布局所在容器为热点区域，记录文件的全路径及热点区域的矩形框坐标；否则结束本流程。
进一步地，所述步骤1中所述的安卓兼容环境获取安卓应用当前显示界面中的热点区域中的安卓兼容环境为安卓应用兼容服务xDroidServer。
有益效果：
本发明通过在桌面系统中监测安卓应用显示界面的变化，在显示界面变化时从中获取热点区域或新窗口区域，再通过对用户鼠标操作的分析以及鼠标位置与热点区域或新窗口区域的位置关系判断用户将执行的操作行为，由此确定桌面系统的响应行为，从而实现了采用桌面系统应用程序对安卓应用内相关文件的直接处理，缩短了用户操作响应时间，提高了处理效率，进而改善了用户体验。
附图说明
图1为本发明提供的一种桌面系统上安卓应用相关文件的操作方法的流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供的一种桌面系统上安卓应用相关文件的操作方法，其核心思想是：通过在桌面系统中监测安卓应用显示界面的变化，在显示界面变化时从中获取热点区域或新窗口区域，再通过对用户鼠标操作的分析以及鼠标位置与热点区域或新窗口区域的位置关系判断用户将执行的操作行为，由此确定桌面系统的响应行为。
本发明提供了一种桌面系统上安卓应用相关文件的操作方法，流程如图1所示，具体包括以下步骤：
步骤1、用户在桌面系统中使用安卓应用，当安卓应用显示界面的布局发生改变时，安卓兼容环境获取安卓应用当前显示界面中的热点区域，并将热点区域及区域内所包含文件的全路径更新到热点区域列表中；当安卓应用显示界面中弹出新窗口时，提取新窗口区域，并将新窗口区域保存到新窗口区域列表中；当弹出的新窗口被关闭时，将新窗口区域从新窗口区域列表中删除；当用户关闭安卓应用时，清空热点区域列表和新窗口区域列表。
其中，热点区域是指包含文件的安卓应用显示界面区域，本发明中采用热点区域所对应的矩形框的坐标进行表示。热点区域列表用于保存热点区域对应的矩形框坐标以及热点区域内所包含文件的文件全路径。本发明中，安卓应用显示界面中弹出的新窗口是指PopupWindow悬浮框或Toast消息框等类型的窗口，这类窗口弹出时会悬浮于安卓应用显示界面的上层，会遮盖部分的热点区域，因此需要进行特别处理。
上述获取安卓应用当前显示界面中的热点区域的方式为基于图片识别的方式获取，具体来说：采用机器学习等方法预先分析安卓应用显示界面，得到包含文件的界面区域的特征，当安卓应用显示界面的布局发生改变时，截取当前显示界面后，采用图像识别的方式根据特征分析当前显示界面，若匹配则确认当前显示界面中包含热点区域；再获取热点区域的矩形框坐标，并从热点区域中提取出所包含的文件名。
此外，还以可以基于热点区域的布局特征获取安卓应用当前显示界面中的热点区域，具体包括：
步骤1.1、获取安卓应用当前显示界面内根节点视图的视图树，获取视图树中设置为可见的线性布局（LinearLayout）。
步骤1.2、遍历所有的线性布局，当线性布局中同时包含文本视图（TextView）和图像视图（ImageView）时，提取文本视图中的文本内容及图像视图中的图片，若文本内容的格式符合预先定义的格式且图片与预先定义的图片相近，则初步认为线性布局所在容器为热点区域，执行步骤1.3；否则结束本流程。
步骤1.3、根据步骤1.2中获取的文本内容，在安卓应用对应的目录中查找是否存在具有与文本内容相同的文件名的文件，如果存在则认为线性布局所在容器为热点区域，记录文件的全路径及热点区域的矩形框坐标；否则结束本流程。
其中，预先定义的格式如“.doc”、“.pdf”等，预先定义的图片如安卓应用中通用的Word文件图标、PDF文件图标等。
此外，安卓应用兼容服务xDroidServer可采用RPC通信方式将热点区域列表及新窗口区域列表发送给安卓应用显示单元xDroidUI，xDroidUI将热点区域列表中文件的访问权限修改为当前桌面系统用户可读写的状态，由此每当安卓应用显示界面发生变化都能使安卓应用显示单元获取当前最新的热点区域列表及新窗口区域列表信息。
步骤2、当用户使用鼠标点击安卓应用的显示界面时，安卓应用显示单元拦截将鼠标按下事件发送至安卓兼容环境的操作，获取鼠标按下事件，若鼠标按下事件为鼠标左键点击，则记录鼠标按下事件中的鼠标按下位置，执行步骤3；否则执行将鼠标按下事件发送至安卓兼容环境的操作，结束本流程。
在安卓系统中鼠标事件包括鼠标移动事件、鼠标按下事件及鼠标释放事件。
步骤3、安卓应用显示单元获取下一次鼠标事件，拦截将鼠标事件发送至安卓兼容环境的操作，若下一次鼠标事件为鼠标释放事件，则记录鼠标释放事件中的鼠标释放位置，若鼠标释放位置与鼠标按下位置相同则执行步骤4，若鼠标释放位置与鼠标按下位置不同则结束本流程；若下一次鼠标事件为鼠标移动事件，则记录鼠标移动位置执行步骤6。
步骤4、若新窗口区域列表不为空且鼠标释放位置位于新窗口区域列表所保存的新窗口区域内，则将鼠标按下事件与鼠标释放事件先后发送至安卓兼容环境后结束本流程；若新窗口区域列表不为空且鼠标释放位置位于新窗口区域列表所保存的新窗口区域之外，则判断鼠标释放位置是否位于热点区域列表所保存的热点区域内，若鼠标释放位置位于热点区域内则丢弃鼠标按下事件及鼠标释放事件后执行步骤5，若鼠标释放位置位于热点区域之外则结束本流程。
步骤5、获取热点区域对应的文件全路径，选用相应的桌面系统应用程序根据文件全路径打开文件，结束本流程。
步骤6、若鼠标移动位置位于热点区域列表所保存的热点区域内，则不改变鼠标图标，执行步骤7；若鼠标移动位置位于热点区域列表所保存的热点区域之外或鼠标移动位置与鼠标按下位置的差值大于阈值，则将鼠标图标修改为拖拽文件时的图标，执行步骤7。
步骤7、监测鼠标事件，若下一次鼠标事件为鼠标移动事件，则获取鼠标移动事件中鼠标的坐标信息为鼠标移动位置后，执行步骤6；若下一次鼠标事件为鼠标释放事件，则获取鼠标释放位置，若鼠标释放位置位于热点区域外，则获取鼠标释放位置所在的窗口，获取窗口进程名，若窗口进程名为文件管理器或桌面，则获取窗口所指向的目录，判断目录中是否存在具有相同文件名的文件，如果没有则将文件保存到目录中，否则弹出提示窗提示用户覆盖或重命名文件；若窗口进程名为非文件管理器，则将热点区域列表中文件的全路径作为窗口进程的参数执行窗口进程，例如，执行“窗口进程名+文件路径”的指令使窗口进程完成打开文件的操作。
实施例：
本实施例中，通过对安卓系统进行系统级的修改实现了本发明提供的一种桌面系统上安卓应用相关文件的操作方法，具体包括以下步骤：
S1、用户在桌面系统中使用安卓应用，当安卓应用显示界面的布局发生改变时，安卓应用兼容服务xDroidServer获取安卓应用当前显示界面中的热点区域或新窗口区域，以感知用户是否尝试处理文件或图片，并将热点区域列表及新窗口区域列表发送至安卓应用显示单元xDroidUI，xDroidUI将热点区域列表中文件的访问权限修改为当前桌面系统用户可读写的状态。
感知用户是否尝试处理文件或图片的方式之一是，在安卓兼容环境内通过修改Framework接口，实现在安卓应用通过发送Intent消息的方式通知其他安卓应用时确定用户正在尝试打开文件或图片，并从Intent消息中获取文件或图片的全路径。然而，采用上述方式感知用户的操作会导致交互速度减慢。
另一种方式是通过判断安卓应用当前显示界面（Activity）中是否包含分享文件界面区域，即热点区域，以感知用户是否尝试处理文件或图片。基于图片识别的方式获取，具体来说，由于不同安卓应用中用于显示接收的文件和图片的界面结构通常具有相似性，例如，一般情况下热点区域内左上角的位置显示文件名、左下角的位置显示文件大小、右侧位置显示文件图标等，这些相似点即为热点区域的特征，在DecorView第一次完成所有View的构建和布局后，通过拦截onMeasure和layoutChildren函数截取DecorView的内容并与特征进行匹配，若匹配成功则说明当前区域为热点区域。
基于热点区域的布局特征获取安卓应用当前显示界面中的热点区域的方式，包括以下步骤：
S1.1、获取安卓应用当前显示界面中DecorView的View Tree，自上而下获取所有可见的LinearLayout，即属性Visible的取值设置为true的LinearLayout，令获取到的LinearLayout的总数为N，令LinearLayout的编号n取值为1。
S1.2、获取第n个LinearLayout，若LinearLayout同时包含了TextView和ImageView则执行S1.3；否则若n小于N则令n自加1后执行S1.2，若n不小于N则执行S1.5。
S1.3、获取TextView内记载的文本，判断文本格式是否满足正则表达式“.doc”、“.pdf”等，同时另一个TextView内记载的文本是否满足正则表达式“数字B/KB/MB/GB”，若满足则将带有“.doc”、“.pdf”等后缀的文本作为文件名，再执行S1.4；否则，若n小于N则令n自加1后执行S1.2，否则执行S1.5。
S1.4、采用S1.3中获取的文件名在安卓应用所在的文件目录，如“/data/packagename”中查找是否存在具有相同文件名的文件，如果存在则记录该文件的全路径为FileFullPath，以及热点区域的位置信息包括左顶点位置和宽高信息，将热点区域的位置信息保存为FileRect，若n小于N则令n自加1后执行S1.2，若n不小于N则执行S1.5；如果不存在，若n小于N则令n自加1后执行S1.2，否则执行S1.5。
S1.5、保存FileFullPath和FileRect的集合为FileInfo，建立FileFullPath与FileRect之间的映射关系。
S1.6、当安卓应用显示界面的布局发生变化，即layoutChildren再次被调用时，执行S1.1。
S2、当用户使用鼠标点击安卓应用的显示界面时，xDroidUI检测到鼠标点击事件，若鼠标按下事件为鼠标左键事件，则保存鼠标的坐标信息为鼠标按下位置，记为PressPos；若鼠标按下事件为非鼠标左键事件，则结束本流程。
S3、xDroidUI等待获取下次鼠标事件，若下次鼠标事件为鼠标释放事件，则保存鼠标释放事件中鼠标的坐标信息为鼠标释放位置，记为ReleasePos，如果PressPos与ReleasePos相同则执行S4，如果不同则认为用户执行的是取消点击操作，不做响应结束本流程；若下次鼠标事件为鼠标移动事件，则保存鼠标移动事件中鼠标的坐标信息为鼠标移动位置，记为MovePos执行S6。
S4、将S3中获取的ReleasePos与S1中建立的FileInfo集合中的FileRect进行比较，若ReleasePos位于FileRect中，例如可采用Qt提供的方法QRect.contains（QPoint）即可判断ReleasePos与FileRect的位置关系，则丢弃获取的鼠标按下及释放事件，即不将事件信息发送至xDroidServer以使xDroidServer不响应用户打开文件或图片的操作，根据FileRect与FileFullPath的映射关系将FileFullPath保存为CurrentPath后执行S5；若ReleasePos位于FileRect之外，则结束本流程。其中，CurrentPath为文件在安卓系统下的全路径。
S5、根据文件名中的后缀，判断文件类型，选择桌面系统中对应的应用程序打开文件或图片。
具体来说，首先将CurrentPath转换为桌面系统中路径，再通过文件的后缀名选择对应的Linux系统或windows系统应用程序打开文件或图片。例如，采用Qt提供的QDesktopServices::openUrl(QUrl(path))方法可执行打开文件或图片的操作，其中，path为Linux系统中文件的访问路径。
S6、比较MovePos与FileInfo集合中的FileRect，若MovePos位于FileRect内或MovePos与PressPos的差值小于阈值，则无法判断用户是否需要拖拽保存文件，则不改变鼠标图标，执行S7；若MovePos位于FileRect之外，则改变鼠标图标为拖拽文件的状态，执行S7。
其中，MovePos与PressPos的差值的阈值可设置为20像素。改变鼠标图标为拖拽文件的状态的方式为：采用Qt的方法使得鼠标变为拖拽文件的状态，即创建QMimeDatamimeData保存CurrentPath，构造QDrag，调用setMimeData(mimeData)、setHotSpot(QPoint(x, y))、exec(Qt::CopyAction, Qt::CopyAction)，即可实现该效果。
S7、监测鼠标事件，若下一次鼠标事件为鼠标移动事件，则保存鼠标移动事件中鼠标的坐标信息为MovePos，执行S6；若下一次鼠标事件为鼠标释放事件，则记录鼠标释放事件中鼠标的坐标信息为ReleasePos，若ReleasePos位于FileRect之外，则触发dragEnterEvent，识别释放位置的窗口是否为文件管理器窗口或系统桌面，如果是文件管理器窗口或系统桌面则获取当前窗口所指向的文件目录，判断该文件目录中是否已存在具有相同文件名的文件，如不存在则保存文件，如存在则弹出提示窗提示用户选择执行覆盖或重命名的操作；如果不是文件管理器窗口或系统桌面，则获取当前窗口对应的进程名称作为窗口进程，将热点区域列表中文件的全路径作为窗口进程的参数执行窗口进程，例如，执行“窗口进程名+文件路径”的指令使窗口进程完成打开文件的操作；若ReleasePos位于FileRect之内则不做响应结束本流程。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种桌面系统上安卓应用相关文件的操作方法，其特征在于，包括以下步骤：
步骤1、用户在桌面系统中使用安卓应用，当安卓应用显示界面的布局发生改变时，安卓兼容环境获取安卓应用当前显示界面中的热点区域，并将热点区域及其中所包含文件的全路径更新到热点区域列表中；当安卓应用显示界面中弹出新窗口时，提取新窗口区域，并将新窗口区域保存到新窗口区域列表中；当弹出的新窗口被关闭时，将新窗口区域从新窗口区域列表中删除；当用户关闭安卓应用时，清空热点区域列表和新窗口区域列表；
步骤2、当用户使用鼠标点击安卓应用的显示界面时，阻止将鼠标按下事件发送至安卓兼容环境，若鼠标按下事件为鼠标左键点击，则记录鼠标按下事件中的鼠标按下位置，执行步骤3；否则将鼠标按下事件发送至安卓兼容环境，结束本流程；
步骤3、获取下一次鼠标事件，若下一次鼠标事件为鼠标释放事件，则记录其中的鼠标释放位置，若鼠标释放位置与鼠标按下位置相同则执行步骤4，若鼠标释放位置与鼠标按下位置不同则结束本流程；若下一次鼠标事件为鼠标移动事件，则记录鼠标移动位置执行步骤6；
步骤4、若鼠标释放位置位于新窗口区域列表所保存的新窗口区域内，则将鼠标按下事件与鼠标释放事件先后发送至安卓兼容环境后结束本流程；若鼠标释放位置位于新窗口区域之外，且鼠标释放位置位于热点区域内则丢弃鼠标按下事件及鼠标释放事件后执行步骤5；若鼠标释放位置位于新窗口区域之外且鼠标释放位置位于热点区域之外则结束本流程；
步骤5、获取热点区域对应的文件全路径，选用桌面系统应用程序根据文件全路径打开文件，结束本流程；
步骤6、若鼠标移动位置位于热点区域列表所保存的热点区域内，则不改变鼠标图标，执行步骤7；若鼠标移动位置位于热点区域列表所保存的热点区域之外，则将鼠标图标修改为拖拽文件时的图标，执行步骤7；
步骤7、监测鼠标事件，若下一次鼠标事件为鼠标移动事件，则获取鼠标移动位置后，执行步骤6；若下一次鼠标事件为鼠标释放事件，且鼠标释放位置位于热点区域外，则获取鼠标释放位置所在的窗口，获取窗口进程名，若窗口进程名为文件管理器，则将文件保存在文件管理器的当前目录中；若窗口进程名为非文件管理器，则将热点区域列表中文件的全路径作为窗口进程的参数执行窗口进程完成打开文件的操作。
2.根据权利要求1所述的操作方法，其特征在于，所述步骤6中所述将鼠标图标修改为拖拽文件时的图标的条件为当鼠标移动位置与鼠标按下位置的差值大于阈值时。
3.根据权利要求2所述的操作方法，其特征在于，所述阈值为20像素。
4.根据权利要求1所述的操作方法，其特征在于，所述步骤7中所述将文件保存在文件管理器的当前目录中的方式为：获取窗口所指向的目录，判断目录中是否存在具有相同文件名的文件，如果没有则将文件保存到目录中，否则弹出提示窗提示用户覆盖或重命名文件。
5.根据权利要求1所述的操作方法，其特征在于，所述新窗口区域包括包含PopupWindow悬浮框或Toast消息框的窗口区域。
6.根据权利要求1所述的操作方法，其特征在于，所述步骤1中所述安卓兼容环境获取安卓应用当前显示界面中的热点区域的方式为：采用机器学习方法预先分析安卓应用显示界面，得到包含文件的界面区域的特征，当安卓应用显示界面的布局发生改变时，截取当前显示界面后，采用图像识别的方式根据特征分析当前显示界面，若匹配则确认当前显示界面中包含热点区域；再获取热点区域的矩形框坐标，并从热点区域中提取出所包含的文件名。
7.根据权利要求1所述的操作方法，其特征在于，所述步骤1中所述安卓兼容环境获取安卓应用当前显示界面中的热点区域的方式，包括以下步骤：
步骤1.1、获取安卓应用当前显示界面内根节点视图的视图树，获取视图树中设置为可见的线性布局；
步骤1.2、遍历线性布局，当线性布局中同时包含文本视图和图像视图时，提取文本视图中的文本内容及图像视图中的图片，若文本内容的格式符合预先定义的格式且图片与预先定义的图片相近，则执行步骤1.3；否则结束本流程；
步骤1.3、根据步骤1.2中获取的文本内容，在安卓应用对应的目录中查找是否存在具有与文本内容相同的文件名的文件，如果存在则线性布局所在容器为热点区域，记录文件的全路径及热点区域的矩形框坐标；否则结束本流程。
8.根据权利要求7所述的操作方法，其特征在于，所述步骤1中所述的安卓兼容环境获取安卓应用当前显示界面中的热点区域中的安卓兼容环境为安卓应用兼容服务xDroidServer。
CN202210923325.1A 2022-08-02 2022-08-02 一种桌面系统上安卓应用相关文件的操作方法 Active CN114995716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923325.1A CN114995716B (zh) 2022-08-02 2022-08-02 一种桌面系统上安卓应用相关文件的操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923325.1A CN114995716B (zh) 2022-08-02 2022-08-02 一种桌面系统上安卓应用相关文件的操作方法

Publications (2)

Publication Number Publication Date
CN114995716A true CN114995716A (zh) 2022-09-02
CN114995716B CN114995716B (zh) 2022-09-30

Family

ID=83022554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923325.1A Active CN114995716B (zh) 2022-08-02 2022-08-02 一种桌面系统上安卓应用相关文件的操作方法

Country Status (1)

Country Link
CN (1) CN114995716B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309465A (zh) * 2022-10-11 2022-11-08 北京麟卓信息科技有限公司 一种跨运行环境的低延迟鼠标驱动优化方法
CN115329386A (zh) * 2022-10-13 2022-11-11 南京中孚信息技术有限公司 文件管控方法、装置、设备以及存储介质
CN115454296A (zh) * 2022-11-11 2022-12-09 北京麟卓信息科技有限公司 一种跨运行环境的用户行为智能融合方法
CN117093108A (zh) * 2023-10-19 2023-11-21 江苏捷成明道文化科技有限公司 一种应用于智慧展馆交互的数据调控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141016A1 (en) * 2002-11-29 2004-07-22 Shinji Fukatsu Linked contents browsing support device, linked contents continuous browsing support device, and method and program therefor, and recording medium therewith
CN112068897A (zh) * 2020-08-16 2020-12-11 北京麟卓信息科技有限公司 基于鼠键模拟的Android应用文件加载方法和装置
CN113204307A (zh) * 2021-05-06 2021-08-03 技德技术研究所(武汉)有限公司 一种在Linux上兼容运行Android系统的文件发送方法及装置
CN114385047A (zh) * 2022-03-24 2022-04-22 北京麟卓信息科技有限公司 Linux平台上基于Intent的安卓应用文件发送方法
CN114816585A (zh) * 2022-06-20 2022-07-29 北京麟卓信息科技有限公司 一种跨运行环境的远程输入重定向方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141016A1 (en) * 2002-11-29 2004-07-22 Shinji Fukatsu Linked contents browsing support device, linked contents continuous browsing support device, and method and program therefor, and recording medium therewith
CN112068897A (zh) * 2020-08-16 2020-12-11 北京麟卓信息科技有限公司 基于鼠键模拟的Android应用文件加载方法和装置
CN113204307A (zh) * 2021-05-06 2021-08-03 技德技术研究所(武汉)有限公司 一种在Linux上兼容运行Android系统的文件发送方法及装置
CN114385047A (zh) * 2022-03-24 2022-04-22 北京麟卓信息科技有限公司 Linux平台上基于Intent的安卓应用文件发送方法
CN114816585A (zh) * 2022-06-20 2022-07-29 北京麟卓信息科技有限公司 一种跨运行环境的远程输入重定向方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309465A (zh) * 2022-10-11 2022-11-08 北京麟卓信息科技有限公司 一种跨运行环境的低延迟鼠标驱动优化方法
CN115309465B (zh) * 2022-10-11 2022-12-06 北京麟卓信息科技有限公司 一种跨运行环境的低延迟鼠标驱动优化方法
CN115329386A (zh) * 2022-10-13 2022-11-11 南京中孚信息技术有限公司 文件管控方法、装置、设备以及存储介质
CN115454296A (zh) * 2022-11-11 2022-12-09 北京麟卓信息科技有限公司 一种跨运行环境的用户行为智能融合方法
CN115454296B (zh) * 2022-11-11 2023-01-10 北京麟卓信息科技有限公司 一种跨运行环境的用户行为智能融合方法
CN117093108A (zh) * 2023-10-19 2023-11-21 江苏捷成明道文化科技有限公司 一种应用于智慧展馆交互的数据调控系统及方法
CN117093108B (zh) * 2023-10-19 2023-12-29 江苏捷成明道文化科技有限公司 一种应用于智慧展馆交互的数据调控系统及方法

Also Published As

Publication number Publication date
CN114995716B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN114995716B (zh) 一种桌面系统上安卓应用相关文件的操作方法
US5287447A (en) Method and system for providing container object attributes to a non-container object
JP4076239B2 (ja) 情報表示方法及びウィンドウ管理装置
US11763076B2 (en) Document applet generation
KR101522014B1 (ko) 앱 아이콘을 관리하는 방법, 장치 및 기록매체
US10088969B2 (en) Image-based automation systems and methods
CN108279964B (zh) 蒙层渲染的实现方法、装置、智能设备及存储介质
CN110750197B (zh) 文件共享方法、装置、系统、相应设备及存储介质
CN112068897B (zh) 基于鼠键模拟的Android应用文件加载方法和装置
US5577188A (en) Method to provide for virtual screen overlay
US6795089B2 (en) Dynamic, live surface and model elements for visualization and modeling
WO2019174465A1 (zh) 用户界面显示方法、装置、终端及存储介质
US20090132919A1 (en) Appending Hover Help to Hover Help for a User Interface
US20090193363A1 (en) Representing Multiple Computing Resources Within A Predefined Region Of A Graphical User Interface For Displaying A Single Icon
US20020109725A1 (en) Control apparatus and control method for starting application software on a computer, and multi-monitor computer, client-server system, and storage medium using the same
US8875057B2 (en) Document management framework
US9087053B2 (en) Computer-implemented document manager application enabler system and method
JP2019511796A (ja) ファイル管理方法及びこれを利用したファイル管理装置｛ｍｅｔｈｏｄ ｆｏｒ ｍａｎａｇｉｎｇ ｆｉｌｅｓ ａｎｄ ａｐｐａｒａｔｕｓ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US7624403B2 (en) API for building semantically rich diagramming tools
US8375324B1 (en) Computer-implemented document manager application enabler system and method
JP2012064207A (ja) ホスト装置及びホスト装置のコンテンツ表示方法
CN102446094A (zh) 用于有效地实现系统和桌面配置增强的装置和方法
CN112817817B (zh) 埋点信息查询方法、装置、计算机设备和存储介质
CN110908552B (zh) 多窗口操作控制方法、装置、设备及存储介质
CN104516618A (zh) 界面功能解析显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant