CN109062474A - 一种基于图像识别进行智能操作的方法 - Google Patents

一种基于图像识别进行智能操作的方法 Download PDF

Info

Publication number
CN109062474A
CN109062474A CN201810952035.3A CN201810952035A CN109062474A CN 109062474 A CN109062474 A CN 109062474A CN 201810952035 A CN201810952035 A CN 201810952035A CN 109062474 A CN109062474 A CN 109062474A
Authority
CN
China
Prior art keywords
intelligent operation
image recognition
icon
task
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810952035.3A
Other languages
English (en)
Inventor
陈浩波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Snail Digital Technology Co Ltd
Original Assignee
Suzhou Snail Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Snail Digital Technology Co Ltd filed Critical Suzhou Snail Digital Technology Co Ltd
Priority to CN201810952035.3A priority Critical patent/CN109062474A/zh
Publication of CN109062474A publication Critical patent/CN109062474A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于图像识别进行智能操作的方法，包括以下步骤：识别能够使用图像识别的应用程序；根据不同的应用程序加载不同的图标模板，并且识别操作信息封装；持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配；执行预先设置好的智能操作；继续录制屏幕，通过开关来控制智能操作。本发明通过智能化、智能的方式帮用户进行重复图标的点击或者操作，从而使用户操作更简单而无需重复枯燥的操作。

Description

一种基于图像识别进行智能操作的方法
技术领域
本发明涉及数字图像处理领域，特别是一种基于图像识别进行智能操作的方法。
背景技术
在Android平台上，有许多重复单调的游戏操作或者说需要用户在出现图标后一直点击的事件，玩家需要重复操作，对于玩家的游戏体验来说非常的枯燥。并且，玩家在进行竞速类游戏时，其中某些一旦出现就需要释放或者点击的图标众多，用户的操作繁琐且操作十分的不便。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种基于图像识别进行智能操作的方法。本发明通过智能化、智能的方式帮助用户进行重复图标的点击或者操作，从而使用户操作更简单而无需重复枯燥的操作。
为实现上述目的，本发明提供的一种基于图像识别进行智能操作的方法，包括以下步骤：
识别能够使用图像识别的应用程序；
根据不同的应用程序加载不同的图标模板，并且识别操作信息封装；
持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配；
执行预先设置好的智能操作；
继续录制屏幕，通过开关来控制智能操作。
进一步地，所述预先设置好的智能操作，为以固定间隔时间进行定时任务以获取模板屏幕图像，并进行模板匹配，同时智能操作存在一个阈值时间，在一个阈值时间内只允许执行一次智能操作，以防止终端设备抢占用户的可操作性。
进一步地，所述预先设置好的智能操作，为以每个任务固定一个任务阈值时间的原则进行线程调度优化，单个任务超出任务阈值时间则跳出，以释放资源并执行下一个任务；总的一批任务也有一个总阈值时间，超过设定的总阈值时间则跳出本次总的一批任务，以防线程阻塞导致性能减低影响用户操作。
进一步地，所述进行图标匹配的步骤，包括，如果图标匹配近似度不小于80%，则认为为识别到图标；如果图标匹配近似度小于80%，则判断为没有识别到图标。
进一步地，所述图像识别中的模板匹配算法，其基于TM_CCOEFF系数匹配法进行改进，将匹配到的最小值坐标识别为模板的中心点，如果中心点位于可接受范围的内接圆半径内，则判断为存在图标模板。
进一步地，所述智能操作，为点击操作或拖拽操作。
进一步地，所述拖拽操作，是使用安卓底层接口Instrumentation进行sendEvent的触摸屏事件或者拖拽。
更进一步地，所述持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配的步骤，还包括，根据特征点信息以及色值阈值对图标匹配的近似度进行判断。
为实现上述目的，本发明提供的将辅助工具进行网络共享的方法，所述辅助工具执行上述的基于图像识别进行智能操作的方法，包括以下步骤：
选择特定的应用程序，并对需要操作的图标和智能操作进行识别；
将识别到的图标以及智能操作上传到服务器群组；
服务器群组接收到的信息后将信息存储到服务器数据库；
通过终端与后台的通信协议将执行上述的基于图像识别进行智能操作的方法的辅助工具推送至对应的终端设备；
终端设备解析加载对应的工具信息；
匹配到特定的场景后弹窗提示用户开启对应的辅助功能。
为实现上述目的，本发明提供的将辅助工具进行网络共享系统，所述系统用于将上述辅助工具进行网络共享的方法，所述系统，包括：
辅助运营工具，其将识别模板以及智能操作信息上传到服务器群组；
服务器群组，其将所述识别模板和智能操作信息对应游戏辅助工具分享给终端设备；
终端设备，其利用所述游戏辅助工具对游戏进行智能操作。
本发明提供的基于图像识别进行智能操作的方法通过一套可持续维护、可扩展的体系为手机终端设备提供智能化、智能的用户体验，其中将一些需要重复点击的图标收集好并作为模板在特定游戏中进行匹配，如果匹配到对应的图标后，帮助用户点击或者拖动对应的图标从而进入下一步操作，省去用户重复点击的烦恼，让终端设备显得更加智能。并且，本发明减轻玩家的重复操作并提高玩家的游戏体验，从而给玩家带来更多的便利操作，以智能化、智能的理念提高玩家在游戏中的游戏体验，使用户在游戏中的游戏体验更加智能化。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的基于图像识别进行智能操作的方法流程图；
图2为根据本发明的将辅助运营工具进行网络共享的方法的流程图；
图3为根据本发明的将辅助运营工具进行网络共享的系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的基于图像识别进行智能操作的方法流程图。如图1所示，本发明的基于图像识别进行智能操作的方法包括以下步骤：
S101：识别能够使用图像识别的应用程序。
S102：根据不同的应用程序加载不同的图标模板，并且识别操作信息封装。
S103：持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配，并且根据特征点信息以及色值阈值对图标匹配的近似度进行判断。如果匹配近似度不小于80%，则判断为识别到图标并进行步骤S104，如果匹配近似度小于80%，则判断为没有识别到图标并进行步骤S105。图像识别中的模板匹配算法基于TM_CCOEFF系数匹配法进行改进，将匹配到的最小值坐标识别为模板的中心点，如果中心点位于内接圆的半径内，则判断为存在图标模板。
S104：执行预先设置好的智能操作；智能操作为点击操作或拖拽操作，并且使用安卓底层接口Instrumentation 进行sendEvent的触摸屏事件或者拖拽。本步骤中设置智能操作具体采用以下两种方法：（1）以固定间隔时间进行定时任务以获取模板屏幕图像，并进行模板匹配，同时智能操作存在一个阈值时间，在一个阈值时间内只允许执行一次智能操作，以防止终端设备抢占用户的可操作性；（2）以每个任务固定一个任务阈值时间的原则进行线程调度优化，单个任务超出任务阈值时间则跳出，以释放资源并执行下一个任务；总的一批任务也有一个总阈值时间，超过设定的总阈值时间则跳出本次总的一批任务，以防线程阻塞导致性能减低影响用户操作。
S105：继续录制屏幕，通过开关来控制步骤S104中的智能操作。
S106：判断是否退出应用程序，如果判断为没有退出应用程序，则返回至步骤S103，如果判断为退出应用程序，则结束操作。
实施本发明的基于图像识别进行智能操作的方法的示例如下：
示例1：玩家A在竞速游戏中每10S需要点击一次加速图标，随着游戏时间的加成，玩家慢慢的对这个加速图标感到厌倦，并且持续的点击手部操作也略显手酸，此时玩家A打开了预制在终端设备的自动加速功能，自动点击，第一时间出现自动帮玩家点击，省去了玩家A对加速图标的点击操作
示例2：玩家B在回合制游戏中，每天上线玩游戏日常都是枯燥的每日任务，每天点击的位置以及剧情都接近雷同，此时玩家B按照提示打开了自动识别功能，对于出现的固定位置的点击操作自动帮用户跳转，开启自动完成每日枯燥的任务并增加对游戏体验。
图2为将辅助运营工具进行网络共享的方法的流程图。如图2所示，本发明的将辅助运营工具进行网络共享的方法包括以下步骤：
S201：选择特定的应用程序，并对需要操作的图标和智能操作进行识别；
S202：将识别到的图标以及智能操作上传到服务器群组；
S203：服务器群组接收到的信息后将信息存储到服务器数据库；
S204：通过终端与后台的通信协议将执行基于图像识别进行智能操作的方法的辅助工具推送至对应的终端设备；
S205：终端设备解析加载对应的工具信息；
S206：匹配到特定的场景后弹窗提示用户开启对应的辅助功能。
图3为根据本发明的将辅助运营工具进行网络共享的系统示意图，如图3所示，利用该系统可将辅助运营工具进行网络共享。
辅助运营工具发现A游戏需要自动开门功能，将对应的开门图标以及识别后需要点击的开门坐标XY，以及任务调度的阈值时间通过共享的方式将信息上传到服务器，将对应游戏辅助工具分享给所有终端设备，其他用户接收到对应的工具后也能更加方便的进行游戏。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别进行智能操作的方法，包括以下步骤：
识别能够使用图像识别的应用程序；
根据不同的应用程序加载不同的图标模板，并且识别操作信息封装；
持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配；
执行预先设置好的智能操作；
继续录制屏幕，通过开关来控制智能操作。
2.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述预先设置好的智能操作，为以固定间隔时间进行定时任务以获取模板屏幕图像，并进行模板匹配，同时智能操作存在一个阈值时间，在一个阈值时间内只允许执行一次智能操作，以防止终端设备抢占用户的可操作性。
3.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述预先设置好的智能操作，为以每个任务固定一个任务阈值时间的原则进行线程调度优化，单个任务超出任务阈值时间则跳出，以释放资源并执行下一个任务；总的一批任务也有一个总阈值时间，超过设定的总阈值时间则跳出本次总的一批任务，以防线程阻塞导致性能减低影响用户操作。
4.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述进行图标匹配的步骤，包括，如果图标匹配近似度不小于80%，则认为为识别到图标；如果图标匹配近似度小于80%，则判断为没有识别到图标。
5.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述图像识别中的模板匹配算法，其基于TM_CCOEFF系数匹配法进行改进，将匹配到的最小值坐标识别为模板的中心点，如果中心点位于可接受范围的内接圆半径内，则判断为存在图标模板。
6.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述智能操作，为点击操作或拖拽操作。
7.根据权利要求6所述的基于图像识别进行智能操作的方法，其特征在于，所述拖拽操作，是使用安卓底层接口Instrumentation进行sendEvent的触摸屏事件或者拖拽。
8.根据权利要求1所述的基于图像识别进行智能操作的方法，其特征在于，所述持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配的步骤，还包括，根据特征点信息以及色值阈值对图标匹配的近似度进行判断。
9.一种将辅助工具进行网络共享的方法，所述辅助工具执行权利要求1-8所述的基于图像识别进行智能操作的方法，其特征在于，包括以下步骤：
选择特定的应用程序，并对需要操作的图标和智能操作进行识别；
将识别到的图标以及智能操作上传到服务器群组；
服务器群组接收到的信息后将信息存储到服务器数据库；
通过终端与后台的通信协议将执行权利要求1-7所述的基于图像识别进行智能操作的方法的辅助工具推送至对应的终端设备；
终端设备解析加载对应的工具信息；
匹配到特定的场景后弹窗提示用户开启对应的辅助功能。
10.一种将辅助工具进行网络共享的系统，所述系统用于实现权利要求9所述的将辅助工具进行网络共享的方法，其特征在于，所述系统，包括：
辅助运营工具，其将识别模板以及智能操作信息上传到服务器群组；
服务器群组，其将所述识别模板和智能操作信息对应游戏辅助工具分享给终端设备；
终端设备，其利用所述游戏辅助工具对游戏进行智能操作。
CN201810952035.3A 2018-08-21 2018-08-21 一种基于图像识别进行智能操作的方法 Withdrawn CN109062474A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810952035.3A CN109062474A (zh) 2018-08-21 2018-08-21 一种基于图像识别进行智能操作的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810952035.3A CN109062474A (zh) 2018-08-21 2018-08-21 一种基于图像识别进行智能操作的方法

Publications (1)

Publication Number Publication Date
CN109062474A true CN109062474A (zh) 2018-12-21

Family

ID=64686708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952035.3A Withdrawn CN109062474A (zh) 2018-08-21 2018-08-21 一种基于图像识别进行智能操作的方法

Country Status (1)

Country Link
CN (1) CN109062474A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901996A (zh) * 2019-01-25 2019-06-18 北京三快在线科技有限公司 辅助测试的方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873631A (zh) * 2005-05-31 2006-12-06 陈坤助 周边信号整合存取器及周边信号整合输出方法
CN105320404A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 用于执行功能的设备和方法
CN105468094A (zh) * 2014-09-10 2016-04-06 中兴通讯股份有限公司 一种操作计算机终端的方法及计算机终端
CN106547676A (zh) * 2016-10-08 2017-03-29 深圳市金立通信设备有限公司 一种用户操作录制方法及终端
US20170160922A1 (en) * 2015-12-04 2017-06-08 Datalogic Usa, Inc. Size adjustable soft activation trigger for touch displays on electronic device
CN107480059A (zh) * 2017-08-03 2017-12-15 网易（杭州）网络有限公司 操作序列的获取方法、装置、存储介质、处理器和服务端
CN108228421A (zh) * 2017-12-26 2018-06-29 东软集团股份有限公司 数据监测方法、装置、计算机及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873631A (zh) * 2005-05-31 2006-12-06 陈坤助 周边信号整合存取器及周边信号整合输出方法
CN105320404A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 用于执行功能的设备和方法
CN105468094A (zh) * 2014-09-10 2016-04-06 中兴通讯股份有限公司 一种操作计算机终端的方法及计算机终端
US20170160922A1 (en) * 2015-12-04 2017-06-08 Datalogic Usa, Inc. Size adjustable soft activation trigger for touch displays on electronic device
CN106547676A (zh) * 2016-10-08 2017-03-29 深圳市金立通信设备有限公司 一种用户操作录制方法及终端
CN107480059A (zh) * 2017-08-03 2017-12-15 网易（杭州）网络有限公司 操作序列的获取方法、装置、存储介质、处理器和服务端
CN108228421A (zh) * 2017-12-26 2018-06-29 东软集团股份有限公司 数据监测方法、装置、计算机及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901996A (zh) * 2019-01-25 2019-06-18 北京三快在线科技有限公司 辅助测试的方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109977208B (zh) 一种融合faq和任务及主动引导的对话系统
US11376509B2 (en) Virtual object grouping method and device, storage medium, and electronic device
CN105931638B (zh) 面向智能机器人的对话系统数据处理方法及装置
CN109086276B (zh) 数据翻译方法、装置、终端及存储介质
CN108364645A (zh) 一种基于语音指令实现页面交互的方法及装置
CN105791560B (zh) 一种访问数据网络的控制方法及用户终端
CN107544272A (zh) 终端控制方法、装置及存储介质
CN110782004B (zh) 模型训练方法、模型调用方法、设备及可读存储介质
CN107168551A (zh) 一种表单填写的输入方法
CN107655154A (zh) 终端控制方法、空调器及计算机可读存储介质
CN106022108B (zh) 一种同步管理方法及终端设备
CN108172221A (zh) 基于智能终端的操控飞行器的方法和装置
CN109271503A (zh) 智能问答方法、装置、设备及存储介质
CN108597499B (zh) 语音处理方法以及语音处理装置
CN109062474A (zh) 一种基于图像识别进行智能操作的方法
CN106777099A (zh) 业务语音数据的处理方法、装置及终端设备
CN108804287A (zh) 移动应用程序流量的自动获取方法、装置、系统及介质
CN109327321A (zh) 网络模型业务执行方法、装置、sdn控制器及可读存储介质
CN112509580B (zh) 语音处理方法、装置、设备、存储介质及计算机程序产品
CN107704448B (zh) 一种获取儿童教育资源内容的方法以及系统
CN112015881B (zh) 智能机器人的人机对话流程自动切换方法及系统
CN112714058B (zh) 一种即时打断ai语音的方法、系统及电子设备
CN109426529A (zh) 基于x窗口系统图形绘制的方法、装置及终端
CN110347247B (zh) 人机交互方法、装置、存储介质及电子设备
CN113791689A (zh) 智能设备的控制方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181221