CN107517154B

CN107517154B - 一种前台应用无关的处理、传递用户输入信息的方法和系统

Info

Publication number: CN107517154B
Application number: CN201710733942.4A
Authority: CN
Inventors: 李建国
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-08-24
Filing date: 2017-08-24
Publication date: 2021-09-03
Anticipated expiration: 2037-08-24
Also published as: CN107517154A

Abstract

本申请涉及计算机技术领域，具体涉及一种前台应用无关的处理、传递用户输入信息的方法。本技术方案的目的是为了实现：以一种前台应用无关的统一目标命名方式，在各种前台应用内的输入框里发送信息给目标；在不必安装更多的应用前提下，接收更多种应用内、用输入框所发送的信息。在现有技术实现上，在应用层面，输入信息跨应用传递依赖制定共有协议和标准，存在技术/非技术壁垒，实现难度大。本方法或系统在操作系统层面，定义技术特征集合，获取应用在此特征集合之下的信息，在用户操作层面，定义用户操作特征，操作特征是用户动作的实现协议，并不依赖于前台工具；在提取技术特征和用户操作特征的前提下，进行前台应用无关的消息发送和接收。

Description

一种前台应用无关的处理、传递用户输入信息的方法和系统

一、技术领域：

本申请涉及计算机技术领域，具体涉及一种前台应用无关的处理、传递用户输入信息的方法和系统。

二、技术背景：

现今的许多通讯工具，比如Email、网络论坛、即时消息工具、社交网络等等，都可以实现用户之间的消息传递，但是用户在使用这些工具时，都有一个局限性：由于缺乏统一的工业标准，用户为了实现接收更多其他用户、来自不同应用的消息，需要不断安装新的不同的工具，比如：

●用户A在微信中输入消息，用户B如果想接收用户A的消息，必须安装微信；

●如果用户A在网络论坛E上给用户B写了消息，那么用户B必须上网络论坛E接收消息，或者用户B必须安装该网络论坛提供的客户端工具，来接收消息；

●假设有专门的工具，统一了某几种工具的通讯、数据、控制协议，可以接收某几种工具，比如微信，QQ，论坛E、社交网络F的消息，但是如果在此之后，出现了更多的其他工具的时候，这个专门的工具仍旧需要不断研究、改写、升级来接收更多通讯工具的消息；

●用户A在Email中给用户B写信，需要记住用户B的Email地址，用户A在社交媒体中给用户B发消息，需要记住用户B的命名，在众多的工具或系统中，用户B的命名可能是不一致的，用户有可能需要记忆同一个人，在不同应用中的不同命名；

目前还没有一种通用的工具，用户只需要安装一次，就能够以相同的命名方式，在不断变化增长的各类工具里，比如应用E、应用F、应用G等等应用内，发送信息，给其他并没有安装应用E、应用F、应用G、但是安装了通用工具的用户。

在现有技术实现上来讲，输入信息跨应用传递存在技术/非技术壁垒，如果要实现多应用之间的信息发送，需要依赖某几种应用的特殊协议处理，来进行交互，比如：

应用A，B，C如果想要传递信息给应用E，就需要约定一个共同的通讯、数据、应用协议等，来实现彼此的数据传输；如果应用D也要加入进来，那么应用D也要遵守此种协议；这种协议往往是工业标准，实现难度大，而且将来是否能够实现，并不完全取决与技术因素，更是市场博弈的结果。

三、发明内容：

本技术的目的就是为了解决现有技术中存在的上述问题，建立一种通用的软件/硬件，使其能够独立与用户输入所在的各种前台应用，处理用户按照特定约定的特征，所输入的信息，并进行用户之间的发送和接收。基于本技术，可以提供一种通用的软件系统或者硬件系统，用户只需要安装一次，就能够以前台应用无关的统一目标命名，在不断变化增长的各类工具的输入框内，发送前台应用无关的信息给其他用户，并能够使，没有安装发送输入框所在的前台应用的用户，也能接收所发信息，该通用的软件/硬件，下文统称为基于本方法所实现的应用，其具体实现：

●在使用系统输入框的任何前台应用内，按照约定的特征输入信息，实现前台应用无关的消息发送到目标用户的功能；

●在使用系统输入框的任何前台应用内，能够用一种统一的命名定义目标名称，而不需要根据应用的不同，输入不同的目标名称；

●使用一种基于本方法所实现的应用，在没有安装发送者所使用的前台应用程序的情况下，接收者可以收取利用上述所发送的信息。

为了实现以上目的，采用以下技术方案：

1、在操作系统层面，定义技术特征集合，获取各类应用里，用户输入操作在此特征集合之下的信息：

为了实现前台应用无关的处理、传递用户输入信息，首先需要获取操作系统层面的用户输入信息特征，与之相关的技术特征主要包括输入框信息和输入辅助信息。

通过操作系统输入法、系统服务来获取输入框信息和输入辅助信息，通过输入框信息和输入辅助信息来确定用户输入内容，并进行初步处理。

输入框信息包括：输入内容、输入框附属的说明文字等等；

输入辅助信息包括：输入位置信息、用户点击屏幕位置信息以及与输入框关联的控件信息；

与输入框关联的控件信息包括：输入文字时间前后，展示的控件信息；输入文字时间前后，点击、移动的控件信息；输入文字位置附近，展示的控件信息；输入文字位置附近，点击、移动的控件信息。

以下通过手机Android系统和PC Windows系统为例，来说明获取输入框信息和输入辅助信息的技术方案，但本方法的实现并不仅仅限于Android系统和Window系统。

1.1、Android系统下，编写IME，获取输入框信息

输入法编辑器(IME)是让用户输入文本的控件。Android提供了一个可扩展的输入法的框架，它允许应用程序给用户提供另外的输入法，如软键盘或语音输入。这些输入法一旦安装，用户就可以从系统的设置中选择他们想要使用的IME，并且这个设置对整个系统都是有效的。

要在Android系统中添加一种输入法，就要创建一个包含继承了InputMethodService的类应用程序。另外，通常还要创建一个“settings”Activity，把选项传递给IME服务。在Android系统下，通过设置AndroidManifest.xml，添加自定义的输入法。

如果安装了自定义的输入法，那么就可以通过技术手段，得到用户的当前输入框信息。具体实现可以通过InputMethodService中的Onkey消息，得到用户当前输入框的输入信息。通过重载输入法来获取输入消息，是一个最直接的方法，不光在Android上可用，苹果的IOS、Linux等操作系统也可以使用类似功能。

1.2、Android系统下，也可以使用扩展Accessibility服务，获取当前系统输入框的内容消息。

Accessibility服务是Android系统提供的，一种在操作系统层面，获取文本、语音或者移动、点击的服务。通过扩展AccessibilityService，编写TYPE_VIEW_TEXT_SELECTION_CHANGED，TYPE_VIEW_TEXT_CHANGED，TYPE_VIEW_CLICKED等消息处理，可以得到当前系统输入框的消息内容。

当用户输入数据发生变化时，会刷新TYPE_VIEW_TEXT_SELECTION_CHANGED或者TYPE_VIEW_TEXT_CHANGED消息；当用户点击按钮发送数据时，会触发TYPE_VIEW_CLICKED消息，该消息中可以获取按钮的文本内容。

Android系统下，通过设置AndroidManifest.xml来添加服务。当用户在辅助功能中打开所扩展的Accessibility服务后，我们就可以用它来获取输入框信息和输入辅助信息了。

1.3、在Window系统下，通过重写Windows消息系统中的WndProc，通过WM_DRAWCLIPBOARD消息和WM_HOTKEY的配合，来获取当前输入框信息、输入辅助信息。

消息系统是Windows程序的一个重要系统，它是一个程序运行的动力源泉。一个消息，是系统定义的一个32位的值，他唯一的定义了一个事件，向Windows发出一个通知，告诉应用程序某个事情发生了。例如，单击鼠标、改变窗口尺寸、按下键盘上的一个键、复制文本和图像内容等等，都会使Windows发送一个消息给应用程序的消息队列中，然后应用程序再从消息队列中取出消息并进行相应的响应。

通过定义的WM_HOTKEY消息，可以在用户按下特殊按键后，启动选择文本内容，进行复制操作，并将当前输入框内容送入剪贴板；

重载WndProc，处理WM_DRAWCLIPBOARD消息，可以得到剪贴板的内容。

2、在用户操作层面，定义用户操作特征。我们这里所定义的操作特征是用户动作的实现协议，它存在与用户的输入文本内容中，能够让用户在输入过程中独立完成，其应用逻辑能够独立与各种应用；例如：

●用户输入“【四个空格】早上好！@张三【四个空格】”：会触发将“早上好！”发送给“张三”的操作。

●用户输入“早上好！@张三【四个空格】我在跟张三聊天，准备约他吃饭！@李四”【四个空格】：会先将“我在跟张三聊天，准备约他吃饭！”发送给“李四”，然后系统自动删除“我在跟张三聊天，准备约他吃饭！@李四”，只留下“早上好！@张三”。

除了以用户操作特征的方式来触发内容的发送，通过输入辅助信息，也可以实现消息的发送机制。比如：检测特殊按键被按下、具有特定内容的控件被点击、具有特定内容、特定位置的控件被点击等等。

3、关联系统输入框信息、输入辅助信息和信息收发过程

为了实现消息在不同用户之间的发送和接收，得到用户的输入框信息和输入辅助信息后，还需要完成以下功能：

根据所定义的用户操作特征，分析用户输入信息和输入辅助信息中蕴含的动作、目标、信息内容，进行预处理，解释动作含义，实现目标和用户唯一ID的映射、编码和解码信息内容；

独立与输入框所在前台应用实现，根据动作信息，利用前台应用无关的统一目标命名，传送前台应用无关信息给目标；

完成用户注册、配置、管理等功能：包括注册、注销、设置个人信息、设置用户密码、修改头像、定义发送标志(例如@符号，表示发送给某人)等等；

对信息内容进行展示或者处理。

四、附图说明：

图1是本申请的一种前台应用无关的处理、传递用户输入信息的方法系统的处理流程图；

图2是本申请可以应用于其中的示例性系统架构图；

五、实施方式：

1、下面结合附图和实施例对本申请作进一步的详细说明，可以理解的是，此处所描述的具体实施例仅仅用于解释本方法和系统，而非对该方法和系统的限定。

所述前台应用是指：运行在终端设备、展示在用户界面的最前端的、用户可以使用输入框输入信息的应用，称为前台应用。

所述输入框是指：用于用户输入信息的操作系统文字框，或者重载、改写过的、用于用户输入信息的操作系统文字框。

所述的输入辅助信息，包括：用户输入时，所在的屏幕位置信息；用户点击时、所在的屏幕位置信息；与输入框关联的控件信息。

所述与输入框关联的控件信息，包括：

输入文字时间前后，展示的控件信息；

输入文字时间前后，点击、移动的控件信息；

输入文字位置附近，展示的控件信息；

输入文字位置附近，点击、移动的控件信息；

所述独立与输入框所在前台应用实现，包括：

检测输入信息和输入辅助信息、分析输入信息和输入辅助信息、发送信息，跟输入框所在前台应用代码实现无关，跟输入框所在的前台应用所使用的通讯、数据、控制协议无关。

所述前台应用无关的统一目标命名，包括：

目标命名，跟前台应用内的目标命名逻辑无关；

在多种前台应用内的输入框内，同一个目标，可以采用同一个命名，而不必在不同的应用输入框内，采用不同的命名。

所述传送前台应用无关的信息，包括：

发送用户，在任意使用输入框的前台应用内，例如应用F内，使用输入框输入信息，实时分析输入信息和输入辅助信息，如果分析结果触发传送动作，则通过网络传输，直接或者通过服务器间接转发，实现发送信息给接收目标；接收用户，可以在没有安装应用F的设备上，接收到消息通知，通过网络传输，直接或者通过服务器间接转发，接收发送用户发来的信息。

所述用户，可以指使用特定账号的人类，也可以指自动化的程序账号。所谓自动化的程序账号，是指一段程序，具有唯一的身份标识，可以接受来自其他身份标识的信息，该程序判断该信息是否发送给自己，以发送信息内的目标地址，是否吻合自己唯一的身份标识为区分。

所述前台应用无关的处理、传递用户输入信息的方法和系统，可以应用在具有输入框的应用里，配合后台服务，可以实现消息发送、主题订阅、内容发布、工业控制、信息查询等功能。本实施以具有特定目标的消息发送为例，但并不意味着本方法只能用于具有特定目标的消息发送。

图2示出了可以应用本申请的一种前台应用无关的处理、传递用户输入信息的方法和系统实施例的示例性系统架构。

如图2所示，系统架构可以包括终端设备101、102、103、网络104、服务器105和服务器106。网络104用以在终端设备101、102、103和服务器105、服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户100可以使用终端设备101、102、103通过网络104与服务器105、服务器106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，包括基于本申请技术所实现的应用。

终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、工控设备、膝上型便携计算机和台式计算机等等。

服务器105、服务器106可以是提供各种服务的服务器，例如为终端设备101、102、103上的应用提供支持的后台消息服务器或者订阅和分发服务器。后台服务器可以对接收到的数据请求等进行分析处理，并将处理结果反馈给终端设备101、102、103。

需要说明的是，本申请实施例所提供的一种前台应用无关的处理、传递用户输入信息的方法和系统一般由终端设备101、102、103中的基于本方法的应用和后台服务器105、106一起配合完成。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。服务器105、106只是为了说明跟本申请技术架构有关的服务器功能展示，实际功能会更复杂，比如命名服务器、缓冲服务器、数据服务器等等，一般会用服务器集群完成，根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下列出了根据本申请实现的一种前台应用无关的处理、传递用户输入信息的方法和系统一个实施例子的流程。

用户启动任意使用系统输入框的应用，并使用该应用内的系统输入框输入消息，当用户输入约定的特殊内容时，比如【数个空格】你好！@张三【数个空格】(张三是用户自定义的另一个目标名称)，用户界面停留在展示系统输入框所在的应用中。

所输入内容“【数个空格】你好@张三满足”【数个空格】满足用户操作特征中的“【数个空格】内容@目标【数个空格】”。用户输入内容满足用户操作特征中的“发送操作”，则触发发送操作，当前输入内容通过所安装的输入法、Accessibility service等系统服务实时获得。

另外，如果用户没有触发“【数个空格】内容@目标【数个空格】”的用户操作特征，只是输入了“内容@目标”，但是用户按下了输入框旁边的发送按钮，如果用户按下了发送按钮，会触发Accessibility的TYPE_VIEW_CLICKED消息，在消息处理中，也会检测是否满足模式匹配(是否满足“发送内容@目标”)，如果模式匹配满足，也会触发发送操作。

通过系统服务检测到用户输入满足了发送模式匹配，通过系统服务得到系统输入框当前输入内容，并进行预处理，预处理会去检查输入的合法性(空白内容或者错误的格式)，根据输入模式，判断用户是否要启动基于本申请方法的发送流程、并去除重复请求等(用户多次按键等等)。

系统服务将预处理后的内容，发送给基于本方法实现的应用。

在Android系统中，基于本方法所实现的应用可以定义一个后台服务，该服务能够被Acessibility服务所调用，Accessiblity服务通过后台服务接口，将预处理过的信息内容，传送给基于本方法所实现的应用。

在Windows系统中，基于本方法所实现的应用重定义了Wndproc函数，可以通过用户指令，触发模拟按键CTRL+V、CTRL+A、CTRL+C等，并获取WM_DRAWCLIPBOARD消息，获取预处理过的信息内容。

基于本方法所实现的应用提取动作，目标和消息内容：

例如，用户输入的“你们好！@张三@李四【超过4个空格】”，可以提取出动作、目标、消息内容：

●动作：发送给目标

●目标：张三，李四；

●消息内容：你们好！

基于本方法所实现的应用，根据数据库，比对动作、目标和消息，确定数据的合法性，例如：

基于本方法所实现的应用，验证动作的合法性，检查基于本方法所实现的应用的当前登录用户是否有此权限；

基于本方法所实现的应用，确定命名“张三”和“李四”确实存在在数据库中。

基于本方法所实现的应用，获取登录session和服务器公钥，生成签名，并将内容和签名打包，并传送给后台服务器。

基于本方法所实现的应用中，用户登录Session在登录时生成，并临时保存在内存中，如果是Android系统，则通过android.content.SharedPreferences保存。

服务器公钥也在登陆时，请求服务器后获得，并临时保存在内存中，如果是Android系统，则通过android.content.SharedPreferences保存。

此时用户仍然停留在输入框的应用界面里，上述步骤均在后台完成。

如果用户消息发送成功；可以通过当前输入框展示【给***目标的消息已经发送】的字样；如果是在Android系统中，可通过Accessiblity的ACTION_SET_TEXT操作完成；如果是在Windows系统中，通过设置剪贴板的内容后，发送Ctrl-v指令完成。

后台服务器接收内容，用私钥验证签名，解开数据包，并验证session的正确性；

通讯可以是HTTP或者HTTPS传输，数据包的格式是：【消息内容+session】+【签名】。

后台服务器根据消息内容中的目标唯一ID，保存消息内容到数据库，并向MQTT服务器转发消息；

后台服务器维系着以目标唯一ID为关键字的登陆结构，登陆结构包括：

【登陆Session+MQTT账户信息+其他信息】

后台服务器已经作为Publisher在MQTT服务器上登陆，根据MQTT账户信息，向MQTT服务器发送publish消息；publish消息由【topic+消息内容摘要】，其中topic就是目标唯一ID在MQTT服务器上订阅过的topic。

MQTT服务器通知目标有消息到来；

MQTT检查topic，如果该topic的基于本方法所实现的应用的订阅用户在线，就发送给该用户，否则在保存在服务器上，等待该用户下次登陆时重发。

位于目标机器上的基于本方法所实现的应用，接收MQTT服务器的推送消息；

目标机器可以是手机或者Pc，通过MQTT客户端保持与MQTT的链接，可以即时接受MQTT服务器的推送消息。

位于目标机器上的基于本方法所实现的应用，获得登陆session，询问后台服务器消息。

基于本方法所实现的应用发送询问数据包，数据包用HTTP或者HTTPS传送，格式为：

【用户唯一ID+session+询问标志】。

后台服务器验证session，返回给基于本方法所实现的应用消息内容。

后台服务器解开数据包，根据用户唯一ID，检查该用户的session合法性，如果合法，查询数据库，取出详细消息内容，并将内容返回。

位于目标机器上的基于本方法所实现的应用，接收应用消息，根据消息指示，展示消息或者进行某种操作：

如果是Android，则发送状态栏消息，一般是在手机屏幕顶端，提示用户消息到达；

如果是Windows系统，则发送通知栏消息，一般是在屏幕右下角，提示用户消息到达。

Claims

1.一种前台应用无关的处理、传递用户输入信息的方法，其特征在于，包括：

独立与输入框所在前台应用实现，检测输入信息和输入辅助信息，分析输入信息和输入辅助信息，发送输入信息和输入辅助信息，跟输入框所在前台应用代码无关，跟输入框所在的前台应用所使用的通讯、数据、控制协议无关；

通过操作系统输入法或系统服务来获取输入框信息和输入辅助信息，通过输入框信息和输入辅助信息来确定用户输入信息和输入辅助信息；

在用户操作层面定义用户操作特征，所述用户操作特征，存在与用户的输入文本内容中，能够让用户在输入信息过程中独立完成，其能够独立于各种应用，根据用户操作特征，分析用户输入信息和输入辅助信息中蕴含的动作、目标、信息内容；

根据动作信息，利用前台应用无关的统一目标命名，传送前台应用无关信息给目标，除了以用户操作特征的方式来触发用户输入信息的发送，通过输入辅助信息也可以实现消息的发送机制。

2.根据权利要求1所述的方法，其特征在于，所述前台应用，包括：

展示在用户界面的最前端的、用户可以使用输入框输入信息的应用，称为前台应用。

3.根据权利要求1所述的方法，其特征在于，所述输入框，包括：

用于用户输入信息的操作系统输入框；

重载、改写过的、用于用户输入信息的操作系统输入框。

4.根据权利要求1所述的方法，其特征在于，所述输入辅助信息，包括：

用户输入时，所在的屏幕位置信息；用户点击时、所在的屏幕位置信息；与输入框关联的控件信息。

5.根据权利要求3所述的方法，其特征在于，所述与输入框关联的控件信息，包括：

输入文字时间前后，展示的控件信息；

输入文字时间前后，点击、移动的控件信息；

输入文字位置附近，展示的控件信息；

输入文字位置附近，点击、移动的控件信息。

6.根据权利要求1所述的方法，其特征在于，所述前台应用无关的统一目标命名，包括：

目标命名，跟前台应用内的目标命名逻辑无关；

7.根据权利要求1所述的方法，其特征在于，所述传送前台应用无关的信息，包括：

发送用户，在任意使用输入框的前台应用内，使用输入框输入信息，实时分析输入信息和输入辅助信息，如果分析结果触发传送动作，则通过网络传输，直接或者通过服务器间接转发，实现发送信息给接收目标；

接收用户，可以在没有安装发送用户所使用的前台应用的设备上，接收到消息通知，通过网络传输，直接或者通过服务器间接转发，接收发送用户发来的信息。

8.一种其上存储有指令的计算机可读介质，所述指令由处理器执行，其特征在于，实现上述权利要求1的方法，传送前台应用无关信息给目标。