CN112631421B - 消息传输控制方法、装置及电子设备 - Google Patents

消息传输控制方法、装置及电子设备 Download PDF

Info

Publication number
CN112631421B
CN112631421B CN202011437189.2A CN202011437189A CN112631421B CN 112631421 B CN112631421 B CN 112631421B CN 202011437189 A CN202011437189 A CN 202011437189A CN 112631421 B CN112631421 B CN 112631421B
Authority
CN
China
Prior art keywords
sensor
event message
virtualized
scene
virtualized scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011437189.2A
Other languages
English (en)
Other versions
CN112631421A (zh
Inventor
罗琳佳
卢春鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202011437189.2A priority Critical patent/CN112631421B/zh
Publication of CN112631421A publication Critical patent/CN112631421A/zh
Application granted granted Critical
Publication of CN112631421B publication Critical patent/CN112631421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种消息传输控制方法、装置及电子设备，该方法包括：检测到虚拟化场景设备与电子设备建立连接，虚拟化场景设备用于构建并输出虚拟化场景的图像，虚拟化场景设备具有至少一个传感器；截获操作系统检测到的传感器事件消息；如传感器事件消息为虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，区分标识用于表征传感器事件为虚拟化场景设备的传感器相关的事件消息；将重构后的传感器事件消息传输给电子设备中至少一款虚拟化场景相关的应用，以使得应用处理重构后的传感器事件消息。本申请的方案可以使得电子设备中的应用获得并有效识别电子设备外接的VR或者AR等虚拟化场景设备中的传感器事件。

Description

消息传输控制方法、装置及电子设备
技术领域
本申请涉及设备接入控制技术领域，更具体地说，涉及一种消息传输控制方法、装置及电子设备。
背景技术
随着电子设备的不断发展，经常会涉及到一个电子设备接入到另一台电子设备的情况。
如，为了提高增强现实(Augmented Reality，AR)设备和虚拟现实(VirtualReality，VR)设备的图像处理效率，会存在将VR设备或者AR设备接入到手机等电子设备的需求，以借助手机等电子设备强大的图像处理能力，提高AR和VR的效果。然而，在电子设备以及接入该电子设备的VR或者AR等虚拟化场景设备均具有传感器的情况下，电子设备中的应用实际上也只能获得并识别电子设备内部传感器的相关事件消息，从而导致电子设备中的应用无法根据获得的VR和AD设备中的传感器信息有效控制VR和AR场景。
发明内容
本申请提供了一种消息传输控制方法、装置及电子设备，以使得电子设备中的应用可以获得并有效识别电子设备外接的VR或者AR等虚拟化场景设备中的传感器事件。
其中，一种消息传输控制方法，包括：
检测到虚拟化场景设备与电子设备建立连接，所述虚拟化场景设备用于构建并输出虚拟化场景的图像，所述虚拟化场景设备具有至少一个传感器；
截获操作系统检测到的传感器事件消息；
如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，所述区分标识用于表征所述传感器事件为所述虚拟化场景设备的传感器相关的事件消息；
将所述重构后的传感器事件消息传输给所述电子设备中至少一款虚拟化场景相关的应用，以使得所述应用处理所述重构后的传感器事件消息。
在一种可能的实现方式中，所述区分标识，得到重构后的传感器事件消息，包括：
添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，所述连接状态信息表征所述虚拟化场景设备与所述电子设备的连接状态。
在又一种可能的实现方式中，所述添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，包括：
如所述虚拟化场景设备与所述电子设备之间存在所述连接，添加所述虚拟化场景设备的标识和连接维持指示，得到重构后的传感器事件消息，所述连接维持指示表明所述虚拟化场景设备接入所述电子设备；
如所述虚拟化场景设备与所述电子设备之间的所述连接被断开，添加所述虚拟化场景设备的标识和连接断开指示，得到重构后的传感器事件消息，所述连接断开指示表明所述虚拟化场景设备断开与所述电子设备的所述连接。
在又一种可能的实现方式中，还包括：
检测到所述虚拟化场景设备与所述电子设备之间的连接断开，结束对操作系统检测到的传感器事件消息的拦截。
在又一种可能的实现方式中，还包括：
检测到所述虚拟化场景设备与所述电子设备之间的所述连接断开后，获得所述应用发送的服务线程结束指令，所述服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程；
终止操作系统中所述服务线程结束指令所指示结束的线程的运行。
在又一种可能的实现方式中，还包括：
获得所述应用发送的外接传感器控制指令，所述外接传感器控制指令为用于控制所述电子设备连接的虚拟化场景设备中的传感器的指令；
通过操作系统将所述外接传感器控制指令传输给所述虚拟化场景设备中的传感器。
其中，一种消息传输控制装置，包括：
连接检测单元，用于检测到虚拟化场景设备与电子设备建立连接，所述虚拟化场景设备用于构建并输出虚拟化场景的图像，所述虚拟化场景设备具有至少一个传感器；
消息截获单元，用于截获操作系统检测到的传感器事件消息；
消息重构单元，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，所述区分标识用于表征所述传感器事件为所述虚拟化场景设备的传感器相关的事件消息；
消息传输单元，用于将所述重构后的传感器事件消息传输给所述电子设备中至少一款虚拟化场景相关的应用，以使得所述应用处理所述重构后的传感器事件消息。
在又一种可能的实现方式中，所述消息重构单元，具体为，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，所述连接状态信息表征所述虚拟化场景设备与所述电子设备的连接状态。
在又一种可能的实现方式中，还包括：
线程指令获得单元，用于检测到所述虚拟化场景设备与所述电子设备之间的所述连接断开后，获得所述应用发送的服务线程结束指令，所述服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程；
线程结束单元，用于终止操作系统中所述服务线程结束指令所指示结束的线程的运行。
其中，一种电子设备，包括：处理器和存储器；
所述处理器用于执行如上任一项所述的消息传输控制方法；
所述存储器用于存储处理器执行如上操作所需的程序。
通过以上方案可知，本申请在检测到虚拟化场景设备与电子设备建立连接后，会截获操作系统检测到的传感器事件消息，如果截获到的传感器事件消息为虚拟化场景设备的传感器相关的事件消息，则会重构具有区分标识的传感器事件消息。由于区分标识可以表征传感器事件为虚拟化场景设备的传感器相关的事件消息，因此，在将重构后的传感器事件消息传输给电子设备中的应用后，应用便可以识别出虚拟化场景设备的传感器事件消息，从而使得应用可以获得并有效识别虚拟化场景设备的传感器事件。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种消息传输控制方法一个实施例的流程示意图；
图2为本申请实施例提供的一种消息传输控制方法又一个实施例的流程示意图；
图3为本申请实施例提供的一种消息传输控制方法又一个实施例的流程示意图；
图4为本申请实施例中消息传输控制方法的一种实现原理示意框图；
图5为本申请实施例提供的一种消息传输控制装置一个实施例的组成结构示意图；
图6为本申请实施例提供的一种电子设备的一种组成结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
本申请的方案可以应用于电子设备，通过本申请的方案可以使得电子设备中的应用能够获得并识别出该电子设备外接的虚拟化场景设备中传感器相关的传感器事件，无需应用配置相应的驱动程序或者为了适配外接传感器而单独开发适配相应外接传感器的应用等。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种消息传输控制方法一个实施例的流程示意图，本实施例的方法应用于电子设备，该方法可以包括：
S101，检测到虚拟化场景设备与电子设备建立连接。
其中，虚拟化场景设备用于构建并输出虚拟化场景的图像。
如，虚拟化设场景设备可以为虚拟现实VR设备，通过VR设备可以输出用于实现VR的图像。又如，该虚拟化场景设备还可以为增强现实AR设备，通过AR设备可以实现将生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中。
当然，该虚拟化场景设备还可以是其他能够构建出虚拟化场景的电子设备。
可以理解的是，该虚拟化场景设备可以为可穿戴式电子设备，如，虚拟化场景设备可以为智能眼镜，通过该智能眼镜可以构建出VR或者AR场景。
在本申请中，该虚拟化场景设备具有至少一个传感器。通过虚拟化场景设备中的传感器可以感应该虚拟化场景设备的姿态变化等。
如，虚拟化场景设备中传感器可以为包括加速度传感器、温度传感器以及触觉传感器等等传感器中的一种或者多种。
在一种可选方式中，该虚拟化场景设备中的传感器至少可以包括：惯性测量单元(Inertial Measurement Unit，IMU)，该惯性测量单元可以包括加速度计、陀螺仪和磁力仪三种传感器，通过IMU可以测量速度、方向和重力。
可以理解的是，虚拟化场景设备的传感器感应到的传感器信息可以反映出用户使用该虚拟化场景设备中的姿态信息，从而为向用户更好提供虚拟化场景提供依据。如，虚拟化场景设备为用于实现VR的智能眼镜，通过该VR的IMU可以感应到用户眼睛的视线方向变化，从而为调整VR画面提供依据。
虚拟化场景设备与电子设备建立连接实际上就是虚拟化场景设备接入该电子设备，相应的，该虚拟化场景设备的传感器也就接入该电子设备。
如，该虚拟化场景设备与电子设备建立连接可以是虚拟化场景设备通过物理线路与该电子设备建立连接，如虚拟化设备连接到该电子设备的通用串行总线(UniversalSerial Bus，USB)接口，以实现接入该电子设备。
又如，虚拟化场景设备与电子设备通过无线建立连接，如虚拟化场景设备可以通过蓝牙、近距离无线通信(如，WiFi等)与电子设备建立连接。
例如，对于VR或者AR设备通过无线接入电子设备的情况，监控进程可以在检测到VR或者AR与电子设备的握手操作后，基于套接字(socket)连接方式，检测该VR或者AR设备暴露的固定接口，通过该固定接口获得VR或者AR设备的信息，如，连接使用的协议、协议端口以及IP地址等等信息，并分析该VR和AR设备是否为希望接入的设备，在确认VR或者AR设备为希望接入的设备后，则确认VR或者AR设备成功接入该电子设备。S102，截获操作系统检测到的传感器事件消息。
可以理解的是，在电子设备中操作系统可以检测到电子设备内部以及电子设备外接的所有传感器相关的事件消息。
传感器事件是指与传感器相关的事件所生成的消息，如，传感器事件可以是传感器启动的事件消息、传感器感应到的数据所生成的事件消息或者是传感器断开等触发的事件消息。
在一种实现方式中，本申请中可以硬件抽象层(hardware abstraction layer，HAL)添加一个监控进程，通过该监控进程监控操作系统检测到的传感器事件消息，并截获操作系统检测到的传感器事件消息。
S103，如传感器事件消息为虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息。
如，可以通过操作系统获得该传感器事件消息的来源，如果来源自该电子设备外接的虚拟化场景设备，则可以确认该传感器事件消息为该虚拟化场景设备的传感器所触发的事件消息。
为了使得应用可以识别出该传感器事件消息属于电子设备外接的虚拟化设备的传感器所触发的事件消息，本申请会添加区分标识到该传感器事件消息中，从而重构该传感器事件消息。其中，该区分标识用于表征传感器事件为虚拟化场景设备的传感器相关的事件消息。也就是说，通过区分标识可以明确出该传感器事件为电子设备外接的设备的传感器所产生的事件消息。
其中，区分标识的具体内容形式可以有多种可能，只要是能够区分出该传感器事件消息的来源即可，如该区分标识可以至少包括虚拟化场景设备的标识，如虚拟化场景设备的媒体访问控制(Media Access Control Address)，MAC)地址或者唯一的设备编码等等。
在本申请中，添加区分标识的方式可以有多种，如在一种可能的情况下，可以在该传感器事件消息的外层包一个头消息，如头消息可以为一个扩展的传感器事件消息，该扩展的传感器事件消息中包含该区分标识。
S104，将重构后的传感器事件消息传输给电子设备中至少一款虚拟化场景相关的应用，以使得应用处理重构后的传感器事件消息。
其中，与虚拟化场景相关的应用可以为涉及到虚拟化场景的控制以及交互相关的应用，这些应用一般都具备获得外接的虚拟化场景设备的传感器所提供的传感器数据的需求。
如，与虚拟化场景相关的应用可以为电子设备中用于控制VR或者AR展现的应用。在该种情况下，应用需要获得VR或者AR设备中传感器的传感器数据，以对VR或者AR场景的图像输出等进行控制。
又如，与虚拟化场景相关的应用可以为游戏应用，游戏应用需要利用VR或者AR等虚拟化场景设备的传感器数据，以确定用户游戏中的动作，进而控制游戏画面的输出等。
可以理解的是，由于重构后的传感器事件消息中包含有该区分标识，因此，应用在获得重构后的传感器事件消息后，可以依据该区分标识识别出该传感器事件消息为外接的虚拟化场景设备内的传感器所触发生成的事件消息。
可以理解的是，在应用获得该重构后的传感器事件消息后，应用可以集合该传感器事件消息确定与虚拟化场景设备的信息交互。
如果应用需要向该虚拟化场景设备发送传感器相关的控制指令，则电子设备可以获得该应用发送的外接传感器控制指令，如通过电子设备中前面提到的监控进程获得该外接传感器控制指令，并由该监控进程传输给操作系统。相应的，可以通过操作系统将该外接传感器控制指令传输给虚拟化场景设备中的传感器。其中，该外接传感器控制指令为用于控制所述电子设备连接的虚拟化场景设备中的传感器的指令。
本申请发明人经过研究发现：目前，在电子设备外接其他设备的传感器后，电子设备的操作系统可以感知到外接设备中传感器及其触发的传感器事件，而应用却无法感知到相应的传感器事件。
为了使得某款应用能够获得电子设备外接的传感器相关的事件，可以在电子设备中按照与该应用匹配的驱动程序，且通过该驱动程序只能向该款应用传输外接传感器相关的事件消息，复杂度较高。同时，该种方式下，应用仅仅针对特定的硬件环境适用，而无法多设备中通用，这样，针对不同硬件环境的设备还需要开发不同的应用以及相关的驱动程度等。而且，随着电子设备对于安全管理的要求越来越严格，应用可能会不具有获得底层硬件操作接口的相关权限，使得应用可能无法直接获得外接设备相关的传感器事件。
而结合本申请的方案的以上介绍可知，本申请在检测到虚拟化场景设备与电子设备建立连接后，会截获操作系统检测到的传感器事件消息，如果截获到的传感器事件消息为虚拟化场景设备的传感器相关的事件消息，则会重构具有区分标识的传感器事件消息。由于区分标识可以表征传感器事件为虚拟化场景设备的传感器相关的事件消息，因此，在将重构后的传感器事件消息传输给电子设备中的应用后，应用便可以识别出虚拟化场景设备的传感器事件消息，从而使得应用可以获得并有效识别虚拟化场景设备的传感器事件。
可见，通过本申请的方案可以为电子设备的不同应用提供外接设备上传感器相关的事件消息，也就无需单独针对同一款应用开发适配不同电子设备的版本。
可以理解的是，为了使得应用能够及时获得虚拟化场景设备与电子设备的连接状态，本申请在截获到来源自虚拟化场景设备的传感器事件消息后，在该传感器事件消息中添加的区分标识除了包含表征传感器事件消息来源自外接的虚拟化场景设备的信息之外，还可以包括虚拟化场景设备的连接状态信息。如，在区分标识中包括虚拟化场景设备的标识和虚拟化场景设备的连接状态信息。该连接状态信息。
其中，该连接状态信息表征该虚拟化场景设备与所述电子设备的连接状态。
其中，虚拟化场景设备与电子设备的连接状态至少包括虚拟化场景设备与电子设备之间存在连接。当然，还可以包括虚拟化场景设备与电子设备之间的连接断开。
下面结合图2进行说明，如图2，其示出了本申请一种消息传输控制方法一个实施例的流程示意图，本实施例的方法可以包括：
S201，检测到虚拟化场景设备与电子设备建立连接。
S202，截获操作系统检测到的传感器事件消息。
需要说明的是，在检测到该虚拟化场景设备接入电子设备后，电子设备持续截获操作系统检测到的传感器事件，因此，该步骤会持续多次执行。
S203，如传感器事件消息为虚拟化场景设备的传感器相关的事件消息，且虚拟化场景设备与电子设备之间存在连接，添加虚拟化场景设备的标识和连接维持指示到传感器事件消息，得到重构后的传感器事件消息。
其中，连接维持指示表明该虚拟化场景设备接入电子设备。通过向传感器事件消息添加该连接维持指示，可以使得应用获知虚拟化场景设备与电子设备建立连接。
可以理解的是，虚拟化场景设备与电子设备存在连接包括两种情况：一种是虚拟化场景设备成功接入该电子设备，即检测到虚拟化场景设备刚成功接入电子设备；又一种情况是，在虚拟化场景设备成功接入电子设备之后，虚拟化场景设备仍维持有与电子设备建立的该连接。
基于此，为了使得应用能够识别出虚拟化场景设备成功接入电子设备这一状态，本申请的连接维持指示可以分为连接建立指示和连接持续指示。其中，连接建立指示用于指示虚拟化场景设备成功接入电子设备，而连接维持指示用于表征虚拟化场景设备与电子设备之间的连接仍存在。
相应的，在截获到虚拟化场景设备的传感器相关的传感器事件消息后，如果尚未构建具有连接建立指示的传感器事件消息，则向传感器事件消息中添加该连接建立指示。如果已构建过具有连接建立指示的传感器事件消息，则向传感器事件消息中添加连接维持指示。
S204，如传感器事件消息为虚拟化场景设备的传感器相关的事件消息，且虚拟化场景设备与电子设备之间的连接被断开，添加虚拟化场景设备的标识和连接断开指示到该传感器事件消息，得到重构后的传感器事件消息。
其中，连接断开指示表明虚拟化场景设备断开与电子设备之间的连接。
可以理解的是，通过向该传感器事件消息添加该连接断开指示可以使得应用能够及时获知外接虚拟化场景设备中的传感器与电子设备断开连接。
可以理解的是，在虚拟化场景设备与电子设备之间的连接断开的情况下，电子设备也会生成用于指示传感器断开的传感器事件消息，在该种情况下，由于该传感器事件消息本身可以指示传感器断开连接，因此，在从操作系统截获该传感器事件消息后，也可以仅仅添加该虚拟化场景设备的标识。
当然，为了避免电子设备分析该传感器事件消息，在检测到虚拟化场景设备的传感器与电子设备断开的情况下，无论该传感器事件消息的消息内容如何，均添加该连接断开指示。
S205，检测到虚拟化场景设备与电子设备之间的连接断开，结束对操作系统检测到的传感器事件消息的拦截。
可以理解的是，为了减少资源浪费，在检测到电子设备外接的虚拟化场景设备与该电子设备之间的连接断开后，还可以结束对操作系统检测到该传感器事件消息的拦截。
当然，在检测到虚拟化场景设备与电子设备之间的连接断开的情况下，已拦截的且由该虚拟化场景设备触发的传感器事件消息仍会执行步骤S204的操作。
该步骤S204和S205顺序并不限于图2所示，在实际应用中，也可以同步执行这两个步骤，对此不加限制。
为了便于理解本申请的方案，下面结合一种应用场景进行说明，以电子设备接入的虚拟化场景设备为AR设备为例，且以电子设备通过在操作系统的HAL层增加一个监控进程，并通过监控进程来对传感器事件消息进行处理为例说明。
为了便于理解，以AR设备接入电子设备、AR设备维持与电子设备连接，到AR设备断开与电子设备的连接这一顺序来对本申请的方案进行介绍。
如图3，其示出了本申请一种消息传输控制方法一个实施例的流程示意图，本实施例的方法可以包括：
S301，操作系统中的监控进程检测到AR设备接入电子设备，监控操作系统是否获得传感器事件消息。
S302，如操作系统检测到传感器事件消息，监控进程截获该传感器事件消息。
S303，如检测该传感器事件消息为该AR设备内的传感器相关的事件消息，监控进程判断该传感器事件消息是否为AR设备的传感器相关的首个事件消息，如果是，则执行步骤S304；如果否，则执行步骤S305。
S304，向传感器事件消息添加第一区分标识，并将具有第一区分标识的传感器事件消息传输给电子设备中AR控制应用。
其中，该第一区分标识包括该AR设备的设备标识和AR成功接入指示。
S305，向传感器事件消息添加第二区分标识，并将具有第二区分标识的传感器事件消息传输给电子设备中AR控制应用。
该第二区分标识包括该AR设备的设备标识和AR连接维持指示。该AR连接维持指示用于表征AR设备与电子设备的连接仍存在。
可以理解的是，在AR设备接入电子设备后，如果监控进程拦截到的首个属于该AR设备内传感器相关的传感器事件消息，则说明电子设备中的应用尚未获知AR设备接入电子设备这一信息，可以向传感器事件消息添加用于指示AR设备接入电子设备的指示。
相应的，如果已经向应用通知了AR设备接入电子设备的信息，则监控进程只需在后续拦截到的与AR设备相关的传感器事件消息中，添加用于指示该连接是否断开的指示消息。由于在该步骤S305中，AR设备与电子设备的连接仍维持，则可以向该传感器事件消息添加AR连接维持指示。
在本实施例中，监控进程可以在传感器事件消息的外层包一个扩展消息，该扩展消息中可以根据需要包括如上的第一区分标识或者第二区分标识，或者是，后续的第三区分标识等。
S306，监控进程检测到AR设备与电子设备的连接断开。
S307，如监控进程截获到操作系统检测到的传感器事件消息，且该传感器事件消息为与该AR设备的传感器相关的传感器事件消息，则为该传感器事件消息添加第三区分标识，并将具有第三区分标识的传感器事件消息传输给AR控制应用。
其中，该第三区分标识包括AR设备的设备标识以及连接断开指示。连接断开指示用于表明AR设备与电子设备的连接断开。
S308，监控进程结束对操作系统检测到的传感器事件消息的监控与拦截。
可见，监控进程在检测到AR与电子设备的连接断开后，一方面对于拦截到的与该AR设备的传感器相关的传感器事件消息添加该第三区分标识，以方便会终止对操作系统检测到的传感器消息的监听与拦截，以减少资源耗费。
可以理解的是，在本申请以上任意一个实施例中，在虚拟化场景设备与电子设备的连接断开后，如果应用仍处于运行状态，那么操作系统会维持该应用对应的与外接传感器相关的线程，这必然会造成不必要的资源耗费。其中，与外接传感器相关的线程用于负责应用中涉及到外接传感器的相关数据的处理。
为了减少资源耗费，本申请中，在应用通过传感器事件消息携带的区分标识确认虚拟化场景设备与电子设备的连接断开后，应用还可以向操作系统发送服务线程结束指令，如向监控进程发送服务线程结束指令。
相应的，检测到虚拟化场景设备与所述电子设备之间的连接断开后，电子设备还可以获得应用发送的服务线程结束指令，该服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程。在该种情况下，电子设备可以终止操作系统中该服务线程结束指令所指示结束的线程的运行，从而可以根据实际需要开启或者关闭操作系统中与应用中涉及外接传感器相关的线程，实现动态控制线程的运行与关闭。
为了便于理解本申请的方案，下面结合一种具体实现场景为例进行说明。以外接的AR中具有IMU为例说明，如图4所示，其示出了本申请消息传输控制方法的一种实现原理框图。
由图4可知，本申请在硬件抽象层(Hardware Abstraction Layer，HAL)中添加了一个监管进程，该监管进程实际上是一个动态传感器管理(Dyamic Sensor Manage)进程。通过该监管进程来管理所有注册监听到的传感器Sensors的状态等事件信息。
同时，硬件抽象层设置有连接检测器(Conncet Detector)，连接检测器为一个传感器检测程序，其可以检测电子设备上连接的传感器以及传感器相关的其他事件信息。
其中，具有监管进程和连接检测器的HAL可以称为动态HAL(MultiHal)。
如图4所示，在电子设备连接有外接的IMU等传感器的情况下，该连接检测器可以检测到外接的IMU的连接与断开连接。
相应的，连接检测器会将外接的IMU与电子设备的连接或者断开连接的事件消息上报给监管进程。而监管进程会在外接的IMU的事件消息中携带一个扩展的动态传感器事件DynamicSensorEvent的消息，该DynamicSensorEvent的消息中包含有连接的状态信息(连接或者断开)以及连接的IMU所在的设备的唯一标识对应的handle句柄。
在此基础上，监管进程将重构后的传感器事件消息上报给电子设备的应用，可以使得应用及时或者外接的IMU的连接与断开。
同时，该连接检测器还可以检测包含IMU动态的传感器数据的传感器事件消息，而该监管进程从连接检测到获得相应的传感器事件消息，并按照上面的方式在该传感器事件消息中携带动态传感器事件的消息。相应的，该监管进程可以将携带有扩展的动态传感器事件的传感器事件消息上报给电子设备的应用，从而实现了根据外接的IMU动态上报相关传感器事件。
对应本申请的一种消息传输控制方法，本申请还提供了一种消息传输控制装置。
如图5，其示出了本申请一种消息传输控制装置一个实施例的组成结构示意图，本实施例的装置可以包括：
连接检测单元501，用于检测到虚拟化场景设备与电子设备建立连接，所述虚拟化场景设备用于构建并输出虚拟化场景的图像，所述虚拟化场景设备具有至少一个传感器；
消息截获单元502，用于截获操作系统检测到的传感器事件消息；
消息重构单元503，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，所述区分标识用于表征所述传感器事件为所述虚拟化场景设备的传感器相关的事件消息；
消息传输单元504，用于将所述重构后的传感器事件消息传输给所述电子设备中至少一款虚拟化场景相关的应用，以使得所述应用处理所述重构后的传感器事件消息。
在一种可能的实现方式中，所述消息重构单元，具体为，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，所述连接状态信息表征所述虚拟化场景设备与所述电子设备的连接状态。
作为一种可选方式，该消息重构单元，包括：
第一消息重构单元，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，且所述虚拟化场景设备与所述电子设备之间存在所述连接，添加所述虚拟化场景设备的标识和连接维持指示，得到重构后的传感器事件消息，所述连接维持指示表明所述虚拟化场景设备接入所述电子设备；
第二消息重构单元，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，且所述虚拟化场景设备与所述电子设备之间的所述连接被断开，添加所述虚拟化场景设备的标识和连接断开指示，得到重构后的传感器事件消息，所述连接断开指示表明所述虚拟化场景设备断开与所述电子设备的所述连接。
在又一种可能的实现方式中，该装置还包括：
拦截结束单元，用于检测到所述虚拟化场景设备与所述电子设备之间的连接断开，结束对操作系统检测到的传感器事件消息的拦截。
在又一种可能的实现方式中，该装置还包括：
线程指令获得单元，用于检测到所述虚拟化场景设备与所述电子设备之间的所述连接断开后，获得所述应用发送的服务线程结束指令，所述服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程；
线程结束单元，用于终止操作系统中所述服务线程结束指令所指示结束的线程的运行。
在又一种可能的实现方式中，该装置还包括：
控制指令获得单元，用于获得所述应用发送的外接传感器控制指令，所述外接传感器控制指令为用于控制所述电子设备连接的虚拟化场景设备中的传感器的指令；
指令传输单元，用于通过操作系统将所述外接传感器控制指令传输给所述虚拟化场景设备中的传感器。
又一方面，本申请还提供了一种电子设备。如图6所示，其示出了本申请一种电子设备的组成结构示意图，本实施例的电子设备至少包括：处理器601和存储器602。
其中，该处理器用于执行如上任意一个实施例的消息传输控制方法。
该存储器用于存储处理器执行操作所需的程序。
该存储器还可以用于操作系统等程序。
可以理解的是，该电子设备还包括其他部件，如图6所示，该电子设备还可以包括显示器603、电子设备连接的输入装置604以及通信总线605。该处理器、存储器和显示器以及输入装置之间可以通过通信总线相连。
当然，电子设备还可以包括比如图6更多或者更少的部件，对此不加限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种消息传输控制方法，包括：
检测到虚拟化场景设备与电子设备建立连接，所述虚拟化场景设备用于构建并输出虚拟化场景的图像，所述虚拟化场景设备具有至少一个传感器；
截获所述电子设备中操作系统检测到的传感器事件消息；
如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，所述区分标识用于表征所述传感器事件为所述虚拟化场景设备的传感器相关的事件消息；
将所述重构后的传感器事件消息传输给所述电子设备中至少一款虚拟化场景相关的应用，以使得所述应用处理所述重构后的传感器事件消息。
2.根据权利要求1所述的方法，所述区分标识，得到重构后的传感器事件消息，包括：
添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，所述连接状态信息表征所述虚拟化场景设备与所述电子设备的连接状态。
3.根据权利要求2所述的方法，所述添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，包括：
如所述虚拟化场景设备与所述电子设备之间存在所述连接，添加所述虚拟化场景设备的标识和连接维持指示，得到重构后的传感器事件消息，所述连接维持指示表明所述虚拟化场景设备接入所述电子设备；
如所述虚拟化场景设备与所述电子设备之间的所述连接被断开，添加所述虚拟化场景设备的标识和连接断开指示，得到重构后的传感器事件消息，所述连接断开指示表明所述虚拟化场景设备断开与所述电子设备的所述连接。
4.根据权利要求3所述的方法，还包括：
检测到所述虚拟化场景设备与所述电子设备之间的连接断开，结束对操作系统检测到的传感器事件消息的拦截。
5.根据权利要求1所述的方法，还包括：
检测到所述虚拟化场景设备与所述电子设备之间的所述连接断开后，获得所述应用发送的服务线程结束指令，所述服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程；
终止操作系统中所述服务线程结束指令所指示结束的线程的运行。
6.根据权利要求1所述的方法，还包括：
获得所述应用发送的外接传感器控制指令，所述外接传感器控制指令为用于控制所述电子设备连接的虚拟化场景设备中的传感器的指令；
通过操作系统将所述外接传感器控制指令传输给所述虚拟化场景设备中的传感器。
7.一种消息传输控制装置，包括：
连接检测单元，用于检测到虚拟化场景设备与电子设备建立连接，所述虚拟化场景设备用于构建并输出虚拟化场景的图像，所述虚拟化场景设备具有至少一个传感器；
消息截获单元，用于截获所述电子设备中操作系统检测到的传感器事件消息；
消息重构单元，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加区分标识，得到重构后的传感器事件消息，所述区分标识用于表征所述传感器事件为所述虚拟化场景设备的传感器相关的事件消息；
消息传输单元，用于将所述重构后的传感器事件消息传输给所述电子设备中至少一款虚拟化场景相关的应用，以使得所述应用处理所述重构后的传感器事件消息。
8.根据权利要求7所述的装置，所述消息重构单元，具体为，用于如所述传感器事件消息为所述虚拟化场景设备的传感器相关的事件消息，添加所述虚拟化场景设备的标识和所述虚拟化场景设备的连接状态信息，得到重构后的传感器事件消息，所述连接状态信息表征所述虚拟化场景设备与所述电子设备的连接状态。
9.根据权利要求7所述的装置，还包括：
线程指令获得单元，用于检测到所述虚拟化场景设备与所述电子设备之间的所述连接断开后，获得所述应用发送的服务线程结束指令，所述服务线程结束指令用于指示结束操作系统中与所述应用的外接传感器相关的线程；
线程结束单元，用于终止操作系统中所述服务线程结束指令所指示结束的线程的运行。
10.一种电子设备，包括：处理器和存储器；
所述处理器用于执行如上权利要求1至6任一项所述的消息传输控制方法；
所述存储器用于存储处理器执行如上操作所需的程序。
CN202011437189.2A 2020-12-07 2020-12-07 消息传输控制方法、装置及电子设备 Active CN112631421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011437189.2A CN112631421B (zh) 2020-12-07 2020-12-07 消息传输控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011437189.2A CN112631421B (zh) 2020-12-07 2020-12-07 消息传输控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112631421A CN112631421A (zh) 2021-04-09
CN112631421B true CN112631421B (zh) 2022-07-26

Family

ID=75309614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011437189.2A Active CN112631421B (zh) 2020-12-07 2020-12-07 消息传输控制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112631421B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819649A (zh) * 2010-04-13 2010-09-01 金坛市恒旭科技有限公司 主动式网格化电子信息标签
CN106569830A (zh) * 2016-11-10 2017-04-19 北京小鸟看看科技有限公司 虚拟现实设备及在其中实现消息提示框显示的方法和插件

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1110778C (zh) * 1996-10-31 2003-06-04 传感电子公司 视频信息智能管理系统
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
CN107466467B (zh) * 2016-06-22 2020-11-10 深圳市大疆创新科技有限公司 一种远程同步的方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819649A (zh) * 2010-04-13 2010-09-01 金坛市恒旭科技有限公司 主动式网格化电子信息标签
CN106569830A (zh) * 2016-11-10 2017-04-19 北京小鸟看看科技有限公司 虚拟现实设备及在其中实现消息提示框显示的方法和插件

Also Published As

Publication number Publication date
CN112631421A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Nayak et al. Smart surveillance monitoring system using Raspberry Pi and PIR sensor
JP6630276B2 (ja) 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機
EP3575975B1 (en) Method and apparatus for operating smart network interface card
US20150067146A1 (en) Custom correlation of a distributed business transaction
CN106843537B (zh) 鼠标同步的方法、装置和系统
KR101736990B1 (ko) 차량과 연동하는 휴대용 단말기의 제어 방법 및 장치
KR20150072442A (ko) 홈 게이트웨이와 스마트 단말의 통합 시스템 및 그 통신 방법
WO2019057089A1 (zh) 网卡镜像抓包方法、终端以及可读存储介质
CN108234659B (zh) 数据处理方法、装置及系统
US20140095578A1 (en) Systems and methods for capability sharing over a communicative link
CN106776286A (zh) 移动终端app远程检测方法、移动终端及客户端
CN110971482B (zh) 基于ebpf的后端服务器检测方法、装置及电子设备
CN111569417A (zh) 一种云游戏的外设数据传输方法及系统
CN112631421B (zh) 消息传输控制方法、装置及电子设备
CN107688441B (zh) 一种存储虚拟化的实现方法及装置
WO2015030447A1 (en) Method for processing http message and electronic device implementing the same
CN113949746A (zh) 物联网虚拟传感器实现方法、装置及智能终端
CN112543195B (zh) 面向智能网联汽车的信息安全评估方法、装置及电子设备
CN111694778B (zh) 数据转换方法、装置及存储介质
CN112671814B (zh) 一种跨平台的设备开发方法、装置及系统
CN212231617U (zh) 一种高安全性的电站实时远程运维虚拟显示系统
CN113891441A (zh) 网络连接方法、装置和电子设备
CN116260747A (zh) 终端测试设备的监测方法、装置及电子设备
Shepherd et al. A side-channel analysis of sensor multiplexing for covert channels and application fingerprinting on mobile devices
JP2017528091A (ja) 通信リンクの送信方法、装置及び端末

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant