CN111880422B - 设备控制方法及装置、设备、存储介质 - Google Patents

设备控制方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN111880422B
CN111880422B CN202010699045.8A CN202010699045A CN111880422B CN 111880422 B CN111880422 B CN 111880422B CN 202010699045 A CN202010699045 A CN 202010699045A CN 111880422 B CN111880422 B CN 111880422B
Authority
CN
China
Prior art keywords
remote control
action
instruction
control device
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010699045.8A
Other languages
English (en)
Other versions
CN111880422A (zh
Inventor
吴恒刚
周思遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010699045.8A priority Critical patent/CN111880422B/zh
Publication of CN111880422A publication Critical patent/CN111880422A/zh
Application granted granted Critical
Publication of CN111880422B publication Critical patent/CN111880422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请公开了设备控制方法及装置、设备、存储介质,其中,所述方法应用于受控设备,所述方法包括:接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;对所述运动结果进行分析处理,得到对应的遥控指令;响应所述遥控指令。

Description

设备控制方法及装置、设备、存储介质
技术领域
本申请实施例涉及电子技术,涉及但不限于设备控制方法及装置、设备、存储介质。
背景技术
社会智能化进程的不断加速,智能设备逐渐成为主流。智能电视作为客厅场景的重要设备,也出现了越来越丰富的应用。同时伴随着行业数据互融的发展,手机和个人计算机(Personal Computer,PC)的应用也在逐步向智能电视平台迁移。
常见的电视操作表现主要集中在触摸屏操作和传统遥控器操作这两种方式。然而,触摸屏操作需要用户步行至电视屏幕前进行触摸操作,这给绝大部分远距离观看的用户造成负担,且依赖于高成本的触摸屏硬件,使得整体使用门槛较高;而传统遥控器操作,需要根据图形用户界面(Graphical User Interface,GUI)的关联布局,点按式移动光标,显然这样交互效率极低。
发明内容
有鉴于此,本申请实施例提供的设备控制方法及装置、设备、存储介质,既能够克服触摸屏操作给用户带来的购买成本和远距离观看时的操作负担,还能够解决传统遥控器操作带来的交互效率极低的问题。本申请实施例提供的设备控制方法及装置、设备、存储介质,是这样实现的:
本申请实施例提供的设备控制方法,应用于受控设备,该方法包括:接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;对所述运动结果进行分析处理,得到对应的遥控指令;响应所述遥控指令。
本申请实施例提供的设备控制方法,该方法应用于具有运动传感器模组的遥控设备,该方法包括:根据所述运动传感器模组输出的物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令。
本申请实施例提供的设备控制装置,包括:数据接收模块,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;数据分析模块,用于对所述运动结果进行分析处理,得到对应的遥控指令;响应模块,用于响应所述遥控指令。
本申请实施例提供的设备控制装置,包括:确定模块,用于根据运动传感器模组输出的物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;发送模块,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令。
本申请实施例提供的受控设备,包括:通信电路,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;处理器,用于对所述运动结果进行分析处理,得到对应的遥控指令;响应所述遥控指令。
本申请实施例提供的遥控设备,包括:运动传感器模组,用于测量所述遥控设备的物理参数值;处理器,用于根据所述物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;通信电路,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令。
本申请实施例提供的电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述设备控制方法中的步骤。
本申请实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述设备控制方法中的步骤。
在本申请实施例中,用户能够通过对遥控设备进行移动操作,来控制受控设备的显示界面上的可视光标的移动;如此,相比于点按式移动光标的传统遥控器操作,本申请实施例提供的设备控制方法,能够极大地提升交互效率;另外,相比于触摸屏操作,在无需显示屏满足触摸功能的前提下,能够模拟触摸操作方式,在交互效率得到极大的提升的同时,用户无需步行至受控设备的显示屏前,即可实现对受控设备的控制,从而极大地方便了用户与受控设备间的交互。
附图说明
图1为本申请实施例遥控系统的结构示意图;
图2为本申请实施例设备控制方法的实现流程示意图;
图3A为本申请实施例设备控制方法的另一实现流程示意图;
图3B为本申请实施例将所述第一空间位移转换为光标位移的实现流程示意图;
图4为本申请实施例剧集界面示意图;
图5为本申请实施例设备控制方法的又实现流程示意图;
图6为本申请实施例点头动作和摇头动作示意图;
图7为本申请实施例当前显示界面示意图;
图8A为本申请实施例设备控制方法的再一实现流程示意图;
图8B为本申请实施例用户设置预设动作的方法实现流程示意图;
图9A为本申请实施例设备控制方法的另一实现流程示意图;
图9B为本申请实施例校准设置界面示意图;
图10为本申请实施例分离式控制系统的结构示意图;
图11为本申请实施例分离式控制系统的工作流程示意图;
图12为本申请实施例设备控制装置的结构示意图;
图13为本申请实施例设备控制装置的另一结构示意图;
图14为本申请实施例遥控设备的结构示意图;
图15为本申请实施例受控设备的结构示意图;
图16为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似或不同的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
常见的电视操作表现主要集中在触摸屏操作和传统遥控器操作这两种方式,其中:
(1)触摸屏操作,此种电视的操作向智能手机靠拢,采用手机、平板等采用的触摸操作方式,因此便利性得到有效地提升;
(2)传统遥控器操作,具备方向键、数字键、确认键和返回键等操作按键;用户可以通过按压具有上下左右的方向键操控电视上的显示焦点,通过按压确认键或返回键操控显示焦点响应,因此操控相对简单易学。
然而,由于用户需求的多元化,电视应用的交互越来越复杂,在此过程中,电视交互的不便利性越来越突出,主要集中在以下两方面:(1)传统信息展示结构受到内容过载的冲击,向多层级复杂化发展;(2)传统的宫格呈现方式受到需求多元的冲击,向按需布局发展;可见,上述两种操控方式,均具有相应的局限性,其中:
触摸屏操作的局限性在于:虽然,这种操作方式与复杂的信息内容和按需布局方向兼容,但是却依赖于高成本的触摸屏硬件,因此整体使用门槛高;同时,操控需要近距离接触电视,仅适用于会议、展示等场景,切换电视节目时需步行到电视屏幕前进行操作,显然这种方式在绝大部分远距离观看时反而成为用户负担。
传统遥控器操作的局限性在于:与信息内容的非宫格布局演进方向相背离,传统遥控器的交互效率极低,需要根据GUI的关联布局,点按式移动光标,操作层级繁杂,这与智能电视的高效便捷使用初衷相违背。
发明人在研究的过程中发现,新的遥控操作方式必须满足以下需求:远距离遥控器件,以及可以模拟触摸操作方式,在电视平面上以任意方向快速切换坐标的特性。从整体支撑的相关技术上看,鼠标系统和手势识别系统虽然能够满足上述需求,但是却存在以下缺点:
(1)鼠标系统,当前使用最广泛的远程遥控方式,可以在平面系统上快速任意方向移动和定位。鼠标采用二维平面坐标映射的方式,将一个平面上的坐标系统转换到显示平面上,遥控精度高。但在电视场景下,二维平面映射的方式,不适用于大部分场景。大部分普通用户,在观看电视的休闲场景下,需要有一个办公桌一类的平面放置一个鼠标设备,这是很不方便,也是很不直观的。所以需要一种任意三维空间内的类似鼠标系统。
(2)手势识别系统,当前广泛采用于游戏场景。手势识别需要多摄像头系统的器件支持,可以识别出多种空间的手势,且反馈到电视系统中,变化丰富。但也存在以下明显的缺点:a.多摄像头的硬件成本高;b.对于使用者的环境和方位比较苛刻,比如不可以有遮挡,使用者需要在合适的视角方位上,且不宜离设备过远;c.识别的准确率依赖图像的质量和算法,比如暗光下几乎无法识别。
基于以上分析,本申请实施例提供了设备控制方法及装置、设备、存储介质,该方法以及装置等既能够打破触摸屏操作和传统遥控器操作的局限性,又能够克服上述鼠标系统和手势识别系统存在的缺陷。
为了方便对本申请实施例提供的技术方案的理解,先提供一种可能的遥控系统,但是该系统并不构成对本申请实施例提供的技术方案的限定。图1为本申请实施例遥控系统的结构示意图,如图1所示,遥控系统10可以包括受控设备101和遥控设备102;遥控设备102中安装有运动传感器模组,该模组能够测量遥控设备的加速度、方位、倾斜角等物理数据,例如该模组为惯性测量单元(Inertial Measurement Unit,IMU)。该遥控设备可以是多种多样的,例如该遥控设备可以为智能手机、遥控器、平板电脑、智能手环或智能手表等具有运动感知能力的设备。受控设备101也可以是多种多样的,例如该受控设备可以是电视机、投影设备或显示器等显示设备,再如,该受控设备还可以是空调、冰箱、洗衣机或烹饪电器等电器设备。
在实际应用中,如图1所示,用户103可以拿着遥控设备102在空中做特定动作或者在空中移动一定距离,此时遥控设备102通过运动传感器模组和处理器获得该设备的运动结果,并将这些数据发送给受控设备101;受控设备101通过对接收的运动结果进行分析处理,从而得到并响应对应的遥控指令。
图2为本申请实施例设备控制方法的实现流程示意图,如图2所示,该方法可以包括以下步骤201至步骤203:
步骤201,受控设备接收遥控设备发送的用户在三维空间对遥控设备实施的运动结果;其中,所述运动结果是遥控设备根据内置的运动传感器模组输出的物理参数值得到的。
运动传感器模组可以是任何能够测量遥控设备的加速度、方位、倾斜角等物理参数值的传感器模组。例如,运动传感器为IMU。在一些实施例中,遥控设备可以对运动传感器模组输出的物理参数值进行数据滤波,去除奇异点和补充预测点;然后,根据滤波结果确定遥控设备的位移和/或在三维空间中做出的动作等运动结果。当然,在一些实施例中,遥控设备也可以将滤波结果作为运动结果发送给受控设备,受控设备根据接收的运动结果确定遥控设备在三维空间中的空间位移和移动距离。
步骤202,受控设备对所述运动结果进行分析处理,得到对应的遥控指令。
可以理解地,在实际应用中,用户可能通过遥控设备控制受控设备的显示界面上的可视光标移动至想要观看的目标区域,也可能对遥控设备做出特定动作,从而使受控设备返回显示上一层级界面,或者显示下一层界面,或者进入其他设置界面。有鉴于此,受控设备需要对运动结果进行分析处理,才能够得到准确的遥控指令。
在一些实施例中,受控设备可以通过如下实施例的步骤307至步骤311实现上述步骤202;受控设备还可以通过如下实施例的步骤503至步骤504、以及步骤508实现上述步骤202;受控设备还可以通过如下实施例的步骤803或者步骤903实现上述步骤202。
步骤203,受控设备响应所述遥控指令。
在本申请实施例中,用户可以在三维空间中对遥控设备实施运动来实现与受控设备之间的交互。与基于手势识别的控制方法不同的是,在本申请实施例提供的设备控制方法中,用户对遥控设备在三维空间中实施的运动结果,是基于遥控设备自身内置的运动传感器模组输出的物理参数值得到的,这样就摆脱了手势识别系统存在的硬件成本高、视角方位受限、以及识别准确率依赖于光线强弱等缺陷;
与基于鼠标系统的控制方法不同的是,用户能够在三维空间中任意摇摆或移动遥控设备,来实现对受控设备的控制,而无需受限在一个固定的二维平面上,因此该方法能够适用更多的使用场景,尤其在观看电视等休闲场景下,这种方法给用户带来了更好的使用体验。
本申请实施例再提供一种设备控制方法,图3A为本申请实施例设备控制方法的实现流程示意图,如图3A所示,该方法可以包括以下步骤301至步骤312:
步骤301,遥控设备根据运动传感器模组输出的物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;其中,该运动结果包括所述遥控设备在三维空间中的动作和第一空间位移。
用户可以在三维空间中对遥控设备实施任意动作。例如,对遥控设备实施点头动作、摇头动作、画圈动作等。再如,用户还可以对遥控设备沿特定方向实施移动。
步骤302,遥控设备将该运动结果发送给受控设备;
步骤303,受控设备接收该运动结果;
步骤304,受控设备获取前置摄像头模组对可视区域采集的目标图像。
在一些实施例中,前置摄像头模组可以集成在受控设备上,也可以安装在受控设备的顶端。对于受控设备控制前置摄像头模组何时采集目标图像不做限定,前置摄像头模组可以在受控设备接收到运动结果之后,拍摄视角范围内的场景,得到目标图像;受控设备还可以控制前置摄像头模组实时采集视角范围内的场景。
步骤305,受控设备检测该目标图像中是否存在遥控设备;如果是,执行步骤307;否则,执行步骤306;
步骤306,受控设备提示用户站在可视区域内使用遥控设备;
步骤307,受控设备从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果是,执行步骤308;否则,执行步骤309;
在一些实施例中,预设动作组至少包括一个组项,每一组项包括预设动作和对应的遥控指令。在实现时,用户可以自定义预设动作组中的组项内容,例如,设备可以通过如下实施例的步骤811至步骤817实现用户对动作的自定义设置。
步骤308,受控设备确定和响应与所述目标动作对应的遥控指令。
可以理解地,若前置摄像头的可视区域,即视角范围内存在遥控设备,说明用户当前所在的位置能够看见受控设备的显示界面,此时才响应与目标动作对应的遥控指令;否则,若用户不在可视区域内,则禁止响应目标动作对应的遥控指令,并提示用户站在可视区域内对遥控设备进行操作。如此,避免了遥控设备被误操作而导致受控设备误响应的问题;例如,可以解决遥控设备被儿童拿去当玩具玩耍的场景中,受控设备频繁响应的问题。
在预设动作组中,不同的预设动作对应的遥控指令是不同的。举例来说,预设动作组中包括点头动作和摇头动作,还包括每一动作对应的遥控指令。例如,点头动作对应的遥控指令为唤醒指令和确认指令,唤醒指令用于指示在所述受控设备的当前显示界面显示可视光标,确认指令用于指示将当前显示界面更新为可视光标所在位置对应的下一层级界面。再如,摇头动作对应的遥控指令为返回指令,该指令用于指示受控设备将当前显示界面更新为上一层级界面。
步骤309,受控设备将所述第一空间位移转换为光标位移;
步骤310,受控设备根据当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;
步骤311,受控设备生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置;
步骤312,受控设备响应于该移动指令,将可视光标显示在目标位置上。
在本申请实施例中,用户能够通过对遥控设备进行移动操作,来控制受控设备的显示界面上的可视光标的移动;如此,相比于点按式移动光标的传统遥控器操作,本申请实施例提供的设备控制方法,能够极大地提升交互效率。
例如,图4所示的剧集界面40,用户想要观看第9集电视剧,而可视光标401当前显示在第3集的标识位置处,若用户使用传统遥控器控制可视光标移动至第9集的标识位置处,则需要多次点按传统遥控器上的方向键上的右键,使得可视光标从剧集标识的“3”所在位置移动至“4”,再逐步移动至“5”、“6”、“7”、“8”,最终才能显示在“9”对应的区域上的,显然这种控制方式的交互效率是极低的;而在本申请提供的设备控制方法中,用户可以在空间中对遥控设备进行移动操作,从而控制可视光标从剧集标识“3”直接跳到剧集标识“9”,而无需经历中间“4”至“8”这些路径,所以该方法能够极大地提升人机交互效率。
另外,相比于触摸屏操作,在无需显示屏满足触摸功能的前提下,能够模拟触摸操作方式,在交互效率得到极大地提升的同时,用户无需步行至受控设备的显示屏前,即可实现对受控设备的控制,从而极大地方便了用户与受控设备间的交互。
在一些实施例中,如图3B所示,受控设备可以通过以下步骤3091至步骤3093实现上述步骤309,即实现将所述第一空间位移转换为光标位移:
步骤3091,受控设备确定所述用户的标识、和与所述遥控设备之间的设备距离;
步骤3092,受控设备根据所述标识、所述第一空间位移的方向和所述设备距离,从预先设置的候选转换系数组中确定目标转换系数。
需要说明的是,候选转换系数组中至少包括一个候选转换系数,以及该系数对应的用户标识、特定方向和设备距离。在一些实施例中,候选转换系数表征的是在对应的设备距离、用户标识和特定方向下,物理空间位移的大小与光标位移的大小之间的比例。
步骤3093,受控设备根据特定转换规则和所述目标转换系数,将所述第一空间位移转换为所述光标位移。
发明人在研究过程中发现,同一人,距离受控设备的远近不同,控制可视光标移动一定距离时,对遥控设备做出的空间位移可能是不同的。比如,在距离受控设备较近时,用户对遥控设备做出的空间位移往往大于在远处做出的空间位移。而不同的人,站在同一位置处,控制可视光标移动一定距离时,对遥控设备做出的空间位移可能也是不同的。例如,胳膊长的用户对遥控设备做出的空间位移大于胳膊短的用户对遥控设备做出的空间位移。而观看或使用同一受控设备的用户往往有多个,例如一家五口中,有老人、年轻人和小孩,他们在看电视时,控制可视光标移动相同距离时,在空中对遥控设备做出的空间位移往往是不同的。
有鉴于此,在本申请实施例中,受控设备根据用户标识、用户持遥控设备时与受控设备间的设备距离和移动遥控设备的方向,获取对应的目标转换系数;然后,根据该转换系数和特定转换规则,将用户对遥控设备在空中做出的位移,转换为光标位移,从而控制可视光标移动至目标位置;如此,能够提高控制移动的精确度,使得可视光标能够移动至准确的位置上。
本申请实施例再提供一种设备控制方法,图5为本申请实施例设备控制方法的实现流程示意图,如图5所示,该方法可以包括以下步骤501至步骤509:
步骤501,遥控设备将在三维空间中做出的点头动作信息发送给受控设备。
在实现时,遥控设备可以根据IMU测量得到的加速度、方位和倾斜角等物理数据,确定遥控设备在三维空间中做出的动作类型。例如图6所示,根据这些物理数据,确定遥控设备601在三维空间中做出了先上后下的摇摆运动,或者先下后上的摇摆运动,则确定该动作为点头动作。
步骤502,受控设备接收该点头动作信息;
步骤503,受控设备确定遥控设备在被用户执行所述点头动作之前的特定时长内的运动状态;如果该运动状态为静止状态,执行步骤504;否则,该运动状态为非静止状态时,执行步骤506;
步骤504,受控设备从预设动作组中,获取该点头动作信息对应的唤醒指令;其中,该唤醒指令用于指示受控设备在当前显示界面显示可视光标。
可以理解地,若遥控设备长时间处于静止状态,例如在大于30秒的时长内均处于静止状态,则触发遥控设备处于睡眠状态,而在用户再次拿起或操作该遥控设备时,才唤醒该设备,如此能够节约遥控设备的功耗。
步骤505,受控设备响应于该唤醒指令,在当前显示界面显示可视光标;并将该唤醒指令发送给遥控设备。
例如,图7所示,受控设备响应于该唤醒指令,在当前显示界面70的某一位置处显示可视光标701,并将该位置处对应的区域凸起显示。需要说明的是,在本申请实施例中,对于可视光标701的形式不做限定,该光标可以以各种形状显示,颜色也不做限定。例如,该光标为红色圆点。
步骤506,遥控设备接收该唤醒指令;
步骤507,遥控设备响应于该唤醒指令,唤醒遥控功能;
在一些实施例中,遥控设备也可以通过检测自身的运动状态来判断是否从静止状态切换至非静止状态了,如果是,则唤醒遥控功能。这样,受控设备无需再将唤醒指令发送给遥控设备。
步骤508,受控设备从预设动作组中,获取该点头动作信息对应的确认指令;其中,该确认指令用于指示将当前显示界面更新为可视光标所在位置对应的下一层级界面。
步骤509,受控设备响应于该确认指令,将当前显示界面更新为可视光标所在位置对应的下一层级界面。
在本申请实施例中,提供一种设备控制方法,通过该方法,使得用户对遥控设备实施点头动作,即可控制受控设备将当前显示界面更新为可视光标所在位置对应的下一层级界面。即,点头动作与确认指令关联,对于用户来讲,这是符合本身的认知习惯的,从而使得用户更加容易接受这种控制方式,操作相对简单易学。
本申请实施例再提供一种设备控制方法,图8A为本申请实施例设备控制方法的实现流程示意图,如图8A所示,该方法可以包括以下步骤801至步骤804:
步骤801,遥控设备将在三维空间中做出的摇头动作信息发送给受控设备。
在实现时,遥控设备可以根据IMU测量得到的加速度、方位和倾斜角等物理数据,确定遥控设备在三维空间中做出的动作类型。例如图6所示,根据这些物理数据,确定遥控设备601在三维空间中做出了先左后右的摇摆运动,或者先右后左的摇摆运动,则确定该动作为摇头动作。
步骤802,受控设备接收该摇头动作信息;
步骤803,受控设备从预设动作组中,获取该摇头动作信息对应的返回指令;其中,该返回指令用于指示将所述受控设备的当前显示界面更新为上一层级界面。
步骤804,受控设备响应于该返回指令,将当前显示界面更新为上一层级界面。
在本申请实施例中,提供一种设备控制方法,通过该方法,使得用户对遥控设备实施摇头动作,即可控制受控设备将当前显示界面更新为可视光标所在位置对应的上一层级界面。即,摇头动作与返回指令关联,对于用户来讲,这也是符合本身的认知习惯的,从而使得用户更加容易接受这种控制方式,操作相对简单易学。
在一些实施例中,用户可以自定义预设动作组中的动作信息和对应的遥控指令,从而满足不同用户的个性化需求。例如图8B所示,提供一种用户设置预设动作的方法,该方法可以包括如下步骤811至步骤817:
步骤811,受控设备获得动作自定义指令,所述动作自定义指令用于指示将当前显示界面更新为动作自定义界面。
对于受控设备获得该指令的方式不做限定。例如,遥控设备接收按键操作,根据该按键操作生成动作自定义指令,并将该指令发送给受控设备。再如,遥控设备将用户对其实施的动作发送给受控设备,该动作用于指示显示动作自定义界面;该设备从预设动作组中获得该动作对应的动作自定义指令。
步骤812,受控设备响应于所述动作自定义指令,将所述当前显示界面更新为动作自定义界面;其中,所述动作自定义界面显示至少一个候选遥控指令。
这里,候选遥控指令是供用户选择的要与自定义动作进行关联的指令。
步骤813,受控设备确定所述用户选择的候选遥控指令。
在实际应用中,用户可以对手持的遥控设备朝着某一方向移动,此时动作自定义界面上的可视光标也跟随移动,当可视光标显示在用户想要选择的候选遥控指令的位置处时,用户可以对手持的遥控设备做出点头动作,实现对该遥控指令的选择。此时,受控设备可以进入该遥控指令的位置处对应的下一层级界面,该界面可以显示相关信息,以提示用户此时可以设置想要与选择的候选遥控指令关联的动作了。
步骤814,遥控设备根据运动传感器模组输出的物理参数值,确定用户在三维空间中对遥控设备做出的动作信息;
步骤815,遥控设备将该动作信息发送给受控设备;
步骤816,受控设备接收该动作信息;
步骤817,受控设备将该动作信息与该用户选择的候选遥控指令关联后,添加至预设动作组。如此,当用户使用遥控设备控制受控设备工作时,可以通过对该遥控设备做出已经预先定义的动作,以使受控设备响应与该动作关联的候选遥控指令。
本申请实施例本申请实施例再提供一种设备控制方法,图9A为本申请实施例设备控制方法的实现流程示意图,如图9A所示,该方法可以包括以下步骤901至步骤908:
步骤901,遥控设备将在三维空间中做出的画圈动作信息发送给受控设备。
在实现时,用户对遥控设备在空中画一圈或者两圈,甚至更多圈,遥控设备都可以将该动作确定为画圈动作。对于画圈的方向可以不做限定。
步骤902,受控设备接收该画圈动作信息;
步骤903,受控设备从预设动作组中,获取该画圈动作信息对应的校准设置指令;其中,该校准设置指令用于指示受控设备将当前显示界面更新为校准设置界面;
步骤904,受控设备响应于该校准设置指令,将当前显示界面更新为校准设置界面;
步骤905,受控设备在校准设置界面显示提示信息;其中,该提示信息用于提示用户向特定方向移动遥控设备,从而控制校准设置界面中的可视光标从初始位置移动至校准设置界面的边界处。在一些实施例中,初始位置可以为所述校准设置界面的中心点。
受控设备显示的提示信息可以是多种多样的,例如可以是文字信息或者指导动画等。还可以是标识多个特定方向的箭头,例如,图9B所示,校准设置界面上显示8个不同的特定方向,用户可以分别将遥控设备在每一特定方向上移动一定距离。在实际应用中,用户在将遥控设备移动至边界处时,可以停留一定时长(例如大于或等于2秒),然后再回到原点,再将遥控设备沿其他特定方向移动一定距离;如此,当遥控设备检测出在移动时静止的时长大于特定阈值时,则将截止到当前时刻的第二空间位移发送给受控设备。
步骤906,遥控设备将在三维空间中发生的第二空间位移发送给受控设备。
需要说明的是,该第二空间位移为用户为控制校准设置界面上的可视光标沿特定方向,从初始位置移动至校准设置界面的边界处,而使遥控设备移动的距离;第二空间位移的确定方法与第一空间位移的确定方法相同,因此这里不再赘述。
步骤907,受控设备接收遥控设备发送的第二空间位移;
步骤908,受控设备根据所述第二空间位移、和所述初始位置与所述边界点之间的距离,确定与所述特定方向对应的候选转换系数。
在一些实施例中,受控设备可以将该候选转换系数和该特定方向信息关联后作为候选转换系数组中的一个组项,保存在存储器中。在另一些实施例中,受控设备还可以将该候选转换系数与以下一组信息关联后作为该组项:该特定方向信息、用户的标识、以及用户在控制遥控设备移动第二空间位移时与受控设备的距离。如此,在实际应用中,受控设备在将上述第一空间位移转换为光标位移时,可以根据用户的标识、第一空间位移的方向和发生第一空间位移时受控设备与遥控设备之间的设备距离,从预先保存的候选转换系数组中确定目标转换系数;从而,受控设备能够根据特定转换规则和所述目标转换系数,将所述第一空间位移转换为所述光标位移。
需要说明的是,本申请实施例所述的“第一空间位移”中的“第一”和“第二空间位移”中的“第二”仅仅是为了区别两个参数值是在不同情况下获得的,但均不是特指的某一个参数值,位移大小与用户移动遥控设备的距离有关。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例主要解决以下两个问题:
问题一:一种遥控设备,解决在远距离三维空间中,用户的操作坐标与操作动作的映射。
问题二:一种电视用户界面(User Interface,UI)交互系统,应用于电视机,响应遥控的坐标移动、定位和特殊动作的响应。
本申请实施例提供了一种分离式遥控交互系统,用于解决上述两类问题。该系统包括分离控制系统和新型电视人机交互系统这两个子系统,其中:
(1)分离控制系统,由a、b两部分组成(a为固定端,b为移动端),负责遥控指令的产生、计算、校准和映射;其中a端设备即为上述实施例的受控设备;b端设备即为上述实施例的遥控设备。
(2)新型电视人机交互系统,实现分离控制系统的校准交互,定义一套特殊的遥控指令和UI界面响应。
如图10所示,分离式控制系统100包括固定端a和移动端b,固定端a可以是电视等显示设备,移动端b可以是手机或遥控器等遥控设备。其中,
(1)b端,也即移动端,作为手持设备,该手持设备用于采集用户在三维空间中的移动数据,即物理参数值,并通过简单的处理单元进行滤波处理,形成有效的初级数据。如图10所示,b端设备包括惯性测量单元(Inertial Measurement Unit,IMU)1001、微控制单元(Microcontroller Unit,MCU)1002和通信单元1003:
IMU 1001,该单元负责测量b端设备运动时的加速度、方位、倾斜角等空间物理数据(即物理参数值);
MCU 1002,该单元采用低成本的单片机实现,对IMU 1001输出的空间物理数据(即加速度、方位、倾斜角等)进行简易滤波,去除奇异点,补充预测点;然后,对补充预测点后的数据进行数据融合,计算出b端设备在空间中的融合数据,即姿态、移动距离和动作(如“晃动”,“画圈”等)。所述融合数据即为上述实施例所述的运动结果的一种示例。
通信单元1003,该单元采用蓝牙或Wi-Fi模块,与a端设备相连,实时传输MCU 1002计算出的融合数据。
(2)a端,也即固定端,作为电视内置模块,用于接收b端设备发送的融合数据;将这些数据与训练数据进行比对校准,然后进行坐标和动作数据转换,并对接人接交互系统。需要说明的是,这里所述训练数据预设动作组和候选转换系数组。
如图10所示,a端设备包括:通信单元1011、专家系统1012、校准映射系统1013、遥控处理中心1014和UI标准接口1015;其中,
通信单元1011,该单元采用蓝牙或Wi-Fi模块,与b端设备相连接,用于实时传输b端设备发送的融合数据。
专家系统1012,用于记录用户初始校准数据,在长期使用过程中的习惯数据,从而更精确地计算出用户的使用b端设备时与a端设备的距离和对b端设备实施运动的习惯,形成b端设备在不同的加速度和移动距离组合下,最佳的a端坐标映射,即形成最佳的候选转换系数组。
校准映射系统1013,用于对接收过来的数据进行校准,主要解决由于网络波动造成的数据的偏差,结合专家系统的数据,进行数据纠偏;然后,将坐标数据进行电视平台的映射,且动作数据映射成标准事件,即遥控指令。
遥控处理中心1014,负责整体事务的调度,将融合数据送入功能单元处理,并将最终转换完成的数据,对接交互系统的UI标准接口1015中。
UI标准接口1015,该接口为交互系统对外的标准接口软件模块,负责接收坐标、标准事件等数据,并通知交互系统响应。
如图11所示,分离式控制系统的工作流程包括以下a至k:
a.a端设备与b端设备实现通信互联请求,采用蓝牙、Wi-Fi局域网、Wi-Fi直连等方式中的其中一种方式,从而保持两端常连接,以便实现通信的实时性。连接完成进行时钟同步。
b.当用户操作b端设备进行移动操作时,IMU以不小于60帧的频率工作,采集b端设备的加速度、方位和倾斜角。
c.b端设备上,MCU采用简易滤波方式进行数据滤波,去除奇异点和补充预测点。去除奇异点的方法采用当前帧的前后两个点的平均值作为基数,若偏差大于一定的值(一般采用20%),则采用预测值补充。预测值采用一维斜率法进行预测补充。
d.b端设备上,MCU根据滤波后数据,计算b端设备的移动距离和空中动作。其中,对于空中动作的计算,MCU中记录前5秒(second,s)内的数据,一个动作以1s计算,偏差在-0.3s~0.3s。即要求一个完整的动作,如画圈动作,需要在0.7s~1.3s内完成,避免瞬态和长时间的动作误判。
e.b端设备上通信单元将移动距离和空中动作传输到a端设备,并附带时间戳。
f.a端设备上遥控处理中心,接收到b端设备发送的移动距离和空中动作等数据,并将这些数据送入校准转换系统进行转换。
g.a端设备上,校准转换系统根据这些数据过来的时间戳进行一定的数据预测纠偏,以减小网络波动带来的数据抖动。
可以理解地,由于网络资源拥挤等问题,网络在进行数据传输时可能会出现延迟,这样a端设备当前接收的数据的时间戳可能与当前时刻相差较远,因此可以忽略这些不满足条件的数据,而是根据时间戳与当前时刻之间的时间间隔小于预设阈值的数据,进行坐标映射或者标准事件的映射。如此,能够提高响应准确度和实时性。
h.a端设备上,校准转换系统向专家系统发送数据,并向专家系统请求用户习惯的纠偏系数,以对这些数据进行一定的纠偏。纠偏主要在单位时间加速度、位移过大或过小情况下有较大影响,以保证用户体验。其中,纠偏系数即为候选转换系数。
i.a端设备上专家系统会根据用户不断的操作习惯,对用户操作时的设备加速度、位移等进行训练,最终得到各种情况下的纠偏系数。
j.a端设备上的校准转换系统,根据转换公式进行坐标转换,转换公式中存在a端设备的显示屏大小和a、b端设备之间的距离这两个变因子。而动作进行标准化转换。
k.a端设备上遥控处理中心将转换后的坐标和动作送入UI标准接口,对接交互系统。
新型电视人机交互系统:
b端设备除了空间移动,预置三类特殊动作:“点头(上下摇摆)”、“摇头(左右摇摆)”、“画双圈”,动作可以自定义。其中,
(1)摇头(左右摇摆):动作符合左右左或右左右均可,角度在-60°至60°内即可,10°以内偏差的摆动忽略。
(2)点头(上下摇摆),定义与左右摇摆相同,动作符合上下上或下上下均可。
(3)画双圈,为了避免误识别,采用双圈的动作。
需要说明的是,一个动作以1s计算,偏差在-0.3s至0.3s。即要求一个完整的动作,如画圈动作,需要在0.7s~1.3s内完成。
本申请实施例提供交互系统一,用于实现遥控移动、确认和返回交互等响应:
(1)b端设备长时间(例如大于或等于30s)处于静止状态,用户再次使用该设备,则需要动作确认。例如,用户拿起b端设备,对准电视,进行点头动作(上下摇摆),表示动作确认;
(2)动作确认后,如图7所示,a端设备的屏幕中央出现可视光标(默认为红色圆点);
(3)用户移动b端设备,a端设备屏幕上的光标跟随移动;
(4)若光标移动到某一个可以被点击的区域上,则该区域自动变大凸起提示用户;
(5)若用户需要确认进入当前光标所在的区域对应的下一层级界面,则再次采用点头(上下摇摆)动作;
(6)若用户需要返回或者后退至上一层级界面,则采用摇头(左右摇摆)动作;
本申请实施例提供交互系统二,用于实现遥控初次或重新校准交互:
b端设备与a端设备首次配对,需要进行设备校准;且用户在发现偏差比较大时,可以重新校准。校准数据存入专家系统,作为纠偏系数的因子。校准步骤如下步骤a至c,前提先激活光标,采用交互系统的校准方式:
a.校准触发:光标出现后,可以采用画双圈方式触发校准。
b.坐标校准:校准状态下,光标始终在屏幕中央,按照提示,进行八个方向校准。校准方式为将b设备移动到边缘停留2s后,则校准成功;
c.动作校准:坐标校准成功后则进入动作校准界面,同样按照提示,进行相关动作的操作。
本申请实施例提供交互系统三,用于实现设置,例如纠偏系数、自定义动作或响应等:
(1)a端设备上支持遥控设置的交互,主要有两个功能:纠偏系数的调整,以及对比鼠标系统,用户可以设置移动和动作的灵敏度,转换算法会根据灵敏度调整光标移动和动作的速度。
(2)支持自定义动作。设置自定义动作时,用户进入动作自定义界面,重复两次需要设置的动作,遥控处理中心计算动作特征,然后用于将动作关联设备到某个操作响应(也即候选遥控指令)上。
(3)点击完成设置,遥控处理中心将动作特征传输给b端设备的MCU进行保存,动作与响应的映射关系则由校准映射系统保存。
在本申请实施例中,通过对分离控制的交互方式和交互系统效果的定义,电视端和电视控制端采用此技术,能够提升用户的操控便捷性体验,解决在远距离3D空间中,用户的操作坐标、操作动作的映射,实现触摸式和遥控点按式的操作便利性平衡。
在本申请实施例中,利用了遥控的传感能力,辅助电视UI交互系统,可实现遥控的坐标级移动、定位和特殊动作的响应,兼具触摸式的便利性,以及点按式的可控性;另外,支持动作定制,如此可在后续行业发展变化时,进行过渡应对。
基于前述的实施例,本申请实施例提供的设备控制装置,可以包括所包括的各模块、以及各模块所包括的各单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图12为本申请实施例设备控制装置的结构示意图,如图12所示,所述装置120包括数据接收模块121、数据分析模块122和响应模块123,其中:
数据接收模块121,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;
数据分析模块122,用于对所述运动结果进行分析处理,得到对应的遥控指令;
响应模块123,用于响应所述遥控指令。
在一些实施例中,所述设备控制装置120还包括图像检测模块,该模块用于:在对所述运动结果进行分析处理之前,获取前置摄像头模组对可视区域采集的目标图像;检测所述目标图像中是否存在所述遥控设备;如果存在所述遥控设备,触发数据分析模块122对所述运动结果进行分析处理。
在一些实施例中,所述运动结果包括所述遥控设备在三维空间中的动作;数据分析模块122,用于:从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果存在所述目标动作,确定与所述目标动作对应的遥控指令。
在一些实施例中,数据分析模块122,用于:在所述目标动作为点头动作的情况下,确定所述遥控设备在被执行所述点头动作之前的特定时长内的运动状态;在所述运动状态为静止状态的情况下,将所述点头动作对应的唤醒指令确定为所述遥控指令;其中,所述唤醒指令用于指示在所述受控设备的当前显示界面显示可视光标;在所述运动状态为非静止状态的情况下,将所述点头动作对应的确认指令确定为所述遥控指令;其中,所述确认指令用于指示将所述当前显示界面更新为所述可视光标所在位置对应的下一层级界面。
在一些实施例中,数据分析模块122,用于:在所述目标动作为摇头动作的情况下,将所述摇头动作对应的返回指令,确定为所述遥控指令;其中,所述返回指令用于指示将所述受控设备的当前显示界面更新为上一层级界面。
在一些实施例中,所述运动结果还包括所述遥控设备的第一空间位移;数据分析模块122,用于:如果所述预设动作组不存在所述目标动作,将所述第一空间位移转换为光标位移;根据所述受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
在一些实施例中,数据分析模块122,用于:确定所述用户的标识、和与所述遥控设备之间的设备距离;根据所述标识、所述第一空间位移的方向和所述设备距离,从预先设置的候选转换系数组中确定目标转换系数;根据特定转换规则和所述目标转换系数,将所述第一空间位移转换为所述光标位移。
在一些实施例中,数据分析模块122,用于:在所述目标动作为画圈动作的情况下,将所述画圈动作对应的校准设置指令,确定为所述遥控指令;其中,所述校准设置指令用于指示将所述受控设备的当前显示界面更新为校准设置界面;在响应于所述校准设置指令,更新所述当前显示界面之后,所述方法还包括:接收所述遥控设备发送的第二空间位移;其中,所述第二空间位移为所述用户为控制所述校准设置界面上的可视光标沿特定方向,从初始位置移动至所述校准设置界面的边界处,而使所述遥控设备移动的距离;根据所述第二空间位移、和所述初始位置与所述边界点之间的距离,确定与所述特定方向对应的候选转换系数。
在一些实施例中,所述设备控制装置120还包括显示模块,该模块用于:在接收所述遥控设备发送的第二空间位移之前,在所述校准设置界面上显示提示信息;其中,所述提示信息用于提示所述用户向所述特定方向移动所述遥控设备,从而控制所述校准设置界面中的可视光标从所述初始位置移动至所述校准设置界面的边界处。
在一些实施例中,所述初始位置为所述校准设置界面的中心点。
在一些实施例中,所述设备控制装置还包括自定义模块,该模块用于:获得动作自定义指令,所述动作自定义指令用于指示将所述受控设备的当前显示界面更新为动作自定义界面;响应于所述动作自定义指令,将所述当前显示界面更新为动作自定义界面;其中,所述动作自定义界面显示至少一个候选遥控指令;确定所述用户选择的候选遥控指令和对所述遥控设备做出的预设动作;将所述预设动作与所述用户选择的候选遥控指令关联后,添加至所述预设动作组。
本申请实施例再提供一种设备控制装置,图13为本申请实施例设备控制装置的结构示意图,如图13所示,该装置130包括:
确定模块131,用于根据运动传感器模组输出的物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;
发送模块132,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令。
本申请实施例再提供一种遥控设备,图14为本申请实施例遥控设备的结构示意图,如图14所示,该设备140包括:
运动传感器模组141,用于测量遥控设备140的物理参数值;
处理器142,用于根据所述物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;
通信电路143,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令。
本申请实施例再提供一种受控设备,图15为本申请实施例受控设备的结构示意图,如图15所示,该设备150包括:
通信电路151,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;
处理器152,用于对所述运动结果进行分析处理,得到对应的遥控指令;响应所述遥控指令。
以上装置实施例的描述,以及遥控设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的设备控制方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,如图16所示,本申请实施例提供的电子设备160,可以包括:包括存储器161和处理器162,所述存储器161存储有可在处理器162上运行的计算机程序,所述处理器162执行所述程序时实现上述实施例中提供的设备控制方法中的步骤。
存储器161配置为存储由处理器162可执行的指令和应用,还可以缓存待处理器162以及电子设备160中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
对应地,本申请实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的设备控制方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一些实施例”或“另一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”或“在另一些实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.设备控制方法,其特征在于,所述方法应用于受控设备,所述方法包括:
接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;
对所述运动结果进行分析处理,得到对应的遥控指令;
响应所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述对所述运动结果进行分析处理,得到对应的遥控指令,包括:
从预设动作组中,确定是否存在与所述动作相匹配的目标动作;
如果不存在所述目标动作,将所述第一空间位移转换为光标位移;
根据所述受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;
生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
2.根据权利要求1所述的方法,其特征在于,在对所述运动结果进行分析处理之前,所述方法还包括:
获取前置摄像头模组对可视区域采集的目标图像;
检测所述目标图像中是否存在所述遥控设备;
如果存在所述遥控设备,触发所述对所述运动结果进行分析处理的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:如果存在所述目标动作,确定与所述目标动作对应的遥控指令。
4.根据权利要求3所述的方法,其特征在于,在所述目标动作为点头动作的情况下,所述确定与所述目标动作对应的遥控指令,包括:
确定所述遥控设备在被执行所述点头动作之前的特定时长内的运动状态;
在所述运动状态为静止状态的情况下,将所述点头动作对应的唤醒指令确定为所述遥控指令;其中,所述唤醒指令用于指示在所述受控设备的当前显示界面显示可视光标;
在所述运动状态为非静止状态的情况下,将所述点头动作对应的确认指令确定为所述遥控指令;其中,所述确认指令用于指示将所述当前显示界面更新为所述可视光标所在位置对应的下一层级界面。
5.根据权利要求3所述的方法,其特征在于,在所述目标动作为摇头动作的情况下,所述确定与所述目标动作对应的遥控指令,包括:
将所述摇头动作对应的返回指令,确定为所述遥控指令;其中,所述返回指令用于指示将所述受控设备的当前显示界面更新为上一层级界面。
6.根据权利要求1所述的方法,其特征在于,所述将所述第一空间位移转换为光标位移,包括:
确定所述用户的标识、和与所述遥控设备之间的设备距离;
根据所述标识、所述第一空间位移的方向和所述设备距离,从预先设置的候选转换系数组中确定目标转换系数;
根据特定转换规则和所述目标转换系数,将所述第一空间位移转换为所述光标位移。
7.根据权利要求6所述的方法,其特征在于,在所述目标动作为画圈动作的情况下,所述确定与所述目标动作对应的遥控指令,包括:
将所述画圈动作对应的校准设置指令,确定为所述遥控指令;其中,所述校准设置指令用于指示将所述受控设备的当前显示界面更新为校准设置界面;
在响应于所述校准设置指令,更新所述当前显示界面之后,所述方法还包括:
接收所述遥控设备发送的第二空间位移;其中,所述第二空间位移为所述用户为控制所述校准设置界面上的可视光标沿特定方向,从初始位置移动至所述校准设置界面的边界处,而使所述遥控设备移动的距离;
根据所述第二空间位移、和所述初始位置与所述边界点之间的距离,确定与所述特定方向对应的候选转换系数。
8.根据权利要求7所述的方法,其特征在于,在接收所述遥控设备发送的第二空间位移之前,所述方法还包括:
在所述校准设置界面上显示提示信息;
其中,所述提示信息用于提示所述用户向所述特定方向移动所述遥控设备,从而控制所述校准设置界面中的可视光标从所述初始位置移动至所述校准设置界面的边界处。
9.根据权利要求7或8所述的方法,其特征在于,所述初始位置为所述校准设置界面的中心点。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获得动作自定义指令,所述动作自定义指令用于指示将所述受控设备的当前显示界面更新为动作自定义界面;
响应于所述动作自定义指令,将所述当前显示界面更新为动作自定义界面;其中,所述动作自定义界面显示至少一个候选遥控指令;
确定用户选择的候选遥控指令和对所述遥控设备做出的预设动作;
将所述预设动作与所述用户选择的候选遥控指令关联后,添加至所述预设动作组。
11.设备控制方法,其特征在于,所述方法应用于具有运动传感器模组的遥控设备,所述方法包括:
根据所述运动传感器模组输出的物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;
将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,包括:
从预设动作组中,确定是否存在与所述动作相匹配的目标动作;
如果不存在所述目标动作,将所述第一空间位移转换为光标位移;
根据当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;
生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
12.根据权利要求11所述的方法,其特征在于,所述运动传感器模组为IMU。
13.设备控制装置,其特征在于,包括:
数据接收模块,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;
数据分析模块,用于对所述运动结果进行分析处理,得到对应的遥控指令;
响应模块,用于响应所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述对所述运动结果进行分析处理,得到对应的遥控指令,包括:
所述数据分析模块从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果不存在所述目标动作,将所述第一空间位移转换为光标位移;根据受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
14.设备控制装置,其特征在于,包括:
确定模块,用于根据运动传感器模组输出的物理参数值,确定用户在三维空间对遥控设备实施的运动结果;
发送模块,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,包括:
从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果不存在所述目标动作,将所述第一空间位移转换为光标位移;根据所述受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
15.受控设备,其特征在于,包括:
通信电路,用于接收遥控设备发送的用户在三维空间对所述遥控设备实施的运动结果;其中,所述运动结果是根据所述遥控设备的运动传感器模组输出的物理参数值得到的;
处理器,用于对所述运动结果进行分析处理,得到对应的遥控指令;响应所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述对所述运动结果进行分析处理,得到对应的遥控指令,包括:
从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果不存在所述目标动作,将所述第一空间位移转换为光标位移;根据所述受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
16.遥控设备,其特征在于,包括:
运动传感器模组,用于测量所述遥控设备的物理参数值;
处理器,用于根据所述物理参数值,确定用户在三维空间对所述遥控设备实施的运动结果;
通信电路,用于将所述运动结果发送给受控设备,以使所述受控设备对所述运动结果进行分析处理,生成对应的遥控指令,并响应于所述遥控指令;其中,
所述运动结果包括所述遥控设备在三维空间中的动作和所述遥控设备的第一空间位移;
所述受控设备对所述运动结果进行分析处理,得到对应的遥控指令,包括:
从预设动作组中,确定是否存在与所述动作相匹配的目标动作;如果不存在所述目标动作,将所述第一空间位移转换为光标位移;根据所述受控设备的当前显示界面上可视光标的当前位置和所述光标位移,确定所述可视光标的目标位置;生成作为所述遥控指令的移动指令;其中,所述移动指令用于指示将所述可视光标显示在所述目标位置。
17.电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至12任一项所述设备控制方法中的步骤。
18.计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12任一项所述设备控制方法中的步骤。
CN202010699045.8A 2020-07-20 2020-07-20 设备控制方法及装置、设备、存储介质 Active CN111880422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699045.8A CN111880422B (zh) 2020-07-20 2020-07-20 设备控制方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699045.8A CN111880422B (zh) 2020-07-20 2020-07-20 设备控制方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN111880422A CN111880422A (zh) 2020-11-03
CN111880422B true CN111880422B (zh) 2024-01-05

Family

ID=73155910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699045.8A Active CN111880422B (zh) 2020-07-20 2020-07-20 设备控制方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN111880422B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610897A (zh) * 2021-08-19 2021-11-05 北京字节跳动网络技术有限公司 一种光标控制装置的测试方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103227860A (zh) * 2013-03-31 2013-07-31 李凯 移动设备充当遥控器的方法和系统
CN203118190U (zh) * 2012-07-16 2013-08-07 深圳数字电视国家工程实验室股份有限公司 一种空中鼠标遥控器
CN103702160A (zh) * 2013-12-20 2014-04-02 乐视致新电子科技(天津)有限公司 无线手势遥控控制指令的生成方法及无线遥控器
CN104102335A (zh) * 2013-04-15 2014-10-15 中兴通讯股份有限公司 一种手势控制方法、装置和系统
CN106792062A (zh) * 2017-02-23 2017-05-31 山东浪潮商用系统有限公司 一种遥控器及其遥控电视机的方法、系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203118190U (zh) * 2012-07-16 2013-08-07 深圳数字电视国家工程实验室股份有限公司 一种空中鼠标遥控器
CN103227860A (zh) * 2013-03-31 2013-07-31 李凯 移动设备充当遥控器的方法和系统
CN104102335A (zh) * 2013-04-15 2014-10-15 中兴通讯股份有限公司 一种手势控制方法、装置和系统
CN103702160A (zh) * 2013-12-20 2014-04-02 乐视致新电子科技(天津)有限公司 无线手势遥控控制指令的生成方法及无线遥控器
CN106792062A (zh) * 2017-02-23 2017-05-31 山东浪潮商用系统有限公司 一种遥控器及其遥控电视机的方法、系统

Also Published As

Publication number Publication date
CN111880422A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN109361865B (zh) 一种拍摄方法及终端
US20180203518A1 (en) Control of a real world object user interface
US20180253152A1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US11748056B2 (en) Tying a virtual speaker to a physical space
CN108038726B (zh) 物品展示方法及装置
CN106791893A (zh) 视频直播方法及装置
CN108712603B (zh) 一种图像处理方法及移动终端
JP5854280B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
EP3462375A1 (en) Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof
EP3819752A1 (en) Personalized scene image processing method and apparatus, and storage medium
US11107203B2 (en) Image processing method and display apparatus therefor providing shadow effect
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
CN108881544A (zh) 一种拍照的方法及移动终端
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
CN108495028B (zh) 一种摄像调焦方法、装置及移动终端
CN111880422B (zh) 设备控制方法及装置、设备、存储介质
CN112073770A (zh) 显示设备及视频通讯数据处理方法
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
CN113066189A (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN112529770B (zh) 图像处理方法、装置、电子设备和可读存储介质
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant