CN111026314B - 控制显示设备的方法及便携设备 - Google Patents

控制显示设备的方法及便携设备 Download PDF

Info

Publication number
CN111026314B
CN111026314B CN201911026126.5A CN201911026126A CN111026314B CN 111026314 B CN111026314 B CN 111026314B CN 201911026126 A CN201911026126 A CN 201911026126A CN 111026314 B CN111026314 B CN 111026314B
Authority
CN
China
Prior art keywords
portable device
portable
display
equipment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911026126.5A
Other languages
English (en)
Other versions
CN111026314A (zh
Inventor
符谋政
司马经华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201911026126.5A priority Critical patent/CN111026314B/zh
Publication of CN111026314A publication Critical patent/CN111026314A/zh
Priority to PCT/CN2020/114018 priority patent/WO2021077923A1/zh
Application granted granted Critical
Publication of CN111026314B publication Critical patent/CN111026314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种控制显示设备的方法及便携设备,涉及计算机领域和大屏设备,可以为用户提供一种基于便携设备的方便且易操作地控制显示设备的方法。具体的,便携设备可以先根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便显示设备在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。

Description

控制显示设备的方法及便携设备
技术领域
本申请实施例涉及计算机领域,尤其涉及一种控制显示设备的方法及便携设备。
背景技术
随着计算机技术的发展,用户与显示设备(如电视机等大屏设备)之间的互动越来越广泛的被应用。例如,用户通过游戏手柄或者游戏手套,与虚拟现实(Virtual Reality,VR)/增强现实(Augmented Reality,AR)设备进行互动,达到控制VR/AR设备显示屏上显示的VR/AR界面显示,或者控制VR/AR设备执行某一操作等的目的。
常规的用户与显示设备的互动,是通过专用控制设备来实现的。例如激光笔、游戏手柄或游戏手套等。但是,当用户丢失或者忘记携带专有控制设备时,则无法实现与显示设备的互动。另外,使用上述专用控制设备,操作复杂。以游戏手套为例,游戏手套的控制原理是通过采集用户各个手指精细化的动作或手势等控制设备执行相应操作。而精细化的动作或手势对于用户来说是繁琐的。因此,综上所述,使用专用控制设备与显示设备进行互动,用户体验度低。
发明内容
本申请实施例提供一种控制显示设备的方法,可以为用户提供一种基于便携设备的方便且易操作地控制显示设备的方法。
第一方面,本申请技术方案提供一种控制显示设备的方法,该方法应用于便携设备,该便携设备与显示设备之间建立了通信连接,该方法包括:便携设备通过一个或多个传感器采集该便携设备的运动数据;该便携设备分析所述运动数据,确定该便携设备的空间姿态信息;该便携设备根据上述空间姿态信息确定平行于便携设备轴向的直线;该便携设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;该便携设备向显示设备发送第一信息,该第一信息包括第一位置的位置信息;该第一信息用于指示显示设备在第一位置显示第一图标。
上述第一方面提供的技术方案,便携设备可以先根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便显示设备在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,在便携设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置之前,上述方法还包括:该便携设备从显示设备接收该显示设备显示屏的位置信息;该显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标;该便携设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该便携设备根据显示设备显示屏在地面坐标系内的坐标,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,在便携设备向显示设备发送第一信息之前,上述方法还包括:该便携设备接收用户的预设操作;该便携设备向显示设备发送第一信息,包括:响应于接收到上述预设操作,该便携设备向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;第一信息还用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,便携设备分析运动数据,确定便携设备的空间姿态信息,包括:该便携设备分析上述运动数据,得到第一欧拉角x1;该便携设备根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000021
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第二方面,本发明技术方案提供了一种控制显示设备的方法,该方法应用于便携设备,该便携设备与显示设备之间建立了通信连接,该方法包括:便携设备通过一个或多个传感器采集该便携设备的运动数据;该便携设备分析所述运动数据,确定该便携设备的空间姿态信息;该便携设备向显示设备发送便携设备的空间姿态信息;用于指示显示设备根据该便携设备的空间姿态信息确定屏行于该便携设备轴向的直线在显示设备显示屏上的第一位置,以及指示显示设备在第一位置显示第一图标。
上述第二方面提供的技术方案,便携设备可以根据传感器测量得到的便携设备的运动数据确定用户佩戴/手持便携设备时的空间姿态信息,以及将便携设备的空间姿态信息发送给显示设备,用于显示设备根据便携设备的空间姿态信息确定平行于便携设备轴向的直线,以及该直接在显示屏上的对应位置(即第一位置),进而在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,上述方法还包括:便携设备接收用户的预设操作;响应于接收到所上述预设操作,便携设备向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;该第一信息用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,便携设备分析运动数据,确定便携设备的空间姿态信息,包括:该便携设备分析上述运动数据,得到第一欧拉角x1;该便携设备根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000031
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第三方面,本申请技术方案提供一种控制显示设备的方法,该方法应用于显示设备与便携设备的互动过程中,该显示设备与便携设备之间建立了通信连接,该方法包括:显示设备接收来自便携设备的空间姿态信息;该显示设备根据上述便携设备的空间姿态信息确定平行于便携设备轴向的直线;该显示设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;该显示设备在上述第一位置显示第一图标。
上述第三方面提供的技术方案,显示设备可以根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,显示设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该显示设备根据显示设备显示屏的位置信息,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置;其中,显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,上述方法还包括:显示设备接收来自便携设备的控制信息,该控制信息用于指示显示设备在上述第一位置执行第一操作;该显示设备根据上述控制信息在上述第一位置执行上述第一操作。显示设备可以根据接收到的用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作。对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
第四方面,本申请技术方案提供一种便携设备,该便携设备包括:运动数据采集单元,用于采集该便携设备的运动数据;分析单元,用于分析所述运动数据,确定该便携设备的空间姿态信息;根据上述空间姿态信息确定平行于便携设备轴向的直线;以及确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;发送单元,用于向显示设备发送第一信息,该第一信息包括第一位置的位置信息;该第一信息用于指示显示设备在第一位置显示第一图标。
上述第四方面提供的技术方案,便携设备可以先根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便显示设备在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,上述便携设备还包括:接收单元,用于在分析单元确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置之前,接收该显示设备显示屏的位置信息;该显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标;上述分析单元确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该分析单元根据显示设备显示屏在地面坐标系内的坐标,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,上述便携设备还包括:检测单元,用于在便携设备向显示设备发送第一信息之前,接收用户的预设操作;上述发送单元向显示设备发送第一信息,包括:响应于接收到上述预设操作,该发送单元向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;第一信息还用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,分析单元分析运动数据,确定便携设备的空间姿态信息,包括:该分析单元分析上述运动数据,得到第一欧拉角x1;该分析单元根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000051
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第五方面,本申请技术方案提供一种便携设备,该便携设备包括:运动数据采集单元,用于采集该便携设备的运动数据;分析单元,用于分析所述运动数据,确定该便携设备的空间姿态信息;发送单元,用于向显示设备发送便携设备的空间姿态信息;该空间姿态信息用于指示显示设备根据该便携设备的空间姿态信息确定平行于该便携设备轴向的直线在显示设备显示屏上的第一位置,以及指示显示设备在第一位置显示第一图标。
上述第五方面提供的技术方案,便携设备可以根据运动数据采集单元测量得到的便携设备的运动数据确定用户佩戴/手持便携设备时的空间姿态信息,以及将便携设备的空间姿态信息发送给显示设备,用于显示设备根据便携设备的空间姿态信息确定平行于便携设备轴向的直线,以及该直接在显示屏上的对应位置(即第一位置),进而在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,上述便携设备还包括:检测单元,用于接收用户的预设操作;响应于接收到所上述预设操作,上述发送单元还用于,向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;该第一信息用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,分析单元分析运动数据,确定便携设备的空间姿态信息,包括:该分析单元分析上述运动数据,得到第一欧拉角x1;该分析单元根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000061
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第六方面,本申请技术方案提供一种显示设备,该显示设备包括:接收单元,用于接收来自便携设备的空间姿态信息;分析单元,用于根据上述便携设备的空间姿态信息确定平行于便携设备轴向的直线;以及确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;控制单元,用于控制该显示设备在上述第一位置显示第一图标。
上述第六方面提供的技术方案,显示设备可以根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,分析单元确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该分析单元根据显示设备显示屏的位置信息,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置;其中,显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,上述接收单元还用于,接收来自便携设备的控制信息,该控制信息用于指示显示设备在上述第一位置执行第一操作;上述控制单元还用于,根据上述控制信息在上述第一位置执行上述第一操作。显示设备可以根据接收到的用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作。对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
第七方面,本申请技术方案提供一种便携设备,该便携设备包括:存储器,用于存储一个或多个计算机程序;射频电路,用于进行无线电信号的发送和接收;处理器,用于执行所述存储器存储的一个或多个计算机程序,使得所述便携设备执行:通过一个或多个传感器采集该便携设备的运动数据;备分析所述运动数据,确定该便携设备的空间姿态信息;根据上述空间姿态信息确定平行于便携设备轴向的直线;确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;以及向显示设备发送第一信息,该第一信息包括第一位置的位置信息;该第一信息用于指示显示设备在第一位置显示第一图标。
上述第七方面提供的技术方案,便携设备可以先根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便显示设备在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,上述处理器还用于在便携设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置之前,执行所述存储器存储的一个或多个计算机程序,使得所述便携设备从显示设备接收该显示设备显示屏的位置信息;该显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标;该便携设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该便携设备根据显示设备显示屏在地面坐标系内的坐标,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,上述处理器还用于在便携设备向显示设备发送第一信息之前,执行所述存储器存储的一个或多个计算机程序,使得所述便携设备接收用户的预设操作;该便携设备向显示设备发送第一信息,包括:响应于接收到上述预设操作,该便携设备向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;第一信息还用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,便携设备分析运动数据,确定便携设备的空间姿态信息,包括:该便携设备分析上述运动数据,得到第一欧拉角x1;该便携设备根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000081
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第八方面,本申请技术方案提供一种便携设备,该便携设备包括:存储器,用于存储一个或多个计算机程序;射频电路,用于进行无线电信号的发送和接收;处理器,用于执行所述存储器存储的一个或多个计算机程序,使得所述便携设备执行:通过一个或多个传感器采集该便携设备的运动数据;该便携设备分析所述运动数据,确定该便携设备的空间姿态信息;以及向显示设备发送便携设备的空间姿态信息;用于指示显示设备根据该便携设备的空间姿态信息确定平行于该便携设备轴向的直线在显示设备显示屏上的第一位置,以及指示显示设备在第一位置显示第一图标。
上述第八方面提供的技术方案,便携设备可以根据传感器测量得到的便携设备的运动数据确定用户佩戴/手持便携设备时的空间姿态信息,以及将便携设备的空间姿态信息发送给显示设备,用于显示设备根据便携设备的空间姿态信息确定平行于便携设备轴向的直线,以及该直接在显示屏上的对应位置(即第一位置),进而在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,处理器还用于执行所述存储器存储的一个或多个计算机程序,使得所述便携设备接收用户的预设操作;以及,响应于接收到所上述预设操作,向显示设备发送第一信息,该第一信息包括控制信息,该控制信息包括控制指令;该第一信息用于指示显示设备在第一位置执行第一操作;其中,便携设备中预先设置有上述预设操作与控制指令的对应关系。通过用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述预设操作包括用户顺时针旋转便携设备、用户逆时针旋转便携设备、用户按压便携设备的边框或用户按压便携设备的触摸屏。通过预先设置的不会改变便携设备空间姿态的预设操作,控制显示设备在第一位置执行第一操作,对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第一欧拉角x1。便携设备可以直接根据传感器测量到的运动数据确定便携设备的空间姿态信息,方便且快捷。其中,第一欧拉角x1可以包括俯仰角、偏航角和横滚角。
在一种可能的实现方式中,上述便携设备的空间姿态信息包括第四欧拉角x4,便携设备分析运动数据,确定便携设备的空间姿态信息,包括:该便携设备分析上述运动数据,得到第一欧拉角x1;该便携设备根据公式x4=C·x2计算得到第四欧拉角x4;其中,第二欧拉角x2=x3+Δx,第二欧拉角x2是便携设备处于预设初始姿态时,该便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是便携设备处于预设初始姿态时,该便携设备分析一个或多个传感器采集到的运动数据得到的欧拉角;上述C是便携设备由上述第三欧拉角x3对应的空间姿态变换至上述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;上述Δx用于表示便携设备处于预设初始姿态时,一个或多个传感器的测量误差。便携设备可以将传感器在确定便携设备空间姿态时的测量误差考虑在内,根据欧拉旋转矩阵确定便携设备的空间姿态信息,提高便携设备空间姿态信息的精确度。
在一种可能的实现方式中,上述第二欧拉角x2和第三欧拉角x3预先设置在便携设备中。
在一种可能的实现方式中,上述第一欧拉角x1是便携设备分析该便携设备的运动数据,确定的该便携设备的预设坐标系相对于地面坐标系的欧拉角;欧拉角包括俯仰角θ,偏航角
Figure BDA0002248662390000091
和横滚角φ。
在一种可能的实现方式中,上述便携设备包括手表、手环或手机。
第九方面,本申请技术方案提供一种显示设备,该显示设备包括:存储器,用于存储一个或多个计算机程序;射频电路,用于进行无线电信号的发送和接收;处理器,用于执行所述存储器存储的一个或多个计算机程序,使得所述显示设备执行:接收来自便携设备的空间姿态信息;根据上述便携设备的空间姿态信息确定平行于便携设备轴向的直线;确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置;以及在上述第一位置显示第一图标。
上述第九方面提供的技术方案,显示设备可以根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,以便在第一位置显示第一图标。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。对于用户来说方便且易操作。
在一种可能的实现方式中,显示设备确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置,包括:该显示设备根据显示设备显示屏的位置信息,确定平行于便携设备轴向的直线与显示设备显示屏的交点,得到上述第一位置;其中,显示设备显示屏的位置信息用于指示显示设备显示屏在地面坐标系内的坐标。平行于便携设备轴向的直线与显示设备显示屏的交点可以理解为用户保持上述空间姿态时手指的延长线与显示设备显示屏的交点,便携设备通过该方法确定第一位置,对于用户来说方便且易操作。
在一种可能的实现方式中,上述处理器还用于执行所述存储器存储的一个或多个计算机程序,使得所述显示设备接收来自便携设备的控制信息,该控制信息用于指示显示设备在上述第一位置执行第一操作;以及根据上述控制信息在上述第一位置执行上述第一操作。显示设备可以根据接收到的用户在保持便携设备空间姿态不变时的预设操作,控制显示设备在第一位置执行第一操作。对于用户来说,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
第十方面,本申请技术方案提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机执行指令,该计算机执行指令被处理器执行时实现如第一方面、第二方面或第三方面任一种可能的实现方式中的控制显示设备的方法。
第十一方面,本申请技术方案提供一种芯片系统,该芯片系统可以包括存储介质,用于存储指令;处理电路,用于执行上述指令,实现如第一方面、第二方面或第三方面任一种可能的实现方式中的控制显示设备的方法。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第十二方面,本申请技术方案提供一种计算机程序产品,提供一种计算机程序产品,该计算机程序产品包括程序指令,当程序指令在计算机上运行时,以实现如第一方面、第二方面或第三方面任一种可能的实现方式中的控制显示设备的方法。例如,该计算机可以是至少一个存储节点。
上述技术方案中,例如,第一图标可以是虚拟激光指针、虚拟用户、虚拟武器或虚拟工具等。
可以理解的,上述技术方案中,平行也可以理解为大致平行。
附图说明
图1为本申请实施例提供的两种便携设备的坐标系示例图;
图2为本申请实施例提供的一种智能手表的预设坐标系相对于地面坐标系的欧拉角示意图;
图3为本申请实施例提供的一种智能手表的硬件结构示意图;
图4为本申请实施例提供的一种电视机的硬件结构示意图;
图5为本申请实施例提供的一种手机向电视机投屏的场景示意图;
图6为本申请实施例提供的一种智能手表与电视机互动的场景示意图;
图7为本申请实施例提供的一种智能手表与PC的互动场景示意图;
图8为本申请实施例提供的一种显示设备显示界面示例图;
图9为本申请实施例提供的一种控制显示设备的方法流程图一;
图10为本申请实施例提供的一种便携设备的预设初始姿态示意图;
图11为本申请实施例提供的一种预设坐标轴的旋转示例示意图;
图12为本申请实施例提供的平行于两种便携设备轴向的直线示例图;
图13为本申请实施例提供的一种控制显示设备的方法流程图二;
图14为本申请实施例提供的一种控制显示设备的方法流程图三;
图15为本申请实施例提供的一种便携设备的结构示意图;
图16为本申请实施例提供的一种显示设备的结构示意图。
具体实施方式
本申请实施例提供一种控制显示设备的方法,该方法应用于用户通过便携设备与显示设备进行互动的过程中。其中,便携设备在用户手持或者穿戴该便携设备时,可以实时检测该便携设备的空间姿态的变化,然后根据便携设备的空间姿态的变化来控制显示设备。
其中,便携设备的空间姿态可以用便携设备的空间姿态信息来表示。便携设备的空间姿态信息可以包括:该便携设备的预设坐标系相对于地面坐标系的欧拉角。
为方便理解,以下结合附图说明便携设备的预设坐标系、地面坐标系以及便携设备的预设坐标系相对于地面坐标系的欧拉角。
(1)便携设备的预设坐标系。
例如,以便携设备是智能手表为例。请参考图1中的(a),其示出智能手表的一种预设坐标系实例示意图。
如图1中的(a)所示,以OA为坐标原点的xA轴,yA轴和zA轴构成右手直角坐标系。图1中的(a)所示的OA可以是智能手表的重心。yA轴和zA轴在智能手表的表带形成的圆环所在的平面内。xA轴垂直于yA轴,且垂直于zA轴。例如,如图1中的(a)所示,zA轴可以是以OA为坐标原点,平行于智能手表的表带形成的圆环所在的平面,且指向智能手表的表盘的中心点的射线。其中,图1中的(a)所示的坐标系是智能手表的预设坐标系。
又例如,以便携设备是手机为例。请参考图1中的(b),其示出手机的一种预设坐标系实例示意图。
如图1中的(b)所示,以OB为坐标原点的xB轴,yB轴和zB轴构成右手直角坐标系。图1中的(b)所示的OB可以是手机的重心。手机可以包括四条边:长边01,短边02,与长边01平行且等长度的另一条长边,以及与短边02平行且等长度的另一条短边。yB轴平行于手机的短边02。xB轴平行于手机的长边01向上。zB轴垂直于yA轴,且垂直于xB轴。其中,图1中的(b)所示的坐标系是手机的预设坐标系。
(2)地面坐标系。
请参考图2,其示出本申请实施例提供的一种地面坐标系的实例示意图。如图2中的(a)或(b)所示,以O为坐标原点的X轴,Y轴和Z轴构成右手直角坐标系。图2中的(a)所示的坐标原点O可以为空间中的任意一点。X轴指向水平面内的任一方向。Z轴垂直于X轴所在的平面并指向地心。Y轴垂直于X轴,且垂直于Z轴。其中,图2中的(a)所示的坐标系是地面坐标系。
(3)便携设备的预设坐标系相对于地面坐标系的欧拉角。
便携设备的预设坐标系相对于地面坐标系的欧拉角包括:便携设备的预设坐标系相对于地面坐标系的俯仰角(pitch)θ、偏航角(yaw)
Figure BDA0002248662390000112
和横滚角(roll)φ。
其中,便携设备的预设坐标系相对于地面坐标系的俯仰角θ可以是便携设备的预设坐标系的x轴与地面坐标系的XOY所在平面(即水平面)的夹角。示例性的,本申请实施例这里以图1中的(a)所示的智能手表为例,对便携设备的预设坐标系相对于地面坐标系的欧拉角进行说明。例如,如图2中的(a)所示,智能手表的预设坐标系相对于地面坐标系的俯仰角θ是xA轴与水平面(即XOY所在平面)之间的夹角。如图2中的(a)所示,OxA'(即OAxA')是xA轴在水平面(即XOY所在平面)的垂直投影,可以理解的是,上述智能手表的预设坐标系相对于地面坐标系的俯仰角θ也就是OxA'(即OAxA')与xA轴之间的夹角。当xA轴与Z轴之间的夹角大于90°时,俯仰角θ为正。
如图2中的(a)所示,智能手表的预设坐标系相对于地面坐标系的偏航角
Figure BDA0002248662390000111
是智能手表的预设坐标系的x轴与地面坐标系的X轴之间的水平夹角,也就是OxA'(即OAxA')与地面坐标系的X轴之间的夹角。当OxA'(即OAxA')随着xA轴的变化在XOY所在平面上顺时针偏转时,偏航角
Figure BDA0002248662390000113
为正。
如图2中的(b)所示,智能手表的预设坐标系相对于地面坐标系的横滚角φ是智能手表的预设坐标系的zA轴与通过xA轴的铅垂面(即xAOZ所在平面)之间的夹角。如图2中的(b)所示,OzA'(即OAzA')是zA轴在通过xA轴的铅垂面(即xAOZ所在平面)的垂直投影。可以理解的是,上述智能手表的预设坐标系相对于地面坐标系的横滚角φ也就是OzA'(即OAzA')与zA轴之间的夹角,当zA轴顺时针旋转时,横滚角φ为正。
需要说明的是,上述图1中的(a)仅作为示例介绍智能手表的预设坐标系,上述图1中的(b)仅作为示例介绍手机的预设坐标系。便携设备的预设坐标系还可以根据其他规则定义。例如,坐标原点还可以为便携设备上或者便携设备外的其他任一点。预设坐标系的三轴方向也不限于图1中的(a)所示的xA轴,yA轴和zA轴,或者图1中的(b)所示的xB轴,yB轴和zB轴所示的方向。本申请实施例对便携设备的预设坐标系的坐标原点位置和坐标轴方向设定不作限定。
在本申请实施例中,便携设备可以是可穿戴设备。例如智能手环、智能手表、电话手表等。该便携设备还可以是手持设备。例如智能手机、平板电脑、掌上电脑等。或者,该便携设备还可以是便携式多媒体播放器(Portable Multimedia Player,PMP)、媒体播放器等其他类型的电子设备。显示设备可以是电视机、投影仪、手提电脑或个人计算机(personalcomputer,PC)等电子设备,还可以是其他包括有显示屏的设备。例如,AR/VR设备、上网本、平板电脑或电视化教学设备等等。本申请实施例对便携设备和显示设备的具体类型和结构等不作限定。
作为一种示例,以便携设备是智能手表为例。图3示出一种智能手表的硬件结构示意图。如图3所示,智能手表300包括:相互连接的表体和腕带,其中表体可以包括前壳(图3未示出)、处理器301、存储器302、显示屏303(如触摸屏)、底壳(图3未示出)、微控制单元(Micro Control Unit,MCU)304、传感器模块305、麦克风(Microphone,MIC)306、无线通信模块307、扬声器308、GPS模块309、RF电路310、电源311、电源管理系统312和受话器313等。尽管未示出,智能手表300还可以包括天线、按键和指示灯等。本领域技术人员可以理解,图3中示出的智能手表300结构并不构成对智能手表的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,传感器模块305可以包括:陀螺仪传感器305A,加速度传感器305B和磁传感器305C,即本申请实施例中的运动传感器。当然,传感器模块305还可以包括压力传感器,气压传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器和心率传感器等。传感器模块305与微控制单元(MCU)304连接,由微控制单元(MCU)304控制。
其中,存储器302可以用于存储应用程序代码,如用于执行本申请实施例的方法,进行跌倒检测的应用程序代码。处理器301可以执行上述应用程序代码,以实现本申请实施例中智能手表300的功能。
存储器320中还可以存储有智能手表300的蓝牙地址。另外,该存储器320中还可以存储有用户在该智能手表300中设置的一个或多个紧急联系的信息,如电话号码、即时通信应用(也称为即时通讯应用)的账号等。该存储器320中还可以存储有公共救援服务的电话号码,如急救电话(如120)和报警电话(如110)等。上述蓝牙地址可以为媒体访问控制(media access control,MAC)地址。在本申请实施例中,智能手表300的蓝牙地址可以用于与智能手表300控制的显示设备(例如电视机)建立蓝牙连接。
无线通信模块307,用于支持智能手表300与各种电子设备,如手机之间的短距离数据交换。在本申请实施例中,无线通信模块307可以用于与智能手表300控制的显示设备(例如电视机)之间进行数据传输,如传输智能手表300的空间姿态信息。在一些实施例中,该无线通信模块307可以为蓝牙模块。在另一些实施例中,该无线通信模块307可以为WiFi模块。
智能手表300可以包括至少一个受话器313和至少一个麦克风306。受话器313也可以称为“听筒”,可以用于将音频电信号转换成声音信号并播放。麦克风306也可以称为“话筒”,“传声器”,用于将声音信号转换为音频电信号。由音频电路接收后转换为音频数据;音频电路也可以将音频数据转换为电信号,传输到扬声器308,由扬声器308转换为声音信号输出。本申请实施例中,扬声器308还可以用于播放呼救语音。
显示屏303可以是触摸屏。触摸屏包括显示面板和触控面板。其中,显示屏303可用于显示由用户输入的信息或提供给用户的信息以及手表的各种菜单。在本申请实施例中,当触控面板检测到在其上或附近的触摸操作后,传送给处理器301以确定触摸事件的类型(如单击触摸屏的操作),随后处理器301根据触摸事件的类型确定该触摸事件对应的控制指令。
智能手表300还包括给各个部件供电的电源311(比如电池),可选的,电源311可以通过电源管理系统312与处理器301逻辑相连,从而通过电源管理系统312实现管理充电、放电、以及功耗管理等功能。
进一步的,图3所示的智能手表300中还可以包括RF电路310。该RF电路310可用于收发信息或通话过程中,信号的接收和发送,可以将基站的下行信息接收后,给处理器301处理;另外,将涉及上行的数据发送给基站。通常,RF电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。此外,RF电路310还可以通过无线通信与网络和其他移动设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。
智能手表300中还可以包括定位模块,如图3所示的全球卫星定位系统(globalpositioning system,GPS)模块309。当然,定位模块还可以是全球导航卫星系统(globalnavigation satellite system,GLONASS)模块或者北斗卫星导航系统(beidounavigation satellite system,BDS)模块等。定位模块用于获取智能手表300的地理位置信息。
陀螺仪传感器305A可以用于确定智能手表300的运动姿态。在本申请实施例中,可以通过陀螺仪传感器305A确定智能手表300的旋转方向和旋转角速度。
加速度传感器305B可以用于检测智能手表300的运动方向和运动加速度。当智能手表300静止时可检测出重力的大小及方向。还可以用于识别智能手表300的姿态,应用于计步器等应用。
磁传感器305C是把磁场、电流、应力应变、温度、光等外界因素引起敏感元件磁性能变化转换成电信号,以这种方式来检测相应物理量的器件。在一些实施例中,通过磁传感器305C可以测量出智能手表300与东南西北四个方向的夹角。
应理解,图3所示的智能手表300仅仅是可穿戴设备的一个范例,并且智能手表300可以具有比图3中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
作为一种示例,以显示设备是电视机为例。图4示出一种电视机的硬件结构示意图。如图4所示,电视机400可以包括:处理器410,外部存储器接口420,内部存储器421,通用串行总线(universal serial bus,USB)接口430,电源管理模块440,天线,无线通信模块460,音频模块470,扬声器470A,麦克风470C,音箱接口470B,传感器模块480,按键490,指示器491,摄像头493,以及显示屏492等。
可以理解的是,本实施例示意的结构并不构成对电视机400的具体限定。在另一些实施例中,电视机400可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电视机400的神经中枢和指挥中心。控制器可以根据指令完成取指令,产生操作控制信号,进而执行指令的控制。在本申请实施例中,控制器可以根据来自智能手表300的控制信息中包括的指令以及产生操作控制信号,进而完成控制电视机400在第一位置执行第一操作。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。在一些实施例中,处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,和/或USB接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电视机400的结构限定。在另一些实施例中,电视机400也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电源管理模块440用于连接电源。充电管理模块440还可以与处理器410、内部存储器421、显示屏494、摄像头493和无线通信模块460等连接。电源管理模块441接收电源的输入,为处理器410、内部存储器421、显示屏494、摄像头493和无线通信模块460等供电。在一些实施例中,电源管理模块441也可以设置于处理器410中。
电视机400的无线通信功能可以通过天线和无线通信模块460等实现。其中,无线通信模块460可以提供应用在电视机400上的包括无线局域网(wireless local areanetworks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。在本申请实施例中,电视机400可以通过天线和无线通信模块460接受便携设备(例如智能手表)的控制。例如,电视机400可以通过天线和无线通信模块460接收来自便携设备的控制信息,进而根据该控制信息执行相应的操作(如第一操作)。
无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。在一些实施例中,电视机400的天线和无线通信模块460耦合,使得电视机400可以通过无线通信技术与网络以及其他设备通信。
电视机400通过GPU,显示屏492,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏492和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。显示屏492用于显示图像,视频等。该显示屏492包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。
电视机400可以通过ISP,摄像头493,视频编解码器,GPU,显示屏492以及应用处理器等实现拍摄功能。ISP用于处理摄像头493反馈的数据。在一些实施例中,ISP可以设置在摄像头493中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电视机400在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电视机400可以支持一种或多种视频编解码器。这样,电视机400可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口420可以用于连接外部存储卡,例如Micro SD卡,实现扩展电视机400的存储能力。外部存储卡通过外部存储器接口420与处理器410通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器421可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电视机400的各种功能应用以及数据处理。例如,在本申请实施例中,处理器410可以通过执行存储在内部存储器421中的指令,内部存储器421可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电视机400使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
电视机400可以通过音频模块470,扬声器470A,麦克风470C,音箱接口470B,以及应用处理器等实现音频功能。例如,音乐播放,录音等。
按键490包括开机键,音量键等。按键490可以是机械按键。也可以是触摸式按键。电视机400可以接收按键输入,产生与电视机400的用户设置以及功能控制有关的键信号输入。
指示器491可以是指示灯,可以用于指示电视机400处于开机状态、待机状态或者关机状态等。例如,指示灯灭灯,可指示电视机400处于关机状态;指示灯为绿色或者蓝色,可指示电视机400处于待机状态;指示灯为红色,可指示电视机400处于待机状态。
通常,电视机400会配有一遥控器。该遥控器用于控制电视机400。该遥控器可以包括:多个按键,如电源按键、音量按键、以及其他的多个选择按键。遥控器上的按键可以是机械按键,也可以是触摸式按键。遥控器可以接收按键输入,产生与电视机400的用户设置以及功能控制有关的键信号输入,并向电视机400发送相应的控制信号,以控制电视机400。例如,遥控器可以通过红外信号等向电视机400发送控制信号。该遥控器还可以包括电池收纳腔,用于安装电池,为遥控器供电。
可以理解的是,本申请实施例示意的结构并不构成对电视机400的具体限定。其可以具有比图4中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该电视机还可以包括音箱等部件。图4中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
示例性的,本申请实施例的方法可以应用于以下场景中:
场景(一):便携设备(如手机)向显示设备(如电视机)投屏的场景。
请参考图5,图5示出了本申请实施例提供的一种手机向电视机投屏的场景示意图。假设用户将其手持的手机510的显示屏上显示的视频APP的界面投屏至电视机400的显示屏上,如图5所示。用户通过该手机510与电视机400互动,以控制在电视机400显示屏上的视频APP的界面作出响应。例如播放、快进或返回等。其中,在图5所示的投屏场景中,电视机400仅作为一个显示设备显示手机510显示屏上显示的界面。
场景(二):便携设备代替显示设备的控制设备(如遥控器)控制显示设备的场景。
示例性的,请参考图6,图6示出了本申请实施例提供的一种智能手表与电视机互动的场景示意图。如图6所示,假设用户正在使用电视机400玩“切西瓜”游戏。其中,电视机400中安装有体感游戏“切西瓜”应用程序(Application,APP)。用户将智能手表300作为游戏控制器。用户“切西瓜”的过程可以为:电视机400的显示屏显示“切西瓜”游戏界面。用户通过其手腕上佩戴的智能手表300控制激光指针移动至“西瓜”附近。然后用户通过智能手表300控制激光指针处的“西瓜”被切开,使得电视机400游戏界面中的“西瓜”显示被切开的模拟视觉效果。
示例性的,请参考图7,图7示出了本申请实施例提供的一种智能手表与个人计算机(personal computer,PC)的互动场景示意图。如图7所示,假设用户正在使用PC 710进行虚拟旅游。其中,虚拟旅游是指用户通过由应用计算机技术实现的真实场景的三维模拟进行景观观赏,用户足不出户,便可遍览遥在万里之外的风光美景。如图7所示,用户正在使用PC 710进行建筑物参观。用户进行建筑物参观的过程可以为:如图8中的(a)所示,PC的显示屏上显示包括有建筑物三维(3dimensional,3D)景象的界面。用户通过其手腕上佩戴的智能手表300控制虚拟用户A在该3D景象中的虚拟位置(如图8中的(b)中所示的P点)。用户通过智能手表300控制虚拟用户A在虚拟位置P处的动作,使得PC 710的显示屏上显示的建筑物3D景象的界面发生相应切换。例如:虚拟用户A前行(如图8中的(b)中的820)时PC 710的显示屏上显示虚拟用户正前方的建筑物3D景象的界面,虚拟用户A向后转(如图8中的(b)中的830)时PC 710的显示屏上显示虚拟用户正后方的3D景象的界面,虚拟用户A左转(如图8中的(b)中的840)时PC 710的显示屏上显示虚拟用户物左侧的3D景象的界面,虚拟用户A右转(如图8中的(b)中的850)时PC 710的显示屏上显示虚拟用户右侧的3D景象的界面等。
其中,本申请实施例中的便携设备与显示设备之间可以通过短距的方式连接,例如通过WiFi连接、蓝牙连接,或者通过数据传输线连接等连接方式进行连接。例如,WiFi连接可以是WiFi P2P连接。本申请实施例中所述的便携设备与显示设备通过WiFi连接,具体可以包括:便携设备与显示设备接入同一WiFi局域网;或者,便携设备与显示设备通过WiFiP2P连接。
示例性的,在如图5所示的场景中,手机和电视机400可以连接至同一WiFi局域网,电视机400可以通过该WiFi连接从手机或者视频播放器的应用服务器接收电视机400的显示屏上需要显示的内容数据,以及从手机接收控制信息等。又如在图6所示的场景中,智能手表300与电视机400可以连接至同一WiFi局域网,智能手表300可以通过WiFi连接直接与电视机400互动。又如在图7所示的场景中,智能手表300与PC之间可以建立蓝牙连接,智能手表300可以通过蓝牙连接与PC互动。或者,便携设备与显示设备之间还可以通过其他通信技术建立连接,本申请实施例对此不作限定。
需要说明的是,上述场景(一)和场景(二)仅作为几种便携设备与显示设备的互动场景示例,本申请实施例对便携设备与显示设备的互动场景不作限定。例如,本申请实施例提供的控制显示设备的方法还可以应用于智能手环控制投影仪投影界面的场景,手机控制电视化教学设备的场景或智能手表控制AR(增强现实)/VR(虚拟现实)设备的场景等。对于本申请实施例提供的控制显示设备的方法的具体应用场景,本申请实施例不作限定。
其中,AR/VR设备用于通过AR技术/VR技术营造一个虚拟的景象或者虚实结合的景象。AR技术是将虚拟物体叠加到现实场景中,实现现实场景中的虚实融合和互动的技术,达到“增强”现实的目的。VR技术是通过生成一个多源信息融合的三维空间,并利用这个三维空间提供给用户关于视觉、听觉、触觉等感官的虚拟,使用户感觉身临其境一般。示例性的,AR/VR设备可以包括显示设备。在一些场景中,AR/VR设备还可以包括气味发生器、风机、灯光装置和音效装置。AR/VR设备可以由AR/VR主机控制。显示设备用于显示AR/VR界面。气味发生器用于接收来自AR/VR主机的环境气味指令生成与场景向匹配的气味。风机用于接收来自AR/VR主机的环境指令营造对应的环境温度以及风。灯光装置用于接收来自AR/VR主机的环境灯光指令营造对应的灯光效果。音效装置用于接收来自AR/VR主机的环境声音指令营造对应的声音效果。本申请实施例对AR/VR设备的具体组成或结构不作限定。
以下实施例中以便携设备为如图3中的智能手表300,显示设备为如图4中的电视机400,以图6所示的“切西瓜”游戏场景为例,对本申请实施例的方法进行说明。
其中,智能手表300中包括一个或多个传感器。该一个或多个传感器包括加速度传感器和陀螺仪传感器中的至少一个。智能手表300和电视机400中均可以安装有用于实现智能手表300控制显示设备(如电视机400)的客户端。或者,智能手表300具有用于控制显示设备(如电视机400)的功能,电视机400支持接受智能手表300的控制与智能手表300互动。因此,智能手表300和电视机400之间可以在建立通信连接后进行互动。其中,智能手表300与电视机400之间的通信连接可以包括:WiFi连接、蓝牙连接或者数据传输线连接等。
在一些实施例中,若智能手表300与电视机400建立了通信连接(如WiFi P2P连接),电视机400的显示屏上可以弹出提示框,该提示框用于提示用户选择是否接受智能手表300控制该电视机400。例如,该提示框可以包括“接受”虚拟按钮和“不接受”虚拟按钮,其中,若用户选择“接受”,则电视机400开始接受智能手表300控制;若用户选择“不接受”,则智能手表300无法控制电视机400。响应于用户选择接受智能手表300控制该电视机400的操作(如用户通过电视机遥控器选择“接受”按钮),电视机400可以向智能手表300发送请求信息,该请求信息用于请求智能手表300开启通过智能手表300控制电视机400的功能。在智能手表300接受电视机400的请求之后,智能手表300与电视机400配对成功。智能手表300可以开始控制电视机400。
在另一些实施例中,若智能手表300与电视机400建立了通信连接(如WiFi P2P连接),智能手表300还可以响应于用户在智能手表300上的选择开启通过智能手表300控制电视机400的功能的操作,开启通过智能手表300控制电视机400的功能。智能手表300还可以向电视机发送请求信息,该请求信息用于请求同意接受智能手表300对该电视机400的控制。示例性的,电视机400在接收到来自智能手表300的请求信息后,可以弹出提示框,该提示框用于提示用户选择是否同意接受智能手表300对电视机400的控制。响应于用户选择接受智能手表300对电视机400的控制的操作,智能手表300与电视机400配对成功。智能手表300可以开始控制电视机400。
可以理解,在智能手表300与电视机400配对成功,电视机400显示屏上显示的界面可以存在以下两种情况:
情况(1)、电视机400显示屏上显示“切西瓜”的游戏界面。
情况(2)、电视机400显示屏上显示除“切西瓜”的游戏界面以外的其他界面。例如,电视机400显示屏上显示电视机400已安装应用的主界面。
若在智能手表300与电视机400配对成功,电视机400显示屏上显示“切西瓜”的游戏界面,智能手表300可以根据用户穿戴智能手表300的手腕在空间中的移动,采集该智能手表300的空间姿态,从而根据智能手表300的空间姿态的变化改变电视机显示屏上激光指针的显示位置。智能手表300可以根据检测到的预设操作,控制电视机400在激光指针的显示位置处的响应(如“切开”激光指针的显示位置处的“西瓜”)。
若在智能手表300与电视机400配对成功,电视机400显示屏上显示除“切西瓜”的游戏界面以外的其他界面(如电视机400已安装应用的主界面),智能手表300可以根据用户穿戴智能手表300的手腕在空间中的移动,采集该智能手表300的空间姿态,从而根据智能手表300的空间姿态的变化改变电视机显示屏上激光指针的显示位置。智能手表300可以根据检测到的预设操作,控制电视机400在激光指针的显示位置处的响应(如启动“切西瓜”游戏)。在电视机400显示屏上显示“切西瓜”的游戏界面时,智能手表300可以根据用户穿戴智能手表300的手腕在空间中的移动时,智能手表300的空间姿态的变化改变电视机显示屏上激光指针的显示位置。同时,根据检测到的预设操作,控制电视机400在激光指针的显示位置处的响应(如“切开”激光指针的显示位置处的“西瓜”)。
以下以在智能手表300与电视机400配对成功时,电视机400显示屏上显示“切西瓜”的游戏界面为例,对本申请实施例提供的控制显示设备的方法进行具体阐述。如图9所示,该控制显示设备的方法可以包括S901~S905:
S901、智能手表300通过一个或多个传感器采集智能手表300的运动数据。
示例性的,在电视机400显示屏上显示“切西瓜”的游戏界面,智能手表300可以通过一个或多个传感器实时采集用户穿戴智能手表300的手腕在空间中的移动时,智能手表300的运动数据。
其中,智能手表300的运动数据用于确定智能手表300的预设坐标系相对于地面坐标系的欧拉角,包括俯仰角θ,偏航角
Figure BDA0002248662390000181
和横滚角φ。
在一些实施例中,上述一个或多个传感器可以包括加速度传感器(如图3中的305B)和陀螺仪传感器(如图3中的305A),智能手表300可以通过加速度传感器采集智能手表300的运动方向和加速度。通过陀螺仪传感器采集智能手表300的旋转方向和旋转角速度。
S902、智能手表300分析智能手表300的运动数据,确定智能手表300的空间姿态信息。
如上文所述,智能手表300的空间姿态信息可以包括智能手表300的预设坐标系相对于地面坐标系的欧拉角(包括俯仰角θ,偏航角
Figure BDA0002248662390000182
和横滚角φ)。
在一些实施例中,智能手表300可以通过分析智能手表300通过一个或多个传感器采集的智能手表300的运动数据,确定智能手表300的预设坐标系相对于地面坐标系的欧拉角,即确定智能手表300的空间姿态信息。
可以理解的是,智能手表300根据加速度传感器采集到的智能手表300的运动方向和加速度可以确定智能手表300的预设坐标系的移动方向和移动的距离。智能手表300根据陀螺仪传感器采集到的智能手表300的旋转方向和旋转角速度,可以确定智能手表300的预设坐标系的各个轴的旋转方向和旋转角度。智能手表300的预设坐标系的移动方向、移动的距离、旋转方向和旋转角度确定了,便可以确定当前运动状态下的智能手表300的预设坐标系相对于地面坐标系的欧拉角(如图2中的(a)和图2中的(b)所示的欧拉角)。关于智能手表300的欧拉角的具体说明,可以参考图2中的(a),图2中的(b),以及本申请实施例对图2中的(a)和图2中的(b)的介绍和说明,这里不再赘述。
在另一些实施例中,在一些情况下,由于智能手表的传感器的测量精度或者准确度可能会比较低。为了避免由于加速度传感器或陀螺仪传感器的测量精度降低或者测量准确度降低等导致的分析结果偏差,进一步提高确定智能手表300的空间姿态信息的精确度,智能手表300可以测量智能手表300运动至某一空间位置时,通过角度测量工具测量到的智能手表300的预设坐标系相对于地面坐标系的实际欧拉角,以及通过智能手表300一个或多个传感器测量得到的智能手表300的预设坐标系相对于地面坐标系的欧拉角之间的误差值,以便在后续确定智能手表300的空间姿态信息时,参考智能手表300的传感器的测量误差,提高确定智能手表300的空间姿态信息的精确度。
示例性的,智能手表300还可以通过执行步骤(a)、步骤(b)、步骤(c)和步骤(d),确定智能手表300的空间姿态信息(即S902):
步骤(a)、智能手表300分析智能手表300通过一个或多个传感器采集的智能手表300的运动数据确定智能手表300的预设坐标系相对于地面坐标系的欧拉角(以下简称第一欧拉角x1)。
其中,第一欧拉角x1包括俯仰角θ,偏航角
Figure BDA0002248662390000191
和横滚角φ。
步骤(b)、智能手表300确定智能手表300处于预设初始姿态时的第二欧拉角x2和第三欧拉角x3
其中,预设初始姿态是预先设定的智能手表300处于一空间位置时的空间姿态。例如,预设初始姿态是预先设定的智能手表300处于如图10所示的空间位置时的空间姿态。
第二欧拉角x2是智能手表300处于预设初始姿态时,智能手表300的预设坐标系相对于地面坐标系的实际欧拉角。该实际欧拉角可以是通过测量工具测量的,或者通过除加速度传感器和陀螺仪传感器以外的其他测量器件测量得到。第二欧拉角x2包括:初始实际俯仰角θ’,初始实际偏航角
Figure BDA0002248662390000193
和初始实际横滚角φ’。
第三欧拉角x3是将智能手表300固定放置,使得智能手表300处于预设初始姿态时,智能手表300的传感器测量得到的智能手表300的预设坐标系相对于地面坐标系的欧拉角。第三欧拉角x3包括:初始测量俯仰角θ0,初始测量偏航角
Figure BDA0002248662390000192
和初始测量横滚角φ0。关于第三欧拉角,可以参考图2中的(a)和图2中的(b),以及实施例中关于图2中的(a)和图2中的(b)的介绍和说明。
一般而言,上述第二欧拉角x2可以是0°。也就是说,上述预设初始姿态可以是如图10所示的空间姿态。在智能手表300处于如图10所示的空间姿态时,若传感器的测量精度和测量准确度处于理想状态,智能手表300通过传感器采集的数据,可以确定智能手表300的预设坐标系中的xA轴与地面坐标系的X轴重合,yA轴与地面坐标系的Y轴重合,zA轴与地面坐标系的Z轴重合。但是,一般而言,传感器的测量精度或测量准确度是存在一定误差的。因此,智能手表300通过传感器采集的数据确定的智能手表300的预设坐标系与地面坐标系存在一定的角度偏差,如图10所示。
其中,智能手表300处于初始空间姿态时的第二欧拉角x2和第三欧拉角x3可以由智能手表300的生产厂商在智能手表300出厂前,预先设置在智能手表300中。
步骤(c)、智能手表300确定第一欧拉角x1相对于第三欧拉角x3的欧拉旋转矩阵C。
其中,欧拉旋转矩阵C可以是假设智能手表由第三欧拉角x3对应的空间姿态以某一固定旋转顺序,分别绕着xB轴,yB轴和zB轴旋转至第一欧拉角x1对应的空间姿态时,计算得到的旋转矩阵。例如,欧拉旋转矩阵C是智能手表由第三欧拉角x3对应的空间姿态,依次绕着xB轴,yB轴和zB轴旋转至第一欧拉角x1对应的空间姿态时,得到的旋转矩阵。或者,欧拉旋转矩阵C是智能手表由第三欧拉角x3对应的空间姿态,依次绕着xB轴,zB轴和yB轴(或者依次绕着yB轴,xB轴和zB轴,或者依次绕着yB轴,zB轴和xB轴,或者依次绕着zB轴,xB轴和yB轴,或者依次绕着zB轴,yB轴和xB轴)旋转至第一欧拉角x1对应的空间姿态时,得到的旋转矩阵。
示例性的,假设智能手表300由第三欧拉角x3对应的空间姿态变换到第一欧拉角x1对应的空间姿态,可以先绕zB轴旋转γ角度,再绕yB轴旋转β角度,最后绕xB轴旋转α角度。其中,α,β和γ可以根据第三欧拉角x3和第一欧拉角x1确定。
其中,假设智能手表300处于第三欧拉角x3对应的空间姿态时,智能手表300的预设坐标系的方向向量为
Figure BDA0002248662390000201
如图11所示,智能手表300绕zB轴旋转γ角度后,智能手表300的预设坐标系的方向向量变化为
Figure BDA0002248662390000202
如图11可知,智能手表300由方向向量
Figure BDA0002248662390000203
变化为
Figure BDA0002248662390000204
的旋转矩阵
Figure BDA0002248662390000205
Figure BDA0002248662390000206
同样的,假设智能手表300再绕yB轴旋转β角度后,可以计算得到智能手表300绕yB轴旋转β角度对应的旋转矩阵
Figure BDA0002248662390000207
假设智能手表300再绕xB轴旋转α角度,使得智能手表300处于第一欧拉角x1对应的空间姿态,可以计算得到智能手表300绕xB轴旋转α角度对应的旋转矩阵
Figure BDA0002248662390000208
那么可以计算得到,假设智能手表由第三欧拉角x3对应的空间姿态,按照欧拉旋转矩阵C=Rx(α)·Ry(β)·Rz(γ)旋转,即可旋转至第一欧拉角x1对应的空间姿态。即,x1=C·x3
步骤(d)、智能手表300计算智能手表300从第二欧拉角x2对应的空间姿态按照欧拉旋转矩阵C旋转后,得到智能手表300的空间姿态信息。
其中,智能手表300的空间姿态信息包括θ,
Figure BDA0002248662390000209
和φ(以下简称第四欧拉角x4)。
可以理解,如上所述,能手表300处于预设初始姿态时,智能手表300的预设坐标系相对于地面坐标系的实际欧拉角(即第二欧拉角x2)与智能手表300处于预设初始姿态时,智能手表300的传感器测量得到的智能手表300的预设坐标系相对于地面坐标系的欧拉角(即第三欧拉角x3)之间通常存在一定的角度偏差。例如,x2=x3+Δx。那么可以计算得到,x4=C·x2=C·(x3+Δx)。通过这样的计算,可以参考智能手表300的传感器的测量误差,确定智能手表300通过传感器测量到第一欧拉角x1时,智能手表300的实际欧拉角。
S903、智能手表300根据智能手表300的空间姿态信息确定平行于智能手表300轴向的直线。
其中,智能手表300轴向是指通过智能手表300所在平面中心点,且垂直于智能手表所在平面的直线。平行于智能手表300轴向的直线也可以是智能手表300轴向所在的直线。可以理解的是,确定了智能手表300的空间姿态信息,则可以确定智能手表300所在的平面(即智能手表300的环形所在的平面);确定了智能手表300所在的平面,则可以确定通过智能手表300所在平面,垂直于智能手表所在平面的直线,即智能手表300的轴向以及平行于智能手表300轴向的直线。
示例性的,平行于智能手表300轴向的直线可以是如图1中的(a)中的xA轴所在的直线。又如,平行于智能手表300轴向的直线还可以为图12中的(b)中所示的N1’,N2’,……或者Nk’所示的直线;其中,k为正整数,k>2。
S904、智能手表300确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置。
其中,该第一位置为平行于智能手表300轴向的直线与电视机400显示屏的交点的位置。智能手表300可以通过通信连接(如WiFi或蓝牙等)从电视机400处获取电视机显示屏的位置信息。因此,智能手表300可以根据智能手表300确定的智能手表300的空间姿态信息,以及智能手表300从电视机400处得到的电视机400的显示屏的位置信息,确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置的坐标。
其中,电视机400的显示屏的位置信息是指电视机400的显示屏在预设坐标系(如地面坐标系)内的坐标。示例性的,电视机400的显示屏的位置信息包括电视机400的显示屏的四个角在预设坐标系(如地面坐标系)内的坐标。
示例性的,在如图6所示的“切西瓜”场景中,P点为第一位置。其中,P点为沿着xA轴的直线与电视机400显示屏的交点。可以理解,图6所示的P点仅作为一种示例,P点还可以为平行于xA轴的直线N’与电视机400显示屏的交点。其中,N’可以是图12中的(b)中的任意一条直线,即N’可以是N1’,N2’,……,Nk’中的任一条。
S905、智能手表300向电视机400发送第一信息。
其中,该第一信息包括第一位置的位置信息。示例性的,第一信息可以包括第一位置的坐标。其中,第一位置的坐标是第一位置在预设坐标系(如地面坐标系)内的坐标。
在一些实施例中,上述第一信息用于电视机400在第一位置显示与场景对应的虚拟图标(如第一图标)。例如,第一图标可以是虚拟激光指针、虚拟用户、虚拟武器或虚拟工具等。其中,电视机400显示第一图标用于提醒用户当前指向电视机400显示屏的具体位置,以便用户判断是否还需控制电视机400移动该第一图标,使得第一图标显示在用户想要控制的位置。具体到如图6所示的“切西瓜”场景,示例性的,上述第一信息用于电视机400在第一位置显示用于“切西瓜”的“刀具”图标,或者显示虚拟手掌。
在一些实施例中,如图13所示,在智能手表300确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置(即S904)之后,本申请实施例提供的控制显示设备的方法还可以包括:
S1301、智能手表300接收用户的预设操作。
其中,该预设操作可以是预先配置在智能手表中的,也可以是用户自定义的。例如,该预设操作可以是用户通过旋转佩戴有智能手表300的手腕,旋转智能手表300的操作,包括顺时针旋转和逆时针旋转。在便携设备为手持终端设备(如手机)时,该预设操作可以还可以是用户手指按压便携设备的边框、触摸屏等,本申请对预设操作的具体形式不作限定。
其中,智能手表300可以通过陀螺仪传感器305A测量智能手表300的运动姿态的变化。从而确定智能手表300的旋转情况,关于陀螺仪传感器305A的工作原理和工作过程,可以参考上述中关于陀螺仪传感器305A工作原理的解释和说明,这里不再赘述。
在智能手表300接收到上述预设操作后,智能手表300执行S905,向电视机400发送的第一信息还可以包括:控制信息。该控制信息用于指示电视机400在第一位置执行第一操作。例如,该控制信息可以用于指示电视机400演示PPT、切开第一位置处显示的“西瓜”、在第一位置处左转/右转/前行/向后转、打开第一位置处显示的文件夹、或者播放第一位置处显示的音频或视频等。具体到如图6所示的“切西瓜”场景,上述控制信息用于控制电视机400在第一位置显示“西瓜”被切开的模拟视觉效果。
需要说明的是,图13是以智能手表300同时通过第一信息向电视机400发送第一位置的位置信息和预设操作对应的控制信息为例。在实际应用中,智能手表300还可以响应于智能手表300在向智能手表300发送第一位置的位置信息之后检测到的预设操作,向电视机400发送预设操作对应的控制信息。或者,智能手表300还可以响应于智能手表300在向智能手表300发送第一位置的位置信息之前检测到的预设操作,在向智能手表300发送第一位置的位置信息之后,向电视机400发送预设操作对应的控制信息。对于第一位置的位置信息和预设操作对应的控制信息的发送方式(如一起发送还是分开发送),以及智能手表300接收用户的预设操作的时机,本申请实施例不作限定。在一些实施例中,控制信息中可以包括指令操作码。指令操作码用于表示控制指令。指令操作码用于指示电视机400在第一位置执行与控制指令对应的操作(即第一操作)。具体的,电视机400的控制器可以根据来自智能手表300的控制信息中包括的指令操作码完成取指令以及产生操作控制信号,进而完成控制电视机400在第一位置执行第一操作。
需要说明的是,上述第一操作仅作为几种可能的示例,对于不同的场景,第一操作可以不同。本申请实施例对第一操作的具体形式不作限定。
示例性的,以下表1以一种表格形式介绍预设操作与控制指令的对应关系,该表格中预设操作对应的控制指令还可以是其他指令,具体可以视应用场景而定,本发明实施例对表格的形式不进行限定。
表1
第二操作 控制指令
顺时针旋转 确定
逆时针旋转 返回
按压边框 确定
单击触摸屏 返回
…… ……
需要说明的是,上述表1仅作为一种示例,并不对预设操作与控制指令的对应关系作限定。预设操作还可以是其他操作,每一种预设操作对应的控制指令还可以是其他指令,具体可以视应用场景而定。例如,预设操作还可以是顺时针旋转1次,该操作对应的控制指令可以是“确定”。或者,预设操作还可以是顺时针旋转2次,该操作对应的控制指令可以是“返回”等。或者,预设操作还可以是顺时针旋转某一度数等其他操作。
在第一信息包括控制信息的情况下,该控制信息包括智能手表300接收到的预设操作对应的控制指令(如“确定”,“返回”等)。
示例性的,在如图6所示的“切西瓜”场景中,假设预设操作为用户通过顺时针旋转佩戴有智能手表300的手腕,顺时针旋转智能手表300,该预设操作对应的控制指令为“确定”,则第一信息中包括的控制信息用于指示电视机400控制显示屏上第一位置处的“西瓜”显示被切开的视觉效果。假设预设操作为用户通过逆时针旋转佩戴有智能手表300的手腕,逆时针旋转智能手表300,该预设操作对应的控制指令为“返回”,则第一信息中包括的控制信息用于指示电视机400控制从该“切西瓜”游戏界面退出。
需要说明的是,本申请上述实施例是以图6所示的“切西瓜”场景作为示例,对本申请实施例提供的控制显示设备的方法进行介绍的,对于其他便携设备控制显示设备的场景,图9所示的方法仍然适用。
示例性的,在如图5所示的手机向电视机投屏的场景中,在手机与电视机400建立通信连接(如WiFi P2P连接)且配对成功之后,手机可以通过一个或多个传感器(如加速度传感器和陀螺仪传感器)采集手机的运动数据。然后,分析手机的运动数据,确定手机的空间姿态信息(如手机的预设坐标系相对于地面坐标系的欧拉角)。根据手机的空间姿态信息确定平行于手机轴向的直线,以及,确定平行于手机轴向的直线在电视机400显示屏上的第一位置(如第一位置的坐标)。手机向电视机400发送包括有第一位置的位置信息(如第一位置的坐标)的第一信息,用于电视机400在第一位置显示与场景对应的图标。具体到如图5所示的手机向电视机投屏的场景,上述第一信息可以用于电视机400在第一位置显示激光指针。另外,若手机接收到了预设操作,还可以通过第一信息向电视机400发送控制信息,用于指示电视机400在第一位置执行第一操作。
其中,在图5所示的手机向电视机投屏的场景中,平行于手机轴向的直线可以是如图1中的(b)中的xB轴所在的直线。又如,平行于手机轴向的直线还可以为图12中的(a)中所示的N1,N2,……或者Nk所示的直线;其中,k为正整数,k>2。手机确定的平行于手机轴向的直线在电视机400显示屏上的第一位置为如图5所示的P点,即平行于xB轴的直线N与电视机400显示屏的交点。P点还可以是图12中的(a)中的任意一条直线,即N可以是N1,N2,……,Nk中的任一条。
其中,在图5所示的手机向电视机投屏的场景中,如图5所示,P点处显示有视频播放按钮。假设手机在确定第一位置为P点时,接收到的预设操作为用户顺时针旋转手持的手机510,该预设操作对应的控制指令为“确定”,则第一信息中包括的控制信息用于指示电视机400播放第一位置的视频按钮对应的视频内容。假设手机在确定第一位置为P点时,接收到的预设操作为用户逆时针旋转手持的手机510,该预设操作对应的控制指令为“返回”,则第一信息中包括的控制信息用于指示手提电脑控制电视机400从当前视频界面退出。
示例性的,在如图7所示的虚拟旅游场景中,在智能手表300与PC 710建立通信连接(如WiFi P2P连接)且配对成功之后,智能手表300可以通过一个或多个传感器(如加速度传感器和陀螺仪传感器)采集智能手表300的运动数据。然后,分析智能手表300的运动数据,确定智能手表300的空间姿态信息(如智能手表300的预设坐标系相对于地面坐标系的欧拉角)。根据智能手表300的空间姿态信息确定平行于智能手表300轴向的直线,以及,确定平行于智能手表300轴向的直线在PC 710显示屏上的第一位置(如第一位置的坐标)。智能手表300向PC 710发送包括有第一位置的位置信息(如第一位置的坐标)的第一信息,用于PC 710在第一位置显示与场景对应的图标。具体到如图7所示的虚拟旅游场景,上述第一信息可以用于PC 710在第一位置显示虚拟用户。另外,若智能手表300接收到了预设操作,还可以通过第一信息向PC 710发送控制信息,用于指示PC 710在第一位置执行第一操作。
其中,在图7所示的虚拟旅游场景中,平行于智能手表300轴向的直线可以是如图1中的(a)中的xB轴所在的直线。又如,平行于智能手表300轴向的直线还可以为图12中的(b)中所示的N1’,N2’,……,或Nk’所示的直线;其中,k为正整数,k>2。智能手表300确定的平行于智能手表300轴向的直线在PC 710显示屏上的第一位置为如图7所示的P点,即平行于xB轴的直线与PC 710显示屏的交点。P点还可以是图12中的(b)中的任意一条直线,即N’可以是N1’,N2’,……,Nk’中的任一条。
其中,在图7所示的虚拟旅游场景中,假设智能手表300在确定第一位置为P点时,接收到的预设操作为用户通过顺时针旋转佩戴有智能手表300的手腕,将智能手表300顺时针旋转α1,该预设操作对应的控制指令为“前行”,则第一信息中包括的控制信息用于指示PC控制虚拟用户前行,控制显示屏显示虚拟用户正前方的建筑物3D景象的界面,其中0°<α1<90°。假设智能手表300在确定第一位置为P点时,接收到的预设操作为用户通过顺时针旋转佩戴有智能手表300的手腕,将智能手表300顺时针旋转α2,该预设操作对应的控制指令为“右转”,则第一信息中包括的控制信息用于指示PC控制虚拟用户右转,控制显示屏显示虚拟用户右侧的3D景象的界面,其中90°<α2<150°。假设智能手表300在确定第一位置为P点时,接收到的预设操作为用户通过逆时针旋转佩戴有智能手表300的手腕,将智能手表300逆时针旋转β1,该预设操作对应的控制指令为“左转”,则第一信息中包括的控制信息用于指示PC控制虚拟用户左转,控制显示屏上显示虚拟用户物左侧的3D景象的界面,其中0°<β1<90°。假设智能手表300在确定第一位置为P点时,接收到的预设操作为用户通过逆时针旋转佩戴有智能手表300的手腕,将智能手表300逆时针旋转β2,则控制指令为“后退”,则第一信息中包括的控制信息用于指示PC控制虚拟用户向后转,同时控制显示屏上显示虚拟用户正后方的3D景象的界面,其中0°<β2<90°。
在一些实施例中,在智能手表300分析智能手表300的运动数据,确定智能手表300的空间姿态信息(即S902)之后,智能手表300也可以将智能手表300的空间姿态信息发送给电视机400,由电视机400根据智能手表300的空间姿态信息确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置。如图14所示,在S902之后,智能手表300可以执行S1401-S1404:
S1401、智能手表300向电视机400发送智能手表300的空间姿态信息。
S1402、电视机400根据智能手表300的空间姿态信息确定平行于智能手表300轴向的直线,以及,确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置。
关于电视机400根据智能手表300的空间姿态信息确定平行于智能手表300轴向的直线,电视机400确定平行于智能手表300轴向的直线在电视机400显示屏上的第一位置,以及电视机400根据控制信息在显示屏上的第一位置执行第一操作的具体介绍,可以参考上文中的说明,这里不再赘述。
S1403、电视机400接收来自智能手表300的控制信息。
其中,该控制信息用于控制电视机400在显示屏上的第一位置执行第一操作。
在一些实施例中,控制信息中可以包括指令操作码。指令操作码用于表示控制指令。指令操作码用于指示电视机400在第一位置执行与控制指令对应的操作(即第一操作)。具体的,电视机400的控制器可以根据来自智能手表300的控制信息中包括的指令操作码完成取指令以及产生操作控制信号,进而完成控制电视机400在第一位置执行第一操作。
S1404、电视机400根据来自智能手表300的控制信息在显示屏上的第一位置执行第一操作。
关于电视机400根据控制信息在显示屏上的第一位置执行第一操作的具体介绍,可以参考上文中的说明,这里不再赘述。
可以理解的是,采用本申请实施例的控制显示设备的方法,用户不需要额外购买专用控制设备,而可以使用用户已有的、随身携带的便携设备(如图5所示的手机510、图6或者图7中的智能手表300等)实现与显示设备的互动。既减小了花费,还可以避免用户丢失或者忘记携带上述专用控制设备时,无法控制显示设备的问题。
另外,采用本申请实施例的控制显示设备的方法,可以先根据用户佩戴/手持便携设备的空间姿态信息确定平行于便携设备轴向的直线,进而确定平行于便携设备轴向的直线在显示设备显示屏上的第一位置。同时,根据用户在便携设备保持上述空间姿态时的预设操作控制显示设备执行第一操作。其中,上述平行于便携设备轴向的直线可以理解为用户保持上述空间姿态时手指的延长线,上述第一位置可以理解为用户保持上述空间姿态时手指指向显示设备显示屏上的位置。因此,用户通过顺时针旋转/逆时针旋转/按压边框/点击触摸屏等不会改变上述第一位置的预设操作,对于用户来说,不仅学习成本低,而且友好度高。另外,用户可单手完成对显示设备的控制,且操作起来更加顺手、更加自然、更加高效。
可以理解的是,便携设备和显示设备为了实现上述任一个实施例的功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以对便携设备和显示设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,以采用集成的方式划分便携设备各个功能模块的情况下,如图15所示,为本申请实施例提供的一种便携设备的结构示意图。该便携设备1500可以包括运动数据采集单元1510、分析单元1520、发送单元1530、接收单元1540和检测单元1550。
其中,运动数据采集单元1510用于支持便携设备1500执行S901,和/或用于本文所描述的技术的其他过程。分析单元1520用于支持便携设备1500执行S902、S903和S904,和/或用于本文所描述的技术的其他过程。发送单元1530用于支持便携设备1500执行S905或S1401,和/或用于本文所描述的技术的其他过程。接收单元1540用于支持便携设备1500从显示设备接收显示设备显示屏的位置信息,和/或用于本文所描述的技术的其他过程。检测单元1550用于支持便携设备1500执行S1301,和/或用于本文所描述的技术的其他过程。
比如,以采用集成的方式划分显示设备各个功能模块的情况下,如图16所示,为本申请实施例提供的一种显示设备的结构示意图。该显示设备1600可以包括接收单元1610、分析单元1620和控制单元1630。
其中,接收单元1610用于支持显示设备1600接收便携设备1500在S905发送的第一信息,接收便携设备1500在S1401发送的空间姿态信息,或接收便携设备1500在S1403发送的控制信息,和/或用于本文所描述的技术的其他过程。分析单元1620用于支持显示设备1600执行S1402,和/或用于本文所描述的技术的其他过程。控制单元1630用于支持显示设备1600执行S1404,对便携设备1500在S905发送的第一信息做出响应,和/或用于本文所描述的技术的其他过程。
在一些情况下,如图16所示,显示设备1600还可以包括:发送单元1640,用于与便携设备1500交互信息(例如向便携设备1500发送显示设备显示屏的位置信息),和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
需要说明的是,在一种可能的结构中,上述图15中所示的发送单元1530、接收单元1540,上述图16所示的接收单元1610和发送单元1640可以包括射频电路。便携设备1500或显示设备1600可以通过射频电路进行无线信号的接收和发送。通常,射频电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频电路还可以通过无线通信和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。
在一种可选的方式中,当使用软件实现数据传输时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地实现本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
结合本申请实施例所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于探测装置中。当然,处理器和存储介质也可以作为分立组件存在于探测装置中。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的用户设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种控制显示设备的方法,其特征在于,应用于便携设备,所述便携设备与显示设备之间建立了通信连接,所述方法包括:
所述便携设备通过一个或多个传感器采集所述便携设备的运动数据;
所述便携设备分析所述运动数据,确定所述便携设备的空间姿态信息;
所述便携设备的空间姿态信息包括第一欧拉角x1和第四欧拉角x4,所述便携设备分析所述运动数据,确定所述便携设备的空间姿态信息,包括:
所述便携设备分析所述运动数据,得到第一欧拉角x1
所述便携设备根据公式x4=C·x2计算得到所述第四欧拉角x4
其中,第二欧拉角x2=x3+Δx,所述第二欧拉角x2是所述便携设备处于预设初始姿态时,所述便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是所述便携设备处于预设初始姿态时,所述便携设备分析所述一个或多个传感器采集到的运动数据得到的欧拉角;所述C是所述便携设备由所述第三欧拉角x3对应的空间姿态变换至所述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;所述Δx用于表示所述便携设备处于预设初始姿态时,所述一个或多个传感器的测量误差;
所述便携设备根据所述空间姿态信息确定平行于所述便携设备轴向的直线;
所述便携设备从所述显示设备接收所述显示设备显示屏的位置信息;所述显示设备显示屏的位置信息用于指示所述显示设备显示屏在地面坐标系内的坐标;
所述便携设备根据所述显示设备显示屏在地面坐标系内的坐标,确定平行于所述便携设备轴向的直线与所述显示设备显示屏的交点,得到平行于所述便携设备轴向的直线在所述显示设备显示屏上的第一位置;
所述便携设备接收用户的预设操作;
响应于接收到所述预设操作,所述便携设备向所述显示设备发送第一信息;所述第一信息包括所述第一位置的位置信息,所述第一信息用于指示所述显示设备在所述第一位置显示第一图标;所述第一信息还包括控制信息,所述控制信息包括控制指令,所述第一信息还用于指示所述显示设备在所述第一位置执行第一操作;其中,所述便携设备中预先设置有所述预设操作与所述控制指令的对应关系,所述预设操作包括用户顺时针旋转所述便携设备、用户逆时针旋转所述便携设备、用户按压所述便携设备的边框或用户按压所述便携设备的触摸屏。
2.根据权利要求1所述的方法,其特征在于,所述第二欧拉角x2和所述第三欧拉角x3预先设置在所述便携设备中。
3.根据权利要求1或2所述的方法,其特征在于,所述第一欧拉角x1是所述便携设备分析所述便携设备的运动数据,确定的所述便携设备的预设坐标系相对于地面坐标系的欧拉角;所述欧拉角包括俯仰角θ,偏航角
Figure FDA0003418090250000011
和横滚角φ。
4.一种便携设备,其特征在于,所述便携设备与显示设备之间建立了通信连接,所述便携设备包括:
存储器,用于存储一个或多个计算机程序;
射频电路,用于进行无线电信号的发送和接收;
处理器,用于执行所述存储器存储的一个或多个计算机程序,使得所述便携设备执行:
通过一个或多个传感器采集所述便携设备的运动数据;
分析所述运动数据,确定所述便携设备的空间姿态信息;
所述便携设备的空间姿态信息包括第一欧拉角x1和第四欧拉角x4,所述便携设备分析所述运动数据,确定所述便携设备的空间姿态信息,包括:
所述便携设备分析所述运动数据,得到第一欧拉角x1
所述便携设备根据公式x4=C·x2计算得到所述第四欧拉角x4
其中,第二欧拉角x2=x3+Δx,所述第二欧拉角x2是所述便携设备处于预设初始姿态时,所述便携设备的预设坐标系相对于地面坐标系的实际欧拉角;第三欧拉角x3是所述便携设备处于预设初始姿态时,所述便携设备分析所述一个或多个传感器采集到的运动数据得到的欧拉角;所述C是所述便携设备由所述第三欧拉角x3对应的空间姿态变换至所述第一欧拉角x1对应的空间姿态时的欧拉旋转矩阵;所述Δx用于表示所述便携设备处于预设初始姿态时,所述一个或多个传感器的测量误差;
根据所述空间姿态信息确定平行于所述便携设备轴向的直线;
从所述显示设备接收所述显示设备显示屏的位置信息;所述显示设备显示屏的位置信息用于指示所述显示设备显示屏在地面坐标系内的坐标;
根据所述显示设备显示屏在地面坐标系内的坐标,确定平行于所述便携设备轴向的直线与所述显示设备显示屏的交点,得到平行于所述便携设备轴向的直线在所述显示设备显示屏上的第一位置;
接收用户的预设操作;以及,
向所述显示设备发送第一信息;所述第一信息包括所述第一位置的位置信息,所述第一信息用于指示所述显示设备在所述第一位置显示第一图标;所述第一信息还包括控制信息,所述控制信息包括控制指令,所述第一信息还用于指示所述显示设备在所述第一位置执行第一操作;其中,所述便携设备中预先设置有所述预设操作与所述控制指令的对应关系,所述预设操作包括用户顺时针旋转所述便携设备、用户逆时针旋转所述便携设备、用户按压所述便携设备的边框或用户按压所述便携设备的触摸屏。
5.根据权利要求4所述的便携设备,其特征在于,所述第二欧拉角x2和所述第三欧拉角x3预先设置在所述存储器中。
6.根据权利要求4或5所述的便携设备,其特征在于,所述第一欧拉角x1是所述便携设备分析所述便携设备的运动数据,确定的所述便携设备的预设坐标系相对于地面坐标系的欧拉角;所述欧拉角包括俯仰角θ,偏航角
Figure FDA0003418090250000021
和横滚角φ。
CN201911026126.5A 2019-10-25 2019-10-25 控制显示设备的方法及便携设备 Active CN111026314B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911026126.5A CN111026314B (zh) 2019-10-25 2019-10-25 控制显示设备的方法及便携设备
PCT/CN2020/114018 WO2021077923A1 (zh) 2019-10-25 2020-09-08 控制显示设备的方法及便携设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911026126.5A CN111026314B (zh) 2019-10-25 2019-10-25 控制显示设备的方法及便携设备

Publications (2)

Publication Number Publication Date
CN111026314A CN111026314A (zh) 2020-04-17
CN111026314B true CN111026314B (zh) 2022-03-25

Family

ID=70200111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911026126.5A Active CN111026314B (zh) 2019-10-25 2019-10-25 控制显示设备的方法及便携设备

Country Status (2)

Country Link
CN (1) CN111026314B (zh)
WO (1) WO2021077923A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026314B (zh) * 2019-10-25 2022-03-25 华为终端有限公司 控制显示设备的方法及便携设备
CN112667073B (zh) * 2020-12-21 2024-09-20 深圳市爱都科技有限公司 控制智能穿戴设备的方法、智能穿戴设备和存储介质
CN114838701B (zh) * 2021-01-30 2023-08-22 华为技术有限公司 一种获取姿态信息的方法及电子设备
CN112987924A (zh) * 2021-03-03 2021-06-18 闪耀现实(无锡)科技有限公司 用于设备交互的方法、装置、设备和存储介质
CN112987923A (zh) * 2021-03-03 2021-06-18 闪耀现实(无锡)科技有限公司 用于设备交互的方法、装置、设备和存储介质
CN113138665A (zh) * 2021-04-02 2021-07-20 深圳大学 一种基于智能手表的智能设备指向操控方法及系统
CN115967854A (zh) * 2022-12-21 2023-04-14 维沃移动通信有限公司 拍照方法、装置及电子设备
CN117523679A (zh) * 2024-01-08 2024-02-06 成都运达科技股份有限公司 一种驾驶员手势识别方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011087250A2 (en) * 2010-01-12 2011-07-21 Lg Electronics Inc. Display device and control method thereof
CN103218059A (zh) * 2012-01-19 2013-07-24 上海广电电子科技有限公司 三维遥控装置及其定位方法
CN103576901A (zh) * 2012-08-02 2014-02-12 腾讯科技(深圳)有限公司 手持电子设备对屏幕进行光标控制的实现方法及该设备
CN107102750A (zh) * 2017-04-23 2017-08-29 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
CN100347648C (zh) * 2005-02-02 2007-11-07 陈其良 方位式计算机输入装置
CN102902375A (zh) * 2012-09-24 2013-01-30 刘丹 一种基于方位和姿态工作的鼠标应用方法及装置
CN103268159B (zh) * 2013-05-22 2016-07-06 中国农业大学 基于三维空间的演示屏指针定位系统及方法
CN208027318U (zh) * 2018-04-01 2018-10-30 西北农林科技大学 一种可划线的幻灯片遥控笔
CN111026314B (zh) * 2019-10-25 2022-03-25 华为终端有限公司 控制显示设备的方法及便携设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011087250A2 (en) * 2010-01-12 2011-07-21 Lg Electronics Inc. Display device and control method thereof
CN103218059A (zh) * 2012-01-19 2013-07-24 上海广电电子科技有限公司 三维遥控装置及其定位方法
CN103576901A (zh) * 2012-08-02 2014-02-12 腾讯科技(深圳)有限公司 手持电子设备对屏幕进行光标控制的实现方法及该设备
CN107102750A (zh) * 2017-04-23 2017-08-29 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Also Published As

Publication number Publication date
CN111026314A (zh) 2020-04-17
WO2021077923A1 (zh) 2021-04-29

Similar Documents

Publication Publication Date Title
CN111026314B (zh) 控制显示设备的方法及便携设备
CN113220139B (zh) 控制大屏设备显示的方法、移动终端及第一系统
US10281981B2 (en) AR output method and electronic device for supporting the same
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
CN110986930B (zh) 设备定位方法、装置、电子设备及存储介质
CN108888959B (zh) 虚拟场景中的组队方法、装置、计算机设备及存储介质
CN110841285B (zh) 界面元素的显示方法、装置、计算机设备及存储介质
US10809710B2 (en) Method for controlling unmanned aerial vehicle and electronic device for controlling unmanned aerial vehicle
CN109166150B (zh) 获取位姿的方法、装置存储介质
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
WO2022052620A1 (zh) 图像生成方法及电子设备
CN114844977B (zh) 一种家居设备的位置标记方法、电子设备及存储介质
CN111385525B (zh) 视频监控方法、装置、终端及系统
CN114092655A (zh) 构建地图的方法、装置、设备及存储介质
CN110052030B (zh) 虚拟角色的形象设置方法、装置及存储介质
WO2022199102A1 (zh) 图像处理方法及装置
CN109767482B (zh) 图像处理方法、装置、电子设备及存储介质
CN110152309B (zh) 语音通信方法、装置、电子设备及存储介质
CN109813300B (zh) 一种定位方法及终端设备
CN111083554A (zh) 直播礼物显示的方法和装置
CN112734346B (zh) 航线覆盖范围的确定方法、装置、设备及可读存储介质
CN112365088B (zh) 行程关键点的确定方法、装置、设备及可读存储介质
CN111539794A (zh) 凭证信息的获取方法、装置、电子设备及存储介质
CN111664858A (zh) 获取道路线形的方法、装置、电子设备及存储介质
CN113359851B (zh) 控制飞行器航行的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant