CN106168850B - 用于显示屏幕的电子设备及其控制方法 - Google Patents

用于显示屏幕的电子设备及其控制方法 Download PDF

Info

Publication number
CN106168850B
CN106168850B CN201610333289.8A CN201610333289A CN106168850B CN 106168850 B CN106168850 B CN 106168850B CN 201610333289 A CN201610333289 A CN 201610333289A CN 106168850 B CN106168850 B CN 106168850B
Authority
CN
China
Prior art keywords
electronic device
inertial force
motion information
user
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610333289.8A
Other languages
English (en)
Other versions
CN106168850A (zh
Inventor
蔡尚原
李姃恩
金炯一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106168850A publication Critical patent/CN106168850A/zh
Application granted granted Critical
Publication of CN106168850B publication Critical patent/CN106168850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

公开的是一种控制电子设备的方法以及一种电子设备。所述方法可以包括:获取电子设备运动信息;执行惯性力校正,以便从所获取的运动信息中去除由惯性力造成的部分;以及显示与经惯性力校正的运动信息对应的屏幕。

Description

用于显示屏幕的电子设备及其控制方法
技术领域
本公开涉及一种用于显示屏幕的电子设备及其控制方法。
背景技术
电子设备可由用户穿戴,并且可被称为可穿戴式设备。可穿戴式设备可以包括头戴电子设备,诸如头戴式显示器(HMD)。
HMD设备可穿戴于用户身体部分(例如,用户头部)之上,并向用户提供虚拟现实环境。例如,可通过显示可实施虚拟现实的屏幕和/或各种用户界面来提供虚拟现实环境。
HMD可以感测加速度或角加速度,并且根据感测到的加速度或角加速度来显示屏幕。因此,HMD可以根据用户运动来改变和显示屏幕,并且用户可通过观察改变的屏幕来体验实际现实。同时,用户可以在穿戴HMD时登上运输装置。在这种情况下,所述运输装置可以加速。例如,当用户乘坐地铁时,地铁可以在出发时间点或到达时间点加速。运输装置加速会对运输装置的惯性系中包括的HMD施加惯性力。HMD可以感测惯性力,并且根据惯性力改变屏幕。因此,HMD可能显示用户不想要的屏幕。
发明内容
为了解决以上所论述的缺点,目标在于提供用于对惯性力进行校正的电子设备及其控制方法。
根据本公开的一个方面,提供一种电子设备控制方法。所述方法包括以下操作:获取电子设备运动信息;执行惯性力校正,以便从所获取的运动信息中去除由惯性力造成的部分;以及显示对应于经惯性力校正的运动信息的屏幕。
根据本公开的另一方面,提供一种电子设备。所述电子设备包括:显示器;处理器,电连接到显示器;存储器,电连接到处理器;以及运动信息感测模块,电连接到处理器,获取电子设备运动信息,其中存储器存储指令,当指令执行时指示处理器来执行以下操作:执行惯性力校正,以便从所获取的运动信息中去除由惯性力造成的部分;以及控制显示器来显示对应于经惯性力校正的运动信息的屏幕。
本公开的实施方式可提供一种用于对惯性力进行校正的电子设备及其控制方法。因此,当用户穿戴电子设备并且登上加速的运输装置时,电子设备可显示对应于用户所预期运动的屏幕。因此,可解决用户由于惯性力而看到非预期屏幕的问题。
在进行以下具体实施方式前,可为有利的是阐明在这篇专利文献全文中使用到的某些字词和短语的定义:术语“包括”和“包含”及其衍生词表示包括但不限于;术语“或”是包括性的,表示和/或;短语“与……关联”和“与此关联”及其衍生词可以表示包括、包括在内、与……互连、包含、包含在内、连接至或与……连接、耦合至或与……耦合、可与……通信、与……协作、交错、并置、接近、结合至或与……结合、具有……的特性等;术语“控制器”表示控制至少一个操作的任何设备、系统或其部分,这种设备以硬件、固件或软件、或者它们中至少两个的某种组合实施。应当注意,与任何特定的控制器关联的功能可为集中式或分布式的,无论本地还是远程。在这篇专利文献全文中,已提供了某些字词和短语的定义,本领域的普通技术人员应当理解,在许多情况下(即使并非在大多数的情况下),此类定义适于先前以及未来使用如此定义的字词和短语。
附图说明
为了更完全地理解本公开和本公开的优点,现将结合附图参考以下描述,其中相同参考数字代表相同部分:
图1示出根据本公开的各种实施方式的电子设备以及网络的方框图;
图2示出根据各种实施方式的电子设备的方框图;
图3示出根据各种实施方式的程序模块的方框图;
图4A示出根据本公开的实施方式的电子设备的立体图;
图4B示出根据实施方式的电子设备所进行的显示;
图4C示出用户观察到的屏幕的概念图;
图5A示出穿戴HMT设备的用户的立体图;
图5B至图5E示出根据本公开的各种实施方式的电子设备所进行的屏幕切换的概念图;
图6A至图6C示出根据本公开的各种实施方式的电子设备所进行的操作的概念图;
图7示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图8A至图8C示出根据本公开的各种实施方式的电子设备所进行的操作的概念图;
图9示出根据本公开的各种实施方式的惯性力校正方法的流程图;
图10示出根据本公开的各种实施方式的电子设备以及另一电子设备的概念图;
图11A和图11B示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图12示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图13A和图13B是示出根据本公开的各种实施方式,使用生物测定信号来进行的惯性校正的概念图;
图14示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图15示出例示根据本公开的各种实施方式的电子设备控制方法的流程图;
图16A至图16C示出根据本公开的各种实施方式的电子设备101的取向改变的概念图;
图17示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图18示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图19A和图19B示出根据本公开的各种实施方式的电子设备惯性力校正的概念图;
图20示出根据本公开的各种实施方式的电子设备控制方法的流程图;
图21A和图21B示出根据本公开的各种实施方式的电子设备的概念图;
图22示出根据本公开的各种实施方式的电子设备控制方法的流程图;以及
图23示出根据本公开的各种实施方式的电子设备的概念图。
具体实施方式
以下所论述的图1至图23以及用于在这篇专利文献中描述本公开原理的各实施方式仅是说明性的,决不应理解为限制本公开的范围。本领域技术人员将会理解,本公开的原理可以实施在任何合适布置的电子设备中。在下文中,将会参考附图描述本公开的各实施方式。然而应当理解,不希望将本公开限制于本文所公开的特定形式;相反,应将本公开理解为涵盖本公开实施方式的所有修改、等效形式和/或替代形式。在描述附图时,类似参考数字可以用来指示类似构成元件。
如本文所使用,表达“具有”、“可以具有”、“包括”或“可以包括”是指存在对应特征(例如,数字、功能、操作或构成元件(诸如组件)),但不排除一个或多个另外特征。
在本公开中,表达“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可以包括对所列条目的所有可能组合。例如,表达“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指以下所有:(1)包括至少一个A,(2)包括至少一个B,或(3)包括至少一个A和至少一个B两者。
用于本公开各种实施方式的表达“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种组件,但不考虑次序和/或重要程度,而不限制对应组件。例如,第一用户设备和第二用户设备是指示不同用户设备,但是它们两者均是用户设备。例如,在不脱离本公开的范围的情况下,第一元件可被称为第二元件,类似地,第二元件可被称为第一元件。
应当理解,当元件(例如,第一元件)被表述为(可操作地或通信地)“连接”或“耦合”到另一元件(例如,第二元件)时,它可直接连接或直接耦合到另一元件,或者两者之间可插入有任何其他元件(例如,第三元件)。相比之下,可以理解的是,当元件(例如,第一元件)被表述为“直接连接”或“直接耦合”到另一元件(例如,第二元件)时,两者之间未插入有元件(例如,第三元件)。
用于本公开的表达“被配置成”可根据情况与例如“适合用于”、“具有……的能力”、“被设计成”、“被适配成”、“被制造成”或“能够”进行互换。术语“被配置成”不一定暗示在硬件中“特定地设计成”。可替代地,在一些情况下,表达“设备被配置成”可以表示设备、连同其他设备或组件“能够”。例如,短语“适配成(或配置成)执行A、B和C的处理器”可以表示仅用于执行对应操作的专用处理器(例如,嵌入式处理器)或可通过执行存储设备中存储的一个或多个软件程序来执行对应操作的通用处理器(例如,中央处理单元(CPU)或应用处理器(AP))。
本文所使用的术语仅仅出于描述具体的实施方式目的,而不旨在限制其他实施方式的范围。单数表达可以包括复数表达,除非它们在上下文明确不同。除非另外定义,否则本文所使用的所有术语(包括技术性和科学性的术语)具有与本公开所属领域中的技术人员所公知的相同的含义。此类术语(如在常用字典中定义的那些)可解释为具有与相关领域中的语境含义等同的含义,并且不解释为具有理想或过于形式的含义,除非本公开中明确定义。在一些情况下,甚至本公开定义的术语也不应解释为排除本公开的各实施方式。
根据本公开的实施方式的电子设备可以包括以下至少一者:智能电话、平板型个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗设备、相机或可穿戴式设备。根据各实施方式,所述可穿戴式设备可以包括以下至少一者:配饰类型(例如,手表、手环、手镯、脚镯、项链、眼镜、隐形眼镜或头戴设备(HMD))、与织物或衣物集成类型(例如,电子衣物)、穿在身上类型(例如,护具或纹身)或生物植入类型(例如,可植入的电路)。
根据一些实施方式,电子设备可为家用器具。所述家用器具可以包括例如以下至少一者:电视机、数字视频光盘(DVD)播放器、音频装置、冰箱、空调、真空式吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如,Samsung
Figure GDA0002736785900000061
Apple
Figure GDA0002736785900000062
或Google
Figure GDA0002736785900000063
)、游戏机(例如,
Figure GDA0002736785900000065
Figure GDA0002736785900000064
)、电子词典、电子钥匙、摄录像机或电子相框。
根据另一实施方式,电子设备可以包括以下至少一者:各种医疗设备(例如,各种便携医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影机(MRA)、磁共振成像机(MRI)、计算机断层摄影(CT)机或超声机器)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船载电子设备(例如,船载导航设备以及陀螺罗盘)、航空电子设备、安全设备、汽车头部单元、家庭用或工业用机器人、银行中的自动柜员机(ATM)、商店中的销售点(POS),或各种事物(例如,灯泡、各种传感器、电表或气表、喷洒设备、防火警报、恒温器、街灯、多士炉、体育用品、热水槽、加热器、锅炉等)的联网设备。
根据一些实施方式,电子设备可以包括以下至少一者:家具或建筑/结构的部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如,水表、电表、气表和无线电波计)。在各实施方式中,电子设备可为以上所提到的各种设备中的一个或多个的组合。根据本公开的一些实施方式的电子设备可为柔性设备。另外,根据本公开的实施方式的电子设备并不限于以上所提到的设备,并且可以包括根据技术的发展的新型电子设备。
在下文中,将会参考附图描述根据本公开的各实施方式的电子设备。如本文所使用,术语“用户”可指使用电子设备的人或使用电子设备的设备(例如,人工智能电子设备)。
根据各种实施方式的位于网络环境100内的电子设备101将会参考图1进行描述。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160以及通信接口170。在一些实施方式中,电子设备101可以省略以上元件中的至少一个,或者可进一步包括其他元件。
总线110可以包括例如将组件110至170互连并递送通信(例如,控制消息和/或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)和/或通信处理器(CP)中的一个或多个。例如,处理器120可进行与电子设备101的至少另一元件的控制和/或通信相关的操作或数据处理。
存储器130可以包括易失性存储器和/或非易失存储器。存储器130可以存储例如与电子设备101的至少另一元件相关的指令或数据。根据一个实施方式,存储器130可以存储软件和/或程序140。程序140可以包括内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143和API 145中的至少一些可被称为操作系统(OS)。
内核141可控制或管理例如系统资源(例如,总线110、处理器120和存储器130),所述系统资源用于执行实施在其他程序(例如,中间件143、API 145和应用程序147)中的操作或功能。此外,内核141可以提供接口,中间件143、API 145或应用程序147可通过所述接口来访问电子设备101的单独元件以控制或管理系统资源。
例如,中间件143可用作中介,以便允许API 145或应用程序147与内核141通信,从而交换数据。
中间件143可以根据任务请求的优先级处理从应用程序147接收的一个或多个任务请求。例如,中间件143可向应用程序147中的至少一个分配用于使用电子设备101的系统资源(例如,总线110、处理器120、存储器130等)的优先级。例如,中间件143可以通过根据分配给任务请求的优先级来处理一个或多个任务请求来对一个或多个任务请求执行调度或负载平衡。
API 145是应用147控制从内核141或中间件143提供的功能所用的接口,并且可以包括例如用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如,指令)。
输入/输出接口150可以用作例如可将从用户或另一外部设备输入的指令或数据传送到电子设备101的另一(其他)元件的接口。此外,输入/输出接口150可将从电子设备101的另一(其他)元件接收的指令或数据输出到用户或另一外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器和电子纸显示器。显示器160可向用户显示例如各种类型内容(例如,文本、图像、视频、图标或符号)。显示器160可包括触摸屏,并且接收例如使用电子笔或用户身体部分来进行的触摸输入、姿态输入、接近输入或悬停输入。
通信接口170可以例如在电子设备101与外部设备(例如,第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如,通信接口170可通过无线或有线通信连接到网络162,以与外部设备(例如,第二外部电子设备104或服务器106)通信。
无线通信可以使用例如以下至少一者作为蜂窝通信协议:例如,长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)等。另外,无线通信可以包括例如短程通信164。短程通信164可以包括以下至少一者:例如,Wi-Fi、
Figure GDA0002736785900000081
近场通信(NFC)和全球卫星导航系统(GNSS)。GNSS可以包括以下至少一者:例如,全球定位系统(GPS)、俄罗斯全球卫星导航系统(GLONASS)、北斗卫星导航系统(下文称为“北斗”)和欧洲全球卫星导航系统(下文称为GALILEO)。在下文中,在本公开中,术语“GPS”可与术语“GNSS”互换使用。有线通信可以包括以下至少一者:例如,通用串行总线(USB)、高清晰多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话业务(POTS)。网络162可以包括以下至少一者:通信网络(诸如计算机网络(例如,LAN或WAN))、互联网和电话网络。
第一外部电子设备102和第二外部电子设备104的每者可为与电子设备101相同或不同的类型的设备。根据一个实施方式,服务器106可以包括具有一个或多个服务器的组。根据各实施方式,电子设备101中执行的操作的全部或一些可在另一电子设备或多个电子设备(例如,电子设备102或104或服务器106)中执行。根据一个实施方式,当电子设备101必须自动或响应于请求执行功能或服务时,电子设备101可以请求另一设备(例如,电子设备102或104或服务器)来执行与所述功能或服务相关的至少一些功能,而非自主或另外地执行所述功能或服务。另一电子设备(例如,电子设备102或104或服务器106)可以执行所请求的功能或者另外功能,并可将执行结果递送到电子设备101。电子设备101可按现状处理接收到的结果,或另外地,处理所述结果并且提供请求的功能或服务。为此目的,例如,可使用云计算、分布式计算或客户端-服务器计算技术。
电子设备101可以包括运动信息感测模块190,所述运动信息感测模块电连接到处理器120,并且获取电子设备120的运动信息。运动信息感测模块190可以包括以下至少一者:线性加速度传感器、陀螺仪传感器和地磁传感器,它们可以感测电子设备的线性加速度、旋转角加速度或取向信息。电子设备101可以基于来自传感器的输出值来获取电子设备101的运动信息。例如,电子设备101可以基于来自线性加速度传感器的输出值来获取电子设备101的线性加速度。电子设备101可以基于来自陀螺仪传感器的输出值来获取电子设备101的旋转角加速度。电子设备101可以基于来自陀螺仪传感器和地磁传感器中每一个的输出值来获取关于电子设备101的运动取向信息。
根据本公开的各实施方式,处理器120可以电连接到显示器160。另外,处理器120可以电连接到存储器130。存储器130可以存储用以指示处理器120执行以下操作的指令:执行惯性力校正,以便从所获取的运动信息中去除惯性力分量,并且显示对应于经惯性力校正的运动信息的屏幕。
根据本公开的各实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:获取惯性力分量。
根据本公开的各实施方式,通信模块170可以从与电子设备物理上分离的另一电子设备接收惯性力分量,并且感测所述惯性力分量。
根据本公开的各实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:通过将与惯性力对应的惯性加速度的逆矢量与对应于运动信息的加速度相加来生成校正矢量;以及控制显示器160来显示对应于所生成的校正矢量的屏幕。
根据本公开的各种实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:从用户移动电子设备时生成生物测定信号至少一个用户身体部分中获取所述生物测定信号;以及去除与在未获取到所述生物测定信号时获取的运动信息对应的惯性力分量。电子设备101可进一步包括传感器,所述传感器可以获取生物测定信号,处理器120可以从生物测定信号传感器获取生物测定信号。
根据本公开的各种实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:确定运动信息是否包括在预设范围中;以及去除与预设范围外的运动信息对应的惯性力分量。
根据本公开的各种实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:获取电子设备101的取向信息;以及去除与在未改变取向信息时获取的运动信息对应的惯性力分量。
根据本公开的各实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:将与运动信息的线性分量对应的惯性力分量去除。
根据本公开的各实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:根据运动信息的旋转分量来显示屏幕。
电子设备101可进一步包括相机模块(未示出),所述相机模块捕获电子设备的外部环境的多个图像并将多个图像输出到处理器。根据本公开的各实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:将与在未改变多个图像的相邻图像时获取的运动信息对应的惯性力分量去除。
根据本公开的各种实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:基于多个图像的相邻图像之间的差异,获取电子设备运动信息;以及控制显示器来显示对应于所获取的运动信息的屏幕。
根据本公开的各种实施方式,存储器130可进一步存储用以在指令执行时指示处理器120执行以下操作的指令:基于电子设备相对于另一电子设备的相对位置,获取电子设备运动信息;以及控制显示器来显示对应于所获取的运动信息的屏幕。
图2示出根据各种实施方式的电子设备201的方框图。电子设备201可以包括例如图1所示电子设备101的整体或部分。电子设备201可以包括至少一个应用处理器(AP)210、通信接口220、订户身份识别模块224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频接口280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可以驱动例如操作系统或应用程序来控制连接至其上的多个硬件或软件元件,并且执行各种类型的数据处理和运算。处理器210可由例如片上系统(SoC)实施。根据一个实施方式,处理器210可进一步包括图形处理单元(CPU)和/或图像信号处理器。处理器210还可包括图2所示元件中的至少一些(例如,蜂窝模块221)。处理器210可以在易失性存储器中加载从其他元件中的至少一个(例如,非易失存储器)接收的指令或数据以处理加载的指令或数据,并且可以在非易失存储器中存储各种类型数据。
通信模块220可以具有等同或类似于图1的通信接口170的配置。通信模块220可以包括例如蜂窝模块221、Wi-Fi模块223、
Figure GDA0002736785900000111
(BT)模块225、GNSS模块227(例如,GPS模块、GLONASS模块、北斗模块或GALILEO模块)、NFC模块228和射频(RF)模块229。
蜂窝接口221可以通过例如通信网络提供语音呼叫、视频呼叫、文本消息服务或互联网服务。根据一个实施方式,蜂窝模块221可以使用订户身份识别模块224(例如,SIM卡)来区分和验证通信网络内的电子设备201。根据一个实施方式,蜂窝模块221可以执行可由处理器210来提供的功能中的至少一些。根据本公开的一个实施方式,蜂窝模块221可以包括通信处理器(CP)。
Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的每个可以包括例如用于处理通过对应模块来传输/接收的数据的处理器。根据一些实施方式,蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一些(两个或更多个)可包括在一个集成芯片(IC)或IC封装中。
RF模块229可以传输/接收例如通信信号(例如,RF信号)。RF模块229可以包括例如收发器、功率放大模块(PAM)、滤频器、低噪声放大器(LNA)或天线。根据本公开的另一实施方式,蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独RF模块传输/接收RF信号。
订户身份识别模块224可以包括例如具有订户身份识别模块(SIM)和/或嵌入式SIM的卡,并且包含唯一身份识别信息(例如,集成电路卡标识符(ICCID))或订户信息(例如,国际移动订户身份(IMSI))。
存储器230(例如,存储器130)可以包括例如内存储器232或外存储器234。内存储器232可以包括例如易失性存储器(例如,动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和非易失存储器(例如,一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如,NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))中的至少一个。
外存储器234可进一步包括闪存驱动器,例如紧凑闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)、存储棒等。外存储器234可以通过各种接口来功能地和/或物理地连接到电子设备201。
传感器模块240可以测量物理量或检测电子设备201的操作状态,并且可将测量到或检测到的信息转换成电信号。传感器模块240可以包括例如以下至少之一:姿态传感器240A、陀螺仪传感器240B、气压传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、色彩传感器240H(例如,红色、绿色和蓝色(RGB)传感器)、生物测定传感器240I、温度/湿度传感器240J、光传感器240K和紫外线(UV)传感器240M。另外地或可替代地,传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、IRIS传感器和/或指纹传感器。传感器模块240可进一步包括用于控制其中所包括的至少一个传感器的控制电路。在一些实施方式中,电子设备201可进一步包括处理器,所述处理器被配置成作为处理器210的一部分或独立于处理器210,控制传感器模块240,以便在处理器210处于睡眠状态时控制传感器模块240。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、键256或超声输入设备258。触摸面板252可以使用例如电容类型、电阻类型、红外类型和超声类型中的至少一种。另外,触摸面板252可进一步包括控制电路。触摸面板252可进一步包括触觉层用以向用户提供触觉反应。
(数字)笔传感器254可以包括例如作为触摸面板的一部分或独立于触摸面板的识别板。键256可以包括例如物理按钮、光学键或小键盘。超声输入设备258可通过麦克风(例如,麦克风288)来检测输入工具所生成的超声波,并且识别对应于检测到的超声波的数据。
显示器260(例如,显示器160)可以包括面板262、全息设备264或投影仪266。面板262可以包括与图1所示显示器160的配置相同或类似的配置。面板262可实施为例如柔性、透明或可穿戴式的。面板262和触摸面板252可实施为一个模块。全息设备264可通过使用光干涉在空气中显示三维图像。投影仪266可以将光投影到屏幕上,以便显示图像。屏幕可以位于例如电子设备201的内部或外部。根据一个实施方式,显示器260可进一步包括用于控制面板262、全息设备264或投影仪266的控制电路。
接口270可以包括例如高清多媒体接口(HDMI)272、通用串行总线(USB)274、光学模块276或D-超小型(D-sub)278。接口270可被包括在例如图1所示通信接口170中。另外地或可替代地,接口270可以包括例如移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可对例如声音和电信号进行双向转换。音频模块280中的至少一些元件可被包括在例如图1所示输入/输出接口145中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息。
根据一个实施方式,能够拍摄静态图像和动态图像的相机模块291可以包括一个或多个图像传感器(例如,前传感器或后传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如,LED、氙灯等)。
电源管理模块295可以管理例如电子设备201的电源。根据一个实施方式,电源管理模块295可以包括电源管理集成电路(PMIC)、充电器IC或电池量表。PMIC可以使用有线和/或无线充电方法。无线充电方法实例可以包括例如磁共振方法、磁感应方法、电磁方法等。可进一步包括用于无线充电的另外电路(例如,线圈环路、谐振电路、整流器等)。电池量表可以测量例如电池296的剩余电量以及在充电期间的电压、电流或温度。电池296可以包括例如可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或电子设备201的一部分(例如,处理器210)的特定状态,例如,启动状态、消息状态、充电状态。电机298可将电信号转换成机械振动,并且可生成振动效果或触觉效果。虽然并未示出,但是电子设备201可以包括用于支持移动电视(TV)的处理单元(例如,GPU)。用于支持移动TV的处理单元可以根据标准(例如数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等)处理媒体数据。
根据本公开的硬件的上述组件元件中的每个可配置有一个或多个组件,并且对应组件元件名称可以基于电子设备类型而变。根据本公开的各实施方式的电子设备可以包括上述元件中的至少一个。一些元件可被省略,或者在电子设备中可进一步包括其他另外元件。另外,根据各实施方式的硬件组件的一些可组合成一个实体,这个实体可执行与相关组件在组合前的功能相同的功能。
图3示出根据本公开的各实施方式的程序模块的方框图。根据一个实施方式,程序模块310(例如,程序140)可以包括用于控制与电子设备(例如,电子设备101)相关的资源的操作系统(OS)和/或操作系统中执行的各种应用(例如,应用程序147)。操作系统可为例如
Figure GDA0002736785900000151
Samsung Bada
Figure GDA0002736785900000152
等。
程序模块310可以包括内核320、中间件330、应用编程接口(API)360和/或应用370。程序模块310中的至少一些可以预先装载在电子设备上,或者可从外部电子设备(例如,电子设备102或104,或服务器106)下载。
存储器320(例如,存储器141)可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或收集系统资源。根据一个实施方式,系统资源管理器321可以包括进程管理器、内存管理器或文件系统管理器。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可以提供应用370共同所要求的功能,或者通过API360来向应用370提供各种功能,使得应用370可有效地使用电子设备内的有限系统资源。根据一个实施方式,中间件330(例如,中间件143)可以包括例如以下至少之一:运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、软件包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352。
运行时库335可包括库模块,在应用370执行时,编译器使用库模块以便通过编程语言添加新的功能。运行时库335可以执行输入/输出管理、内存管理或用于算术函数的功能。
应用管理器341可以例如管理应用370中至少一个的寿命周期。窗口管理器342可以管理屏幕上使用的图形用户界面(GUI)资源。多媒体管理器343可以识别再现各种媒体文件所需要的格式,并且使用适合于对应格式的代码将媒体文件编码或解码。资源管理器344可以管理应用370中至少一个的资源,诸如源码、存储器或存储空间。
电源管理器345可与例如基本输入/输出系统(BIOS)一起操作以管理电池或电源,并且可以提供电子设备操作所需要的电源信息。数据库管理器346可以生成、搜索或改变将要用于应用370中的至少一个的数据库。软件包管理器347可以管理以软件包文件形式来分布的应用的安装或更新。
连接性管理器348可以管理无线连接,例如,Wi-Fi或BT。通知管理器349可以不打扰用户的方式向用户显示或通知事件,诸如到达消息、安排、接近通知等等。位置管理器350可以管理电子设备位置信息。图形管理器351可以管理提供给用户的图形效果以及与图形效果相关的用户界面。安全管理器352可以提供系统安全或用户验证所要求的所有安全功能。根据一个实施方式,当电子设备(例如,电子设备101)具有电话呼叫功能时,中间件330可进一步包括用于管理电子设备的语音呼叫功能或视频呼叫功能的电话管理器。
中间件330可以包括中间件模块,所述中间件模块形成上述元件的各种功能的组合。中间件330可以根据操作系统类型提供专用模块,以便提供不同功能。此外,中间件330可动态地移除现有元件中的一些,或可添加新的元件。
API 360(例如,API 145)是例如API编程功能集,并且可以根据OS采用不同配置。例如,在
Figure GDA0002736785900000161
Figure GDA0002736785900000162
的情况下,可为每个平台提供一个API集,而在
Figure GDA0002736785900000163
的情况下,可为每个平台提供两个或更多个API集。
应用370(例如,应用程序147)可以包括例如能够执行功能的一个或多个应用,所述功能诸如主页键371、拨号器372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、通讯录378、语音拨号器379、电子邮件380、日历381、媒体播放器382、相册383、时钟384、保健(例如,测量运动量或血糖)或环境信息(例如,大气压力、湿度、温度信息等)。
根据一个实施方式,应用370可以包括支持在电子设备(例如,电子设备101)与外部电子设备(例如,电子设备102或104)之间的信息交换的应用(为了方便描述,以下称为“信息交换应用”)。与信息交换关联的应用可以包括例如用于向外部电子设备传送特定信息的通知中继应用或用于管理外部电子设备的设备管理应用。
例如,通知中继应用可以包括以下功能:向外部电子设备(例如,电子设备102或104)传送从电子设备101的其他应用(例如,SMS/MMS应用、电子邮件应用、保健应用或环境信息应用)生成的通知信息。此外,通知中继应用可例如从外部电子设备接收通知信息并向用户提供接收到的通知信息。
设备管理应用可以管理(例如,安装、删除或更新)与电子设备通信的外部电子设备(例如,电子设备102或104,或服务器106)中的至少一个功能(例如,打开/关闭外部电子设备本身(或其一些元件)的功能,或者调节显示器的照度(或分辨率)的功能)、外部电子设备中运行的应用或外部电子设备所提供的服务(例如,呼叫服务或消息服务)。
根据一个实施方式,应用370可以包括根据外部电子设备102或104的属性指定的应用(例如,移动医疗器具上的保健应用等等)。根据一个实施方式,应用370可以包括从外部电子设备(例如,服务器106,或电子设备102或104)接收的应用。根据一个实施方式,应用370可以包括预先装载好的应用或可从服务器下载的第三方应用。根据本公开的上述实施方式,程序模块310的元件的名称可以根据OS类型进行改变。
根据本公开的示例性实施方式,程序模块310中的至少一些可以软件、固件、硬件或以上两个或更多个组合实施。程序模块310中的至少一些可以由例如处理器(例如,处理器210)实施(例如,执行)。程序模块310中的至少一些可以包括例如模块、程序、例程、指令集和/或用于执行一个或多个功能的进程。
图4A示出根据本公开的实施方式的电子设备101和电子设备102的立体图。
电子设备101可包括显示器。电子设备101可以存储虚拟现实应用。虚拟现实应用可以是能够向用户提供类似于实际现实的显示的应用。根据一个实施方式,虚拟现实应用可以基于立体方案来显示对应于用户每只眼睛的左眼图像和右眼图像。
电子设备102可为头戴影院(HMT)设备。HMT设备可以安装在用户头部上,并固定到用户头部,即使用户移动也是如此。另外,HMT设备还可固定电子设备101,并且因此用户可以观察电子设备101上显示的图像。
根据一个实施方式的电子设备102可以包括提供来穿戴在用户头部上的外壳450、固定到外壳并在对应于用户眼睛位置的区域处设置的遮眼部分(blackout part)430以及在外壳450的一个区域处设置的至少一个输入按钮421。电子设备102可以包括输入板425,其可以从用户接收触划输入。
用户可以将用户眼睛定位成紧密贴合遮眼部分430,并且因此用户可以通过从电子设备101提供的虚拟现实应用观察图像,而不受到外部光的任何干扰。
电子设备101可耦合到电子设备102。电子设备101可有线或无线地连接到电子设备102。例如,虽然电子设备101可基于USB连接到电子设备102,但这仅是举例而言,并且本领域的技术人员可容易地理解,未对连接进行限制,只要两个设备101和102之间的数据传输/接收能够通过该连接实现即可。根据另一实施方式,电子设备101可简单地物理耦合到电子设备102。
图4B示出根据实施方式的电子设备所进行的显示操作。
如图4B所示,电子设备101可以在显示器160上显示左眼图像461和右眼图像462。左眼图像461可以包括第一对象463,右眼图像462可以包括第二对象464。第一对象463可对应于左眼701,第二对象464可对应于右眼702。在图4B中,对应于左眼701与右眼702之间的距离的瞳孔距离(IPD)可为D。左眼图像461和右眼图像462可对应于用户双眼,并且可为在用户感觉到深度感时用户观察到的图像。根据本公开的各实施方式,左眼图像461和右眼图像462可以是用于虚拟现实服务的图像,并且可为配置来向用于虚拟现实服务的整个屏幕的一部分赋予三维效果的图像。
电子设备101可以显示之间存在预定距离的第一对象463和第二对象464。用户可观察到对象图像467好似存在于穿过左眼701和第一对象463的直线与穿过右眼702和第二对象464的直线的交叉点。例如,用户可观察到对象图像好似存在于与用户隔开L1的位置处。
根据一个实施方式,电子设备101可以显示具有环形形状的第一对象463和第二对象464。
图4C示出用户观察到的屏幕的概念图。如图4C所示,用户可观察到包括环形图像471的屏幕。
同时,虽然图4A至图4C示出电子设备101与用户穿戴的电子设备102分离,但这仅是举例而言,电子设备101可实施成与电子设备102成一体。
图5A示出穿戴HMT设备的用户的立体图。
用户可将外壳穿戴在头部上。另外,电子设备101可耦合到电子设备102,用户可观察显示在电子设备101的显示器上的图像。
电子设备101可分别在显示器的左侧部分和右侧部分上显示左眼图像和右眼图像。左眼图像可入射到用户左眼,右眼图像可入射到用户右眼。例如,左眼图像和右眼图像可通过双眼入射到用户整个视场。通过观察入射到双眼的图像,用户可接收虚拟现实服务。
电子设备101所执行的虚拟现实应用可以将双目图像显示在显示器上。虚拟现实应用可以根据用户或电子设备102的运动(偏航、俯仰或翻滚)来改变和显示双目图像。
电子设备102可以通过输入按钮421和/或输入板425中的至少一个接收来自用户的命令。例如,电子设备101可从电子设备102获取调焦命令或操纵命令。根据另一实施方式,用户可以将调焦命令或操纵命令直接输入到电子设备101中。
例如,当用户在输入板425的第一方向上输入触划手势时,电子设备101可以执行对应于触划手势的控制命令。
图5B至图5E示出根据本公开的实施方式的电子设备所进行的屏幕切换的概念图。
如图5B所示,用户可以在用户穿戴电子设备101的状态下看向第一方向511。电子设备101可以显示第一虚拟屏幕521的左眼图像和右眼图像,以便允许用户观察第一虚拟屏幕521。第一虚拟屏幕521可为对应于整个屏幕配置用于虚拟现实服务的部分的屏幕。同时,用户可使用户头部转向右侧方向501,并且电子设备101可以感测右侧方向501上的旋转。如图5C至图5E所示,用户可使用户头部从第一方向511向第二方向512、第三方向513和第四方向514转动。电子设备101可以感测从第一方向511到第四方向514上的旋转501。电子设备101可响应于旋转501来改变和显示第一虚拟屏幕521。例如,电子设备101可以根据第二方向512显示第二虚拟屏幕522,根据第三方向513显示第三虚拟屏幕523,并且根据第四方向514显示第四虚拟屏幕524。更确切地,电子设备101可以分别显示左眼图像和右眼图像以显示虚拟屏幕。第一虚拟屏幕521到第四虚拟屏幕524中的每个可以是用于虚拟现实服务的整个屏幕的部分屏幕。如图5B至图5E所示,第二虚拟屏幕522可为相对布置在第一虚拟屏幕521右侧的前景的屏幕,第三虚拟屏幕523可为相对布置在第二虚拟屏幕522右侧的前景的屏幕,而第四虚拟屏幕524可为相对布置在第三虚拟屏幕523右侧的前景的屏幕。因此,当用户使用户头部转向右侧方向时,用户可顺序地观察相对布置在右侧的前景。
图6A至图6C示出根据本公开的实施方式的电子设备所进行的操作的概念图。
如图6A所示,用户601可以在穿戴电子设备101时登上运输装置,诸如汽车。在这种情况下,所述运输装置可以在第一方向上加速。例如,假设所述运输装置以具有坐标为(a1,b1,c1)的矢量的加速度611加速。(a1,b1,c1)可为基于运输装置的非惯性系的预定点的坐标,并且分量可以分别指示加速度的x轴分量、y轴分量和z轴分量的大小和方向。例如,a1、b1和c1中的每个可以具有正值或负值。同时,电子设备101可包括在对应于运输装置的惯性系中,并且因此,惯性力612可施加到电子设备101。惯性力612可施加在与第一方向相反的方向。同时,惯性力612的惯性加速度可以具有与运输装置的加速度的绝对值相同的绝对值。也就是说,惯性力612的惯性加速度可以具有(-a1,-b1,-c1)的矢量值。同时,虽然图6A示出线性惯性加速度施加到电子设备101,但这仅是举例而言,旋转惯性角加速度可施加到电子设备101。
如图6B所示,电子设备101可以在显示器上显示总体图像620(诸如全景)的局部图像621。例如,如图6C所示,电子设备101可以在显示器左半侧上显示对应于第一图像621(其为局部图像)的左眼图像631,并且在显示器右半侧上显示对应于局部图像621的右眼图像632。
假设用户正在观察第一图像621,但不进行任何移动。由于用户在穿戴电子设备101时并未移动,因此电子设备101应当维持对应于第一图像621的左眼图像631和右眼图像632的显示。然而,如上所述,电子设备101可以接收到在与第一方向相反的方向的惯性力612。电子设备101的运动信息感测模块可以将惯性力612感测为用户造成的电子设备101的运动。也就是说,电子设备101可以根据惯性力612改变所显示的图像631和632。电子设备101可以通过惯性力612确定在总体图像620中将改变为第二图像622。电子设备101可以基于惯性力612的方向和大小确定第二图像622。电子设备101可显示对应于第二图像622的左眼图像641和右眼图像642。因此,即使用户601期望观察第一图像621,用户也会由于惯性力612而观察到第二图像622。
图7示出根据本公开的实施方式的电子设备控制方法的流程图。
在操作710中,电子设备101可以获取电子设备101的运动信息。电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和/或地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度和/或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。例如,电子设备101可以基于来自线性加速度传感器的输出值来获取电子设备101的线性加速度。电子设备101可以基于来自陀螺仪传感器的输出值来获取电子设备101的旋转角加速度。电子设备101可以基于来自陀螺仪传感器和地磁传感器中每个的输出值来获取关于电子设备101的运动取向信息。
在操作720中,电子设备101可对所获取的运动信息执行惯性力校正。电子设备101可以从所获取的运动信息中去除惯性力分量,并且因此,获取经惯性力校正的运动信息。根据一个实施方式,电子设备101可以获取惯性力信息,并且执行惯性力校正。根据一个实施方式,电子设备101可从包括传感器的另一电子设备接收惯性力信息,并通过使用接收到的惯性力信息来执行惯性力校正。根据一个实施方式,电子设备101可根据所获取的惯性力信息来生成逆矢量,并通过将逆矢量与所获取的运动信息相加来获取经惯性力校正的运动信息。根据一个实施方式,电子设备101可以测量生物测定信号,并通过使用测量到的生物测定信号来执行惯性力校正。根据一个实施方式,电子设备101可以确定运动信息的绝对值是否包括在预设范围内,并根据确定结果来执行惯性力校正。根据一个实施方式,电子设备101可通过将运动信息的线性分量去除来执行惯性力校正。根据一个实施方式,电子设备101可以拍摄外部环境,并通过使用拍摄到的图像来执行惯性力校正。根据一个实施方式,电子设备101可基于电子设备101的取向信息是否改变来执行惯性力校正。根据各实施方式的惯性力校正将更详细描述于下文。
在操作730中,电子设备101可通过使用经惯性力校正的运动信息来显示虚拟现实屏幕。也就是说,电子设备101可通过使用根据用户意向而获取的运动信息来显示虚拟现实屏幕。因此,用户可以在用户已登上的运输装置加速时观察预期的虚拟现实屏幕。
同时,在例如飞机中还可包括另一电子设备。在这种情况下,这个另一电子设备可向电子设备101传输信息,诸如加速度、海拔和/或地磁。电子设备101可以基于接收到的信息(诸如加速度、海拔和/或地磁)执行校正。
图8A至图8C示出根据本公开的实施方式的电子设备所进行的操作的概念图。
在图8A中,假设用户601登上类似于图6A的运输装置。另外,电子设备101可以接收类似图6A的惯性力612。如图6A所示,对应于惯性力612的惯性加速度可以具有(-a1,-b1,-c1)的矢量值。同时,用户可以在穿戴电子设备101时使用户头部转向右侧。因此,电子设备101可以感测电子设备101的运动810并且获取运动信息。在此,假设对应于运动810的加速度是(a2,b2,c2)。因此,对应于电子设备101所获取的电子设备101的运动信息的加速度可为(a2-a1,b2-b1,c2-c1),其是通过将惯性加速度(-a1,-b1,-c1)与对应于运动810的加速度(a2,b2,c2)相加而生成的。(a2-a1,b2-b1,c2-c1)被命名为相加的加速度811。例如,相加的加速度811可以是从用户向左。
电子设备101可显示对应于第一图像811的左眼图像和右眼图像。同时,电子设备101可根据相加的加速度811显示对应于第二图像812的左眼图像和右眼图像。因此,即使用户相对地使用户头部转向右侧,用户也可观察到相对布置在第一图像811左侧的第二图像812。
根据本公开的实施方式的电子设备101可以忽略对应于惯性力612的惯性加速度,并且采用与实际上被用户预期为运动信息的运动810对应的加速度。电子设备101可通过经由各种方法执行惯性力校正来获取经惯性力校正的信息,并因此显示对应于运动810的第三图像813。例如,如图8C所示,电子设备101可以改变对应于第一图像811的左眼图像821和右眼图像822,并且显示对应于第三图像813的左眼图像831和右眼图像832。
在以上描述中,电子设备101可对感测到的运动信息执行惯性力校正,并且基于经惯性力校正的运动信息显示屏幕。在下文中,将会更详细地描述电子设备101所执行的各种惯性力校正方法。
图9示出根据本公开的实施方式的惯性力校正方法的流程图。
在操作910中,电子设备101可以感测运动信息。电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。
在操作920中,传感器900可以感测惯性力。传感器900可与电子设备101在物理上分离,并包括在对应于运输装置的惯性系中。传感器900可不受到用户进行的移动电子设备101的操作影响。例如,当用户在穿戴电子设备101时执行头部旋转操作情况下,传感器900的位置不受用户操作影响。传感器900可以感测运输装置的加速度所造成的惯性力。传感器900可包括这样的传感器:诸如线性加速度传感器、陀螺仪传感器和/或地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度和/或取向信息。传感器900可以基于来自各种传感器的输出值来感测惯性力。
在操作930中,传感器900可向电子设备101传输感测到的惯性力信息。传感器900可以通过有线或无线通信向电子设备101传输感测到的惯性力信息。
在操作940中,电子设备101可通过使用接收到的惯性力信息来校正感测到的运动信息。电子设备101可通过从感测到的运动信息中去除惯性力分量来执行惯性力校正。电子设备101可通过将惯性力信息的逆矢量与感测到的运动信息相加来执行惯性力校正。例如,在图8A和图8B的实施方式中,对应于感测到的运动信息的加速度可为(a2-a1,b2-b1,c2-c1)。另外,传感器900可以感测到(-a1,-b1,-c1)的惯性加速度。电子设备101可从传感器900接收到(-a1,-b1,-c1)的惯性加速度。电子设备101可通过将惯性加速度的逆矢量(a1,b1,c1)与对应于感测到的运动信息的加速度(a2-a1,b2-b1,c2-c1)相加来获取经校正的运动信息的加速度(a2,b2,c2)。
在操作950中,电子设备101可通过使用经校正的运动信息来显示虚拟现实屏幕。因此,如图8C所示,电子设备101可以显示与经校正的运动信息的加速度(a2,b2,c2)对应的左眼图像831和右眼图像832。
图10示出根据本公开的实施方式的电子设备以及另一电子设备的概念图。
如图10所示,用户可以在穿戴电子设备101时登上运输装置。另外,用户可以在用户腕部上穿戴另一电子设备1030。虽然另一电子设备1030示为腕表型的可穿戴式电子设备,但是另一电子设备1030并不限于腕表型的可穿戴式电子设备,只要另一电子设备1030是与电子设备101物理上分离的设备且其位置不受用户运动1010影响即可。用户、电子设备101和另一电子设备1030可被包括在同一个惯性系中。
同时,运输装置可以加速,并因此惯性力可施加到运输装置内的所有对象,也就是说用户、电子设备101和另一电子设备1030。例如,第一惯性力1020可施加到电子设备101,并且第二惯性力1040可施加到另一电子设备1030。第一惯性力1020和第二惯性力1040可分别与电子设备101和另一电子设备1030的质量成比例。对应于第一惯性力1020的惯性加速度和对应于第二惯性力1030的惯性加速度可以是相同的。
用户可使用户头部在第一方向上旋转(如由参考数字1010指示)。因此,电子设备101可以感测对应于在第一方向上的旋转1010的运动信息与对应于第一惯性力1020的运动信息的总和结果。另一电子设备1030的位置不受用户运动、也就是说旋转1010影响。因此,另一电子设备1030可以感测到第二惯性力1040。另一电子设备1030可向电子设备101传输关于第二惯性力1040的信息,如由参考数字1050指示。关于第二惯性力1040的信息可以是惯性加速度或惯性加速度的逆矢量。电子设备101可通过将惯性加速度的逆矢量与感测到的运动信息的加速度相加来获取经惯性力校正的运动信息。
同时,另一电子设备1030可以实施为固定到运输装置的形式以及在该实施方式中被用户分开穿戴的形式。例如,用户可以将另一电子设备1030固定到运输装置的惯性系。可替代地,另一电子设备1030可被包括在运输装置中。例如,运输装置可以包括可感测运输装置运动信息的传感器以及可传输运输装置的感测到的运动信息的通信模块。在这种情况下,电子设备101可从运输装置接收运输装置运动信息,并通过使用所述运动信息来执行惯性力校正。当电子设备101接收到运输装置运动信息时,电子设备101可通过在不使用逆矢量情况下将对应于运输装置的运动信息的加速度与对应于电子设备101的感测到的运动信息的加速度相加来获取经惯性力校正的运动信息。这是由于以下事实造成:运输装置运动信息与惯性力具有完全相反的方向。
图11A和图11B示出根据本公开的实施方式的电子设备控制方法的流程图。
在操作1110中,电子设备101可以感测电子设备101的加速度。在操作1120中,另一电子设备可感测惯性加速度。在操作1130中,另一电子设备可向电子设备101传输感测到的惯性加速度。在操作1140中,电子设备101可通过将感测到的加速度与接收到的惯性加速度的逆矢量相加来生成经校正的矢量。经校正的矢量可为对应于用户运动的加速度。在操作1150中,电子设备101可通过使用经校正的矢量来显示虚拟现实屏幕。
同时,与图11A相反,在图11B的实施方式中,另一电子设备可传输感测到的惯性加速度的逆矢量。也就是说,另一电子设备可生成并传输惯性加速度的逆矢量。在操作1131中,另一电子设备可传输惯性加速度的逆矢量,并且在操作1141中,电子设备101可通过将感测到的加速度与接收到的逆矢量相加来生成经校正的矢量。
图12示出根据本公开的实施方式的电子设备控制方法的流程图。图12的实施方式将会参考图13A和图13B更详细地描述。图13A和图13B示出根据本公开的实施方式使用生物测定信号来进行的惯性校正的概念图。
在操作1210中,电子设备101可以感测电子设备运动信息。如上所述,电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。
在操作1220中,电子设备101可以感测生物测定信号。根据一个实施方式,电子设备101可以感测肌电图(EMG)信号。EMG信号涉及用户肌肉的电活动,并且指示通过肌肉的收缩或松弛进行的电活动。由于肌肉在神经控制下并且细微电流始终在肌肉中流动,因此,关于肌肉收缩或松弛的信息可以通过识别经过电极的电流来分析。同时,本领域的技术人员可容易地理解,如果信号可以指示肌肉运动状态以及EMG信号,那么信号类型并不存在限制。
在操作1230中,电子设备101可以基于生物测定信号确定电子设备101的感测到的运动信息是否是用户预期的。在操作1240中,电子设备101可通过使用确定结果来显示虚拟现实屏幕。
例如,电子设备101可以确定在未获取到生物测定信号时获取的运动信息作为惯性力所造成的运动信息。如图13A所示,电子设备101可以接收到惯性力612。另外,假设电子设备101显示对应于第一图像811的左眼图像和右眼图像。可感测生物测定信号的传感器1300可布置在用户颈部附近,例如,可附接到系带。因此,当用户转动用户头部时,传感器1300可以感测因肌肉的收缩和松弛而生成的生物测定信号的改变。例如,当用户并未如图13A所示转动用户头部时,传感器1300不会感测到对应于肌肉运动的生物测定信号。电子设备101可以感测电子设备101的运动信息(包括惯性力612),但会确定运动信息不对应于用户所预期的运动。也就是说,电子设备101可不处理在未感测到生物测定信号时获取的运动信息。传感器1300可被包括在电子设备可插入其中的HMT设备中,并且在这种情况下,电子设备101可无线或有线地从HMT中接收关于生物测定信号的信息。
同时,如图13B所示,用户可使用户头部转向右侧。在这种情况下,传感器1300可以感测到对应于肌肉运动的生物测定信号。电子设备101可以确定在感测到生物测定信号时获取的运动信息810作为用户所期望的运动信息。因此,电子设备101可以根据运动信息810将虚拟现实屏幕从第一图像811改变为第三图像813,并且显示对应于第三图像813的左眼图像和右眼图像。
也就是说,电子设备101可以去除在未获取到生物测定信号时获取作为惯性力所造成的部分的运动信息。
如上所述,电子设备101可以通过使用来自用户的生物测定信息来执行惯性力校正。
图14示出根据本公开的实施方式的电子设备控制方法的流程图。
在操作1410中,电子设备101可以感测电子设备101的运动信息。
在操作1420中,电子设备101可以确定感测到的运动信息范围。例如,电子设备101可以预设表1所示范围。
[表1]
电子设备状态 加速度范围
惯性加速度 a至b
由用户造成的加速度 c至d
运输装置的加速度造成的惯性加速度可被包括在例如从a至b范围内。由用户造成的加速度可以在用户转动用户头部时生成以便改变虚拟现实屏幕,并且可被包括在从c至d范围内。
在操作1430中,电子设备101可以根据感测到的运动信息范围确定电子设备的感测到的运动信息是否是用户预期的。例如,电子设备101可以识别感测到的运动的加速度的绝对值是e。当e包括在从a至b范围内时,电子设备101可以确定感测到的运动是由运输装置所造成的惯性力。另外,当e包括在从c至d范围内时,电子设备101可以确定感测到的运动是用户预期的。
在操作1440中,电子设备101可通过使用确定结果来显示虚拟现实屏幕。
如上所述,电子设备101可通过去除与预设范围外的运动信息对应的惯性力分量来执行惯性力校正。
图15示出根据本公开的实施方式的电子设备控制方法的流程图。图15的实施方式将会参考图16A和图16C更详细地描述。图16A至图16C示出根据本公开的实施方式的电子设备101的取向的改变的概念图。
在操作1510中,电子设备101可以感测电子设备运动信息。电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和/或地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度和/或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。例如,电子设备101可以基于来自线性加速度传感器的输出值来获取电子设备101的线性加速度。电子设备101可以基于来自陀螺仪传感器的输出值来获取电子设备101的旋转角加速度。电子设备101可以基于来自陀螺仪传感器和地磁传感器中每个的输出值来获取关于电子设备101的运动取向信息。取向信息可包括相对于穿过电子设备101的参考点的至少一个轴线的倾斜信息。
在操作1520中,电子设备101可以确定电子设备101的取向是否改变。电子设备101可通过确定相对于穿过电子设备101的参考点的至少一个轴线的倾斜信息是否存在时间顺序改变来确定电子设备101的取向是否改变。
在操作1530中,当确定电子设备101的取向改变时,电子设备101可以确定电子设备的感测到的运动信息是用户预期的。例如,如图16A和图16B所示,当用户在穿戴电子设备101时转动用户头部情况下,电子设备101的倾斜度可改变θ。图16B示出如从上方看的电子设备101的平面图,并且可以注意到的是,在图16B中,电子设备101的倾斜度改变θ。也就是说,电子设备101的取向可以通过用户运动进行改变。
当确定电子设备101的取向并未改变时,在操作1540中,电子设备101可以确定电子设备101的感测到的运动信息是惯性力造成的。例如,当惯性力1610在用户穿戴电子设备101的状态下(如图16C所示)施加时,电子设备101的取向并未改变。因此,电子设备101可以确定无取向信息改变的感测到的运动信息是惯性力1610造成的。
在操作1550中,电子设备101可通过使用确定结果来显示虚拟现实屏幕。例如,当确定电子设备101的取向改变时,电子设备101可以确定电子设备的感测到的运动信息是用户预期的,并且根据所述运动信息来改变和显示虚拟现实屏幕。当确定电子设备101的取向并未改变时,电子设备101可以确定电子设备101的感测到的运动信息是惯性力造成的,并且维持虚拟现实屏幕不做任何改变。
如上所述,电子设备101可通过去除与在未改变取向信息时获取的运动信息对应的惯性力分量来执行惯性力校正。
图17示出根据本公开的实施方式的电子设备控制方法的流程图。
在操作1710中,电子设备101可以感测电子设备运动信息。电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和/或地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度和/或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。
在操作1720中,电子设备101可确定感测到的运动是否是旋转。例如,电子设备101可以感测线性加速度和旋转角加速度,并且可以通过使用感测到的数据来确定所获取的运动信息是否是旋转。
当确定感测到的运动是旋转时,在操作1730中,电子设备101可以确定电子设备的感测到的运动信息是用户预期的。如图16A所示,穿戴电子设备101的用户可以转动用户头部,以便观察另一虚拟屏幕。
当确定感测到的运动不是旋转时,在操作1740中,电子设备101可以确定电子设备的感测到的运动信息是惯性力造成的。例如,当电子设备101仅仅感测到线性加速度时,如图16C所示,电子设备101可以确定感测到的运动信息是惯性力造成的。
在操作1750中,电子设备101可通过使用确定结果来显示虚拟现实屏幕。例如,当确定感测到的运动是旋转时,电子设备101可以确定电子设备的感测到的运动信息是用户预期的,并且根据所述运动信息来改变和显示虚拟现实屏幕。当确定电子设备101的感测到的运动不是旋转时,电子设备101可以确定电子设备101的感测到的运动信息是惯性力造成的,并且维持虚拟现实屏幕不做任何改变。
如上所述,电子设备101可通过去除与运动信息的线性分量对应的惯性力分量来执行惯性力校正。具体地讲,当用户登上主要执行线性加速的飞机时,惯性力校正的准确性可进一步提高。
图18示出根据本公开的实施方式的电子设备控制方法的流程图。图18的实施方式将会参考图19A和图19B更详细地描述。图19A和图19B示出根据本公开的实施方式的电子设备惯性力校正的概念图。
在操作1810中,电子设备101可以感测电子设备101的运动信息。电子设备101可包括传感器,诸如线性加速度传感器、陀螺仪传感器和/或地磁传感器,它们可以感测电子设备的各种线性加速度、旋转角加速度和/或取向信息。电子设备101可以基于来自各种传感器的输出值来获取电子设备101的运动信息。
在操作1820中,电子设备101可通过拍摄电子设备101的外部环境来获取图像。电子设备101可随时间获取多个图像。电子设备101可以包括相机模块,所述相机模块捕获外部环境的多个图像帧。可替代地,电子设备101可不包括相机模块,在这种情况下,可以从包括相机模块的另一电子设备来接收多个图像帧。
在操作1830中,电子设备101可以确定在电子设备101移动时拍摄的图像是否改变。电子设备101可通过比较多个图像帧中相邻的图像帧来确定图像是否改变。电子设备101可基于标记方案或无标记方案来确定图像是否改变。
当确定图像改变时,在操作1840中,电子设备101可以确定电子设备101的感测到的运动信息是用户预期的。
当确定图像并未改变时,在操作1850中,电子设备101可以确定电子设备的感测到的运动信息是惯性力造成的。
在操作1860中,电子设备101可通过使用确定结果来显示虚拟现实屏幕。例如,当确定图像改变时,电子设备101可以确定电子设备101的感测到的运动信息是用户预期的,并且根据所述运动信息来改变和显示虚拟现实屏幕。当确定图像并未改变时,电子设备101可以确定电子设备的感测到的运动信息是惯性力造成的,并且维持显示虚拟现实屏幕。
例如,在图19A中,电子设备101可以通过标记方案确定图像发生改变。电子设备101可以通过相机模块获取第一外部环境1910的包括标记1911的图像。在这种情况下,惯性力612可施加到电子设备101,但是电子设备101并未检测到图像改变。由于电子设备101未检测到图像改变,因此电子设备101可维持对应于第一屏幕811的左眼图像和右眼图像。
与此相反,在图19B中,电子设备101可以获取第二外部环境1920的包括标记1921的图像。用户可以通过如参考数字810指示那样旋转头部来获取不同于第一外部环境1910的第二外部环境1920。电子设备101根据第二外部环境1920的图像的标记1921的位置和第一外部环境1910的图像的标记1911的位置的改变,确定图像改变。电子设备101可以根据在图像改变时获取的运动将第一屏幕811改变为第三屏幕813,并且显示第三屏幕813。
如上所述,电子设备101可通过去除与在多个图像中相邻的图像未改变时获取的运动信息对应的惯性力分量来执行惯性力校正。
图20示出根据本公开的实施方式的电子设备控制方法的流程图。图20的实施方式将会参考图21A和图21B更详细地描述。图21A和图21B示出根据本公开的实施方式的电子设备的概念图。
在操作2010中,电子设备101可通过拍摄电子设备101的外部环境来获取图像。电子设备101可以根据时间来获取多个图像帧。电子设备101可以包括相机模块,所述相机模块捕获外部环境的多个图像帧。可替代地,电子设备101可不包括相机模块,并且在这种情况下,可以从包括相机模块的另一电子设备来接收多个图像帧。
在操作2020中,电子设备101可以确定在电子设备101移动时拍摄的图像是否改变。电子设备101可通过比较多个图像帧中相邻的图像帧来确定图像是否改变。电子设备101可基于标记方案或无标记方案来确定图像是否改变。
在操作2030中,电子设备101可通过使用已改变的图像来确定电子设备运动信息。在操作2040中,电子设备101可通过使用所确定的运动信息来显示虚拟现实屏幕。例如,在图21A中,电子设备101可以通过标记方案确定图像发生改变。电子设备101可以通过相机模块获取第一外部环境1910的包括标记1911的图像。另外,在图21B中,电子设备101可以获取第二外部环境1920的包括标记1921的图像。用户可以通过如参考数字810指示那样旋转头部来获取不同于第一外部环境1910的第二外部环境1920。电子设备101可以根据第二外部环境1920的图像的标记1921的位置和第一外部环境1910的图像的标记1911的位置的改变,获取运动信息1930。根据本公开的各实施方式,电子设备101可通过使用深度相机或飞行时间(TOF)相机来获取三维信息,并且因此获取三维运动信息。电子设备101可以根据在图像改变时获取的运动将第一屏幕811改变为第三屏幕813,并且显示第三屏幕813。
如上所述,电子设备101可设定参考点。当使用光学信息时,电子设备101可设定参考点,并且忽略在参考点未改变时测量的加速度和振动值。电子设备101可以执行初始呈现。电子设备101可以首先在存在运动时识别参考点的位置是否改变,并且在并不存在运动时维持现有图像。另外,电子设备101可以在运动小于预设阈值时通过使用头部跟踪信息执行呈现。当运动大于阈值时,电子设备101可以在相反方向上提供相同的力以偏移力,并且显示用户所期望显示在屏幕上的信息。
图22示出根据本公开的实施方式的电子设备控制方法的流程图。图22的实施方式将会参考图23更详细地描述。图23示出根据本公开的实施方式的电子设备的概念图。
在操作2210中,外部电子设备2200可向电子设备101传输外部电子设备2200的位置信息。
在操作2220中,电子设备101可以确定电子设备101相对于外部电子设备2200的相对位置。电子设备101可以确定接收到的电子设备101相对于外部电子设备2200的位置,并且因此确定相对位置。
在操作2230中,电子设备101可以根据所确定的相对位置的改变来确定电子设备101的运动信息。例如,如图23所示,电子设备101可以确定电子设备101相对于参考物2310的第一相对位置2330。参考物2310可为外部电子设备2200的位置。电子设备101可基于例如电子设备101的一个点2320与参考物2310之间的位移来确定第一相对位置2330。电子设备101可以确定电子设备101相对于参考物2310的第二相对位置2350。电子设备101可基于例如电子设备101的一个点2340与参考物2310之间的位移来确定第二相对位置2350。电子设备101可根据第一相对位置2330与第二相对位置2350之间的差异θ来确定运动信息。
在操作2240中,电子设备101可通过使用所确定的运动信息来显示虚拟现实屏幕。
根据本公开的各实施方式,一种电子设备控制方法可以包括以下操作:获取电子设备运动信息;执行惯性力校正,以便从所获取的运动信息中去除惯性力分量;以及显示对应于经惯性力校正的运动信息的屏幕。
根据本公开的各实施方式,电子设备控制方法可进一步包括以下操作:获取惯性力分量。
根据本公开的各实施方式,获取惯性力分量的操作可以包括以下操作:从与电子设备物理上分离的另一电子设备接收惯性力并且感测该惯性力。
根据本公开的各实施方式,执行惯性力校正的操作可以包括以下操作:通过将对应于惯性力的惯性加速度的逆矢量与对应于运动信息的加速度相加来生成校正矢量;以及显示对应于经惯性力校正的运动信息的屏幕的操作可以包括以下操作:显示对应于所生成的校正矢量的屏幕。
根据本公开的各种实施方式,执行惯性力校正的操作可以包括以下操作:从用户移动电子设备时生成生物测定信号的至少一个用户身体部分中获取该生物测定信号;以及去除与在未获取到生物测定信号时获取的运动信息对应的惯性力分量。
根据本公开的各种实施方式,执行惯性力校正的操作可以包括以下操作:确定运动信息是否包括在预设范围中;以及去除与预设范围外的运动信息对应的惯性力分量。
根据本公开的各实施方式,执行惯性力校正的操作可以包括以下操作:获取电子设备取向信息;以及去除与取向信息未改变时获取的运动信息对应的惯性力分量。
根据本公开的各种实施方式,执行惯性力校正的操作可以包括以下操作:将与运动信息的线性分量对应的惯性力分量去除。
根据本公开的各种实施方式,显示对应于经惯性力校正的运动信息的屏幕可以包括以下操作:根据运动信息的旋转分量来显示屏幕。
根据本公开的各种实施方式,电子设备控制方法可进一步包括以下操作:获取通过拍摄电子设备的外部环境生成的多个图像;执行惯性力校正的操作可以包括以下操作:将与多个图像的相邻图像未改变时获取的运动信息对应的惯性力分量去除。
根据本公开的电子设备的组件中的每个可以由一个或多个组件实施,并且对应组件名称可根据电子设备类型而变。在各种实施方式中,电子设备可以包括上述元件中的至少一个。上述元件中的一些可从电子设备中省略,或者电子设备可进一步包括另外元件。另外,根据本公开的各种实施方式的电子设备的组件的一些可组合以形成单个实体,因此,可等效地执行对应元件在组合之前的功能。
本公开使用的术语“模块”可指例如包括硬件、软件和固件中的一个或多个组合的单元。“模块”可与术语诸如“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可为集成组件元件的最小单元或其一部分。“模块”可为用于执行一个或多个功能或其一部分的最小单元。“模块”可以机械或电子的方式实施。例如,根据本公开的“模块”可以包括以下至少一者:专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及用于执行已知或以后将发展的操作的可编程的逻辑设备。
根据各实施方式,根据本公开的设备(例如,模块或其功能)或方法(例如,操作)中的至少一些可以通过以编程模块形式存储在计算机可读的介质中的命令实施。当命令是由一个或多个处理器(例如,处理器120)执行时,一个或多个处理器可以执行对应于命令的功能。计算机可读的存储介质例如可为存储器130。
计算机可读的记录介质可以包括硬盘、软盘、磁性介质(例如,磁带)、光学介质(例如,压缩盘只读存储器(CD-ROM)和数字通用光盘(DVD))、磁光介质(例如,光磁软盘)、硬件设备(例如,只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。另外,程序指令可以包括可通过使用解释器在计算机中执行的高级语言代码、以及编译器做出的机器代码。以上所提到的硬件设备可配置成如一个或多个软件模块那样操作,以便执行本公开的操作,反之亦然。
根据本公开的编程模块可以包括以上所提到的组件的一个或多个,或者可进一步包括其他另外组件,或者可省略以上所提到的组件中的一些。根据本公开的各实施方式的模块、编程模块或其他组件元件所执行的操作可以顺序、并行、重复或以启发式方式执行。另外,一些操作可以根据另一次序执行或者可被省略,或者可以添加其他操作。
根据本公开的各实施方式,提供具有指令存储在其中的存储介质。所述指令被配置成在所述指令执行时,指示一个或多个处理器执行一个或多个操作。所述一个或多个操作可以包括以下操作:获取电子设备运动信息;执行惯性力校正,以便从所获取的运动信息中去除由惯性力造成的部分;以及显示对应于经惯性力校正的运动信息的屏幕。
虽然本公开已结合示例性实施方式进行描述,但是本领域的技术人员也可提出各种的改变和修改。预期的是,本公开涵盖了落入随附权利要求书范围内的改变和修改。

Claims (14)

1.一种控制电子设备的方法,包括:
获取电子设备的运动信息和通过拍摄所述电子设备的外部环境生成的多个图像;
执行惯性力校正,从所获取的运动信息中去除惯性力分量;以及
显示与经惯性力校正的运动信息对应的屏幕,
其中,执行惯性力校正包括:去除与所述多个图像中相邻图像未改变时获取的运动信息对应的惯性力分量。
2.如权利要求1所述的方法,进一步包括:获取惯性力。
3.如权利要求2所述的方法,其中,获取惯性力包括:从与所述电子设备物理上分离的另一电子设备接收所述惯性力以及感测所述惯性力。
4.如权利要求1所述的方法,其中,执行惯性力校正包括:通过将对应于惯性力的惯性加速度的逆矢量与对应于所获取的运动信息的加速度相加而生成校正矢量,
显示与经惯性力校正的运动信息对应的屏幕包括:显示与所生成的校正矢量对应的屏幕。
5.如权利要求1所述的方法,其中,执行惯性力校正包括:
当用户移动所述电子设备时,从至少一个用户身体部分获取生物测定信号;以及
去除与未获取到生物测定信号时获取的运动信息对应的惯性力分量。
6.如权利要求1所述的方法,其中,执行惯性力校正包括:
确定所获取的运动信息是否包括在预设范围中;以及
去除与所述预设范围外的运动信息对应的惯性力分量。
7.如权利要求1所述的方法,其中,执行惯性力校正包括:
获取所述电子设备的取向信息;以及
去除与取向信息未改变时获取的运动信息对应的惯性力分量。
8.如权利要求1所述的方法,其中,执行惯性力校正包括:去除与所获取的运动信息的线性分量对应的惯性力分量。
9.如权利要求8所述的方法,其中,显示与经惯性力校正的运动信息对应的屏幕包括:根据所获取的运动信息的旋转分量来显示屏幕。
10.一种电子设备,包括:
显示器;
相机;
处理器,电连接至所述显示器;以及
运动信息感测模块,电连接至所述处理器,配置成获取所述电子设备的运动信息,
其中所述处理器配置成:
获取通过以所述相机拍摄所述电子设备的外部环境生成的多个图像,执行惯性力校正,从所获取的运动信息中去除惯性力分量,以及控制所述显示器显示与经惯性力校正的运动信息对应的屏幕,
其中所述处理器配置成:去除与所述多个图像中相邻图像未改变时获取的运动信息对应的惯性力分量。
11.如权利要求10所述的电子设备,其中所述处理器配置成获取惯性力。
12.如权利要求11所述的电子设备,进一步通信模块,所述通信模块配置成从与所述电子设备物理上分离的另一电子设备接收所述惯性力,其中所述另一电子设备感测所述惯性力。
13.如权利要求10所述的电子设备,其中所述处理器配置成:
通过将对应于惯性力的惯性加速度的逆矢量与对应于所获取的运动信息的加速度相加而生成校正矢量;以及控制所述显示器显示与所生成的校正矢量对应的屏幕。
14.如权利要求10所述的电子设备,其中所述处理器配置成:
当用户移动所述电子设备时,从至少一个用户身体部分获取生物测定信号;以及去除与未获取到生物测定信号时获取的运动信息对应的惯性力分量。
CN201610333289.8A 2015-05-20 2016-05-19 用于显示屏幕的电子设备及其控制方法 Active CN106168850B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150070454A KR102336879B1 (ko) 2015-05-20 2015-05-20 화면을 표시하는 전자 장치, 그 제어 방법
KR10-2015-0070454 2015-05-20

Publications (2)

Publication Number Publication Date
CN106168850A CN106168850A (zh) 2016-11-30
CN106168850B true CN106168850B (zh) 2021-02-23

Family

ID=56081263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610333289.8A Active CN106168850B (zh) 2015-05-20 2016-05-19 用于显示屏幕的电子设备及其控制方法

Country Status (4)

Country Link
US (1) US10217435B2 (zh)
EP (1) EP3104254A3 (zh)
KR (1) KR102336879B1 (zh)
CN (1) CN106168850B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292040B (zh) * 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
US10579162B2 (en) * 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US11032532B2 (en) * 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590536B1 (en) * 2000-08-18 2003-07-08 Charles A. Walton Body motion detecting system with correction for tilt of accelerometers and remote measurement of body position
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
JP2012119944A (ja) * 2010-12-01 2012-06-21 Panasonic Corp モバイル機器補正システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7247970B2 (en) * 2004-07-02 2007-07-24 Seiko Epson Corporation Drive method for piezoelectric actuator, drive apparatus for piezoelectric actuator, electronic device, control program for drive apparatus for piezoelectric actuator, and recording medium
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
JPWO2006028013A1 (ja) 2004-09-07 2008-05-08 ソフトバンクモバイル株式会社 加速度推定方法、加速度推定装置及び移動端末装置
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US8010308B1 (en) * 2007-11-23 2011-08-30 Microstrain, Inc. Inertial measurement system with self correction
JP5083887B2 (ja) * 2007-12-05 2012-11-28 Kddi株式会社 情報端末装置
DE102008060301B4 (de) * 2008-12-03 2012-05-03 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kraftschlüssigen Verbinden von glasartigen Bauteilen mit Metallen sowie Computerprogramm und maschinenlesbarer Träger zur Durchführung des Verfahrens
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
KR20100080045A (ko) * 2008-12-31 2010-07-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100091807A (ko) * 2009-02-11 2010-08-19 주식회사 아이리버 관성센서를 구비한 휴대용 멀티미디어 단말기 및 이를 이용한 명령 입력 방법
KR101079925B1 (ko) 2010-04-19 2011-11-04 서경대학교 산학협력단 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템
US20120119944A1 (en) * 2010-05-30 2012-05-17 Trimble Navigation Limited Gnss atmospheric estimation with ambiguity fixing
US20120176413A1 (en) * 2011-01-11 2012-07-12 Qualcomm Incorporated Methods and apparatuses for mobile device display mode selection based on motion direction
US20120249587A1 (en) 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
JPWO2013145223A1 (ja) * 2012-03-29 2015-12-10 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
CN103515375B (zh) * 2012-06-18 2016-01-20 京东方科技集团股份有限公司 阵列基板及其制造方法、以及显示装置
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR20150006128A (ko) 2013-07-08 2015-01-16 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590536B1 (en) * 2000-08-18 2003-07-08 Charles A. Walton Body motion detecting system with correction for tilt of accelerometers and remote measurement of body position
JP2012119944A (ja) * 2010-12-01 2012-06-21 Panasonic Corp モバイル機器補正システム
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Simulations of flame acceleration and deflagration-to-detonation transitions in methane–air systems;D.A. Kessler et al.;《Combustion and Flame》;20100513;第157卷(第11期);全文 *
惯性/景象匹配组合导航系统的误差校正研究;屈重君 等;《电光与控制》;20080430;第15卷(第4期);全文 *

Also Published As

Publication number Publication date
US10217435B2 (en) 2019-02-26
EP3104254A3 (en) 2017-02-22
KR102336879B1 (ko) 2021-12-08
KR20160136646A (ko) 2016-11-30
EP3104254A2 (en) 2016-12-14
CN106168850A (zh) 2016-11-30
US20160343344A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
US10281981B2 (en) AR output method and electronic device for supporting the same
CN107257954B (zh) 用于提供屏幕镜像服务的设备和方法
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
EP3293723A1 (en) Method, storage medium, and electronic device for displaying images
KR20170085317A (ko) 디스플레이 제어 방법 및 이를 사용하는 전자 장치
EP3367664A1 (en) Photographing method using external electronic device and electronic device supporting the same
US11159782B2 (en) Electronic device and gaze tracking method of electronic device
US10916049B2 (en) Device and method for rendering image
KR20170010638A (ko) 신호를 측정하는 방법 및 그 전자 장치
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
KR102319802B1 (ko) 도킹에 의한 기능 확장 방법 및 이를 위한 전자 장치
US20190354186A1 (en) Electronic device and method for controlling actuator by utilizing same
US11132537B2 (en) Electronic device for determining position of user based on image pixels, and method of controlling said device
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
US20190349562A1 (en) Method for providing interface for acquiring image of subject, and electronic device
CN106168850B (zh) 用于显示屏幕的电子设备及其控制方法
KR20170079610A (ko) 전자 장치 및 그의 동작 방법
KR102514730B1 (ko) 데이터와 시간 정보를 연관시키는 방법 및 장치
CN109845251B (zh) 用于显示图像的电子设备和方法
EP3591514A1 (en) Electronic device and screen image display method for electronic device
US20180134385A1 (en) Electronic device and method for controlling moving device using the same
KR102513586B1 (ko) 전자 장치 및 전자 장치의 오디오 출력 방법
KR102568387B1 (ko) 전자 장치 및 그의 데이터 처리 방법
US11210828B2 (en) Method and electronic device for outputting guide
US10818075B2 (en) Content output method and electronic device for supporting same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant