CN107665485A - 用于显示图形对象的电子装置和计算机可读记录介质 - Google Patents

用于显示图形对象的电子装置和计算机可读记录介质 Download PDF

Info

Publication number
CN107665485A
CN107665485A CN201710513409.7A CN201710513409A CN107665485A CN 107665485 A CN107665485 A CN 107665485A CN 201710513409 A CN201710513409 A CN 201710513409A CN 107665485 A CN107665485 A CN 107665485A
Authority
CN
China
Prior art keywords
picture frame
drawing object
electronic installation
feature point
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710513409.7A
Other languages
English (en)
Other versions
CN107665485B (zh
Inventor
韩万洙
南宫銂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107665485A publication Critical patent/CN107665485A/zh
Application granted granted Critical
Publication of CN107665485B publication Critical patent/CN107665485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于显示图形对象的电子装置和计算机可读记录介质。该电子装置可包括相机、显示器和处理器，处理器被配置为控制显示器显示通过相机获取的第一图像帧，基于第一图像帧的多个第一特征点来确定要显示在显示器上的至少一个图形对象，基于通过相机获取的第二图像帧的多个第二特征点的位置以及所述多个第一特征点的位置来确定要显示的所述至少一个图形对象在第二图像帧中的位置，基于所确定的位置将所述至少一个图形对象和第二图像帧组合，并且控制显示器显示所组合的图形对象和第二图像帧。

Description

用于显示图形对象的电子装置和计算机可读记录介质
技术领域
本公开总体上涉及用于显示图形对象的电子装置。
背景技术
通常，虚拟现实(VR)是指在具有与真实世界相似的环境的计算机图形中实现的环境或情境，并且对应于允许用户通过他/她的感官来感觉环境的接口并使得用户感觉就像正在进行实际交互一样。用户可通过装置的控制来与虚拟现实实时交互，并且可具有与在真实世界中相似的感官体验。
另外，增强现实(AR)是虚拟现实的一个领域，是指将真实环境与虚拟对象或信息组合并使得对象看起来像存在于原始环境中的对象的计算机图形方案。AR对应于显示叠加在通过用户的眼睛观看的真实世界上的虚拟对象的技术，也称为混合现实(MR)，因为附加信息和虚拟世界被增加到真实世界并且仅显示一个图像。
另外，最近，很容易通过支持虚拟现实服务的电子装置在诸如教育、游戏、导航、广告或博客的领域中的各种服务中频频访问虚拟现实技术。
此外，近来，已开发出可耦合至显示装置的头戴式装置(HMD)以支持虚拟现实服务。
支持虚拟现实服务的电子装置执行这样的处理：通过分析通过经由相机感测外部环境而获取的图像帧来生成虚拟图形对象，将所生成的图形对象与图像帧组合，并且将组合的图形对象和图像帧显示在显示器上。
然而，存在用于分析图像帧和生成图形对象的计算时间变长的问题。因此，当HMD提供虚拟现实服务时，运动到图像(motion-to-photon)延迟变长，这使得用户感觉晕眩。换言之，由于用户在穿戴HMD的同时移动他/她的头部的时间点与用户视觉上识别在对应时间点输出到显示器的图像的时间点之间产生时间差，因此用户由于运动信息与视觉信息之间的不匹配而感觉晕眩。
发明内容
根据本公开的示例方面，提供一种用于显示图形对象的电子装置。该电子装置包括：相机；显示器；和处理器，其被配置为控制显示器显示通过相机获取的第一图像帧，基于第一图像帧的多个第一特征点确定要显示在显示器上的至少一个图形对象，基于通过相机获取的第二图像帧的多个第二特征点的位置以及多个第一特征点的位置来确定要显示的至少一个图形对象在第二图像帧中的位置，基于所确定的位置将至少一个图形对象和第二图像帧组合，并且控制显示器显示所组合的图形对象和第二图像帧。
根据本公开的另一示例方面，提供一种记录有将在计算机上执行的程序的非暂时性计算机可读记录介质。该程序包括可执行指令，所述指令在被处理器执行时使得处理器执行操作。所述操作包括：显示所获取的第一图像帧、基于第一图像帧的多个第一特征点确定要显示的至少一个图形对象；基于所获取的第二图像帧的多个第二特征点的位置和多个第一特征点的位置来确定要显示的至少一个图形对象在第二图像帧中的位置；基于所确定的位置将至少一个图形对象和第二图像帧组合；以及显示所组合的至少一个图形对象与第二图像帧。
根据本公开的另一示例方面，提供一种用于显示图形对象的电子装置。该电子装置包括：相机；显示器；和处理器，其被配置为控制显示器显示通过相机获取的第一图像帧，基于第一图像帧的至少一个对象的第一信息确定要显示在显示器上的至少一个图形对象，基于第一信息以及通过相机获取的第二图像帧的至少一个对象的第二信息来确定要显示的至少一个图形对象在第二图像帧中的位置，基于所确定的位置将至少一个图形对象和第二图像帧组合，并且控制显示器显示所组合的图形对象和第二图像帧。
根据本公开的各种示例实施例，一种提供虚拟现实服务的电子装置可减小运动到图像延迟，因此为用户提供更便利的观看环境。
附图说明
本公开的以上和其它方面、特征以及随之而来的优点将更显而易见并且从以下结合附图的详细描述容易地理解，附图中相似的标号指代相似的元件，并且其中：
图1是示出包括根据本公开的各种示例实施例的电子装置的网络环境的示图；
图2是示出根据本公开的各种示例实施例的示例电子装置的框图；
图3是示出根据本公开的各种示例实施例的示例程序模块的框图；
图4是示出根据本公开的各种示例实施例的电子装置显示图形对象的示例方法的流程图；
图5是示出根据本公开的各种示例实施例的电子装置显示图形对象的示例方法的示图；
图6A、图6B和图6C是示出根据本公开的各种示例实施例的电子装置从图像帧示例提取特征点的示图；
图7是示出根据本公开的各种示例实施例的电子装置识别对象的示例方法的示图；
图8是示出根据本公开的各种示例实施例的电子装置确定图形对象的显示位置的示例方法的流程图；
图9是示出根据本公开的各种示例实施例的电子装置比较图像帧之间的多个特征点的位置的示例方法的示图；
图10是示出根据本公开的各种示例实施例的电子装置计算运动矢量的示例方法的示图；
图11A和图11B是示出根据本公开的各种示例实施例的电子装置分析图像帧的时间点的示图；
图12是示出根据本公开的各种示例实施例的示例HMD的示图；
图13是示出根据本公开的各种示例实施例的电子装置显示图形对象的示例方法的流程图；以及
图14是示出根据本公开的各种示例实施例的电子装置确定图形对象的显示位置的示例方法的流程图。
具体实施方式
以下，将参照附图描述本公开的各种示例实施例。本文中所使用的实施例和术语并非旨在将本文所公开的技术限于特定形式，应该被理解为包括对对应实施例的各种修改、等同物和/或替代物。在描述附图时，可使用相似的标号来指代相似的构成元件。单数表达可包括复数表达，除非它们在上下文中明确地不同。如本文所用，除非上下文清楚地另外指示，否则单数形式也可包括复数形式。本公开的各种实施例中所使用的表达“第一”或“第二”可修饰各种组件而不管顺序和/或重要性，但是不限制对应组件。当元件(例如，第一元件)被称作“(在功能上或通信上)连接”或“直接耦合”至另一元件(第二元件)时，该元件可直接连接至所述另一元件或者通过另外的元件(例如，第三元件)连接至所述另一元件。
就硬件或软件而言，本公开的各种实施例中所使用的表达“被配置为”可根据情况与例如“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制成”或“能够”互换使用。另选地，在一些情境下，表达“被配置为……的装置”可表示该装置与其它装置或组件一起“能够……”的情境。例如，短语“适于(或被配置为)执行A、B和C的处理器”可表示例如用于执行对应操作的专用处理器(例如，嵌入式处理器)或者可通过执行存储在存储器装置中的一个或更多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
根据本公开的各种实施例的电子装置可包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book阅读器)、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗装置、相机和可穿戴装置等中的至少一个，但不限于此。根据各种实施例，可穿戴装置可包括配饰型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成型(例如，电子服装)、体表型(例如，皮肤垫(skin pad)或纹身)和生物可植入型(例如，可植入电路)等中的至少一个，但不限于此。在一些实施例中，电子装置可包括例如电视、数字视频盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子字典、电子钥匙、摄像机和电子相框等中的至少一个，但不限于此。
在其它实施例中，电子装置可包括各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机器和超声机器)、导航装置、全球定位系统(GPS)接收器、行车记录仪(EDR)、飞行数据记录仪(FDR)、车载娱乐信息装置、船用电子装置(例如，船用导航装置和陀螺罗盘)、航空电子设备、安全装置、汽车头单元、家用或工业用机器人、银行中的自动柜员机(ATM)、商店中的销售点(POS)或者物联网装置(例如，灯泡、各种传感器、电表或燃气表、喷洒器装置、火警报警器、温控器、路灯、烤面包机、体育用品、热水罐、加热器、锅炉等)等中的至少一个，但不限于此。根据一些实施例，电子装置可包括家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪以及各种类型的测量仪器(例如，水表、电表、燃气表、无线电波表等)等中的至少一个，但不限于此。在各种实施例中，电子装置可为柔性的，或者可以是上述各种装置中的一个或更多个的组合。根据本公开的一个实施例的电子装置不限于上面所述的装置。在本公开中，术语“用户”可指示使用电子装置的人或者使用电子装置的装置(例如，人工智能电子装置)。
参照图1，将描述根据各种示例实施例的网络环境100内的电子装置101。电子装置101可包括总线110、处理器(例如，包括处理电路)120、存储器130、输入/输出接口(例如，包括输入/输出电路)150、显示器160和通信接口(例如，包括通信电路)170。在一些实施例中，电子装置101可省略至少一个元件，或者还可包括其它元件。
总线110可包括例如将元件110至170互连并在元件之间传送通信(例如，控制消息或数据)的电路。
处理器120可包括诸如(例如但不限于)专用处理器、中央处理单元、应用处理器和通信处理器(CP)中的一个或更多个的各种处理电路。处理器120可执行例如与电子装置101的至少一个其它元件的控制和/或通信有关的操作或数据处理。
存储器130可包括易失性和/或非易失性存储器。存储器130可存储例如与电子装置101的至少一个其它元件有关的指令或数据。根据实施例，存储器130可存储软件和/或程序140。程序140可包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可被称作操作系统(OS)。内核141可控制或管理用于执行由其它程序(例如，中间件143、API 145或应用147)实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。另外，内核141可提供接口，中间件143、API 145或应用程序147可通过该接口来访问电子装置101的各个元件以控制或管理系统资源。
中间件143可用作例如允许API 145或应用程序147与内核141通信以交换数据的中介。另外，中间件143可根据其优先级来处理从应用程序147接收的一个或更多个任务请求。例如，中间件143可向一个或更多个应用程序147指派使用电子装置101的系统资源(例如，总线110、处理器120、存储器130等)的优先级，并且可处理一个或更多个任务请求。API145是应用147用来控制从内核141或中间件143提供的功能的接口，并且可包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。例如，输入/输出接口150可将从用户或外部装置输入的指令或数据转发给电子装置101的其它元件，或者可将从电子装置101的其它元件接收的指令或数据输出给用户或外部装置。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器等，但不限于此。显示器160可为用户显示例如各种类型的内容(例如，文本、图像、视频、图标和/或符号)。显示器160可包括触摸屏并且可接收例如使用电子笔或用户的身体部位的触摸、手势、接近或悬停输入。
通信接口170可包括各种通信电路并且配置例如电子装置101与外部装置(例如，第一外部电子装置102、第二外部电子装置104或服务器106)之间的通信。例如，通信接口170可通过无线或有线通信连接至网络162以与外部装置(例如，第二外部电子装置104或服务器106)通信。另外，通信接口170可通过短距离无线通信164与第一电子装置102连接。
无线通信可包括例如使用LTE、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少一个的蜂窝通信。根据实施例，无线通信可包括例如Wi-Fi、蓝牙、低功耗蓝牙(BLE)、ZigBee、近场通信(NFC)、磁安全传输、射频(RF)和体域网(BAN)中的至少一个。根据实施例，有线通信可包括GNSS。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称作“北斗”)或伽利略(基于欧洲全球卫星的导航系统)。以下，在本文档中，术语“GPS”可与术语“GNSS”互换。有线通信可包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信和简易老式电话服务(POTS)中的至少一个。网络162可包括电信网络，例如计算机网络(例如，LAN或WAN)、互联网和电话网络中的至少一个。
第一外部电子装置102和第二外部电子装置104中的每一个可为与电子装置101相同或不同的类型。根据各种实施例，在电子装置101中执行的所有或一些操作可在另一电子装置或多个电子装置(例如，电子装置102和104或者服务器106)中执行。根据实施例，当电子装置101必须自动地或者响应于请求执行一些功能或服务时，电子装置101可向另一装置(例如，电子装置102或104或者服务器106)请求执行与之有关的至少一些功能，而不是独自或与其共同执行功能或服务。另一电子装置(例如，电子装置102或104或者服务器106)可执行所请求的功能或附加功能，并且可将执行结果传送给电子装置101。电子装置101可没有改变地提供所接收的结果，或者可另外处理所接收的结果以提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。
根据本公开的各种实施例，可包括相机(例如，相机模块)(未示出)，并且处理器120可控制显示器160显示通过相机获取的外部环境的图像。另外，处理器120可在通过相机获取的图像上显示图形对象。例如，通过显示器160显示的图像可以是三维图像，图形对象也可以是三维图形对象。
处理器120可确定要显示在图像上的图形对象，渲染所确定的图形对象，并将图形对象显示在图像上。例如，处理器120可将图像和图形对象组合并显示它们，使得图形对象被叠加在图像上。图形对象可以是由处理器120生成的虚拟图形对象，而非包括在通过相机感测的外部环境的图像中的对象。
根据本公开的各种实施例，处理器120可控制显示器160显示通过相机获取的第一图像帧。第一图像帧可以是用于确定是否显示图形对象的图像帧。例如，第一图像帧可以是在相机感测外部环境之后首先获取的图像帧或者在确定将被显示的图形对象之前获取的图像帧。如上所述，第一图像帧可在处理器120确定是否显示图形对象之前获取，并且可用于确定是否显示图形对象。处理器120可控制显示器160显示第一图像帧而不管确定是否显示图形对象的操作，因此减小由确定是否显示图形对象所花费的时间导致的显示第一图像帧的操作所生成的延迟。
根据本公开的各种实施例，处理器120可基于第一图像帧的多个第一特征点来确定要显示在显示器160上的至少一个图形对象。处理器120可从第一图像帧提取多个第一特征点。
例如，处理器120可基于第一图像帧的像素值的分布提取边缘区域或角点区域作为特征点。根据本公开的各种实施例，处理器120可通过Harris角点方案、尺度不变特征变换(SIFT)方案或加速分段测试特征提取(FAST)方案来从第一图像帧提取特征点。然而，这仅是用于描述的示例，可应用提取特征点的各种技术。
处理器120可基于所提取的多个第一特征点在第一图像帧内识别至少一个对象。例如，处理器120可通过将各种预存储的对象的特征点与所提取的多个第一特征点进行比较来在第一图像帧内识别至少一个对象。另外，处理器120可通过将多个第一特征点提取的区域的像素值与各种预存储的对象的像素值进行比较来在第一图像帧内识别至少一个对象。然而，这仅是用于描述的示例，可应用在图像帧内识别对象的各种技术。
处理器120可基于所识别的至少一个对象来确定要显示在显示器160上的至少一个图形对象。例如，处理器120可在存储在存储器130中的多个图形对象中标识与所识别的至少一个对象对应的至少一个图形对象，并且将所标识的至少一个图形对象确定为要显示在显示器160上的至少一个图形对象。对象与图形对象之间的对应关系可由用户设定。例如，当识别出特定对象时，用户可执行设定以显示特定图形对象。
另外，处理器120可通过外部服务器来标识与所识别的至少一个对象对应的至少一个图形对象，并且将所标识的至少一个图形对象确定为要显示在显示器160上的至少一个图形对象。
当标识与所识别的至少一个对象对应的至少一个图形对象时，处理器120可确定显示图形对象。
另外，当没有标识与所识别的至少一个对象对应的至少一个图形对象时，处理器120可确定不显示图形对象。然而，即使当没有标识与所识别的至少一个对象对应的至少一个图形对象时，处理器120也可确定显示图形对象。在这种情况下，处理器120可自己生成图形对象并将所生成的图形对象确定为要显示在显示器160上的至少一个图形对象。
如上所述，处理器120可基于在第一图像帧内所识别的至少一个对象来确定是否显示图形对象，并且将与所述至少一个对象对应的至少一个图形对象确定为要显示在显示器160上的至少一个图形对象。另外，处理器120可确定至少一个图形对象并且确定要显示的至少一个图形对象在第一图像帧中的位置。例如，处理器120可基于所识别的至少一个对象的位置来确定要显示的至少一个图形对象的位置。
根据本公开的各种实施例，基于通过相机获取的第二图像帧的多个第二特征点的位置以及多个第一特征点的位置，处理器120可确定要显示的至少一个图形对象在第二图像帧中的位置。第二图像帧可以是在获取第一图像帧之后获取的图像帧。例如，第二图像帧可以是在确定至少一个图形对象之后通过相机获取的至少一个图像帧中最近获取的图像帧。例如，直至处理器120基于多个第一特征点确定要显示在显示器上的至少一个第一图形对象，处理器120可在时间点t获取第n图像帧，并且当在时间t+1获取第n+1图像帧时，第二图像帧可以是所获取的第n+1图像帧。
处理器120可从第二图像帧提取多个第二特征点。处理器120可通过比较多个第一特征点的位置和多个第二特征点的位置来确定要显示的至少一个图形对象在第二图像帧中的位置。
例如，处理器120可通过比较多个第一特征点的位置和多个第二特征点的位置来计算(例如，确定)第一图像帧与第二图像帧之间的运动矢量。计算运动矢量的详细方法将在下面描述。
处理器120可基于所计算的运动矢量来确定要显示的至少一个图形对象在第二图像帧中的位置。例如，处理器120可通过基于运动矢量移动第一帧中的至少一个图形对象的显示位置来确定要显示的至少一个图形对象在第二图像帧中的位置。
根据本公开的各种实施例，电子装置101可包括用于感测电子装置101的朝向的传感器(未示出)。传感器可包括惯性测量单元(IMU)传感器(例如，陀螺仪传感器240B和加速度传感器240E)。电子装置101可基于通过传感器获取的感测值来感测电子装置101的朝向。
处理器120可基于多个第二特征点和多个第一特征点的位置以及通过传感器感测的电子装置101的朝向来确定要显示的至少一个图形对象在第二图像帧中的位置。处理器120还可使用通过传感器感测的电子装置101的朝向以便更精确地确定要显示的至少一个图形对象在第二图像帧中的位置。
另外，处理器120可基于通过传感器感测的电子装置101的朝向来确定至少一个图形对象的显示方向。为了向用户提供通过相机获取的更逼真的外部环境图像，处理器120可在三个维度中显示图像，因此当至少一个图形对象的显示方向由于电子装置101的朝向的改变而改变时，可反映这种改变并将图像显示在显示器160上。在这种情况下，处理器120可根据至少一个图形对象的所确定的显示位置和所确定的显示方向将至少一个图形对象和第二图像帧组合，并且控制显示器160显示组合的图形对象和第二图像帧。
根据本公开的各种实施例，处理器120可从第一图像帧提取至少一个对象的第一信息并从第二图像帧提取至少一个对象的第二信息。第一信息和第二信息中的每一个可以是指示至少一个对象的特性和位置的信息。第一信息和第二信息可基于多个第一特征点和多个第二特征点来提取。
例如，处理器120可提取多个第一特征点并基于所述多个第一特征点来识别至少一个对象。处理器120可根据识别的结果提取指示所识别的至少一个对象的至少一个对象的特性信息。另外，处理器120可基于多个第一特征点标识至少一个对象在第一图像帧中的位置，并且根据标识的结果提取指示至少一个对象的位置的信息。由于包括在第二信息中的指示至少一个对象的特性和位置的信息按照如上所述的相同方式来提取，将省略其单独的描述。
根据本公开的各种实施例，处理器120可基于第一信息和第二信息来确定要显示的至少一个图形对象在第二图像帧中的位置。基于第一信息和第二信息来确定要显示的至少一个图形对象的位置的详细方法将在下面描述。
图2是示出根据各种实施例的示例电子装置201的框图。电子装置201可包括例如图1所示的电子装置101的整体或部分。
电子装置201可包括至少一个处理器(例如，包括处理电路)210(例如，AP)、通信模块(例如，包括通信电路)220、订户标识模块224、存储器230、传感器模块240、输入装置(例如，包括输入电路)250、显示器260、接口(例如，包括接口电路)270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可包括各种处理电路并控制与之连接的多个硬件或软件元件，并且可通过驱动操作系统或应用程序来执行各种数据处理和操作。处理器210可被实现为例如片上系统(SoC)。根据实施例，处理器210还可包括图形处理单元(GPU)和/或图像信号处理器。处理器210还可包括图2所示的至少一些元件(例如，蜂窝模块221)。处理器210可在易失性存储器中加载从至少一个其它元件(例如，非易失性存储器)接收的指令或数据，处理所加载的指令或数据，并将结果数据存储在非易失性存储器中。
通信模块220可具有与通信接口170相同或相似的配置。通信模块220可包括诸如(例如但不限于)蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227、NFC模块228和RF模块229的各种通信电路。蜂窝模块221可通过通信网络提供例如语音呼叫、视频呼叫、文本消息服务、互联网服务等。根据实施例，蜂窝模块221可使用订户标识模块224(例如，SIM卡)来标识并认证通信网络内的电子装置201。根据实施例，蜂窝模块221可执行处理器210可提供的至少一些功能。根据实施例，蜂窝模块221可包括通信处理器(CP)。根据一些实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一些(例如，两个或更多个)可被包括在一个集成芯片(IC)或IC封装件中。例如，RF模块229可发送/接收通信信号(例如，RF信号)。RF模块229可包括例如收发器、功率放大模块(PAM)、频率滤波器、低噪放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227,和NFC模块228中的至少一个可通过单独的RF模块来发送/接收RF信号。订户标识模块224可包括例如包括订户标识模块的卡或者嵌入式SIM，并且可包含唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
存储器230(例如，存储器130)可包括例如内部存储器232和/或外部存储器234。内部存储器232可包括例如易失性存储器(例如，DRAM、SRAM、SDRAM等)和非易失性存储器(例如，一次可编程ROM(OTPROM)、PROM、EPROM、EEPROM、掩模ROM、闪速ROM、闪速存储器、硬盘驱动器或固态驱动器(SSD))中的至少一个。外部存储器234可包括闪速驱动器，例如紧凑式闪速(CF)、安全数字(SD)、微型SD、迷你SD、极速数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器234可通过各种接口在功能上和/或物理上连接至电子装置201。
传感器模块240可例如测量物理量或者检测电子装置201的操作状态，并且可将所测量或检测的信息转换为电信号。传感器模块240可包括例如手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红色、绿色、蓝色(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、光(例如，照度)传感器240K和紫外(UV)传感器240M中的至少一个。另外地或另选地，传感器模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制包括在其中的一个或更多个传感器的控制电路。在一些实施例中，电子装置201还可包括被配置为作为AP 210的一部分或者与AP 210分离地控制传感器模块240的处理器，并且可在AP 210处于睡眠状态的同时控制传感器模块240。
输入装置250可包括诸如(例如但不限于)触摸面板252、(数字)笔传感器254、键256或超声输入单元258的各种输入电路。触摸面板252可以是例如电容型、电阻型、红外型和超声型中的至少一个。另外，触摸面板252还可包括控制电路。触摸面板252还可包括触觉层以向用户提供触觉反应。(数字)笔传感器254可包括例如作为触摸面板的一部分或与触摸面板分离的识别片。键256可包括例如物理按钮、光学键或键区。超声输入装置258可通过麦克风(例如，麦克风288)来检测由输入工具生成的超声波，以标识与所检测的超声波对应的数据。
显示器260(例如，显示器160)可包括面板262、全息装置264、投影仪266和/或用于控制它们的控制电路。面板262可被实现为例如柔性的、透明的或者可穿戴的。面板262与触摸面板252一起可被配置成一个或更多个模块。根据实施例，面板262可包括压力传感器(或POS传感器)，其可测量用户的触摸压力的强度。压力传感器可被实现为与触摸面板252集成或者由与触摸面板252分离的一个或更多个传感器实现。全息装置264可使用光的干涉在空中显示三维图像。投影仪266可通过将光投影到屏幕上来显示图像。屏幕可被设置在例如电子装置201的内部或外部。
接口270可包括诸如(例如但不限于)HDMI 272、USB 274、光学接口276或者D-微型(D-sub)278的各种接口电路。接口270可被包括在例如图1所示的通信接口170中。另外地或另选地，接口270可例如包括移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或者红外数据协会(IrDA)标准接口。
音频模块280可将例如声音转换为电信号，反之亦然。音频模块280的至少一些元件可被包括在例如图1所示的输入/输出接口145中。音频模块280可处理通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息。相机模块291是可拍摄静止图像和运动图像的装置。根据实施例，相机模块291可包括一个或更多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。电源管理模块295可管理例如电子装置201的电源。根据实施例，电源管理模块295可包括电源管理集成电路(PMIC)、充电器IC或者电池或燃油量表。PMIC可使用有线和/或无线充电方案。无线充电方法的示例可包括磁共振方法、磁感应方法、电磁波方法等。还可包括用于无线充电的附加电路(例如，线圈回路、谐振电路、整流器等)。电池量表可测量例如电池296的残余电量以及充电时的电压、电流或温度。电池296可包括例如可再充电池和/或太阳能电池。
指示器297可指示电子装置201或其一部分(例如，处理器210)的特定状态(例如，引导状态、消息状态、充电状态等)。电机298可将电信号转换为机械振动，并且可生成振动、触觉效果等。电子装置201可包括可根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)、mediaFloTM等的标准来处理媒体数据的移动TV支持装置(例如，GPU)。根据本公开的硬件的上述组成元件中的每一个可利用一个或更多个组件来配置，对应组成元件的名称可基于电子装置的类型而变化。在各种实施例中，电子装置(例如，电子装置201)可省略一些元件或者还可包括附加元件，或者电子装置的一些元件可彼此组合以构成一个实体，在这种情况下电子装置可相同地执行组合之前对应元件的功能。
图3是示出根据各种实施例的示例程序模块的框图。根据实施例，程序模块310(例如，程序140)可包括控制与电子装置(例如，电子装置101)有关的资源的操作系统(OS)和/或在操作系统上驱动的各种应用(例如，应用程序147)。操作系统可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。
参照图3，程序模块310可包括内核320(例如，内核141)、中间件330(例如，中间件143)、API 360(例如，API 145)和/或应用370(例如，应用程序147)。程序模块310的至少一部分可被预载到电子装置上，或者可从外部电子装置(例如，电子装置102或104或者服务器106)下载。
内核320可包括例如系统资源管理器321和/或装置驱动器323。系统资源管理器321可控制、分配或检索系统资源。根据实施例，系统资源管理器321可包括进程管理器、内存管理器或文件系统管理器。装置驱动器323可包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享内存驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可提供例如应用370通常所需的功能，或者可通过API 360向应用370提供各种功能以使得应用370可有效地使用电子装置内的有限系统资源。根据实施例，中间件330可包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。
运行时库335可包括例如库模块，在执行应用370的同时编译器使用该库模块以便通过编程语言来添加新的功能。运行时库335可管理输入/输出，管理内存，或者处理算术函数。应用管理器341可管理例如应用370的生命周期。窗口管理器342可管理用于画面的GUI资源。多媒体管理器343可标识再现各种媒体文件所需的格式，并且可使用适合于对应格式的编解码器对媒体文件进行编码或解码。资源管理器344可管理应用370的源代码或者内存空间。电源管理器345可管理例如电池的容量或电源，并且可提供操作电子装置所需的电源信息。根据实施例，电源管理器345可与基本输入/输出系统(BIOS)共同操作。数据库管理器346可例如生成、搜索或改变由应用370使用的数据库。包管理器347可管理以包文件的形式分发的应用的安装或更新。
连接管理器348可管理例如无线连接。通知管理器349可向用户提供事件(例如，到来消息、约会、邻近通知等)。位置管理器350可管理例如电子装置的位置信息。图形管理器351可管理要提供给用户的图形效果以及与图形效果有关的用户界面。安全管理器352可提供例如系统安全或用户认证。根据实施例，中间件330可包括用于管理电子装置的语音或视频呼叫功能的电话管理器或者能够形成上述元件的功能的组合的中间件模块。根据实施例，中间件330可根据操作系统的类型提供专门的模块。另外，中间件330可动态地移除一些现有元件，或者可添加新的元件。
API 360是例如API编程功能的集合，并且可根据操作系统按照不同的配置提供。例如，在Android或iOS的情况下，可针对各个平台提供一个API集合，在Tizen的情况下，可针对各个平台提供两个或更多个API集合。
应用370可包括例如可执行诸如主页371、拨号盘372、SMS/MMS 373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384的功能的一个或更多个应用。另外地或另选地，尽管未示出，应用可包括卫生保健应用(例如，用于测量锻炼量或血糖)、环境信息(例如，气压、湿度或温度信息)提供应用等。根据实施例，应用370可包括可支持电子装置与外部电子装置之间的信息交换的信息交换应用。信息交换应用可包括例如用于将特定信息中继至外部电子装置的通知中继应用或者用于管理外部电子装置的装置管理应用。例如，通知中继应用可将电子装置的其它应用中所生成的通知信息中继至外部电子装置，或者可从外部电子装置接收通知信息以将所接收的通知信息提供给用户。装置管理应用可安装、删除或更新与电子装置通信的外部电子装置的功能(例如，打开/关闭外部电子装置本身(或其一些元件)或者调节显示器的亮度(或分辨率))或者在外部电子装置中执行的应用。根据实施例，应用370可包括根据外部电子装置的属性指定的应用(例如，移动医疗器械的卫生保健应用)。应用370可包括从外部电子装置接收的应用。至少一些程序模块310可由软件、固件、硬件(例如，处理器210)或者其中的两个或更多个的组合来实现(例如，执行)，并且可包括用于执行一个或更多个功能的模块、程序、例程、指令集或进程。
图4是示出根据本公开的各种示例实施例的电子装置显示图形对象的示例方法的流程图。
在操作410中，电子装置101可将通过相机获取的第一图像帧显示在电子装置101的显示器上。第一图像帧可以是用于确定是否显示图形对象的图像帧。
图5是示出当电子装置为HMD并且穿戴着HMD的用户501的头部从左向右移动时电子装置101的示例图形对象显示处理的示图。参照图5，电子装置101可通过电子装置101的相机获取第一图像帧510。根据实施例，为了减少运动信息和视觉信息之间的不匹配的生成，可使用采用全局快门的相机。因此，如图5所示，采用全局快门的相机可一次感测整个外部环境。
在获取第一图像帧510之后，电子装置101可立即通过显示器160显示第一图像帧510，而不管提取第一图像帧510中的特征点的分析操作。因此，电子装置101可根据用于执行分析操作的时间减小在显示第一图像帧510的操作中生成的延迟。另外，电子装置101可根据预设时间周期将图像帧顺序地显示在显示器160上，以便减小运动信息与视觉信息之间的不匹配的生成。例如，参照图5，电子装置101可每16ms顺序地显示图像帧。因此，可减小运动信息与视觉信息之间的不匹配的生成。
返回参照图4，在操作420中，电子装置101可基于第一图像帧510的多个第一特征点来确定要显示在显示器160上的至少一个图形对象。
电子装置101可从第一图像帧510提取多个第一特征点并基于所述多个第一特征点来识别第一图像帧510内的至少一个对象。例如，参照图5，电子装置101可通过所提取的多个第一特征点识别与包括在第一图像帧510中的对象对应的桌子和椅子。
电子装置101可基于第一图像帧510内所识别的至少一个对象来确定至少一个图形对象。例如，参照图5，电子装置101可基于第一图像帧510的多个第一特征点识别与第一图像帧510内的对象之一对应的电话。电子装置101可将所存储的多个图形对象中与电话对应的图形对象540确定为要显示在显示器160上的图形对象。
在操作430中，基于多个第一特征点的位置和第二图像帧的多个第二特征点的位置，电子装置101可确定第二图像帧中所确定的至少一个图形对象将显示的位置。例如，参照图5，第二图像帧520可以是在操作420中确定图形对象540之后通过相机获取的至少一个图像帧中最近获取的图像帧。因此，第二图像帧520可用于与图形对象540组合。
尽管图5中未示出，如果在获取第三图像帧530之后操作420结束，则在确定图形对象540之后通过相机获取的至少一个图像帧中最近获取的图像帧可以是第三图像帧530。因此，电子装置101可基于多个第一特征点的位置和第三图像帧530的第三特征点的位置来确定在操作420中确定的图形对象540将在第三图像帧530中显示的位置。
在操作440中，电子装置101可基于所确定的至少一个图形对象将显示的位置将至少一个图形对象与第二图像帧组合，并且可将组合的图形对象和第二图像帧显示在显示器160上。例如，参照图5，电子装置101可在第一图像帧中使图形对象的显示位置移至在操作430中确定的位置，并且将通过将位置已移动541的图形对象540与第二图像帧520组合而生成的图像帧521显示在显示器160上。
另外，电子装置101可通过包括在电子装置101中的传感器来感测电子装置101的朝向。例如，如图5所示，电子装置101可每2ms通过传感器获取感测值，并且基于所获取的感测值来感测电子装置101的朝向。
电子装置101可根据基于从显示图像帧的时间点最近通过传感器获取的感测值的电子装置101的朝向转换图像帧的坐标。例如，如上所述，电子装置101可直接将第一图像帧510显示在显示器160上而没有单独的坐标转换，但是，为了根据电子装置101的朝向更精确地显示第一图像帧510，可根据基于在14ms通过传感器获取的感测值的电子装置101的朝向转换第一图像帧510的显示方向，并且将所转换的第一图像帧510显示在显示器160上。例如，电子装置101可根据基于在14ms获取的感测值的电子装置101的朝向转换第一图像帧510的坐标并将所转换的第一图像帧510显示在显示器160上。
另外，为了更精确地确定图形对象540将在第二图像帧520中显示的位置，电子装置101还可使用通过传感器感测的电子装置101的朝向。
另外，在显示通过将第二图像帧520和图形对象540组合而生成的图像的操作中，电子装置101可根据基于在30ms通过传感器获取的感测值的电子装置101的朝向转换图像的坐标并将所转换的图像显示在显示器160上。
图6A、图6B和图6C是示出根据本公开的各种示例实施例的电子装置从图像帧示例提取特征点的示图。
根据本公开的各种实施例，电子装置101可从通过相机获取的图像帧提取特征点。电子装置101可一点点地移动预设大小的窗口，并且提取具有大图像改变的点作为特征点。
例如，如图6A至图6C所示，电子装置101可移动预设大小的窗口。当窗口601如图6A所示设置时，从窗口601的所有方向上的图像改变可等于或小于预设阈值。在这种情况下，电子装置101可确定存在平坦区域，并且可不从平坦区域提取特征点。
另外，如图6B所示，当窗口602位于边缘上时，基于窗口602的图像改变可大于或等于预设阈值。电子装置101可考虑生成图像改变的方向识别出窗口602位于边缘部分处，并且可在窗口602的位置处提取特征点。
如图6C所示，当窗口603位于角点上时，基于窗口603的图像改变可大于或等于预设阈值。电子装置101可考虑生成图像改变的方向识别出窗口603位于角点部分处，并且可在窗口603的位置处提取特征点。
如上所述，电子装置101可基于生成图像改变的区域来提取特征点。另外，上述特征点提取方法仅是用于描述的示例，可应用从图像提取特征点的各种方法。
图7是示出根据本公开的各种示例实施例的电子装置识别对象的示例方法的示图。
根据本公开的各种实施例，电子装置101可基于从图像帧提取的特征点来识别图像帧内的至少一个对象。
电子装置101可将从图像帧提取的多个特征点与存储在电子装置101中的多个对象的特征点进行比较。例如，如图7所示，假设电子装置101从与图像帧内的对象对应的电话701提取特征点。在这种情况下，电子装置101可将从图像帧提取的特征点与存储在电子装置101中的多个对象所对应的电话710、笔记本计算机720、TV 730、智能电话740和椅子750的特征点进行比较。
电子装置101可基于比较结果从存储在电子装置101中的多个对象中选择与从图像帧提取的特征点匹配的对象。电子装置101可将图像帧内的对象识别为所选择的对象。
例如，如图7所示，电子装置101可确定所提取的特征点与存储在电子装置101中的多个对象中的电话710的特征点匹配。因此，电子装置101可识别出与从图像帧提取的特征点关联的对象701是电话。
如上所述，电子装置101可基于所提取的特征点来识别图像帧内的对象。另外，上述对象识别方法仅是用于描述的示例，可应用识别图像中的对象的各种方法。
图8是示出根据本公开的各种示例实施例的电子装置确定图形对象的显示位置的示例方法的流程图。
在操作810中，电子装置101可将第一图像帧的多个第一特征点的位置分别与第二图像帧的多个第二特征点的位置进行比较。
参照图9，电子装置101可将第一图像帧910的多个第一特征点911、912、913、914、915、916和917的位置分别与第二图像帧920的多个第二特征点921、922、923、924、925、926和927的位置进行比较。
例如，电子装置101可分别确定第一图像帧910的多个第一特征点911、912、913、914、915、916和917与第二图像帧920的多个第二特征点921、922、923、924、925、926和927之间的对应关系。在多个第一特征点911、912、913、914、915、916和917以及多个第二特征点921、922、923、924、925、926和927中，电子装置101可比较根据确定结果而彼此对应的特征点的位置。
例如，如图7所示，电子装置101可比较彼此对应的第一特征点911和第二特征点921、第一特征点912和第二特征点922、第一特征点913和第二特征点923、第一特征点914和第二特征点924、第一特征点915和第二特征点925、第一特征点916和第二特征点926、以及第一特征点917和第二特征点927的位置。
在操作820中，电子装置101可基于操作810中的位置比较的结果来计算(例如，确定)第一图像帧与第二图像帧之间的运动矢量。
参照图10，电子装置101可根据操作810中的位置比较的结果来计算指示与第一图像帧和第二图像帧内的对象对应的电话的位置改变的x方向矢量1020和y方向矢量1010。电子装置101可基于所计算的x方向矢量1020和y方向矢量1010来计算运动矢量1030。
电子装置101可将运动矢量1030确定为第一图像帧与第二图像帧之间的运动矢量。另外，电子装置101可针对第一图像帧和第二图像帧内的多个对象中的每一个计算运动矢量，并且可将针对多个对象中的每一个所计算的运动矢量确定为第一图像帧与第二图像帧之间的运动矢量。图10中所描述的运动矢量计算方法仅是示例，可应用计算图像帧之间的运动矢量的各种方法。
在操作830中，电子装置101可基于操作820中所计算的运动矢量来移动至少一个图形对象在第一图像帧中的位置。
电子装置101可标识图形对象在第一图像帧中的位置。图形对象在第一图像帧中的位置可由用户设定。例如，第一图像帧中的图形对象可基于第一图像帧内与该图形对象对应的对象的位置来设定。
电子装置101可基于操作820中所计算的运动矢量来移动所标识的图形对象在第一图像帧内的位置。例如，电子装置101可根据运动矢量来转换指示图形对象在第一图像帧内的位置的坐标。
在操作840中，电子装置101可将操作830中所移动的至少一个图形对象的位置确定为至少一个图形对象将在第二图像帧中显示的位置。另外，电子装置101还可考虑通过传感器感测的电子装置的朝向来调节操作830中所移动的至少一个图形对象的位置，并且将所调节的位置确定为至少一个图形对象将在第二图像帧中显示的位置。
电子装置101可根据所确定的位置将至少一个图形对象和第二图像帧组合，并且将组合的图形对象和第二图像帧显示在显示器160上。另外，电子装置101可根据通过传感器感测的电子装置的朝向来确定图形对象的显示方向，根据所确定的位置和所确定的显示方向将至少一个图形对象和第二图像帧组合，并且将组合的图形对象和第二图像帧显示在显示器160上。
图11A和图11B是示出根据本公开的各种示例实施例的电子装置分析图像帧的时间点的示图。
根据本公开的各种实施例，电子装置101可基于所获取的图像帧来确定要显示在显示器160上的图形对象，并且调节所确定的图形对象的位置以与在该图像帧之后获取的图像帧对应。另外，电子装置101可根据所调节的位置来组合并显示图形对象与在该图像帧之后获取的图像帧。
如上所述，由电子装置101执行的显示图形对象的一系列操作可针对通过相机获取的每一个图像帧来执行，如图11A所示。例如，电子装置101可在16ms 1110内基于第一图像帧1101执行显示图形对象的一系列操作，将已根据执行结果调节了位置的图形对象与第二图像帧1102组合，并且显示所组合的图形对象和第二图像帧1102。
类似地，电子装置101可在16ms 1120内基于第二图像帧1102执行显示图形对象的一系列操作，将已根据执行结果调节了位置的图形对象与第三图像帧1103组合，并且显示所组合的图形对象和第三图像帧1103。另外，可在16ms 1130内基于第三图像帧1103执行显示图形对象的一系列操作，将已根据执行结果调节了位置的图形对象与第四图像帧1104组合，并且显示所组合的图形对象和第四图像帧1104。
此外，电子装置101可不在通过相机获取的每一个图像帧中执行显示图形对象的一系列操作，以便减少所执行的计算量。电子装置101可针对预设数量图像帧执行一次显示图形对象的一系列操作。
例如，如图11B所示，电子装置101可每两个图像帧执行一次显示图形对象的一系列操作。电子装置101可在16ms 1110内基于第一图像帧1101执行显示图形对象的一系列操作，并且可组合并显示根据执行结果调节了位置的图形对象与第二图像帧1102。
另外，在不基于第二图像帧1102执行显示图形对象的一系列操作的情况下，电子装置101可针对16ms 1130基于第三图像帧1103执行显示图形对象的一系列操作，并且可组合并显示根据执行结果调节了位置的图形对象与第四图像帧1104。
如上所述，电子装置101可调节显示图形对象的一系列操作所执行的频率，以便减少计算量。
图12是示出根据本公开的各种示例实施例的示例HMD的示图。
根据本公开的各种实施例，电子装置101可被实现为图12所示的HMD以向用户提供虚拟现实服务。如图12所示，电子装置101可包括用于拍摄外部环境的相机1210和1220。相机的数量可如图12所示为多个，或者可为单个。
电子装置101可包括显示器以用于显示通过相机1210和1220获取的图像并在图像上显示图形对象。因此，即使电子装置101为闭合(see-closed)型，用户也可通过电子装置101实时地看到外部环境。
另外，根据本公开的各种实施例的电子装置101可通过上述对象显示方法减小运动到图像延迟，从而为用户提供更舒适的观看条件。
图13是示出根据本公开的各种示例实施例的电子装置显示图形对象的示例方法的流程图。
在操作1310中，电子装置101可将通过相机获取的第一图像帧显示在电子装置101的显示器上。第一图像帧可以是用于确定是否显示图形对象的图像帧。
在操作1320中，电子装置101可基于第一图像帧的至少一个对象的第一信息来确定要显示在显示器160上的至少一个图形对象。
电子装置101可从第一图像帧提取多个第一特征点并基于所述多个第一特征点来识别至少一个对象。电子装置101可根据识别结果提取指示所识别的至少一个对象的至少一个对象的特性信息。
另外，电子装置101可基于多个第一特征点来标识至少一个对象在第一图像帧中的位置，并且根据标识结果提取指示至少一个对象的位置的信息。
电子装置101可根据至少一个对象的特性信息来确定与至少一个对象对应的至少一个图形对象。
在操作1330中，电子装置101可基于第二图像帧的至少一个对象的第一信息和第二信息来确定要显示的至少一个对象在第二图像帧中的位置。
电子装置101可基于包括在第一信息和第二信息中的每一个中的指示至少一个对象的信息来确定要显示的至少一个图形对象在第二图像帧中的位置。确定要显示的至少一个图形对象在第二图像帧中的位置的详细方法将在下面参照图14更详细地描述。
在操作1340中，电子装置101可基于所确定的位置将至少一个图形对象和第二图像帧组合并将所组合的图形对象和第二图像帧显示在显示器160上。
图14是示出根据本公开的各种示例实施例的电子装置确定图形对象的位置的示例方法的流程图。
在操作1410中，电子装置101可基于包括在第一信息和第二信息中的每一个中的指示至少一个对象的位置的信息来比较至少一个对象在第一图像帧中的位置与至少一个对象在第二图像帧中的位置。
在操作1420中，电子装置101可根据比较结果计算至少一个对象的运动矢量。由于计算运动矢量的详细方法的示例与图10的描述相同或相似，所以将省略单独的描述。
在操作1430中，电子装置101可基于操作1420中所计算的运动矢量来确定要显示的至少一个图形对象在第二图像帧中的位置。例如，电子装置101可根据运动矢量来转换指示至少一个图形对象在第一图像帧中的位置的坐标，并且将所转换的坐标确定为要显示的至少一个图形对象在第二图像帧中的位置。
根据本公开的硬件的上述组成元件中的每一个可利用一个或更多个组件来配置，对应组成元件的名称可基于电子装置的类型而变化。根据本公开的各种实施例的电子装置可包括上述元件中的至少一个。一些元件可被省略，或者电子装置中还可包括其它附加元件。另外，根据各种实施例的一些硬件组件可组合成一个实体，其可执行与组合之前相关组件的功能相同的功能。
如本文所用，术语“模块”可包括包含硬件、软件或固件的一个或更多个组合的单元，并且可例如与术语“逻辑”、“逻辑块”、“组件”、“电路”等互换使用。“模块”可以是集成组件、或者用于执行一个或更多个功能的最小单元或其一部分。“模块”可按照机械方式或电方式来实现，并且可包括(例如但不限于)专用处理器、CPU、专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或公知的或者将在未来开发的用于执行特定操作的可编程逻辑器件。
根据各种实施例的装置(例如，模块或其功能)或方法(例如，操作)中的至少一些可由以程序模块的形式存储在计算机可读存储介质(例如，存储器130)中的指令来实现。指令在被处理器(例如，处理器120)执行时可使得一个或更多个处理器执行与指令对应的功能。
计算机可读存储介质可包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，CD-ROM、DVD)、磁光介质(例如，软光盘)、内存储器等。指令可包括由编译器形成的代码或者可由解释器执行的代码。指令可包括由编译器形成的代码或者可由解释器执行的代码。根据各种实施例的模块、编程模块或其它元件所执行的操作可顺序地、并行地、重复地或者按照启发方式执行。至少一些操作可根据另一顺序执行，可被省略，或者还可包括其它操作。
根据本公开的各种实施例，提供一种记录有要在计算机上执行的程序的非暂时性计算机可读记录介质。该程序可包括可执行指令，所述指令在被处理器执行时使得处理器执行显示所获取的第一图像帧的操作、基于第一图像帧的多个第一特征点确定要显示的至少一个图形对象的操作、基于所获取的第二图像帧的多个第二特征点的位置和多个第一特征点的位置来确定要显示的至少一个图形对象在第二图像帧中的位置的操作、根据所确定的位置将至少一个图形对象和第二图像帧组合的操作以及显示所组合的至少一个图形对象与第二图像帧的操作。
本文所公开并描述的各种示例实施例仅是为了容易地描述本公开的技术细节并帮助理解本公开而提供，并非意在限制本公开的范围。因此，本公开的范围应该被理解为包括基于本公开的技术构思的所有修改或各种其它实施例。

Claims (15)

1.一种用于显示图形对象的电子装置，该电子装置包括：
相机；
显示器；以及
处理器，被配置为：
控制显示器显示通过相机获取的第一图像帧，
基于第一图像帧的多个第一特征点来确定要显示在显示器上的至少一个图形对象，
基于通过相机获取的第二图像帧的多个第二特征点的位置以及所述多个第一特征点的位置来确定要显示的所述至少一个图形对象在第二图像帧中的位置，
基于所确定的位置将所述至少一个图形对象和第二图像帧组合，并且
控制显示器显示所组合的所述至少一个图形对象和第二图像帧。
2.根据权利要求1所述的电子装置，其中，处理器被配置为：
从第一图像帧提取所述多个第一特征点，并且
基于所述多个第一特征点来识别第一图像帧内的至少一个对象。
3.根据权利要求2所述的电子装置，还包括：
存储器，被配置为存储多个图形对象，
其中，处理器被配置为基于所识别的第一图像帧内的至少一个对象来从所述多个图形对象中确定所述至少一个图形对象。
4.根据权利要求1所述的电子装置，其中，处理器被配置为：
从第二图像帧提取所述多个第二特征点，并且
通过比较所述多个第一特征点的位置与所述多个第二特征点的位置来确定要显示的所述至少一个图形对象在第二图像帧中的位置。
5.根据权利要求4所述的电子装置，其中，处理器被配置为：
通过比较所述多个第一特征点的位置与所述多个第二特征点的位置来计算第一图像帧与第二图像帧之间的运动矢量，并且
基于所计算的运动矢量来确定要显示的所述至少一个图形对象在第二图像帧中的位置。
6.根据权利要求5所述的电子装置，其中，处理器被配置为通过基于运动矢量移动所述至少一个图形对象在第一图像帧中的位置来确定要显示的所述至少一个图形对象在第二图像帧中的位置。
7.根据权利要求1所述的电子装置，还包括：
传感器，被配置为感测电子装置的朝向，
其中，处理器被配置为基于所述多个第二特征点的位置、所述多个第一特征点的位置以及通过传感器感测的电子装置的朝向来确定要显示的所述至少一个图形对象在第二图像帧中的位置。
8.根据权利要求7所述的电子装置，其中，处理器被配置为：
基于通过传感器感测的电子装置的朝向来确定所述至少一个图形对象的显示方向，
基于所确定的位置和所确定的显示方向来将所述至少一个图形对象和第二图像帧组合，并且
控制显示器显示所组合的所述至少一个图形对象和第二图像帧。
9.根据权利要求7所述的电子装置，其中，处理器被配置为：
改变第一图像帧的显示方向以与通过传感器感测的电子装置的朝向对应，并且
控制显示器显示具有改变的显示方向的第一图像帧。
10.根据权利要求1所述的电子装置，其中，第二图像帧对应于在确定所述至少一个图形对象之后通过相机获取的至少一个图像帧中的最近图像帧。
11.一种记录有程序的非暂时性计算机可读记录介质，所述程序在被包括在电子装置中的处理器执行时使得所述处理器执行操作，所述操作包括：
显示获取的第一图像帧；
基于获取的第一图像帧的多个第一特征点来确定要显示的至少一个图形对象；
基于获取的第二图像帧的多个第二特征点的位置以及所述多个第一特征点的位置来确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置；
基于所确定的位置将所述至少一个图形对象和第二图像帧组合；以及
显示所组合的所述至少一个图形对象和第二图像帧。
12.根据权利要求11所述的非暂时性计算机可读记录介质，其中，确定要显示的至少一个图形对象的操作包括：
在获取的第一图像帧中提取所述多个第一特征点；
基于所述多个第一特征点识别获取的第一图像帧内的至少一个对象；以及
基于所识别的获取的第一图像帧内的至少一个对象来从存储的多个图形对象确定所述至少一个图形对象。
13.根据权利要求11所述的非暂时性计算机可读记录介质，其中，确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置的操作包括：
在获取的第二图像帧中提取所述多个第二特征点；以及
通过比较所述多个第一特征点的位置与所述多个第二特征点的位置来确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置。
14.根据权利要求13所述的非暂时性计算机可读记录介质，其中，确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置的操作还包括：
通过比较所述多个第一特征点的位置与所述多个第二特征点的位置来计算获取的第一图像帧与获取的第二图像帧之间的运动矢量；以及
基于所计算的运动矢量来确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置，
其中，确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置的操作还包括通过基于所计算的运动矢量移动所述至少一个图形对象在获取的第一图像帧中的位置来确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置。
15.根据权利要求11所述的非暂时性计算机可读记录介质，其中，确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置的操作包括：
基于所述多个第二特征点的位置、所述多个第一特征点的位置以及通过包括在所述电子装置中的传感器感测的所述电子装置的朝向来确定要显示的所述至少一个图形对象在获取的第二图像帧中的位置，
基于所感测的所述电子装置的朝向来确定所述至少一个图形对象的显示方向，并且
其中，将所述至少一个图形对象和第二图像帧组合的操作包括基于所确定的位置和所确定的显示方向来将所述至少一个图形对象和第二图像帧组合。
CN201710513409.7A 2016-07-29 2017-06-29 用于显示图形对象的电子装置和计算机可读记录介质 Active CN107665485B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160096743A KR102649197B1 (ko) 2016-07-29 2016-07-29 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR10-2016-0096743 2016-07-29

Publications (2)

Publication Number Publication Date
CN107665485A true CN107665485A (zh) 2018-02-06
CN107665485B CN107665485B (zh) 2023-08-04

Family

ID=59296664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710513409.7A Active CN107665485B (zh) 2016-07-29 2017-06-29 用于显示图形对象的电子装置和计算机可读记录介质

Country Status (4)

Country Link
US (1) US10586390B2 (zh)
EP (1) EP3276451A1 (zh)
KR (1) KR102649197B1 (zh)
CN (1) CN107665485B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110180185A (zh) * 2019-05-20 2019-08-30 联想（上海）信息技术有限公司 一种时间延迟测量方法、装置、系统及存储介质
CN112005209A (zh) * 2018-03-29 2020-11-27 微软技术许可有限责任公司 用于以原子方式呈现覆盖多个显示器的单个缓冲器的机制
CN112543901A (zh) * 2018-08-08 2021-03-23 三星电子株式会社 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
CN112655015A (zh) * 2018-10-24 2021-04-13 三星电子株式会社 电子装置及控制该电子装置的方法
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685213B2 (en) * 2017-09-07 2020-06-16 Perfect Corp. Systems and methods for tracking facial features
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
WO2019157543A1 (de) * 2018-02-13 2019-08-22 Ars Electronica Linz Gmbh & Co Kg System zur darstellung und identifikation von markern einer veränderbaren geometrischen abbildung
US10976999B1 (en) 2018-06-15 2021-04-13 Chosen Realities, LLC Mixed reality sensor suite and interface for physical region enhancement
CN108731221B (zh) * 2018-06-25 2020-08-21 珠海格力电器股份有限公司 空调控制方法及装置
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
KR102421073B1 (ko) * 2021-12-27 2022-07-15 (주)티라움 인공지능을 이용하여 인테리어 마감재 템플릿을 제공하는 인테리어 시뮬레이션 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016825A1 (en) * 2011-04-08 2014-01-16 Sony Corporation Image processing apparatus, display control method and program
US20140267420A1 (en) * 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US20150187108A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US20150254870A1 (en) * 2014-03-10 2015-09-10 Microsoft Corporation Latency Reduction in Camera-Projection Systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
JP2010134649A (ja) * 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
KR101923177B1 (ko) * 2012-04-04 2019-02-27 삼성전자주식회사 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
US9576397B2 (en) 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
AU2013273722A1 (en) * 2013-12-19 2015-07-09 Canon Kabushiki Kaisha Method, system and apparatus for removing a marker projected in a scene
US20160330522A1 (en) * 2015-05-06 2016-11-10 Echostar Technologies L.L.C. Apparatus, systems and methods for a content commentary community
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10284875B2 (en) * 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016825A1 (en) * 2011-04-08 2014-01-16 Sony Corporation Image processing apparatus, display control method and program
US20140267420A1 (en) * 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US20150187108A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US20150254870A1 (en) * 2014-03-10 2015-09-10 Microsoft Corporation Latency Reduction in Camera-Projection Systems

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112005209A (zh) * 2018-03-29 2020-11-27 微软技术许可有限责任公司 用于以原子方式呈现覆盖多个显示器的单个缓冲器的机制
CN112005209B (zh) * 2018-03-29 2024-03-19 微软技术许可有限责任公司 用于以原子方式呈现覆盖多个显示器的单个缓冲器的机制
CN112543901A (zh) * 2018-08-08 2021-03-23 三星电子株式会社 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
CN112655015A (zh) * 2018-10-24 2021-04-13 三星电子株式会社 电子装置及控制该电子装置的方法
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
CN110180185A (zh) * 2019-05-20 2019-08-30 联想（上海）信息技术有限公司 一种时间延迟测量方法、装置、系统及存储介质

Also Published As

Publication number Publication date
KR20180013277A (ko) 2018-02-07
US10586390B2 (en) 2020-03-10
CN107665485B (zh) 2023-08-04
EP3276451A1 (en) 2018-01-31
KR102649197B1 (ko) 2024-03-20
US20180033206A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
CN106354451A (zh) 用于操作电子设备的方法和电子设备
KR20160054840A (ko) 정보를 공유하기 위한 가상 환경
KR20170053280A (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN107402733A (zh) 用于合成图形数据的电子设备及其方法
CN106462247A (zh) 用于提供增强现实信息的可穿戴设备和方法
CN110168471A (zh) 电子设备以及用于显示其运行的应用的历史的方法
CN106293055A (zh) 电子设备以及用于提供其触觉反馈的方法
CN107548486A (zh) 用于提供快捷用户界面的电子装置及其方法
CN107851416A (zh) 电子设备的显示方法和装置
CN107491177A (zh) 用于识别旋转体的旋转的方法及用于处理该方法的电子设备
CN107037966A (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
CN108700995A (zh) 电子设备和用于切换和对齐其应用的方法
CN106372102A (zh) 电子装置和用于管理电子装置上的文件夹中的对象的方法
CN107085507A (zh) 数据收发方法及装置
CN108351692A (zh) 手势感测方法和支持其的电子设备
CN108475174A (zh) 电子设备及其操作方法
KR20170013623A (ko) 디스플레이를 제어하는 전자 장치 및 방법
CN108712641A (zh) 用于基于多面体提供vr图像的电子设备及其图像提供方法
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN108475162A (zh) 用于显示用户界面的方法和用于支持该方法的电子装置
CN107239245A (zh) 用于输出屏幕的方法和支持该方法的电子设备
CN105930317A (zh) 用于处理文本的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant