CN108027707B - 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法 - Google Patents

用户终端设备、电子设备以及控制用户终端设备和电子设备的方法 Download PDF

Info

Publication number
CN108027707B
CN108027707B CN201680054665.8A CN201680054665A CN108027707B CN 108027707 B CN108027707 B CN 108027707B CN 201680054665 A CN201680054665 A CN 201680054665A CN 108027707 B CN108027707 B CN 108027707B
Authority
CN
China
Prior art keywords
indicator
image
touch
user terminal
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680054665.8A
Other languages
English (en)
Other versions
CN108027707A (zh
Inventor
李光容
郑夏旭
洪泰和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108027707A publication Critical patent/CN108027707A/zh
Application granted granted Critical
Publication of CN108027707B publication Critical patent/CN108027707B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

一种用户终端设备，包括：通信器，配置为与外部设备通信；触摸屏，配置为显示图像并接收触摸输入；以及控制器，配置为控制所述触摸屏以显示通过所述通信器从所述外部设备接收的图像，配置为响应于在显示在所述触摸屏上的图像上检测到触摸输入，控制所述触摸屏以显示与包括在所显示的图像中的对象相关联的第一指示符，所述第一指示符显示在检测到所述触摸输入的点处，并且配置为控制所述通信器以向所述外部设备传输与所述第一指示符有关的数据，所述数据包括要由所述外部设备用于确定要被包括在显示在所述外部设备中的图像中的第二指示符的位置的信息。

Description

用户终端设备、电子设备以及控制用户终端设备和电子设备 的方法
技术领域
根据示例性实施例的设备和方法涉及用户终端设备、电子设备以及控制用户终端设备和电子设备的方法，更具体地涉及用户终端设备、电子设备以及控制用户终端设备和电子设备的方法，通过该方法，由用户终端设备和电子设备共享图像，并且用户终端设备在共享图像中提供指示符。
背景技术
近来，由用户佩戴并提供虚拟现实的电子设备(例如头戴式装置(HMD))引起了相当的关注。例如，当用户佩戴HMD时，他或她可以在与现实完全不同的虚拟世界中看到和享受逼真的三维(3D)视图。关于典型的基于二维(2D)的游戏，用户可以欣赏具有360度视角的比较逼真的游戏，因此用户可以欣赏从游戏内容引入了许多VR内容，并且也期望虚拟现实应用于远程教育、医药等各个领域，使用服务用于与偏远地区的经验分享。
佩戴用户并提供3D类型虚拟现实的电子设备可以大致分为透视型(See-Throughtype)设备和看见关闭型(See-Closed type)。看见关闭型设备可以允许仅仅在与现实完全不同的虚拟空间中进行各种体验，但是透视型设备可以将增强对象投影到现实空间以获得现实中的增强现实。
用于提供虚拟现实的电子设备可以可操作地与外部用户终端设备相关联。通常，在用户终端设备和用于提供虚拟现实的电子设备之间存在单方面的信息传输和交互。也就是说，通常用户终端设备的信息被单方面地传输到电子设备，或者电子设备的图像可被单方面地传输到用户终端设备。
也就是说，通常不可能在用户终端设备和用于提供虚拟现实的电子设备之间进行交互。
发明内容
【问题的解决方案】
本公开的示例性实施例可以克服上述缺点以及以上没有描述的其他缺点。而且，示例性实施例不需要克服上述缺点，并且本公开的示例性实施例可以不克服上述任何问题。
一个或多个示例性实施例提供了一种用户终端设备、电子设备以及控制用户终端设备和电子设备的方法，用于经由用户终端设备和电子设备之间的双向通信来提供更加直观和各种各样的用户环境。
根据示例性实施例的一个方面，提供了一种用户终端设备，包括：通信器，配置为与外部电子设备通信；触摸屏，配置为显示图像并检测用户的触摸输入；以及控制器，配置为控制所述触摸屏以显示通过所述通信器从所述外部电子设备接收的图像，配置为响应于从显示在所述触摸屏上的图像检测到用户触摸，控制所述触摸屏以在检测到用户触摸的点处生成并显示指示包括在图像中的对象的指示符，并且配置为控制所述通信器以向所述外部电子设备传输关于指示符的数据。
控制器可以控制通信器以一起接收所捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据。
控制器可以响应于根据用户命令选择所述多个图像帧中的一个并且响应于在所选择的图像帧的显示期间检测到用户触摸，控制所述触摸屏耦在检测到所选择的图像帧的用户触摸的点处生成并显示指示符，并且可以控制所述通信器一起传输关于指示符的数据和与所选择的图像帧相对应的相机姿态数据。
用户终端设备可以以2D形式显示所捕获的图像和指示符，并且外部电子设备可以基于关于指示符的数据和与所选择的图像帧相对应的相机姿态数据以三维(3D)形式显示所捕获的图像和指示符。
控制器可以控制通信器以接收所捕获的图像的一个图像帧，外部电子设备可以基于关于指示符的数据和与一个预先存储的图像帧相对应的相机姿态数据以3D形式显示所捕获的图像和指示符。
控制器可以根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的z轴位置。
控制器可以根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的厚度。
控制器可以响应于基于用户触摸所选择的预先存储的指示符模型中的一个，控制触摸屏以在检测到用户触摸的点处生成并显示所选择的指示符模型。
关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小以及指示符的厚度。
根据另一示例性实施例的一个方面，提供了一种控制用户终端设备的方法，该方法包括：接收由外部电子设备捕获的图像；显示图像；响应于从所显示的图像检测到用户触摸，在检测用户触摸的点处生成并显示指示包括在图像中的对象的指示符；以及将关于指示符的数据传输到外部电子设备。
接收可以包括一起接收所捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据。
接收可以包括根据用户命令选择多个图像帧中的一个，并且响应于在显示所选择的图像帧期间检测到用户触摸，在检测到所选择的图像帧的用户触摸的点处生成并显示指示符，并且传输可以包括一起传输关于指示符的数据和与所选择的图像帧相对应的相机姿态数据。
用户终端设备可以以2D形式显示所捕获的图像和指示符，并且外部电子设备可以基于关于指示符的数据和与所选择的图像帧相对应的相机姿态数据以3D形式显示所捕获的图像和指示符。
接收可以包括接收所捕获的图像的一个图像帧，并且外部电子设备可以基于关于指示符的数据和与一个预先存储的图像帧相对应的相机姿态数据以3D形式显示所捕获的图像和指示符。
该方法还可以包括根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的z轴位置。
该方法还可以包括根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的厚度。
所述显示可以包括基于用户触摸从预先存储的指示符模型选择一个，并且在检测到用户触摸的点处生成并显示所选择的指示符模型。
关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小以及指示符的厚度。
根据另一示例性实施例的一方面，提供了一种电子设备，包括：图像捕获器，配置为捕获图像；显示器，配置为以3D形式显示所捕获的图像；通信器，配置为与外部用户终端设备通信；以及控制器，配置为控制通信器以在以3D形式显示所捕获的图像期间将所捕获的图像传输到外部用户终端设备，并且从外部用户终端设备接收关于指示包括在所捕获的图像中的对象的指示符的数据，并且配置为控制显示器以使用关于指示符的数据和相机姿态数据来以3D形式在所捕获的图像上显示指示符。
控制器可以控制通信器将以特定角度拍摄的所捕获的图像的第一图像帧传输到外部用户终端设备，并且可以在拍摄第一图像帧期间获取相机姿态数据。
控制器可以控制通信器以将所捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据传输到外部用户终端设备，并且一起接收与从多个图像帧选择的第二图像帧相对应的相机姿态数据。
关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小以及指示符的厚度。
电子设备可以是头戴式设备。
根据另一示例性实施例的一个方面，提供了一种控制电子设备的方法，该方法可以包括：捕获图像；在以3D形式显示所捕获的图像期间将所捕获的图像传输到外部用户终端设备；从用户终端设备接收关于指示包括在所捕获的图像中的对象的指示符的数据；以及使用关于指示符的数据和相机姿态数据以3D形式在所捕获的图像上显示指示符。
传输可以包括将以特定角度拍摄的所捕获的图像的第一图像帧传输到外部用户终端设备，并且可以在拍摄第一图像帧期间获取相机姿态数据。
传输可以包括将所捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据传输到外部用户终端设备，并且接收可以包括一起接收与从多个图像帧选择的第二图像帧相对应的相机姿态数据。
关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小以及指示符的厚度。
电子设备可以是头戴式设备。
根据另一示例性实施例的一方面，提供了：通信器，配置为与外部设备通信；触摸屏，配置为显示图像并接收触摸输入；以及控制器，配置为控制触摸屏以显示通过通信器从外部设备接收的图像，配置为响应于在显示在触摸屏上的图像上检测到触摸输入，控制触摸屏以显示与包括在所显示的图像中的对象相关联的第一指示符，所述第一指示符显示在检测到触摸输入的点处，并且配置为控制通信器以向外部设备传输与第一指示符相关的数据，所述数据包括要由外部设备用于确定要被包括在显示在外部设备中的图像中的第二指示符的位置的信息。
控制器可以配置为控制通信器以从外部设备接收图像的多个图像帧以及与多个图像帧相对应的相机姿态数据。
控制器可以配置为响应于根据用户命令选择多个图像帧中的一个并且响应于在所选择的图像帧的显示期间检测到所述触摸输入，控制触摸屏以在检测到多个图像帧中的所选择的图像帧上的触摸输入的点处显示第一指示符，并且可以配置为控制通信器以传输与第一指示符相关的数据和对应于所选择的图像帧的相机姿态数据。
用户终端设备可以配置为以二维(2D)形式显示图像和第一指示符；并且外部设备可以配置为基于与第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据，以三维(3D)形式显示图像和第二指示符。
控制器可以配置为控制通信器接收图像的图像帧；并且外部设备可以配置为基于与第一指示符有关的数据和与图像帧相对应的相机姿态数据以3D形式显示图像和第二指示符。
控制器可以配置为根据触摸输入的触摸压力和触摸大小中的至少一个来调整第一指示符的z轴信息。
控制器可以配置为根据触摸输入的触摸压力和触摸大小中的至少一个来调整第一指示符的厚度。
控制器可以配置为响应于基于触摸输入选择预先存储的指示符模型中的一个，控制触摸屏以在检测到触摸输入的点处显示所选择的指示符模型。
与第一指示符有关的数据可以包括以下中的至少一个：第一指示符的位置坐标值、第一指示符的形状、第一指示符的大小以及第一指示符的厚度。
根据另一示例性实施例的一个方面，提供了：接收由外部设备捕获的图像；在用户终端设备上显示图像；响应于在所显示的图像上检测到触摸输入，在用户终端设备上显示与包括在图像中的对象相关联的第一指示符，第一指示符显示在检测到触摸输入的点处；以及将与第一指示符有关的数据传输到外部设备，其中所述数据包括要由外部设备用于确定要被包括在显示在外部设备中的图像中的第二指示符的位置的信息。
接收图像可以包括接收所捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据。
接收图像可以包括：根据用户命令选择多个图像帧中的一个；以及响应于在显示多个图像帧中的所选择的图像帧期间检测到触摸输入，在检测到所选择的图像帧上的触摸输入的点处显示第一指示符；并且传输数据包括传输与第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据。
用户终端设备以2D形式显示图像和第一指示符；并且外部设备基于与第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据，以3D形式显示所捕获的图像和第二指示符。
接收图像包括接收所捕获的图像的图像帧；以及由外部设备基于关于第一指示符的数据和与图像帧相对应的相机姿态数据以3D形式显示所捕获的图像和第二指示符。
该方法还可以包括根据触摸输入的触摸压力和触摸大小中的至少一个来调整第一指示符的z轴信息。
该方法还可以包括根据触摸输入的触摸压力和触摸大小中的至少一个来调整第一指示符的厚度。
显示第一指示符可以包括：基于触摸输入从预先存储的指示符模型中选择一个；以及在检测到触摸输入的点处显示所选择的指示符模型。
与第一指示符有关的数据可以包括以下中的至少一个：第一指示符的位置坐标值、第一指示符的形状、第一指示符的大小以及第一指示符的厚度。
根据另一示例性实施例的一个方面，提供了：图像捕获器，配置为捕获图像；显示器，配置为以3D形式显示所捕获的图像；通信器，配置为与用户终端设备通信；以及控制器，配置为控制通信器以在以3D形式显示所捕获的图像期间将所捕获的图像传输到用户终端设备，配置为控制通信器以从用户终端设备接收关于与包括在所捕获的图像中的对象相关联的第一指示符的信息，并且配置为控制显示器以基于关于第一指示符的信息和相机姿态数据来以3D形式在所捕获的图像上显示第二指示符。
控制器可以配置为控制通信器将所捕获的图像的第一图像帧传输到外部用户终端设备，第一图像帧以特定角度被拍摄；并且可以基于第一图像帧来获取相机姿态数据。
根据另一示例性实施例的一方面，提供了：通信器，配置为与第二电子设备通信；触摸显示器，配置为显示从第二电子设备接收的图像并且配置为接收触摸输入，来自第二电子设备的图像包括对象；以及控制器，配置为响应于从显示在触摸屏上的图像检测到触摸输入，控制触摸显示器以显示与对象相关联的第一指示符，第一指示符显示在检测到触摸输入的位置处，并且配置为控制通信器以将关于第一指示符的信息传输到第二电子设备，所述信息被第二电子设备用于确定要被包括在显示在第二电子设备中的图像中的第二指示符的位置。
关于第一指示符的信息可以包括以下中的至少一个：第一指示符的位置坐标值、第一指示符的形状、第一指示符的大小以及第一指示符的厚度。
第一指示符和第二指示符可以包括箭头。
箭头的属性可以根据触摸输入的触摸压力和触摸大小中的至少一个而改变。
【发明的有益效果】
根据本公开的不同示例性实施例，可以在用户终端设备和用于提供虚拟现实的电子设备(比如HMD)之间实现各种交互，从而向用户提供更直观和各种各样的用户环境。
示例性实施例的附加和/或其他方面及优点将部分地在下面的描述中阐述，并且部分地将从描述中是显而易见的，或者可以通过本发明的实践而了解。
附图说明
通过参考附图描述创造性构思的某些示例性实施例，本公开的上述和/或其它方面将更加明显，其中：
图1是示出根据示例性实施例的图像提供系统的图；
图2是示出根据示例性实施例的用户终端设备的配置的示意性框图；
图3是详细示出根据示例性实施例的用户终端的配置的框图；
图4A至7是用于说明根据本公开的各种示例性实施例的基于用户触摸来生成指示符的方法的流程图；
图8是示出根据示例性实施例的电子设备的部件的示意性框图；
图9A和9B是示出根据示例性实施例的基于用户位置的以3D形式的图像的示图。
图10A至13是用于说明各种实施例的图，其中指示符根据各种示例性实施例以3D形式显示在以3D形式显示的图像上；
图14是用于说明根据示例性实施例的控制用户终端设备的方法的流程图；
图15是用于说明根据示例性实施例的控制电子设备的方法的流程图；以及
图16是用于说明根据示例性实施例的提供图像提供系统的图像的方法的序列图。
具体实施方式
将简单地描述本说明书中使用的术语，并且将详细描述本公开。
这里使用的术语仅用于描述特定的示例性实施例的目的，而不意图限制本公开的创造性构思。除非另外定义，否则本文使用的所有技术术语具有与本公开所属领域的普通技术人员通常理解的相同的含义，并且将不会以过宽或狭义的意义进行解释，除非在此明确地如此定义。如果在此使用的术语是本领域普通技术人员不能正确理解本创造性构思的错误术语，则错误术语应该由技术术语替代，本领域普通技术人员可以通过技术术语正确地理解本创造性构思。应该进一步理解的是，诸如在通用字典中定义的那些术语的术语应被解释为具有与其在相关领域的上下文中的含义相一致的含义，并且将不以过于狭义的意义被解释。
由于本创造性构思允许各种变化和许多示例性实施例，因此将在附图中示出特定的示例性实施例并在书面描述中详细描述。然而，这并不意图将本创造性构思限制于特定的实践模式，并且应当理解的是，本公开中包括不脱离本创造性构思的精神和技术范围的所有变化、等同物和替代。在本公开的描述中，当认为相关技术的某些详细解释可能不必要地混淆创造性构思的本质时，相关技术的某些详细解释被省略。
术语比如“第一”和“第二”在本文中仅用于描述各种组成元件，但是组成元件不受术语限制。这些术语仅用于区分一个组成元件和另一个组成元件的目的。
本说明书中使用的术语用于解释具体示例性实施例，而不是限制本创造性构思。因此，除非在上下文中另外明确指定，否则本说明书中的单数表达包括复数表达。而且，术语比如“包含”或“包括”可被解释为表示某特征、数量、步骤、操作、组成元件或其组合，但是不可以被解释为排除存在或可能添加一个或多个其他特征、数字、步骤、操作、组成元件或其组合。
说明书中公开的术语比如“单元”、“模块”等是指用于处理至少一个功能或操作的单元，其可以通过硬件、软件或其组合来实现。另外，可以将多个“模块”或多个“单元”集成到至少一个模块中，以实现为至少一个处理器，除了需要实现为特定硬件的“模块”或“单元”之外。
在说明书中，当描述某个部分“连接”到另一部分时，应当理解的是，该某个部分可以直接连接到另一部分或者经由在中间的另外的部分电连接到另一部分。另外，当某个部分“包括”某个部件时，这表示该部分还可以包括另外的部件，而不是排除另外的部件，除非没有不同的公开。
详细描述本公开的示例性实施例，以使本领域普通技术人员参考附图容易地实施。然而，本创造性构思可以以各种不同的形式来实现，而不限于示例性实施例。为了清楚地描述本创造性构思，在附图中省略了与说明无关的部分，并且在说明书中相同的附图标记表示相同的元件。
图1是示出根据示例性实施例的图像提供系统10的图。如图1所示，图像提供系统10可以包括用户终端设备100和外部电子设备200。在这种情况下，用户终端设备100可以是用于提供二维(2D)图像的设备，比如智能手机，并且可以实现为比如平板PC、笔记本PC、智能TV、台式PC等各种设备。外部电子设备200可以是用户佩戴并提供立体三维(3D)图像的设备，比如头戴式设备(HMD)，并且可以实现为比如智能眼镜等各种电子设备。
外部电子设备200可以使用相机来捕获用户的前面的图像。外部电子设备200可以以3D图像的形式显示捕获的图像，将增强现实(AR)对象插入到捕获的图像中，并且显示图像。也就是说，外部电子设备200可以将虚拟环境的元素(例如AR元素)插入到用户看到的实际环境中以提供新的用户环境。例如，当第一用户佩戴外部电子设备200并且看见特定空间时，外部电子设备200可以拍摄特定空间，以3D图像的形式显示捕获的图像，并且将虚拟AR对象插入到3D图像中。
当使用相机拍摄用户的前面时，电子设备200还可以获取相机姿态数据。
另外，外部电子设备200可以显示捕获的图像，并且还可以将图像传输到外部用户终端设备100。在这种情况下，外部电子设备200可以传输捕获的图像的所有图像帧，但是这仅仅是示例性实施例，并且因此可以仅传输捕获的图像的一些图像帧。具体地，当外部电子设备200将捕获的图像的多个图像帧传输到用户终端设备100时，外部电子设备200还可以传输与多个图像帧对应的相机姿态数据以及捕获的图像多个图像帧。另外，当外部电子设备200仅传输捕获的图像的一个图像帧时，外部电子设备200可以仅传输一个图像帧，并且还可传输相机姿态数据。
用户终端设备100可以显示从外部电子设备200传输的图像。在这种情况下，用户终端设备100可以以2D图像的形式显示从外部电子设备传输的图像。当外部电子设备200传输多个图像帧时，用户终端设备100可以像视频一样实时显示由外部电子设备200捕获的图像。当外部电子设备200传输捕获的图像的一个帧时，用户终端设备100可以仅显示一个传输的帧。
在检测到在正在终端设备100上显示的接收的图像上的用户触摸时，用户终端设备100可以在检测到用户触摸的点/位置处生成并显示指示要被包括在接收的图像中的对象的指示符。另外，用户终端设备100可以将指示符的信息/数据传输到外部电子设备200。在这种情况下，指示符的数据可以包括关于与显示指示符有关的坐标值、指示符的形状、指示符的大小和指示符的厚度中的至少一个的信息。这里，指示符与包括在接收的图像中的对象相关联，并且可以指示与对象有关/相关联的方向信息。
具体地，当传输多个图像帧时，可以在多个图像帧中选择一个图像帧，并且在检测到对正在显示的所选图像帧上的用户触摸时，用户终端设备100可以在检测到所选图像帧的用户触摸的点/位置处生成并显示指示对象的指示符。用户终端设备100可以将指示符的数据和与所选图像帧对应的相机姿态数据一起传输到外部电子设备200。
当传输一个图像帧时，如果检测到一个传输的图像帧上的用户触摸，则用户终端设备100可以在检测到一个图像帧上的用户触摸的点/位置处生成并显示指示对象的指示符。另外，用户终端设备100可以将指示符的数据传输到外部电子设备200。
另外，外部电子设备200还可以基于从用户终端设备传输的指示符的数据和相机姿态数据在以三维(3D)形式显示的图像上以3D形式(即3D对象)生成并显示指示符。
例如，父亲正在使用用户终端设备100，且女儿正在使用外部电子设备200进行视频电话。父亲正用手保持着用户终端设备100，且女儿正戴着外部电子设备200。父亲正在观看由外部电子设备200捕获的相机图像(其流传(stream)到用户终端设备100)，且女儿正看到视频电话的父亲的面部，其由用户终端设备100拍摄并被投影到AR对象至她的房间墙壁。在这种情况下，女儿想修理她房间里的盥洗台的破损管道。在视频电话期间，女儿询问可以如何修理破损管道，并且父亲在看到正从她的外部电子设备200传送并流传到他的用户终端设备100的她的房间的图像的同时来指导她。可以经由父亲在显示在他的用户终端设备100中的图像中输入的触摸在用户终端设备100上的图像中生成指示符。当比如箭头的指示符可以显示在图像中的管道中并且父亲在转动和调整管道的方向上操纵指示符时，父亲的用户终端设备100可以将指示符传输到外部电子设备200。外部电子设备200可以在盥洗台的管道的捕获图像中一起生成并显示比如箭头的指示符。女儿可以根据由电子设备200显示的父亲的指导而成功地修理管道。
也就是说，与前述场景一样，在用户终端设备100和电子设备200之间能够实现各种交互以提供/交换诸如HMD的虚拟现实中的信息，由此向用户提供更直观和各种各样的用户环境。
在下文中，将参考图2至7更详细地描述根据示例性实施例的用户终端设备100。
图2是示出根据示例性实施例的用户终端设备100的配置的示意性框图。如图2所示，用户终端设备100可以包括通信器110、触摸屏120和控制器130。在示例性实施例中，用户终端设备100可以是智能手机，但是示例性实施例不限于此。例如，用户终端设备100可以实现为各种装置，比如平板PC、笔记本PC、智能TV和台式PC。
通信器110可以与外部电子设备200通信。特别地，通信器110可以从外部电子设备200接收关于由外部电子设备200捕获的图像的信息。另外，通信器110可以将指示符的数据和相机姿态数据一起传输到外部电子设备200。
触摸屏120可以显示图像并检测用户触摸(即触摸输入)。具体地，触摸屏120可以显示从外部电子设备200接收的图像。另外，触摸屏120可以在检测到用户触摸的点(即位置)处显示指示符。
控制器130可以控制用户终端设备100的整体操作。特别地，控制器130可以控制触摸屏120，以显示通过通信器110从外部电子设备200接收的图像。当检测到在触摸屏120上显示的图像(从外部电子设备200接收的图像)上的用户触摸时，控制器130可以控制触摸屏120，以在检测到用户触摸的点/位置处生成并显示指示包含在图像中的对象的指示符。另外，控制器130可以控制通信器110，以将指示符的数据传输到外部电子设备200。
详细地，一旦通过通信器110接收到来自外部电子设备200捕获的图像的多个图像帧和与多个图像帧相对应的相机姿态数据，控制器130就可以处理多个接收到的图像帧并像视频一样实时显示图像帧。在示例性实施例中，控制器130可以以2D显示图像。
当根据用户命令从多个图像帧中选择一个图像帧并在显示所选择的图像帧期间检测到用户触摸时，控制器130可以控制触摸屏120，以在检测到所选图像帧的用户触摸的点/位置处生成并显示指示符。另外，控制器130可以控制通信器110，以将指示符的数据和对应于所选图像帧的相机姿态数据一起传输。这里，指示符的数据可以包括关于与显示指示符有关的坐标值(例如指示符的位置坐标值)、指示符的形状、指示符的大小以及指示符的厚度中的至少一个的信息。另外，外部电子设备200可以基于从用户终端设备100接收到的指示符的数据和相机姿态数据，在捕获的图像中以3D形式显示指示符。
当通信器110仅接收到由外部电子设备200捕获的图像的一个图像帧时，控制器130可以控制触摸屏120，以在在一个接收的帧中检测到用户触摸的点处生成并显示指示符。另外，控制器130可以控制通信器110，以将指示符的数据传输到外部电子设备200。在这种情况下，外部电子设备200可以以3D形式显示捕获的图像，并且可以基于与一个预先存储的图像帧对应的相机姿态数据和从用户终端设备100接收到的指示符的数据显示指示符。
控制器130可以根据用户触摸来生成指示符。详细地，控制器130可以根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的z轴位置。另外，控制器130可以根据用户触摸的触摸压力和触摸大小中的至少一个来调整指示符的厚度。
另外，控制器130可以根据用户触摸点来生成指示符，但这仅仅是示例性实施例，因此控制器130可以生成多个指示符模式中的由用户选择的指示符模型作为指示符。详细地，控制器130可以控制触摸屏120，以在用户触摸点处显示包括多个指示符模型的列表。另外，当在包含在列表中的多个指示符模型中选择一个时，控制器130可以控制触摸屏120，以在检测到用户触摸的点处生成并显示所选择的指示符模型。
图3是详细示出根据示例性实施例的用户终端100'的配置的框图。如图3所示，用户终端100'可以包括通信器110、图像处理器140、触摸屏120、存储器150、检测器160、音频输出器170和控制器130。图3所示的用户终端100'的配置仅是示例，因此不限于上述框图。因此不用说，图3所示的用户终端100'的一些部件可以省略或修改，或者根据用户终端100'的类型或用户终端100'的目的，可以将部件添加到用户终端100'。
通信器110可以是根据各种类型的通信方法与各种类型的外部设备通信的部件。通信器110可以包括WiFi芯片、蓝牙芯片、无线通信芯片和近场通信(NFC)芯片中的至少一个。控制器130可以使用通信器110与外部服务器或各种外部设备通信。
具体地，WiFi芯片和蓝牙芯片可以分别使用WiFi方法和蓝牙方法通信。当使用WiFi芯片或蓝牙芯片时，可以首先传输和接收诸如SSID和会话密钥的各种连接信息项，使用连接信息项来实现通信，然后可以传输和接收各种信息项。无线通信芯片可以指根据各种通信标准进行通信的芯片，各种通信标准比如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE)。NFC芯片可以指使用各种RF-ID频带之中的13.56MHz的频带以近场通信(NFC)方式操作的芯片，各种RF-ID频带比如135kHz、13.56MHz、433MHz、860至960MHz和2.45GHz。
特别地，通信器110可以从外部电子设备200接收捕获的图像。在这种情况下，通信器110可以接收捕获图像的至少一个图像帧，并且还可以接收与图像帧相对应的相机姿态数据。另外，通信器110可以将通过用户触摸生成的指示符的数据传输到外部电子设备200。具体地，通信器110可以传输与具有生成的指示符的图像帧相对应的相机姿态数据以及指示符的数据。
图像处理器140可以是用于对从通信器110或另一图像输入装置获取的图像数据执行图像处理的部件。图像处理器140可以对图像数据执行各种图像处理过程，比如解码、缩放、噪声过滤、帧率(frame rate)转换和分辨率转换。
触摸屏120可以显示从通信器110接收的图像数据和由图形处理器133处理的各种UI中的至少一个。在这种情况下，触摸屏120可以具有各种尺寸。例如，触摸屏120可以具有3英寸、4英寸、4.65英寸、5英寸、6.5英寸、8.4英寸等等的尺寸。触摸屏120可以包括多个像素。在这种情况下，多个像素的水平数量X垂直数量可以由分辨率表示。例如，触摸屏120可以具有320x320的分辨率、360x480的分辨率、720x1280的分辨率、1280x800的分辨率、3940x2160的分辨率等。
另外，触摸屏120可以实现为各种类型的显示面板。例如，显示面板可以通过各种显示技术来实现，比如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅上液晶(LcoS)或数字光处理(DLP)。
触摸屏120可以以柔性显示器的形式联接到用户终端100'的前部区域、侧部区域和后部区域中的至少一个。柔性显示器可经由像纸一样的薄而柔性的基板被弯曲、扭曲或卷起，而不会被损坏。柔性显示器可以使用塑料基板以及通常使用的玻璃基板来制造。当使用塑料基板时，可以使用低温制造加工器来形成柔性显示器，而不需要典型的制造加工器，以防止基板被损坏。另外，覆盖柔性液晶的玻璃基板可以用塑料膜代替，从而为折叠和展开基板提供了柔性。可能有利的是，柔性显示器是抗冲击的以及又薄又轻，并且被弯曲或扭曲和以各种形式制造。
另外，触摸屏120可以经由显示面板和触摸检测器之间的联接来实现。除了显示功能之外，触摸屏120可以具有检测触摸输入压力以及触摸输入位置和触摸面积的功能，并且可以具有检测接近触摸以及真实触摸的功能。另外，触摸屏120可以检测笔触摸以及用户手指的触摸。
存储器150可以存储用于驱动用户终端100'的各种模块。例如，存储器150可以存储包括基本模块、感测模块、通信模块、呈现模块、网页浏览器模块和服务模块的软件。在这种情况下，基本模块可以处理从包括在用户终端100'中的每个硬件项传输的信号，并将该信号传输到高层模块。感测模块可以从各种传感器收集信息，分析和管理收集的信息，并且感测模块可以包括人脸识别模块、语音识别模块、动作识别模块、NFC识别模块等。呈现模块可以配置显示屏并且包括用于再现和输出多媒体内容的多媒体模块和用于处理UI和图形的UI渲染模块。通信模块可以与外部元件通信。网页浏览器模块可以执行网页浏览以访问网页服务器。服务模块可以包括用于提供各种服务的多个应用。
如上所述，存储器150可以包括各种程序模块，但不用说，各种程序模块可以部分地省略或修改，或者可以根据用户终端100'的类型和特性，将其他模块添加到存储器150。例如，当上述用户终端100'被实现为平板PC时，基本模块还可以包括用于确定基于GPS的位置的位置确定模块，并且还可以包括用于检测用户操作的感测模块。
检测器160可以检测用户终端100'的周围环境和用户输入。特别地，检测器160可以包括用于检测周围照明的照明检测器、用于检测用户触摸输入的触摸检测器、用于检测按钮输入的按钮检测器、用于检测用户接近的接近检测器等。
然而，这仅是示例性实施例，因此检测器160可以包括各种传感器，比如用于检测位置信息的GPS传感器、用于检测用户终端100'的运动的运动检测传感器(例如陀螺仪传感器和加速度传感器)、压力传感器和噪声传感器。
音频输出器170可以输出各种通知声音或语音消息以及各种音频数据项，由音频处理器(未示出)对各种通知声音或语音消息以及各种音频数据项执行各种处理操作，比如解码、放大和噪声过滤。在这种情况下，音频输出器170可被实现为扬声器，但这仅是示例性实施例，因此音频输出器170可被实现为用于输出音频数据的输出终端。另外，音频输出器170可以输出从外部电子设备200接收的语音数据。
控制器130(或处理器)可以使用存储在存储器150中的各种程序来控制用户终端100'的整体操作。
控制器130可以包括RAM 131、ROM 132、图形处理器133、主CPU 134、第一至第n接口135-1至135-n以及总线136。在这种情况下，RAM 131、ROM 132、图形处理器133、主CPU134、第一至第n接口135-1至135-n等可以通过总线136彼此连接。
RAM 131可以存储操作系统(O/S)和应用程序。详细地，当用户终端100'被启动(boot)时，O/S可以存储在RAM 131中，并且由用户选择的各种应用数据项可以存储在RAM131中。
可以在ROM 132中存储用于系统启动等的命令。当输入打开命令来供电时，主CPU134可以根据存储在ROM 132中的命令将存储在存储器150中的O/S复制到RAM 131，并执行O/S来启动系统。当启动完成时，主CPU 134可以将存储在存储器150中的各种应用程序复制到RAM 131，并执行复制到RAM 131的应用程序来进行各种操作。
图形处理器133可以使用计算器(未示出)和渲染器(未示出)来生成包括各种对象的图像，各种对象比如项目、图像和文本。这里，计算器可以使用从检测器160接收到的控制命令，根据图像的布局来计算用于显示每个对象的属性值，比如坐标值、形状、大小和颜色。另外，渲染器可以基于由计算器计算出的属性值来生成包括对象的具有各种布局的图像。由渲染器生成的图像可以显示在触摸屏120的显示区域中。
主CPU 134可访问存储器150并使用存储在存储器150中的操作系统(O/S)来执行启动。另外，主CPU 134可使用存储在存储器150中的各种程序、内容、数据等执行各种操作。
第一至第n接口135-1至135-n可以连接到上述各种部件。第一至第n接口135-1至135-n中的一个可以是通过网络连接到外部设备的网络接口。
具体地，当用户终端设备100与诸如外部HMD的外部电子设备200通信时，控制器130可以从外部电子设备200接收由外部电子设备200捕获的图像。在这种情况下，控制器130可以控制通信器110，以接收由外部电子设备200捕获的图像的多个图像帧，但这仅是示例性实施例，因此控制器130可以控制通信器110以接收一个图像帧。
具体地，在接收由外部电子设备200捕获的图像的多个图像帧时，控制器130可以接收与多个图像帧相对应的相机姿态数据。在这种情况下，相机姿态数据可以是当相机以预定角度拍摄对应的图像帧时关于相机位置(或视点)的数据，并且可以通过相机姿态数据将2D图像生成为3D图像。
控制器130可以控制触摸屏120，以通过通信器110显示从外部电子设备200接收的图像。例如，当外部电子设备200拍摄盥洗台的管道时，控制器130可以控制触摸屏120，以显示包含从外部电子设备200接收的盥洗台管道410的图像，如图4A所示。
具体地，在接收多个图像帧时，控制器130可以控制图像处理器140以处理接收到的图像帧，并且控制触摸屏120以像视频一样实时显示处理后的图像。另外，在接收一个图像帧时，控制器130可以控制图像处理器140和触摸屏120来处理并显示接收的图像帧。
根据示例性实施例，在显示图像期间，当从用于显示包含在图像中的对象的区域检测到用户触摸时，控制器130可以控制触摸屏120以在检测到用户触摸的坐标处显示指示符。详细地，如图4B所示，当检测到触摸显示盥洗台管道410的显示区域中的一个点并且然后将该点向右方向移动的用户触摸420时，控制器130可以控制触摸屏120，以根据检测到用户触摸420的坐标值在盥洗台管道410上生成形状类似于箭头的指示符，如图4C所示。也就是说，控制器130可以控制触摸屏120，以根据检测到用户触摸的点的坐标值来生成并显示指示符。这里，指示符430与包括在图像中的盥洗台管道410相关联，并且可以指示与盥洗台管道410有关/相关联的方向信息。
根据另一示例性实施例，控制器130可以通过包括多个指示符模型的列表来选择指示符。详细地，如图5A所示，在显示包含盥洗台管510的图像期间，当检测到触摸盥洗台管510的一个点的用户触摸520时，控制器130可以控制触摸屏120，以在检测到用户触摸的点处显示包括多个指示符模型531、533和535的列表530，如图5B所示。当检测到选择在包括在列表中的指示符模型531、533和535之中的第三指示符模型535的用户触摸时，控制器130可以控制触摸屏120，以在检测到用户触摸的点处显示在其上检测到用户触摸的指示符模型540，如图5D所示。
另外，控制器130可以根据用户触摸操纵来改变指示符的位置、大小、方向等。例如，当检测到用户触摸并随后拖动指示符的拖动交互时，控制器130可以控制触摸屏120以根据拖动交互移动指示符。当检测到触摸用于显示指示符的显示区域的两个点并且然后由用户移动这两个点彼此远离或彼此靠近时的扩大或缩小交互时，控制器130可以控制触摸屏120以根据扩大或缩小交互来调整指示符的大小。另外，在检测到用户触摸并拖动指示符的前部分(例如箭头的箭头部分)的拖动交互时，控制器130可以控制触摸屏120以根据拖动交互来改变指示符的方向。
控制器130可以根据用户触摸的触摸压力、触摸大小等中的至少一个来调整指示符的z轴位置。详细地，控制器130可以设置指示符的属性，以便随着用户触摸的触摸压力增加或者用户触摸的触摸大小增加来增加检测到用户触摸的点的z轴的坐标值。例如，在从第一点610拖动到第二点620期间，当第一点610的触摸压力值是第一值且第二点620的触摸压力值是大于第一值的第二值时，控制器130可以将第一点610的z轴的坐标值设置为5，并且将第二点620的z轴的坐标值设置为13，如图6所示。
控制器130可以根据用户触摸的触摸压力和触摸大小中的至少一个来控制指示符的厚度。详细地，控制器130可以设置指示符的属性，以便随着用户触摸的触摸压力增加或者用户触摸的触摸大小增加来增加在检测到用户触摸的点处的指示符的厚度。例如，当在从第一点710拖动到第二点720期间触摸面积逐渐减小时，控制器130可以设置指示符的属性，以便从第一点710朝向第二点720逐渐减小指示符的厚度，如图7所示。
控制器130可以控制通信器110以将关于指示符的数据传输到外部电子设备200。这里，关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小和指示符的厚度。控制器130可以控制通信器110以将相机姿态数据与关于所生成的指示符的数据一起传输。在这种情况下，控制器130可以控制通信器110以将与图像帧(指示符插入到该图像帧中)相对应的相机姿态数据与关于指示符的数据一起传输。例如，当指示符插入到其中的图像帧是第一图像帧时，控制器130可以控制通信器110以将在用于拍摄接收到的相机姿态数据的第一图像帧的时间点处的相机姿态数据与关于指示符的数据一起传输。在这种情况下，当没有从外部电子设备200接收到相机姿态数据时，控制器130可以传输关于所选图像帧的数据(例如关于显示图像帧的时间的信息)，并允许外部电子设备200搜索对应于所选图像帧的相机姿态数据。如上所述，相机姿态数据和关于指示符的数据一起被传输，因此外部电子设备200可以以3D的形式在当前拍摄的图像中显示指示符。
在下文中，将参考图8至13B详细描述由用户穿戴并提供3D图像的外部电子设备200，比如HMD。
图8是示出根据示例性实施例的外部电子设备200的部件的示意性框图。如图8所示，外部电子设备200可以包括图像捕获器210、通信器220、显示器230和控制器240。
图像捕获器210可以捕获佩戴外部电子设备200的用户的前面的图像。在示例性实施例中，图像捕获器210可以获取在图像捕获期间的相机姿态数据以及捕获的图像。在这种情况下，相机姿态数据可以与图像帧匹配并被存储。
例如，如图9A所示，当图像捕获器210捕获包含对象比如盥洗台管道410(图4A)的图像时，图像捕获器210可以根据用户动作基于外部电子设备200的位置来获取多个图像帧910至980，如图9B所示。在示例性实施例中，图像捕获器210可以获取与图像帧910至980中的每一个以及多个图像帧910至980相对应的相机姿态数据。
通信器220可以使用各种类型的通信方法与各种类型的外部设备通信。特别地，通信器220可以与用户终端设备100通信。详细地，通信器220可以将由图像捕获器210捕获的图像的图像帧传输到用户终端设备100。通信器220可以将相机姿态数据与图像帧一起传输到用户终端设备100。通信器220可以从用户终端设备100接收关于指示符的数据和与指示符插入到其中的图像帧相对应的相机姿态数据中的至少一个。
显示器230可以显示图像。具体地，显示器230可以以3D形式显示例如由图像捕获器210拍摄的前面的图像。显示器230可以基于从用户终端设备100接收的与指示符相关的数据和相机姿态数据，以3D形式在当前捕获的图像中显示指示符。在这种情况下，当用户佩戴外部电子设备200时，显示器230可被定位在用户眼睛所指向的外部电子设备200的内部表面上。因此，显示器230可以向佩戴外部电子设备200的用户提供具有沉浸感(a sense ofimmersioin)的立体图像。
外部电子设备200可以包括用于向前投影图像的投影仪(未示出)以及显示器230。例如，在从用户终端设备100接收到图像(例如在视频电话期间的图像)时，外部电子设备200可以通过投影仪将从用户终端设备100接收到的图像投影到外部电子设备200的外部。
控制器240可以控制外部电子设备200的整体操作。具体地，在以3D形式显示捕获的图像期间，控制器240可以控制通信器220以将捕获的图像传输到外部用户终端设备100。控制器240可以控制通信器220以接收关于指示符的数据，其指示包含在来自外部用户终端设备100的捕获的图像中的对象。控制器240可以控制显示器230，以通过使用关于指示符的数据和相机姿态数据在所捕获的图像上以3D形式显示指示符，所捕获的图像显示在显示器230上。
详细地，控制器240可以控制显示器230以显示由图像捕获器210捕获的图像。在这种情况下，控制器240可以控制显示器230以3D显示由图像捕获器210捕获的图像。
控制器240可以控制通信器220以将捕获的图像传输到外部用户终端设备100。详细地，控制器240可以控制通信器220以将与多个图像帧相对应的相机姿态数据与所捕获的图像的多个图像帧一起接收。控制器240可以控制通信器220以传输需要所捕获的图像的图像的时间点的第一图像帧。
控制器240可以控制通信器220以从用户终端设备100接收关于指示符的信息，以将其插入正在显示器230上显示的图像。在这种情况下，指示符的数据可以包括关于以下中的至少一个的信息：用于显示指示符的坐标值、指示符的形状、指示符的大小和指示符的厚度。具体地，用于显示指示符的坐标值可以是2D触摸坐标值，并且包括X轴的坐标值和Y轴的坐标值。控制器240可以控制通信器220以传输与指示符插入到其中的图像帧相对应的相机姿态数据以及关于指示符的信息。例如，当指示符插入到其中的图像帧是第一图像帧时，控制器240可以控制通信器220以一起接收包括关于当获取第一图像帧时的图像捕获器210的位置的信息的相机姿态数据。
控制器240可以使用关于指示符的数据和相机姿态数据将指示符插入到3D类型的图像中。
参考图10A，可以存在基于真实世界(即基于现实)并基于相机坐标系统1010的实际坐标系统1020以基于相机观看。另外，两个坐标系统1010和1020之间的关系可以根据相机姿态数据来定义。也就是说，相机姿态数据可以包括关于基于真实世界观看的相机的位置的信息。
具体地，当以2D形式(即(X，Y)值)输入指示符的位置值时，相机平面1030的第一点1015可以是用于指示在图10A中的2D平面上显示指示符的位置的点。另外，当使用相机姿态数据使第一点1015与实际坐标系1020匹配时，控制器240可以控制显示器230在图10A的第二点1025中显示该指示符。
相应地，如图10B所示，在接收到指示符1020的2D坐标值时，控制器240可以控制显示器230以使用相机姿态数据和指示符1040的2D坐标值以3D形式生成和显示指示符1045。
控制器240可以接收来自外部用户终端设备100的相机姿态数据，但这仅是示例性实施例，因此可以使用来自预先存储的相机姿态数据的与插入指示符的图像帧相对应的相机姿态数据来生成3D形式的指示符。
当生成3D形式的指示符时，控制器240可以控制显示器230以将3D形式的指示符插入到以3D形式显示的所捕获的图像中并显示该图像。例如，如图11所示，控制器240可以控制显示器230围绕以3D形式显示的对象1110以3D形式显示指示符1120。
控制器240可以控制显示器230以将指示符插入到捕获的图像中并使用指示符的各种数据项来显示图像。详细地，控制器240可以控制显示器230以使用各种数据项来生成并显示指示符，各种数据项比如指示符的大小、方向、厚度等。例如，如图7所示，在接收到指示符的厚度信息时，控制器240可以控制显示器230以生成并显示具有在对象1210周围逐渐减小的厚度的指示符1220，如图12所示。
在接收到关于指示符模型的数据之后，控制器240可以控制显示器230以使用关于指示符模型的数据和相机姿态数据来以3D形式在捕获的图像上显示指示符模型。在这种情况下，关于指示符模型的数据可以包括关于指示符模型的形状的数据。例如，在图5D中，在接收到关于所生成的指示符模型的数据时，控制器240可以控制显示器230以生成并显示在对象1310周围的指示符模型1320，如图13所示。
图14是用于说明根据示例性实施例的控制用户终端设备100的方法的流程图。
首先，用户终端设备100可以接收由外部电子设备200捕获的图像(S1410)。在这种情况下，用户终端设备100可以接收所捕获的图像的多个图像帧并接收所捕获的图像的一个图像帧。
用户终端设备100可以显示图像(S1420)。详细地，用户终端设备100可以处理接收的图像帧并以2D形式显示图像。
用户终端设备100可以检测用户触摸输入(S1430)。
在检测到用户触摸输入(S1430-Y)时，用户终端设备100可以在检测到用户触摸输入的点处生成并显示指示对象的指示符(S1440)。
另外，用户终端设备100可以将关于指示符的数据传输到外部电子设备200(S1450)。在这种情况下，用户终端设备100可以将与指示符插入到其中的图像帧相对应的相机姿态数据与关于指示符的数据一起传输到外部电子设备200。
图15是用于说明根据本公开的示例性实施例的控制外部电子设备200的方法的流程图。在这种情况下，外部电子设备200可以是由用户佩戴并提供3D形式的立体图像的HMD。
首先，外部电子设备200可以捕获图像(S1510)。在这种情况下，外部电子设备200可以捕获包括特定对象的用户的前面的图像。
外部电子设备200可以以3D形式显示捕获的图像，并将捕获的图像传输到用户终端设备100(S1520)。在这种情况下，外部电子设备200可以将与捕获的图像帧相对应的相机姿态数据与捕获的图像帧一起传输到用户终端设备100。
外部电子设备200可以从用户终端设备接收关于指示对象的指示符的数据(S1530)。在这种情况下，外部电子设备200可以从用户终端设备100接收与指示符插入到其中的图像帧相对应的相机姿态数据(即在指示符插入到其中的图像帧的拍摄期间获取的相机姿态数据)以及关于指示符的数据。
另外，外部电子设备200可以使用关于指示符的数据和相机姿态数据以3D形式在捕获的图像上显示指示符(S1540)。
图16是用于说明根据本公开的示例性实施例的提供图像提供系统的图像的方法的序列图。
首先，外部电子设备200可以捕获图像(S1610)。
外部电子设备200可以以3D形式显示图像(S1620)。
外部电子设备200可以将捕获的图像传输到用户终端设备100(S1630)。在这种情况下，外部电子设备200可以将相机姿态数据与图像一起传输。
用户终端设备100可以以2D形式显示接收的图像(S1640)。
用户终端设备100可以根据检测到的在所显示的图像上的用户触摸输入在图像上显示指示符(S1650)。
用户终端设备100可以传输关于所生成的指示符的数据(S1660)。在这种情况下，关于指示符的数据可以包括以下中的至少一个：用于显示指示符的位置的坐标值、指示符的形状、指示符的大小以及指示符的厚度，并且可以与相机姿态数据一起被传输。
外部电子设备200可以使用关于指示符的所接收的数据和相机姿态数据以3D形式在图像上显示指示符(S1670)。
根据本公开的上述不同的示例性实施例，可以在用户终端设备和用于提供虚拟现实的电子设备(比如HMD)之间实现各种交互，从而向用户提供更直观和各种各样的用户环境。
尽管已经根据本公开的上述示例性实施例描述了指示符的形状是箭头的情况，但这仅是示例性实施例，因此指示符可以形成为如具有心形、星形等各种类型的箭头。
尽管已经根据本公开的上述示例性实施例描述了根据用户触摸来生成指示符的情况，但这仅是示例性实施例，因此可以根据用户操作比如鼠标操作和指针操作来生成指示符。
尽管已经根据本公开的上述示例性实施例描述了插入到捕获的图像中的指示符被生成并显示的情况，但这仅是示例性实施例，因此各种AR对象比如文本和图像可被生成并显示，并且可以传输到外部电子设备200。例如，当检测到用于将文本插入到从外部电子设备200接收的图像中的用户命令时，用户终端设备100可以将关于插入文本的信息传输到外部电子设备200。外部电子设备200可基于关于插入文本的信息和相机姿态数据以3D形式显示插入到图像中的文本。
根据本公开的上述不同示例性实施例的控制用户终端和电子设备的方法可被实现为程序并被提供给显示设备或输入设备。具体地，包含控制显示设备的方法的程序可被存储并提供在非暂时性计算机可读介质中。
非临时性计算机可读介质是不临时存储数据的介质，比如寄存器、缓存和存储器，但是半永久地存储数据并且可由设备读取。更具体地，前述应用或程序可以存储在非临时性计算机可读介质中，比如光盘(CD)、数字视频盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储器卡和只读存储器(ROM)。
前述示例性实施例和优点仅是示例性的，并不被解释为限制本创造性构思。本教导可以容易地应用于其他类型的装置。此外，本创造性构思的示例性实施例的描述旨在是说明性的，而不是限制权利要求书的范围，并且对于本领域技术人员来说，许多替代、修改和变化将是显而易见的。

Claims (15)

1.一种用户终端设备，包括：
通信器，其被配置为与外部设备通信；
触摸屏，其被配置为显示图像并接收触摸输入；以及
控制器，其被配置为：控制所述触摸屏以显示通过所述通信器从所述外部设备接收的图像；响应于在显示在所述触摸屏上的图像上检测到触摸输入，控制所述触摸屏显示与包括在所显示的图像中的对象相关联的第一指示符，所述第一指示符显示在检测到所述触摸输入的点处；并且控制所述通信器以向所述外部设备传输与所述第一指示符有关的数据，所述数据包括要由所述外部设备用于确定第二指示符的位置的信息，所述第二指示符要被包括在显示在所述外部设备中的图像中，
其中，所述触摸屏被配置为检测触摸输入压力；
所述控制器还被配置为：根据触摸输入的触摸压力来调整第一指示符的z轴信息，其中，在由用户在触摸屏上进行触摸和拖动第一指示符从触摸屏上的第一点到第二点的拖动交互的过程中，当第一点的触摸压力值是第一值并且第二点的触摸压力值是大于第一值的第二值时，所述控制器被配置为根据所述第一点的触摸压力值设置所述第一点的z轴的坐标值，并根据所述第二点的触摸压力值设置所述第二点的z轴的坐标值，以及
其中，发送到外部设备的与第一指示符有关的数据包括第一点的z轴的坐标值和第二点的z轴的坐标值，以使外部设备在图像中以三维（3D）形式显示第二指示符。
2.根据权利要求1所述的用户终端设备，其中，所述控制器被配置为控制所述通信器以接收来自所述外部设备的图像的多个图像帧以及与所述多个图像帧相对应的相机姿态数据。
3.根据权利要求2所述的用户终端设备，其中，所述控制器被配置为：响应于根据用户命令选择所述多个图像帧中的一个并且响应于在所选择的图像帧的显示期间检测到触摸输入，控制所述触摸屏在检测到所述多个图像帧中的所选择的图像帧上的所述触摸输入的点处显示所述第一指示符；并且控制所述通信器以传输与所述第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据。
4.根据权利要求3所述的用户终端设备，其中：
所述用户终端设备被配置为以二维（2D）形式显示图像和所述第一指示符；并且
所述外部设备被配置为基于与所述第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据以3D形式显示图像和所述第二指示符。
5.根据权利要求1所述的用户终端设备，其中：
所述控制器被配置为控制所述通信器以接收图像的图像帧；并且
所述外部设备被配置为基于与所述第一指示符有关的数据和与图像帧相对应的相机姿态数据以3D形式显示图像和所述第二指示符。
6.根据权利要求1所述的用户终端设备，其中，所述控制器被配置为根据所述触摸输入的触摸压力和触摸大小来调整所述第一指示符的z轴信息。
7.根据权利要求1所述的用户终端设备，其中，所述控制器被配置为根据所述触摸输入的触摸压力和触摸大小中的至少一个来调整所述第一指示符的厚度。
8.根据权利要求1所述的用户终端设备，其中，所述控制器被配置为响应于基于触摸输入选择预先存储的指示符模型中的一个，控制所述触摸屏以在检测到所述触摸输入的点处显示所选择的指示符模型。
9.根据权利要求1所述的用户终端设备，其中，与所述第一指示符有关的数据包括以下中的至少一个：所述第一指示符的位置坐标值、所述第一指示符的形状、所述第一指示符的大小以及所述第一指示符的厚度。
10.一种控制用户终端设备的方法，所述方法包括：
接收由外部设备捕获的图像；
在所述用户终端设备上显示图像；
响应于在所显示的图像上检测到触摸输入，在所述用户终端设备上显示与包括在图像中的对象相关联的第一指示符，所述第一指示符显示在检测到所述触摸输入的点处；以及
将与所述第一指示符有关的数据传输到所述外部设备，
其中，触摸屏被配置为检测触摸输入压力；
其中，根据触摸输入的触摸压力来调整第一指示符的z轴信息，其中，在由用户在触摸屏上进行触摸和拖动第一指示符从触摸屏上的第一点到第二点的拖动交互的过程中，当第一点的触摸压力值是第一值并且第二点的触摸压力值是大于第一值的第二值时，根据所述第一点的触摸压力值设置所述第一点的z轴的坐标值，并根据所述第二点的触摸压力值设置所述第二点的z轴的坐标值，以及
其中，发送到外部设备的与第一指示符有关的数据包括第一点的z轴的坐标值和第二点的z轴的坐标值，以使外部设备在图像中以三维（3D）形式显示第二指示符。
11.根据权利要求10所述的方法，其中，接收图像包括接收所捕获的图像的多个图像帧和与所述多个图像帧相对应的相机姿态数据。
12.根据权利要求11所述的方法，其中：
接收图像包括：
根据用户命令选择所述多个图像帧中的一个；以及
响应于在显示所述多个图像帧中的所选择的图像帧期间检测到触摸输入，在检测到所选择的图像帧上的触摸输入的点处显示所述第一指示符；并且
传输数据包括传输与所述第一指示符有关的数据和与所选择的图像帧相对应的相机姿态数据。
13.根据权利要求12所述的方法，其中：
所述用户终端设备以2D形式显示所捕获的图像和第一指示符；并且
所述外部设备基于与所述第一指示符有关的数据和与所选择的图像帧相对应的所述相机姿态数据以3D形式显示所捕获的图像和所述第二指示符。
14.根据权利要求10所述的方法，其中：
接收图像包括接收所捕获的图像的图像帧；以及
基于关于所述第一指示符的数据和与图像帧相对应的相机姿态数据，通过所述外部设备以3D形式显示所捕获的图像和所述第二指示符。
15.根据权利要求10所述的方法，还包括根据所述触摸输入的触摸大小来调整所述第一指示符的z轴信息。
CN201680054665.8A 2015-09-21 2016-09-20 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法 Expired - Fee Related CN108027707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0132930 2015-09-21
KR1020150132930A KR102413074B1 (ko) 2015-09-21 2015-09-21 사용자 단말, 전자 장치 및 이들의 제어 방법
PCT/KR2016/010455 WO2017052150A1 (en) 2015-09-21 2016-09-20 User terminal device, electronic device, and method of controlling user terminal device and electronic device

Publications (2)

Publication Number Publication Date
CN108027707A CN108027707A (zh) 2018-05-11
CN108027707B true CN108027707B (zh) 2021-07-20

Family

ID=58282777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054665.8A Expired - Fee Related CN108027707B (zh) 2015-09-21 2016-09-20 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法

Country Status (5)

Country Link
US (1) US10802784B2 (zh)
EP (1) EP3304273B1 (zh)
KR (1) KR102413074B1 (zh)
CN (1) CN108027707B (zh)
WO (1) WO2017052150A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
US10627910B2 (en) * 2017-02-21 2020-04-21 Adobe Inc. Stroke operation prediction for three-dimensional digital content
US10657682B2 (en) 2017-04-12 2020-05-19 Adobe Inc. Drawing curves in space guided by 3-D objects
CN109508093B (zh) * 2018-11-13 2022-08-09 江苏视睿迪光电有限公司 一种虚拟现实交互方法及装置
US11086392B1 (en) * 2019-04-09 2021-08-10 Facebook Technologies, Llc Devices, systems, and methods for virtual representation of user interface devices
US11100328B1 (en) * 2020-02-12 2021-08-24 Danco, Inc. System to determine piping configuration under sink
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
WO2014162824A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2015066332A1 (en) * 2013-10-30 2015-05-07 Technology Against Als Communication and control system and method

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9329719B2 (en) * 2007-03-15 2016-05-03 Apple Inc. Hybrid force sensitive touch devices
US9740340B1 (en) * 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
JP5278912B2 (ja) 2009-12-15 2013-09-04 株式会社ワインスペース 通信装置、通信方法およびプログラム
KR101692433B1 (ko) 2010-01-07 2017-01-03 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
KR101118010B1 (ko) 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
JP2012048623A (ja) * 2010-08-30 2012-03-08 Sony Corp 情報処理装置、パラメータ設定方法、及びプログラム
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
KR20120120858A (ko) 2011-04-25 2012-11-02 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US10629003B2 (en) 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
US9966075B2 (en) 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR20140081642A (ko) 2012-12-21 2014-07-01 삼성전자주식회사 외부 기기 제어 방법 및 시스템
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
GB2510333A (en) * 2013-01-30 2014-08-06 Ibm Emulating pressure sensitivity on multi-touch devices
KR101423699B1 (ko) * 2013-04-19 2014-08-01 주식회사 에이디자인 터치스크린의 입력 장치 및 방법
KR102157270B1 (ko) * 2013-04-26 2020-10-23 삼성전자주식회사 펜을 이용하는 사용자 단말 장치 및 그 제어 방법
US9535646B2 (en) * 2013-06-18 2017-01-03 Microsoft Technology Licensing, Llc Methods and systems for electronic ink projection
KR102138511B1 (ko) 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US20150130688A1 (en) 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
KR102199193B1 (ko) * 2014-01-22 2021-01-06 삼성전자주식회사 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
US20150261330A1 (en) * 2014-03-11 2015-09-17 Lumi Stream Inc. Method of using finger surface area change on touch-screen devices - simulating pressure
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10225442B2 (en) * 2015-02-16 2019-03-05 Mediatek Inc. Electronic device and method for sensing air quality
WO2016164342A1 (en) * 2015-04-06 2016-10-13 Scope Technologies Us Inc. Methods and apparatus for augmented reality applications
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
WO2014162824A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2015066332A1 (en) * 2013-10-30 2015-05-07 Technology Against Als Communication and control system and method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Microsoft"s HoloLens explained: How it works and why it"s different;Nick Statt;《https://www.cnet.com/news/microsoft-hololens-explained-how-it-works-and-why-its-different/》;20150124;第2-3页，图1-3 *
Nick Statt.Microsoft"s HoloLens explained: How it works and why it"s different.《https://www.cnet.com/news/microsoft-hololens-explained-how-it-works-and-why-its-different/》.2015, *
TeleAdvisor: A Versatile Augmented Reality Tool for Remote Assistance;PAVEL GUREVICH,JOEL LANIR,BENJAMIN COHEN,RAN STONE;《Proceedings of the 2012 ACM Annual Conference on Human Factors in Computing Systems》;20120510;第619-622页 *
World-Stabilized Annotations and Virtual Scene Navigation for Remote Collaboration;Steffen Gauglitz,Benjamin Nuernberger,Matthew Turk,Tobias H*;《user interface software and technology》;20141005;第449-451页，图1-3 *

Also Published As

Publication number Publication date
US10802784B2 (en) 2020-10-13
CN108027707A (zh) 2018-05-11
KR20170034543A (ko) 2017-03-29
KR102413074B1 (ko) 2022-06-24
US20170083276A1 (en) 2017-03-23
WO2017052150A1 (en) 2017-03-30
EP3304273A4 (en) 2018-09-05
EP3304273A1 (en) 2018-04-11
EP3304273B1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
CN108027707B (zh) 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法
CN106716302B (zh) 用于显示图像的方法、设备和计算机可读介质
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10209513B2 (en) Wearable device and control method thereof
US11231845B2 (en) Display adaptation method and apparatus for application, and storage medium
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
CN108474950B (zh) Hmd设备及其控制方法
JP2024010181A (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
EP3561667B1 (en) Method for displaying 2d application in vr device, and terminal
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
CN110192169B (zh) 虚拟场景中菜单处理方法、装置及存储介质
US10032299B2 (en) Portable image device for generating application images
US20210067476A1 (en) Intelligent chat object sending animations
KR102005406B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
CN107924276B (zh) 电子设备及其文本输入方法
US11962743B2 (en) 3D display system and 3D display method
US20240070931A1 (en) Distributed Content Rendering
JP2022137023A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720