CN104620197A - 透明显示设备及其对象选择方法 - Google Patents

透明显示设备及其对象选择方法 Download PDF

Info

Publication number
CN104620197A
CN104620197A CN201380047074.4A CN201380047074A CN104620197A CN 104620197 A CN104620197 A CN 104620197A CN 201380047074 A CN201380047074 A CN 201380047074A CN 104620197 A CN104620197 A CN 104620197A
Authority
CN
China
Prior art keywords
user
transparent display
information
display device
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047074.4A
Other languages
English (en)
Other versions
CN104620197B (zh
Inventor
尹一国
李根镐
李昌秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104620197A publication Critical patent/CN104620197A/zh
Application granted granted Critical
Publication of CN104620197B publication Critical patent/CN104620197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Burglar Alarm Systems (AREA)
  • Display Racks (AREA)

Abstract

一种透明显示设备和及其对象选择方法，该对象选择方法选择布置在与透明显示设备的一侧的用户相反的透明显示设备的另一侧的对象。

Description

透明显示设备及其对象选择方法
技术领域
与示例性实施例一致的示例性实施例涉及一种通过使用透明显示设备选择对象的方法以及选择对象的透明显示设备，更具体的讲，涉及一种考虑到用户的意图通过使用透明显示设备来选择对象的方法以及考虑用户的意图用于选择对象的透明显示设备。
背景技术
各种类型的显示设备被使用在不同领域。具体地讲，这些日子，存在关于下一代显示设备(诸如透明显示设备)的增长的量的研究和讨论。
透明显示设备是由透明显示面板形成的设备，使得对象通过显示面板可被观看。传统地，通过使用不透明半导体复合物(诸如，硅(Si)或砷化镓(GaAs)等)来制造显示面板。然而，由于不可通过使用传统显示面板处理的各种应用领域已经发展，因此已经对发展新型的电子装置做出尝试。其结果是，透明显示设备已经发展。
透明显示设备被实现为包括透明氧化物半导体层，因此具有透明特性。当使用透明显示设备时，在用户通过透明显示设备的屏幕观看位于透明显示设备的相对侧的对象和必要信息的同时，用户可将信息输入到透明显示设备。
此外，透明显示设备可通过与其他装备通信来执行各种功能。例如，透明显示设备可通信地连接到可彼此通信的诸如电视机或空调的家用电器，使得视频内容可被提供或者产品可被控制。
发明内容
技术问题
为了使得透明显示设备针对对象执行功能，用于从多个对象中选择一个对象的方法和装置是必要的，其中，透明显示设备可根据其特性针对所述多个对象执行功能。
技术方案
提供了一种介于用户和对象之间的透明显示设备的对象选择方法，所述方法包括：检测对象；接收指示用户选择对象的信息；基于信息选择对象。
本发明的有益效果
示例性实施例的各方面提供了一种用于选择对象的透明显示设备及其对象选择方法。
示例性实施例的各方面还提供了一种显示关于选择的对象的信息的透明显示设备和方法。
附图说明
通过参照附图对其示例性实施例进行的详细描述，本发明的上述和其他方面将会变得更加清楚，其中：
图1是示出根据示例性实施例的透明显示设备的操作的示图；
图2是用于解释根据示例性实施例的透明显示设备的配置的框图；
图3是示出可应用于透明显示设备的透明显示单元的详细配置的示例的示图；
图4是示出可应用于透明显示设备的透明显示单元的详细配置的另一示例的示图；
图5是示出根据示例性实施例的透明显示设备选择对象的处理的流程图；
图6是示出根据示例性实施例的透明显示设备显示关于对象的信息的处理的流程图；
图7是示出根据示例性实施例的透明显示设备根据用户和对象的位置确定显示信息的位置的方法的示图；
图8是示出根据示例性实施例的选择对象的处理的流程图；
图9是示出根据示例性实施例的通过使用红外(IR)通信选择对象的处理的流程图；
图10是示出根据另一示例性实施例的通过使用IR通信选择对象的处理的流程图；
图11是示出根据示例性实施例的通过使用IR通信识别对象所在方向的方法的流程图；
图12是示出根据示例性实施例的通过使用从包括在对象中的发光装置产生的光选择对象的处理的流程图；
图13是示出根据示例性实施例的通过使用从包括在对象中的发光装置产生的光确定对象的位置的处理的示图；
图14是示出根据示例性实施例的通过使用超声识别装置选择对象的处理的流程图；
图15是示出根据示例性实施例的通过使用超声识别装置识别对象的位置的处理的流程图；
图16是示出根据示例性实施例的通过使用姿势识别选择对象的处理的流程图；
图17是示出根据示例性实施例的通过使用姿势识别确定对象的位置的处理的流程图；
图18是示出根据示例性实施例的通过使用机器对机器(M2M)通信选择对象的处理的流程图；
图19是示出根据示例性实施例的通过使用M2M通信识别对象的位置的方法的示图；
图20是示出根据示例性实施例的通过使用语音识别选择对象的处理的流程图；
图21是示出根据示例性实施例的透明显示设备显示关于对象的标识信息的示例的示图；
图22是示出根据另一示例性实施例的透明显示设备显示关于对象的标识信息的示例的示图；
图23是示出根据示例性实施例的基于图像识别选择对象的处理的流程图；
图24是用于解释根据示例性实施例的选择位于用户可通过透明显示设备观看的区域中的对象的方法的示图；
图25是用于解释根据示例性实施例的改变显示关于显示在透明显示设备上的对象的信息的位置的方法的示例。
最佳实施方式
根据示例性实施例的一方面，提供了一种介于用户和对象之间的透明显示设备的对象选择方法，所述方法包括：检测对象；接收指示由用户选择对象的信息；基于所述信息选择对象。
所述方法可还包括：基于用户的位置和对象的位置，来确定将被显示在透明显示设备的屏幕上的关于选择的对象的信息的位置；将关于对象的信息显示在屏幕上的确定的位置。
将关于对象的信息显示在屏幕上的确定的位置的步骤可包括：显示对象的形状。
所述方法可还包括：根据输入改变显示关于选择的对象的信息的位置。
所述信息可包括用户的位置或用户的观看方向，并且选择对象的步骤可包括：基于用户的位置或用户的观看方向来选择对象。
选择对象的步骤可包括：基于确定的位置或方向执行红外(IR)通信；从通过IR通信接收到信号的对象接收标识信息；基于接收到的标识信息选择对象。
选择对象的步骤可包括：由透明显示设备将用于发送预定IR信号的请求发送给对象；根据已经接收到对所述预定IR信号的响应的方向来识别对象所在的方向；基于识别的对象所在的方向来选择对象。
选择对象的步骤可包括：将透明显示设备与对象同步；发送用于请求对象经由包括在对象中的发光装置在预定时刻产生光的信息；捕获包括在预定时刻由发光装置产生的光的图像；基于捕获的图像中光的位置来确定对象的位置；基于确定的对象的位置选择对象。
选择对象的步骤可包括：通过使用超声识别装置来识别对象的位置；基于识别的对象的位置来选择对象。
选择对象的步骤可包括：将关于姿势的信息发送给多个对象中的至少一个；识别发送的姿势；将识别出姿势的位置确定为对象的位置；基于对象的位置来选择对象。
选择对象的步骤可包括：通过使用机器对机器(M2M)通信来识别对象的位置；基于对象的位置来选择对象。
所述方法可包括：将对象的标识信息显示在透明显示设备上，其中，接收指示用户选择对象的信息的步骤可包括：通过使用语音识别接收与标识信息对应的语音输入，其中，选择对象的步骤可包括：根据与语音输入对应的标识信息来选择对象。
检测对象的步骤可包括：选择性地接收关于位于用户通过透明显示设备可观看的区域中的对象的标识信息。
检测对象的步骤可包括：从至少一个对象接收标识信息，并且在所述至少一个对象中，选择性地显示关于位于用户通过透明显示设备可观看的区域中的对象的信息，其中，所述至少一个对象的标识信息被接收到。
选择对象的步骤可包括：获得包括对象的形状的图像；基于对获得的对象的图像识别来识别对象的位置；根据识别出的位置来选择对象。
根据示例性实施例的一方面，提供了一种透明显示设备，包括：信息发送接收单元，被配置为检测布置在透明显示设备的第一侧的对象；用户检测单元，被配置为接收指示用户选择布置在与第一侧相反的透明显示设备的第二侧的对象的信息；对象选择单元，被配置为基于所述信息选择对象。
具体实施方式
现在将参照显示示例性实施例的附图来更加全面地描述示例性实施例。然而，示例性实施例可以以许多不同形式被实施并且不应被解释限于本文所阐述的示例性实施例。在说明书中，当认为现有技术的特定详细解释可不必要地模糊发明构思的本质时，该特定详细解释被省略。贯穿对附图的描述，相同的标号指示相同的元件。
将理解，当区域被称为与另一区域“连接”时，该区域可与另一区域“直接连接”或者与另一区域“电连接”，或可存在中间元件。还将理解，当术语“包括”和/或“包含”使用在申请文件中时，该术语指定元件和/或组件的存在，但不排除存在或添加一个或更多个其他元件、组件和/或它们的组。
下文中，将参照附图对示例性实施例进行详细描述。
图1是示出根据示例性实施例的透明显示设备10的操作的示图。
透明显示设备100被实施为包括透明显示屏幕，使得用户120可通过透明显示屏幕观看位于对于用户的透明显示设备100的相对侧的对象110。
如图1所示，当至少一个对象110面向第二表面(第二表面是第一表面的相对侧，第一表面面向用户120放置时，用户120可通过透明显示设备100观看对象110。
根据示例性实施例，对象110可以是通信地连接到透明显示设备100的装置。例如，对象110可以是可与透明显示设备100通信的电视、冰箱或空调。
透明显示设备100和对象110之间的通信包括允许数据通信的所有类型的无线和有线通信方法。例如，透明显示设备100和对象110可根据无线互联网通信标准或蓝牙通信标准通过近场通信(NFC)彼此通信连接。
透明显示设备100可将数据发送给对象110和从对象110接收数据，或者可通过与对象110的通信连接来控制对象110。例如，透明显示设备100可从对象110接收关于对象110的标识信息或者关于对象110的各种信息。作为另一示例，透明显示设备100可将存储在透明显示设备100中的内容发送给对象110，使得对象110可显示所发送的内容。
关于对象110的标识信息可包括用于识别对象110的标识(ID)或者用于访问对象110的信息。例如，对象110的互联网协议(IP)地址可被包括在关于对象110的标识信息中。
此外，关于对象110的信息可包括与对象110相关的各种信息，诸如对象110的形状、对象110的类型、对象110的颜色以及与对象110相关的图像。例如，如果对象110是监视器，则关于对象110的信息可包括监视器形状的图标。
根据示例性实施例的透明显示设备100可识别用户120的位置以及对象110相对于透明显示设备100的位置。透明显示设备100可以以各种方式检测用户120的位置以及对象110的位置。下面将对透明显示设备110检测用户120和对象110的方法进行详细描述。
图2是用于解释根据示例性实施例的透明显示设备100的配置的框图。
透明显示设备100可包括用户检测单元210、对象选择单元220、信息发送接收单元230、透明显示单元240和控制单元200。
用户检测单元210可识别用户120相对于透明显示设备100的第一表面的位置，因此基于用户120的位置来获得关于用户120的意图的信息。对象选择单元220可选择与关于用户120的意图的信息对应的对象。信息发送接收单元230可与对象110通信，从对象110接收关于对象110的标识信息。透明显示单元240可将信息显示在透明屏幕上。控制单元200(例如处理器)可控制透明显示设备100的各个单元。
用户检测单元210和对象选择单元220可根据实施方式设计被部分或整体地与控制单元200实施为一个结构。
此外，针对透明显示设备100选择对象的方法，关于用户120的意图的信息是关于用户120期望选择的对象110的信息。例如，关于用户120的意图的信息可包括关于用户120的注视方向的信息、关于用户120对透明显示设备120的触摸输入的信息或者关于从用户120输入的语音的信息。
用户检测单元210可以以各种方式获得关于用户120的意图的信息。关于用户120的意图的信息是通过分析用户120的行为或操作而获得的用于选择用户120期望选择的对象110的信息。
作为示例，用户检测单元210可检测用户120的注视方向，从而获得关于用户120的意图的信息。例如，用户检测单元210可从通过使用成像装置捕获的图像检测用户120的瞳孔，从而根据瞳孔的运动来识别用户120的注视方向。用户检测单元210可估计用于选择位于用户120的注视方向上的对象110的用户120的意图，并且获得关于估计的用户120的意图的信息。作为另一示例，检测单元210可从通过使用成像装置捕获的图像检测用户120的眼睛的轮廓、鼻子和整张脸，并根据检测的眼睛的轮廓、鼻子和整张脸的相对位置来估计用户120的脸面向的方向。
作为另一示例，用户检测单元210可从输入到透明显示设备100的触摸获得关于用户120的意图的信息。例如，关于用户120的意图的信息可包括关于用户120的位置的信息和触摸输入信息。根据关于用户120的意图的信息，用户检测单元210可确定用户120期望选择位于将用户120的位置与在透明显示设备100上做出的触摸输入的点连接的线的延长线上的对象110。
作为另一示例，用户检测单元210可从语音输入获得关于用户120的意图的信息。例如，当语音输入识别的结果与对象110之一对应时，用户检测单元210可识别出用户可选择与语音输入识别的结果相应的对象110。
此外，用户检测单元210可以以各种方式识别用户的位置。
作为示例，用户检测单元210可通过使用成像装置(诸如相机)来捕获背面背景图像。随后，用户检测单元210可分析捕获的图像以识别距对象的距离、对象的位置等。例如，用户检测单元210可通过采用关于通过使用成像装置捕获的图像的每个图像像素的信息来检测每个对象的边缘。用户检测单元210可从通过使用检测的边缘捕获的图像检测用户在其中被拍摄的区域，并且根据检测的区域来识别用户的位置。
作为另一示例，用户检测单元210可通过使用光传感器来检测入射光的强度并可分析光的光强度分布，从而识别用户的位置。可通过使用光电二极管、光电晶体管、电荷耦合器件(CCD)来实现光传感器，并且光传感器可均匀地分布在透明显示单元240的整个区域。每个光传感器估计入射光的强度。通常，当对象的颜色与对象的背景的颜色不同时，从对象反射的光的强度变得与从对象的背景反射的光的强度不同。因此，用户检测单元210可检测穿过透明显示单元240的各反射光的强度，并且可根据用户120的位置来确定光传感器的位置，其中，具有不同强度的反射光通过该光传感器入射。
作为另一示例，用户120的位置可针对相对于透明显示设备100的预定位置而被预先设置。例如，用户120的位置可被预先设置为远离透明显示设备100的第一表面的中心特定距离的位置。
作为另一示例，用户120的位置可由用户120或另一用户直接输入。在这种情况下，用户检测单元210可包括各种输入元件，诸如触摸屏、键盘、鼠标、操纵杆、触摸板、按钮等。
除了上述示例性实施例以外，用户检测单元210可识别用户120的姿势或文本。例如，除了用户120的注视方向或位置以外，用户检测单元210还可识别用户120的手移动的方向。
对象选择单元220可根据关于从用户检测单元210获得的用户的意图的信息，从位于面向与透明显示设备100的第一表面相反的第二表面的多个对象110中选择对象。
根据示例性实施例，对象选择单元220可根据对象110的位置或方向来选择对象。此外，根据另一示例性实施例，对象选择单元220可根据语音输入的语音识别的结果以及从对象110接收的标识信息来选择对象。
此外，根据示例性实施例，对象选择单元220可包括用于识别对象110的位置或方向的位置检测单元710、用于根据位置检测单元710和对象110的位置或方向来选择对象110的确定单元。
信息发送接收单元230可基于与对象110的通信连接来发送和接收信息。信息发送接收单元230可从对象110接收标识信息。此外，信息发送接收单元230可发送包括用于控制对象110的请求的信息。
透明显示单元240将信息显示在透明屏幕上。透明显示单元240可被实现为各种显示器类型，诸如透明液晶显示器(LCD)类型、透明薄膜电致发光(TFEL)面板类型、透明有机发光二极管(OLED)类型或透射类型。
透明LCD类型是指通过从当前使用的LCD装置移除背光单元并使用一对偏振器、一光学膜、一薄膜晶体管(TFT)和一透明电极而实现的透明显示设备。透明LCD类型由于偏振器或光学膜而具有低透射性，并且由于取代背光单元而使用的环境光(nearby light)而具有低光效率。然而，透明LCD类型可实现大尺寸透明显示器。透明TEFL类型是指采用由透明电极、无机荧光体和绝缘层组成的交流薄膜电致发光(AC-TEFL)显示装置的装置。AC-TEFL显示装置是当加速电子通过无机荧光体内部并且激发无机荧光体时发光的显示器。当透明显示单元240被实现为透明TEFL类型时，控制单元200可通过调整将投射到合适位置的电子来确定信息被显示的位置。由于无机荧光体和绝缘层具有透明特性，因此可实现非常透明显示器。
透明OLED类型是采用允许自激活发光的OLED的透明显示设备。由于有机发光层是透明的，因此当透明电极被用于有机发光层的两侧的电极时，透明OLED类型可被实现为透明显示设备。当电子和空穴被注入有机发光层的两侧并因此在有机发光层组合时OLED发光。通过使用此技术，透明OLED装置通过将电子和空穴注入期望的位置来显示信息。
控制单元控制各个单元。此外，在图2中，控制单元200被示出为与用户检测单元210、对象选择单元220和信息发送接收单元230分离的结构。然而，控制单元200可执行对于用户检测单元210、对象选择单元220和信息发送接收单元230的信息处理。
图3是示出可应用于透明显示设备的透明显示单元240-1的详细配置的示例的示图。透明显示单元240-1包括透明基板241、透明晶体管层242、第一透明电极243、透明有机发光层244、第二透明电极245和连接电极246。
透明基板241可由聚合物材料(诸如，具有透明特性的塑料)形成或由玻璃形成。透明基板241的材料可根据应用透明显示设备100的环境来确定。例如，由于聚合物材料轻且柔软，因此聚合物材料可被用于移动显示设备。玻璃可被用于商店的橱窗或一般窗户。
透明晶体管层242包括由诸如氧化锌或氧化钛(TiO)的透明材料替换现有TFT的不透明硅而制成的晶体管。源极、栅极、漏极和各种电介质层247和248被设置在透明晶体管层242中。用于将漏极电连接到第一透明电极243的连接电极246也可被设置在透明晶体管层242中。在图3中仅示出透明晶体管层242中由源极、栅极和漏极组成的一个晶体管。然而，实际上，分布在显示器表面的整个区域上的多个透明晶体管被提供。控制单元200可通过将控制信号施加到透明晶体管层242内的各个晶体管的栅极并且驱动相应的透明晶体管来显示信息。
第一透明电极243和第二透明电极245可布置在相对于它们之间的透明有机发光层244彼此相对的方向上。第一透明电极243、透明有机发光层244和第二透明电极245形成透明OLED。
透明OLED可根据驱动方法被划分为无源矩阵OLED(PMOLED)和有源矩阵OLED(AMOLED)。对于PMOLED，像素被形成在第一透明电极243和第二透明电极245彼此交叉的区域中。相反，AMOLED具有包括驱动每个像素的TFT的结构。图3示出AMOLED的结构。
第一透明电极243和第二透明电极245均包括多个线电极。这多个线电极彼此垂直地排列。例如，如果第一透明电极243的线电极被布置在水平方向上，则第二透明电极245的线电极被布置在垂直方向上。因此，在第一透明电极243和第二透明电极245之间形成多个相交区域。如图3中示出的透明晶体管被连接到各个相交区域。
控制单元200可使用透明晶体管以形成每个交叉区域的电位差。在形成电位差的交叉区域中，电子和空穴从每个电极流入透明有机发光层244并在透明有机发光层244组合，从而发光。相反，在没有形成电位差的交叉区域中，不发光。因此，背面背景被透明地反射。
第一透明电极243和第二透明电极245可由氧化铟锡(ITO)或诸如石墨烯的新材料形成。石墨烯是由彼此连接并且形成如蜂房的平面形状结构的碳原子形成的透明材料。此外，也可通过使用各种材料来实现透明有机发光层244。
如上所述，透明显示单元240可被实现为诸如透明LCD类型、透明TFEL类型、透明OLED类型或透射类型的各种类型。在透射类型(诸如平视显示器(HDD))的情况下，图像被投影并显示在透明屏幕上。
图4是示出可应用于透明显示设备的透明显示单元的详细配置的另一示例的示图。图4显示被实施为透明显示设备的显示单元240的详细配置。
透射类型透明显示器240-2可包括透明屏幕410、光学装置420和光源装置430。
光源装置430通过使用各种类型的光源(诸如真空荧光显示屏(VFD)、阴极射线管(CRT)、LCD或LED)来产生用于显示信息的光。
光学装置420将从光源装置430发射的光发送并投影到透明屏幕410。光学装置420可通过使用包括至少一个或更多个透镜和反射镜的导光板来实现。
光源装置430和光学装置420可被实现为一个显示模块。因此，光源装置430和光学装置420可被布置在透明屏幕410的上边缘部分、下边缘部分、左边缘部分和右边缘部分上，并且将光投影到透明屏幕410以便显示信息。此外，光源装置430和光学装置420可通过使用全息方法来实现。在这种情况下，光源装置430和光学装置420可通过使用激光将信息直接显示在透明屏幕410上。
透明屏幕410可由普通玻璃或任意透明材料形成。
图5是示出根据示例性实施例的透明显示设备100选择对象的处理的流程图。
首先，在操作S500，透明显示设备100从对象110接收标识信息。关于对象110的标识信息可包括用于标识对象110的ID或用于访问对象110的信息。例如，对象110的IP地址可被包括在关于对象110的标识信息中。透明显示设备100可基于接收的标识信息来识别对象110。
随后，透明显示设备100可获得关于用户120的意图的信息。关于用户120的意图的信息是用于确定可由用户120选择的对象110的信息。可通过使用各种输入方法来确定关于用户120的意图的信息。
随后，在操作S520，透明显示设备100可根据关于用户120的意图的信息来选择对象。此外，透明显示设备110可选择性地显示关于位于可由用户120观看的区域中的对象110的信息。位于可由用户120观看的区域中的对象110是位于用户120在用户120的位置通过透明显示单元110的透明显示器观看的区域中的对象110，如图24中显示的第一对象110-1和第二对象110-2。
可通过从与可由透明显示设备100显示的关于对象110的标识信息对应的对象110接收信息，或者通过从存储于存储介质中的信息搜索与关于对象100的标识信息对应的信息，来获得关于对象110的信息。
图6是示出根据示例性实施例的透明显示设备100显示关于对象的信息的处理的流程图。
首先，在操作S600，透明显示设备100可确定将显示在显示单元240上的关于对象的信息的位置。透明显示设备100可根据透明显示设备100、用户120和对象110之间的相对位置来确定显示关于对象的信息的位置。稍后将在解释图7时对确定关于对象的信息的方法进行解释。
随后，在操作S610，透明显示设备100可将关于对象110的信息显示在确定的位置。关于对象110的信息是与对象110有关的信息，并且经由透明显示设备100提供给用户120。例如，关于对象110的信息可包括诸如对象110的名称、型号名称和标识信息的信息。此外，根据示例性实施例，关于对象110的信息可包括表示对象110的形状的图像。对象110的形状可被显示在用户120可通过透明显示设备100观看的对象110上。
随后，在操作S620，透明显示设备100可改变显示关于对象110的信息的位置。例如，用户120可经由对显示在透明显示设备100上的对象110的形状的触摸输入来改变显示关于对象110的信息的位置。此外，作为另一示例，当用户120、透明显示设备100或对象110的位置改变时，显示关于对象110的信息的位置可改变。可根据由用户检测单元210检测的用户120的位置或由对象选择单元220检测的对象110的位置，来改变显示关于对象110的信息的位置。否则，可根据从包括在透明显示设备100中的运动识别传感器识别的透明显示设备100的运动来改变显示关于对象110的信息的位置。例如，当透明显示设备100向透明显示设备100的下部移动时，显示关于对象110的信息的位置可被改变为向透明显示设备100的上部移动。
图7是示出根据示例性实施例的透明显示设备100根据用户和对象的位置确定显示信息的位置的方法的示图。
参照图7，用于检测用户的位置的用户检测单元210可被安装在透明显示设备100的上部中心。此外，包括在对象选择单元中并识别对象110的位置的位置识别单元710可被安装在透明显示设备100的上部中心。
可使用位置识别单元710检测对象110的位置的方法或根据示例性实施例，来改变位置识别单元710的位置。
如图7所示，当用户检测单元210的位置和位置识别单元710的位置彼此对应时，它们的对应点被定义为原点(0,0)，对象110的实际位置被假定为L1(x1y1)，用户120的位置被假定为L2(x2y2)。
如果用户检测单元210和位置识别单元710分别通过使用深度相机来实现，则位置识别单元710可通过使用在位置识别单元710捕获的背面背景图像，来检测透明显示设备100和对象110之间的距离d1以及对象110的方向和透明显示设备100的表面之间的角度θ1。此外，用户检测单元210可通过使用在用户检测单元210捕获的前面背景图像，来检测透明显示设备100和用户120之间的距离d2以及用户120的方向和透明显示设备100的表面之间的角度θ2。
对象选择单元220可通过使用三角函数来分别计算x1、y1、x2和y2。也就是，计算出d1×sinθ1＝y1和d1×cosθ1＝x1。此外，计算出d2×sinθ2＝y2和d2×cosθ2＝x2。因此，当计算出x1、y1、x2和y2时，用于将点L1与点L2连接的线性等式被获得。也就是，可获得诸如y＝(y1-y2)×x/(x1-x2)+y1-(y1-y2)×x1/(x1-x2)的等式。也就是说，作为透明显示设备100的区域的点T可被计算为((x2y1-x1y2)/y1-y2),0)，其中，用户120可通过点T观看对象。因此，透明显示单元240可将关于对象110的信息显示在由对象选择单元220计算的点T上。
在图7中，点T被描述为坐标值。然而，根据示例性实施例，距点T特定距离内的区域可被确定为显示关于对象110的信息的区域。
在图7中，用户检测单元210和位置识别单元710被分别示出为一个装置。然而，用户检测单元210和位置识别单元710可包括多个装置。例如，用户检测单元210和位置识别单元710可包括多个相机。
图8是示出根据示例性实施例的选择对象的处理的流程图。
首先，在操作S800，透明显示设备100可根据关于用户120的意图的信息来确定位置或方向。该位置或方向是指相对于透明显示设备100的位置或方向。
此外，关于用户120的意图的信息可包括用于确定位置或方向的信息。根据示例性实施例，关于用户120的意图的信息可包括关于用户120的注视方向的信息。关于用户120的注视方向的信息可包括通过使用诸如眼睛跟踪或面部识别的各种方法而获得的信息。此外，根据另一示例性实施例，关于用户120的意图的信息可包括关于用户120的位置的信息和触摸输入的信息。例如，如果关于用户120的意图的信息包括关于对用户120的位置和部分T的触摸输入的信息，则对象选择单元220可根据将用户120的位置与T部分连接的线的延长线来确定方向。
随后，在操作S810，对象选择单元220可根据确定的位置或方向来选择对象120。根据示例性实施例，对象选择单元220可识别位于确定的位置或方向的对象110并选择该识别的对象。稍后在解释图9至图19时将对识别位于确定的位置或方向的对象的方法进行解释。
图9是示出根据示例性实施例的通过使用红外(IR)通信选择对象的处理的流程图。
根据示例性实施例，对象选择单元220可包括用于识别对象110所在的方向的位置检测单元710。此外，位置识别单元710可包括可在预定方向上发送和接收IR信号的IR通信模块。
此外，在当前示例性实施例中描述IR通信模块。然而，可由允许在预定方向上通信(诸如光传感器或发光装置)的不同的通信方法来代替IR通信。
在操作S900，位置识别单元710可在例如在S800确定的方向上发射IR信号。随后，在操作S910，位置识别单元710可从已接收到IR信号的对象接收标识信息。例如，当具有预定模式的IR信号在操作S900确定的方向上发射时，位于发射IR信号的方向的对象110可通过使用IR接收器来识别具有预定模式的IR信号，从而将标识信息发送给透明显示设备100。可经由在对象110和透明显示设备100之间连接的任意通信元件来发送标识信息。
随后，在操作S920，对象选择单元710可基于接收到的标识信息来选择对象。例如，当在操作S920接收的标识信息分别是a、b和c时，如果在操作S900发射IR信号之后在操作S910接收的标识信息是b，则标识信息与b对应的对象110可被选择。
图10是示出根据另一示例性实施例的通过使用IR通信选择对象的处理的流程图。
根据示例性实施例，对象选择单元220可包括用于识别对象110所在方向的位置检测单元710。此外，位置识别单元710可包括可在预定方向上发送和接收IR信号的IR通信模块。
此外，在当前示例性实施例中描述IR通信模块。然而，可由允许在预定方向上通信(诸如光传感器或发光装置)的不同的通信方法来代替IR通信。
在操作S1000，透明显示设备100可将用于请求发送预定IR信号的信息分别发送给经由信息发送接收单元230通信连接的一个或更多个对象110。随后，透明显示设备100的位置识别单元710可根据接收预定IR信号的方向来识别一个或更多个对象所在的方向。例如，透明显示设备100可向一个或更多个对象110中的各个对象请求发送不同模式的IR信号，根据接收的IR信号的模式来识别所述一个或更多个对象100，根据接收IR信号的方向来检测所述一个或更多个对象所在的方向。
随后，在操作S1020，对象选择单元220可从在操作S1010检测到方向的一个或更多个对象中选择位于在操作S800中识别的方向的对象110。
图11是示出根据示例性实施例的通过使用IR通信识别对象所在方向的方法的流程图。
透明显示设备100的对象选择单元220可包括位置识别单元710，位置识别单元710包括多个用于识别对象100的位置的多个IR通信模块1115。
根据示例性实施例，如图11所示，IR通信模块1115被布置在用于在几个方向发射IR信号或从几个方向接收IR信号的几个方向上。然而，位置识别单元710也可仅包括一个IR通信模块1115，并且可被实现为改变IR通信模块1115的方向。
根据示例性实施例，位置识别单元710可根据用户120的注视方向来将IR信号发送给对象110。可选择地，根据从一个或更多个对象110接收的IR信号的方向，位置识别单元710可识别对象110所在的方向。
在图1中，透明显示设备100被示出为包括一个位置识别单元710。然而，透明显示设备100可在几个位置包括位置识别单元710。因此，可提高识别对象110的位置的精确性。
图12是示出根据本总体发明构思的实施例的通过使用从包括在对象中的发光装置产生的光来选择对象的处理的流程图。
首先，在操作S1200，透明显示设备与对象110同步。随后，在操作S1210，透明显示设备100可经由信息发送接收单元230在预定时刻将用于请求对象110产生光的信息发送给对象110。
当对象110根据在操作S1210发送给对象110的信息在预定时刻产生光时，在操作S1220，包括成像元件的位置识别单元710在预定时刻捕获包括光的图像。
随后，在操作S1230，位置识别单元710可基于包括在图像中的光的位置来确定对象的位置。随后，在操作S1240，对象选择单元220可选择在操作S1230确定的方向与根据关于用户120的意图的信息确定的位置或方向对应的对象。
图13是示出根据示例性实施例的通过使用从包括在对象中的发光装置产生的光确定对象的位置的处理的示图。在图13中，根据示例性实施例，在位置识别单元710捕获的图像被划分为多个块。
参照图13，位置识别单元710可将捕获的图像划分为由多条垂直线V1至Vx与多条水平线V1至Vy形成的区域。可以以矩阵的形式安排划分后的区域。
矩阵中的各个单元可由一个像素形成。然而，所述各个单元可由多个像素形成。
位置识别单元710可将最亮区域确定为光被拍摄的位置。在图13中，点(Vx,Hy)可被确定为光被拍摄的位置。位置识别单元710可根据光被拍摄的位置来匹配对象110的位置或方向。与图7中当点T是(Vx,Hy)时计算点T的方法相反，可根据用户的位置和点T的位置来获得对象110的位置。根据获得的对象110的位置，对象选择单元220可选择位于与根据关于用户的意图的信息确定的位置或方向对应的地点的对象110。
图14是示出根据示例性实施例的通过使用超声识别装置选择对象的处理的流程图。
首先，在操作S1400，包括在对象选择单元220中的位置识别单元710可通过使用超声识别装置来识别对象110的位置。超声识别装置通过使用超声波与无线通信波之间的时间差来测量灯塔1510与接收器1520之间的距离，并且随后通过使用三个或更多距离来找到位置。超声波的传播速度大约是343m/sec。无线通信波的传播速度与光的速度相同，因此无线通信波的传播时间被估计为大约0。因此，可通过使用当超声波从对象110到达位置识别单元710时的时刻与当无线通信波从对象110到达位置识别单元710时的时刻之间的差，来测量距离。
随后，在操作S1410，对象选择单元220可从由位置识别单元710识别出位置的一个或更多个对象110中，选择与通过关于用户120的意图的信息确定的位置或方向对应的位置的对象110。
图15是示出根据示例性实施例的通过使用超声识别装置识别对象的位置的处理的流程图。
根据示例性实施例的透明显示设备100可包括多个灯塔1510。包括在对象110中的接收器1520可接收从灯塔1510产生的超声波和无线通信波。当对象110经由接收器1520接收到超声波和无线通信波时，对象110可将关于对象110的位置的信息发送给透明显示设备100。根据示例性实施例，关于对象110的位置的信息可包括关于当接收器1520从每个灯塔1510接收到超声波和无线通信波时的时刻的信息、关于根据当接收到超声波和无线通信波时的时刻而获得的接收器1520和灯塔1510之间的距离L1至L3的信息、以及通过使用接收器1520和灯塔1510之间的距离而获得的用于识别对象110的位置的信息(诸如对象110的坐标)。
可通过使用L＝Cus(Tus-Trf)、使用超声波的到达时间Tus和无线通信波的到达时间Trf之间的差来计算接收器1520和灯塔1510之间的距离。公式中的“L”是接收器1520和灯塔1510之间的距离，“Cus”是超声波的传播速度。
透明显示设备100可通过获得各个灯塔1510和接收器1520之间的距离，来识别对象110的位置。
图16是示出根据示例性实施例的通过使用姿势识别选择对象的处理的流程图。
首先，在操作S1600，透明显示设备100可经由信息发送接收单元239将关于姿势的信息发送给对象110。关于姿势的信息可包括请求由对象110的用户1710执行以识别对象110的位置的姿势，其中，对象110的用户1710处于其位置将被识别的对象的位置。此外，根据示例性实施例，透明显示设备100可将与第一对象110-1和第二对象110-2对应的信息显示在透明显示单元240上。随后，透明显示设备100可将关于姿势的信息发送给通过用户120针对显示在透明显示设备100上的信息的触摸输入选择的对象110。
随后，位置识别单元710识别包括在关于发送的姿势的信息中的姿势。在操作S1610，位置识别单元710可根据识别出姿势的位置来确定对象的位置。例如，当关于请求举起手的姿势的信息被发送给第一对象110-1时，透明显示设备100识别处于第一对象110-1的位置的用户举起手的姿势。因此，透明显示设备100识别第一对象110-1的位置。
随后，在操作S1620，对象选择单元220可根据在操作S1600至S1610识别的对象120的位置，来选择其位置或方向与根据关于用户120的意图的信息确定的位置或方向对应的对象。
图17是示出根据示例性实施例的通过使用姿势识别确定对象的位置的处理的流程图。
透明显示设备100可根据用户120针对显示的信息的输入来显示与第一对象110-1和第二对象110-2相应的信息，并可将关于姿势的信息发送给第一对象110-1。
随后，透明显示设备100可识别处于第一对象110-1的位置的用户的姿势，从而将处于第一对象110-1的位置的用户1710的位置确定为第一对象110-1的位置。
图18是示出根据示例性实施例的通过使用机器对机器(M2M)通信选择对象的处理的流程图。
在操作S1800，位置识别单元710可通过使用M2M通信来识别至少一个对象110的位置。M2M通信是指将传感器和通信功能与对象组合，从而智能地收集并相互地交换信息的网络。M2M通信允许通过使用各种装置的情景感知和位置信息识别。
根据示例性实施例，对象可相互通信，并且识别对象的位置。透明显示设备100通过使用M2M通信从多个对象之一接收多个对象的位置，从而识别多个对象的位置。
随后，在操作S1810，对象选择单元220可选择其位置与通过关于用户120的意图的信息确定的位置或方向对应的对象110-1至110-3。例如，如果关于用户120的意图的信息是对对象的注视方向，则对象选择单元220可选择被放置在与用户120的注视方向对应的位置的对象。
图19是示出根据示例性实施例的通过使用M2M通信识别对象的位置的方法的示图。
各个对象110-1至110-3可彼此通信，并且各个对象110-1至110-3的位置可被识别。例如，基于从多个接入点(AP)接收的信号的强度，各个对象110-1至110-3与各个AP之间的距离被获得。随后，各个对象110-1至110-3的位置可根据多个AP的位置以及从多个AP到各个对象110-1至110-3的距离而被识别。
透明显示设备100通过使用M2M通信从对象110-1至110-3之一接收各个对象110-1至110-3的位置。因此，透明显示设备100可识别对象110-1至110-3的位置并且选择对象。例如，如果关于用户120的意图的信息是对第一对象110-1的注视方向，则透明显示设备100的对象选择单元220可选择第一对象110-1。
图20是示出根据示例性实施例的通过使用语音识别选择对象的处理的流程图。
首先，在操作S2000，对象选择单元220可将从对象100接收的标识信息显示在透明显示单元240上。显示在透明显示单元240上的标识信息可包括用于对对象100分类的信息，诸如，电视、冰箱或空调。
随后，在操作S2010，对象选择单元220可获得与标识信息对应的语音输入。对象选择单元220包括获得语音输入的位置识别单元710。位置识别单元220将通过语音识别输入的语音信息转换为文本，并将转换后的文本与标识信息进行比较。因此，对象选择单元220可确定语音输入是否对应于标识信息。
随后，在操作S2020，对象选择单元220可根据标识信息选择对象110。
图21是示出根据示例性实施例的透明显示设备100显示关于对象的标识信息的示例的示图。
透明显示设备100可列出并显示由透明显示单元240接收的标识信息。除了图21所示的对象的类型、型号名称和图像之外，显示在透明显示设备100上的标识信息还可包括对象相关信息。
图22是示出根据另一示例性实施例的透明显示设备100显示关于对象的标识信息的示例的示图。
透明显示设备100可通过透明显示单元240显示如图22所示的对象的标识信息以及关于对象的信息。例如，透明显示设备100可显示对象100的形状以及关于从对象110接收的关于对象的标识信息。
通过透明显示单元240发送图22中显示的对象110，从而被用户观看。对象110不是显示在透明显示单元240上的图像。对象110的形状2200是由透明显示单元240输出的图像。可根据用户120、透明显示设备100和对象110的位置来确定在透明显示单元240上显示形状2000的位置。通过根据用户120、透明显示设备100和对象110的位置确定在透明显示单元240上显示对象110的形状2000的位置，对象110的形状2000对于用户120来说看上去可能与对象110重叠。对象110的形状2000可以是关于各种类型的对象110的信息，所述信息可被输出为诸如对象110的另一图像或文本以及轮廓的图像。
图23是示出根据示例性实施例的基于图像识别选择对象的处理的流程图。
在操作S2300，位置识别单元710可通过包括在透明显示设备100中的拍摄元件来获得包括对象110的形状的图像。随后，在操作S2310，位置识别单元710可基于图像识别来识别对象的位置。
透明显示设备100可从对象110接收包括关于对象的形状的信息的标识信息。基于接收的对象110的形状，位置识别单元710可识别包括在图像中的获得对象110的形状的位置。位置识别单元710可根据图像中包括对象110的形状的位置来估计对象110的位置。
例如，获得的图像被划分为多个区域，并且各个区域可被映射到预定方向或位置。位置识别单元710可确定映射到图像中包括对象110的形状的区域的方向或位置。因此，在操作S2320，可根据识别的位置来选择对象110。
图24是用于解释根据示例性实施例的选择位于用户可通过透明显示设备观看的区域中的对象的方法的示图。
透明显示设备100可选择性地接收关于位于用户可通过透明显示设备100观看的区域中的对象的标识信息。如图24所示，透明显示设备100可仅接收关于可从用户120的位置通过透明显示设备100观看到的第一对象110-1和第二对象110-2的信息，并且可不接收关于第三对象110-3的标识信息。
此外，根据另一示例性实施例，在关于至少一个对象110的信息中，透明显示设备100可选择性地显示仅关于可从用户120的位置通过透明显示设备100观看到的第一对象110-1和第二对象110-2的信息。
图25是用于解释根据示例性实施例的改变显示关于显示在透明显示设备100上的对象的信息的位置的方法的示例。
在操作2500，用户120可通过透明显示单元240观看对象110。透明显示设备100可将与对象100有关的信息显示在透明显示单元240上。在操作2510，与对象100有关的信息可包括对象110的形状2000。
对象110的形状2200可被显示在用户120可通过透明显示单元240观看对象110的位置上。然而，如果透明显示设备100、用户120和对象110的位置没有被精确地识别，则与对象110有关的信息可不被显示在精确位置。因此，在操作2520，可根据用户输入来改变包括与显示的对象110有关的信息的位置。
透明显示设备100可根据透明显示设备100、用户120和对象110的运动来改变显示与对象110有关的信息的位置。例如，当对象100向左移动时，显示与对象110有关的信息的位置可根据对象110的运动移动。
示例性实施例可以以记录介质的形式被实现，记录介质形式包括诸如由计算机执行的程序模块的可执行程序命令。计算机可读记录介质是可由计算机系统访问的任何可用装置，并且包括易失性和非易失性、可移除和非可移除介质。此外，计算机可读记录介质可包括计算机存储介质和通信介质。计算机存储介质包括可通过使用用于存储诸如计算机可读命令、数据结构、程序模块或其他数据的信息的技术的任意方法实现的易失性和非易失性、可移除和非可移除介质。通信介质包括计算机可读命令、数据结构、程序模块、调制数据信号(诸如载波或其他传输机制)的其他数据。通信介质也包括任意信息传输介质。
尽管已经具体显示和描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本总体发明构思的精神和范围的情况下，可在其中进行形式和细节上的各种改变。因此，在这里描述的示例性实施例应该认为仅是描述意义的而非用于限制目的。例如，以单独的形式描述的每个元件可以以分布式形式被执行。同样，以单独的形式描述的元件可以以组合的形式被执行。
以上构思不必限于示例性实施例，专利权利要求以及包括与专利权利要求相同或等同的改变的全部属于本发明的范围。

Claims (15)

1.一种介于用户与对象之间的透明显示设备的对象选择方法，所述方法包括：
检测对象；
接收指示用户选择对象的信息；
基于所述信息选择对象。
2.如权利要求1所述的方法，还包括：
基于用户的位置和对象的位置，来确定将被显示在透明显示设备的屏幕上的关于选择的对象的信息的位置；
将关于对象的信息显示在屏幕上的确定的位置。
3.如权利要求2所述的方法，其中，将关于对象的信息显示在屏幕上的确定的位置的步骤包括：显示对象的形状。
4.如权利要求1所述的方法，其中，所述信息包括用户的位置或用户的观看方向，
其中，选择对象的步骤包括：基于用户的位置或用户的观看方向来选择对象。
5.如权利要求1所述的方法，其中，选择对象的步骤包括：
基于确定的位置或方向执行红外通信；
从通过红外通信接收到信号的对象接收标识信息；
基于接收到的标识信息选择对象。
6.如权利要求1所述的方法，其中，选择对象的步骤包括：
由透明显示设备将用于发送预定红外信号的请求发送给对象；
根据已接收到对所述预定红外信号的响应的方向来识别对象所在的方向；
基于识别的对象所在的方向来选择对象。
7.如权利要求1所述的方法，其中，选择对象的步骤包括：
将关于姿势的信息发送给多个对象中的至少一个；
识别发送的姿势；
将识别出姿势的位置确定为对象的位置；
基于对象的位置来选择对象。
8.如权利要求1所述的方法，还包括：
将对象的标识信息显示在透明显示设备上，
其中，接收指示用户选择对象的信息的步骤包括：通过使用语音识别接收与标识信息对应的语音输入，
其中，选择对象的步骤包括：根据与语音输入对应的标识信息来选择对象。
9.如权利要求1所述的方法，其中，检测对象的步骤包括：
从至少一个对象接收标识信息；
在所述至少一个对象中，选择性地显示关于位于用户通过透明显示设备可观看的区域中的对象的信息，其中，所述至少一个对象的标识信息被接收到。
10.一种透明显示设备，包括：
信息发送接收单元，被配置为检测布置在透明显示设备的第一侧的对象；
用户检测单元，被配置为接收指示用户选择布置在与第一侧相反的透明显示设备的第二侧的对象的信息；
对象选择单元，被配置为基于所述信息选择对象。
11.一种透明显示设备，包括：
信息发送接收单元，被配置为检测布置在与透明显示设备的第一侧相反的透明显示设备的第二侧的对象；
用户检测单元，被配置为检测位于透明显示设备的第一侧的用户；
对象选择单元，被配置为基于信息发送接收单元对对象的检测和用户检测单元对用户的检测来选择对象。
12.如权利要求11所述的透明显示设备，其中，信息发送接收单元被配置为与对象通信并基于与对象的通信检测对象。
13.如权利要求12所述的透明显示设备，其中，用户检测单元被配置为检测用户的观看方向，
其中，对象选择单元被配置为基于信息发送接收单元对对象的检测和用户检测单元对观看方向的检测来选择对象。
14.如权利要求12所述的透明显示设备，其中，用户检测单元被配置为检测用户的触摸输入，
其中，对象选择单元被配置为基于信息发送接收单元对对象的检测和用户检测单元对触摸输入的检测来选择对象。
15.如权利要求12所述的透明显示设备，其中，用户检测单元被配置为检测用户的语音输入，
其中，对象选择单元被配置为基于信息发送接收单元对对象的检测和用户检测单元对语音输入的检测来选择对象。
CN201380047074.4A 2012-09-10 2013-09-09 透明显示设备及其对象选择方法 Active CN104620197B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0099737 2012-09-10
KR1020120099737A KR102047494B1 (ko) 2012-09-10 2012-09-10 투명 디스플레이 장치 및 그 객체 선택 방법
PCT/KR2013/008104 WO2014038898A1 (en) 2012-09-10 2013-09-09 Transparent display apparatus and object selection method using the same

Publications (2)

Publication Number Publication Date
CN104620197A true CN104620197A (zh) 2015-05-13
CN104620197B CN104620197B (zh) 2018-08-28

Family

ID=49165555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047074.4A Active CN104620197B (zh) 2012-09-10 2013-09-09 透明显示设备及其对象选择方法

Country Status (5)

Country Link
US (1) US9965137B2 (zh)
EP (1) EP2706435B1 (zh)
KR (1) KR102047494B1 (zh)
CN (1) CN104620197B (zh)
WO (1) WO2014038898A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529071B2 (en) * 2012-12-28 2016-12-27 Rakuten, Inc. Ultrasonic-wave communication system
US9652034B2 (en) 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
EP3065623B1 (en) 2013-11-09 2020-04-22 Shenzhen Goodix Technology Co., Ltd. Optical eye tracking
CN106663183B (zh) 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
KR20150073366A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 전자 장치 간의 거리를 측정하는 방법 및 전자 장치
US10613585B2 (en) * 2014-06-19 2020-04-07 Samsung Electronics Co., Ltd. Transparent display apparatus, group play system using transparent display apparatus and performance methods thereof
KR102358921B1 (ko) * 2014-06-30 2022-02-09 주식회사 알티미디어 정보 디스플레이 방법 및 그를 위한 디스플레이 장치
KR102219910B1 (ko) * 2014-12-12 2021-02-24 삼성전자주식회사 컨텐트를 표시하는 방법 및 디바이스
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
WO2016129863A1 (en) * 2015-02-12 2016-08-18 Samsung Electronics Co., Ltd. Payment processing method and electronic device supporting the same
EP3262582B1 (en) 2015-02-27 2021-03-17 Samsung Electronics Co., Ltd. Electronic device providing electronic payment function and operating method thereof
KR102460459B1 (ko) 2015-02-27 2022-10-28 삼성전자주식회사 전자 장치를 이용한 카드 서비스 방법 및 장치
JP2016194756A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20160364121A1 (en) * 2015-06-10 2016-12-15 Mediatek Inc. Method and associated circuit for arranging window on screen
KR20170002048A (ko) * 2015-06-29 2017-01-06 삼성전자주식회사 피사체 이동 제어 장치 및 방법
US10025546B2 (en) 2015-07-14 2018-07-17 International Business Machines Corporation Remote device control via transparent display
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
KR101713269B1 (ko) * 2015-09-25 2017-03-07 주식회사 토비스 사용자 인식 스마트 윈도우 장치
KR102434867B1 (ko) * 2016-08-31 2022-08-22 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
US11096381B2 (en) * 2018-07-06 2021-08-24 Korea Advanced Institute Of Science And Technology Interactive fish tank system, and interaction providing method of the same
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
US11796801B2 (en) * 2021-05-24 2023-10-24 Google Llc Reducing light leakage via external gaze detection

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960002841B1 (ko) * 1993-03-03 1996-02-26 엘지전자주식회사 리모콘 위치 검출 장치
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6216087B1 (en) * 1999-11-23 2001-04-10 Xerox Corporation Infrared beacon positioning system
JP2002207073A (ja) * 2001-01-11 2002-07-26 Sony Corp 情報処理装置および方法、並びにプログラム
AU2002225800A1 (en) * 2001-01-19 2003-09-02 William M. Perkins Transparent input/display device
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7978184B2 (en) * 2002-11-08 2011-07-12 American Greetings Corporation Interactive window display
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
US8230075B1 (en) * 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
KR101600626B1 (ko) * 2009-08-11 2016-03-07 엘지전자 주식회사 이동 통신 단말기에서의 데이터 전송 방법 및 이를 적용한 이동 통신 단말기
KR101695809B1 (ko) 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8621365B2 (en) 2010-04-06 2013-12-31 Asustek Computer Inc. File sharing method and system
KR101334107B1 (ko) 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR101737839B1 (ko) * 2010-09-16 2017-05-19 엘지전자 주식회사 투명 디스플레이 장치 및 객체 탐지 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8606430B2 (en) * 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
WO2012054063A1 (en) 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
EP2500814B1 (en) * 2011-03-13 2019-05-08 LG Electronics Inc. Transparent display apparatus and method for operating the same
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9293151B2 (en) * 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
CN104204994B (zh) * 2012-04-26 2018-06-05 英特尔公司 增强现实计算装置、设备和系统
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays

Also Published As

Publication number Publication date
US9965137B2 (en) 2018-05-08
EP2706435B1 (en) 2020-04-01
EP2706435A3 (en) 2015-07-29
CN104620197B (zh) 2018-08-28
WO2014038898A1 (en) 2014-03-13
EP2706435A2 (en) 2014-03-12
KR102047494B1 (ko) 2019-11-21
KR20140033652A (ko) 2014-03-19
US20140075349A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN104620197A (zh) 透明显示设备及其对象选择方法
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US10732729B2 (en) Transparent display apparatus and method thereof
CN107526953B (zh) 支持指纹认证功能的电子装置及其操作方法
EP2693332B1 (en) Display apparatus and method thereof
EP3428967A1 (en) Electronic device having display
EP2898399B1 (en) Display integrated camera array
US20150379770A1 (en) Digital action in response to object interaction
EP4246503A2 (en) Electronic device having display
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
US20140285520A1 (en) Wearable display device using augmented reality
CN104102394A (zh) 一种光学多点触控设备及方法
KR20090047889A (ko) 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템
EP4172740A1 (en) Augmented reality eyewear with speech bubbles and translation
US20160259483A1 (en) Integrated near field sensor for display devices
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
WO2022005946A1 (en) Augmented reality experiences using social distancing
CN106843503B (zh) 一种显示装置及其控制方法
US20200211500A1 (en) Fade-in user interface display based on finger distance or hand proximity
US20120176327A1 (en) Touch interface system and method
EP4172732A1 (en) Augmented reality eyewear with mood sharing
JP2016115125A (ja) ウェアラブル検索システム
CN103649879A (zh) 使用位置唯一性光学信号的数字化仪
KR20180100292A (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
WO2022146673A1 (en) Augmented reality precision tracking and display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant