CN103826145A - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN103826145A
CN103826145A CN201310486543.4A CN201310486543A CN103826145A CN 103826145 A CN103826145 A CN 103826145A CN 201310486543 A CN201310486543 A CN 201310486543A CN 103826145 A CN103826145 A CN 103826145A
Authority
CN
China
Prior art keywords
user
display unit
recognition
unit
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310486543.4A
Other languages
English (en)
Other versions
CN103826145B (zh
Inventor
安在弘
薛景灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103826145A publication Critical patent/CN103826145A/zh
Application granted granted Critical
Publication of CN103826145B publication Critical patent/CN103826145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

提供了显示装置及其控制方法，显示装置包括：识别单元，识别用户的凝视；控制器，确定所识别凝视是否在预定识别区域内，并且当确定所识别凝视在预定识别区域内时，控制进入交互模式；以及显示单元，显示与交互模式相对应的图像。跟踪用户凝视以便执行进入交互模式，从而容易地实现进入交互模式并执行更直观的交互。此外，执行包括面部识别、语音识别和凝视识别的组合的多模态交互模式，从而执行扩展得更多的交互模式并精确地确定用户命令。因此，正确执行了功能，改善了用户便利性。

Description

显示装置及其控制方法
技术领域
本公开的实施例涉及提高用户输入的信息的识别准确度的显示装置及其控制方法。
背景技术
显示装置显示立体图像。
近年来，开发了多种平板显示设备，具有比阴极射线管小的重量和体积，并可以安装在多种多样的空间中，从而容易地达到了大尺寸图像呈现、平板结构和高质量。
这种平板显示设备的代表示例包括液晶显示设备(LCD)、电致发光显示设备(ELD)、场发射显示设备(FED)、等离子体显示面板(PDP)、薄膜晶体管液晶显示设备(TFT-LCD)及柔性显示设备。
这种显示设备包括用于改善用户便利性的识别技术。
识别技术的示例包括运动识别技术和语音识别技术。运动识别技术是使用运动传感器来识别用户的运动并根据所识别运动来确定用户命令的技术。语音识别技术是使用语音传感器来识别用户的语音并根据所识别语音来确定用户命令的技术。
在这些识别技术中，如果没有正确输入运动或语音，则可能执行并非用户所需的功能，或可能无法执行用户输入。为此，可能不得不重复执行操作，这造成用户的不便。
此外，由于用户无意识地发起的运动或语音，可能导致无意地执行某些功能。
此外，在向显示设备应用运动识别技术的情况下，尽管可以使用命令来选择和设置用户不经常执行的运动或区别度较高的运动，但是用户可以执行的动作是有限的。因此，选择运动来设置命令可能很困难。
发明内容
本公开的一个方面在于提供一种显示装置及其控制方法，该显示装置识别用户的凝视以进入交互模式，并将凝视的位置显示为光标。
本公开的另一方面在于提供一种显示装置及其控制方法，该显示装置识别用户的凝视和运动，或同时识别用户的凝视和语音，以控制操作和功能。
本公开的其它方面部分地将在以下描述中阐述，且部分地将通过以下描述而变得清楚明白，或者可以通过本公开的实践来获知。
根据本发明的一个方面，显示装置包括：识别单元，识别用户的凝视；控制器，确定所识别凝视是否在预定识别区域内，并当确定所识别凝视在预定识别区域内时，控制进入交互模式；以及显示单元，显示与交互模式相对应的图像。
显示单元可以显示预定识别区域。
当识别到凝视时，控制器可以显示预定识别区域的显示信息，不同于在识别凝视之前的显示信息。
显示单元可以将所识别凝视的位置显示为光标。
识别单元可以识别用户的运动，控制器可以确定与所识别运动相对应的操作命令，并基于所确定的操作命令来控制驱动显示单元。
识别单元可以识别用户语音，控制器可以确定与所识别语音相对应的操作命令，并基于所确定的操作命令来控制驱动显示单元。
当进入交互模式时，控制器可以控制显示用于与用户交互的多个识别模式，并基于所识别凝视的位置从识别模式中选择一个。
显示装置还可以包括：图像收集单元，收集用户的图像；声音收集单元，收集用户的语音；其中控制器可以基于所选的识别模式来控制对图像收集单元和声音收集单元的激活。
识别单元可以识别用户的面部，控制器可以确定所识别用户是否是预登记用户，并当确定所识别用户是预登记用户时，控制对用户的凝视识别。
在识别到多个用户的情况下，控制器可以基于预存的优先级，控制对具有最高优先级的用户的凝视识别。
控制器可以确定所识别凝视是否在预定结束区域内，并且当确定所识别凝视在预定结束区域内时，控制完成交互模式。
根据本公开的另一方面，显示装置包括：第一识别单元，识别用户的凝视；第二识别单元，识别来自用户的命令；控制器，确定所识别凝视是否在预定识别区域内，当确定所识别凝视在预定识别区域内时控制进入交互模式，并且基于所识别凝视和命令来选择性地控制多个功能；以及显示单元，显示与交互模式相对应的图像和与选择性控制的功能相对应的图像。
第二识别单元可以识别从用户的运动和语音中选择的至少一个信号，并识别与所识别的所述至少一个信号相对应的操作命令。
当在凝视在预定区域内的情况下识别到运动时，控制器可以确认与所识别运动相对应的命令，并控制执行与所确认命令相对应的功能。
当在凝视在预定区域内的情况下识别到语音时，控制器可以确认与所识别语音相对应的命令，并控制执行与所确认命令相对应的功能。
功能可以包括从外部广播信号的再现、外部内容的再现、再现模式及屏幕调整模式中选择的至少一个。
显示装置还可以包括通信单元，接收从外部遥控器发送的声音信号，其中第二识别单元可以从所接收的声音信号中识别语音。
根据本公开的另一方面，一种显示装置包括：调谐器，接收外部广播信号；信号处理器，将广播信号分离为具有图像信息的图像信号和具有声音信息的声音信号，并对分离出的图像信号和声音信号进行信号处理；识别单元，识别用户的凝视；控制器，确定所识别凝视是否在预定识别区域内，并当确定所识别凝视在预定识别区域内时控制进入交互模式；显示单元，显示经过信号处理的图像信号和与交互模式相对应的图像；以及声音输出单元，输出经过信号处理的声音信号。
显示单元可以显示预定识别区域、频道按钮及音量按钮，并将所识别凝视的位置显示为光标。
当用户的凝视在显示单元的区域外时，控制器可以控制完成交互模式。
显示装置还可以包括收集模块，收集从用户的语音和图像中选择的至少一种信息，其中识别单元可以识别与所述至少一种信息相对应的操作命令，并且当进入交互模式时，控制器可以基于所识别命令来控制至少一个功能。
根据本公开的再一方面，一种显示装置的控制方法包括：识别用户的凝视；确定所识别凝视是否在预定识别区域内；当确定所识别凝视在预定识别区域内时，进入交互模式；显示用于与用户交互的多个识别模式；从所显示的识别模式中确定与所识别凝视的位置相对应的识别模式；执行所确定的识别模式，以识别来自用户的命令；以及执行与所识别命令相对应的功能。
控制方法还可以包括：当进入交互模式时，将预定识别区域显示为不同的显示信息。
进入交互模式可以包括：确定在预定时间段上凝视是否朝向预定识别区域。
执行所确定的识别模式以识别来自用户的命令可以包括：当所确定的识别模式是运动模式时，识别用户的运动；并且确定与所识别运动相对应的命令。
执行所确定的识别模式以识别来自用户的命令可以包括：当所确定的识别模式是语音模式时，识别用户的语音；并且确定与所识别语音相对应的命令。
控制方法还可以包括：识别用户的面部，确定所识别用户是否是预登记用户，并且当确定所识别用户是预登记用户时，识别用户的凝视。
控制方法还可以包括：确定所识别凝视是否在预定结束区域内，并且当确定所识别凝视在预定结束区域内时，完成交互模式。
控制方法还可以包括：当在凝视在预定识别区域内的情况下识别到运动时，确认与所识别运动相对应的命令，并控制执行与所确认命令相对应的功能。
控制模式还可以包括：当在凝视在预定识别区域内的情况下识别到语音时，确认与所识别语音相对应的命令，并控制执行与所确认命令相对应的功能。
控制方法还可以包括接收从外部遥控器发送的语音信号，并根据所接收的语音信号识别命令。
控制方法还可以包括：当在预定时间段或更长时间段上用户的凝视在显示单元的区域之外时，完成交互模式。
控制方法还可以包括将所识别凝视的位置显示为光标。
控制方法还可以包括当所识别凝视的位置在预定识别区域内和预定识别区域外交替移动时，完成交互模式。
附图说明
结合附图，根据实施例的以下描述，将更清楚并更容易理解本公开的上述和其他方面，附图中：
图1是示出了根据实施例的显示装置的视图；
图2A-2C、3A、3B及4是示出了根据实施例的显示装置的显示的视图；
图5是根据实施例的显示装置的控制框图；
图6是示出了根据实施例的显示装置的识别单元的结构的具体视图；
图7是示出了根据实施例在显示装置上显示的弹出菜单的视图；
图8A和8B是根据实施例的显示装置的控制流程图；
图9是根据另一实施例的显示装置的控制框图；
图10是根据实施例的显示装置的控制流程图；
图11是示出了根据实施例的显示装置的显示的视图；
图12是示出了根据再一实施例的显示装置的视图；
图13是根据实施例的显示装置的控制框图；
图14是根据实施例的显示装置的控制流程图；以及
图15和16是示出了根据实施例的显示装置的显示的视图。
具体实施方式
现在将详细参照本公开的实施例，其示例在附图中示出，在所有附图中使用相同附图标记表示相同部件。
图1是示出了根据实施例的显示装置的视图。以下文中，将参考图2A到4来描述显示装置的结构。
显示装置是图像显示装置，例如，电视机、监视器、或移动通信终端的显示设备。如图1中所示，显示装置1包括：主体100，显示图像；以及收集模块200，收集用户的图像信息和语音信息，将对其进行详细描述。
主体100包括：显示单元110，显示图像；以及边框120，覆盖非图像显示区域。
显示单元110包括：显示区域110a，显示用户请求的主图像；识别区域110b，支持进入交互模式；以及结束区域110c，指出结束交互模式。
也就是说，识别区域110b是用户注视以便进入交互模式的区域，结束区域110c是用户注视以便完成交互模式的区域。
显示单元110将识别区域110b和结束区域110c显示为不同于显示区域110a的显示信息，以便用户可以在它们之间进行区分。
例如，如在图2A和2B中所示，识别区域110b和结束区域110c可以在显示区域110a中显示为用半透明颜色或半透明颜色的轮廓线填充的图形。备选地，如在图2C中所示，识别区域110b和结束区域110c可以显示为半透明图标。
此时，显示单元110以重叠的方式在显示区域110a中显示识别区域110b和结束区域110c。
此外，识别区域110b和结束区域110c可以显示为具有一定尺寸的不透明符号(图形、轮廓线、图标等)，所述尺寸不干扰用户观看显示区域110a中显示的主图像。
显示单元110可以按照预定时间间隔周期性地显示识别区域110b和结束区域110c。备选地，显示单元110可以在初始操作时，显示与识别区域110b和结束区域110c的位置以及交互模式的使用有关的消息。
此外，显示单元110在进入交互模式之前和之后有区别地进行操作。也就是说，在进入交互模式之前和之后，显示单元110将识别区域110b显示为不同的显示信息。
例如，如图3A中，在进入交互模式之前，识别区域110b可以显示为空图形，在进入交互模式之后，可以在识别区域110b的空图形中显示图标。备选地，如图3B中所示，在进入交互模式之前，识别区域110b可以显示为第一颜色的图形，在进入交互模式之后，识别区域110b可以显示为第二颜色的图形。
此外，显示单元110可以仅显示识别区域110b，而不显示结束区域110c，而在进入交互模式之后，可以显示结束区域110c。
在进入交互模式之后，显示单元110保持根据进入交互模式的显示信息，以便告知用户正在执行交互模式。
例如，可以保持在识别区域110b的图形中显示图标，或保持识别区域110b的图形的第二颜色。
在进入交互模式之后，显示单元110显示用于控制显示装置的操作和功能的多个识别模式。
如图4中所示，显示用于在用户和显示装置之间进行交互的识别模式。作为示例，显示单元110在显示区域110a中显示运动识别按钮a1、语音识别按钮a2、及凝视识别按钮a3。此时，显示单元110将用户的凝视显示为光标a4。
此外，显示单元110显示用户请求的内容的图像。在用户改变屏幕调整信息的情况下，显示单元110基于改变后的屏幕调整信息来显示图像。
显示单元110包括显示面板111、漫射板112、导光板113、背光单元114及底架115。
显示面板111显示图像，例如，文本、数字或任意图标。
显示单元110还包括玻璃(未示出)和滤光器(未示出)，以便保护显示面板111不受外部冲击。玻璃防止滤光器受到外部冲击而损坏。
滤光器包括光学特性膜、电磁干扰(EMI)屏蔽膜及红外屏蔽膜。
光学特性膜减小入射在显示面板上的红(R)和绿(G)光的亮度，增加蓝(B)光的亮度，由此改善光学特性。EMI屏蔽膜屏蔽电磁干扰，以防止入射在显示面板上的电磁波释放到外部。
此外，红外屏蔽膜屏蔽从显示面板发射的红外光，以防止多于预定量的红外光释放到外部，使得向显示面板正常透射基于红外的信号(例如，由遥控器产生的信号)。
漫射板112是沿着其表面漫射从背光单元114发射的光、使得颜色和亮度在整个屏幕上均匀的半透明面板。漫射板112改善从背光单元114发射的光的亮度，并向显示面板提供具有这种改善亮度的光。也就是说，漫射板112增加从背光单元114的发光二极管(LED)发射的光量，并在整个屏幕上均匀地保持亮度。
导光板113使来自背光板114的光在整个显示面板上均匀入射，背光单元114从显示面板111的后面或侧面发射光。
由于显示面板111不发光，所以显示面板111调整从背光单元发射的光的透射量和颜色，以便在显示面板111上显示图像。
底架115是连接有图像显示和声音输出所需的驱动模块130的面板。
驱动模块130的示例可以包括：多种印刷电路板，以控制图像显示和声音输出；接口设备，用于与外部设备连接；以及电源，向各设备供电。
底架115由展现高散热性和强度的金属制成。
边框120覆盖显示单元110的非图像显示区域，以形成显示单元110的外观。
具有多个按钮的输入单元(未示出)还可以放置在边框120处。也就是说，可以通过输入单元向显示装置1输入操作命令。
主体100还包括：外盖121，保护显示单元110的非图像显示区域；以及支撑部件(未示出)，以分离状态支撑显示单元110的显示面板、漫射板、导光板、背光单元以及底架。支撑部件和外盖121可以与边框120可拆卸地耦连。
外盖121耦连到边框120，以形成容纳空间。显示面板、漫射板、导光板、背光单元以及底架放置在该容纳空间中。
收集模块200设置在主体100的边框120的上端，以收集用户的和用户周围环境的图像和声音，并向驱动模块130发送所收集的图像和声音。
除了主体100的边框120的上端，收集模块200还可以安装在容易收集用户信息的位置处。
此外，可以与显示装置相分离地提供收集模块200。也就是说，可以与显示装置相分离地提供收集模块200，使得收集模块200连接到在主体100处提供的接口设备(未示出)。
在下文中，将详细描述收集模块200。
收集模块200(基于因特网协议的多媒体，MOIP)包括：壳体210；图像收集单元220(例如，摄像机)，安装于壳体210中；声音收集单元230(例如，第一麦克风)，安装于壳体210中；以及第一微处理器(未示出)，控制摄像机和第一麦克风的驱动，并向驱动模块130发送由摄像机和第一麦克风收集的图像信号和声音信号。
第一麦克风可以包括多个麦克风230a和230b。
图像收集单元220(即，摄像机)收集用户的和用户周围环境的图像，并向第一微处理器发送所收集的图像数据。
声音收集单元230a和230b(即，第一麦克风)收集包括用户语音在内的用户周围环境的声音，并向第一微处理器发送所收集的声音数据。
第一微处理器向驱动模块130发送所接收的图像数据和声音数据。此外，第一微处理器可以控制将所接收的图像数据和声音数据存储在存储器(未示出)中。
收集模块200还可以包括通信单元(未示出)，例如，以太网。在这种情况下，收集模块(MOIP)的第一微处理器压缩图像信号和声音信号，并通过以太网向驱动模块130发送压缩过的数据。
此外，收集模块的摄像机220和第一麦克风230可以直接连接到驱动模块130，以便向驱动模块直接发送图像信号和声音信号。
图5是根据实施例的显示装置的控制框图。以下文中，将参考图6和7来描述显示装置的结构。
在本实施例中，基于根据用户意图和/或来自输入单元(未示出)的信号而产生的交互信号，来操作显示装置1。
显示装置1包括：图像收集单元220和声音收集单元230，作为收集用户命令的收集模块；驱动模块130，基于操作命令来控制显示装置1的操作；以及显示单元110和声音输出单元140，作为输出操作执行的输出模块。
图像收集单元220电连接到驱动模块130，以便根据来自驱动模块130的命令，收集用户的图像和向驱动模块130发送与所收集图像相对应的信号。声音收集单元230电连接到驱动模块130，以便根据来自驱动模块130的命令，收集用户的语音和向驱动模块130发送与所收集语音相对应的信号。
驱动模块130根据来自输入单元(未示出)的信号，控制显示单元110和/或声音输出单元140的操作。
此外，驱动模块130基于由图像收集单元220和/或声音收集单元230收集的信息，控制进入和结束交互模式。在进入交互模式之后，驱动模块130执行交互模式，以便控制显示单元110和/或声音输出单元140的操作。
驱动模块130包括识别单元131、数据库132、网络接口133、控制器134、存储单元135、显示驱动单元136和声音驱动单元137。
识别单元131接收与由图像收集单元220和/或声音收集单元230收集的信息相对应的信号，基于所接收的信号识别用户和用户想要的操作命令，并向控制器134发送所识别的操作命令，将参考图6进行描述。
图6是示出了根据实施例的显示装置的识别单元的结构的具体视图。识别单元131包括：第一识别单元131-1，识别交互模式进入命令；以及第二识别单元131-2，识别功能执行和操作命令。
第一识别单元131-1包括面部识别单元131a和凝视识别单元131b。
面部识别单元131a从图像收集单元220发送的图像中移除背景区域，以便获得用户的面部图像，使用边缘和颜色信息从所获得的用户面部图像中提取面部区域，从面部区域中提取特征点(例如，眼睛、鼻子和嘴巴)以识别面部，并将所识别的面部与预登记的面部图像作比较，以确定所识别的面部是否是预登记用户的面部。
此外，识别单元131在面部识别期间对面部图像进行滤波以移除噪音，并执行必要的预处理以分析面部图像的特征。
凝视识别单元131b检测来自用户面部图像的眼睛图像，从所检测的眼睛图像中获得瞳孔的位置，以识别用户凝视的位置。
第二识别单元131-2包括运动识别单元131c和语音识别单元131d。
运动识别单元131c从图像收集单元220发送的图像中移除背景区域，以便获得用户的身体图像，使用边缘和颜色信息从所获得的用户身体图像中提取面部、手臂、手、躯干、腿和脚部区域，从所提取的面部、手臂、手、躯干、腿和脚部区域中提取特征点，以便识别用户运动，从存储在数据库132内的运动中搜索与所识别运动相匹配的运动，并识别与该匹配运动相对应的操作命令。
语音识别单元131d从声音收集单元230发送的声音中移除噪音，以便获得用户的语音，从所获得的用户语音中提取特征矢量，将所提取的特征矢量与存储在数据库132中的每个词语的语言模型或基于音素的声音模型作比较，以便提取备选词语或备选音素，基于该备选词语或备选音素识别语句，从存储在数据库132内的语句中搜索与所识别语句相匹配的语句，并识别与搜索到的语句相对应的操作命令。
此外，语音识别单元131d可以从备选词语或备选音素中识别操作命令。
此外，语音识别单元131d可以使用特定语音信息来识别用户。
数据库132存储预登记用户的面部图像、面部图像的特征点信息和瞳孔信息。此外，数据库132存储针对每个运动的操作命令和针对每个语音的操作命令。瞳孔信息包括关于瞳孔的尺寸和位置以及瞳孔间的距离的信息。可以基于瞳孔信息来识别用户。
此外，在存在多个用户的情况下，数据库132可以存储与每个用户的运动相对应的操作命令和与每个用户的语音相对应的操作命令。
向网络接口133分配IP地址，以便网络接口133通过网络执行网络通信，并接收和处理从外部发送的数据分组。在数据分组包括多媒体数据(即，图像和声音数据)的情况下，网络接口133存储数据分组或向控制器发送数据分组，以便再现数据分组。
例如，网络接口133接收内容及相关信息，内容例如是广播、游戏、VOD和广播信号。此外，网络接口133可以接收固件更新信息和更新文件。
此外，显示装置还可以包括输入接口。输入接口可以连接到例如USB存储器等外部存储设备，或例如DVD或CD等光盘设备，以便接收多媒体数据并向控制器发送所接收的多媒体数据。
当通过输入单元(未示出)的按钮输入打开显示装置1或请求交互模式时，控制器134向图像收集单元220和声音收集单元230发送操作命令。
控制器134基于对识别单元131所识别的用户是否已登记的确定，来决定是否要执行进入交互模式。在识别单元131识别多个用户的情况下，控制器134从所识别的用户中确认具有最高优先级的用户，并基于所确认用户的凝视的位置，控制进入交互模式。
此外，在存在多个用户的情况下，控制器134可以确定用户凝视是否在识别区域内，当确定用户凝视在识别区域内时，基于朝向识别区域的用户凝视，控制进入交互模式。
控制器134基于从识别单元131发送的用户凝视的位置，确定用户观看的位置。此时，控制器134确定用户凝视是否在识别区域内停留预定时间段或更长时间，并且当确定用户凝视在识别区域内停留预定时间段或更长时间时，控制进入交互模式。
在进入交互模式之后，控制器134控制显示单元110的识别区域的显示信息，不同于在进入交互模式之前的显示信息。
在进入交互模式之后，控制器134控制显示多个识别模式以便通过交互接收操作命令。此时，控制器134将从识别单元131发送的用户凝视的位置与预存的识别模式按钮的位置进行比较，以确定用户想要选择的识别模式，并且基于所确定的识别模式，控制打开/关闭图像收集单元220和声音收集单元230。
例如，在从识别模式中选择了语音识别模式的情况下，控制器134控制打开声音收集单元230并关闭图像收集单元220。在从识别模式中选择了凝视识别模式或运动识别模式的情况下，控制器134控制关闭声音收集单元230并打开图像收集单元220。
操作命令包括输出信息(例如，显示或声音)的改变和功能的改变。
控制器134基于从识别单元131发送的操作命令，控制驱动各驱动单元136和137。
当用户凝视在结束区域中停留预定时间段或更长时间时，控制器134控制完成交互模式。
当用户凝视在结束区域中停留预定时间段或更长时间时，控制器134可以控制显示弹出菜单。如图7所示，弹出菜单P1包括优先级改变按钮、音量控制按钮、屏幕调整按钮及结束按钮。
此外，如果用户在识别模式的执行期间注视识别区域，则控制器134可以确定用户想要改变识别模式，并控制重新显示识别模式按钮。
控制器134控制显示由用户请求的主图像信号和输出由用户请求的声音信号，并控制在图像和声音的输出期间以重叠的形式在主图像上显示与交互模式相对应的图像。
存储单元135存储多个预登记用户的优先级、识别区域和结束区域的位置，进入交互模式前，进入交互模式，与交互模式的执行对应的识别区域的显示信息、以及识别模式按钮的位置信息。
显示驱动单元136基于来自控制器134的命令驱动显示单元110，声音驱动单元137基于来自控制器134的命令驱动声音输出单元140。
作为输出模块的显示单元110基于来自驱动模块130中的控制器134的命令在显示区域中显示图像，并显示与交互模式的执行对应的图像。
作为另一输出模块的声音输出单元140基于来自驱动模块中的控制器的命令输出声音。声音输出单元140可以是与显示装置1分离的。
也就是说，声音输出单元140(例如，扬声器)可以与显示装置1分离地提供，并当需要时可以连接到显示装置1。
图8A和8B是根据实施例的显示装置的控制流程图。将参考图1到7描述对显示装置的控制。
当用户打开显示装置时，对图像收集单元220进行操作以便收集图像(301)。
显示装置从收集的图像中移除背景区域，以便获得用户的图像，使用所获得图像的边缘和颜色信息提取面部区域，并从面部区域中提取特征点(例如，眼睛、鼻子和嘴巴)以识别面部(302)。
随后，显示装置基于所识别面部的个数来确认所识别用户的个数(303)，并确定所确认的用户个数是否为多个(304)。
当只确认了一个用户时，将所识别面部与预登记用户的面部图像作比较，以便确定具有所识别面部的用户是否是预登记用户之一(305)。当确定具有所识别面部的用户不是预登记用户之一时，通过显示单元110显示表示不可以执行交互模式的消息(306)。当确定具有所识别面部的用户是预登记用户之一时，识别所识别面部的瞳孔以便跟踪用户的凝视(310)。
当所识别用户的个数为多个时，显示装置将所识别面部与预登记用户的面部图像进行比较，以便确定具有所识别面部的用户是否是预登记用户，从而确认被确定为预登记用户的用户的个数(307)，并确定所确认用户的个数是否为多个(308)。
当确定识别到多个预登记用户时，显示装置从所识别用户中确定具有最高优先级的用户(309)，并识别所确定用户的瞳孔，以便跟踪用户的凝视(310)。
随后，显示装置确定所识别凝视是否在识别区域中(311)。当确定所识别凝视在识别区域中时，显示装置确定所识别凝视是否在预定时间段或更长时间上朝向识别区域。
当确定所识别凝视在预定时间段或更长时间上朝向识别区域时，显示装置进入交互模式(312)。此外，显示装置改变显示单元110中识别区域的显示信息，并显示改变后的显示信息，使得用户认识到进入交互模式(313)。
例如，如图3中所示，可以在识别区域110b中显示图标，或可以改变识别区域110b的颜色。
随后，显示单元110显示用于接收操作命令的多个识别模式，确认用户凝视的位置(314)，并基于所确认的用户凝视的位置来确定用户选择的识别模式(315)。
也就是说，显示装置确定与所确认的用户凝视的位置相匹配的识别模式按钮之一的位置，以确定由用户选择的识别模式。
此时，显示装置在显示单元上将用户凝视的位置实时显示为光标，以便用户确认用户凝视的位置。
随后，显示装置执行所确定的识别模式(316)。此外，显示装置根据识别模式的执行，基于识别结果来识别操作命令，并基于所识别的操作命令来操作各驱动单元(317)。
下文中将更详细描述基于对每个识别模式的选择来识别操作命令。
(1)当用户选择运动识别时，显示装置操作图像收集单元，从图像收集单元收集的图像中移除背景区域，以便获得用户的身体图像，使用边缘和颜色信息从所获得的用户身体图像中提取面部、手臂、手、躯干、腿和脚部区域，从所提取的面部、手臂、手、躯干、腿和脚部区域中提取特征点，以便识别用户运动，从存储在数据库132内的运动中搜索与所识别运动相匹配的运动，并识别与该匹配运动相对应的操作命令。
随后，显示装置基于所识别的操作命令，驱动各驱动单元136和137，以便通过显示单元110显示用户请求的内容的图像和通过声音输出单元140输出用户请求的内容的声音。
(2)当用户选择语音识别时，显示装置操作声音收集单元，从由声音收集单元230收集的声音中移除噪音，以便获得用户的语音，从所获得的用户语音中提取特征矢量，将所提取的特征矢量与存储在数据库132中的每个词语的语言模型或基于音素的声音模型作比较，以便提取备选词语或备选音素，基于备选词语或备选音素识别语句，从存储在数据库132内的语句中搜索与所识别语句相匹配的语句，并识别与搜索到的语句相对应的操作命令。
随后，显示装置基于所识别的操作命令，驱动各驱动单元136和137，以便通过显示单元110显示用户请求的内容的图像和通过声音输出单元140输出用户请求的内容的声音。
(3)当用户选择凝视识别时，显示装置操作图像收集单元，通过显示单元110显示弹出菜单，使用由图像收集单元220收集的图像来识别用户的面部和瞳孔，基于所识别的瞳孔跟踪用户凝视，确认所跟踪凝视的位置，并执行与用户从弹出菜单中选择的菜单相对应的操作。
弹出菜单包括多个菜单，且每个菜单具有操作命令按钮。
也就是说，显示装置从在弹出菜单中的操作命令按钮中确认具有与用户凝视的位置相匹配的位置的按钮，并执行与所确认按钮相对应的操作。
例如，假定如图7所示，显示包括优先级改变按钮、音量控制按钮、屏幕调整按钮及结束按钮的弹出菜单P1。如果用户凝视的位置在音量控制按钮上，则在显示单元110上显示用于音量控制的增大/减小按钮。当用户凝视在音量增大按钮上时，增加音量。当用户凝视在音量减小按钮上时，降低音量。
此外，可以基于眼睛的眨动、凝视存在于按钮上的时间、或用户单眼或双眼的其它动作，来确定通过凝视识别的菜单选择。
显示装置在显示单元上显示通过网络接口133或输入接口传送的内容。此时，显示装置控制显示用户请求的主图像信号和输出用户请求的声音信号，并控制在图像和声音的输出期间以重叠的方式在主图像上显示与交互模式相对应的图像。
当用户的凝视在显示单元110的结束区域内预定时间段或更长时间时，显示装置完成交互模式。之后，当用户凝视在识别区域内时，显示装置确定用户希望改变识别模式，并重新显示识别模式按钮。
此外，当用户凝视在显示单元110外部预定时间段或更长时间时，显示装置可以完成交互模式。
图9是根据另一实施例的显示装置的控制框图。在该实施例中，显示装置1包括：图像收集单元220和声音收集单元230，作为接收用户命令的收集模块；驱动模块150，基于操作命令来执行操作控制；以及显示单元110和声音输出单元140，作为输出操作执行的输出模块。
图像收集单元220、声音收集单元230、显示单元110及声音输出单元140与先前实施例相同，因此，将不再赘述。
驱动模块150包括识别单元151、数据库152、网络接口153、控制器154、存储单元155、显示驱动单元156及声音驱动单元157。
识别单元151接收与图像收集单元220和/或声音收集单元230收集的信息相对应的信号，基于所接收的信号识别用户和用户想要的操作命令，并向控制器154发送所识别的操作命令。
在用户的凝视在识别区域内的情况下，识别单元151确定执行运动的用户是否与注视识别区域的用户相同，当确定执行运动的用户与注视识别区域的用户相同时，识别与所识别运动相对应的操作命令。
此外，在用户的凝视在识别区域内的情况下，识别单元151确定说话的用户是否与注视识别区域的用户相同，当确定说话的用户与注视识别区域的用户相同时，识别与所识别语音相对应的操作命令。
识别单元151包括：第一识别单元，识别用户的面部和凝视；以及第二识别单元，识别功能执行和操作命令。第一识别单元和第二识别单元与先前实施例的第一识别单元131-1和第二识别单元131-2相同，因此，将不再进行赘述。
数据库152以匹配状态存储每个用户的面部图像和瞳孔信息。此外，数据库152以匹配状态存储每个用户的语音信息和瞳孔信息。
数据库152的其它结构和网络接口153的结构与数据库132和网络接口133的结构相同，因此，将不再进行赘述。
当通过输入单元(未示出)的按钮输入打开显示装置1或请求交互模式时，控制器154向图像收集单元220和声音收集单元230发送操作命令。
控制器154基于对识别单元151识别的用户是否已登记的确定，来决定是否执行进入交互模式。在识别单元151识别多个用户的情况下，控制器154从所识别的用户中确认具有最高优先级的用户，并基于所确认用户的凝视的位置，控制进入交互模式。
控制器154可以确定用户凝视是否在识别区域内停留预定时间段或更长时间，当确定用户凝视在识别区域内停留预定时间段或更长时间时，控制进入交互模式。
在进入交互模式之后，控制器154控制显示多个识别模式以便通过交互接收用户命令。此时，控制器154将从识别单元151发送的用户凝视的位置与预存的识别模式按钮的位置进行比较，以便确定用户想要选择的识别模式，并且基于所确定的识别模式，控制打开/关闭图像收集单元220和声音收集单元230。
识别模式包括运动识别和语音识别。
当选择了运动识别时，控制器154接收与包括凝视识别和运动识别的组合的第一多模态模式相对应的操作命令。当选择了语音识别时，控制器154接收与包括凝视识别和语音识别的组合的第二多模态模式相对应的操作命令。
控制器154基于该操作命令，控制驱动各驱动单元156和157。
当用户凝视在结束区域中停留预定时间段或更长时间时，控制器154控制完成交互模式。
控制器154控制显示用户请求的主图像信号和输出用户请求的声音信号。
存储单元155存储多个预登记用户的优先级、识别区域和结束区域的位置，进入交互模式前，进入交互模式，与执行交互模式相对应的识别区域的显示信息、以及识别模式按钮的位置信息。
显示驱动单元156和声音驱动单元157与先前实施例相同，因此，将不再进行赘述。
图10是根据实施例的显示装置的控制流程图。将参考图9和11描述对显示装置的控制。
当用户打开显示装置时，操作图像收集单元220收集图像。显示装置基于所收集的图像识别面部，基于所识别的面部确认所识别用户的个数。
随后，显示装置确定是否确认了多个用户，从所识别用户中确定预登记用户，并确定预登记用户的个数是否为多个。
当确定预登记用户的个数为多个时，显示装置从用户中确定具有最高优先级的用户，并识别所确定用户的瞳孔，以便跟踪用户的凝视。
随后，显示装置确定所识别凝视是否在识别区域中。当确定所识别凝视在识别区域中时，显示装置确定所识别凝视是否在预定时间段或更长时间上朝向识别区域。当确定所识别凝视在预定时间段或更长时间上朝向识别区域时，显示装置进入交互模式(401)。此外，显示装置改变显示单元110中的识别区域的显示信息，并显示改变后的显示信息，使得用户认识到进入交互模式(402)。
以上过程与先前实施例的过程相同。
随后，显示单元110显示用于接收操作命令的多个识别模式，确认用户凝视的位置(403)，基于所确认的用户凝视的位置确定用户选择的识别模式(404)。
也就是说，显示装置确定与所确认的用户凝视的位置相匹配的识别模式按钮之一的位置，以便确定用户选择的识别模式。
此时，显示装置在显示单元110上将用户凝视的位置实时显示为光标，以便用户确认用户凝视的位置。
随后，显示装置执行包括所确定识别模式和凝视识别模式的组合的多模态模式(405)。此外，显示装置根据对该多模态模式的执行，基于识别结果来识别操作命令，并基于所识别的操作命令来操作各驱动单元(406)。
在执行包括运动识别模式和凝视识别模式的组合的第一多模态模式之前，显示装置确定执行运动的用户是否与注视识别区域的用户相同，当确定执行运动的用户与注视识别区域的用户相同时，基于第一多模态模式执行交互模式。当确定执行运动的用户与注视识别区域的用户不相同时，可以显示表示不可执行交互模式的消息。
此外，在执行包括语音识别模式和凝视识别模式的组合的第二多模态模式之前，显示装置确定说话的用户是否与注视识别区域的用户相同，当确定说话的用户与注视识别区域的用户相同时，基于第二多模态模式执行交互模式。当确定说话的用户与注视识别区域的用户不相同时，可以显示表示不可执行交互模式的消息。
下文中将详细描述基于多模态模式来识别操作命令。
(1)当用户选择运动识别时，显示装置执行包括运动识别模式和凝视识别模式的组合的第一多模态模式。此时，显示装置操作图像收集单元220，确定用户凝视是否在识别区域内，当确定用户凝视在识别区域内时，在用户凝视在识别区域内的状态下识别用户运动，并识别与所识别运动相对应的操作命令。
也就是说，显示装置从由图像收集单元220收集的图像中移除背景区域，以便获得用户的身体图像，使用边缘和颜色信息从所获得的用户身体图像中提取面部、手臂、手、躯干、腿和脚部区域，从所提取的面部、手臂、手、躯干、腿和脚部区域中提取特征点，以便识别用户运动，从存储在数据库132内的运动中搜索与所识别运动相匹配的运动，并识别与该匹配运动相对应的操作命令。
随后，显示装置基于所识别的操作命令，驱动各驱动单元156和157，以便通过显示单元110显示用户请求的内容的图像和通过声音输出单元140输出用户请求的内容的声音。
将参考图11来描述该示例。
当如图11所示，在显示单元的显示区域110a中显示多个功能的状态下执行第一多模态模式时，显示装置使用图像收集单元来识别用户凝视和运动。
假定用户注视识别区域110b，同时执行单手指伸展运动，显示装置识别识别区域中的用户凝视，同时识别单手指伸展运动，并且识别与单手指伸展运动相对应的操作命令。
当与单手指伸展运动相对应的操作命令是“搜索”时，显示装置通过网络接口连接到因特网，以便执行搜索。
(2)当用户选择语音识别时，显示装置执行包括语音识别模式和凝视识别模式的组合的第二多模态模式。此时，显示装置操作声音收集单元230，确定用户凝视是否在识别区域内，当确定用户凝视在识别区域内时，在用户凝视在识别区域内的状态下识别用户语音，并识别与所识别语音相对应的操作命令。
也就是说，显示装置操作声音收集单元230，从由声音收集单元230收集的声音中移除噪音，以便获得用户的语音，从所获得的用户语音中提取特征矢量，将所提取的特征矢量与存储在数据库152中的每个词语的语言模型或基于音素的声音模型作比较，以便提取备选词语或备选音素，基于备选词语或备选音素识别语句，在存储在数据库152内的语句中搜索与所识别语句相匹配的语句，并识别与搜索到的语句相对应的操作命令。
随后，显示装置基于所识别的操作命令，驱动各驱动单元156和157，以便通过显示单元110显示用户请求的内容的图像和通过声音输出单元140输出用户请求的内容的声音。
将参考图11来描述该示例。
当如图11所示，在显示单元的显示区域110a中显示多个功能的状态下执行第二多模态模式时，显示装置使用图像收集单元和声音收集单元来识别用户凝视和语音。
假定用户注视识别区域110b，同时说出词语“三”，显示装置识别识别区域中的用户凝视，同时识别词语“三”，并且识别与“三”相对应的操作命令。
当与“三”相对应的操作命令是“电影”时，显示装置再现通过网络接口下载的电影或存储在其它存储设备中的电影，或显示电影的子菜单。
当在显示单元中显示主图像的期间执行交互模式时，以重叠的形式在主图像上显示与交互模式相对应的图像。
当用户凝视在显示单元110的结束区域中停留预定时间段或更长时间时，显示装置完成交互模式。之后，当用户凝视在识别区域内时，显示装置重新执行进入交互模式，并对其进行重新显示。
图12是示出了根据再一实施例的显示装置的视图。下文中，将电视描述作为显示装置的示例。
在该实施例中，电视包括：主体100，显示图像；底托160，安装到主体100的底部以便支撑主体100；以及遥控器170，接收用户命令。
底托160可拆卸地耦连到主体100。电视还可以包括托架。主体100可以使用托架安装到墙上。在这种情况下，可以移除底托。
主体100包括：显示单元110，显示图像；以及边框120，覆盖非图像显示区域。主体100的结构与先前实施例的结构相同，因此，将不再进行赘述。
主体100还包括具有多个按钮的输入单元(未示出)，用于接收电视操作命令。
收集模块200提供在主体100的边框120的上端，以便收集用户和用户周围环境的图像和声音，并向驱动模块发送所收集的图像和声音。
除了主体100的边框120的上端之外，收集模块200还可以安装在容易收集用户信息的位置处。
此外，可以与电视分离地提供收集模块200。也就是说，可以与主体100分离地提供收集模块200，从而收集模块200连接到在主体100处提供的接口设备(未示出)。
收集模块200与先前实施例相同，因此，将不再进行赘述。
遥控器170是远程控制电视以方便用户的设备
遥控器170包括：多个按钮171，例如，功能选择按钮、数字按钮、电源开/关按钮、频道改变按钮及音量控制按钮；第二声音收集单元(即，第二麦克风172)，收集用户的语音信号；第二微处理器(未示出)，当接收到来自按钮171的信号以及语音信号时产生操作信号；通信单元173，发送由第二微处理器产生的操作信号；以及电池，向第二麦克风、按钮、第二微处理器和通信单元提供驱动功率。
第二声音收集单元172可以持续操作。
遥控器170响应于用户操控向电视发送操作信号，例如，频道改变信号或音量控制信号。因此，用户可以方便地调整电视的多个功能。
此外，除了广播观看控制按钮之外，遥控器还可以包括用于选择和控制因特网功能的多个按钮，以便控制即支持因特网也支持广播观看的显示装置。
图13是根据实施例的显示装置(即，电视)的控制框图。
基于通过收集用户命令而产生的交互信息、来自主体100处提供的输入单元(未示出)的信号、或来自遥控器170的信号，来操作电视。
电视包括：图像收集单元220和声音收集单元230，作为收集用户命令的收集模块；驱动模块180，基于用户命令来控制电视的操作；以及显示单元110和声音输出单元140，作为输出操作执行的输出模块。
驱动模块180基于来自输入单元(未示出)的信号或来自遥控器170的信号，控制显示单元110和/或声音输出单元140的操作。
也就是说，驱动模块180基于由图像收集单元220和/或声音收集单元230收集的信息，控制进入和结束交互模式，并且在进入交互模式之后，执行交互模式以控制显示单元110和/或声音输出单元140的操作。
电视的驱动模块180包括广播单元181、接口单元182、识别单元183、数据库184、接收单元185、控制器186、存储单元187和驱动单元188。
广播单元181包括调谐器181a和信号处理器181b。
调谐器181a根据来自控制器186的调谐控制信号，以有线或无线形式接收具有相应频带的广播信号，以便调谐电视。
信号处理器181b将广播信号分离为具有图像数据的图像信号、具有声音数据的声音信号、以及具有附加数据的附加信号，对所分离的具有图像数据的图像信号和具有声音数据的声音信号进行信号处理，并向GUI产生单元(未示出)发送附加数据。附加数据包括电子节目指南(EPG)。
信号处理器181b可以将从网络接口182b传送的信号分离为具有图像数据的图像信号和具有声音数据的声音信号，并对图像信号和声音信号进行信号处理。
接口单元182包括输入接口182a和网络接口182b。
输入接口182a连接到收集模块200，以便接收由收集模块200收集的图像信号和声音信号，并向识别单元183发送所接收的图像信号和声音信号。
向网络接口182b分配IP地址，以便网络接口182b执行网络通信，并接收和处理通过网络从外部传送的数据分组。在数据分组包括多媒体数据(即，图像和声音数据)的情况下，网络接口182b存储数据分组或向控制器186发送数据分组，以便再现数据分组。
识别单元183识别用户的面部和瞳孔，基于所识别瞳孔的信息来识别用户凝视，并识别用户命令。
识别单元183从接收单元185发送来的声音信号中识别用户语音，识别与所识别语音相对应的操作命令。
识别单元183的其它结构与先前实施例的结构相同，因此，将不再进行赘述。
数据库184与先前实施例相同，因此，将不再进行赘述。
接收单元185从提供在遥控器170处的多个按钮171之一接收信号，并从提供在遥控器170处的第二声音收集单元172接收声音信号。
接收单元185向识别单元183和控制器186发送所接收的按钮信号和声音信号。
控制器186控制在显示单元110上显示由信号处理器181b信号处理过的图像数据，和通过声音输出单元140输出信号处理过的声音。
控制器186基于来自遥控器170的按钮信号确定用户命令，并根据所确定的用户命令控制驱动显示单元110。当从遥控器170接收到因特网功能执行请求信号时，控制器186控制网络接口以进行因特网连接。当用户凝视在识别区域内时，控制器186控制驱动收集模块以便执行交互模式。
用于控制进入交互模式和执行交互模式的控制器186的结构与先前实施例的结构相同，因此，将不再进行赘述。
存储单元187与先前实施例相同，因此，将不再进行赘述。
驱动单元188包括显示驱动单元188a和声音驱动单元188b。显示驱动单元188a和声音驱动单元188b与先前实施例相同，因此，将不再进行赘述。
图14是根据实施例的显示装置(即，电视)的控制流程图。
当打开电视时，对图像收集单元220进行操作以收集图像。电视基于所收集的图像来识别用户的面部，基于所识别的面部来识别用户的瞳孔，并识别与瞳孔的位置相对应的凝视(501)。
随后，电视确定所识别凝视是否在识别区域中(502)。当确定所识别凝视在识别区域中时，电视确定所识别凝视是否在预定时间段或更长时间上朝向识别区域(503)。当确定所识别凝视在预定时间段或更长时间上朝向识别区域时，电视进入交互模式(504)。此外，如图10的操作402中所示，电视改变在显示单元110中识别区域的显示信息，显示改变后的显示信息，使得用户认识到进入交互模式。
以上过程与先前实施例的过程相同。
随后，电视显示用于接收操作命令的多个识别模式(505)，确认用户凝视的位置，并且基于所确认的用户凝视的位置确定用户选择的识别模式(506)。
也就是说，电视确定与所确认的用户凝视的位置相匹配的识别模式按钮之一的位置，以便确定用户选择的识别模式。
此时，电视在显示单元110上将用户凝视的位置实时显示为光标，以便用户可以确认用户凝视的位置。
随后，电视执行所确定的识别模式(507)。此外，电视根据对该识别模式的执行，基于识别结果，识别操作命令，并基于所识别的操作命令来操作各驱动单元(508)。
下文中将详细描述基于对每个识别模式的选择来识别操作命令。
(1)当用户选择运动识别时，电视识别用户运动，从存储在数据库184内的运动中搜索与所识别运动相匹配的运动，并识别与该匹配运动相对应的操作命令。
随后，电视基于所识别的操作命令驱动所述驱动单元188，以便通过显示单元110显示用户请求的广播或内容的图像，通过声音输出单元140输出用户请求的广播或内容的声音。
(2)当用户选择语音识别时，电视操作第一声音收集单元230，从第一声音收集单元230或第二声音收集单元172收集的声音中识别与语音相对应的语句，在存储在数据库184内的语句中搜索与所识别语句相匹配的语句，并识别与搜索到的语句相对应的操作命令。
随后，电视基于所识别的操作命令，驱动所述驱动单元188，以便通过显示单元110显示用户请求的广播或内容的图像，通过声音输出单元140输出用户请求的广播或内容的声音。
(3)当用户选择凝视识别时，电视操作图像收集单元，通过显示单元110显示弹出菜单，使用由图像收集单元220收集的图像来识别用户的面部和瞳孔，基于所识别的瞳孔跟踪用户凝视，确认所跟踪凝视的位置，并执行与用户从弹出菜单中选择的菜单项目相对应的操作。
弹出菜单包括多个菜单，且每个菜单具有操作命令按钮。
也就是说，电视从弹出菜单内的操作命令按钮中确认位置与用户凝视的位置相匹配的按钮，并执行与所确认按钮相对应的操作，将参考图15和16进行详细描述。
如图15所示，在显示单元110中显示包括功能改变按钮、频道/音量控制按钮、识别模式改变按钮、屏幕调整按钮及结束按钮的弹出菜单P2的情况下，确定位置与用户凝视的位置相匹配的按钮。功能包括广播功能、因特网功能、及与外部设备的通信功能。
如果用户凝视的位置在频道/音量控制按钮上，则如在图16中所示，在显示单元110上显示用于音量控制的音量增大/减小按钮a5、用于频道调整的频道增大/减小按钮a6、及表示了用户凝视的位置的光标a4。
随后，电视将用户凝视的位置与音量增大/减小按钮a5和频道增大/减小按钮a6的位置进行比较，以增大/减小频道/音量。
此外，可以基于眼睛的眨动或者凝视存在于按钮上的时间来确定通过凝视识别的菜单选择。
此时，电视以重叠的方式在显示于显示单元中的主图像上显示用于凝视识别的按钮。
当用户凝视在显示单元的结束区域内停留预定时间段或更长时间时，电视完成交互模式。在此之后，当用户凝视在识别区域内时，电视确定用户希望改变识别模式，并重新显示识别模式按钮。
此外，当用户凝视在显示单元110外部停留预定时间段或更长时间时，电视可以完成交互模式。
根据上述本公开的一个方面，跟踪用户凝视以执行进入交互模式，从而容易地实现进入交互模式并执行更直观的交互。
此外，执行包括面部识别、语音识别和凝视识别的组合的多模态交互模式，从而执行扩展得更多的交互模式并精确地确定用户命令。因此，正确地执行功能，改善了用户便利性。
此外，在显示装置上将用户凝视的位置显示为光标，从而正确地确认用户凝视的位置。
此外，从用户的面部或瞳孔来识别用户，并且考虑到所识别的用户的特征来识别凝视、语音和运动，由此提供识别效率。
尽管示出和描述了本公开的一些实施例，但是本领域技术人员应理解，在不脱离本发明的原理和精神的前提下可以在这些实施例中进行多种改变，且本发明的范围由权利要求及其等同物来定义。

Claims (15)

1.一种显示装置，包括：
识别单元，识别用户的凝视；
控制器，确定所识别凝视是否在预定识别区域内，并且当确定所识别凝视在预定识别区域内时，控制进入交互模式；以及
显示单元，显示与交互模式相对应的图像。
2.根据权利要求1所述的显示装置，其中所述显示单元显示预定识别区域。
3.根据权利要求2所述的显示装置，其中当识别到凝视时，所述控制器显示预定识别区域的显示信息，不同于在识别到凝视之前的显示信息。
4.根据权利要求1所述的显示装置，其中所述显示单元将所识别凝视的位置显示为光标。
5.根据权利要求1所述的显示装置，其中
所述识别单元识别用户的运动，以及
所述控制器确定与所识别运动相对应的操作命令，并基于所确定的操作命令来控制对显示单元的驱动。
6.根据权利要求1所述的显示装置，其中
所述识别单元识别用户的语音，以及
所述控制器确定与所识别语音相对应的操作命令，并基于所确定的操作命令来控制对显示单元的驱动。
7.根据权利要求1所述的显示装置，其中，当进入交互模式时，所述控制器控制显示用于与用户交互的多个识别模式，并基于所识别凝视的位置从识别模式中选择一个。
8.根据权利要求7所述的显示装置，还包括：
图像收集单元，收集用户的图像；以及
声音收集单元，收集用户的语音；其中
所述控制器基于所选的识别模式来控制对图像收集单元和声音收集单元的激活。
9.根据权利要求1所述的显示装置，其中
所述识别单元识别用户的面部，以及
所述控制器确定所识别用户是否是预登记用户，当确定所识别用户是预登记用户时，所述控制器控制对用户的凝视识别，并且在识别到多个用户的情况下，所述控制器基于预存的优先级来控制对具有最高优先级的用户的凝视识别。
10.根据权利要求1所述的显示装置，其中所述控制器确定所识别凝视是否在预定结束区域内，并且当确定所识别凝视在预定结束区域内时，控制完成交互模式。
11.根据权利要求1所述的显示装置，其中
所述识别单元包括：第一识别单元，识别用户的凝视；以及第二识别单元，识别从用户的运动和语音中选择的至少一个信号，并识别与所识别的所述至少一个信号相对应的操作命令，
当在凝视在预定识别区域内的情况下识别到运动时，所述控制器确认与所识别运动相对应的命令，并控制执行与所确认命令相对应的功能，和/或
当在凝视在预定识别区域内的情况下识别到语音时，所述控制器确认与所识别语音相对应的命令，并控制执行与所确认命令相对应的功能。
12.根据权利要求11所述的显示装置，还包括：
通信单元，接收从外部遥控器发送的声音信号，其中
所述第二识别单元从所接收的声音信号中识别语音。
13.根据权利要求1所述的显示装置，还包括：
调谐器，接收外部广播信号；
信号处理器，将广播信号分离为具有图像信息的图像信号和具有声音信息的声音信号，并对分离出的图像信号和声音信号进行信号处理，其中
所述显示单元显示预定识别区域、频道按钮及音量按钮，并将所识别凝视的位置显示为光标，以及
当用户的凝视在显示单元的区域外时，所述控制器控制完成交互模式。
14.一种显示装置的控制方法，包括：
识别用户的凝视；
确定所识别凝视是否在预定识别区域内；
当确定在预定时间段上所识别凝视在预定识别区域内时，进入交互模式；
显示用于与用户交互的多个识别模式；
从所显示的识别模式中确定与所识别凝视的位置相对应的识别模式；
执行所确定的识别模式，以识别来自用户的命令；以及
执行与所识别命令相对应的功能。
15.根据权利要求14所述的控制方法，还包括：当进入交互模式时，将预定识别区域显示为不同的显示信息。
CN201310486543.4A 2012-10-19 2013-10-17 显示装置及其控制方法 Active CN103826145B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0116956 2012-10-19
KR1020120116956A KR102095765B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN103826145A true CN103826145A (zh) 2014-05-28
CN103826145B CN103826145B (zh) 2019-02-15

Family

ID=49518656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310486543.4A Active CN103826145B (zh) 2012-10-19 2013-10-17 显示装置及其控制方法

Country Status (9)

Country Link
US (2) US9524023B2 (zh)
EP (2) EP2735938B1 (zh)
JP (1) JP6271935B2 (zh)
KR (1) KR102095765B1 (zh)
CN (1) CN103826145B (zh)
IN (1) IN2015DN03276A (zh)
MX (1) MX346605B (zh)
RU (1) RU2617927C2 (zh)
WO (1) WO2014061916A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN108509856A (zh) * 2018-03-06 2018-09-07 深圳市沃特沃德股份有限公司 音频调整方法、装置和音响设备
CN108897589A (zh) * 2018-05-31 2018-11-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
CN109992237A (zh) * 2018-01-03 2019-07-09 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
CN112102828A (zh) * 2020-09-04 2020-12-18 杭州中软安人网络通信股份有限公司 大屏幕自动播报内容的语音控制方法及系统
US10928896B2 (en) 2013-09-13 2021-02-23 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598009A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业(武汉)有限公司 屏幕按键控制方法及系统
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102289904B1 (ko) * 2015-01-23 2021-08-18 삼성디스플레이 주식회사 표시 장치
JP6549693B2 (ja) * 2015-02-25 2019-07-24 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
KR20160116162A (ko) * 2015-03-26 2016-10-07 삼성디스플레이 주식회사 표시 장치
KR20180071092A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6850769B2 (ja) * 2018-07-05 2021-03-31 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
CN110115842B (zh) 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
JP6855416B2 (ja) * 2018-07-06 2021-04-07 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
EP3520868A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
WO2020018513A1 (en) * 2018-07-16 2020-01-23 Arris Enterprises Llc Gaze-responsive advertisement
JP6524320B2 (ja) * 2018-09-12 2019-06-05 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
EP3896983A4 (en) * 2018-12-11 2022-07-06 LG Electronics Inc. DISPLAY DEVICE
CN113396376A (zh) * 2019-01-28 2021-09-14 索尼集团公司 信息处理设备、信息处理方法和程序
CN109788256A (zh) * 2019-01-30 2019-05-21 温州大学 一种多模态图像的显示系统
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11698677B1 (en) * 2020-06-29 2023-07-11 Apple Inc. Presenting a notification based on an engagement score and an interruption priority value
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
JP7089128B1 (ja) 2021-07-01 2022-06-21 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7039753B1 (ja) 2021-07-01 2022-03-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7387932B2 (ja) 2022-03-09 2023-11-28 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7248853B2 (ja) * 2022-03-09 2023-03-29 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7141556B1 (ja) 2022-03-09 2022-09-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553281B1 (en) * 1997-08-26 2003-04-22 Heinrich-Hertz-Institut Fuer Nachrichtentechnik Berlin Gmbh Device for determining a fixation point
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
CN101605223A (zh) * 2008-06-09 2009-12-16 三星电子株式会社 用于选择节目的方法及其设备
US20100121501A1 (en) * 2008-11-10 2010-05-13 Moritz Neugebauer Operating device for a motor vehicle

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2001350578A (ja) * 2000-06-06 2001-12-21 Sensor:Kk 視線による入力制御装置及び方法並びに視線により入力させる制御プログラムを記録した記録媒体
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
JP2005117185A (ja) * 2003-10-03 2005-04-28 Canon Inc デジタルテレビジョン装置
KR100926658B1 (ko) * 2004-06-04 2009-11-17 퀄컴 인코포레이티드 고 데이터 레이트 인터페이스 장치 및 방법
US7057888B2 (en) * 2004-09-22 2006-06-06 Intel Corporation Retractable and extendable camera and microphone array computer system
TWI287787B (en) * 2004-12-14 2007-10-01 Delta Electronics Inc A remote control device and method with speech control
JP4872241B2 (ja) * 2005-05-31 2012-02-08 船井電機株式会社 テレビ受像機
JP2007160473A (ja) * 2005-12-15 2007-06-28 Fujitsu Ltd ロボットにおける対話相手識別方法およびロボット
DE102006011288A1 (de) * 2006-03-10 2007-09-13 Siemens Ag Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und Benutzerschnittstelle
JP2007324866A (ja) * 2006-05-31 2007-12-13 Funai Electric Co Ltd 電子機器及びテレビ受像機
US20080013262A1 (en) * 2006-06-30 2008-01-17 Logitech Europe S.A. Computer monitor with detachable module
JP4260215B1 (ja) * 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
TW200921483A (en) * 2007-11-09 2009-05-16 Tpk Touch Solutions Inc Touch-control display panel with an electric-field shielding layer
DE102008025124A1 (de) * 2008-05-26 2009-12-03 Volkswagen Ag Anzeigesystem für ein Fahrzeug und Bedienverfahren für ein Anzeigesystem eines Fahrzeugs
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US20110154014A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Data exchange for mobile devices
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
KR101815020B1 (ko) * 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012053545A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像処理システムおよびその制御方法
JP5583531B2 (ja) * 2010-09-10 2014-09-03 日立コンシューマエレクトロニクス株式会社 映像表示装置
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
JP4977249B1 (ja) * 2010-12-24 2012-07-18 株式会社東芝 電子機器
EP2666070A4 (en) * 2011-01-19 2016-10-12 Hewlett Packard Development Co METHOD AND SYSTEM FOR MULTIMODAL CONTROL AND GESTURE CONTROL
WO2012105198A1 (ja) * 2011-01-31 2012-08-09 三洋電機株式会社 電動自転車
KR20120090621A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 백라이트 유닛 및 이를 갖는 표시장치
KR101191640B1 (ko) * 2011-02-23 2012-10-17 동국대학교 산학협력단 사용자에게 정보를 전달하는 정보전달장치 및 그 방법
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101235594B1 (ko) * 2011-06-27 2013-02-21 엘지전자 주식회사 이동 단말기
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9594500B2 (en) * 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553281B1 (en) * 1997-08-26 2003-04-22 Heinrich-Hertz-Institut Fuer Nachrichtentechnik Berlin Gmbh Device for determining a fixation point
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
CN101605223A (zh) * 2008-06-09 2009-12-16 三星电子株式会社 用于选择节目的方法及其设备
US20100121501A1 (en) * 2008-11-10 2010-05-13 Moritz Neugebauer Operating device for a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAMSUNG: "Samsung series 8 user manual", <SAMSUNG SERIES 8 USER MANUAL> *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10928896B2 (en) 2013-09-13 2021-02-23 Sony Corporation Information processing apparatus and information processing method
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN109992237A (zh) * 2018-01-03 2019-07-09 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
CN109992237B (zh) * 2018-01-03 2022-04-22 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
CN108509856A (zh) * 2018-03-06 2018-09-07 深圳市沃特沃德股份有限公司 音频调整方法、装置和音响设备
CN108897589A (zh) * 2018-05-31 2018-11-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
CN108897589B (zh) * 2018-05-31 2020-10-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
US11416068B2 (en) 2018-05-31 2022-08-16 Guohua Liu Method and apparatus for human-computer interaction in display device, and computer device and storage medium
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
CN112102828A (zh) * 2020-09-04 2020-12-18 杭州中软安人网络通信股份有限公司 大屏幕自动播报内容的语音控制方法及系统

Also Published As

Publication number Publication date
IN2015DN03276A (zh) 2015-10-09
EP2735938A2 (en) 2014-05-28
EP3425485A2 (en) 2019-01-09
EP2735938A3 (en) 2015-01-07
CN103826145B (zh) 2019-02-15
JP2014086085A (ja) 2014-05-12
US20140111420A1 (en) 2014-04-24
RU2015114537A (ru) 2016-11-10
RU2617927C2 (ru) 2017-04-28
US9524023B2 (en) 2016-12-20
KR20140050484A (ko) 2014-04-29
JP6271935B2 (ja) 2018-01-31
US20170060370A1 (en) 2017-03-02
EP3425485B1 (en) 2020-12-02
WO2014061916A1 (en) 2014-04-24
KR102095765B1 (ko) 2020-04-01
EP3425485A3 (en) 2019-02-13
MX346605B (es) 2017-03-24
MX2015004841A (es) 2015-07-21
EP2735938B1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN103826145A (zh) 显示装置及其控制方法
US11385861B2 (en) Smart controlling device and method of controlling therefor
US10698596B2 (en) Mobile terminal and method for controlling the same
EP2991064B1 (en) Method for removing image sticking in display device
EP2996326B1 (en) Mobile terminal and control method thereof
EP2947867B1 (en) Mobile terminal and method of controlling the same
CN105323607B (zh) 显示设备及其操作方法
CN105278745A (zh) 移动终端及其控制方法
US20180196596A1 (en) Mobile terminal and control method therefor
CN105007531A (zh) 图像显示装置及其控制方法
CN103376891A (zh) 多媒体系统，显示装置的控制方法及控制器
US9939642B2 (en) Glass type terminal and control method thereof
US10431999B2 (en) Charging assembly of electronic frame and charging method of electronic frame
KR20150054490A (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이 장치의 제어방법
KR20180038445A (ko) 이동 단말기
EP3110137B1 (en) Display apparatus and control method therefor
KR102460927B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법
KR20170046947A (ko) 이동 단말기 및 제어 방법
KR102369588B1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant