CN101874234A - 用户接口装置、用户接口方法、以及记录媒体 - Google Patents

用户接口装置、用户接口方法、以及记录媒体 Download PDF

Info

Publication number
CN101874234A
CN101874234A CN200980101117A CN200980101117A CN101874234A CN 101874234 A CN101874234 A CN 101874234A CN 200980101117 A CN200980101117 A CN 200980101117A CN 200980101117 A CN200980101117 A CN 200980101117A CN 101874234 A CN101874234 A CN 101874234A
Authority
CN
China
Prior art keywords
user
operating area
interface device
appropriate distance
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980101117A
Other languages
English (en)
Other versions
CN101874234B (zh
Inventor
坂田幸太郎
前田茂则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101874234A publication Critical patent/CN101874234A/zh
Application granted granted Critical
Publication of CN101874234B publication Critical patent/CN101874234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

用户接口装置(1)包括：显示部(2)，显示分配给用户的第一作业区域以及与第一作业区域不同的第二作业区域；检测部(3)，检测用户的位置；算出部(4)，按照通过第一作业区域被用户所控制的应用程序的种类，算出用户和第二作业区域之间的合理距离；以及通知部(5)，将由检测部(3)检测出的用户的位置和第二作业区域之间的距离变得比由算出部(4)算出的合理距离短的情况通知给用户。

Description

用户接口装置、用户接口方法、以及记录媒体
技术领域
本发明涉及面向由多人操作的大画面显示器的用户接口装置。
背景技术
随着显示器的大画面化和薄型化，电视机不仅仅用于视听节目和电影等，而且用于下述新的使用方法的可能性正在逐渐扩大：多个信息的同时使用、大量的信息的一览、利用了与实物一样大的临场感的通信、不断示出信息的电子公告板、如壁纸或画框一样的室内装饰等。
此外，随着家庭内网络的构筑，并且通过网络共享由各设备检测出的用户的操作历史或状态，综合检测用户的属性信息和状况也呈现出现实性。
在这样的情况下，不仅仅是视听以往的节目和电影，为了实现如上所述的新的使用方法，就需要简便地利用更复杂的功能。因此就需要实现自律动作方式，该自律动作方式是根据凭直觉进行的新的操作方式、以及用户检测信息来汲取用户的情况和意图并抢先进行，由此减轻用户的明示性的操作量和负担的方式。此外，为了既有效利用在起居室等家族共有空间中设置的电视机的特征，又对应除了仅仅被动地视听以外的用法，理想的是采用以由多人操作为前提的输入方式和操作系统。
作为替代以往的遥控器的新的操作方式开发了用户不用保持遥控器等设备，也不用安装特殊的装置，用手势或身体动作就能简单地输入用户希望的信息的输入装置。在这种装置中，为了实现高操作性，将对操作进行的恰当的反馈提供给用户是很重要的。
作为示出这样的反馈的装置，例如，在下述专利文献1中公开了一种用户接口装置，所述用户接口装置包括：判定作为图像处理对象的物体是否在能够进行图像处理的合理范围内的单元；以及在判定为物体不在合理范围内的情况下，至少示出规定的视觉信息以及听觉信息中的一方的单元。在这个装置中，例如在向相对于合理范围远的位置偏移的情况下，将光标缩小及/或淡地显示，在向相对于合理范围近的位置偏移的情况下，将光标扩大显示，在偏移到左侧的位置上的情况下，将光标的左端显示为歪斜。
专利文献1：日本专利第3819096号公报
在所述以往的技术中，因为固定地设置了用于物体检测的受光装置，作为课题设定了对用户的手等能够正常检测的范围受到限制，并按照用户和受光装置之间的位置关系来反馈相对于手势输入的合理范围的偏差。与此相对也有这样的方法，设置多个用于物体检测的受光装置，由此扩大能够检测的范围的方法。由于显示器的大画面化和摄像机的普及等，设置多个用于物体检测的受光装置成为现实，能够充分地确保用户的操作范围。
进而，在所述以往的技术中，在画面前存在多个用户时，不会考虑用户之间的位置关系来提供反馈。但是，例如在根据规定的手势在画面上显示菜单的情况下，多个用户在过于接近的位置上同时发出显示菜单的规定的手势的情况下，发生显示的菜单被部分重叠等问题。此外，在画面上多个用户在对各自的工作空间进行视听、操作的情况下，由于过于热衷自己的工作空间，有可能发生不小心闯入周围的用户的工作空间的状况。
发明内容
本发明为了解决所述以往的课题而提出，其目的在于提供一种在用户接口装置中多个处理被并行执行的情况下，防止一方的处理干涉另一方的处理的接口装置。
本发明的一个方案涉及的用户接口装置向用户提供成为控制应用程序的接口的作业区域。具体而言，包括：显示部，显示分配给所述用户的第一作业区域以及与所述第一作业区域不同的第二作业区域；检测部，检测所述用户的位置；算出部，按照通过所述第一作业区域被所述用户所控制的所述应用程序的种类，算出所述用户和所述第二作业区域之间的合理距离；以及通知部，将由所述检测部检测出的所述用户的位置和所述第二作业区域之间的距离变得比由所述算出部算出的所述合理距离短的情况通知给所述用户。
根据所述结构，能够未然地防止在第一作业区域工作中的用户误闯入邻接的第二作业区域。其结果，相邻接地进行作业的用户之间能够在总是保持合理距离的状态下进行作业。但是，本发明不只限定于多个用户共有用户接口装置的情况。例如，可以将用户不能利用的系统区域作为第二作业区域。
所述检测部还检测所述用户为了控制所述应用程序而进行的手势。所述显示部在与由所述检测部检测出的所述手势的位置对应的位置上，显示用于向用户传达所述手势的妥当性的反馈显示。而且，所述通知部通过使所述反馈显示的显示形态发生变化，从而将所述用户的位置和所述第二作业区域之间的距离变得比所述合理距离短的情况通知给所述用户。
具体而言，所述用户的位置越接近所述第二作业区域，所述通知部就越使所述反馈显示显示得小及/或淡。据此，能够将是否保持合理距离，实时地通知给用户。另外，本说明书中的“用户的位置”，例如，可以是用户的重心位置，也可以是手势的位置(做手势的手的位置)。即使是哪一种情况，都能够由检测部检测。
此外，所述第一作业区域可以是跟踪所述用户的动作而在所述显示部内移动的窗口。而且，可以是，所述用户越接近所述第二作业区域，所述通知部越使所述窗口的跟踪度降低。据此，也能够将是否保持合理距离，实时地通知给用户。
所述算出部还可以按照所述用户的身体特征算出所述合理距离。例如，可以是，所述用户的身高越高或者所述用户的手臂长度越长，所述算出部越使所述合理距离变长。或者，可以是，与所述用户的善用的手位于与所述第二作业区域远的位置的情况相比，在所述用户的善用的手位于与所述第二作业区域近的位置的情况下，所述算出部使所述合理距离变长。
进一步，可以是，通过所述第一作业区域被所述用户所控制的应用程序和通过所述第二作业区域被其他的用户所控制的应用程序的相似度或者关联度越高，所述算出部越使所述合理距离变短。
可以是，所述算出部还根据在所述第一作业区域进行作业的所述用户和在所述第二作业区域进行作业的其他的用户之间的关系，算出所述合理距离。例如，可以是，与所述用户比所述其他的用户在社会上处于下位的情况相比，在所述用户比其他的用户在社会上处于上位的情况下，所述算出部使所述合理距离变短。
所述检测部还检测所述用户及所述其他的用户发出的声音。而且，所述算出部可以根据由所述检测部检测出的发出声音的量来推定所述用户和所述其他的用户之间的关系。
例如，所述通知部可以通过声音进行通知。或者，所述通知部可以通过照明进行通知。或者，所述通知部可以通过所述用户保持的移动机器进行通知。
本发明的一个方案涉及的用户接口方法，利用显示分配给用户的第一作业区域和与所述第一作业区域不同的第二作业区域的显示部，通过所述第一作业区域使所述用户控制应用程序。具体而言包括：检测步骤，检测所述用户的位置；算出步骤，按照通过所述第一作业区域被所述用户所控制的所述应用程序的种类，算出所述用户和所述第二作业区域之间的合理距离；以及通知步骤，将由所述检测步骤检测出的所述用户的位置和所述第二作业区域之间的距离变得比由所述算出步骤算出的所述合理距离短的情况通知给所述用户。
本发明的一个方案涉及的计算机可读取的记录媒体记录了使计算机执行上述记载的用户接口方法的程序。另外，本发明不仅作为用户接口装置来实现，而且还可以作为使计算机执行用户接口装置的功能的程序来实现。并且，也可以通过只读光盘(CD-ROM：Compact Disc-Read Only Memory)等记录介质以及通过因特网等传输介质来使所述程序流通。
根据本发明的用户接口装置，因为向用户通知过于接近第二作业区域，所以能够未然地防止在第一作业区域进行操作中的用户误闯入邻接的第二作业区域的状况。
附图说明
图1A是说明本发明的一实施方式中的用户接口装置的外形和相关设备的接口的一个例子的图。
图1B是表示在本发明的一实施方式中的用户接口装置的结构的功能框图。
图2A是说明在本发明的一实施方式中的用户接口装置的设置例的图。
图2B是说明在本发明的一实施方式中的用户接口装置的其他设置例的图。
图2C是说明在本发明的一实施方式中的用户接口装置的其他设置例的图。
图3是表示在本发明的一实施方式中的用户接口装置的结构的功能框图。
图4A是说明在本发明的一实施方式中的用户信息数据库的图。
图4B是表示用户信息数据库所包含的基本属性信息的例子的图。
图4C是表示用户信息数据库所包含的身体特征信息的例子的图。
图4D是表示用户信息数据库所包含的人际关系信息的例子的图。
图5A是说明在本发明的一实施方式中的用户位置的检测方法的概要的图。
图5B是说明作为用户位置的检测方法的一个例子的立体视的原理的图。
图6A是说明在本发明的一实施方式中的用户接口装置中，与显示部平行地用户移动的情况下的工作例的图。
图6B是说明在本发明的一实施方式中的用户接口装置中，用户和显示部的距离发生了变化的情况下的工作例的图。
图6C是说明在本发明的一实施方式中的用户接口装置中，按照用户的身体特征的工作例的图。
图7A是说明在本发明的一实施方式中的徒手(free hand)手势的检测方法的概要的图。
图7B是表示在本发明的一实施方式中的徒手手势的检测处理的顺序的图。
图8是表示在本发明的一实施方式中的用户接口装置的处理的概要的流程图。
图9是说明在本发明的一实施方式中的用户接口装置的反馈的一个例子的图。
图10A是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图10B是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图10C是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图11A是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图11B是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图11C是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图12A是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图12B是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图13A是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图13B是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图13C是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图14A是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图14B是说明在本发明的一实施方式中的用户接口装置的工作例的图。
图14C是说明在本发明的一实施方式中的用户接口装置的工作例的图。
具体实施方式
下面，参考附图来说明本发明的实施方式。
1概要
本发明的用户接口装置是例如将影像显示部划分为多个作业区域，通过分配给多个用户的每个人的作业区域来进行应用程序(以下称为“应用”)的控制的装置。
2结构
图1A是说明本发明中的用户接口装置的外形和相关设备的接口的一个例子的图。用户接口装置包含一个以上的用户检测相机等。通过对由用户检测相机拍摄到的图像信息进行分析而检测到的用户的位置及动作来控制影像显示部上的显示。
也可以通过保持着手势输入遥控器的用户的手的动作或者按下该遥控器上配置有的按钮等用户的遥控器操作，控制影像显示部上的显示。
此外，用户接口装置也可以接受具有静电型的接触垫的接触桌的输入。据此，用户能够按照用户的情况或应用的种类来分开使用更加多样的输入方式。
此外，用户接口装置与其他的家电设备例如数字图片相机、数字摄像机等，通过无线以及路由器/集线器等进行网络连接。
虽然在图1A中没有表示，不过，在用户接口装置中的多个扬声器，也可以在影像显示部的上端和下端、左端和右端这样分开地配置。
接着，参考图1B详细说明本发明的一实施方式涉及的用户接口装置1的结构。图1B是用户接口装置1的方框图。
首先，用户接口装置1包括显示部2、检测部3、算出部4、通知部5。另外，显示部2可以与在图1A表示的影像显示部对应，检测部3可以与在图1A表示的用户检测相机对应。
该用户接口装置1将成为控制应用的接口的作业区域显示在显示部2上。该作业区域分配给每一个用户，用户通过作业区域能够控制应用。作为典型的使用形式可以考虑这样的情况，在显示部2上第一及第二作业区域位于互相邻接的位置，第一用户通过第一作业区域，第二用户通过第二作业区域，分别控制各自的应用。
通过作业区域受到控制的应用没有特别限定，不过，可以考虑例如在显示部2上画画儿的“绘画应用”、使显示部2显示影像数据的“再生应用”、以及用于选择所执行的应用的“菜单画面”等。
此外，通过在显示部2的前面做规定的手势，能够控制(操作)这些应用。例如，使手掌向着显示部2静止规定的时间，由此显示“菜单画面”。或者可以考虑在执行“绘画应用”中，在竖起食指的状态下移动手时，按着手的移动在显示部2上画线等。进而，“再生应用”可以是例如使显示影像的窗口跟踪用户来移动的“Stay-with-Me TV”。
显示部2是例如大型的显示面板。作为显示面板可以采用液晶显示器、等离子体显示器、有机电致发光显示器等现有的所有显示面板。该显示部2被划分为分配给多个用户各人的多个作业区域。
可以使显示部2在与由检测部3检测出的手势的位置对应的位置上显示反馈显示，该反馈显示用于向用户传达手势的妥当性。例如，可以在显示部2上的与用户的手对应的位置上显示手印，并且根据该手印的浓淡或者大小来反馈手势的妥当性。
在此，“手势的妥当性”也可以是手的形状是否符合规定的规则等，不过，本发明中主要说明对手势是否在恰当的位置上而进行反馈的形态。更具体而言，对于在上述的第一及第二用户互相邻接地操作应用中的情况下，防止第一用户过于接近第二作业区域的方法进行说明。
检测部3检测位于显示部2的前面的用户的位置。进而，也可以识别位于显示部2的前面的用户，或者检测各用户的手势，或者检测各用户的发出声音的量。该检测部3例如由用户检测相机等的摄影部和对摄影部所拍摄到的图像进行分析并检测用户的位置等的解析部来构成。
算出部4算出第一用户和第二作业区域之间的合理距离。该合理距离，例如根据通过第一作业区域被第一用户所控制的应用的种类所算出。进而，也可以考虑第一用户的身体特征、通过第一及第二作业区域的各个区域受到控制的应用的相似度或关联度、以及第一及第二用户的人际关系(主从关系)等来算出合理距离。
算出部4按照在第一作业区域被执行的应用的种类，算出第一用户和第二作业区域之间的合理距离。例如，在执行“菜单画面”或“再生应用”的情况下，可以按照该画面的宽度算出合理距离。此外，通过第一作业区域被控制的应用和通过第二作业区域被控制的应用的相似度或者关联度越高，则算出部4使合理距离变短。
此外，算出部4也可以按照用户的身体特征来算出合理距离。例如在执行“绘画应用”的情况下，可以将第一用户的手臂的长度作为合理距离。此外，可以考虑用户的身高越高，或者手臂的长度越长，则使合理距离变长。或者，与用户的善用的手位于离第二作业区域远的位置上的情况相比，在用户的善用的手位于接近第二作业区域的位置的情况下，使合理距离变长。
进而，算出部4也可以根据在第一作业区域进行作业的第一用户和在第二作业区域进行作业的第二用户之间的关系来算出合理距离。例如可以考虑，与第一用户比第二用户在社会上处于下位的情况相比，在第一用户比第二用户在社会上处于上位的情况下，使合理距离变短。此时，也可以例如根据由检测部3所检测出的发出声音的量来推定第一用户及第二用户之间的关系。
通知部5，将由检测部3检测出的用户和与分配给该用户的作业区域邻接的作业区域之间的距离比合理距离短的情况通知给该用户。另外，通知的方法没有特别限定，不过，可以采用通过显示部2的显示来通知的方法、通过声音通知的方法、通过照明通知的方法、以及通过用户保持的移动机器通知的方法等各种各样的通知方法。
作为一个方案，通知部5可以通过使反馈显示的显示形态发生变化来通知用户、用户的位置和邻接的作业区域的距离比合理距离短。例如，在比合理距离远的情况下将手印显示得浓(或者大)，比合理距离近的情况下将手印显示得淡(或者小)。
此外，作为其他的形式，在执行“Stay-with-Me TV”的情况下，通知部5也可以通过使窗口的跟踪度发生变化来通知用户的位置和合理距离的关系。例如，可以在用户和邻接的作业区域之间的距离比合理距离长的情况下将跟踪度设为最大，在比合理距离短的情况下使跟踪度依次降低。
图2A～图2C是说明在本发明中的用户接口装置的设置的一个例子的图。用户检测相机，不仅是如图2A所示设置在影像显示部周围，也可以如2B所示设置在影像显示部被设置的空间的墙或天棚上。进而，也可以将在影像显示部的周围的设置和在墙或天棚的设置并用。此外，如图2C所示在地板铺设地板压力传感器，则即使不分析用户检测相机的图像，也通过所述地板压力传感器的输出就能够高精度地检测出用户的位置。
图3是表示在本发明的优选实施方式中的用户接口装置10的结构例的图。
用户接口装置10包括：用户检测相机11、用户识别部21、用户位置检测部22、用户动作检测部23、合理位置算出部24、显示控制部25、影像显示部31。
另外，在该实施方式中，由用户检测相机11、用户识别部21、用户位置检测部22、以及用户动作检测部23构成图1B所示的检测部3。此外，合理位置算出部24对应于图1B所示的算出部4，显示控制部25对应于图1B所示的通知部5，影像显示部31对应于图1B所示的显示部2。
图4A～图4D是说明用户信息数据库(数据库)的数据结构的概要的图。
虽然在图3没有表示，不过，用户接口装置10也可以具备存储基本属性信息、身体特征信息、以及人际关系信息等的用户信息数据库。基本属性信息例如图4B所示是姓名、性别、年龄、亲属朋友关系等。该基本属性信息，例如在用户识别部21识别位于影像显示部31前面的用户的时候可以被参考。
此外，用户信息数据库所存储的身体特征信息，如图4C所示包括站立位的身高和眼的高度、坐位的身高和眼的高度、善用的手、善用的眼、视力、听力等按用户姿势的各身体形状、以及视听能力等。该身体特征信息可以作为例如合理位置算出部24算出合理位置时的参考信息来参考。
进而，用户信息数据库所存储的人际关系信息，例如图4D所示，将已在该数据库登记的用户之间的亲密度用0.0～1.0来存储。该人际关系信息可以作为例如合理位置算出部24算出合理位置时的参考信息来参考。具体而言，根据该亲密度能够确定与各用户对应的画面上的工作空间或者窗口的主从关系，或者控制反馈。
用户检测相机11是设置在影像显示部31的周围的电荷耦合装置(CCD：Charge Coupled Device)、或者互补金属氧化物半导体(CMOS：Complementary Metal Oxide Semiconductor)等的图像传感器。用户检测相机11拍摄在影像显示部31的前面的用户。
2.1用户识别部
用户识别部21，例如从用户检测相机11的图像中提取脸部区域。而且，通过将已预先登记的脸部图像和已提取的脸部图像进行对照，以此来输出确定用户的用户识别信息。
2.2用户位置检测部
用户位置检测部22例如从由用户检测相机11拍摄到的多个影像中提取用户区域。而且，通过多个影像中的用户区域的对应关系，根据立体视的原理，算出用户与影像显示部31的相对位置。
图5A及图5B是说明本发明的一实施方式中的用户位置检测部22进行的根据立体视的原理的用户位置算出方法的图。
如图5A所示，将两台一组的用户检测相机11设置成相隔间距B，相对于影像显示部31的画面平行地设置。用户位置检测部22基于由各个用户检测相机11拍摄到的图像内的对应的用户区域的位置的偏差，算出用户与影像显示部31的画面之间的距离D。
由各用户检测相机11拍摄到的图像内的用户映现的区域的提取，例如，通过预先保存用户不在的状态下由各用户检测相机11拍摄到的图像，并求出与用户出现时的图像之间的差分来实现。此外，也可以根据脸部图像检测及脸部图像的对照求出用户的脸部区域，将该脸部区域作为用户区域。
图5B是表示了立体视的原理的图，立体视的原理是指基于两个图像上的对应的用户区域，求出用户和用户检测相机11的设置面(影像显示部31的画面)之间的距离D。若将分别对应由两台用户检测相机11所拍摄到的图像的用户区域作为位置测定对象时，该像如图5B所示一样地投影在两个图像上。若将对应的像在图像上的偏差作为Z时，根据用户检测相机11的焦距f和用户检测相机11的光轴间的距离B，用户和影像显示部31的距离D由D＝f×B/Z来求出。此外，关于在与影像显示部31的画面平行的方向上的用户位置，能够基于图像中的用户区域的位置和所述的距离D来求出。用户位置检测部22输出如上述求出的对于影像显示部31的用户的相对位置。
通过该用户位置信息，例如，通过决定应该向该用户示出的信息在影像显示部31的画面上的显示位置，从而如图6A及图6B所示，即使用户移动也总是在用户容易看到的位置上持续地示出工作空间、窗口、信息。这称为跟踪用户的电视机(Stay-with-Me TV)。
例如，如图6A所示，若用户在影像显示部31的前方移动，可以使信息显示在接近用户位置的画面上的位置上。此外，如图6B所示，在用户接近或者远离影像显示部31的情况下，缩小或者扩大信息的显示大小，能够显示成对用户来说容易看到的大小。进而，如图6C所示，按照各用户的脸的高度位置，能够将信息显示在容易看到的高度上。
另外，作为用户检测相机11，也可以使用根据光波测距(Time of Flight)的原理来输出距离信息的距离图像传感器。用户位置检测部22，通过获得距离图像传感器能够容易地算出对于影像显示部31的用户的相对位置。
此外，如图2C所示，若空间上设置了地板压力传感器时，用户位置检测部22不把用户检测相机11的信息作为输入，而将地板压力传感器的输出值作为输入，就能算出对于影像显示部31的用户的相对位置。
2.3用户动作检测部
用户动作检测部23在提取了用户的手区域之后，对照手的位置和手的形状与预先被规定的哪个形状吻合，输出例如“石头”、“布”、“右选择”、“左选择”等的手的形状信息。
图7A及图7B表示了本发明的一实施方式中的用户动作检测部23的手位置以及手形状的检测方法。
如图7A所示，用户动作检测部23从由用户检测相机11所拍摄到的图像，首先检测人物位置，并在人物位置的周围进行手位置以及手形状的检测。作为推定手位置及手形状的方法，能够采用例如以下的方法来推定。下面，使用图7B来说明。
首先，作为离线处理，用户动作检测部23大量准备了想要检测的手的学习图像(S501)。对于学习图像中的照明环境、朝向等条件，优选的是尽量具备符合实际检测环境的条件。接着，根据S501中准备的学习图像，使用主成分分析制作构成手的主成分的固有空间(S502)。此外，作为想要检测的手的样品而准备手的模板图像。模板图像可以是已准备的手的平均图像，也可以准备石头，布等几个手的图像。将制作的固有空间的投影矩阵(projection matrix)以及手的模板图像存储在手模板数据库中(S503)。
接着，说明进行实际检测的在线处理。
首先，用户检测相机11拍摄在影像显示部31的前方的用户(S504)。用户动作检测部23从由用户检测相机11拍摄到的图像中进行脸部区域的检测(S505)。
用户动作检测部23，在S505中检测出脸部区域时，在该区域的周围进行手的检测。在脸部区域的周围中与已准备的手的模板类似的区域，使用存储在手模板数据库中的手的模板图像来扫描(S506)。脸的周围区域的决定，也可以是以脸的位置作为基准而预先设定了大小的范围。或者，通过使用两台用户检测相机11的立体视的原理，在脸的周围区域中扫描与脸的纵深距离近的区域，由此削减搜索范围。
作为用于进行匹配的相似度的计算，这里首先将伸出的手的候选区域图像和手的模板图像，使用预先准备了的向固有空间的投影矩阵，向固有空间进行投影。而且，进行比较在固有空间上的两者的距离的方法。通过在表示手的主成分的空间上比较距离，能够进行减少了背景等噪声的影响的检测。在搜索区域内，将满足预定的阈值且得到了最接近手模板的距离的区域作为手的位置。此外距离最近的手模板的形状(例如石头，布等)作为手的形状(S507)。
另一方面，在搜索区域内没有满足阈值的区域的情况下，作为没有伸手而结束检测。
在这个例子中，在手位置及手形状的检测使用了模板匹配的方法，不过，也可以使用其他的方法，例如提升(Boosting)等的方法。
适用于本发明的用户接口装置10的应用，例如，对于该用户，预先使多个选择项和与各选择项对应的手位置及手形状相对应。而且能够判断，对应的选择项按照由用户动作检测部23检测出的用户的手位置及手形状的变化而被选择。
2.4合理位置算出部
合理位置算出部24将用户识别部21输出的用户识别信息、用户位置检测部22输出的用户位置、用户动作检测部23输出的手位置及手形状信息作为输入信息，算出与用户的周围的用户或者与周围的工作空间的合理距离，确定用户的合理位置。
2.5显示控制部
显示控制部25，根据在合理位置算出部24被确定了的用户的合理位置，控制在影像显示部31所显示的应用。关于具体的控制方法，在下面的“3工作”中说明。
3工作
图8是表示在本发明的一实施方式中的用户接口装置10的处理的概要的流程图。
首先，用户识别部21，从由用户检测相机11所拍摄到的图像检测用户的脸部。而且，通过与已预先登记的用户信息数据库所存储的身体特征信息进行对照，从而进行用户识别(S601)。接着，对被识别出的各用户，用户位置检测部22算出用户位置信息，用户动作检测部23算出手位置及手形状信息(S602)。
在操作用户接口装置10的用户被识别出2人以上的情况下(在S603中的“是”)，合理位置算出部24算出用户的合理位置(S604)。而且，显示控制部25根据由合理位置算出部24所算出的合理位置，控制在影像显示部31所显示的应用(S605)。
接着，关于用户接口装置10的工作，使用图9～图14C来说明三个使用实例(use case)。三个实例是，实例1：根据手势输入的菜单画面的操作(图9～图11C)、实例2：根据手势输入的绘画应用(图12A及图12B)、实例3：根据用户位置输入的“Stay-with-Me TV”(图13A～图14C)。
图9是说明根据用户接口装置10的用户的手的手势的反馈的例子的图。在这个例子中，显示控制部25，按照用户的手的位置相对于合理位置的偏差，使画面上的手的显示(称为“反馈显示”)发生变化来进行反馈，由此向用户进行通知。
可以是如图9的上部所示，相对于合理位置的偏差越大的位置，手的反馈显示显示得越淡。或者，可以是如图9的中部所示，相对于合理位置的偏差越大的位置，手的反馈显示的大小越小。此外，可以是如图9的下部所示，相对于合理位置的偏差越大的位置，手的反馈显示越是振荡。
另外，图9示出的例子中，以合理位置的右侧存在分配给别人的作业区域为前提。而且，在这个例子中，即使移动到合理位置的左侧(远离邻接的作业区域的方向)，也认为相对于合理位置的偏差为0，不变更反馈显示的显示形态。另一方面，在移动到合理位置的右侧(接近邻接的作业区域的方向)的情况下，按照该移动量来变更反馈显示的显示形态。但是，不只限于所述的例子，移动到合理位置的左侧时，也可以将反馈显示显示得更大(或者更深)。
(实例1：根据手势输入的菜单操作)
图10A～图11C是说明在实例1的用户接口装置10的动作例的图。另外，在下面的说明中，对于在通过分配给两个人即用户A、B各自的作业区域来控制应用的情况下，将过于接近分配给用户B的作业区域的情况通知给用户A的处理进行说明。另一方面，因为向用户B的通知与用户A的情况相同，所以省略说明。
在这个实例中，影像显示部31包含了两个作业区域(图10A及图10B的以虚线框表示的区域)。而且，一个作业区域分配给用户A，另一个作业区域分配给用户B。而且，用户A和用户B通过在规定的时间，进行将手向着画面(伸出)的手势，在分配的作业区域内想要显示各自的菜单画面。
图10A～图10C是在用户进行将手向着画面(伸出)的手势时，示出手的反馈显示，并且经过了规定时间后显示各用户的菜单画面的例子。此外，图11A～图11C是在用户进行将手向着画面(伸出)的手势时，不示出手的反馈显示，并且经过了规定时间后显示各用户的菜单画面的例子。
首先，合理位置算出部24，将用户A的合理距离s设定为用户A的菜单画面的宽度的一半(a/2)。这样设定了合理距离s之后控制应用，从而能够防止用户A的菜单画面和用户B的菜单画面相互重叠。合理距离s进而也可以是加上页边空白的值。
用户位置检测部22根据由用户检测相机11拍摄到的图像，算出用户A与分配给用户B的作业区域之间的实际上的距离i。该距离i是用户A的重心位置与分配给用户B的作业区域的左端之间的距离。
在图10A，由用户位置检测部22所算出的距离i比合理距离s小。于是，显示控制部25，将用户A的手的反馈显示显示得淡，向用户A通知超过合理距离s并接近邻接的作业区域。在这里，向用户B显示通常的反馈显示，不过，对用户B的反馈显示也可以显示得比通常淡。
用户A看到反馈显示后，如图10B所示能够进行移动，使得从分配给用户B的作业区域隔开合理距离。而且，如图10C所示，用户A在从分配给用户B的作业区域相隔合理距离以上的位置上，显示用户A、B各自的菜单画面。此时，用户A和用户B的菜单画面不重叠显示。
另外，在这里是将从分配给用户B的作业区域的左端的位置相隔合理距离s的合理位置作为基准，离该合理位置(接近用户B的作业区域的方向)越来越远，则手的反馈显示显示得淡，不过，也可以使显示缩小、或者使显示发生振荡等来取代显示得淡。此外，也可以组合这些处理。
在图11A中，与图10A相同，在用户A和分配给用户B的作业区域之间的实际上的距离i比合理距离s小的状态下，两个用户进行将手向着画面(伸出)的手势想要显示菜单画面。在图11B中，将分配给用户B的作业区域的左端的位置作为基准，以相隔合理距离s的位置为中心来显示用户A的菜单画面。
即，对于用户A来说在自己身体的正面稍微偏向左侧的位置上，显现菜单画面。这样，用户A就会发觉到过于接近分配给用户B的作业区域，如图11C所示能够移动到左侧，以便站在菜单画面的正面。这个情况下，用户A的菜单画面和用户B的菜单画面的显示不相互重叠。
(实例2：根据手势输入的绘画应用)
图12A及图12B是说明在实例2的用户接口装置10的动作例的图。另外，在下面的说明中，对于在通过分配给两个人即用户A、B的作业区域来控制应用的情况下，过于接近分配给用户B的作业区域的情况通知给用户A的处理进行说明。另一方面，因为向用户B的通知与用户A的情况相同，所以省略说明。
这个实例的情况如下：用户A正在执行按照手的动作在显示部2上进行描绘的绘画应用，在其邻接的位置上用户B正在视听广播内容(新闻节目)。
首先，距离i可设为从用户A的重心位置至分配给用户B的作业区域(进行视听的显示区域)的左端为止的距离。这个情况下，因为是按照手的动作在画面上描绘的绘画应用，合理距离s可设为用户A的臂长。此外，因为用户A和用户B执行不同的应用，所以与执行同类的应用的情况相比，可以取大的页边空白。
在图12A中，因为从用户B进行视听的显示区域的左端至用户A的重心位置为止的距离i是合理距离s以上，所以显示控制部25以通常的显示形态来示出手的反馈显示。而且，在图12B中，因为距离i小于合理距离s，所以显示控制部25按照距离i和合理距离s的差的大小，缩小示出手的反馈显示。根据该反馈显示的变化，用户A能够知道过于接近用户B的作业区域，不会不小心闯入用户B的作业区域。
(实例3：根据用户位置输入的Stay-with-Me TV)
图13A～图14C是说明在实例3的用户接口装置10的动作例的图。另外，在下面的说明中，对于在通过分配给两个人即用户A、B的作业区域来控制应用的情况下，将过于接近分配给用户B的作业区域的情况通知给用户A的处理进行说明。
这个实例是，用户A和用户B正在利用各用户的工作空间或者窗口跟踪用户的移动而移动的被称为“Stay-with-Me TV”的功能的情况。图13A～图13C是用户A和用户B往相同的方向移动中的情况，图14A～图14C是用户A和用户B往相互面对面的方向移动中的情况。
在图13A～图13C的情况下，合理位置算出部24可以在用户A的窗口的宽度(a)加上规定的页边空白来算出合理距离s。
在图13A及图13B中，因为用户A和分配给用户B的作业区域之间的距离i比合理距离s大，所以窗口以通常的跟踪度来跟踪用户A的移动。但是，在图13C中，因为用户A和分配给用户B的作业区域之间的距离i小于合理距离s，所以可以说用户A越过了用户A的合理位置，正在接近用户B的作业区域。因此，显示控制部25降低用户A的窗口的跟踪度，向用户A通知超过了合理位置。对于用户A而言，能够通过窗口从自己的正侧面的位置慢慢偏向后方来知道这个情况。此外，可以认为，有些用户在窗口从自己正侧面的位置偏向后方时，有可能降低自己移动的速度。
在图13A和图13B和图13C中比较用户A的位置和用户A的窗口的左端的距离时，可知与图13A和图13B所表示的情况相比，图13C表示的情况的窗口的跟踪度降低。
另外，因为在图13A～图13C中着眼于用户A进行了说明，所以用户B的窗口的跟踪度在图13A和图13B和图13C上大体上相同。然而，在图13C中，提高用户B的窗口的跟踪度(即，窗口超过用户B)，也能够向用户B暗示后面有人接近。根据作出这样的示出，用户B也有可能提高移动的速度。
在图14A～图14C的情况下，合理位置算出部24可以在用户A的窗口的宽度(a)加上规定的页边空白算出合理距离s。此时，设定页边空白优选的是比图13A～图13C表示的情况设定地大。这是因为考虑到与图13A～图13C的情况相比图14A～图14C的情况更加在意彼此的存在。
在图14A及图14B中，因为用户A和分配给用户B的作业区域之间的距离i比合理距离s大，所以窗口以通常的跟踪度跟踪用户A的移动。但是，在图14C中，因为用户A和分配给用户B的作业区域之间的距离i小于合理距离s，所以可以说用户A越过了用户A的合理位置，正在接近用户B。为此，显示控制部25降低用户A的窗口的跟踪度，向用户A通知超过了合理位置。对于用户A而言，通过窗口从自己的正侧面的位置慢慢偏向后方，能够知道这个情况。此外，可以认为，有些用户在窗口从自己正侧面的位置偏向后方时，也有可能降低自己移动的速度。
根据上述的构成，为了各用户的操作对周围的用户的操作不造成妨碍，而至少根据多个用户的位置关系来确定用户的合理位置，并根据合理位置控制在影像显示部31显示的应用。这样，各用户的操作不会对周围的用户的操作造成妨碍。此外，在各用户的操作可能对周围的用户造成妨碍的情况下，该信息被反馈示出，所以用户能够认识到有可能造成妨碍。
另外，在本实施方式中，手势设想的是徒手手势，并且从用户检测相机11的图像中根据图像分析检测出用户的手位置及手形状，不过，用户的一部分或者全体也可以在图1A所示的包含静电型的接触垫的接触桌上进行手势，本发明在这样的使用实例中也当然有效。进而，用户的一部分或者全体在使用图1A所示的手势输入遥控器进行手势的情况下，本发明也当然有效。
另外，所述的三个使用实例中，表示了两个用户A、B在邻接的状态下进行作业的例子，不过不只限于此，本发明也适用于用户一人使用该用户接口装置10的情况。例如，在用户通过第一作业区域控制应用，与第一作业区域邻接的第二作业区域是系统使用的区域的情况下，能够有效地防止用户闯入系统区域。
4变形例
下面，说明变形例。
4.1合理位置的确定方法
合理位置算出部可以考虑以下的点来确定合理位置。
(身体特征)
合理位置算出部24可以根据用户的身体特征确定合理位置。例如，考虑用户的身高或者手臂的长度来确定合理位置，使得相邻接的用户向对方的方向伸展手臂时手臂不交错。此外，考虑用户善用的手是左手或者右手的某一个来确定合理位置，由此能够实现更符合用户的身体特征的合理位置的确定。这些用户的身体特征的信息，能够从用户信息数据库获取数据。此外，通过分析用户检测相机的图像也能算出用户的身高。
(社会关系)
合理位置可以根据位于邻接位置的用户间的关系性来确定。用户间的关系性可以是年龄或者父母和子女、上司/部下等社会关系。用户间的关系性也可以是根据发出声音的量而推测出的对话的主从关系。
此外，也可以根据如图4D所示的已在用户信息数据库登记的用户间的亲密度来确定合理位置。
4.2反馈示出的方法
在所述实施方式中，将控制画面上的显示作为向用户示出反馈来进行了说明。本发明的用户接口装置10也可以根据以下的方法来设定反馈示出。
(声音)
也可以按照用户的位置和合理位置的偏差的大小，从用户接口装置10的扬声器(省略图示)输出声音来示出反馈。
(照明)
也可以按照用户的位置和合理位置的偏差的大小，使设置了用户接口装置10的空间的照明的照明度或者颜色等发生变化。
(移动机器)
也可以在用户所持有的移动机器和用户接口装置10网络连接的情况下，通过移动机器向用户示出反馈。例如，也可以按照用户的位置和合理位置的偏差的大小，使移动机器的振动提示的强度变大等。
另外，通过所述的声音的反馈，通过照明的反馈，通过移动机器的反馈，也可以组合这些来进行。
<补充>
如上所述，根据实施方式说明了本发明涉及的用户接口装置，不过，也可以如下述一样地变形，本发明当然不被上述的实施例所示出的用户接口装置所限定。
(1)具体而言所述的各装置是由下述所构成的计算机系统：微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等。所述随机存储器或者所述硬盘单元存储有计算机程序。所述微处理器按照所述计算机程序进行工作，从而各装置各尽其职。在此，计算机程序是为了完成规定的功能，组合多个指令码(instruction code)来构成的程序，该指令码示出对计算机的指令。另外，各装置不只是由微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等全部构成的计算机系统，也可以是由这些的一部分所构成的计算机系统。
(2)构成所述各装置的构成要素的一部分或者全部可以由一个系统大规模集成电路(LSI：Large Scale Integration)来构成。系统LSI是一个芯片上集成多个结构部而制作的超多功能LSI，具体而言是包含微处理器、只读存储器、随机存储器等而构成的计算机系统。所述随机存储器中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，从而系统LSI完成其功能。
另外，在这里是称为系统LSI，然而按照集成度的不同，也可以称为IC、LSI、超级LSI、极超LSI。而且，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA：Field Programmable Gate Array)或可重构LSI内部的电路单元的连接和设定的可重构处理器(Reconfi gurableProcessor)。
进一步，随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化的技术时，当然可以使用该技术进行功能要素的集成化。有可能适用生物技术等。
(3)构成所述各装置的构成要素的一部分或者全部可以由能够在各装置装卸的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、只读存储器、随机存储器等构成的计算机系统。所述IC卡或者所述模块可以包含所述超多功能LSI。通过微处理器按照计算机程序工作，所述IC卡或者所述模块完成其功能。该IC卡或者该模块可以具有防篡改性。
(4)本发明可以是所述示出的方法。此外，这些方法可以是通过计算机实现的计算机程序，也可以是由所述计算机程序而成的数字信号。
此外，本发明也可以是将所述计算机程序或者所述数字信号记录在计算机可以读取的记录媒体，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM，蓝光盘(BD：Blu-ray Disc)、半导体存储器等。此外，也可以是记录在这些记录媒体的所述计算机程序或者所述数字信号。
此外，本发明中所述计算机程序或者所述数字信号也可以通过以电气通信线路，无线或者有线通信线路，互联网为代表的网络、数据广播等来传送。
此外，本发明也可以是包括微处理器和存储器的计算机系统，所述存储器可以存储所述计算机程序，所述微处理器可以按照所述计算机程序工作。
此外，也可以通过在所述记录媒体记录并传送所述计算机程序或者所述数字信号，或者通过所述网络等传送所述计算机程序或者所述数字信号，由其他独立的计算机系统来实施。
(5)可以分别组合所述实施方式以及所述变形例。
本发明涉及的用户接口装置，在多个用户对用户接口装置进行操作的情况下进行显示控制，使得各用户的操作对周围的用户操作不造成妨碍，所以适用于由多个人进行操作的大画面显示器，例如大画面电视机或户外电子广告(数字标牌)等。
符号说明
1，10 用户接口装置
2 显示部
3 检测部
4 算出部
5 通知部
11 用户检测相机
21 用户识别部
22 用户位置检测部
23 用户动作检测部
24 合理位置算出部
25 显示控制部
31 影像显示部

Claims (16)

1.一种用户接口装置，向用户提供成为控制应用程序的接口的作业区域，所述用户接口装置包括：
显示部，显示分配给所述用户的第一作业区域以及与所述第一作业区域不同的第二作业区域；
检测部，检测所述用户的位置；
算出部，按照通过所述第一作业区域被所述用户所控制的所述应用程序的种类，算出所述用户和所述第二作业区域之间的合理距离；以及
通知部，将由所述检测部检测出的所述用户的位置和所述第二作业区域之间的距离变得比由所述算出部算出的所述合理距离短的情况通知给所述用户。
2.根据权利要求1所述的用户接口装置，
所述检测部还检测所述用户为了控制所述应用程序而进行的手势，
所述显示部在与由所述检测部检测出的所述手势的位置对应的位置上，显示用于向用户传达所述手势的妥当性的反馈显示，
所述通知部通过使所述反馈显示的显示形态发生变化，从而将所述用户的位置和所述第二作业区域之间的距离变得比所述合理距离短的情况通知给所述用户。
3.根据权利要求2所述的用户接口装置，
所述用户的位置越接近所述第二作业区域，所述通知部就越使所述反馈显示显示得小及/或淡。
4.根据权利要求1所述的用户接口装置，
所述第一作业区域是跟踪所述用户的动作而在所述显示部内移动的窗口，
所述用户越接近所述第二作业区域，所述通知部越使所述窗口的跟踪度降低。
5.根据权利要求1所述的用户接口装置，
所述算出部还按照所述用户的身体特征算出所述合理距离。
6.根据权利要求5所述的用户接口装置，
所述用户的身高越高或者所述用户的手臂长度越长，所述算出部越使所述合理距离变长。
7.根据权利要求5所述的用户接口装置，
与所述用户的善用的手位于与所述第二作业区域远的位置的情况相比，在所述用户的善用的手位于与所述第二作业区域近的位置的情况下，所述算出部使所述合理距离变长。
8.根据权利要求1所述的用户接口装置，
进一步，通过所述第一作业区域被所述用户所控制的应用程序和通过所述第二作业区域被其他的用户所控制的应用程序的相似度或者关联度越高，所述算出部越使所述合理距离变短。
9.根据权利要求1所述的用户接口装置，
所述算出部还根据在所述第一作业区域进行作业的所述用户和在所述第二作业区域进行作业的其他的用户之间的关系，算出所述合理距离。
10.根据权利要求9所述的用户接口装置，
与所述用户比所述其他的用户在社会上处于下位的情况相比，在所述用户比其他的用户在社会上处于上位的情况下，所述算出部使所述合理距离变短。
11.根据权利要求9所述的用户接口装置，
所述检测部还检测所述用户及所述其他的用户发出的声音，
所述算出部根据由所述检测部检测出的发出声音的量来推定所述用户和所述其他的用户之间的关系。
12.根据权利要求1所述的用户接口装置，
所述通知部通过声音进行通知。
13.根据权利要求1所述的用户接口装置，
所述通知部通过照明进行通知。
14.根据权利要求1所述的用户接口装置，
所述通知部通过所述用户保持的移动机器进行通知。
15.一种用户接口方法，所述用户接口方法是利用显示分配给用户的第一作业区域和与所述第一作业区域不同的第二作业区域的显示部，通过所述第一作业区域使所述用户控制应用程序的方法，所述用户接口方法包括：
检测步骤，检测所述用户的位置；
算出步骤，按照通过所述第一作业区域被所述用户所控制的所述应用程序的种类，算出所述用户和所述第二作业区域之间的合理距离；以及
通知步骤，将由所述检测步骤检测出的所述用户的位置和所述第二作业区域之间的距离变得比由所述算出步骤算出的所述合理距离短的情况通知给所述用户。
16.一种计算机可读取的记录媒体，
所述记录媒体记录了使计算机执行权利要求15所述的用户接口方法的程序。
CN200980101117.6A 2008-09-29 2009-09-25 用户接口装置、用户接口方法、以及记录媒体 Active CN101874234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008250867 2008-09-29
JP2008-250867 2008-09-29
PCT/JP2009/004868 WO2010035477A1 (ja) 2008-09-29 2009-09-25 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN101874234A true CN101874234A (zh) 2010-10-27
CN101874234B CN101874234B (zh) 2014-09-24

Family

ID=42059490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980101117.6A Active CN101874234B (zh) 2008-09-29 2009-09-25 用户接口装置、用户接口方法、以及记录媒体

Country Status (6)

Country Link
US (1) US8464160B2 (zh)
EP (1) EP2333652B1 (zh)
JP (1) JP5260643B2 (zh)
KR (1) KR101541561B1 (zh)
CN (1) CN101874234B (zh)
WO (1) WO2010035477A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
CN103154856A (zh) * 2010-12-29 2013-06-12 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
CN103229174A (zh) * 2011-10-19 2013-07-31 松下电器产业株式会社 显示控制装置、集成电路、显示控制方法以及程序
CN103797440A (zh) * 2011-09-15 2014-05-14 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
CN104137173A (zh) * 2011-12-28 2014-11-05 株式会社尼康 显示装置以及投影装置
CN104364732A (zh) * 2012-05-29 2015-02-18 索尼公司 图像处理设备以及程序
CN104423565A (zh) * 2013-08-19 2015-03-18 纬创资通股份有限公司 互动方法及其相关互动式系统
JP2015511343A (ja) * 2012-01-20 2015-04-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ認識方法及びシステム
CN104750250A (zh) * 2015-03-04 2015-07-01 深圳市祈锦通信技术有限公司 支持手势交互的投影方法和投影系统
CN104902332A (zh) * 2014-03-06 2015-09-09 Lg电子株式会社 显示装置及其操作方法
CN105723313A (zh) * 2013-10-14 2016-06-29 微软技术许可有限责任公司 共享数字工作空间
CN106062672A (zh) * 2014-02-26 2016-10-26 微软技术许可有限责任公司 设备控制
CN106575184A (zh) * 2014-07-30 2017-04-19 索尼公司 信息处理装置、信息处理方法及程序
CN108136909A (zh) * 2016-07-13 2018-06-08 奥迪股份公司 具有操作和显示设备的车辆和用于运行这种车辆的方法
CN108304817A (zh) * 2018-02-09 2018-07-20 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置
CN108475114A (zh) * 2015-12-31 2018-08-31 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈
TWI652599B (zh) 2017-03-08 2019-03-01 新加坡商雲網科技新加坡有限公司 子畫面顯示方法和裝置
US10795831B2 (en) 2015-01-21 2020-10-06 Sony Corporation Information processing device, communication system, information processing method

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
JP5618554B2 (ja) * 2010-01-27 2014-11-05 キヤノン株式会社 情報入力装置、情報入力方法及びプログラム
JP5709405B2 (ja) * 2010-05-18 2015-04-30 株式会社タイトー 画像認識によるラクガキ装置
CN103221968A (zh) * 2010-11-10 2013-07-24 日本电气株式会社 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序
JP2012208619A (ja) * 2011-03-29 2012-10-25 Nec Corp 電子機器、通知方法およびプログラム
JP2014167496A (ja) * 2011-06-22 2014-09-11 Sharp Corp 表示装置
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
CN103167263B (zh) * 2011-12-15 2017-05-24 联想(北京)有限公司 处理采集图像的方法及电子设备
JP2013137472A (ja) * 2011-12-28 2013-07-11 Nikon Corp 投影装置
US9690368B2 (en) 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
US10402879B2 (en) 2011-12-30 2019-09-03 Adidas Ag Offering a customized collection of products
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9264660B1 (en) 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
US20130290867A1 (en) * 2012-04-27 2013-10-31 Litera Technologies, LLC Systems and Methods For Providing Dynamic and Interactive Viewing and Control of Applications
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9479549B2 (en) * 2012-05-23 2016-10-25 Haworth, Inc. Collaboration system with whiteboard with federated display
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US10150028B2 (en) 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
JP2013254080A (ja) * 2012-06-06 2013-12-19 Sharp Corp 表示装置
KR102035134B1 (ko) 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
DE102012110190B4 (de) * 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
US9635305B1 (en) * 2012-11-03 2017-04-25 Iontank, Ltd. Display apparatus including a transparent electronic monitor
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
JP2014174931A (ja) * 2013-03-12 2014-09-22 Sharp Corp 描画装置
JP5900388B2 (ja) 2013-03-15 2016-04-06 コニカミノルタ株式会社 オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
JP6201408B2 (ja) * 2013-05-10 2017-09-27 株式会社ニコン 電子制御装置、制御方法及び制御プログラム
JP2015011106A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
US20150312520A1 (en) * 2014-04-23 2015-10-29 President And Fellows Of Harvard College Telepresence apparatus and method enabling a case-study approach to lecturing and teaching
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
CN105511748A (zh) 2014-09-25 2016-04-20 阿里巴巴集团控股有限公司 自适应调整智能终端的用户界面的方法及装置
JP6669076B2 (ja) * 2014-11-04 2020-03-18 ソニー株式会社 通信システム、情報処理方法およびプログラム
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
KR102113201B1 (ko) 2015-02-27 2020-05-20 삼성전자주식회사 기능 실행 방법 및 이를 지원하는 전자 장치
JP2016194792A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9990033B2 (en) 2015-09-09 2018-06-05 International Business Machines Corporation Detection of improper viewing posture
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US10591728B2 (en) * 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
JP6093074B2 (ja) * 2016-06-22 2017-03-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
EP3267289B1 (en) * 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
EP3559783A1 (en) * 2016-12-23 2019-10-30 Signify Holding B.V. Interactive display system displaying a machine readable code
US10564915B2 (en) * 2018-03-05 2020-02-18 Microsoft Technology Licensing, Llc Displaying content based on positional state
WO2020031453A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置及び情報処理方法、並びに映像音声出力システム
CN117750110A (zh) * 2018-08-10 2024-03-22 索尼公司 信息处理装置、信息处理方法和视频声音输出系统
JP6603383B2 (ja) * 2018-10-01 2019-11-06 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
EP3641319A1 (en) * 2018-10-16 2020-04-22 Koninklijke Philips N.V. Displaying content on a display unit
US11403933B2 (en) * 2019-05-06 2022-08-02 Teleperformance Se Systems and methods for implementing and using a proximity dashboard
JP2020013613A (ja) * 2019-10-10 2020-01-23 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
WO2023188429A1 (ja) * 2022-04-01 2023-10-05 オリンパスメディカルシステムズ株式会社 画像表示システム、表示制御装置および画像表示方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03177918A (ja) * 1989-12-07 1991-08-01 Mitsubishi Electric Corp カーソル制御方式
JPH04198985A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd データ表示装置
JPH09114430A (ja) * 1995-10-16 1997-05-02 Hitachi Ltd 情報処理装置
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
JP3819096B2 (ja) 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6006188A (en) * 1997-03-19 1999-12-21 Dendrite, Inc. Speech signal processing for determining psychological or physiological characteristics using a knowledge base
JPH113195A (ja) * 1997-06-11 1999-01-06 Fujitsu Ltd インタラクティブシステム及び記憶媒体
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002300601A (ja) * 2001-03-30 2002-10-11 Shimane Pref Gov バーチャルリアリティ画像表示システム
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
JP2003280817A (ja) * 2002-03-22 2003-10-02 Ricoh Co Ltd 電子ボード用ユーザインタフェース装置および電子ボード用表示位置補正方法、およびその方法をコンピュータに実行させるプログラム、並びにその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
US7917587B2 (en) * 2004-07-30 2011-03-29 Microsoft Corporation Method and system for prioritizing communications based on interpersonal relationships
WO2006085382A1 (ja) * 2005-02-10 2006-08-17 Fujitsu Limited 情報提供装置および情報提供システム
JP4521348B2 (ja) * 2005-09-09 2010-08-11 谷電機工業株式会社 センサ付きポインティングデバイスエミュレータ
WO2008012716A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Private screens self distributing along the shop window
JP5132131B2 (ja) * 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
CN101033955B (zh) * 2007-04-18 2010-10-06 北京中星微电子有限公司 一种实现视力保护的方法、装置及一种显示器
AU2008299883B2 (en) * 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154856A (zh) * 2010-12-29 2013-06-12 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
CN103797440A (zh) * 2011-09-15 2014-05-14 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
CN103797440B (zh) * 2011-09-15 2016-12-21 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
CN103229174A (zh) * 2011-10-19 2013-07-31 松下电器产业株式会社 显示控制装置、集成电路、显示控制方法以及程序
CN103229174B (zh) * 2011-10-19 2016-12-14 松下电器（美国）知识产权公司 显示控制装置、集成电路以及显示控制方法
CN104137173A (zh) * 2011-12-28 2014-11-05 株式会社尼康 显示装置以及投影装置
US11086405B2 (en) 2011-12-28 2021-08-10 Nikon Corporation Display device and projection device
US10409386B2 (en) 2011-12-28 2019-09-10 Nikon Corporation Display device and projection device
US9927878B2 (en) 2011-12-28 2018-03-27 Nikon Corporation Display device and projection device
CN107610627A (zh) * 2011-12-28 2018-01-19 株式会社尼康 显示装置以及投影装置
JP2015511343A (ja) * 2012-01-20 2015-04-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ認識方法及びシステム
CN104364732A (zh) * 2012-05-29 2015-02-18 索尼公司 图像处理设备以及程序
US9704028B2 (en) 2012-05-29 2017-07-11 Sony Corporation Image processing apparatus and program
CN104364732B (zh) * 2012-05-29 2017-03-01 索尼公司 图像处理设备
CN104423565A (zh) * 2013-08-19 2015-03-18 纬创资通股份有限公司 互动方法及其相关互动式系统
CN105723313A (zh) * 2013-10-14 2016-06-29 微软技术许可有限责任公司 共享数字工作空间
US10754490B2 (en) 2013-10-14 2020-08-25 Microsoft Technology Licensing, Llc User interface for collaborative efforts
CN106062672A (zh) * 2014-02-26 2016-10-26 微软技术许可有限责任公司 设备控制
CN106062672B (zh) * 2014-02-26 2021-09-21 微软技术许可有限责任公司 设备控制
CN104902332A (zh) * 2014-03-06 2015-09-09 Lg电子株式会社 显示装置及其操作方法
CN106575184A (zh) * 2014-07-30 2017-04-19 索尼公司 信息处理装置、信息处理方法及程序
CN106575184B (zh) * 2014-07-30 2020-05-19 索尼公司 信息处理装置、信息处理方法及计算机可读介质
US10795831B2 (en) 2015-01-21 2020-10-06 Sony Corporation Information processing device, communication system, information processing method
CN104750250A (zh) * 2015-03-04 2015-07-01 深圳市祈锦通信技术有限公司 支持手势交互的投影方法和投影系统
CN108475114A (zh) * 2015-12-31 2018-08-31 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈
CN108475114B (zh) * 2015-12-31 2021-04-02 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈
CN108136909B (zh) * 2016-07-13 2019-11-15 奥迪股份公司 具有操作和显示设备的车辆和用于运行这种车辆的方法
US10960762B2 (en) 2016-07-13 2021-03-30 Audi Ag Vehicle having an operator control and display device and method for operating such a vehicle
CN108136909A (zh) * 2016-07-13 2018-06-08 奥迪股份公司 具有操作和显示设备的车辆和用于运行这种车辆的方法
TWI652599B (zh) 2017-03-08 2019-03-01 新加坡商雲網科技新加坡有限公司 子畫面顯示方法和裝置
CN108304817B (zh) * 2018-02-09 2019-10-29 深圳市无限动力发展有限公司 实现手势操作的方法和装置
WO2019153379A1 (zh) * 2018-02-09 2019-08-15 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置
CN108304817A (zh) * 2018-02-09 2018-07-20 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置

Also Published As

Publication number Publication date
WO2010035477A1 (ja) 2010-04-01
KR20110066901A (ko) 2011-06-17
US8464160B2 (en) 2013-06-11
JP5260643B2 (ja) 2013-08-14
CN101874234B (zh) 2014-09-24
EP2333652B1 (en) 2016-11-02
EP2333652A4 (en) 2014-04-30
JPWO2010035477A1 (ja) 2012-02-16
EP2333652A1 (en) 2011-06-15
US20100269072A1 (en) 2010-10-21
KR101541561B1 (ko) 2015-08-03

Similar Documents

Publication Publication Date Title
CN101874234B (zh) 用户接口装置、用户接口方法、以及记录媒体
CN101878487B (zh) 用户接口装置、用户接口方法、以及记录媒体
JP5869558B2 (ja) 表示制御装置、集積回路、表示制御方法およびプログラム
US20120169583A1 (en) Scene profiles for non-tactile user interfaces
US20140184550A1 (en) System and Method for Using Eye Gaze Information to Enhance Interactions
US20120072936A1 (en) Automatic Customized Advertisement Generation System
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
CN101495945A (zh) 用于被凝视物品的信息显示的凝视交互
CN103313080A (zh) 控制设备、电子装置、控制方法和程序
CN105190477A (zh) 用于在增强现实环境中的用户交互的头戴式显示装置
CN104170003A (zh) 用于提供交互信息的方法和系统
CN105706109A (zh) 生物测定身份、反馈和用户交互状态的相关显示
CN102812420A (zh) 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法和优势眼判定程序以及记录介质
CN109101172B (zh) 多屏联动系统及其互动显示方法
CN104520799A (zh) 通过眼睛跟踪进行的用户输入处理
EP2757799A1 (en) Display apparatus and method for providing customer-built information using the same
TWI489326B (zh) 操作區的決定方法與系統
CN106055707A (zh) 弹幕显示方法及装置
US11463533B1 (en) Action-based content filtering
CN107113467A (zh) 用户终端装置、系统及其控制方法
JP2009206924A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
CN111402885A (zh) 一种基于语音和空气成像技术的交互方法及其系统
US11675496B2 (en) Apparatus, display system, and display control method
Colley et al. Touch the 3rd dimension! Understanding stereoscopic 3D touchscreen interaction
KR101572349B1 (ko) 컴퓨팅 장치를 이용한 투표 시스템, 물체 인식 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.