CN101878487A - 用户接口装置、用户接口方法、以及记录媒体 - Google Patents

用户接口装置、用户接口方法、以及记录媒体 Download PDF

Info

Publication number
CN101878487A
CN101878487A CN2009801011706A CN200980101170A CN101878487A CN 101878487 A CN101878487 A CN 101878487A CN 2009801011706 A CN2009801011706 A CN 2009801011706A CN 200980101170 A CN200980101170 A CN 200980101170A CN 101878487 A CN101878487 A CN 101878487A
Authority
CN
China
Prior art keywords
user
under
nothing
interface device
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801011706A
Other languages
English (en)
Other versions
CN101878487B (zh
Inventor
坂田幸太郎
前田茂则
高桥知成
井本浩靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101878487A publication Critical patent/CN101878487A/zh
Application granted granted Critical
Publication of CN101878487B publication Critical patent/CN101878487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

用户接口装置(1)包括：检测部(3)，检测用户的位置；显示部(2)，显示作业区域；以及控制部(4)，对不属于任何用户的无所属对象的显示进行控制。并且，控制部(4)，在所述无所属对象位于与由检测部(3)检测出的用户的位置面对的显示部(2)的对面区域内的情况下，与在无所属对象位于对面区域外的情况下，使无所属对象以不同的形态移动。此外，在用户获得了无所属对象的情况下，使移动的所述无所属对象停止在分配给该用户的作业区域内。

Description

用户接口装置、用户接口方法、以及记录媒体
技术领域
本发明涉及面向由多人操作的大画面显示器的用户接口装置。
背景技术
随着显示器的大画面化和薄型化，电视机不仅仅用于视听广播内容，而且同时使用多个信息、大量的信息的一览等新的使用方法的可能性正在逐渐扩大。
不仅仅是视听以往的节目或电影，为了实现如上所述的新的使用方法，就需要简便地使用更复杂的功能。因此就需要实现自律动作方式，该自律动作方式是根据凭直觉进行的新的操作方式以及用户检测信息来汲取用户的情况或意图并抢先进行，由此减轻用户的明示性的操作量或负担的方式。此外，为了既有效利用在起居室等家族共有空间中设置的电视机的特征，又对应除了仅仅被动地视听以外的用法，希望采用以由多人操作为前提的输入方式和操作系统。
在这样的状况下，作为新的操作方式开发了用户不用保持遥控器等设备，也不用安装特殊的装置，用手势或身体动作就能简单地输入用户希望的信息的输入装置。例如，周知的有根据用户手的动作的大小，产生静止或者缓慢移动、快速移动的命令的装置(参见专利文献1)。此外，还有这种装置，为了吸引用户对画面显示出的影像产生兴趣，在接触屏检测出手接触到或者接近了在画面内移动的球时，在该球上显示预先进行了对应的影像(参见专利文献2)的装置。
专利文献1：日本特开2002-157079号公报
专利文献2：日本特开2003-263145号公报
随着以数字图片相机为代表的数字声音影像(AV：Audio/Visual)设备的普及，个人能够简单地记录AV内容，持有大量的AV内容的时代已经到来。此外，鉴于在起居室等家族共有空间设置的电视机的特征，希望有多个用户能够在画面内简单地交接大量内容的工具。
然而，若显示器的大小大时，在交接内容的时候内容移动的始点和终点之间的距离变得长的情况增多。交接内容的时候内容移动的始点和终点之间的距离越长，递交内容的用户根据手势指定终点的负担就越大。
因此，希望这种方式，递交内容的用户不必指定终点的严格位置，而是能够由接受方的用户指定的方式。然而，以往的技术没有设想对内容的交接进行分担的情况，所以存在这样的问题。若递交方没有十分准确地指定内容的移动方向，则接受方的用户不能很好地接受。
发明内容
本发明为了解决所述以往的课题而提出，其目的在于提供一种用户接口装置，在用户想要获得显示在画面上的内容的情况下，对该内容的移动进行控制，以使该用户能容易获得内容。
本发明的一个方案涉及的用户接口装置，使用户操作对象，该对象显示在分配给所述用户的作业区域内。所述用户接口装置具体而言包括：检测部，检测所述用户的位置；显示部，显示所述作业区域；以及控制部，对不属于任何用户的无所属对象的显示进行控制。并且，所述控制部，在所述无所属对象位于与由所述检测部检测出的所述用户的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动。此外，在所述用户获得了所述无所属对象的情况下，使移动的所述无所属对象停止在分配给该用户的所述作业区域内。根据所述结构，能够仔细地观看移动到用户眼前的无所属对象，以判断是否获得该无所属对象。
例如，与在所述对面区域外移动的情况相比，所述控制部可以使在所述对面区域内移动的所述无所属对象的移动速度慢。或者，与在所述对面区域外移动的情况相比，所述控制部可以使在所述对面区域内移动的所述无所属对象的显示大小大。据此，能够仔细地观看无所属对象，以判断是否要获得。
进而，所述检测部还检测所述用户的手势。并且，所述控制部可以在由所述检测部检测出表示获得所述无所属对象的获得手势的情况下，使所述无所属对象停止在分配给该用户的所述作业区域内。
例如，所述获得手势可以是以规定的时间将手掌向着画面的手势。或者，所述获得手势可以是拇指的指尖和其他手指的指尖从打开的状态过渡到合拢的状态的手势。或者，所述获得手势可以是从将手掌向着所述显示部的状态一边朝向自己本身旋转一边握拳的手势。
此外，所述控制部，可以针对与所述用户不同的其他用户所拥有的对象，在由所述检测部检测出该其他用户的表示舍弃该对象的放手手势的情况下，使该对象作为所述无所属对象，以控制该对象的显示。据此，用户不必使该对象移动到分配给接受方用户的作业区域，所以能够简化交接的动作。
此外，所述控制部，可以使在所述对面区域内移动的所述无所属对象的显示角度接近所述其他用户做出放手手势之时的显示角度。即使在无所属对象一边旋转一边移动的情况下，在用户眼前时回到初期的状态，所以对于获得的用户来说容易观看。
此外，所述显示部被划分为分配给多个用户中的每一个用户的多个所述作业区域。进而，该用户接口装置还包括判别部，判别在所述多个用户中的成为所述无所属对象的接受候选的接受方候选用户。并且，所述控制部，在所述无所属对象位于与由所述检测部检测出的所述接受方候选用户各自的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动。此外，在所述接受方候选用户获得了所述无所属对象的情况下，可以使所述无所属对象停止在分配给该接受方候选用户的所述作业区域内。
根据所述结构，因为获得的可能性极为低的用户面前不会出现无所属对象减速等，所以在整体上使对象的交接效率化。此外，对于没有获得意思的用户来说，无所属对象横穿过作业区域内而产生不快感，不过根据所述结构，能够缓解该不快感。
进而，所述检测部还检测所述用户的手势。并且，所述控制部，在所述无所属对象位于与所述接受方候选用户中的任一个用户面对的所述对面区域内的状态下，由所述检测部检测出该接受方候选用户的表示不获得该无所属对象的拒绝获得手势的情况下，可以使所述无所属对象的移动速度加快。据此，使交接效率化的同时，能够缓解没有获得意思的用户的不快感。
例如，所述拒绝获得手势可以是左右来回摆手的手势。或者，所述拒绝获得手势可以是不做出所述获得手势的状态。
进而，所述控制部，还可以根据所述用户的身体特征来控制所述无所属对象的显示。据此，能够进行更加细致地显示控制。例如，可以考虑下列示出的形态。
例如，所述身体特征是所述用户的年龄。并且，可以是所述用户的年龄越低，所述控制部越减慢在所述对面区域内移动的所述无所属对象的移动速度。或者，所述身体特征是所述用户的善用的手臂。并且，所述控制部，可以按照对象在所述显示面上的移动方向和善用的手臂的组合，来变更在所述对面区域内移动的所述无所属对象的移动速度。或者，所述身体特征是所述用户的身高。并且，可以是所述用户的身高越矮，所述控制部越减慢在所述对面区域内移动的所述无所属对象的移动速度。进而，所述身体特征是所述用户的身高。并且，可以是所述用户的身高越矮，所述控制部越降低在所述对面区域内移动的所述无所属对象的显示高度。
此外，所述控制部，可以按照所述用户的属性信息和赋予给所述无所属对象的元数据，控制所述无所属对象的显示。例如，所述控制部，可以通过与所述用户所持有的移动终端进行通信，从而获得所述属性信息。
作为典型例子，所述对象可以是照片。对象也可以不仅限于照片，可以是影像数据、音乐数据、文件数据、其他用一般的计算机能够处理的各种文件(文件夹单位也可)。
此外，所述控制部，可以在所述无所属对象到达所述显示部的一端的情况下，使该无所属对象向着另一端移动。据此，能够对于有过一次获得失败(或者故意不获得)的用户，给予再次获得的机会。
此外，所述控制部，在所述无所属对象到达与所述显示部的一端相距规定的距离的位置的情况下，可以使该无所属对象停止。进而，所述控制部，在所述无所属对象停止的状态经过了规定的时间的情况下，可以使该无所属对象成为非显示。据此，能够将谁都不示出获得的意思的对象从显示部删除。
本发明的一个方案涉及的用户接口方法，所述用户接口方法是利用显示作业区域的显示部，使用户操作对象的方法，所述对象显示在分配给该用户的所述作业区域内，具体而言所述用户接口方法包括：检测步骤，检测所述用户的位置；以及控制步骤，对不属于任何用户的无所属对象的显示进行控制。在所述控制步骤中，在所述无所属对象位于与由所述检测步骤检测出的所述用户的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动。此外，在所述用户获得了所述无所属对象的情况下，使移动的所述无所属对象停止在分配给该用户的所述作业区域内。
本发明的一个方案涉及的计算机可读取的记录媒体记录了使计算机执行上述记载的用户接口方法的程序。另外，本发明不仅作为用户接口装置来实现，而且还可以作为使计算机执行用户接口装置的功能的程序来实现。并且，也可以通过只读光盘(CD-ROM：Compact Disc-Read OnlyMemory)等记录介质以及通过因特网等传输介质来使所述程序流通。
根据本发明的用户接口装置，在用户想要获得显示在画面上的内容的情况下，按照用户的位置控制该对象的移动，由此用户能够容易接受该对象。
附图说明
图1A是说明本发明的一实施方式中的用户接口装置的外形和相关设备的接口的一个例子的图。
图1B是在本发明的一实施方式中的表示用户接口装置的结构的功能框图。
图2A是说明在本发明的一实施方式中的用户接口装置的设置例的图。
图2B是说明在本发明的一实施方式中的用户接口装置的其他设置例的图。
图2C是说明在本发明的一实施方式中的用户接口装置的其他设置例的图。
图3是表示在本发明的优选实施方式中的用户接口装置的结构的功能框图。
图4A是说明在本发明的一实施方式中的用户信息数据库的图。
图4B是表示用户信息数据库所包含的基本属性信息的例子的图。
图4C是表示用户信息数据库所包含的身体特征信息的例子的图。
图5A是说明在本发明的一实施方式中的用户位置的检测方法的概要的图。
图5B是说明作为用户位置的检测方法的一个例子的立体视的原理的图。
图6A是说明在本发明的一实施方式中的徒手手势的检测方法的概要的图。
图6B是表示在本发明的一实施方式中的徒手手势的检测处理的顺序的图。
图7A是表示在本发明的一实施方式中的用户接口装置的适合的实例的一个例子的图。
图7B是表示在本发明的一实施方式中的用户接口装置的适合的实例的一个例子的图。
图8A是表示在本发明的一实施方式中的用户接口装置的适合的实例的一个例子的图。
图8B是表示在本发明的一实施方式中的用户接口装置的适合的实例的一个例子的图。
图9是表示在本发明的一实施方式中的用户接口装置的动作例(上段)、对象的轨迹(中段)、以及对象的移动速度(下段)的图。
图10是表示在本发明的一实施方式中的用户接口装置的处理的概要的流程图。
图11是表示在本发明的一实施方式中的用户接口装置的处理的概要的流程图。
具体实施方式
下面，参考附图来说明本发明的实施方式。
1 概要
本发明的用户接口装置是例如将影像显示部划分为多个作业区域，对于在分配给多个用户的每个人的作业区域中执行的应用进行控制的装置。
2 结构
图1A是说明本发明中的用户接口装置的外形和相关设备的接口的一个例子的图。用户接口装置包含一个以上的用户检测相机等。通过对由用户检测相机拍摄到的图像信息进行分析而检测的用户的位置及动作来控制影像显示部上的显示。
也可以通过保持着手势输入遥控器的用户的手的动作或按下该遥控器上配置的按钮等用户的遥控器操作，控制影像显示部上的显示。
此外，用户接口装置也可以接受具备静电型的接触垫的接触桌的输入。据此，用户能够按照用户的情况或应用的种类来分开使用更加多样的输入方式。
此外，用户接口装置从赋予给用户所持的设备上的标签(典型的是电子标签：IC tag)获得信息，由此能够将记录在该标签上的用户的姓名或性别、年龄、兴趣、嗜好等的信息利用在应用的控制上。
此外，用户接口装置与其他的家电设备例如数字图片相机、数字摄像机等，通过无线以及路由器/集线器等进行网络连接。
用户接口装置，将从那些设备接收的数字信息或操作菜单示出在画面上，并且对于在画面示出的菜单的用户操作信息发送到那些设备。
另外，使用所述的用户接口装置，多个用户使用多张照片能够进行制作/执行图片浏览的共同作业。
接着，参考图1B详细说明本发明的一实施方式涉及的用户接口装置1的结构。图1B是用户接口装置1的方框图。
该用户接口装置1是向各个用户分配作业区域，在该作业区域内用户能够操作对象的装置。作业区域显示在显示部2上。此外，“对象”可以是例如照片数据、影像数据、音乐数据、文本数据、其他用一般的计算机能够处理的各种各样的文档(也可以是文件夹单位)。进而，“对象的操作”是指所述数据的制作、阅览、编辑、删除等。
作为用户接口装置1的典型的使用例，多个用户分别在分配给自己的作业区域内显示多个照片数据，进行该多个照片数据的阅览、整理等。此外，用户之间也可以相互交接对象。例如，第一用户将自己所拥有的对象，从分配给第一用户的作业区域中放出。而且，第二用户获得该被放出的对象，载入到分配给第二用户的作业区域内。下面，将这样的情景作为例子，详细说明本发明。
显示部2是例如大型的显示面板。作为显示面板可以采用液晶显示器、等离子体显示器、有机电致发光显示器等现有的所有显示面板。在该显示部2显示作业区域以及对象。另外，显示部2可以是显示多个作业区域的大型显示器，也可以是将显示一个作业区域的显示器多台组合的显示器。
检测部3检测位于显示部2的前面的用户的位置。进而，也可以识别位于显示部2的前面的用户，或者检测各用户的手势，或者检测各用户的发出声音的量。该检测部3例如由用户检测相机等的摄影部和对摄影部所拍摄到的图像进行分析并检测用户的位置等的解析部来构成。
控制部4控制显示部2上的显示，主要控制对象的显示。例如，使不属于任何用户的对象(称为“无所属对象”)在显示部2上移动。无所属对象通过例如用户选择显示在自己的作业区域的对象，并做出表示舍弃该对象的手势(称为“放手手势”)而生成。或者，也可以由用户接口装置1自动地生成无所属对象。
该无所属对象位于与用户对面的显示部2上的区域(“对面区域”)内的情况下和位于对面区域外的情况下，控制部4以不同的形态移动该无所属对象。例如，与在对面区域外移动的情况相比，可以使对面区域内移动的无所属对象的移动速度慢。或者，与在对面区域外移动的情况相比，可以使在对面区域内移动的无所属对象的显示大小大。进而，也可以使在对面区域内移动的无所属对象的显示角度接近用户做出放手手势之时的显示角度。
此外，控制部4在用户获得了无所属对象的情况下，使移动着的无所属对象停止在分配给该用户的作业区域内。之后，获得了该无所属对象的用户，能够自由地操作该对象。
另外，用户例如在显示部2的前面进行表示获得该无所属对象的手势(称为“获得手势”)，由此能够获得该无所属对象。“获得手势”的具体例没有特别限定，不过，可以是例如以规定的时间将手掌向着画面的手势。或者，所述获得手势也可以是，将拇指的指尖和其他手指的指尖从打开的状态过渡到合拢的状态的手势。或者，所述获得手势也可以是从将手掌向着所述显示部的状态一边朝向自己本身旋转一边握拳的手势。
另一方面，在用户做出表示不获得无所属对象的手势(称为“拒绝获得手势”)的情况下，控制部4在即使无所属对象位于该用户的对面区域的情况下，以在对面区域外的移动形态来使该无所属对象移动。另外，“拒绝获得手势”的具体例没有特别限定，不过，也可以是例如左右来回摆手的手势。或者，也可以通过在规定的时间中不做出获得手势，从而判断没有获得的意思。
此外，控制部4也可以根据用户的身体特征来控制无所属对象的显示。也可以是，例如用户的年龄越低，越减慢无所属对象的移动速度。或者，也可以按照对象的移动方向和用户的善用的手臂的组合来变更移动速度。或者，也可以是用户的身高越矮，越减慢无所属对象的移动速度。进而，也可以是用户的身高越矮，越降低无所属对象的显示高度。
进而，控制部4也可以考虑无所属对象的属性和用户的属性，来控制无所属对象的显示。也可以是，例如该对象是面向孩子的内容，则使移动速度在孩子的对面区域最慢。另外，无所属对象的属性能够从被赋予到该对象的元数据中获得。此外，用户的属性也可以通过与用户所持有的移动终端进行通信来获得，也可以将用户的属性信息预先保持在数据库中。
另外，在任何用户都不表示获得的意思的状态下，无所属对象到达显示部2的一端的情况下，控制部4使该无所属对象向着另一端移动。或者，在无所属对象到达显示部2的一端的情况下，使该无所属对象停止，在停止的状态下经过规定的时间的情况下，使该无所属对象成为非显示。
图2A～2C是说明在本发明的用户接口装置的设置的一个例子的图。用户检测相机，不仅是如图2A所示设置在影像显示部周围，也可以如2B所示设置在影像显示部被设置的空间的墙或天棚上。进而，也可以将在影像显示部的周围的设置和在墙或天棚的设置并用。此外，如图2C所示在地板铺设地板压力传感器，即使不分析用户检测相机的图像，通过地板压力传感器的输出就能够高精度地检测出用户的位置。
图3是表示在本发明的优选实施方式中的用户接口装置10的结构例的图。
下面，说明图3的各个块的功能。
用户接口装置10包括：用户检测相机11、用户识别部21、用户位置检测部22、用户动作检测部23、接受方用户判别部24、交接对象显示控制部25、影像显示部31。
另外，在该实施方式中，由用户检测相机11、用户识别部21、用户位置检测部22、以及用户动作检测部23构成图1B所示的检测部3。此外，交接对象显示控制部25对应于图1B所示的控制部4，影像显示部31对应于图1B所示的显示部2。另一方面，接受方用户判别部24不是本发明的必须构成要素，可以省略。
图4A～图4C是说明用户信息数据库(database)的数据构成的概要的图。
虽然在图3没有表示，不过，用户接口装置10也可以具备存储基本属性信息或身体特征信息等的用户信息数据库。
基本属性信息例如图4B所示是姓名、性别、年龄、亲属朋友关系等。该基本属性信息例如可以在用户识别部21识别位于影像显示部31前面的用户的时候被参考。
此外，用户信息数据库所存储的身体特征信息，如图4C所示包括站立位的身高和眼的高度、坐位的身高和眼的高度、善用的手、善用的眼、视力、听力等按用户姿态的各身体形状、以及视听能力等。该身体特征信息可以作为例如接受方用户判别部24判别接受方候选用户时的参考信息来参考。
用户检测相机11是设置在影像显示部31的周围的电荷耦合装置(CCD：Charge Coupled Device)、或者互补金属氧化物半导体(CMOS：Complementary Metal Oxide Semiconductor)等的图像传感器。用户检测相机11拍摄在影像显示部31的前面的用户。
2.1 用户识别部
用户识别部21，例如从用户检测相机11的图像进行脸部区域的提取之后，通过将已预先登记的脸部图像和已提取的脸部图像进行对照，以此来输出确定用户的用户识别信息。
2.2 用户位置检测部
用户位置检测部22，在从由用户检测相机11拍摄到的多个影像中提取用户区域之后，通过多个影像中的用户区域的对应关系并根据立体视的原理，来算出用户与影像显示部31的相对位置。
图5A及图5B是说明本发明的一实施方式中的用户位置检测部22进行的根据立体视的原理的用户位置算出方法的图。
如图5A所示，将两台一组的用户检测相机11设置成相隔间距B，相对于影像显示部31的画面平行地设置。用户位置检测部22基于由各个用户检测相机11拍摄到的图像内的对应的用户区域的位置的偏差，算出用户与影像显示部31的画面之间的距离D。由各用户检测相机11拍摄到的图像内的用户映现的区域的提取，例如，通过预先保存用户不在的状态下由各用户检测相机11拍摄到的图像，并求出与用户出现时的图像之间的差分来实现。此外，也可以根据脸部图像检测及脸部图像的对照求出用户的脸部区域，将该脸部区域作为用户区域。
图5B是表示立体视的原理的图，立体视的原理是指基于在两个图像上的对应的用户区域，求出用户和用户检测相机11的设置面(影像显示部31的画面)之间的距离D。若将分别对应由两台用户检测相机11所拍摄到的图像的用户区域作为位置测定对象时，该像如图5B所示一样地投影在两个图像上。若将对应的像在图像上的偏差作为Z时，根据用户检测相机11的焦距f和相机的光轴间的距离B，用户和影像显示部31的距离D由D＝f×B/Z来求出。此外，关于在与影像显示部31的画面平行的方向上的用户位置，能够基于图像中的用户区域的位置和所述的距离D来求出。用户位置检测部22输出如上述求出的对于影像显示部31的用户的相对位置。
另外，作为用户检测相机11，也可以使用根据光波测距(Time of Flight)的原理输出距离信息的距离图像传感器。用户位置检测部22，通过获得距离图像传感器能够容易地算出对于影像显示部31的用户的相对位置。
此外，如图2C所示，若空间上设置了地板压力传感器时，用户位置检测部22不把用户检测相机11的信息作为输入，而将地板压力传感器的输出值作为输入，就能算出对于影像显示部31的用户的相对位置。
2.3 用户动作检测部
用户动作检测部23在提取了用户的手区域之后，对照手的位置和手的形状与预先被规定的哪个形状吻合，输出例如“石头”、“布”、“右选择”、“左选择”等的手的形状信息。
图6A及图6B表示了本发明的一实施方式中的用户动作检测部23的手位置以及手形状的检测方法。
如图6A所示，用户动作检测部23从由用户检测相机11所拍摄到的图像，首先检测人物位置，并在人物位置的周围进行手位置以及手形状的检测。作为推定手位置及手形状的方法，能够采用例如以下的方法来推定。下面，使用图6B来说明。
首先，作为离线处理，用户动作检测部23大量准备了想要检测的手的学习图像(S501)。对于学习图像中的照明环境、朝向等条件，优选的是尽量具备符合实际检测环境的条件。接着，根据S501中准备的学习图像，使用主成分分析制作构成手的主成分的固有空间(S502)。此外，作为想要检测的手的样品而准备手的模板图像。模板图像可以是准备的手的平均图像，也可以准备石头，布等几个手的图像。将制作的固有空间的投影矩阵(projection matrix)以及手的模板图像存储在手模板数据库中(S503)。
接着，说明进行实际检测的在线处理。
首先，用户检测相机11拍摄在影像显示部31的前方的用户(S504)。用户动作检测部23从由用户检测相机11拍摄到的图像中进行脸部区域的检测(S505)。
用户动作检测部23，在S505中检测出脸部区域时，在该区域的周围进行手的检测。在脸部区域的周围中与已准备的手的模板类似的区域，使用存储在手模板数据库中的手的模板来扫描(S506)。脸的周围区域的决定，也可以是以脸的位置作为基准而预先设定了大小的范围，或者，通过使用两台用户检测相机11的立体视的原理，在脸的周围区域中扫描与脸的纵深距离近的区域，由此削减搜索范围。
作为用于进行匹配的相似度的计算，这里首先将伸出的手的候选区域图像和手的模板图像，使用预先准备的向固有空间的投影矩阵，向固有空间进行投影。而且，进行比较在固有空间上的两者的距离的方法。通过在表示手的主成分的空间上比较距离，能够进行降低了背景等噪声的影响的检测。在搜索区域内，将满足预定的阈值且得到了最接近手模板的距离的区域作为手的位置。此外距离最近的手模板的形状(例如石头，布等)作为检测手形状(S507)。
另一方面，在搜索区域内没有满足阈值的区域的情况下，作为没有伸手而结束检测。
在这个例子中，在手位置及形状的检测使用了模板匹配的方法，不过，也可以使用其他的方法，例如提升(Boosting)等的方法。
本发明的用户接口装置10的应用，例如，对于该用户，预先使多个选择项和与各选择项对应的手位置及形状相对应。而且，按照由用户动作检测部23检测出的用户的手位置及形状的变化，能够判断选择了对应的选择项。
2.4 接受方用户判别部
接受方用户判别部24将用户识别部21输出的用户识别信息、用户位置检测部22输出的用户位置、用户动作检测部23输出的手位置及形状的信息作为输入信息，判别推定为接受该对象的用户的候选的用户(接受方候选用户)。
图7A～图8B是表示在本发明的一实施方式中的用户接口装置10的优选实例的一个例子的图。在这里作为例子，将用户之间交接的对象作为照片数据。
图7A是用户B递交对象的实例。在实例中，用户B在选择了想要递交的照片的状态下，将手向左侧移动，则接受方用户判别部24将位于用户B的左侧的用户A判别为接受方候选用户。此外，用户B在选择了想要递交的照片的状态下，将手向右侧移动，则接受方用户判别部24将位于用户B的右侧的用户C判别为接受方候选用户。
图7B是用户A递交对象的实例。在这个实例中，用户A在选择了想要递交的照片的状态下，将手向右侧移动，则接受方用户判别部24能够判断想要递交到用户B或者用户C，判别用户B和用户C为接受方候选用户。用户B和用户C中的哪一个接受，根据用户B和用户C的手势来确定。
图8A是用户A递交对象的实例。在与用户A和用户B和用户D的每一个对应的画面上的工作空间(作业区域)中，被执行阅览照片的应用，在与用户C对应的画面上的工作空间(工作空间C)，显示着广播内容(新闻节目)。
在该实例中，用户A在选择了想要递交的照片的状态下，将手向右侧移动，则接受方用户判别部24在位于用户A的右侧的用户B和用户C和用户D当中，判别用户B和用户D为接受方候选用户。另一方面，接受方用户判别部24因为与用户C对应的工作空间中被执行的应用与被交接的内容(照片)的关系浅，不把用户C判别为接受方候选用户。
图8B是用户A递交对象的实例。在该实例中，在与用户A和用户B和用户D的每一个对应的画面上的工作空间中被执行阅览照片的应用，而且用户C位于影像显示部31的前面，但不执行应用。例如，用户C处于睡眠中。
在该实例中，用户A在选择了想要递交的照片的状态下，将手向右侧移动，则接受方用户判别部24在位于用户A的右侧的用户B和用户C和用户D当中，判别用户B和用户D为接受方候选用户。另一方面，虽然用户C位于影像显示部31的前面，但是因为没有执行应用，所以接受方用户判别部24没有判别用户C是接受方候选用户。
2.5 交接对象显示控制部
交接对象显示控制部25将用户识别部21输出的用户识别信息、用户位置检测部22输出的用户位置、用户动作检测部23输出的手位置及手形状信息作为输入信息，控制画面上的对象的显示。具体的控制方法在下述“3工作”中说明。
3 工作
图9是说明在本发明的一实施方式中的用户接口装置10的动作例的图。
如图9的上段所示，在影像显示部31的前方存在3名用户(用户A、用户B、用户C)，3名用户各自利用照片阅览应用，在画面上交接照片的情况做为例子，说明用户接口装置10的处理的流程。即，是在画面上投接球一样地交接内容的情况。三个人是一家人，用户A是父、用户B是女儿、用户C是母，尤其说明用户A(父)要想向用户B(女儿)、用户C(母)递交照片的场面的例子。
图10是表示在本发明的一实施方式中的用户接口装置10的处理的概要的流程图。
首先，用户识别部21通过将由用户检测相机11检测出的用户A、B、C的脸部和已预先进行登记的用户信息数据库中存储的身体特征信息进行对照，从而识别用户(S801)。而且，对被识别出的各用户，用户位置检测部22算出用户位置信息，用户动作检测部23算出手的位置及形状的信息(S802)。
而且，若用户进行递交画面上的对象的手势时(S803中的“是”)，接受方用户判别部24判别接受方候选用户(S804)。此外，交接对象显示控制部25按照接受方候选用户的位置，对交接的对象的移动进行控制(S805)。
在图9的实例中，若用户A进行将画面上的对象递交到右侧的手势，则位于用户A的右侧的用户B和用户C被判别为接受方候选用户。这个判别是鉴于用户A，用户B，用户C使用着同种类的应用的情况的结果。
关于被交接的对象的移动的控制，按照图11的流程图进行说明。
交接对象显示控制部25，若移动中的对象在接受方候选用户的区域内时(S901中的“是”)，使对象减速(S902)。接受方候选用户的区域，如图9的上段一样，可以根据各用户的工作空间的X轴方向的宽度来规定，也可以规定为从相当于用户站立位置的正面的画面上的位置开始向左右取了规定的大小的区域。
而且，交接对象显示控制部25，在接受方候选用户执行表示选择接受的手势时(S903中的“是”)，使对象进一步减速(S904)。进而，在接受方候选用户执行表示确定接受的手势时(S905中的“是”)，使对象停止(S906)。若在停止之前使对象与手的动作联动，则能够使对象停止在接受方用户所希望的位置上。
表示选择接受的手势可以是以规定的时间手掌向着画面的动作。而且，表示确定接受的手势可以是从拇指和其他手指打开的状态过渡到合拢的状态的动作，或者从将手向着画面的状态过渡到接近自己的脸或者胸部的动作。这些动作与抓住物体的动作对应，成为抓住画面上的照片、捕捉这样的直感操作。
从而，如图9的上段所示，用户A要想向右侧的用户递交照片的实例中，作为一个例子设想如下述的用户操作流程。
(1)用户A：选择递交的照片
用户A为了选择递交的照片将手掌向着画面。向左右上下移动手时，随着手的移动照片的焦点显示发生变化，由此用户A能够选择希望的照片。也可以通过用户进行所述抓住的动作来确定。
(2)用户A：执行递交手势
在照片被选择的状态下，若用户A将手向右侧移动规定以上，则用户动作检测部23解释用户A的动作，生成向右侧递交(投出)照片的指令，该照片开始向右方向移动。这样，该照片成为“无所属对象”。与递交(投出)的指令对应的手势可以是向想要移动照片的方向规定以上移动手的动作。
(3)用户B：不接受
如图9的下段所示，在对象进入到用户B的区域时，因为该照片减速，所以用户B能够慢慢地确认照片。此外，如图9的中段所示，考虑用户的身高来控制对象的轨道，以使照片通过用户B的眼的高度或者肩的高度，这样就能够实现对用户B来说更加容易看到照片，更容易操作的显示。用户的身高可以从用户信息数据库获得，也可以从用户检测相机11的图像中通过图像分析来概算出。
用户B确认了照片，不过因为没什么兴趣不想接受。因此，没有进行表示接受的意思的手势。那么，如图9下段所示，对象的减速被解除。
(4)用户C：选择接受
如图9中段所示，对象进入到用户C的区域时，因为该照片再次减速，所以用户C能够慢慢地确认照片。用户C确认照片后觉得是感兴趣的照片，所以进行表示选择接受的手势，即，将手掌向着画面的动作。那么，对象进一步减速。
(5)用户C：确定接受，停止位置指定
在(4)中将手掌向着画面的状态经过了规定的时间时，该照片的位置与手的动作联动。并且，在规定的时间将手的动作停留在规定的大小以内时，照片停在该位置上。
根据上述的结构，推定对象的接受方候选用户，并根据该接受方候选用户的位置来控制该对象的移动，从而成为接受方的用户能够容易地接受对象。
另外，在本实施例中，手势设想的是徒手手势，并且根据图像分析从用户检测相机11的图像中检测出用户的手位置及手形状，不过，用户的一部分或者全体也可以在图1A所示的包含静电型的接触垫的接触桌上进行手势，本发明在这样的使用实例中也当然有效。接受方候选用户将手接近接触桌时，是被交接的对象的接受选择，进而将手接触到接触桌时，是该对象的接受确定。
此外，本实施方式中，作为由多个人交接的内容的例子举出了照片，不过，本发明适用的优选的交接内容，当然不被照片所限制。在影像显示部31所显示的各种类型的内容都成为本发明适用的对象。
此外，在图5A～图9中用户是立位，但不被立位所限制。本发明在用户处于坐位等姿势的场面也当然有效。
4 变形例
下面，说明变形例。
4.1 对象的移动的控制
交接对象显示控制部25可以考虑以下的点来控制被交接的对象的移动。
(考虑接受方候选用户的身体特征)
可以根据接受方候选用户的身体特征，来控制对象的移动。作为用户的身体特征的例子，可举出用户的年龄、用户的善用的手、用户的身高。这些能够从用户信息数据库获得数据。此外，用户的身高也可以从分析用户检测相机的图像来算出。
用户的年龄在规定的范围的情况下可以使对象的减速的大小比规定大。例如，对于老年人或孩子使减速的大小比规定大，由此能够提高可用性。
此外，考虑用户的善用的手臂，在对象在画面上向右方向移动的情况下，与接受方候选的用户的善用的手是右手的情况相比，善用的手是左手的情况下使减速的大小比规定大。在对象在画面上向左方向转移的情况下，与接受方候选的用户的善用的手是左手的情况相比，善用的手是右手的情况下使减速的大小比规定大。此外，将减速的开始位置设在离用户更远的位置上，也能得到同样的效果。
此外，身高的高度和手臂的长度基本上具有正的相关，所以身高不满规定的值时将减速的大小设成比规定大，实际上成为进行了考虑手臂的长度的控制。如在所述的「3动作」中所示，考虑用户的身高来控制对象的轨道，以使对象通过用户的眼的高度或者肩的高度，从而提高可用性。
(接受方候选用户的属性的考虑)
可以根据接受方候选用户的属性来控制对象的移动。
例如，鉴于赋予对象的元数据和用户的属性，来控制对象的轨道和速度。这里所说的用户的属性的例子是用户所持的设备上被赋予的标签所记录的信息，是姓名或性别、年龄、兴趣、嗜好等的信息。
例如，在用户的兴趣、嗜好的信息的基础上，推定对被交接的对象的兴趣度，在被推定为兴趣高的情况下，可以将在所述用户附近的该对象的减速的大小设成比规定大。
4.2 在画面的一端的动作
被交接的对象进行移动到达画面的一端附近时，可以根据以下的方法来控制对象。
(使对象弹回)
被交接的对象在移动中到达画面的一端的情况下，可以设该对象以弹回系数1来弹回。当然弹回系数不被1所限定。进而，可以计数对象在画面的一端弹回的次数，根据所述弹回次数来改变弹回系数。
(停止)
此外，被交接的对象在移动中到达从画面的一端开始规定的范围内的位置时，可以停止该对象的移动。
(在规定的时间之后成为非显示)
进而，若被交接的对象在移动中到达从画面的一端开始规定的范围内的位置，并且该对象的移动停止的状态下经过规定的时间，则可以使该对象成为非显示。
通过上述，即使将接受方候选用户表示接受的意思的手势一次没成功，因为会弹回，所以能够在那时进行表示接受的意思的手势。此外，经过规定的时间就成为非显示，由此能够避免接受方候选用户不需要的内容一直在画面上显示而造成妨碍。
另外，在所述的实施方式中，示出了用户专用作业区域显示在该用户的正面的例子，不过，也可以不被这个所限制，可以设置多个用户能够共有的共有作业区域。例如，在两个用户的中间地点显示共有作业区域，使用户获得的对象停止在共有作业区域中。这个情况下，用户可以向着共有作业区域的方向(即斜着的方向)做出获得手势。
此外，在所述的实施方式中，示出了通过用户做出获得手势而获得对象的例子，不过，也可以不被这个所限制，可以由用户接口装置10判别出应该获得无所属对象的用户，并使无所属对象停止在分配给该用户的作业区域中。
例如，无所属对象含有用于孩子的内容，多个用户当中只有一个孩子的情况下，可以不等用户的获得手势而使该用户获得。或者，由接受方用户判别部24判别为接受方候选用户的用户只有一个人的情况下，可以不等用户的获得手势而使该用户获得。
此外，在所述的实施方式中，示出了将用户放出的一个对象由其他的用户获得的例子，不过，可以不被这个所限制，也可以同时放出多个对象。此时，交接对象显示控制部25可以进行显示控制，以使多个对象不相互重叠。
进而，在所述的实施方式中，示出了将用户放出的对象由其他的用户获得的例子，不过，可以不被这个所限制，也可以将用户接口装置10放出的对象由用户来获得。
<补充>
如上所述，根据实施方式说明了本发明涉及的用户接口装置，不过，也可以如下述一样地变形，本发明当然不被上述的实施例所示出的用户接口装置所限定。
(1)具体而言所述的各装置是由下述所构成的计算机系统：微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等。所述随机存储器或者所述硬盘单元存储有计算机程序。所述微处理器按照所述计算机程序进行工作，从而各装置各尽其职。在此，计算机程序是为了完成规定的功能，组合多个指令码(instruction code)来构成的程序，该指令码示出对计算机的指令。另外，各装置不只是由微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等全部构成的计算机系统，也可以是由这些的一部分所构成的计算机系统。
(2)构成所述各装置的构成要素的一部分或者全部可以由一个系统大规模集成电路(LSI：Large Scale Integration)来构成。系统LSI是一个芯片上集成多个结构部而制作的超多功能LSI，具体而言是包含微处理器、只读存储器、随机存储器等而构成的计算机系统。所述随机存储器中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，从而系统LSI完成其功能。
另外，在这里是称为系统LSI，然而按照集成度的不同，也可以称为IC、LSI、超级LSI、极超LSI。而且，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA：Field Programmable Gate Array)或可重构LSI内部的电路单元的连接和设定的可重构处理器(ReconfigurableProcessor)。
进一步，随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化的技术时，当然可以使用该技术进行功能要素的集成化。有可能适用生物技术等。
(3)构成所述各装置的构成要素的一部分或者全部可以由能够在各装置装卸的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、只读存储器、随机存储器等构成的计算机系统。所述IC卡或者所述模块可以包含所述超多功能LSI。通过微处理器按照计算机程序工作，所述IC卡或者所述模块完成其功能。该IC卡或者该模块可以具有防篡改性。
(4)本发明可以是所述示出的方法。此外，这些方法可以是通过计算机实现的计算机程序，也可以是由所述计算机程序而成的数字信号。
此外，本发明也可以是将所述计算机程序或者所述数字信号记录在计算机可以读取的记录媒体，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM，蓝光盘(BD：Blu-ray Disc)、半导体存储器等。此外，也可以是记录在这些记录媒体的所述计算机程序或者所述数字信号。
此外，本发明中所述计算机程序或者所述数字信号也可以通过以电气通信线路，无线或者有线通信线路，互联网为代表的网络、数据广播等来传送。
此外，本发明也可以是包括微处理器和存储器的计算机系统，所述存储器可以存储所述计算机程序，所述微处理器可以按照所述计算机程序工作。
此外，也可以通过在所述记录媒体记录并传送所述计算机程序或者所述数字信号，或者通过所述网络等传送所述计算机程序或者所述数字信号，由其他独立的计算机系统来实施。
(5)可以分别组合所述实施方式以及所述变形例。
本发明涉及的用户接口装置，适用于由多个人进行操作的大画面显示器，例如大画面电视机或户外电子广告(数字标牌)等。
符号说明
1，10 用户接口装置
2 显示部
3 检测部
4 控制部
11 用户检测相机
21 用户识别部
22 用户位置检测部
23 用户动作检测部
24 接受方用户判别部
25 交接对象显示控制部
31 影像显示部

Claims (26)

1.一种用户接口装置，使用户操作对象，该对象显示在分配给所述用户的作业区域内，所述用户接口装置包括：
检测部，检测所述用户的位置；
显示部，显示所述作业区域；以及
控制部，对不属于任何用户的无所属对象的显示进行控制，
所述控制部，
在所述无所属对象位于与由所述检测部检测出的所述用户的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动，
在所述用户获得了所述无所属对象的情况下，使移动的所述无所属对象停止在分配给该用户的所述作业区域内。
2.根据权利要求1所述的用户接口装置，
与在所述对面区域外移动的情况相比，所述控制部使在所述对面区域内移动的所述无所属对象的移动速度慢。
3.根据权利要求1所述的用户接口装置，
与在所述对面区域外移动的情况相比，所述控制部使在所述对面区域内移动的所述无所属对象的显示大小大。
4.根据权利要求1所述的用户接口装置，
所述检测部还检测所述用户的手势，
所述控制部，在由所述检测部检测出表示获得所述无所属对象的获得手势的情况下，使所述无所属对象停止在分配给该用户的所述作业区域内。
5.根据权利要求4所述的用户接口装置，
所述获得手势是以规定的时间将手掌向着画面的手势。
6.根据权利要求4所述的用户接口装置，
所述获得手势是拇指的指尖和其他手指的指尖从打开的状态过渡到合拢的状态的手势。
7.根据权利要求4所述的用户接口装置，
所述获得手势是从将手掌向着所述显示部的状态一边朝向自己本身旋转一边握拳的手势。
8.根据权利要求4所述的用户接口装置，
所述控制部，针对与所述用户不同的其他用户所拥有的对象，在由所述检测部检测出该其他用户的表示舍弃该对象的放手手势的情况下，使该对象作为所述无所属对象，以控制该对象的显示。
9.根据权利要求8所述的用户接口装置，
所述控制部，使在所述对面区域内移动的所述无所属对象的显示角度接近所述其他用户做出放手手势之时的显示角度。
10.根据权利要求1所述的用户接口装置，
所述显示部被划分为分配给多个用户中的每一个用户的多个所述作业区域，
该用户接口装置还包括判别部，判别在所述多个用户中的成为所述无所属对象的接受候选的接受方候选用户，
所述控制部，
在所述无所属对象位于与由所述检测部检测出的所述接受方候选用户各自的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动，
在所述接受方候选用户获得了所述无所属对象的情况下，使所述无所属对象停止在分配给该接受方候选用户的所述作业区域内。
11.根据权利要求10所述的用户接口装置，
所述检测部还检测所述用户的手势，
所述控制部，在所述无所属对象位于与所述接受方候选用户中的任一个用户面对的所述对面区域内的状态下，由所述检测部检测出该接受方候选用户的表示不获得该无所属对象的拒绝获得手势的情况下，使所述无所属对象的移动速度加快。
12.根据权利要求11所述的用户接口装置，
所述拒绝获得手势是左右来回摆手的手势。
13.根据权利要求11所述的用户接口装置，
所述拒绝获得手势是不做出所述获得手势的状态。
14.根据权利要求1所述的用户接口装置，
所述控制部，还根据所述用户的身体特征来控制所述无所属对象的显示。
15.根据权利要求14所述的用户接口装置，
所述身体特征是所述用户的年龄，
所述用户的年龄越低，所述控制部越减慢在所述对面区域内移动的所述无所属对象的移动速度。
16.根据权利要求14所述的用户接口装置，
所述身体特征是所述用户的善用的手臂，
所述控制部，按照对象在所述显示面上的移动方向和善用的手臂的组合，来变更在所述对面区域内移动的所述无所属对象的移动速度。
17.根据权利要求14所述的用户接口装置，
所述身体特征是所述用户的身高，
所述用户的身高越矮，所述控制部越减慢在所述对面区域内移动的所述无所属对象的移动速度。
18.根据权利要求14所述的用户接口装置，
所述身体特征是所述用户的身高，
所述用户的身高越矮，所述控制部越降低在所述对面区域内移动的所述无所属对象的显示高度。
19.根据权利要求1所述的用户接口装置，
所述控制部，按照所述用户的属性信息和赋予给所述无所属对象的元数据，控制所述无所属对象的显示。
20.根据权利要求19所述的用户接口装置，
所述控制部，通过与所述用户所持有的移动终端进行通信，从而获得所述属性信息。
21.根据权利要求1所述的用户接口装置，
所述对象是照片。
22.根据权利要求1所述的用户接口装置，
所述控制部，在所述无所属对象到达所述显示部的一端的情况下，使该无所属对象向着另一端移动。
23.根据权利要求1所述的用户接口装置，
所述控制部，在所述无所属对象到达与所述显示部的一端相距规定的距离的位置的情况下，使该无所属对象停止。
24.根据权利要求23所述的用户接口装置，
所述控制部，在所述无所属对象停止的状态经过了规定的时间的情况下，使该无所属对象成为非显示。
25.一种用户接口方法，所述用户接口方法是利用显示作业区域的显示部，使用户操作对象的方法，所述对象显示在分配给该用户的所述作业区域内，所述用户接口方法包括：
检测步骤，检测所述用户的位置；以及
控制步骤，对不属于任何用户的无所属对象的显示进行控制，
在所述控制步骤中，
在所述无所属对象位于与由所述检测步骤检测出的所述用户的位置面对的所述显示部的对面区域内的情况下，与在所述无所属对象位于所述对面区域外的情况下，使所述无所属对象以不同的形态移动，
在所述用户获得了所述无所属对象的情况下，使移动的所述无所属对象停止在分配给该用户的所述作业区域内。
26.一种计算机可读取的记录媒体，
所述记录媒体记录了使计算机执行权利要求25所述的用户接口方法的程序。
CN2009801011706A 2008-09-29 2009-09-28 用户接口装置、用户接口方法、以及记录媒体 Active CN101878487B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008251044 2008-09-29
JP2008-251044 2008-09-29
PCT/JP2009/004911 WO2010035491A1 (ja) 2008-09-29 2009-09-28 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN101878487A true CN101878487A (zh) 2010-11-03
CN101878487B CN101878487B (zh) 2013-04-10

Family

ID=42059503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801011706A Active CN101878487B (zh) 2008-09-29 2009-09-28 用户接口装置、用户接口方法、以及记录媒体

Country Status (5)

Country Link
US (1) US8451216B2 (zh)
EP (1) EP2330558B1 (zh)
JP (1) JP5345129B2 (zh)
CN (1) CN101878487B (zh)
WO (1) WO2010035491A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838483A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种显示方法及电子设备
CN103907087A (zh) * 2011-08-02 2014-07-02 微软公司 用于选择和重排的交叉滑动手势
WO2014139098A1 (en) * 2013-03-13 2014-09-18 Intel Corporation System and method to provide location-based digital signage services
CN105892665A (zh) * 2016-03-31 2016-08-24 联想(北京)有限公司 信息处理方法及电子设备

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5558899B2 (ja) * 2010-04-22 2014-07-23 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP5345113B2 (ja) * 2010-09-08 2013-11-20 シャープ株式会社 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
JP5807399B2 (ja) * 2011-06-13 2015-11-10 ソニー株式会社 情報処理装置及びプログラム
US20130009875A1 (en) * 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
JP5902444B2 (ja) * 2011-11-24 2016-04-13 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
WO2013099407A1 (ja) 2011-12-28 2013-07-04 株式会社ニコン 表示装置及び投影装置
US10402879B2 (en) 2011-12-30 2019-09-03 Adidas Ag Offering a customized collection of products
US9690368B2 (en) 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
US8902198B1 (en) * 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
JP5651639B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 情報処理装置、情報表示装置、情報処理方法およびプログラム
JP5916590B2 (ja) 2012-12-06 2016-05-11 コニカミノルタ株式会社 オブジェクト操作装置及びオブジェクト操作制御プログラム
US9060162B2 (en) * 2012-12-21 2015-06-16 Ati Technologies Ulc Providing multiple viewer preferences on a display device
US9268929B2 (en) * 2013-03-15 2016-02-23 Intelmate Llc Dossier packaging
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
KR102241074B1 (ko) * 2014-07-22 2021-04-16 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102194923B1 (ko) 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP2016053769A (ja) * 2014-09-02 2016-04-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6455258B2 (ja) * 2015-03-19 2019-01-23 富士通株式会社 表示方法、プログラム及び表示制御装置
JP2016194792A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP6697967B2 (ja) * 2016-06-30 2020-05-27 シャープ株式会社 画像表示装置、画像表示方法及びプログラム
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
JP7256665B2 (ja) * 2019-03-28 2023-04-12 シャープ株式会社 情報処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2068486C (en) * 1991-08-30 1998-09-15 Stephen S. Fleming System and graphical method for creating an object
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP2000222133A (ja) 1999-01-28 2000-08-11 Canon Inc 電子情報表示装置及びその表示制御方法並びに記憶媒体
JP2002157079A (ja) 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
JP2003263145A (ja) 2002-03-07 2003-09-19 Pioneer Electronic Corp 情報表示装置
JP4095040B2 (ja) 2004-02-12 2008-06-04 株式会社日立製作所 テーブル型情報端末の表示方法
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
JP4273332B2 (ja) * 2004-06-02 2009-06-03 富士フイルム株式会社 画像表示制御テーブル、画像の天地制御方法及び画像の天地制御プログラム
JP4045550B2 (ja) 2004-06-28 2008-02-13 富士フイルム株式会社 画像表示制御装置及び画像表示制御プログラム
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
JP4725423B2 (ja) * 2006-06-06 2011-07-13 パナソニック株式会社 画像処理装置
EP1895391A1 (en) 2006-08-16 2008-03-05 Siemens Aktiengesellschaft Method and system for displaying a multitude of objects on a display
JP5132131B2 (ja) * 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置
JP2008181248A (ja) * 2007-01-23 2008-08-07 Kyocera Mita Corp 表示制御装置及び表示制御プログラム
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
JP4853573B2 (ja) * 2008-06-20 2012-01-11 コニカミノルタホールディングス株式会社 情報処理方法、情報処理装置およびプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907087A (zh) * 2011-08-02 2014-07-02 微软公司 用于选择和重排的交叉滑动手势
CN103907087B (zh) * 2011-08-02 2017-06-16 微软技术许可有限责任公司 用于选择和重排的交叉滑动手势
CN103838483A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种显示方法及电子设备
US9690472B2 (en) 2012-11-27 2017-06-27 Lenovo (Beijing) Co., Ltd. Display method and electronic device
CN103838483B (zh) * 2012-11-27 2018-02-27 联想(北京)有限公司 一种显示方法及电子设备
WO2014139098A1 (en) * 2013-03-13 2014-09-18 Intel Corporation System and method to provide location-based digital signage services
US9460453B2 (en) 2013-03-13 2016-10-04 Intel Corporation System and method to provide location-based digital signage services
CN105892665A (zh) * 2016-03-31 2016-08-24 联想(北京)有限公司 信息处理方法及电子设备
CN105892665B (zh) * 2016-03-31 2019-02-05 联想(北京)有限公司 信息处理方法及电子设备

Also Published As

Publication number Publication date
CN101878487B (zh) 2013-04-10
US20100259473A1 (en) 2010-10-14
EP2330558B1 (en) 2016-11-02
US8451216B2 (en) 2013-05-28
EP2330558A1 (en) 2011-06-08
EP2330558A4 (en) 2014-04-30
JP5345129B2 (ja) 2013-11-20
WO2010035491A1 (ja) 2010-04-01
JPWO2010035491A1 (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
CN101878487B (zh) 用户接口装置、用户接口方法、以及记录媒体
US11983823B2 (en) Transmodal input fusion for a wearable system
CN109564620B (zh) 增强现实身份验证
CN101874234B (zh) 用户接口装置、用户接口方法、以及记录媒体
US20190251753A1 (en) Object preview in a mixed reality environment
JP6028351B2 (ja) 制御装置、電子機器、制御方法、及びプログラム
US9477303B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
Wu et al. User-centered gesture development in TV viewing environment
CA3059234A1 (en) Multimodal task execution and text editing for a wearable system
US20130044912A1 (en) Use of association of an object detected in an image to obtain information to display to a user
CN105706109A (zh) 生物测定身份、反馈和用户交互状态的相关显示
CN102541257A (zh) 基于观众的内容呈现和定制
CN113115061B (zh) 直播交互方法、装置、电子设备和存储介质
JP2014225288A (ja) 自然なジェスチャに基づくユーザ・インターフェース方法及びシステム
CN104508597A (zh) 用于控制扩增实境的方法及设备
US20170053449A1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
Koh et al. Developing a hand gesture recognition system for mapping symbolic hand gestures to analogous emojis in computer-mediated communication
CN103502910B (zh) 用于操作激光二极管的方法
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
Franz et al. A virtual reality scene taxonomy: Identifying and designing accessible scene-viewing techniques
Higuchi et al. AR typing interface for mobile devices
Colley et al. Touch the 3rd dimension! Understanding stereoscopic 3D touchscreen interaction
Leroy et al. KINterestTV-towards non–invasive measure of user interest while watching tv
CN111375197A (zh) 技能游戏装置
Farhadi-Niaki Depth sensitive vision-based human-computer interaction using natural arm/finger gestures: an empirical investigation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.