CN104508599A - 要素选择装置、要素选择方法、及程序 - Google Patents

要素选择装置、要素选择方法、及程序 Download PDF

Info

Publication number
CN104508599A
CN104508599A CN201380037174.9A CN201380037174A CN104508599A CN 104508599 A CN104508599 A CN 104508599A CN 201380037174 A CN201380037174 A CN 201380037174A CN 104508599 A CN104508599 A CN 104508599A
Authority
CN
China
Prior art keywords
key element
display
picture
image
personage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380037174.9A
Other languages
English (en)
Inventor
諌山太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JUICE DESIGN Co Ltd
Original Assignee
JUICE DESIGN Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JUICE DESIGN Co Ltd filed Critical JUICE DESIGN Co Ltd
Publication of CN104508599A publication Critical patent/CN104508599A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明的特征在于：使显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，且使经由检测部所拍摄的人物的像、或与所述人物的行动连动的显示体显示在所述画面上，使所述要素或所述要素图像以从所显示的所述像或所述显示体中排除的方式移动，且基于已移动的所述要素或所述要素图像的移动度或移动位置，来决定所述要素的选择。

Description

要素选择装置、要素选择方法、及程序
技术领域
本发明涉及一种要素选择装置、要素选择方法及程序(program)。
背景技术
以前，已开发出一种当在非接触状态下操作机器时，不使用遥控器(remote controller)而是利用手或指头来选择显示画面上的要素的方法。
例如，专利文献1所述的输入装置中，为了不接触机器地利用手或指头的动作来输入信息，开发出如下技术：拍摄输入者指向显示器(display)的手或指头，基于所拍摄的像，算出手或指头指向显示器的方向，利用光标(cursor)使与所算出的方向对应的显示器上的位置显示在显示器上，当检测到手或指头的点击(click)动作时，选择光标所在部分的信息作为输入者所指向的信息。
现有技术文献
专利文献
专利文献1：日本专利特开平5-324181号公报
发明内容
[发明所要解决的问题]
然而，现有的输入装置中，存在如下等多种问题，即，为了计算手或指头所指向的方向或判断点击动作，需要复杂的操作，并且，当利用者进行定位后、为了决定而进行点击动作等决定操作时，因位置偏移而容易产生误操作。
本发明是鉴于所述情况而完成，其目的在于提供一种当以非接触状态选择显示中的要素时能提高操作性的要素选择装置、要素选择方法、及程序。
[解决问题的技术手段]
为了达成所述目的，本发明的要素选择装置的特征在于包括：识别手或指头的行动的单元；显示与所识别出的手或指头的行动连动的第1图像的单元；显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，以使第2图像脱离第1图像的方式进行移动控制的单元；及当第1图像与第2图像的相互作用关系处于规定的状态时，对与该第2图像对应的可选择的要素的选择进行决定的单元。
而且，本发明的要素选择装置至少包括显示部、检测部及控制部；该要素选择装置的特征在于所述控制部包括：像显示控制单元，使经由所述检测部所拍摄到的人物的像、或与该人物的行动连动的显示体显示在所述画面上；要素显示控制单元，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，使该要素或该要素图像以从由所述像显示控制单元显示的所述像或所述显示体中排除的方式移动；及选择判断单元，基于利用所述要素显示控制单元而移动的所述要素或所述要素图像的移动度或移动位置，判断该要素的选择。
而且，本发明的要素选择装置的特征在于：所述要素选择装置中的所述要素显示控制单元优先进行使所述要素或所述要素图案以从所述像或所述显示体中排除的方式移动的控制，且使所述要素或所述要素图像向规定的位置或方向移动。
而且，本发明的要素选择装置的特征在于：所述要素选择装置中的所述像显示控制单元使经由所述检测部所拍摄到的人物的手臂、手或是指头的像、或与该人物的手臂、手或是指头的行动连动的显示体显示在画面上。
而且，本发明的要素选择装置的特征在于：所述要素选择装置中的所述要素表示控制单元使所述要素或所述要素图像以排除的方式从所述像或所述显示体的轮廓或中心线移动。
而且，本发明的要素选择装置的特征在于：所述要素选择装置中的所述移动度是移动的距离、或离开原来位置后经过的时间。
而且，本发明的要素选择方法的特征在于包括如下步骤：识别手或指头的行动；显示与所识别出的手或指头的行动连动的第1图像；显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，而以第2图像逃脱第1图像的方式进行移动控制；及当第1图像与第2图像的相互作用关系处于规定的状态时，对与该第2图像对应的可选择的要素的选择进行决定。
而且，本发明的要素选择方法是在至少包括显示部、检测部及控制部的计算机中执行，该要素选择方法的特征在于包括如下在所述控制部中执行的步骤：像显示控制步骤，使经由所述检测部所拍摄到的、人物的像、或与该人物的行动连动的显示体显示在所述画面上；要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，且使该要素或该要素图像以从所述像显示控制步骤中显示的所述像或所述显示体中排除的方式移动；及选择判断步骤，基于所述要素显示控制步骤中移动的所述要素或所述要素图像的移动度或移动位置，判断该要素的选择。
而且，本发明的程序的特征在于在计算机中执行如下步骤：识别手或指头的行动；显示与所识别出的手或指头的行动连动的第1图像；显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，以第2图像逃脱第1图像的方式进行移动控制；及当第1图像与第2图像的相互作用关系处于规定的状态时，对与该第2图像对应的可选择的要素的选择进行决定。
而且，本发明的程序用于在至少包括显示部、检测部及控制部的计算机中执行，该程序的特征在于执行如下在所述控制部中执行的步骤：像显示控制步骤，使经由所述检测部所拍摄到的、人物的像、或与该人物的行动连动的显示体显示在所述画面上；要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，使该要素或该要素图像以从所述像显示控制步骤中显示的所述像或所述显示体中排除的方式移动；及选择判断步骤，基于所述要素显示控制步骤中移动的所述要素或所述要素图像的移动度或移动位置，判断该要素的选择。
而且，本发明的计算机可读取的记录媒体的特征在于：将所述的程序可读取地记录在计算机中。
[发明的效果]
根据该发明，能提供一种当以非接触状态选择显示中的要素时能提高操作性的要素选择装置、要素选择方法、及程序、以及记录媒体。
附图说明
图1为表示本实施方式应用的要素选择装置100的构成的一例的框(block)图。
图2为表示本实施方式的要素选择装置100的显示信息处理的一例的流程图(flowchart)。
图3为表示包含利用要素显示控制部102a的控制而显示的显示画面在内的显示装置114的外观的一例的图。
图4为使图3的初始画面中重叠显示利用者的像而表示显示画面的一例的图。
图5为表示利用显示位置变更部102b使显示位置移动后的指针(pointer)P2的一例的显示画面例。
图6为表示显示有显示要素E1、显示要素E2、及模仿虎克船长(Captain Hook)的手的显示体的显示画面的一例的图。
图7为表示从图6的显示画面转变而来的画面例的图。
具体实施方式
以下，基于图式，对于本发明的本实施方式中的要素选择装置、要素选择方法、及程序、以及记录媒体的实施方式进行详细说明。另外，本发明并不受该实施方式的限制。
[本实施方式的概要]
以下，对于本发明的本实施方式的概要进行说明，之后，对于本实施方式的构成及处理等进行详细说明。另外，以下说明的本实施方式的构成及处理并不受本概要说明的限制。
目前，智能电视机(smart television)等的相关开发正在发展。例如，在专利文献1所述的输入装置中，揭示出如下技术：不使用遥控器，而是拍摄输入者的指向显示器的手或指头，根据手或指头指向显示器的方向，利用光标使显示器上显示出对应的显示器上的位置，当检测到手或指头的点击动作时，选择光标所在部分的信息作为输入者所指向的信息。
此处，当不使用遥控器、而如以前(专利文献1等)般选择画面上的要素时，与使用鼠标(mouse)或触摸板(touch pad)的方法相比，在以下方面，性质上存在决定性的不同。
即，以前，当使用画面上所呈现的图形用户界面(Graphical UserInterface，GUI)且利用鼠标或触摸板进行操作时，(1)首先，利用者进行定位，即，使光标对准画面上的要素；(2)接着，确认位置后进行点击等决定操作，选择画面上的要素。
当利用鼠标或触摸板等进行操作时，动摩擦力或静摩擦力起作用，因此，从(1)的进行定位直至(2)的进行决定操作为止，产生位置偏移而引起误操作的情况少。
若将该(1)及(2)的操作方法直接运用在无遥控器的电视机(remoteless television)等中，则如专利文献1所述，(1)利用者须进行定位操作，即，利用悬在空中的指头或手使画面上的光标活动；(2)须以规定的动作(action)使指头或手活动，借此进行决定操作。
就悬在空中的指头或手而言，摩擦不会起作用，因此，认为存在以下问题：在(1)的定位操作到(2)的决定操作期间指头或手是悬浮的，位置会偏移，因此容易引起误操作，尤其是，当进行用于(2)的决定操作的动作时，位置产生偏移的可能性高。
因此，本申请的发明者鉴于所述情况进行悉心研究，结果完成了本发明。本发明的实施方式具有如下特征。
即，本实施方式中，使显示部的画面上显示可选择的要素、或与所述要素对应的要素图像。关于要素图像，作为一例，可显示为代表可选择的要素的作为代表点的点(point)等。
而且，本实施方式中，使经由检测部所拍摄的人物的像、或与该人物的行动连动的显示体显示在所述画面上，且以从所显示的所述像或所述显示体中排除所述要素或所述要素图像的方式，使该要素或该要素图像移动。
而且，本实施方式中，当所述要素或所述要素图像处于规定的状态(例如，规定的移动状态(规定的移动度，规定的移动位置等)时，决定该要素的选择。此处，本实施方式中，并不限于基于移动状态来判断要素的选择，也可基于动作来判断要素的选择。作为一例，本实施方式中，也可在如张开的手并拢时等般进行规定动作时，判断为处于规定的状态，决定要素的选择。
借此，本实施方式中能不进行现有的(1)的利用鼠标指针或光标等的定位，便能进行与(1)、(2)同样的要素的选择与决定。即，利用者操纵画面上放映的自己的像或显示体，对于图像上的要素或要素图像，在感觉上进行抓/握/拽/压/捏/撞击等操作，借此，能与(1)同样地确认已选择要素。而且，利用者确认后，在感觉上进行抓着拉伸/握持并保持一定时间/拽着下拉/提拉/捏着拉拽/撞击而飞散等操作，借此，能控制状态(移动度或移动位置等)，且可与(2)同样地决定要素的选择。此处，当不论移动状态如何均利用动作来决定要素的选择时，利用者在确认后，在感觉上，进行攥碎/握持着攥着/拽着之后给予加速度而摆手/提拉且投掷/捏着之后使两根指头靠拢/撞击且弹拨等动作操作，借此，能控制状态，且可与(2)同样地决定要素的选择。
因此，能抑制因如以前般利用悬浮的手或指头等的行动来进行操作而产生的定位的不准确性，有助于操作性的大幅提升。
以上，完成本发明的本实施方式的概要的说明。
[要素选择装置100的构成]
首先，对于本实施方式的计算机的一例即要素选择装置100的构成进行说明。图1为表示应用本实施方式的要素选择装置100的构成的一例的框图，概念性地表示该构成中仅与本实施方式相关的部分。
图1中，要素选择装置100中概略性地包括如下部件而构成，即，对要素选择装置100的整体进行总括性控制的中央处理器(CentralProcessing Unit，CPU)等控制部102、连接于通信线路等所连接的路由器(router)等通信装置(未图示)上的通信控制界面部104、连接于拍摄装置112或显示装置114等的输入输出控制界面部108、及储存各种数据库(database)或表格(table)等存储部106，这些各部之间经由任意的通信路径而可通信地连接。
存储部106内储存的各种数据库或表格(要素文件(file)106a等)为硬盘(hard disk)装置等贮存(storage)单元，其储存各种处理中使用的各种的程序、表格、文件、数据库或网页(webpage)等。
这些存储部106的各构成要素中的要素文件106a是存储可作为显示画面的显示要素而显示的数据的要素数据存储单元。例如，要素文件106a也可存储图标(icon)或文字、符号、图形、立体对象(object)等成为对象的数据。而且，当进行点击等选择操作时，要素文件106a可与程序等相关联，以进行规定的动作(显示链接(link)目标、菜单(menu)显示、电源开启/关闭(on/off)、频道(channel)切换、静音(mute)、录像预约等)。另外，成为这些显示要素的数据的数据格式并不限于图像数据、或文字数据等，而可为任意的数据格式。而且，利用后述的控制部102的处理进行移动(包含旋转或放大、缩小)之后，反映在要素文件106a中。例如，当要素文件106a的对象A(或其要素图像)利用显示控制而移动到规定的移动状态时，在控制部102的控制下，要素文件106a使对象A的相关数据从0(例如功能关闭模式(mode))变更为1(例如功能开启模式)而进行保存。作为一例，要素文件106a可存储用于显示超文本标记语言(Hyper Text Mark-up Language，html)等的网页的数据，该数据中的可选择的要素例如为网页中的链接显示部分。通常，在html语言的数据上，是插在开始标签(tab)与结束标签之间的文本(text)部分或图像部分等，该部分在显示画面上作为可选择(可点击)的区域而强调显示(例如加上下划线)。本实施方式的一例中，代替通常的GUI中可选择的区域，而是逐个地分配要素图像(点等)。例如，通常的GUI中可选择的区域为显示画面上的矩形、且为左下坐标(X1，Y1)～右上坐标(X2，Y2)的区域时，后述的要素显示控制部102a可将点的初始位置设定为该矩形区域的中心点((X1+X2)/2、(Y1+Y2)/2)，也可设定为该矩形区域的右上方的点(X2，Y2)。
而且，图1中，输入输出控制界面部108对拍摄装置112或显示装置114进行控制。例如，显示装置114为液晶面板(panel)或有机电致发光(Electro-Luminescence，EL)面板等显示单元。此处，要素选择装置100可包括未图示的扬声器(speaker)等音响输出单元，输入输出控制界面部108可对该音响输出单元进行控制。以下的实施方式中，有时将显示装置114作为监视器(monitor)(包括家庭用电视机等)进行说明，但本发明并不限于此。
而且，拍摄装置112为相机(camera)等拍摄单元。例如，拍摄装置112也可为互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器(sensor)或电荷耦合元件(Charge-coupledDevice，CCD)传感器等检测单元。另外，拍摄装置112可为检测规定的频率的光(红外线)的光检测单元。若使用红外线相机作为拍摄装置112，则容易判断图像中人物的区域(发热区域)，也可根据人物的温度分布等而仅判断例如手的区域。除此之外，作为拍摄装置112，可使用超声波或电磁波式的距离测量器(纵深的检测单元等)、或近接传感器等，例如，也可将纵深的检测单元与拍摄单元组合，而仅判断位于规定的距离(纵深)的物体的图像(例如人物的像)。而且，作为拍摄装置112，可使用基尼科特(kinect，商标)等公知的传感器、区域判断技术或控制单元。而且，拍摄装置112并不限于读取人物的生体信息(皮肤的颜色、或热、红外线等)，作为代替拍摄单元而检测人物的行动的位置检测单元，可检测利用者手中拿着的、或装设在手臂等上的光源等的位置。
并不限于拍摄装置112，而可利用任意的检测单元来识别人物的行动、尤其是人物的手的行动、或人物的指头的行动。这时，也可使用公知的非接触操作技术、或公知的图像识别技术来检测手的行动。例如，也可识别举起的手的上下左右的行动或手势(gesture)。手势可根据物理空间内的利用者的位置及行动获得，且可包括使指头活动、或静止姿势等动态或静态的利用者的任意的行动。根据一实施方式例，拍摄装置112的相机等捕获设备(capture device)能获得用户图像数据，该用户图像数据包含表示利用者的手势(1个或多个)的数据。为了在利用者的三维物理空间中，对利用者做出的手势进行识别及分析，解释利用者的手势，且控制系统(system)或应用程序(application)空间的态样，可使用计算机环境。该计算机环境能通过将利用者的手势(1个或多个)映射(mapping)在画面上的虚拟形象(avatar)等上，而显示用户反馈(feedback)(参照WO2011/084245)。作为一例，作为识别手或指头的行动的公知的单元，可使用厉动控制器(leap motion controller，厉动(LEAP MOTION)公司制造)，作为可远距离操作的单元，可使用Kinectfor Windows(注册商标)(微软(Microsoft)公司制造)与Windows(注册商标)OS的组合。另外，根据微软公司制造的Xbox One的基尼科特(Kinect)传感器，可获得手或指头的构架(skeleton)信息，而且，只要使用厉动(Leap Motion)传感器，则能跟踪每根指头的行动。这时，使用内设在各传感器中的控制单元而解析手或指头的行动、或使用所连接的计算机的控制单元来解析手或指头的行动，但这些控制单元既可认为是本实施方式的功能概念性的检测单元，又可认为是本实施方式的功能概念性的控制单元(例如选择判断部102d)，可为其中的任一者或是两者。
此处，对于检测单元、与显示单元的位置关系或第1图像(人物的手或指头的像等)的显示的关系进行说明。为了进行说明，将显示画面的平面的横轴与纵轴称为X轴Y轴，将相对于显示画面的纵深方向称为Z轴。通常，利用者位于在Z轴方向上远离显示画面的位置。检测单元可设置在显示画面侧且朝向人物的方向，又可设置在人物的背后且朝向显示画面侧，而且，又可设置在人物举起的手的下侧(地面侧)且朝向人物的手的方向(天花板侧)。如上文所述，检测单元并不限于是读取2维的人物的像的拍摄单元，也可检测3维的人物。即，检测单元可读取人物的3维形状，后述的像显示控制部102c可将由检测单元所读取的3维形状转换为2维图像后作为第1图像显示在显示装置114中。这时，像显示控制部102c虽可转换为XY平面的2维图像，但严格地说，也可不在该XY平面截出。例如，当从显示画面侧沿Z轴方向看人物的指头的像时，即便当看上去两根
指头(拇指与食指等)靠拢时，有时也并不会3维地靠拢。这样，Z轴方向上的视觉表现(影的表现)与对于利用者而言的指头的感觉有时会产生偏差，因此，严格地说，像显示控制部102c并不限于投影在XY平面。例如，像显示控制部102c也可在两根指头的相离方向将人物的手的三维形状切断而得到2维图像。或者，也可为，像显示控制部102c是投影在XY平面，但选择判断部102d根据由检测单元读取的三维形状来判断两根指头是靠拢还是远离，从而以与利用者的感觉一致的方式进行控制。
而且，图1中，控制部102具有操作系统(Operating System，OS)等控制程序、指定各种处理顺序等的程序、及用于储存所需数据的内部存储器(memory)，且利用这些程序等而进行用于执行多种处理的信息处理。控制部102中，在功能概念上，包括要素显示控制部102a、显示位置变更部102b、像显示控制部102c及选择判断部102d而构成。
其中，要素显示控制部102a是根据要素文件102a中存储的要素数据，以使要素作为显示要素显示在显示装置114中的方式(或者，以显示与该要素对应的要素图像(以下，有时称为“点”)的方式)进行控制的要素显示控制单元。即，要素显示控制部102a显示第2图像(可选择的要素或要素图像)。另外，要素显示控制部102a最初将点设为非显示，而在规定的情况下(显示画面上，像或显示体重叠在显示要素上的情况等)将点设为显示。此处，如图1所示，本实施方式中的要素显示控制部102a包括显示位置变更部102b。另外，要素数据并不限于通过控制要素文件106a而读入，也可通过经由网络(network)300从外部系统200的存储部(要素数据库等)下载(download)而取入，而且，也可通过经由未图示的接收装置接收节目电波等而得到。另外，与要素对应的点的初始显示位置可为任意的位置，但也可使红点等作为点而显示在以能知晓与要素的对应关系的方式所显示的要素的中心(作为要素的图形的中心)或要素的右上方(作为要素的字符串的右上角)等。
而且，显示位置变更部102b是使第2图像(可选择的显示要素或要素图像)的显示位置以从由像显示控制部102c所显示的第1图像(像或显示体)中排除的方式变更的移动控制单元。例如，在像显示控制部102c的控制下，若第1图像(像或显示体)靠近，而使第2图像(显示要素或点等)与轮廓彼此接触，则只要第1图像不改变方向且离远，那么在显示位置变更部102b的控制下，第2图像也会随着与第1图像的轮廓相接而移动。作为本实施方式的一例的显示位置变更部102b是以如下方式进行控制：使由像显示控制部102c所显示的显示画面上的像或显示体排他性地从显示要素或点的位置移动。另外，显示位置变更部102b可限制显示要素或点移动的方向或范围等。而且，显示位置变更部102b可优先进行以从像或显示体中排除显示要素或点的方式进行移动的控制，且使显示要素或点向规定的位置或方向移动。即，显示位置变更部102b中，作为优先条件，可以从像或显示体中排除显示要素或点的方式进行控制；作为劣后条件，可使显示要素或点向规定的位置或方向移动。例如，就显示位置变更部102b而言，当显示要素(或点)未接触像(或显示体)时，可使该显示要素(或点)以返回到移动前的原来的显示位置的方式移动。作为其他例，为了给利用者带
来在显示要素(或点)上重力起作用般的感觉，当显示要素(或点)并不接近像(或显示体)时，显示位置变更部102b可使该显示要素(或点)向画面下方移动。此处，以下，为了便于说明，有时代表显示要素及点而对于显示要素或点进行说明，且代表像及显示体而对于像或显示体进行说明，但并不限于显示要素及点中的一方，而且，也不限于像及显示体中的一方。例如，也可将记载为显示要素的部位改读为点而应用，将记载为像的部位改读为显示体而应用。相反，也可将记载为点的部位改读为显示要素而应用，将记载为显示体的部位改读为像而应用。
此处，作为显示要素从像排他性地运动的态样，有多种形态。例如，显示位置变更部102b使显示要素的代表点(中心点、重心等)以从像的轮廓中排除的方式移动。而且，显示位置变更部102b也可使显示要素的轮廓以从像的轮廓中排除的方式移动。而且，显示要素变更部102b还可使显示要素的轮廓以从像的代表线(中心线等)或像的代表点(重心、中心点等)中排除的方式移动。并不限于在显示要素与像接触状态下控制排除运动，也可在如磁石的S极彼此排斥般的非接触状态下，显示要素变更部102b使显示要素以远离像的方式移动。
而且，作为显示要素从像排他性地运动的例外情况，也可使显示要素以横贯像的方式移动。例如，显示位置变更部102b也可使显示要素的代表点在不在像的轮廓的拐点附近的情况下以横贯且穿过像的方式移动。更具体而言，在显示要素与原来位置之间，进行如张力起作用般的移动控制的情况下，当显示要素未进入指头与指头之间或手指丫时，若达到规定以上的张力，则也可以横贯手的像的方式使显示要素移动，且返回至原来位置。而且，就显示位置变更部102b而言，在显示要素的代表点陷入像的轮廓线的局部最小值(local minimum)时，除位于曲线的切点或拐点的情况之外，也可以可横贯该像(手的区域等)的方式进行控制。
而且，像显示控制部102c是将经由拍摄装置112所拍摄的人物的像(或与该人物的行动连动的显示体)作为第1图像而显示在显示装置114的画面上的像显示控制单元。此处，像显示控制部102c也可如由利用者看上去画面为镜面般，使镜像显示在脸上。例如，像显示控制部102c也可使经由从显示装置114的显示画面朝向人物的拍摄装置112所拍摄的人物的像左右反转后显示在显示画面上。另外，当拍摄装置112从人物的背后朝向显示装置114的显示画面而设置时，无须使像左右反转。这样，像显示控制部102c如镜面般显示像，借此，利用者(人物)容易以改变镜面中映出的自己的像的位置的方式，操作自己的像。即，利用者能以使自己的影画活动的方式，控制显示画面上的像(或与人物的行动连动的显示体)，从而有助于操作性的提升。另外，像显示控制部102c既可仅显示人物的像的轮廓线，又可仅显示出显示体的轮廓线。即，不填满人物的像的区域，因此，使轮廓的内侧成为透明，从而也能显示内侧的显示要素，从而具有视认性优良的效果。这样，显示装置114中显示的像或显示体也可以映在镜面上的方式显示。
此处，像显示控制部102c也可将经由拍摄装置112所拍摄的人物的手臂、手或是指头的像显示在显示装置112的显示画面。此处，像显示控制部102c也可根据红外线区域或皮肤的颜色等来对所拍摄的人物的像中的手臂或手或指头等的区域进行辨别，从而仅截出该手臂或手或指头等的区域进行显示。除此之外，
像显示控制部102c也可使用公知的区域判断方法来判断手臂或手或指头等的区域。
而且，像显示控制部102c也可使与人物的手臂、手或是指头的行动连动的显示体(工具等的画或多边形(polygon)等)显示在画面上。此处，像显示控制部102c可与如上文所述般所判断的手臂或手或指头等的区域位置对应地显示出显示体，也可使用其他方法检测手臂或手或指头的位置、且与该位置对应地显示出显示体。作为后者的示例，像显示控制部102c也可经由拍摄装置114而检测到装设在手臂上的光源的位置、且与该检测到的位置连动地显示出显示体。而且，像显示控制部102c可检测到利用者的手所持的光源的位置，且与该检测到的位置连动地显示出显示体。此处，像显示控制部102c也可由利用者操纵未图示的输入部或手的像来选择显示体的类型(模仿作为显示体而显示的工具(tool)、即剪刀、锥子、订书机(stapler)或锤子(hammer)等工具的画或多边形等的类型)。借此，利用者在难以操纵自己的像进行操作时，也能选择容易操作的工具而用于要素选择。
而且，选择判断部102d是基于已由要素显示控制部102a的显示位置变更部102b而移动的第2图像(要素或点)的状态(移动度或移动位置等移动状态或动作等)而判断该要素的选择的选择判断单元。例如，选择判断部102d也可在显示要素(或点)到达规定的位置、或停止在规定的位置时，判断该显示要素的选择。而且，作为一例，移动度也可为已移动的距离、或离开原来位置后经过的时间。例如，选择判断部102d也可在显示要素(或点)已移动规定的距离时，判断该要素的选择。而且，选择判断部102d在显示要素(或点)从原来的显示位置移动而经过规定的时间时，判断该要素的选择。更具体而言，当由显示位置变更部102b以作为劣后条件而返回至原来位置的方式对显示要素(或点)进行移动控制时，选择判断部102d也可在显示要素(或点)从原来的显示位置移动而经过规定的时间的情况下，判断该要素的选择。另外，当点为移动对象时，选择判断部102d判断与该点对应的要素的选择。
作为其他例，关于与第1图像接触而移动的第2图像(要素或点)，选择判断部102d也可在第1图像已进行规定的动作(例如，使张开的手并拢、或使非接触状态下的2根指头接触等)时，判断该要素的选择。例如，选择判断部102d既可根据由检测单元所读取的人物的手的3维形状的变化而判断使手掌张开还是并拢，又可判断拇指与食指这两根指头是远离还是靠拢。而且，选择判断部102d亦可在判断为规定的动作时，决定选择与和第1图像相互作用的第2图像对应的可选择的要素。
此处，所谓选择的决定，例如，相当于鼠标操作中的点击、键盘(keyboard)操作中的回车(ENTER)键(key)的按下、触摸面板(touchpanel)操作中的对象的触摸操作等。作为一例，当与第2图像对应的可选择的要素为链接目标时，选择判断部102d若决定要素的选择，则以使显示转变到该链接目标的方式进行控制。除此之外，选择判断部102d也可使用为了识别从所述基尼科特(Kinect)传感器或厉动(Leap Motion)传感器中读取的人物的行动而使用的公知的动作识别单元、公知的动作(motion)识别功能等来判断利用者的动作。
而且，图1中，通信控制界面部104是进行要素选择装置100与网络300(或路由器等通信装置)之间的通信控制、或要素选择装
置100与未图示的接收装置之间的通信控制的装置。即，通信控制界面部104具有经由通信线路(无论是有线、无线)而与其他终端或基站进行数据通信的功能。而且，此处，接收装置是从广播电视台等接收电波等的接收单元，例如天线(antenna)等。
即，要素选择装置100可经由网络300而以可通信的方式与提供和图像数据相关的外部数据库或本发明的程序等外部程序等的外部系统200连接而构成，而且，要素选择装置100也可经由接收装置而以可接收的方式与发送图像数据等的广播电视台等连接而构成。而且，该要素选择装置100还可经由路由器等通信装置及专用线等有线或无线的通信线路而以可通信的方式连接于网络300。
此处，图1中，网络300具有使要素选择装置100与外部系统200相互连接的功能，例如为互联网(Internet)等。
而且，图1中，外部系统200具有如下功能：经由网络300而与要素选择装置100相互连接，且向利用者提供执行与图像数据相关的外部数据库或程序等外部程序等的网站(Web site)。
此处，外部系统200可构成为网络(WEB)服务器(server)或动态服务器页面(Active Server Page，ASP)服务器等，其硬件(hardware)构成一般可包括市售的工作站(Workstation)、个人计算机(personalcomputer)等信息处理装置及其附属装置。而且，外部系统200的各功能可由外部系统200的硬件构成中的CPU、磁盘装置、存储器装置、输入装置、输出装置、通信控制装置等及控制所述部件的程序等实现。
[显示信息处理]
接着，以下参照图2，对于以所述方式构成的本实施方式的要素选择装置100的显示信息处理的一例进行详细说明。图2为表示本实施方式的要素选择装置100的显示信息处理的一例的流程图。
另外，当开始以下处理时，前提为：显示装置114中，利用要素显示控制部102a的控制，显示某些显示要素。此处，图3为表示包含利用要素显示控制部102a的控制而显示的显示画面在内的显示装置114的外观的一例的图。如图3所示，要素选择装置100包括具有以矩形所示的区域的显示画面的显示装置114。而且，如图3所示，在该例中，要素显示控制部102a在显示画面中，与链接显示可选择的要素对应地使黑圆点显示在可链接的字符串的左上方。即，点P1是与URL1的链接(www.aaa.bbb.ccc/)对应，点P2是与URL2的链接(www.ddd.eee.fff/)对应，点P3是与URL3的链接(www.ggg.hhh.iii/)对应。而且，与一般的网站同样，通过选择这些要素，以显示链接目标的方式执行程序。另外，也可不显示点，而使显示要素(链接字符串或图标等)自身可移动地进行控制，但本处理的说明中，是对于进行点的位置控制的示例进行说明。
如图2所示，首先，像显示控制部102c使经由拍摄装置112而拍摄的人物的像显示在显示装置114的画面上(步骤SA-1)。此处，像显示控制部102c也可以由利用者看上去自己的像映射在镜面上的方式，使像显示在显示装置114的显示
画面。此处，图4为使图3的初始画面中重叠显示利用者的像而示出显示画面的一例的图。
如图4所示，像显示控制部102c可仅使经由拍摄装置112所拍摄的人物的像中的手臂、手或是指头的像显示在显示装置112的显示画面。例如，像显示控制部102c根据红外线区域或皮肤的颜色等公知的区域判断方法，来辨别所拍摄的人物的像中的手臂或手或指头等区域，且仅截出该手臂或手或指头等区域而进行显示。而且，像显示控制部102c可仅显示人物的像的轮廓线，而使像的轮廓线的内侧透明化。借此，不填满人物的像的区域而显示轮廓内侧的显示要素，因此，有助于操作性的提升及视认性的提升。
再次返回图2，显示位置变更部102b使与可选择的要素对应的点的显示位置以从由像显示控制部102c显示的像中排除的方式变更(步骤SA-2)。图5为表示由显示位置变更部102b而使显示位置移动后所得的点P2的一例的显示画面例。图中，虚线圆点P2表示点P2的原来的显示位置，虚线的直线表示原来的显示位置与移动后的显示位置之间的距离d。另外，虚线也可不显示在显示画面中。
如图5所示，也可如点从像排他性地运动般，显示位置变更部102b使点以从像的轮廓中排除的方式移动。另外，图示的示例是以使点的轮廓从像的轮廓中排除的方式进行移动控制的示例，但并不限于此，显示要素变更部102b也可以使点的轮廓从像的代表线(中心线等)中排除的方式进行移动控制，还可以使显示要素以非接触状态远离像的方式移动。
另外，显示位置变更部102b也可优先进行使显示要素或点以从像或显示体中排除的方式移动的控制，且使显示要素或点向规定的位置或方向移动。例如，当点不接触像时，显示位置变更部102b也可使该点以返回至移动前的原来的显示位置的方式移动。
再次返回图2，选择判断部102d基于由要素显示控制部102a的显示位置变更部102b而移动后的点的移动度，来判断与该点对应的要素的选择(步骤SA-3)。例如，选择判断部102d可在达到规定的移动度时(成为规定阈值以上的移动度时等)判断与该点P2对应的要素的选择(URL2的链接显示选择)，关于所述达到规定的移动度的情况是如点P2达到规定的位置、相对于原来位置的移动距离d为规定阈值以上、从原来位置开始移动后经过一定时间等。
当选择判断部102d判断为并非规定的移动度时(步骤SA-3，否(No))，要素选择装置100以使处理返回至步骤SA-1且反复进行所述处理的方式进行控制。即，利用像显示控制部102c更新像的显示(步骤SA-1)、且接着利用显示位置变更部102b对显示位置进行移动控制(步骤SA-2)，由选择判断部102d再次判断移动度(步骤SA-3)。
选择判断部102d判断为成为规定的移动度时(步骤SA-3，是(Yes))，决定与该点对应的要素的选择(步骤SA-4)，要素选择装置100的控制部102执行选择处理。例如，图5的示例中，当点P2的原来位置与已移动的显示位置的距离d为规定的阈值以上时，选择判断部10
2d可决定与该点P2对应的要素(URL2的链接)的选择，要素选择装置100可显示URL2的链接。
以上为本实施方式的要素选择装置100的处理的一例。另外，所述示例中，是对使与要素对应的点从像排他性地进行移动控制的示例进行说明，但并不限于此，例如，也可为使显示要素从显示体排他性地进行移动控制。图6为表示显示有显示要素E1、显示要素E2、及模仿虎克船长的手的显示体的显示画面的一例的图。
如图6所示，像显示控制部102c也可以与经由拍摄装置112所检测到的人物的手臂的行动连动的方式，使显示体显示在显示装置112的显示画面上。而且，要素显示控制部102a的显示位置变更部102b也可使显示要素E1、显示要素E2以从显示体的轮廓中排除的方式移动。另外，该示例中，显示位置变更部102b限定了显示要素或点移动的方向或范围等。即，显示位置变更部102b是以如下方式进行控制：使显示要素E1只能向图的上方移动规定的范围(槽显示部分)，且使显示要素E2只能向图的下方移动规定的范围(槽显示部分)。图7为表示从图6的显示画面转变而来的画面例的图。
如图7所示，也可为，像显示控制部102c使显示体与利用者活动的手臂的行动连动地移动，显示位置变更部102b与此相应地以使显示要素E5从显示体的轮廓中排除的方式进行移动控制。而且，图7的示例中，当显示要素E2充分地被向下方下压规定范围时，选择判断部102d也可判断该显示要素E2的选择。该示例中，若判断为显示要素E2的选择，则要素选择装置100的控制部102使电视机的频道向+方向调转一个(即，使频道编号增加一个后的频道编号的节目)而显示。例如，在显示频道1时，变成显示频道2。
以上，完成了本实施方式的要素选择装置100的处理的一例的说明。
而且，所述示例中，是以预先显示对应的显示要素为前提进行说明，但并不限于此，即便不预先显示出显示要素，也可随着像的显示而显示出显示要素。例如，电视机画面中，也可伴随像的显示而显示频道选择画面，从而呈现出用于选择各频道的显示要素，利用手的像对该显示要素进行拖拽(drag)直至到达任意地点为止，由此能够进行频道选择。
如以上所述，根据本实施方式，并非如以前般检测手、从而利用手的前端检测或C/O检测(《映情学技报》VIS2001-103，Vol.25，No.85，PP.47-52(2001))来将手作为指向(pointing)设备(位置点输入单元)，而是提供以利用手自身便可操作的方式使显示要素指针化的界面。现有技术中，也有将手的指尖作为光标的坐标位置而当使拇指弯曲时与点击对应的技术，但此时，计算坐标位置须花费时间，或当使拇指弯曲时指尖的位置会偏移，因此，本实施方式能解决现有的问题。而且，本实施方式中，将操作点设为1点，也可并非为1点而是2点。借此，能利用左右手来改变棒的方向或立体的方向，或能进行多点触摸(multi-touch)操作中的放大缩小等操作。
[其他实施方式]
另外，以上已对本发明的实施方式进行了说明，但本发明除了所述的实施方
式以外，还可在权利要求书中记载的技术思想范围内、以多种不同的实施方式实施。
例如，虽是以在要素选择装置100为单机(standalone)的形态下进行处理的情况作为一例进行说明，但要素选择装置100也可根据来自客户(client)终端(与要素选择装置100不同的框体)的请求而进行处理，且将其处理结果返还至该客户终端。
而且，实施方式中所说明的各处理中、作为自动进行的处理而说明的全部或一部分处理也可手动进行，或者，作为手动进行的处理而说明的全部或一部分处理也可以公知的方法自动地进行。
除此之外，关于所述文献中或图式中所示的包含处理顺序、控制顺序、具体的名称、各处理的注册数据或检索条件等参数(parameter)在内的信息、画面例、数据库构成，除了有特殊说明之外，均能任意变更。
而且，关于要素选择装置100，图示的各构成要素为功能概念性要素，并非一定要在物理上如图示般构成。
例如，关于要素选择装置100的各装置所具备的处理功能、尤其是控制部102中进行的各处理功能，也可使其全部或任意的一部分利用CPU(Central Processing Unit)及由该CPU解释执行的程序而实现，而且，也可作为利用布线逻辑(wired logic)的硬件而实现。另外，程序包含后述的用于使计算机执行本发明中的方法的已程序化的命令、且记录在非临时的且计算机可读取的记录媒体中，且根据需要而机械地由100读取。即，只读存储器(Read Only Memory，ROM)或硬盘驱动器(Hard Disk Drive，HDD)等存储部106等中记录有计算机程序，该计算机程序是用于与操作系统(Operating System，OS)协动地向CPU给出命令而进行各种处理。该计算机程序可通过装载在随机存取存储器(Random-Access Memory，RAM)中而执行，且与CPU协动地构成控制部。
而且，该计算机程序可存储在经由任意的300而与100连接的应用程序服务器中，也能根据需要而下载其全部或一部分。
而且，也能使本发明的程序储存在计算机可读取的记录媒体中，而且，还能构成为程序产品。此处，该“记录媒体”包含存储卡、通用串行总线(Universal Serial Bus，USB)存储器、安全数字(Secure Digital，SD)卡、软盘(flexible disk)、磁光盘、ROM、可擦写可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁光盘(Magnet-Optical，MO)、数字通用光盘(Digital Versatile Disc，DVD)、及蓝光盘(Blu-ray Disc)(注册商标)等的任意的“可搬用的物理媒体”。
而且，所谓“程序”是指以任意语言或记述方法而记述的数据处理方法，且不管源代码(source code)或二进制代码(binary code)等格式。另外，“程序”并非一定要单一地构成，也包括作为多个模块(module)或库(library)而分散构成的程序、或与以OS(Operating System)为代表的单个程序协动地实现其功能的程序。另外，关于实施方式所示的各装置中用于读取记录媒体的具体的构成、读取顺序、或者读取后的安装(install)顺序等，可使用周知的构成或顺序。也可使程序作为记录在非临时且计算机可读取的记录媒体中的程序产品而构成本发明。
存储部106中储存的各种数据库等(要素文件106a)是RAM、ROM等存储器装置、硬盘等硬盘装置、软盘、及光盘等贮存单元，且该数据库中储存各种处理或网站提供中使用的各种的程序、表格、数据库、及网页用文件等。
而且，要素选择装置100也可构成为已知的个人计算机、工作站等的信息处理装置，而且，也可使任意的周边装置连接于该信息处理装置而构成。而且，要素选择装置100也可通过将实现本发明的方法的软件(software)(包括程序、数据等)安装在该信息处理装置中而实现。
另外，装置的分散、统合的具体形态并不限于图示的类型，可根据各种附加等或功能负载而使其全部或一部分以任意的单位而功能性地或物理性地分散、统合而构成。即，所述实施方式可任意地组合后实施，也可选择性地实施。
另外，以下，列举本发明的技术方案的其他例。
技术方案0
一种要素选择装置，至少包括显示部、拍摄部及控制部，所述要素选择装置的特征在于：
所述控制部包括：
要素显示控制单元，使所述显示部的画面上显示可选择的要素、或、与所述要素对应的要素图像；及
像显示控制单元，使经由所述拍摄部所拍摄的人物的像、或与该人物的行动连动的显示体显示在所述画面上；
所述要素显示控制单元包括移动控制单元，该移动控制单元使所述要素或所述要素图像以从由所述像显示控制单元显示的所述像或所述显示体中排除的方式移动，
所述控制部更包括基于利用所述移动控制单元而移动的所述要素或所述要素图像的移动度或移动位置、来决定该要素的选择的选择决定单元。
技术方案1
一种要素选择装置，至少包括显示单元、拍摄单元及控制部，所述要素选择装置的特征在于：
所述控制部包括：
手区域显示控制单元，利用拍摄单元拍摄利用者，且以能至少辨别利用者的手或指头的区域即用户区域的方式显示在所述显示单元；
显示要素移动单元，使可选择的显示要素以从由所述手区域显示控制单元所显示的所述用户区域中排除的方式移动且进行显示；及
选择判断单元，基于利用所述显示要素移动单元而移动的所述显示要素的移动度，判断该显示要素的选择。
技术方案2(显示要素的移动形态：返回原态)
如技术方案1所述的要素选择装置，其特征在于：
所述显示要素移动单元是以是否向所述显示要素施加使其返回到原来位置的力的方式控制该显示要素的移动。
技术方案3(显示要素的移动形态：重力)
如技术方案1或2所述的要素选择装置，其特征在于：
所述显示要素移动单元是以是否向所述显示要素施加朝向画面下方的重力的方式控制该显示要素的移动。
技术方案4(显示要素的移动形态：磁石)
如技术方案1至3中的任一项所述的显示选择装置，其特征在于：
所述显示要素移动单元是以是否向所述用户区域与所述显示要素之间施加引力的方式控制该显示要素的移动。
技术方案5(选择判断1：距离)
如技术方案1至4中的任一项所述的要素选择装置，其特征在于：
所谓所述移动度是指所述显示要素移动的距离，
所述选择判断单元是当所述显示要素移动了规定阈值以上的距离时，判断该显示要素的选择。
技术方案6(选择判断2：时间)
如技术方案1至5中的任一项所述的要素选择装置，其特征在于：
所谓所述移动度是指所述显示要素的移动持续的时间，
所述选择判断单元是当所述显示要素开始移动后经过规定阈值以上的时间时，判断该显示要素的选择。
技术方案7(排除：显示要素的代表点)
如技术方案1至6中的任一项所述的要素选择装置，其特征在于：
所述显示要素移动单元使该显示要素以所述显示要素的代表点从所述用户区域中排除的方式移动且进行显示。
技术方案8(显示要素的移动形态：张力)
如技术方案2所述的显示选择装置，其特征在于：
所述显示要素移动单元是以在所述显示要素的代表点的原来位置与移动后的位置之间、是否施加有与所述移动度相应的张力的方式，控制该显示要素的移动，
当所述显示要素的所述代表点陷入所述用户区域的轮廓线的局部最小值时，除位于曲线的切点的情况之外，可横贯该用户区域而进行控制。
技术方案9
一种程序，用于在至少包括显示单元、拍摄单元及控制部的信息处理装置中执行，所述程序的特征在于：
在所述控制部中执行如下步骤：
手区域显示控制步骤，利用拍摄单元拍摄利用者，且以能至少辨别利用者的用户区域的方式显示在所述显示单元；
显示要素移动步骤，使可选择的显示要素以从所述手区域显示控制步骤中显示的所述用户区域中排除的方式移动且进行显示；及
选择判断步骤，基于所述显示要素移动步骤中移动的所述显示要素的移动度，判断该显示要素的选择。
技术方案10
一种要素选择方法，是在至少包括显示部、拍摄部及控制部的计算机中执行，所述要素选择方法的特征在于：
包括如下在所述控制部中执行的步骤：
要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像；
像显示控制步骤，使经由所述拍摄部所拍摄的人物的像、或与该人物的行动连动的显示体显示在所述画面上；
移动控制步骤，使所述要素或所述要素图像以从所述像显示控制步骤中显示的所述像或所述显示体中排除的方式移动；及
选择决定步骤，基于所述移动控制步骤中移动的所述要素或所述要素图像的移动度或移动位置，决定该要素的选择。
技术方案11
一种程序，用于在至少包括显示部、拍摄部及控制部的计算机中执行，所述程序的特征在于：
在所述控制部中执行如下步骤：
要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像；
像显示控制步骤，使经由所述拍摄部所拍摄的人物的像、或与该人物的行动连动的显示体显示在所述画面上；
移动控制步骤，使所述要素或所述要素图像以从所述像显示控制步骤中显示的所述像或所述显示体中排除的方式移动；及
选择决定步骤，基于所述移动控制步骤中移动的所述要素或所述要素图像的移动度或移动位置，决定该要素的选择。
[产业上的可利用性]
如以上详细说明所述，根据本发明，能提供一种当以非接触状态选择显示中的要素时，能提高操作性的要素选择装置、要素选择方法、及程序、及记录媒体。
[符号的说明]
100：要素选择装置
102：控制部
102a：要素显示控制部
102b：显示位置变更部
102c：像显示控制部
102d：选择判断部
104：通信控制界面部
106：存储部
106a：要素文件
108：输入输出控制界面部
112：拍摄装置
114：显示装置
200：外部系统
300：网络

Claims (10)

1.一种要素选择装置，包括：
识别手或指头的行动的单元；
显示与所识别的手或指头的行动连动的第1图像的单元；
显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，以使第2图像脱离第1图像的方式进行移动控制的单元；及
当第1图像与第2图像的相互作用关系处于规定的状态时，对于与所述第2图像对应的可选择的要素的选择进行决定的单元。
2.一种要素选择装置，至少包括显示部、检测部及控制部，其特征在于：
所述控制部包括：
像显示控制单元，使经由所述检测部所检测到的、人物的像或与所述人物的行动连动的显示体显示在所述画面上；
要素显示控制单元，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，使所述要素或所述要素图像排他性地从由所述像显示控制单元所显示的所述像或所述显示体移动；及
选择判断单元，基于由所述要素显示控制单元而移动的所述要素或是所述要素图像的移动度或是移动位置、或所述人物的行动，判断所述要素的选择。
3.根据权利要求2所述的要素选择装置，其特征在于：
所述要素显示控制单元优先进行使所述要素或所述要素图像以从所述像或所述显示体排除的方式移动的控制，且使所述要素或所述要素图像向规定的位置或方向移动。
4.根据权利要求2或3所述的要素选择装置，其特征在于：
所述像显示控制单元使经由所述检测部所拍摄的人物的手臂、手或是指头的像、或与所述人物的手臂、手或是指头的行动连动的显示体显示在画面上。
5.根据权利要求2至4中的任一项所述的要素选择装置，其特征在于：
所述要素显示控制单元使所述要素或所述要素图像以排除的方式从所述像或所述显示体的、轮廓或中心线移动。
6.根据权利要求2至5中的任一项所述的要素选择装置，其特征在于：
所述移动度是移动的距离、或离开原来位置后经过的时间。
7.一种要素选择方法，包括如下步骤：
识别手或指头的行动；
显示与所识别出的手或指头的行动连动的第1图像；
显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，以第2图像脱离第1图像的方式进行移动控制；及
当第1图像与第2图像的相互作用关系处于规定的状态时，对与所述第2图像对应的可选择的要素的选择进行决定。
8.一种要素选择方法，是在至少包括显示部、检测部及控制部的计算机中执行，其特征在于：
包括如下在所述控制部中执行的步骤：
像显示控制步骤，使经由所述检测部而检测到的、人物的像、或与所述人物的行动连动的显示体显示在所述画面上；
要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，且使所述要素或所述要素图像排他性地从所述像显示控制步骤中显示的所述像或所述显示体移动；及
选择判断步骤，基于所述要素显示控制步骤中移动的所述要素或是所述要素图像的移动度或是移动位置或所述人物的行动，判断所述要素的选择。
9.一种程序，用于在计算机中执行如下步骤：
识别手或指头的行动；
显示与所识别出的手或指头的行动连动的第1图像；
显示与可选择的要素对应的第2图像，当移动来的第1图像与第2图像接触时使它们相互作用，以第2图像脱离第1图像的方式进行移动控制；及
当第1图像与第2图像的相互作用关系处于规定的状态时，对与所述第2图像对应的可选择的要素的选择进行决定。
10.一种程序，是用于在至少包括显示部、检测部及控制部的计算机中执行，
所述程序执行如下在所述控制部中执行的步骤：
像显示控制步骤，使经由所述检测部所检测到的、人物的像、或与所述人物的行动连动的显示体显示在所述画面上；
要素显示控制步骤，使所述显示部的画面上显示可选择的要素、或与所述要素对应的要素图像，使所述要素或所述要素图像排他性地从所述像显示控制步骤中显示的所述像或所述显示体移动；及
选择判断步骤，基于所述要素显示控制步骤中移动的所述要素或是所述要素图像的移动度或是移动位置、或所述人物的行动，判断所述要素的选择。
CN201380037174.9A 2012-07-13 2013-07-11 要素选择装置、要素选择方法、及程序 Pending CN104508599A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-157236 2012-07-13
JP2012157236 2012-07-13
PCT/JP2013/068969 WO2014010670A1 (ja) 2012-07-13 2013-07-11 要素選択装置、要素選択方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN104508599A true CN104508599A (zh) 2015-04-08

Family

ID=49916111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380037174.9A Pending CN104508599A (zh) 2012-07-13 2013-07-11 要素选择装置、要素选择方法、及程序

Country Status (6)

Country Link
US (1) US9575565B2 (zh)
EP (1) EP2874044A4 (zh)
JP (3) JP5507773B1 (zh)
KR (2) KR20160022403A (zh)
CN (1) CN104508599A (zh)
WO (1) WO2014010670A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
CN105706023B (zh) * 2013-10-31 2019-01-15 惠普发展公司，有限责任合伙企业 与不支持的输入设备的通信
DE102014107211A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6388203B2 (ja) * 2014-09-08 2018-09-12 任天堂株式会社 電子機器
JP6197801B2 (ja) * 2015-01-30 2017-09-20 コニカミノルタ株式会社 データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム
CN116075801A (zh) * 2021-08-30 2023-05-05 软银股份有限公司 电子设备及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
US20070139443A1 (en) * 2005-12-12 2007-06-21 Sonny Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US20080168364A1 (en) * 2007-01-05 2008-07-10 Apple Computer, Inc. Adaptive acceleration of mouse cursor
CN101393477A (zh) * 2007-09-19 2009-03-25 索尼株式会社 图像处理设备和方法及其程序

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2816456B2 (ja) 1991-07-05 1998-10-27 株式会社村田製作所 フォーカス測定装置
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
US5508717A (en) 1992-07-28 1996-04-16 Sony Corporation Computer pointing device with dynamic sensitivity
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6816176B2 (en) * 2001-07-05 2004-11-09 International Business Machines Corporation Temporarily moving adjacent or overlapping icons away from specific icons being approached by an on-screen pointer on user interactive display interfaces
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006268212A (ja) * 2005-03-23 2006-10-05 Hiroshi Mitsumata 命令入力装置
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
JP4220555B2 (ja) 2007-02-09 2009-02-04 株式会社日立製作所 テーブル型情報端末
US20090204622A1 (en) * 2008-02-11 2009-08-13 Novell, Inc. Visual and non-visual cues for conveying state of information cards, electronic wallets, and keyrings
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010140300A (ja) 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
KR101650371B1 (ko) * 2008-12-30 2016-08-24 삼성전자주식회사 중력에 의해 이동되는 감각적 효과를 나타내는 포인터를 이용한 ｇｕｉ 제공방법 및 이를 적용한 전자장치
CA2775007A1 (en) * 2009-09-23 2011-03-31 Dingnan Han Method and interface for man-machine interaction
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
US20070139443A1 (en) * 2005-12-12 2007-06-21 Sonny Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US20080168364A1 (en) * 2007-01-05 2008-07-10 Apple Computer, Inc. Adaptive acceleration of mouse cursor
CN101393477A (zh) * 2007-09-19 2009-03-25 索尼株式会社 图像处理设备和方法及其程序

Also Published As

Publication number Publication date
EP2874044A1 (en) 2015-05-20
JP2019135665A (ja) 2019-08-15
EP2874044A4 (en) 2016-04-13
JP5507773B1 (ja) 2014-05-28
JPWO2014010670A1 (ja) 2016-06-23
KR20150021132A (ko) 2015-02-27
US9575565B2 (en) 2017-02-21
KR20160022403A (ko) 2016-02-29
KR101845046B1 (ko) 2018-04-03
US20150169073A1 (en) 2015-06-18
JP2014149842A (ja) 2014-08-21
WO2014010670A1 (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
CN104508599A (zh) 要素选择装置、要素选择方法、及程序
CN109643210B (zh) 使用悬停的设备操纵
US8098879B2 (en) Information processing device, image movement instructing method, and information storage medium
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2228708A2 (en) Information processing apparatus, information processing method and program
RU2623804C2 (ru) Устройство для обработки информации, способ обработки информации, программа и носитель для хранения информации
CN102902480A (zh) 用于触摸屏的控制区域
KR20120053335A (ko) 직관적인 폴더 편집 및 열람을 위한 사용자 인터페이스 표시 방법 및 장치
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
JP6270495B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
JP2016051463A (ja) ユーザ入力の操作性を向上させる方法
EP2889738B1 (en) Computer-implemented method for designing a three-dimensional modeled object
KR101611709B1 (ko) 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법
CN105739816A (zh) 选择图形元素
KR101390083B1 (ko) 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치
JP6521146B1 (ja) 情報処理装置及びプログラム
JP6213120B2 (ja) ファイル表示装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150408