CN107533366B - 信息显示装置和信息显示方法 - Google Patents

信息显示装置和信息显示方法 Download PDF

Info

Publication number
CN107533366B
CN107533366B CN201680022591.XA CN201680022591A CN107533366B CN 107533366 B CN107533366 B CN 107533366B CN 201680022591 A CN201680022591 A CN 201680022591A CN 107533366 B CN107533366 B CN 107533366B
Authority
CN
China
Prior art keywords
gesture
unit
operator
information
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022591.XA
Other languages
English (en)
Other versions
CN107533366A (zh
Inventor
高柳亚纪
神谷雅志
中村雄大
内藤正博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107533366A publication Critical patent/CN107533366A/zh
Application granted granted Critical
Publication of CN107533366B publication Critical patent/CN107533366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

信息显示装置具有：显示控制部(25)；手势检测部(10)；手势识别部(23)，其根据手势信息进行操作者的手势的识别，输出基于识别的结果的信号；距离估计部(21)，其估计操作者(2)与显示部(30)之间的距离；以及识别功能设定部(22)，其以如下方式设定手势识别部(23)能够识别的手势：当估计出的距离超过第1设定距离时手势识别部(23)能够识别的手势的个数，比当估计出的距离在第1设定距离以下时手势识别部(23)能够识别的手势的个数少。

Description

信息显示装置和信息显示方法
技术领域
本发明涉及通过操作者(用户)进行的手势来输入操作者的指示的信息显示装置和信息显示方法。
背景技术
近年来，作为电视(广播接收机)、PC(Personal Computer：个人计算机)、汽车导航系统以及数字标牌系统等的用户接口，开始采用手势UI(User Interface：用户接口)。手势UI能够实现操作者通过操作者的身体的移动和身体的形状(例如，手的移动、手的形状、手指的移动以及手指的形状等)这样的手势对设备进行操作。例如，在采用根据手的移动使显示部(显示器)的画面上的指针移动的用手指示(hand pointing)的手势UI中，当操作者进行用手指示指针位置这样的手势时，根据该手势使画面上的指针移动。
手势UI通过使用RGB(红、绿、蓝)摄像机等的摄像装置或ToF(Time of Flight：飞行时间)传感器等的手势检测部(传感器部)来检测(拍摄)操作者的手势。手势UI分析通过拍摄操作者而得到的图像数据来识别(确定)手势，输出表示手势意味着的指示内容的信号。然而，操作者越远离手势检测部(传感器部)，通过拍摄而生成的各帧图像中的操作者的尺寸就越小，并且操作者的手势带来的身体部位的移动量也越小。这样，当操作者位于远离手势检测部的位置时，手势UI必须根据身体部位的较小移动来识别(确定)手势，输出表示手势所示的指示内容的信号。因此，在手势UI中，产生当操作者远离手势检测部时，错误地识别(确定)手势或者无法识别手势这样的问题。
另外，专利文献1提出在图像处理装置中，根据由作为手势检测部的摄像装置生成的图像中的检测对象的位置和大小，设定操作对象区域。在该图像处理装置中，通过将操作者的手或脸作为检测对象，设定的操作对象区域与该操作对象区域中包含的操作者的手或脸的大小之间的比率保持固定。由此，操作者的操作性得到提高。
现有技术文献
专利文献
专利文献1：日本特开2013-257762号公报
发明内容
发明要解决的课题
然而，在上述任何现有技术中都是操作者越远离手势检测部，则通过拍摄而生成的各帧图像中的操作者的尺寸就越小，因此，存在容易发生手势UI对手势的误识别的问题。
因此，本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供即使在操作者位于远离信息显示装置的位置的情况下，也很难发生操作者的手势的误识别的信息显示装置和信息显示方法。
用于解决课题的手段
本发明的信息显示装置的特征在于，该信息显示装置具有：显示控制部，其使显示部显示信息；手势检测部，其生成基于由操作者执行的手势的手势信息；手势识别部，其根据由所述手势检测部生成的所述手势信息进行所述手势的识别，输出基于所述识别的结果的信号；距离估计部，其估计所述操作者与所述显示部之间的距离；以及识别功能设定部，其存储预先确定的第1设定距离，以如下方式设定所述手势识别部能够识别的手势：当所述距离超过所述第1设定距离时所述手势识别部能够识别的手势的个数，比当所述距离在所述第1设定距离以下时所述手势识别部能够识别的手势的个数少。
本发明的信息显示方法是使显示部显示信息的信息显示装置执行的信息显示方法，其特征在于，该信息显示方法具有以下步骤；手势检测步骤，生成基于由操作者执行的手势的手势信息；手势识别步骤，根据在所述手势检测步骤中生成的所述手势信息进行所述手势的识别，生成基于所述识别的结果的信号；距离估计步骤，估计所述操作者与所述显示部之间的距离；以及识别功能设定步骤，以如下方式设定在所述手势识别步骤中能够识别的手势：当所述距离超过预先确定的第1设定距离时在所述手势识别步骤中能够识别的手势的个数，比当所述距离在所述第1设定距离以下时在所述手势识别步骤中能够识别的手势的个数少。
发明效果
在本发明中，当操作者位于远离信息显示装置的显示部的位置时，以减少能够识别的手势的个数的方式设定能够识别的手势。这样，根据本发明，当操作者位于远离显示部的位置时，例如通过从能够识别的手势中排除身体的移动量较小的手势，能够使得操作者的手势的误识别难以发生。
附图说明
图1是示出本发明的第1实施方式的信息显示装置的使用状态的概略图。
图2是概略地示出第1实施方式的信息显示装置的结构的框图。
图3是示出第1实施方式的信息显示装置通过拍摄操作者而取得的图像的一例的图。
图4是示出第1实施方式的信息显示装置的动作状态的概略图。
图5是示出第1实施方式的信息显示装置的显示部上显示的图像的一例的图。
图6是示出第1实施方式的信息显示装置的显示部上显示的图像的另一例的图。
图7是示出第1实施方式的信息显示装置的显示部上显示的图像的另一例的图。
图8是示出第1实施方式的信息显示装置的显示部上显示的图像的另一例的图。
图9是示出第1实施方式的信息显示装置的显示部上显示的图像的另一例的图。
图10的(a)和(b)是示出第1实施方式的信息显示装置的显示部上显示的图像的转变(操作者位于接近显示部的位置的情况)的图。
图11的(a)和(b)是示出第1实施方式的信息显示装置的显示部上显示的图像的转变(操作者位于远离显示部的位置的情况)的图。
图12的(a)～(c)是示出第1实施方式的信息显示装置的使用状态的概略图。
图13是示出第1实施方式的信息显示装置的初始设定的流程图。
图14是示出第1实施方式的信息显示装置的动作的流程图。
图15是示出本发明的第2实施方式的信息显示装置的动作的流程图。
图16是示出本发明的第3实施方式的信息显示装置的使用状态的概略图。
图17是概略地示出第3实施方式的信息显示装置的结构的框图。
图18是示出本发明的第4实施方式的信息显示装置的使用状态的概略图。
图19是概略地示出第4实施方式的信息显示装置的结构的框图。
图20是概略地示出本发明的第5实施方式的信息显示装置的结构的框图。
图21是概略地示出第5实施方式的变形例的信息显示装置的结构的框图。
图22是示出第5实施方式的信息显示装置的动作的流程图。
图23是概略地示出本发明的第6实施方式的信息显示装置的结构的框图。
图24是示出第6实施方式的信息显示装置的动作的流程图。
图25是示出本发明的第7实施方式的信息显示装置的使用状态的概略图。
图26是概略地示出第7实施方式的信息显示装置的结构的框图。
图27是示出第7实施方式的信息显示装置的动作的流程图。
图28是示出第1～7实施方式的信息显示装置的变形例的结构的硬件结构图。
具体实施方式
《1》第1实施方式
《1-1》结构
图1是示出本发明的第1实施方式的信息显示装置1的使用状态的概略图。如图1所示，信息显示装置1具有作为显示器的显示部30以及作为摄像装置(摄像机)或ToF等摄像部的手势检测部(传感器部)10。信息显示装置1具有手势UI，该手势UI通过操作者(用户)2进行的手势对信息显示装置1进行操作。在第1实施方式中，手势检测部10被安装在信息显示装置1的主体上部。但是，手势检测部10也可以收纳在信息显示装置1的主体内部，或者也可以设置在信息显示装置1的主体附近。另外，在信息显示装置1保存表示手势检测部10与信息显示装置1的主体之间的位置关系的信息的情况下，手势检测部10也可以设置在远离信息显示装置1的主体的位置。操作者2通过操作者2的身体的移动和形状(例如，由手2A和手指2B进行的预先确定的动作和姿势或者脸2C的表情等)即手势，向信息显示装置1输入指示信息。作为手势，例如可以列举出操作者2使手2A向右横方向移动的动作、使手2A向左横方向移动的动作、使手2A向上方向移动的动作、使手2A向下方向移动的动作、用手指2B进行指示的动作以及用手2A和手指2B形成和平标志的动作等。
图2是概略地示出第1实施方式的信息显示装置1的结构的框图。信息显示装置1是能够实施第1实施方式的信息显示方法的装置。如图2所示，信息显示装置1具有作为摄像部的手势检测部10以及控制部20。另外，信息显示装置1也可以具有作为显示器的显示部30以及存储器等的存储部40。控制部20具有距离估计部21、识别功能设定部22、手势识别部(手势判定部)23以及显示控制部25。另外，信息显示装置1也可以具有功能执行部24。
手势检测部10生成基于由操作者2进行的手势GE的手势信息G1。例如，手势检测部10拍摄操作者2的手势GE，生成包含与手势GE对应的图像数据的手势信息G1。图像数据例如是按时间顺序排列的多帧静态图像数据或者动态图像数据。另外，在第1实施方式中，对手势检测部10是摄像部的情况进行说明，但只要是能够生成与操作者2的手势对应的手势信息的装置，则手势检测部10也可以是安装在操作者2的身体的一部分上的操作装置(在第4实施方式中进行说明)等其他装置。
手势识别部23根据由手势检测部10生成的手势信息G1进行手势的识别(确定)，输出基于该识别的结果的信号G2。这里，手势的识别是指确定操作者2进行的手势是表示何种指示内容的手势的处理。
手势识别部23根据由手势检测部10生成的图像数据检测手势的移动模型。此时，手势识别部23根据按时间顺序排列的多帧静态图像数据或者动态图像数据，分析包含操作者2的身体部位的检测区域的位移，从而检测手势的移动模型。
另外，在手势检测部10是能够取得被摄体的深度信息的立体摄像机的情况下，手势识别部23估计包含操作者2的身体部位的检测区域的三维位置，从而检测手势的移动模型。
另外，在手势检测部10是具有1个镜头的单眼摄像机的情况下，手势识别部23根据由距离估计部21估计出的距离D0和检测区域的图像数据，检测手势的移动模型。
存储部40存储有将多个基准手势和与多个基准手势分别对应的指示内容关联起来的手势数据库(DB)40a。手势识别部23对检测出的移动模型与作为手势DB40a存储的多个基准手势分别进行比较，根据存储着的多个基准手势确定与检测出的移动模型对应的手势。手势识别部23判定为与确定的基准手势关联起来的指示内容是操作者2的指示内容。另外，作为手势DB40a存储在存储部40中的手势和指示内容是预先存储的。另外，也可以由操作者2决定手势以及与该手势对应的指示内容，将其作为手势DB40a存储到存储部40。
距离估计部21根据从手势检测部10输出的手势信息G1，估计操作者2与手势检测部10(或显示部30)之间的距离D0，将表示距离D0的距离信息G3提供给识别功能设定部22和显示控制部25。如图1所示，在第1实施方式中，操作者2与显示部30之间的距离或者是和操作者2与手势检测部10之间的距离相等，或者是和操作者2与手势检测部10之间的距离存在一定的关系，能够进行计算。例如，距离估计部21检测图像数据中包含的操作者2的身体的特定部位作为检测区域，根据各帧图像中的检测区域的大小，估计(计算)操作者2与手势检测部10(或显示部30)之间的距离D0。但是，距离估计部21也可以用其他方法计算距离D0。
图3是示出第1实施方式的信息显示装置1的手势检测部10通过拍摄操作者2而取得的图像200的一例的图。距离估计部21检测图像200中包含的操作者2的手2A作为检测区域201。这里，距离估计部21根据图像中包含的颜色信息检测操作者的皮肤的颜色，将操作者的身体的特定部位作为检测区域。另外，在检测区域是脸的情况下，也可以在判定出脸的部位(眼、鼻、口等)后判定脸整体的区域。另外，距离估计部21也可以采用其他方法，例如通过在图像中设置检索窗并通过分类器判定是否是脸区域的方法，对脸进行判定等。例如，也可以将操作者2的脸和手2A双方作为检测区域。距离估计部21根据图像200中的检测区域201的大小，估计(计算)操作者2与手势检测部10(或显示部30)之间的距离D0。
在距离估计部21估计操作者2与手势检测部10(或显示部30)之间的距离D0时，存在估计距离D0的情况、以及判定操作者2是位于比预先确定的基准距离更靠近显示部30的位置还是位于更远离显示部30的位置的情况。
在估计(计算)操作者2与手势检测部10(或显示部30)之间的距离D0的情况下，距离估计部21预先存储图像200中的检测区域201的大小与距离D0之间的相关性数据。距离估计部21基于该相关性数据，根据生成的图像200中的检测区域201的大小估计(计算)距离D0。检测区域201的大小能够根据检测区域201的面积以及检测区域201的纵向长度Lv和横向长度Lh中的至少一方推导出来。
在判定操作者2是位于比预先确定的基准位置更靠近显示部30的位置还是位于更远离显示部30的位置的情况下，距离估计部21将操作者2打算进行手势的位置作为基准位置，预先存储该基准位置以及基准位置处的图像200中的检测区域201的大小作为相关数据。距离估计部21基于相关数据，根据生成的图像200中的检测区域201的大小，判定操作者2是位于比基准位置更靠近的位置还是位于比基准位置更远离的位置。在这种情况下，能够减少控制部20中的计算量。
识别功能设定部22存储预先确定的第1设定距离，以如下方式设定手势识别部23能够识别的手势：当距离D0超过第1设定距离时手势识别部23能够识别的手势的个数，比当距离D0在第1设定距离D1以下时手势识别部23能够识别的手势的个数少。第1设定距离D1是在开始使用信息显示装置1时预先设定的。
当距离D0在第1设定距离D1以下时，识别功能设定部22不对手势识别部23能够识别的手势进行限制。此时，将信息显示装置1的动作状态称作全功能模式。识别功能设定部22将能够识别的手势通知给手势识别部23，将信息显示装置1的动作状态通知给显示控制部25。
当距离D0大于第1设定距离D1且在第2设定距离D2以下时，识别功能设定部22对手势识别部23能够识别的手势进行限制。这里，受到限制的能够识别的手势是用于操作者2的使用频率较高的功能的手势。此时，将信息显示装置1的移动状态称作功能限制模式。
当距离D0大于第2设定距离D2时，识别功能设定部22对手势识别部23能够识别的手势进一步进行限制。这里，受到进一步限制的能够识别的手势是用于操作者2的使用频率更高的功能的手势。此时，将信息显示装置1的动作状态称作特定功能模式。
设在识别功能设定部22中作为基准的距离D2为手势识别部23难以识别手势的距离。该距离D2是根据在手势检测部10中使用的摄像机的分辨率等的传感器性能、光谱过滤信息、MTF(Modulation Transfer Function：调制传递函数)等镜头性能、照明光的颜色和照度等照明环境的信息以及检测对象物的大小和颜色信息中的任意一个或全部设定的。
功能执行部24执行基于从手势识别部23输出的信号G2的功能。另外，功能执行部24将执行功能后的结果通知给显示控制部25。
显示控制部25控制显示部30的显示动作。例如，显示控制部25生成操作菜单，使显示部30显示操作菜单。显示控制部25根据由识别功能设定部22设定的移动状态是全功能模式、功能限制模式、特定功能模式中的哪个模式，设定显示部30的显示布局和显示内容。另外，显示控制部25也可以根据由距离估计部21估计(计算)出的距离D0，调整显示部30上显示的文字、图标以及指针的尺寸。例如，显示控制部25在距离D0较小的情况下，使显示的文字、图标以及指针的尺寸缩小，随着距离D0的增大，使显示的文字、图标以及指针的尺寸增大。这样，可保证图标、文字以及指针等的视觉辨认性。另外，显示控制部25使显示部30显示从功能执行部24通知的结果。
《1-2》动作
图4是示出第1实施方式的信息显示装置1的动作状态的概略图。图4示出操作者2与手势检测部10(或显示部30)之间的距离D0、当操作者2对信息显示装置1进行手势操作时信息显示装置1能够识别(能够使用)的手势的种类以及信息显示装置1的状态之间的关系。在图4的例子中，当对信息显示装置1进行手势操作时，能够识别(能够使用)的手势被分类成3种手势GE1、GE2、GE3。信息显示装置1对3种手势的识别难易程度不同。例如，第1种手势GE1是操作者2摇晃手的动作即挥击，第2种手势GE2是操作者2用手指示出方向或位置的动作即指示，第3种手势GE3是操作者2将手的形状设为特定形状的姿势。第1种手势GE1是只根据手2A等身体的特定部位的移动方向就能够判别的手势。与之相对，第3种手势GE3是只根据手2A等身体的特定部位的移动方向则无法进行判别，只有对身体的特定部位的位移量进行分析才能够进行判别。这样，第2种手势GE2是稍难识别的手势，第3种手势GE3是最难识别的手势。
当距离D0在第1设定距离D1以下的情况下(即，信息显示装置1处于全功能模式的情况下)，在对信息显示装置1进行手势操作时，操作者2能够使用全部种类的手势即手势GE1、GE2、GE3。当距离D0大于第1设定距离D1且在第2设定距离D2以下的情况下(即，信息显示装置1的状态处于功能限制模式的情况下)，操作者2能够使用第1种手势GE1和第2种手势GE2，但无法使用第3种手势GE3。当距离D0超过第2设定距离D2的情况下(即，信息显示装置1的状态处于特定功能模式的情况下)，操作者2能够使用第1种手势GE1，但无法使用第2种手势GE2和第3种手势GE3。
图5是示出第1实施方式的信息显示装置1的显示部30的画面31上显示的图像的一例的图。图5示出操作者2与手势检测部10(或显示部30)之间的距离D0在第1设定距离D1以下时的显示内容的一例。在该情况下，显示部30的画面31整体显示基于视频内容的收视节目图像301。另外，在画面31的左下方显示有“MENU”图标302。这里，在信息显示装置1识别出操作者2的预先确定的手势(将转变成包含操作菜单的显示内容作为指示内容的手势)的情况下，或者操作者2进行了选择“MENU”图标302的操作的情况下，图5所示的显示转变成包含操作菜单的显示内容(图6)。
图6是示出第1实施方式的信息显示装置1的显示部30的画面31上显示的图像的另一例的图。图6示出操作者2与手势检测部10(或显示部30)之间的距离D0在第1设定距离D1以下时的显示内容的例子。图6示出从图5的显示内容转变后的显示内容。在图6中，画面31被分割成4个区域。画面31的左上区域显示基于视频内容的收视节目图像301。另外，画面31的右上区域显示表示与当前收视中的收视节目图像301有关的信息的内容信息303。另外，画面31的左下方显示作为操作菜单的内容设定信息304。在画面31的右下侧显示作为操作菜单的应用菜单信息305。内容设定信息304包含针对收视节目图像301的操作信息即频道切换、音量调节、录像和再现、画质和音质变更、通信方式等的信息。应用菜单信息305表示包含用于选择信息显示装置1具有的应用的图标的信息。另外，“返回节目”图标306是用于从图6的显示内容转变成图5的显示内容的图标。
当操作者2与手势检测部10(或显示部30)之间的距离D0在第1设定距离D1以下时，信息显示装置1处于全功能模式。作为图6所示的操作菜单的内容设定信息304和应用菜单信息305是与在全功能模式下操作者2能够操作的功能相关的信息。
显示部30的画面31上所示的图标、文字以及指针可以构成为，在距离D0较小的情况下尺寸较小，随着距离D0的增大而尺寸增大。由此，操作者2能够识别信息显示装置1掌握着操作者2与信息显示装置1之间的距离的情况。换言之，能够通过图标、文字以及指针等的尺寸，将信息显示装置1识别出距离D0的情况反馈给操作者2。
另外，画面31上的图标、文字以及指针的最佳尺寸是在信息显示装置1中预先设定的。因此，在信息显示装置1中设定成，即使在图标、文字以及指针的尺寸被变更的情况下，也不会发生画面31上的各信息的布局被破坏或者从显示有图标、文字以及指针的画面31的区域溢出等破坏视觉辨认性程度的变化。
图7是示出第1实施方式的信息显示装置1的显示部30的画面31上显示的图像的另一例的图。图7示出距离D0大于第1设定距离D1且在第2设定距离D2以下时的显示的一例。在该情况下，画面31的区域没有被分割。基于视频内容的收视节目图像301作为背景图像显示于画面31整体。另外，应用菜单信息305以收视节目图像301为背景显示于画面31整体。
当距离D0大于第1设定距离D1且在第2设定距离D2以下时，信息显示装置1处于功能限制模式。在功能限制模式下，操作者2能够进行手势操作的功能被限制成使用频率较高的功能。针对收视节目图像301的操作信息是与操作者2的使用频率较低的功能相关的信息。因此，如图7所示，在图6中示出的内容设定信息304在功能限制模式下没有进行显示。另外，在图6中示出的内容信息303也未必是对于操作者2而言使用频率较高的信息，因此，如图7所示，在功能限制模式下没有进行显示。另外，在图7中，“电影”图标305A是用于使信息显示装置1显示电影的视频内容的图标。在图7中示出通过作为指针的箭头选择出“电影”图标305A的样子。
这样，在功能限制模式下，在显示部30上没有显示操作者2的使用频率较低的信息，而是在显示部30的画面31整体上放大显示操作者2的使用频率较高的应用菜单信息305。因此，即使远离显示部30，操作者2也能够视觉辨认显示部30的显示内容。另外，由于显示出使用频率较高的信息，因此，当操作者2操作信息显示装置1时，能够保证信息显示装置1的操作性。
另外，在功能限制模式下，显示部30上显示的内容并不限于应用菜单信息305。例如，也可以是，操作者2预先选择频繁使用的项目并进行排序，信息显示装置1根据顺序信息决定显示部30上显示的内容。
另外，信息显示装置1对通过操作者2的手势而使用的操作项目进行计数并存储计数的结果，由此，信息显示装置1也可以决定在功能限制模式下显示的内容。
图8是示出第1实施方式的信息显示装置1的显示部30的画面31上显示的图像的另一例的图。图8中的“电影”图标305B不是通过指针(箭头)选择出的，而是“电影”图标305B的框是粗框。这样，能够根据距离D0变更选择出的图标的显示。另外，也可以构成为，根据距离D0，变更“电影”图标305A(305B)或应用菜单信息305中包含的其他图标和文字等的尺寸。
图9是示出第1实施方式的信息显示装置1的显示部30的画面31上显示的图像的另一例的图。图9示出当距离D0超过第2设定距离D2时，显示部30的画面31上显示的图像的例子。在图9所示的例子中，显示部30的画面31整体显示基于视频内容的收视节目图像301。
当距离D0超过第2设定距离D2时，信息显示装置1处于特定功能模式。在特定功能模式下，操作者2能够进行手势操作的功能被限制成使用频率更高的功能，例如与操作者2正在收视中的视频内容相关的频道切换和音量的变更等。因此，在特定功能模式下，在显示部30的画面31上没有显示用于转变成包含操作菜单的显示内容的“MENU”图标302(图5)。这样，信息显示装置1的功能被限制成操作者2的使用频率较高的功能，在显示部30上没有显示操作者2的使用频率较低的信息。这样，即使操作者2进一步远离显示部30，也不会显示不必要的信息，因此，能够避免操作者难以视觉辨认显示部30的显示内容的状况。
图10的(a)和(b)是示出第1实施方式的信息显示装置1的显示内容的转变的图。图10的(a)和(b)示出当操作者2与手势检测部10(或显示部30)之间的距离D0在第1设定距离D1以下时，信息显示装置1的显示部30的显示内容转变的样子。图10的(a)中的显示部30的显示内容与图5所示的显示部30的显示内容相同。另外，图10的(b)所示的显示部30的显示内容与图6所示的显示部30的显示内容相同。当操作者2进行手势而选择图10的(a)的显示部30的“MENU”图标302时，显示部30的显示内容从图10的(a)的显示内容转变成图10的(b)的显示内容。另外，当操作者2进行手势而选择“返回节目”图标306(图6)时，从图10的(b)所示的显示部30的显示内容转变成图10的(a)所示的显示部30的显示内容。
图11的(a)和(b)是示出第1实施方式的信息显示装置1的显示内容的转变的图。图11的(a)和(b)示出当操作者2与手势检测部10(或显示部30)之间的距离D0大于第1设定距离D1且在第2设定距离D2以下时，信息显示装置1的显示部30的显示内容转变的样子。图11的(a)中的显示部30的显示内容与图5所示的显示部30的显示内容相同。另外，图11的(b)所示的显示部30的显示内容与图7所示的显示部30的显示内容相同。当操作者2进行手势而选择图5所示的“MENU”图标302时，从图11的(a)所示的显示部30的显示内容转变成图11的(b)所示的显示部30的显示内容。另外，当操作者2进行手势而选择图7所示的“返回节目”图标306时，从图11的(b)所示的显示部30的显示内容转变成图11的(a)所示的显示部30的显示内容。
图12的(a)～(c)是示出第1实施方式的信息显示装置1的使用状态的概略图。图12的(a)示出当操作者2与手势检测部10(或显示部30)之间的距离D0超过第2设定距离D2时，信息显示装置1的显示部30的显示内容。另外，图12的(b)和(c)示出操作者2进行的手势的一例。图12的(a)中的显示部30的显示内容与图9中的显示部30的显示内容相同。如图12的(b)所示，操作者2在切换频道时，进行左右挥击(使手2A向箭头方向的左或右移动)。另外，在调节音量时，进行上下挥击(使手2A向箭头方向的上或下移动)。
这样，操作者2能够与显示部30所示的操作菜单无关地，只通过手势来操作使用频率较高的频道切换和音量调整的功能。另外，此时使用的手势即挥击是信息显示装置1容易识别的手势。因此，即使在操作者2与信息显示装置1之间的距离较大的情况下，也能够降低信息显示装置1进行误识别的可能性。
另外，当距离D0超过第2设定距离D2时，操作者2能够操作的功能并不限于频道切换和音量调整。但是，操作者2能够使用的手势优选是能够通过移动方向进行识别的手势，而不是能够通过操作者2的手2A等的特定部位的位移量进行识别的手势。
图13是示出第1实施方式的信息显示装置1的初始设定的流程图。信息显示装置1设定第1设定距离D1(步骤S1)。在信息显示装置1中，由手势检测部10拍摄位于从手势检测部10(或显示部30)离开第1设定距离D1的位置的操作者2的手2A、手指2B以及脸2C等，存储拍摄到的图像中包含的手2A、手指2B以及脸2C等的大小。这里，如图3的检测区域201所示，信息显示装置1存储的是将手2A、手指2B以及脸2C作为检测区域时的检测区域的面积、纵向长度Lv以及横向长度Lh等。接着，信息显示装置1设定第2设定距离D2(步骤S2)。与步骤S1相同，信息显示装置1拍摄位于从手势检测部10(或显示部30)离开第2设定距离D2的位置的操作者2，存储检测区域的面积等。
图14是示出第1实施方式的信息显示装置1的动作的流程图。手势检测部10以操作者2的预先确定的手势为触发而开始手势的拍摄(检测)(步骤S10)。预先确定的手势可以是手2A的姿势，也可以是手2A的移动。手势检测部10拍摄操作者2的手势而生成图像数据。另外，在以下的说明中，在生成的图像数据中只拍摄到一名操作者，但本发明不限于此。本发明也能够适用于图像数据中包含有多人的情况。在图像数据中包含有多人的情况下，例如，应用对第一个被检测到身体的预先确定的部位的人物进行手势识别的方法，或者对全部人物进行手势识别的方法。
接着，信息显示装置1判断图13所示的初始设定即第1设定距离D1和第2设定距离D2的设定(步骤S1、S2)是否已结束(步骤S11)。在没有进行初始设定的情况下，信息显示装置1进行图13所示的初始设定(步骤S12)。
接着，距离估计部21估计操作者2与手势检测部10(或显示部30)之间的距离D0(步骤S13)。在信息显示装置1中，当距离D0在第1设定距离D1以下时，处理进入步骤S15，当距离D0大于第1设定距离D1且在第2设定距离D2以下时，处理进入步骤S16，当距离D0超过第2设定距离D2时，处理进入步骤S17(步骤S14)。
当距离D0在第1设定距离D1以下时，识别功能设定部22将信息显示装置1的动作状态设为全功能模式(步骤S15)。当距离D0大于第1设定距离D1且在第2设定距离D2以下时，识别功能设定部22将信息显示装置1的动作状态设为功能限制模式(步骤S16)。当距离D0超过第2设定距离D2时，识别功能设定部22将信息显示装置1的动作状态设为特定功能模式(步骤S17)。
接着，显示控制部25根据信息显示装置1的动作状态，变更显示视频内容和操作菜单的布局并使显示部30进行显示。另外，显示控制部25根据距离D0调整显示部30上显示的文字、图标以及指针的尺寸(步骤S18)。
手势识别部23根据操作者2的手势所示的移动模型和由识别功能设定部22限制的能够识别的手势，进行手势的识别(步骤S19)。手势识别部23参照手势DB40a，判定操作者2的指示内容。此时，在手势的识别所需的时间超过限制时间的情况下，或者操作者2通过遥控器等对信息显示装置1进行操作的情况下，手势识别部23停止手势识别处理(步骤S22)。
在判定出操作者2的手势的指示内容时，功能执行部24执行基于指示内容的功能(步骤S20)。
信息显示装置1判断基于操作者2的手势的操作是否结束(步骤S21)。在存在操作者2的操作的情况下(步骤S21中为否)，手势识别部23进行操作者2的手势的识别。
《1-3》效果
如以上说明的那样，在第1实施方式的信息显示装置1中，当操作者2位于远离信息显示装置1的显示部30的位置(例如，比第1设定距离D1更远离的位置)时，以减少能够识别的手势的个数的方式设定能够识别的手势。这样，根据第1实施方式的信息显示装置1，当操作者2位于远离显示部30的位置时，例如通过从能够识别的手势中排除身体的移动量较小的手势，能够使操作者2的手势的误识别难以发生。
另外，在第1实施方式的信息显示装置1中，当操作者2位于远离信息显示装置1的显示部30的位置(例如，比第1设定距离D1更远离的位置)时，将能够识别的手势限制成用于使用频率较高的功能的手势。这样，根据第1实施方式的信息显示装置1，当操作者2位于远离显示部30的位置时，由于减少了能够识别的手势(例如，限制成与操作者的使用频率较高的功能有关的手势)，因此，能够使操作者2的手势的误识别难以发生。
另外，在第1实施方式的信息显示装置1中，当操作者2位于远离信息显示装置1的显示部30的位置(例如，比第1设定距离D1更远离的位置)时，变更显示部30上显示的图像布局，放大显示图标、文字以及指针等的操作菜单。这样，根据第1实施方式的信息显示装置1，即使在操作者2位于远离显示部30的位置时，由于操作菜单被放大显示，因此，能够抑制操作者2对显示部30的显示内容的易于观察性(视觉辨认性)和操作的容易性(操作性)的下降。
另外，在上述说明中示出了使用第1设定距离D1和第2设定距离D2切换移动状态的例子。但是，信息显示装置1也可以采用只使用第1设定距离D1和第2设定距离D2中的任意一方的方法，或者也可以采用使用3个以上的设定距离的方法。
《2》第2实施方式
在第1实施方式中，当信息显示装置1没有识别(判定)出操作者2的手势时，信息显示装置1的手势识别判定处理停止(图14的步骤S22)，再次进行基于手势的操作。与之相对，在第2实施方式中，将手势未被识别的情况显示在显示部30上。另外，第2实施方式的信息显示装置的结构与第1实施方式的信息显示装置1的结构相同。因此，在说明第2实施方式时也参照图1。
图15是示出本发明的第2实施方式的信息显示装置的动作的流程图。在图15中，对于与图14所示的处理步骤相同的处理步骤，标注与图14所示的标号相同的标号。
手势识别部23根据操作者2的手势所示的移动模型和由识别功能设定部22限制的能够识别的手势，进行手势的识别(步骤S19)。这里，在第2实施方式中，在无法根据操作者2的手势判定指示内容的情况下，进行与其原因对应的处理。在操作者2进行的手势被判定为在手势DB40a中存储的多个基准手势中没有对应的基准手势的情况下，手势识别部23经由功能执行部24，将操作者2的手势无法识别的情况通知给显示控制部25。显示控制部25使显示部30显示手势无法识别的情况(步骤S23)。在手势的识别所需的时间超过限制时间的情况下，或者操作者2通过遥控器等对信息显示装置1进行操作的情况下，手势识别部23停止手势识别处理(步骤S22)。
如以上说明的那样，在第2实施方式中，在手势未被识别的情况下，在显示部30上显示手势无法识别的情况。通过显示部30的显示，操作者2能够掌握手势未被识别的情况。因此，操作者2可以选择再次进行手势或者通过遥控器等设备进行操作。其结果是，即使在信息显示装置1未识别出操作者2的手势的情况下，也能够避免由操作者2识别成信息显示装置1的操作性显著下降。
另外，除了上述点以外，第2实施方式的信息显示装置和信息显示方法均与第1实施方式的装置和方法相同。
《3》第3实施方式
在第1实施方式中，手势检测部10是设置在信息显示装置1的主体(显示部30的上部)上的。在第3实施方式中，对手势检测部设置在远离具有显示部(显示器)30的信息显示部的位置的情况进行说明。
图16是示出本发明的第3实施方式的信息显示装置100的使用状态的概略图。在图16中，对于与图1(第1实施方式)所示的结构要素相同或对应的结构要素，标注与图1中的标号相同的标号。如图16所示，信息显示装置100具有具备显示部30的信息显示部1a以及手势检测部10a。操作者2进行手势，操作信息显示部1a。在第3实施方式中，手势检测部10a设置在远离信息显示部1a的位置，例如房间的墙面等。
图17是概略地示出第3实施方式的信息显示装置100的结构的框图。在图17中，对于与图2(第1实施方式)所示的结构要素相同或对应的结构要素，标注与图2的标号相同的标号。如图17所示，信息显示装置100具有手势检测部10a和信息显示部1a。
手势检测部10a具有识别传感器13和发送部11。识别传感器13拍摄操作者2的手势GE而生成图像数据。发送部11将由识别传感器13生成的图像数据发送给信息显示部1a的接收部12。
信息显示部1a的接收部12接收从手势检测部10a的发送部11发送的图像数据，将接收到的图像数据发送给控制部20。发送部11与接收部12之间的通信方式例如可以是蓝牙(Bluetooth：注册商标)、红外线通信、Wi-Fi通信等的无线通信，也可以是有线通信。
在第3实施方式中，手势检测部10a固定在能够检测操作者2的手势的位置。另外，信息显示部1a保存有表示固定手势检测部10a的位置的位置信息(例如由XYZ坐标示出)和表示信息显示部1a的显示部30的位置的位置信息(例如由XYZ坐标示出)。因此，距离估计部21能够根据上述的位置信息和从接收部12接收到的图像数据，估计(计算)操作者2与显示部30之间的距离。另外，手势识别部23能够通过分析从接收部12接收到的图像数据中包含的操作者2的身体部位(检测区域)的位移，从而检测移动模型。
这样，即使在手势检测部10a设置于远离信息显示部1a的位置的情况下，也能够估计操作者2与显示部30之间的距离。由于根据估计出的距离变更显示部30的显示内容，因此，信息显示装置100能够保证操作者2操作信息显示部1a时的良好的操作性。
另外，即使在信息显示部1a没有搭载手势检测部10的情况下，通过更新信息显示部1a的软件，也能够组合手势检测部10与信息显示部1a而构成第3实施方式的信息显示装置。这样，第3实施方式的信息显示装置也能够适用于以往的信息显示装置。
另外，除了上述点以外，第3实施方式的信息显示装置和信息显示方法均与第1实施方式或第2实施方式的装置和方法相同。
《4》第4实施方式
在第3实施方式中，对手势检测部10a固定在预先确定的位置，并且手势检测部10a的检测对象(拍摄对象)是操作者2的情况进行了说明。在第4实施方式中，对在进行手势的操作者2的身体上佩戴作为手势检测部的操作装置(例如，操作者的手中持有操作装置)，并且作为手势检测部的操作装置的检测对象(拍摄对象)例如是信息显示装置的显示部的情况进行说明。
图18是示出本发明的第4实施方式的信息显示装置100a的使用状态的概略图。在图18中，针对与图16(第3实施方式)所示的结构要素相同或对应的结构要素，标注与图16中的标号相同的标号。如图18所示，信息显示装置100a具有具备显示部30的信息显示部1b和作为手势检测部的操作装置10b。操作者2在身体上安装有操作装置10b的状态(例如手持的状态)下进行手势，从而向信息显示部1b的接收部12(在后述的图19中示出)输入操作信号。操作者2例如通过使操作装置10b朝向左横方向、右横方向、上方向或下方向移动(晃动)或者用操作装置10b在空间内描绘文字或标记这样的手势，向信息显示部1b输入操作信号。操作装置10b的形状和尺寸并不限于图18所示，也可以是其他形状。
图19是概略地示出第4实施方式的信息显示装置100a的结构的框图。在图19中，针对与图17(第3实施方式)所示的结构要素相同或对应的结构要素，标注与图17所示的标号相同的标号。
操作装置10b具有作为识别传感器的摄像部15、特征提取部14以及发送部11。摄像部15在操作者2进行手势的期间，拍摄包含信息显示部1b的区域作为被摄体，生成图像数据。摄像部15例如是RGB摄像机或ToF传感器。另外，RGB摄像机也可以是搭载在智能手机等便携信息终端上的摄像机，该便携信息终端安装有用于实现与信息显示部1b之间的通信功能的软件。
特征提取部14根据由摄像部15生成的图像数据，提取操作者2进行的手势的特征。手势的特征是通过对图像数据中包含的拍摄到的某一物体(对象物)分析按时间顺序排列的多张静态图像数据或动态图像数据中的对象物的位移量，从而作为操作装置10b的移动向量(操作装置10b的移动轨迹)而提取的。特征提取部14能够使用信息显示部1b的显示部30作为由摄像部15生成的图像数据中包含的对象物。特征提取部14将生成的图像数据、手势的特征以及与显示部30的区域有关的信息发送给发送部11。
发送部11将生成的图像数据、手势的特征以及与信息显示部1b的显示部30的区域有关的信息发送给信息显示部1b的接收部12。
这样，第4实施方式的信息显示装置100a能够通过操作者2一边手持操作装置10b一边进行手势，估计操作者2与显示部30之间的距离。信息显示装置100a根据估计出的距离变更显示内容，因此，能够保证操作者操作信息显示装置时的操作性。
另外，与第3实施方式相同，即使在信息显示部1b没有搭载摄像部15的情况下，通过更新信息显示部1b的软件，也能够组合摄像部15与信息显示部1b而构成第4实施方式的信息显示装置。这样，第4实施方式的信息显示装置能够适用于以往的信息显示装置。
另外，除了上述点以外，第4实施方式的信息显示装置和信息显示方法均与第3实施方式的装置和方法相同。
《5》第5实施方式
在第1～第4实施方式中，在由于操作者2进行手势操作的地点的环境(例如，照明的状况和自然光的状况等)和设置信息显示装置1(或信息显示部1a、1b)的地点的环境(例如，照明的状况、自然光的状况等)，使由信息显示装置1生成的图像数据受到摆动、照明以及自然光(外部光)等干扰带来的影响的情况下，信息显示装置1对操作者2进行的手势操作的内容误识别的可能性增大。对此，第5实施方式的信息显示装置1c具有干扰检测部26，由此抑制由于干扰的影响导致的误识别，提高基于手势操作的信息显示装置1c的操作性。在下文中，参照图20和图21，对第5实施方式的信息显示装置1c及其变形例的信息显示装置1d进行说明。
图20是概略地示出本发明的第5实施方式的信息显示装置1c的结构的框图。在图20中，针对与图2(第1实施方式)所示的结构要素相同或对应的结构要素，标注与图2中的标号相同的标号。如图20所示，第5实施方式的信息显示装置1c与第1实施方式的信息显示装置1的不同点在于，控制部20c具有干扰检测部26这一点和控制部20c的距离估计部21c的处理内容这一点。
干扰检测部26检测通过手势检测部10中的拍摄而生成的多帧图像(多张图像数据)G1中的移动，在该检测出的移动中包含有规定的某一固定期间内的规则移动的情况下，将该规则移动判断为干扰(例如振动、照明的状况的变化以及自然光的状况的变化等)，生成基于该判断的过滤信息G5(在去除干扰带来的影响的处理中使用的信息)。
由干扰检测部26生成的过滤信息G5被发送给距离估计部21c。距离估计部21c根据从干扰检测部26接收到的过滤信息G5，校正多帧图像(多张图像数据)G1中的移动。更具体地，距离估计部21c通过从多帧图像(多张图像数据)G1中去除作为干扰带来的影响的规则移动的成分，生成没有干扰带来的影响的(或干扰带来的影响得到减轻的)多帧图像(多张图像数据)G3。
图21是概略地示出第5实施方式的变形例的信息显示装置1d的结构的框图。在图21中，针对与图20所示的结构要素相同或对应的结构要素，标注与图20中的标号相同的标号。如图21所示，信息显示装置1d与第5实施方式的信息显示装置1c的不同点在于，具有干扰检测部26d作为控制部20d的外部的结构这一点。信息显示装置1d的控制部20d进行与信息显示装置1c的控制部20c相同的控制。
干扰检测部26d检测通过手势检测部10中的拍摄而生成的多帧图像(多张图像数据)G1中的移动，在该检测出的移动中包含有规定的某一固定期间内的规则移动的情况下，将该规则移动判断为干扰(例如，加速度、振动、倾斜、照明的状况的变化以及自然光的状况的变化等)，生成基于该判断的过滤信息G5(在去除干扰带来的影响的处理中使用的信息)。这样，干扰检测部26d也可以是在控制部20d的外部新设置的部件，例如能够检测加速度、振动、倾斜、照明的状况以及自然光的状况等干扰的加速度传感器、振动传感器、倾斜传感器、以及光学传感器等。
由干扰检测部26d生成的过滤信息G5被发送给距离估计部21d。距离估计部21d根据从干扰检测部26d接收到的过滤信息G5，校正多帧图像(多张图像数据)G1中的移动。更具体地，距离估计部21d通过从多帧图像(多张图像数据)G1中去除作为干扰带来的影响的规则移动的成分，生成没有干扰带来的影响的(或干扰带来的影响得到减轻的)多帧图像(多张图像数据)G3。
图22是示出第5实施方式的信息显示装置1c、1d的动作的流程图。在图22中，针对与图14(第1实施方式)所示的处理步骤相同的处理步骤，标注与图14所示的标号相同的标号。图22所示的处理与图14所示的处理的不同点在于，具有步骤S24、S25这一点。以下，参照图22对信息显示装置1c的动作的主要部分进行说明。
如图22所示，手势检测部10以操作者2的预先确定的手势为触发而开始手势的拍摄(检测)(步骤S10)。
接着，干扰检测部26进行干扰的检测处理(步骤S24)。在干扰检测部26检测出干扰的情况下(在步骤S24中为是)，距离估计部21c通过从图像数据G1中去除干扰带来的规则移动的成分来校正干扰的影响(步骤S25)。在干扰检测部26没有检测出干扰的情况下(在步骤S24中为否)，距离估计部21c不进行校正干扰的影响的处理，处理进入步骤S11。从步骤S11起的处理与图14(第1实施方式)所示的处理相同。
另外，在图22所示的流程图中，在手势检测开始(步骤S10)后进行干扰检测(步骤S24)，但也可以是，在进行干扰检测(步骤S24)后开始手势检测(步骤S10)。
另外，除了上述点以外，第5实施方式的信息显示装置1c和信息显示方法与第1～第4实施方式的装置和方法相同。另外，除了上述点以外，第5实施方式的变形例的信息显示装置1d和信息显示方法与第1～第4实施方式的装置和方法相同。
根据第5实施方式的信息显示装置1c、1d和信息显示方法，能够减轻干扰的影响，因此，能够提高手势识别的精度。
《6》第6实施方式
在第1～第5实施方式中，对由手势检测部10检测手势并测量距离而不确定操作者2的结构进行了说明。与之相对，在第6实施方式中，对操作者识别部27根据由手势检测部10生成的图像(图像数据)G1，确定(识别)进行手势操作的操作者2，使用事先登记的操作者2的身体部位的大小信息测量距离的情况进行说明。
图23是概略地示出本发明的第6实施方式的信息显示装置1e的结构的框图。在图23中，对与图2(第1实施方式)所示的结构要素相同或对应的结构要素，标注与图2中的标号相同的标号。如图23所示，信息显示装置1e与第1实施方式的信息显示装置1的不同点在于，控制部20e具有操作者识别部27这一点以及控制部20e的距离估计部21e的处理内容这一点。
操作者识别部27在使识别功能设定部22存储初始设定信息(预先确定的第1设定距离D1和第2设定距离D2)时，预先将操作者2的脸部图像(脸部图像数据)与操作者2的属性信息彼此相关联地(捆绑地)进行存储。由操作者识别部27存储的属性信息包含用于判别大人或儿童、男性或女性、年代(年龄)、国籍等操作者2的属性的信息。属性信息可以是如在初始设定时登记的脸、体格、手的大小以及皮肤的颜色等那样根据通过手势检测部10的拍摄而生成的图像中拍摄到的身体的一部分估计出的信息，或者也可以是在设定时由操作者2选择出的信息。
能够根据由操作者识别部27存储的操作者2的属性信息和由距离估计部21e估计出的距离信息，改变由显示控制部25控制的文字、图标、指针的尺寸以及显示内容。
图24是示出第6实施方式的信息显示装置1e的动作的流程图。在图24中，对与图14所示的处理步骤相同的处理步骤，标注与图14所示的标号相同的标号。图24所示的处理与图14所示的处理的不同点在于，具有步骤S26、S27、S28这一点。以下，参照图24对信息显示装置1e的动作的主要部分进行说明。
如图24所示，手势检测部10以操作者2的预先确定的手势为触发而开始手势的拍摄(检测)(步骤S10)。接着，信息显示装置1e判断图13所示的初始设定即第1设定距离D1和第2设定距离D2的设定(步骤S1、S2)是否已结束(步骤S11)。在没有进行初始设定的情况下，信息显示装置1e进行图13所示的初始设定(步骤S12)。
接着，在手势的检测开始并且确认是否进行了包含操作者登记的初始设定后(步骤S10、S11、S12)，操作者识别部27进行操作者识别处理(步骤S26)。在识别出操作者2时(在步骤S26中为是)，操作者识别部27设定操作者2，将基于操作者2的设定的显示设定信息G4和图像数据G1发送给距离估计部21e(步骤S27)。在无法识别出操作者2的情况下(在步骤S26中为否)，操作者识别部27设定客人设定信息，将客人设定信息和图像数据G1发送给距离估计部21e(步骤S28)。
接着，距离估计部21e估计操作者2与手势检测部10(或显示部30)之间的距离D0(步骤S13)。图24中的从步骤S13起的处理与图14(第1实施方式)所示的从步骤S13起的处理相同。
这样，通过操作者识别部27进行识别(确定)操作者2的处理，根据操作者2的属性信息和图像数据G1进行距离估计部21e中的处理，从而能够使显示部30还显示操作者2的识别信息。在这种情况下，即使在从信息显示装置1e离开相同距离的位置存在多人的情况下，信息显示装置1e也能够将多人中的谁被识别为操作者2的情况传达给操作者2本人。因此，操作者2在对信息显示装置1e进行手势操作时，能够得到良好的操作性。
根据第6实施方式的信息显示装置1e和信息显示方法，在存在多人的情况下，也能够确定操作者2并进行手势识别，因此能够提高手势识别的精度。
另外，除了上述点以外，第6实施方式的信息显示装置1e和信息显示方法与第1～第4实施方式的装置和方法相同。
《7》第7实施方式
在第1～第4实施方式中，距离估计部21根据从手势检测部10输出的手势信息G1，估计操作者2与手势检测部10(或显示部30)之间的距离D0，但是没有判别操作者2位于手势检测部10(或显示部30)的左侧还是右侧。与之相对，如图25所示，第7实施方式的信息显示装置1f不仅判别操作者2与手势检测部10(或显示部30)之间的距离D0，而且判别操作者2位于手势检测部10(或显示部30)的正面中央位置的左侧还是右侧。即，信息显示装置1f具有如下功能：在存在2个人(操作者2和其他人3)的情况下，能够判别操作者2位于手势检测部10的正面中央位置的左侧还是右侧。
图26是概略地示出本发明的第7实施方式的信息显示装置1f的结构的框图。在图26中，对与图2(第1实施方式)所示的结构要素相同或对应的结构要素，标注与图2的标号相同的标号。如图26所示，信息显示装置1f与第1实施方式的信息显示装置1的不同点在于，控制部20f的距离估计部21f具有左右判别部21fa这一点和控制部20f的距离估计部21f的处理内容这一点。
在由手势检测部10拍摄并生成的各帧图像中拍摄到的检测区域(检测出操作者2的区域)将图像分成左右两部分的情况下，左右判别部21fa判别操作者2位于被分成两部分的区域内的右侧还是左侧。由此，左右判别部21fa能够判别操作者2位于将帧图像分成左侧和右侧两部分后的区域内的左侧还是右侧。
左右判别部21fa在以手势检测部10或显示部30的位置为基准时，能够测量从手势检测部10到操作者2的距离，并且能够判别操作者2位于将帧图像分成左右两部分时的左侧还是右侧。例如，在车内空间中，左右判别部21fa能够判别操作者2是坐在驾驶席的司机(右驾驶车辆的情况下是从手势检测部10观察时的左侧)、还是坐在副驾驶席的人(右驾驶车辆的情况下是从手势检测部10观察时的右侧)、还是坐在后部坐席的人(从后部坐席的手势检测部10观察时的右侧或左侧)。
图27是示出本发明的第7实施方式的信息显示装置的动作的流程图。在图27中，对与图14所示的处理步骤相同的处理步骤，标注与图14所示的标号相同的标号。图27所示的处理与图14所示的处理的不同点在于，具有步骤S29、S30这一点以及根据步骤S30的判断结果进行步骤S14、S15、S16、S17的处理和步骤S14a、S15a、S16a、S17a的处理中的任意处理这一点。以下，参照图27对信息显示装置1f的动作的主要部分进行说明。
如图27所示，手势检测部10以操作者2的预先确定的手势为触发而开始手势的拍摄(检测)(步骤S10)。接着，信息显示装置1f判断图13所示的初始设定即第1设定距离D1和第2设定距离D2的设定(步骤S1、S2)是否已结束(步骤S11)。在没有进行初始设定的情况下，信息显示装置1f进行图13所示的初始设定(步骤S12)。
接着，距离估计部21f估计操作者2与手势检测部10(或显示部30)之间的距离D0(步骤S13)。接着，在估计出距离D0(步骤S13)后，左右判别部21fa根据由手势检测部10拍摄并生成的帧图像，判定操作者2从显示部30观察位于左侧还是右侧(步骤S29)。
如果能够判别操作者2从显示部30观察位于左侧或右侧，则信息显示装置1f转移到基于左侧或右侧的距离D0的任意模式(步骤S30)。另外，在无法判别操作者2从显示部30观察位于左侧还是右侧的情况下，也可以选择预先确定的处理(例如，步骤S14～S17或步骤S14a～S17a)，将无法判别的情况通知给显示控制部25并显示在显示部30上。另外，也可以在显示部30上显示操作者2从显示部30观察位于左侧还是右侧的情况或者无法判别的情况。
在第7实施方式的信息显示装置1f中，距离估计部21f具有左右判别部21fa，例如能够通过判别操作者2是坐在驾驶席的操作者2还是坐在副驾驶席的操作者2，切换由显示控制部25控制的显示内容。例如，在操作者2是坐在驾驶席的人的情况下，信息显示装置1f将能够进行手势操作的全部操作显示在显示部30上，在操作者2是坐在副驾驶席的人的情况下，信息显示装置1f能够使显示部30只显示能够进行手势操作的操作中的不涉及安全的功能(受到限制的功能)。
接着，当距离估计部21f在步骤S29、S30中判别为操作者2位于左侧时，如果距离D0在第1设定距离D1以下，则信息显示装置1f使处理进入步骤S15，如果距离D0大于第1设定距离D1且在第2设定距离D2以下，则信息显示装置1f使处理进入步骤S16，当距离D0超过第2设定距离D2时，信息显示装置1f使处理进入步骤S17(步骤S14)。另外，当距离估计部21f在步骤S29、S30中判别出操作者2位于右侧时，如果距离D0在第1设定距离D1以下，则信息显示装置1f使处理进入步骤S15a，如果距离D0大于第1设定距离D1且在第2设定距离D2以下，则信息显示装置1f使处理进入步骤S16a，当距离D0超过第2设定距离D2时，信息显示装置1f使处理进入步骤S17a(步骤S14a)。另外，除了操作者2位于右侧这一点以外，步骤S15a、S16a、S17a与步骤S15、S16、S17是相同的处理。
根据第7实施方式的信息显示装置1f和信息显示方法，能够判别操作者2从信息显示装置1f观察位于哪个方向，能够根据判别出的方向(例如左侧或右侧)来切换操作内容(显示部30的显示内容)。
除了上述点之外，第7实施方式的信息显示装置1f和信息显示方法与第1～第4实施方式的装置和方法相同。
《8》变形例
图28是示出上述第1～第7实施方式的信息显示装置的变形例的结构的硬件结构图。第1～第7实施方式的信息显示装置能够使用存储作为软件的程序的作为存储装置的存储器91和执行存储器91中存储的程序的作为信息处理部的处理器92(例如，通过计算机)来实现。在这种情况下，图2、图17以及图19所示的存储部40相当于图28中的存储器91，图2、图17以及图19所示的控制部20相当于图28中的执行程序的处理器92。另外，也可以通过图28中的存储器91和处理器92来实现图2、图17以及图19所示的控制部20的一部分。另外，本发明能够在不脱离本发明主旨的范围内进行变更。
能够组合上述第1～第7实施方式的信息显示装置的结构。例如，能够任意地组合第5实施方式的干扰的抑制功能、第6实施方式的使用操作者识别结果求出距离的功能以及第7实施方式的根据操作者所处的方向(从装置观察时的左侧或右侧)切换显示内容的功能。
(工业上的可利用性)
本发明能够应用于例如电视、PC、汽车导航系统、后座娱乐系统(RSE)、设置在车站和飞机场等的数字标牌系统等各种信息显示装置。
标号说明
1、1c、1d、1e、1f：信息显示装置；1a、1b：信息显示部；2：操作者；10、10a：手势检测部；10b：操作装置；11：发送部；12：接收部；14：特征提取部；20、20c、20d、20e、20f：控制部；21、21c、21d、21e、21f：距离估计部；21fa：左右判别部；22：识别功能设定部；23：手势识别部；24：功能执行部；25：显示控制部；26：干扰检测部；27：操作者识别部；30：显示部；31：画面。

Claims (19)

1.一种信息显示装置，其特征在于，该信息显示装置具有：
显示控制部，其使显示部显示将多人中的一人识别为操作者的结果；
手势检测部，其生成基于由操作者执行的手势的手势信息；
手势识别部，其根据由所述手势检测部生成的所述手势信息进行所述手势的识别，输出基于所述识别的结果的信号；
识别功能设定部，其存储预先确定的第1设定距离，以如下方式设定所述手势识别部能够识别的手势：当所述操作者与所述显示部之间的距离超过所述第1设定距离时所述手势识别部能够识别的手势的个数，比当所述距离在所述第1设定距离以下时所述手势识别部能够识别的手势的个数少；
操作者识别部，其将所述操作者的脸部图像与所述操作者的属性信息彼此相关联地进行存储，确定所述操作者；以及
距离估计部，其根据由所述操作者识别部确定的所述操作者的属性信息和所述手势信息来估计所述距离，
所述手势检测部拍摄所述操作者的手势，
所述手势信息是通过所述拍摄而生成的图像数据，
所述距离估计部具有左右判别部，该左右判别部判别以所述显示部为中心所述操作者位于左侧还是右侧，
所述显示控制部根据所述左右判别部的判别结果，切换所述显示部的显示内容。
2.根据权利要求1所述的信息显示装置，其特征在于，
所述显示控制部根据所述距离变更显示于所述显示部的信息。
3.根据权利要求2所述的信息显示装置，其特征在于，
所述显示控制部根据所述距离变更显示于所述显示部的图像布局。
4.根据权利要求2所述的信息显示装置，其特征在于，
所述显示控制部根据所述距离变更显示于所述显示部的文字、图标以及指针中的至少1项的尺寸。
5.根据权利要求1所述的信息显示装置，其特征在于，
当所述距离超过所述第1设定距离时，所述显示控制部放大显示当所述距离在所述第1设定距离以下时显示于所述显示部的信息的一部分。
6.根据权利要求5所述的信息显示装置，其特征在于，
当所述距离超过所述第1设定距离时，所述显示控制部放大显示当所述距离在所述第1设定距离以下时显示于所述显示部的文字、图标以及指针中的至少1项。
7.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述显示控制部根据由所述识别功能设定部设定的所述能够识别的手势，变更显示于所述显示部的信息。
8.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述识别功能设定部预先存储比所述第1设定距离大的第2设定距离，以如下方式设定所述手势识别部能够识别的手势：当所述距离超过预先确定的所述第2设定距离时所述手势识别部能够识别的手势的个数，比当所述距离在所述第2设定距离以下时所述手势识别部能够识别的手势的个数少。
9.根据权利要求8所述的信息显示装置，其特征在于，
当所述距离超过所述第2设定距离时，所述显示控制部使所述显示部显示与当所述距离超过所述第1设定距离且在所述第2设定距离以下时显示于所述显示部的信息不同的信息。
10.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述手势检测部具有操作装置，该操作装置被保持在所述操作者的身体上，进行所述显示部的拍摄，发送通过所述拍摄而生成的图像数据。
11.根据权利要求10所述的信息显示装置，其特征在于，
所述距离估计部根据从所述手势检测部输出的图像数据，估计所述操作者与所述显示部之间的距离。
12.根据权利要求10所述的信息显示装置，其特征在于，
所述信息显示装置还具有干扰检测部，该干扰检测部检测通过所述手势检测部中的拍摄而生成的多帧图像中的移动，当在检测出的所述移动中包含规定的某一固定期间内的规则移动时，该干扰检测部将所述规则移动判断为干扰，生成基于所述判断的过滤信息，
所述距离估计部根据所述过滤信息校正多帧图像中的移动。
13.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述信息显示装置还具有存储部，该存储部将表示多个基准手势的基准手势信息和与所述多个基准手势对应的指示内容作为手势数据库进行存储，
所述手势识别部进行从所述手势检测部输出的所述手势信息与所述存储部中存储的所述基准手势信息的比较，根据所述比较的结果进行所述手势的识别。
14.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述信息显示装置还具有功能执行部，该功能执行部执行基于所述手势识别部的所述识别的结果的功能。
15.根据权利要求14所述的信息显示装置，其特征在于，
所述功能执行部向所述显示控制部输出基于所述手势识别部的所述识别的结果的信号。
16.根据权利要求1～6中的任意一项所述的信息显示装置，其特征在于，
所述信息显示装置还具有所述显示部。
17.一种信息显示装置，其特征在于，该信息显示装置具有：
显示控制部，其使显示部显示将多人中的一人识别为操作者的结果；
手势检测部，其生成基于由操作者执行的手势的手势信息；
手势识别部，其根据由所述手势检测部生成的所述手势信息进行所述手势的识别，输出基于所述识别的结果的信号；
识别功能设定部，其存储预先确定的第1设定距离，以如下方式设定所述手势识别部能够识别的手势：当所述操作者与所述显示部之间的距离超过所述第1设定距离时所述手势识别部能够识别的手势的个数，比当所述距离在所述第1设定距离以下时所述手势识别部能够识别的手势的个数少；
操作者识别部，其将所述操作者的脸部图像与所述操作者的属性信息彼此相关联地进行存储，确定所述操作者；
距离估计部，其根据由所述操作者识别部确定的所述操作者的属性信息和所述手势信息来估计所述距离；以及
干扰检测部，该干扰检测部检测通过所述手势检测部中的拍摄而生成的多帧图像中的移动，当在检测出的所述移动中包含规定的某一固定期间内的规则移动时，该干扰检测部将所述规则移动判断为干扰，生成基于所述判断的过滤信息，
所述手势检测部拍摄所述操作者的手势，
所述手势信息是通过所述拍摄而生成的图像数据，
所述距离估计部根据所述过滤信息校正多帧图像中的移动。
18.一种使显示部显示信息的信息显示装置执行的信息显示方法，其特征在于，该信息显示方法具有以下步骤；
显示控制步骤，使显示部显示将多人中的一人识别为操作者的结果；
手势检测步骤，生成基于由操作者执行的手势的手势信息；
手势识别步骤，根据在所述手势检测步骤中生成的所述手势信息进行所述手势的识别，生成基于所述识别的结果的信号；
识别功能设定步骤，以如下方式设定在所述手势识别步骤中能够识别的手势：当所述操作者与所述显示部之间的距离超过预先确定的第1设定距离时在所述手势识别步骤中能够识别的手势的个数，比当所述距离在所述第1设定距离以下时在所述手势识别步骤中能够识别的手势的个数少；
操作者识别步骤，将所述操作者的脸部图像与所述操作者的属性信息彼此相关联地进行存储，确定所述操作者；以及
距离估计步骤，根据在所述操作者识别步骤中确定的所述操作者的属性信息和所述手势信息来估计所述距离，
所述手势检测步骤生成的所述手势信息是通过对所述操作者的手势进行拍摄而生成的图像数据，
所述距离估计步骤具有左右判别步骤，该左右判别步骤判别以所述显示部为中心所述操作者位于左侧还是右侧，
所述显示控制步骤根据所述左右判别步骤的判别结果，切换所述显示部的显示内容。
19.一种使显示部显示信息的信息显示装置执行的信息显示方法，其特征在于，该信息显示方法具有以下步骤；
显示控制步骤，使显示部显示将多人中的一人识别为操作者的结果；
手势检测步骤，生成基于由操作者执行的手势的手势信息，所述手势信息是通过拍摄所述操作者的手势而生成的图像数据；
手势识别步骤，根据在所述手势检测步骤中生成的所述手势信息进行所述手势的识别，生成基于所述识别的结果的信号；
识别功能设定步骤，以如下方式设定在所述手势识别步骤中能够识别的手势：当所述操作者与所述显示部之间的距离超过预先确定的第1设定距离时在所述手势识别步骤中能够识别的手势的个数，比当所述距离在所述第1设定距离以下时在所述手势识别步骤中能够识别的手势的个数少；
操作者识别步骤，将所述操作者的脸部图像与所述操作者的属性信息彼此相关联地进行存储，确定所述操作者；
距离估计步骤，根据在所述操作者识别步骤中确定的所述操作者的属性信息和所述手势信息来估计所述距离；以及
干扰检测步骤，该干扰检测步骤检测通过所述手势检测步骤中的拍摄而生成的多帧图像中的移动，当在检测出的所述移动中包含规定的某一固定期间内的规则移动时，该干扰检测步骤将所述规则移动判断为干扰，生成基于所述判断的过滤信息，
所述距离估计步骤根据所述过滤信息校正多帧图像中的移动。
CN201680022591.XA 2015-04-20 2016-03-14 信息显示装置和信息显示方法 Active CN107533366B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-085523 2015-04-20
JP2015085523 2015-04-20
PCT/JP2016/057900 WO2016170872A1 (ja) 2015-04-20 2016-03-14 情報表示装置及び情報表示方法

Publications (2)

Publication Number Publication Date
CN107533366A CN107533366A (zh) 2018-01-02
CN107533366B true CN107533366B (zh) 2020-07-03

Family

ID=57144095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022591.XA Active CN107533366B (zh) 2015-04-20 2016-03-14 信息显示装置和信息显示方法

Country Status (5)

Country Link
US (1) US20180046254A1 (zh)
JP (1) JP6062123B1 (zh)
CN (1) CN107533366B (zh)
DE (1) DE112016001815T5 (zh)
WO (1) WO2016170872A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2019159936A (ja) * 2018-03-14 2019-09-19 沖電気工業株式会社 第１の情報処理システム、第２の情報処理システムおよび第３の情報処理システム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
CN109920309B (zh) * 2019-01-16 2023-02-03 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电（深圳）有限公司 以手势驱动的调理机
JP2020149152A (ja) * 2019-03-11 2020-09-17 株式会社デンソーテン 制御装置および制御方法
JP7304184B2 (ja) * 2019-03-27 2023-07-06 株式会社Subaru 車両の非接触操作装置、および車両
CN111736693B (zh) * 2020-06-09 2024-03-22 海尔优家智能科技（北京）有限公司 智能设备的手势控制方法及装置
KR102462140B1 (ko) * 2021-10-12 2022-11-03 (주)알피바이오 분배 장치 및 이를 구비하는 소형캡슐이 충진된 경질캡슐 제조 시스템
CN114898409B (zh) * 2022-07-14 2022-09-30 深圳市海清视讯科技有限公司 数据处理方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
CN202133990U (zh) * 2011-06-25 2012-02-01 北京播思软件技术有限公司 一种可准确定位光标的移动终端
CN102467234A (zh) * 2010-11-12 2012-05-23 Lg电子株式会社 在多媒体装置中提供显示图像的方法和多媒体装置
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5138833B2 (ja) * 2010-06-08 2013-02-06 パナソニック株式会社 映像生成装置、方法及び集積回路
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
JP5784245B2 (ja) * 2012-11-30 2015-09-24 日立マクセル株式会社 映像表示装置、及びその設定変更方法、設定変更プログラム
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
JP6204686B2 (ja) * 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
CN102467234A (zh) * 2010-11-12 2012-05-23 Lg电子株式会社 在多媒体装置中提供显示图像的方法和多媒体装置
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质
CN202133990U (zh) * 2011-06-25 2012-02-01 北京播思软件技术有限公司 一种可准确定位光标的移动终端
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム

Also Published As

Publication number Publication date
WO2016170872A1 (ja) 2016-10-27
JPWO2016170872A1 (ja) 2017-04-27
US20180046254A1 (en) 2018-02-15
CN107533366A (zh) 2018-01-02
DE112016001815T5 (de) 2017-12-28
JP6062123B1 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
CN107533366B (zh) 信息显示装置和信息显示方法
US11470377B2 (en) Display apparatus and remote operation control apparatus
US9939909B2 (en) Gesture manipulation device and method, program, and recording medium
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US9405373B2 (en) Recognition apparatus
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
US9823815B2 (en) Information processing apparatus and information processing method
KR20120080074A (ko) 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US10108334B2 (en) Gesture device, operation method for same, and vehicle comprising same
US20180316911A1 (en) Information processing apparatus
US10928919B2 (en) Information processing device and information processing method for virtual objects operability
US20160334880A1 (en) Gesture recognition method, computing device, and control device
KR20140079160A (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
CN112202962B (zh) 屏幕亮度调节方法、装置及存储介质
WO2014103217A1 (ja) 操作装置、及び操作検出方法
KR101590334B1 (ko) 영상 촬영 장치 및 그 제어방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US20230169939A1 (en) Head mounted display and setting method
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR20120115898A (ko) 촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR20130123316A (ko) 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant