CN108664173A - 投影型影像显示装置 - Google Patents

投影型影像显示装置 Download PDF

Info

Publication number
CN108664173A
CN108664173A CN201810532207.1A CN201810532207A CN108664173A CN 108664173 A CN108664173 A CN 108664173A CN 201810532207 A CN201810532207 A CN 201810532207A CN 108664173 A CN108664173 A CN 108664173A
Authority
CN
China
Prior art keywords
image
projection
finger
image projection
projection surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810532207.1A
Other languages
English (en)
Other versions
CN108664173B (zh
Inventor
长谷川实
中嶋满雄
松原孝志
成川沙希子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN201810532207.1A priority Critical patent/CN108664173B/zh
Publication of CN108664173A publication Critical patent/CN108664173A/zh
Application granted granted Critical
Publication of CN108664173B publication Critical patent/CN108664173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本发明提供一种投影型影像显示装置，对以桌面为主的投射物投射并显示图像，在规定的区域显示反映了用户的位置和手势动作的显示画面。在设置在桌面上的投影型影像显示装置中设置照明和摄像机，检测用户用手指做出的手势，与手势相应地例如显示菜单画面、操作指南。摄像机拍摄手指的阴影来检测手势。与手势相应地移动、旋转、分割、放大缩小显示画面，或者显示菜单画面。考虑桌子边缘的方向决定显示方向。

Description

投影型影像显示装置
技术领域
本发明涉及投射图像的投影型影像显示装置。
背景技术
投影型显示装置对桌子这样的水平面投射影像时，将显示方向控制为对于用户而言易于观看的方向的技术正在被研究。
在专利文献1中，叙述了设置在投射物上方的投影型显示装置具有摄像部，获取拍摄操作者的动作的用户界面图像，根据该动作检测的结果控制显示画面的技术。
另外，在专利文献2中，叙述了设置在投射物上方的显示装置识别用户的位置和动作、投射物的形状，与其相应地控制显示位置和显示方向等的方法。
现有技术文献
专利文献1：日本特开2009-64109号公报
专利文献2：日本特开2013-76924号公报
发明内容
发明要解决的课题
专利文献1和2的技术的意图在于从设置在投射物上方的显示装置向桌子这样容易移动的投射物显示影像，存在需要与投射物的移动相应地移动显示装置等易用性上的课题。
另外，存在为了进行动作识别而要拍摄的点距离为了识别用户的位置和动作等而在上方设置的显示装置的摄影部较远，要拍摄的点被用户的身体的一部分遮蔽而拍摄变得困难等识别精度上的课题。
另外，对于在识别了用户的位置和动作等的基础上，如何利用它改善显示装置的易用性，仍存在改进的余地。
用于解决课题的技术手段
为了解决上述课题，本发明是一种投影型影像显示装置，其特征在于，包括：投射影像的影像投射部；至少1个照明部，对与上述影像投射部投射的影像投射面至少一部分重叠的面照射与上述投射影像不同的照明光；利用上述照明光的反射光进行摄像的摄像部；检测部，基于上述摄像部所拍摄的图像至少检测操作者的手指与上述影像投射面接触的位置；和显示控制部，基于上述检测部的检测结果进行控制来改变上述影像投射部投射的影像中包括的至少一个部分影像。
另外，上述投影型影像显示装置特征在于，设置在上述影像投射面的面上，用于投射上述影像。
发明效果
根据本发明，能够提供一种易用性良好的投影型影像显示装置，具有能够有助于装置普及的效果。
附图说明
图1是表示用设置在桌上的投影型显示装置对桌上投射影像的例子的图。
图2是表示用手势输入控制显示画面的带有操作检测功能的投影型显示装置的结构的一例的图。
图3是表示用户对带有操作检测功能的投影型显示装置的显示画面进行操作的状态的一例的图。
图4A是表示用2个照明生成的用户的手指的阴影的形状的图。
图4B是表示用2个照明生成的用户的手指的阴影的形状的图。
图5是表示由用户的操作位置决定的阴影的形状的图。
图6是表示手指与操作面的间隙和阴影的形状的关系的图。
图7是说明根据特征点判定接近度的图。
图8是说明根据特征点决定接触点的图。
图9是表示将特征点设定为其他位置的情况的图。
图10是表示用多个手指操作的情况下的阴影的形状的图。
图11A是说明根据轮廓线决定指点方向的图。
图11B是说明根据轮廓线决定指点方向的图。
图11C是说明根据轮廓线决定指点方向的图。
图12A是表示操作检测方法的处理流程的图。
图12B是表示操作检测方法的处理流程的图。
图13是表示与手指的接近度相应的控制的一例的图。
图14A是表示与指点方向相应的控制的一例的图。
图14B是表示与指点方向相应的控制的一例的图。
图14C是表示与指点方向相应的控制的一例的图。
图15是表示靠近长方形桌子存在用户的情况的图。
图16是表示根据用户位置和长方形桌子的边缘的形状决定的显示方向的图。
图17是表示靠近圆形桌子存在用户的情况的图。
图18是表示根据用户位置和圆形桌子的边缘的形状决定的显示方向的图。
图19是表示检测靠近长方形桌子的多个人来决定显示位置和显示方向的一例的图。
图20是表示检测靠近圆形桌子的多个人来决定显示位置和显示方向的一例的图。
图21A是表示用手指操作进行的平行移动的一例的图。
图21B是表示用手指操作进行的平行移动的一例的图。
图22A是表示用手指操作进行的旋转移动的一例的图。
图22B是表示用手指操作进行的旋转移动的一例的图。
图23A是表示用手指操作进行的增加显示画面数的操作的一例的图。
图23B是表示用手指操作进行的增加显示画面数的操作的一例的图。
图24A是表示用手指操作进行的放大显示画面的操作的一例的图。
图24B是表示用手指操作进行的放大显示画面的操作的一例的图。
图25A是表示多手指操作的一例的图。
图25B是表示多手指操作的一例的图。
图26A是表示多手指操作的一例的图。
图26B是表示多手指操作的一例的图。
图27A是表示多手指操作的一例的图。
图27B是表示多手指操作的一例的图。
图28A是表示多手指操作的一例的图。
图28B是表示多手指操作的一例的图。
图29是表示外部可见光被异常遮挡时的动作的一例的流程图。
图30是表示操作指南显示的一例的图。
图31A是表示菜单或详细信息显示操作的一例的图。
图31B是表示菜单或详细信息显示操作的一例的图。
图31C是表示菜单或详细信息显示操作的一例的图。
图31D是表示菜单或详细信息显示操作的一例的图。
图32A是表示菜单或详细信息显示操作的一例的图。
图32B是表示菜单或详细信息显示操作的一例的图。
图32C是表示菜单或详细信息显示操作的一例的图。
图32D是表示菜单或详细信息显示操作的一例的图。
图33A是表示菜单或详细信息显示操作的一例的图。
图33B是表示菜单或详细信息显示操作的一例的图。
图33C是表示菜单或详细信息显示操作的一例的图。
图33D是表示菜单或详细信息显示操作的一例的图。
图34A是表示菜单或详细信息显示操作的一例的图。
图34B是表示菜单或详细信息显示操作的一例的图。
图34C是表示菜单或详细信息显示操作的一例的图。
图34D是表示菜单或详细信息显示操作的一例的图。
符号说明
100：摄像机，101、102：照明，104：阴影区域提取部，105：特征点检测部，106：接近度检测部，107：接触点检测部，108：轮廓检测部，109：方向检测部，110：控制部，111：显示控制部，112：驱动电路部，113：输入端子，114：输入信号处理部，115：投射部，201：投影型显示装置，202、203：显示画面，204：投射物，205：带有操作检测功能的投影型显示装置，3：用户，30、31、32：手指，401、402、403、404、405：阴影，501、502：轮廓线，601、602：特征点，700、701、702、703：指点方向，800：指针，P：接触点。
具体实施方式
以下用附图说明本发明的实施方式。
实施例1
图1示出了用设置在桌上的投影型显示装置201对于观看不同方向的多名用户向桌上投射旋转角度不同的2个影像202、203的例子。其中，在以下说明中以对“桌子”的影像投射为例进行说明，但该“桌子”是影像投射面的一例。因此，本实施例也可以将其他影像投射面(也可以是其他结构物的面或地面)作为对象。通过将投影型显示装置201设置在桌上，而基本上不需要在移动桌子时调整投影型显示装置201的位置。
在图1中，用虚线示出了投影型显示装置205能够光学投射图像的最大范围210。最大投射范围210在以下附图中也被示出。作为一个例子，投影型显示装置205在最大投射范围210中例如投射两个显示画面202和203。显示画面202和203对应于后述的OSD(屏幕显示)的画面。即，显示画面202、203中显示的图像是最大投射范围210中的部分图像。
例如，可以考虑对于桌子周围的人，将装置的设计图显示在最大投射范围210的整体中，在显示画面202、203中显示设计图的解说资料这样的使用方式。
图2中表示出了在这样的例子中，用户用手势输入控制显示画面的带有操作检测功能的投影型显示装置205的结构图的一例。带有操作检测功能的投影型显示装置205，包括摄像机100、2个照明101和102、阴影区域提取部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109、控制部110、显示控制部111、驱动电路部112、输入端子部113、输入信号处理部114和投射部115。控制部110生成由各检测部检测出的相对于操作面的手指的接近度、接触点坐标、指点方向等操作状态的检测结果数据。
另外，显示控制部111基于检测结果生成操作模式、指针显示位置、指针显示方向等显示控制数据，对于经过输入端子113和输入信号处理部114的影像信号，进行基于显示控制数据的处理。由驱动电路部112对于处理后的影像信号进行投射所需的处理，从投射部115对投射物投射。其中，图2省略了缓存和存储器等的记载，但只要适当搭载需要的缓存和存储器等即可。
图3是表示用户3对带有操作检测功能的投影型显示装置205的显示画面203进行操作的状态的一例的图。用户3使作为操作部的手指30接近投射物204的显示画面203、或者接触某个位置来进行要求的操作。即，例如在桌面即投射部204中，显示画面203也是用于用户3对投影型显示装置205进行操作的操作面。关于由用户3进行的操作，在后文中详细叙述。
带有操作检测功能的投影型显示装置205具备2个照明101和102、摄像机100。2个照明101和102照射用户3的手指30，摄像机100拍摄手指30及其附近。手指30接近或接触投射物204时手指30的阴影的形状变化，所以投影型显示装置205分析摄像机100的图像，检测手指的接近度、接触点、指点方向。
其中，通过将带有操作检测功能的投影型显示装置205设置在桌上，能够减少在照明101和102照射手指30时光被遮挡的机会。
接着，说明图2所示的带有操作检测功能的投影型显示装置205的各部的动作的一例。摄像机100由图像传感器、透镜等构成，拍摄包括用户3的作为操作部的手指30的图像。2个照明101和102由发光二极管、电路基板、透镜等构成，对投射物204和用户3的手指30照射照明光，在用摄像机100拍摄的图像内投影出手指30的阴影。
其中，也可以使照明101和102为红外光照明，摄像机100由红外光摄像机构成。由此，能够与从带有操作检测功能的投影型显示装置205投影的影像信号的影像即可见光影像分离地取得用摄像机100拍摄的红外光图像。其中，照明光、拍摄光只要是能够与投影型显示装置205的投影影像分离的可见光外的光线即可，所以不仅可以使用红外光，也可以使用紫外光。
阴影区域提取部104从用摄像机100得到的图像中提取阴影区域生成阴影图像。例如，从操作检测时的拍摄图像减去预先拍摄的投射物204的背景图像生成差分图像，对于差分图像的亮度用规定的阈值Lth二值化，将阈值以下的区域作为阴影区域即可。进而，对于所提取出的阴影进行将相互不连接的阴影的区域分别区分为另外的阴影的所谓标记(labeling)处理。通过标记处理，对于所提取出的多个阴影能够识别对应于哪个手指、即能够识别与1个手指对应的成对的2个阴影。
特征点检测部105检测由阴影区域提取部104提取出的阴影图像内的特定位置(以下称为特征点)。例如检测阴影图像内的前端位置(对应于指尖位置)作为特征点。为了检测特征点使用各种方法，但前端位置的情况下，能够根据构成该阴影图像的像素的坐标数据检测出来，或者也能够通过图像识别等检测出与特征点所具有的特有形状一致的部分。因为特征点从1个阴影检测出1处，所以对于1个手指(2个阴影)检测出2处。
接近度检测部106测定由特征点检测部105检测出的2个特征点之间的距离d，基于距离d检测手指与操作面的间隙s(接近度A)。由此，判定手指正在接触操作面、还是未接触操作面。
接触点检测部107在由接近度检测部106判定为手指正在接触操作面的情况下，基于其特征点的位置，检测手指对操作面的接触点，计算其坐标。
轮廓检测部108从由阴影区域提取部104提取出的阴影图像中提取阴影区域的轮廓。例如，对阴影图像内在一定方向上扫描来决定轮廓追踪的开始像素，逆时针地追踪开始像素的近邻像素来得到轮廓。
方向检测部109从由轮廓检测部108检测出的轮廓线中提取大致直线状的线段。然后，基于提取出的轮廓线的方向，检测操作面上的手指的指点方向。
其中，上述各检测部的处理不限于上述方法，也可以使用其他图像处理的算法。另外，上述各检测部不仅能够用电路基板构成的硬件，也可以用软件构成。
控制部110控制装置整体的动作，生成用各检测部检测出的相对于操作面的手指的接近度、接触点坐标、指点方向等的检测结果数据。
显示控制部111基于由控制部110生成的手指的接近度、接触点坐标、指点方向等的检测结果数据，生成操作模式、指针位置、指针方向等显示控制数据，对于经过输入端子113和输入信号处理部114的影像信号，进行基于显示控制数据的处理。
驱动电路部112对处理后的影像信号进行为了使其作为显示影像投射的处理。显示图像从投射部115被投射到投射物。
对以上各部配备于一个带有操作检测功能的投影型显示装置205的例子进行了说明，但也可以是其中一部分构成为另外的单元，通过传输线连接的结构。
图4A和图4B是表示用2个照明生成的用户的手指的阴影的形状的图。图4A是手指30与投射物204未接触的状态，图4B是正在接触的状态。
如图4A所示，手指30未接触投射物204的状态(间隙s)下，来自2个照明101、102的光被手指30遮挡，分别形成阴影401、402(用斜线表示)。在摄像机图像中，2个阴影401、402在手指30的两侧相互分离地存在。
另一方面，如图4B所示，手指30的指尖正在接触投射物204的状态(间隙s＝0)下，2个阴影401、402在手指30的指尖的位置接近地存在。其中，阴影401、402的一部分区域被隐藏在手指30的背后(背光处)，但该隐藏的部分不包括在阴影区域中。本实施例中，利用手指30接近投射物204时阴影401与阴影402的间隔(特别是特征点之间的距离)接近的性质，判定为手指30与操作面204的接触。
图5是表示用户的操作位置对阴影的形状的影响的图。此处，对于用户的操作位置从投射物204的中央向左侧偏离的情况(用户位置3)、和向右侧偏离的情况(用户位置3')的摄像机图像进行比较。此时，从摄像机100观察的用户的操作位置变化，但在其的摄像机图像中，相对于手指30(30')的阴影401(401')、402(402')的位置关系不变。即，与用户操作位置无关地，总是在手指30(30')的两侧存在阴影401(401')和402(402')。这是因为它由摄像机100与照明101、102的位置关系唯一决定。因此，无论用户在哪个位置对投射物204进行操作都能够检测出2个阴影401、402，本实施例的操作检测方法能够有效地应用。
图6是表示手指与操作面的间隙和阴影的形状的关系的图。在手指30的两侧形成的2个阴影401、402的间隔，因手指30与投射物204的间隙s而变化。为了定义2个阴影401、402的间隔，在各阴影401、402的内部设定特征点601、602(用×记号表示)，测定特征点之间的距离d。此处将特征点设定为阴影的前端位置(指尖位置)。手指30与投射物204的间隙s较大的情况下，2个阴影401、402的间隔较大，2个特征点601、602的距离d也较大。随着手指30接近投射物204，特征点601、602的距离d变小，手指30接触投射物204时(间隙s＝0)，特征点601、602的距离d成为最小值。
图7是说明接近度检测部106中的接近度的判定的图。此处，基于特征点之间的距离d进行手指的接近度A的判定。为了判定手指的接近度A，而规定对于特征点之间的距离d的4个阈值d1、d2、d3、d4(其中，d1<d2<d3<d4)。由此，将接近度A分类为5级(级别1～5)，级别值越大，手指30与投射物204的间隙s越小。首先，规定用于识别手指30接触了投射物204的状态(间隙s＝0)的阈值d1，在距离d<d1的情况下，判定为接近度A是最大级别5(接触状态)。对于除此以外的非接触状态，使用阈值d2～d4将接近度A分类为4级(级别4～1)。其中，d>d4的情况下，判定接近度A是最小级别1。本例中用4个阈值将接近度分类为5级，但接近度的分类数不限于此，与控制内容对应地适当设定即可。
图8是说明接触点检测部107中的接触点的决定的图。表示出了手指30接触了投射物204的状态下的阴影401、402的形状，此处将特征点601、602设定为各阴影401、402的前端位置。该情况下，因为2个特征点601、602与作为接触点的指尖位置近，所以能够将2个特征点601、602的中点P视为手指30与投射物204的接触点，计算其坐标。
上述例子中，将特征点601、602设定为各阴影401、402的前端位置，使用该方法易于设定特征点，并且因为接触点P的位置也存在于其附近而能够容易地决定。
图9是表示将特征点设定为其他位置的情况的图。图8中将特征点601、602设定为阴影401、402的前端位置，与此不同，图9中将特征点601'、602'设定为各阴影的长度方向中间位置。该情况下，特征点601'、602'之间的距离d'随着阴影401、402的间隔的变化而变化，所以能够进行手指30与投射物204的接近度A的判定。其中，该情况下的接触点P'在长度方向上与特征点601'、602'的位置偏离，所以通过预先求出从特征点601'、602'到预想的接触点P'的距离(修正量)、以此进行修正而能够求出接触点P'。同样，也能够将特征点设定为阴影401、402中的除此以外的位置。
图10是表示用多个手指操作的情况下的阴影的形状的图。在张开手的状态下使多个手指31、32……接触操作面时，对于各手指形成左侧的阴影411、421……和右侧阴影412、422……。然后，对于各阴影设定特征点。此处，表示出了与阴影411、412对应的特征点611、612，和与阴影421、422对应的特征点621、622。通过测定对应的特征点611、612、或者特征点621、622之间的距离d，能够求出各手指31、32的接近度和接触点。由此，根据本实施例，即使在张开手的状态下也能够对多个手指的接触进行独立地检测，所以能够应用于多点触控操作。
图11A～图11C是说明方向检测部109中的指点方向的决定的图。表示出了使手指30的方向(指点方向)倾斜时的阴影401、402的形状，阴影401、402的方向也随着指点方向的变化而变化。为了检测指点方向，首先用轮廓检测部108检测与阴影401、402对应的轮廓线501、502。其中，在轮廓线的检测中，除去指尖等的曲线部分，检测由大致直线状的线段构成的轮廓线。之后，方向检测部109用以下方法决定指点方向。
图11A中，使用与阴影401、402对应的内侧的轮廓线501、502。然后，将内侧的轮廓线501、502的倾斜方向701、702中的任一者决定为指点方向。
图11B中，使用与阴影401、402对应的外侧的轮廓线501'、502'。然后，将外侧的轮廓线501'、502'的倾斜方向701'、702'中的任一者决定为指点方向。
图11C中，使用与阴影401、402对应的内侧的轮廓线501、502。然后，将内侧的轮廓线501、502的中线的倾斜方向703决定为指点方向。该情况下，因为是根据2个轮廓线501、502的平均方向求出，所以精度更高。此外，也可以将外侧的轮廓线501'、502'的中线方向作为指点方向。
图12A和图12B是表示实施例1中的操作检测方法的处理流程的图。图12A是接近度和接触点检测的流程，图12B是指点方向检测的流程。
首先，从图11A的接近度和接触点的检测方法开始说明。
在S1001中，阴影区域提取部104从用摄像机100拍摄的图像减去背景求出差分图像，将亮度在阈值Lth以下的部分提取为阴影区域。此时，对于提取出的阴影进行将相互不连接的阴影的区域分别区分为另外的阴影的所谓标记处理。
在S1002中，特征点检测部105对于标记处理后的各阴影检测特征点。例如，如图6所示，检测出各阴影401、402的前端位置作为特征点601、602。
在S1003中，测定检测出的2个特征点601、602之间的距离d。
在S1004中，接近度检测部106基于距离d判定手指30与投射物204的接近度A。在判定中，例如使用图7对距离d与阈值d1～d4进行比较，将接近度A分类为级别1～5。然后，在d<d1的情况下，判定为接近度A＝5(接触状态)。
在S1005中，判定所判定出的接近度A是否是接触时的级别(＝5)。如果判定结果是接近度A＝5则前进至S1006，除此以外(非接触状态)的情况下结束。
在S1006中，接触点检测部107检测手指30与投射物204的接触点。例如，如图8所示，将2个特征点601、602的中点P作为接触点，计算其坐标。特征点的设定方法与上述(前端位置)不同的情况下，根据该设定方法修正接触点位置即可。
其中，在操作状态下反复执行以上处理流程，进行追踪操作状态的变化的操作检测。
接着，说明图12B的指点方向的检测方法。
在S1011中，阴影区域提取部104从由摄像机100拍摄的图像减去背景求出差分图像，将亮度在阈值Lth以下的部分提取作为阴影区域。这与上述S1001相同。
在S1012中，轮廓检测部108对于标记处理后的各阴影检测轮廓线(大致直线部)。例如，如图11C所示，检测阴影401、402的内侧的轮廓线501、502。此时，除去这些轮廓线中的指尖等的曲线部分，检测出大致直线状的线段。
在S1013中，方向检测部109将各轮廓线501、502的中线的倾斜方向703判定为指点方向。其中，指点方向的判定也可以是图11A或图11B所示的方法。
其中，在操作状态下反复执行以上处理流程，进行追踪操作状态的变化的操作检测。
另外，图12A的接近度和接触点的检测处理和图12B的指点方向的检测处理能够并行地进行。
图13是表示显示控制部121中的与手指的接近度相应的控制的一例的图。
表示出了与手指30和投射物204的接近度A相应地切换操作模式和指针显示。
关于操作模式，在接近度A为最高的级别5(接触状态)时设为接触操作模式。在除此以外的非接触状态下在接近度A为比较高的级别4、3时切换为空中操作模式，在接近度A为比较低的级别2、1时切换为操作停止模式。通过这样的控制，在用户3使手指30接触投射物204的状态之外，在从投射物204悬浮的状态下也能够进行操作对象装置的操作。另外，手指30离开投射物204一定距离以上的情况下，切换为操作停止模式，能够防止用户不想要的操作。
另外，关于指针显示，以在接近度A为比较高的级别5、4时显示指针、在接近度A为比较低的3、2、1时不显示指针的方式进行切换。通过这样的控制，用户3能够在使手指30接触投射物204之前的阶段确认指针，易于在接触时对准指针的位置。通过以上控制，提高了操作对象装置的操作性。
图14A～图14C是表示显示控制部121的与指点方向相应的控制的一例的图。
图14A是与指点方向700相应地修正指针800的显示位置的情况。显示指针800时，在与接触点检测部107中检测出的接触点P完全相同的位置显示时，指针800被手指30遮挡而难以被用户3看见。于是，沿着由方向检测部109检测出的指点方向700向指尖前方偏移规定量地显示指针800。由此，指针800易于被用户3看见。
另外，除以上之外，也可以与手指30的接近度A相应地变更指针800的显示位置的偏移量(修正量)。例如在接近度A较低时增大修正量，在接近度A较高时减小修正量。由此，指针800的位置随着用户3的手指30接近投射物204而接近指尖，使用户3能够以指针800的显示位置为定位标识地进行精度良好的操作。
图14B是与指点方向700相应地修正指针800的显示方向的情况。显示箭头形状的指针800时，例如如图14A所示与指点方向700无关地总是在一定方向上显示时，指针800的显示方向与指点方向700不一致，会对用户3造成不协调感。因此，要使指针800的显示方向与方向检测部109中检测出的指点方向700一致地进行显示。由此，与指点方向700的不一致消除，能够消除对于用户3的不协调感。
图14C是与指点方向700相应地修正接触点的位置的情况。接触点检测部107中检测出的接触点P由特征点的位置决定，所以实际上有时会偏离与投射物204接触的位置。例如，将特征点设为阴影的前端位置的情况下，与实际的接触位置(大多是指腹的部分)相比向手指的前端侧(指尖)的位置偏移。于是。沿着方向检测部109检测出的指点方向700，将接触点位置向指根侧修正规定量(P→P”)。由此，能够更加正确地取得手指30与投射物204的接触点。
以上是带有操作检测功能的投影型显示装置205中的基于指点检测等的用户3的操作内容的检测方法。以上说明的方式的基于指点手势的接触点和指点方向的检测方式中，只要是包括手指的细长物体就能够操作。这与从笔尖发出规定的光进行识别处理的发光笔方式相比，不需要确保专用的发光笔等，在这一点上易用性大幅改善。
接着，说明用户3使用如以上说明的指点等操作实现的画面操作。
操作前的显示画面数、显示的方向、显示的位置、显示的大小等按以下所示的例子等的方法决定。
例如，带有操作检测功能的投影型显示装置205中可以是缺省设定的显示画面的设定。
另外，用户也可以进行条件设定来手动决定显示画面数、显示的方向、显示的大小等。
另外，也可以通过上述指点检测等，推测手指或手臂伸出的方向来确定人存在的位置，或者根据伸出的手指或手臂的数量确定用户的人数等，由此设定易于观看的显示方向和显示画面数。
另外，也可以识别用户的人数和位置、投射物的形状等，与其相应地决定显示画面数、显示位置、显示方向、显示大小等。这样的用户的人数和位置、投射物的形状等的识别中，设置在桌上的投影型显示装置因为与识别物的距离较近，且与识别物之间被障碍物遮蔽的频率较低，所以是有利的。
在图15～18中表示出识别投射物的形状等、决定显示画面的显示方向的方法的例子。图15和图16是对长方形桌子投射的情况的例子。如图15所示，用带有操作检测功能的投影型显示装置205的摄像机100拍摄并识别出用户3位于长方形桌子即投射物204附近。进而，识别出用户3与桌子边缘的最接近部302的桌子边缘的位置。将显示方向决定为该302的位置的边缘方向与显示影像的底边平行、并且302的位置为下侧的方向、即如图16的显示影像202所示地显示的方向。
图17和图18是对圆形桌子投射的情况的例子。如图17所示，用带有操作检测功能的投影型显示装置205的摄像机100拍摄并识别出用户3位于圆形桌子即投射物204附近。并且，识别出用户3与桌子边缘的最接近部303的桌子边缘的位置。将显示方向决定为该303的位置的边缘方向与显示影像的底边平行，并且303的位置为下侧的方向、即如图18的显示影像202所示地显示的方向。
其中，在该图15～18的说明中，表示出了用摄像机100进行用户3的位置和投射物的形状的拍摄的例子，但摄像机100基本上是用于拍摄指点检测等的用户3的操作的，所以也可以具备用于拍摄用户3的位置和投射物的形状的另外的摄像机。
如图3所示显示多个影像的情况下，对多人的位置进行同样的作业，分别决定显示的方向即可。在图19和20中表示出显示多个显示影像的情况的例子。两者都检测多人及其位置，根据最接近其位置的桌子边缘的位置和形状决定显示位置和显示方向。
这样，能够根据最接近用户3的桌子边缘的形状自动地决定显示方向。
在图21A～图24B中表示出通过用户3的使用手势的画面操作使利用这些方法决定的显示画面移动的情况的例子。假设各图中表示出的指尖与投射物204接触。例如图21A表示操作前的状态、图21B表示操作后的状态。图22A～图24B也同样。
在图21A以后的大多附图中与图1同样，用虚线表示出了投影型显示装置205能够光学投射图像的最大范围210。如上所述，显示画面202和203如OSD那样显示在最大投射范围210的显示范围内。即，显示画面202、203是可投射范围210中的部分图像。
图21A和图21B是平行移动的例子。图21A中使接触显示画面203的手指不改变方向地在上下方向、左右方向、斜方向的任一方移动。这样，如图21B所示，显示画面中仅有手指接触的显示画面与手指的动作同样地进行移动。由此，用户能够将显示画面之一移动至要求的位置。
图22A和图22B是旋转移动的例子。图22A中使接触显示画面203的手指旋转。这样，如图22B所示，显示画面中仅有手指接触的显示画面与手指的动作一致地旋转显示方向。由此，能够将显示画面之一旋转为用户要求的方向。
本实施例的结构中，能够检测指点方向。由此，如图22B所示，在不改变接触点的位置自身地旋转手指方向的情况下也能够实现显示画面的旋转操作。这是用平板终端等的触摸传感器难以实现的旋转操作，用本实施例的结构才能够实现。
另外，在显示画面的旋转操作时，因为投影型显示装置205的可光学投射范围的形状与作为旋转对象的显示画面的位置、形状的关系，存在不能够保持旋转前的显示画面的大小地旋转的情况。该情况下，在旋转动作的过程中并行地进行显示画面的缩小处理即可。向一方的方向旋转时需要显示画面的缩小处理的情况下，旋转至中途使显示画面缩小后，向反方向旋转恢复原本角度时，可以进行放大处理恢复原本的大小。
图23A和图23B是增加显示画面数的操作的例子。图23A中使接触显示画面200的外侧的手指向对边的外侧移动，由此进行将显示画面切为两半那样的动作。这样，如图23B所示，从显示画面被切为两半的位置如细胞分裂那样生成2个显示与显示画面200中所显示的内容相同的内容的画面(显示画面202、203)。由此，能够如用户所要求地增加显示画面数。
图24A和图24B是放大显示画面的操作的例子。图24A中使接触显示画面202的2个手指就好像放置于长方形的相对的顶点上一般地定位，图24B中以拉伸连接该相对的顶点的对角线的方式扩大2个手指之间的距离。这样，仅有受操作的显示画面202与拉伸量相应地放大画面。如果向反方向移动，则也能够实现缩小画面而能够使之前脱离显示画面202外的区域显示的操作。由此，能够如用户所要求地进行显示画面的放大缩小。
接着，用图25A至图28B说明使用多个手指的显示画面操作的例子。
图25A和图25B是通过2个手指的操作旋转显示画面203的例子。如图25A所示，在2个手指两者都在显示画面203内与桌子接触的情况下，如图25B所示，检测出2个手指以改变连接2个手指的接触点的直线的倾斜的方式移动时，带有操作检测功能的投影型显示装置205与该倾斜的变化对应地变更显示画面203的显示角度。由此，能够进行显示画面的旋转处理。
与此相对，如图26A所示，即使在2个手指两者都与桌子接触的情况下，在2个手指的接触点两者不在一个显示画面内的情况(例如，仅有一个手指的接触点在显示画面203内，另一个手指的接触点在显示画面203外的情况等)下，如图26B所示，即使2个手指以改变连接2个手指的接触点的直线的倾斜的方式移动，也可以不进行显示画面203的显示角度的变更。
可以由控制部110将由摄像机100检测出的多个手指中的、与桌子接触的时间差在规定时间内的2个手指判断为在图25A～图26B中所说明的处理中作为对象的手指的组合。例如，控制部110检测出由摄像机100检测出的多个手指中的、与桌子接触的时间差在1秒以内的2个手指，判断为这2个手指的组合是在图25A～图26B中所说明的处理中作为对象的手指的组合即可。
其中，上述2个手指的接触位置、和对于显示画面203的范围的判断处理中使用的这2个手指的接触位置，使用这2个手指从空中接触桌子的最初的位置即可。这些手指接触桌上的同时从显示画面203外移动至画面内等情况下，也可以不开始显示画面的旋转处理。这样，对于是否开始旋转处理的判断，通过仅用2个手指从空中接触桌子的最初的位置进行判断，能够使处理简化，具有控制部110的处理效率提高的效果。另外，根据上述判断处理，能够在多个显示画面中，明确地确定作为旋转处理操作的对象的显示画面。
接着，图27A和图27B是通过2个手指的操作放大显示画面202的例子。如图27A所示，2个手指两者都在显示画面202内与桌子接触的情况下，如图27B所示检测出2个手指以连接2个手指的接触点的直线的距离变长的方式移动时，带有操作检测功能的投影型显示装置205与该长度的变化对应地变更显示画面202的显示尺寸。由此，能够进行显示画面的放大处理。此外，连接2个手指的接触点的直线的距离变短的情况下，进行显示画面的缩小处理。
与此相对，如图28A所示，即使在2个手指两者都与桌子接触的情况下，在2个手指的接触点中的一个不在一个显示画面内的情况(例如，仅有一个手指的接触点在显示画面202内，另一个手指的接触点在显示画面202外的情况等)下，如图28B所示，即使2个手指以连接2个手指的接触点的直线的长度变化的方式移动，也可以不进行显示画面202的尺寸的变更。
与图25A～图26B的例子同样，由控制部110将由摄像机100检测出的多个手指中的、与桌子接触的时间差在规定时间内的2个手指判断为在图27A～图28B中所说明的处理中作为对象的手指的组合。例如，控制部110检测出由摄像机100检测出的多个手指中的、与桌子接触的时间差在1秒以内的2个手指，判断这2个手指的组合是在图27A～图28B中所说明的处理中作为对象的2个手指的组合即可。
其中，上述2个手指的接触位置、和对于显示画面202的范围的判断处理中使用的这2个手指的接触位置，使用这2个手指从空中接触桌子的最初的位置即可。在这些手指接触桌上的同时从显示画面202外移动至画面内等的情况下，也可以不开始显示画面的尺寸变更处理。这样，对于是否开始尺寸变更处理的判断，通过仅根据2个手指从空中接触桌子的最初的位置进行判断，能够使处理简化，具有控制部110的处理效率提高的效果。另外，依据上述判断处理，能够在多个显示画面中，明确地确定作为尺寸变更处理操作的对象的显示画面。
依据以上用图25A至图28B所说明的、使用多个手指的显示画面操作，能够明确地确定作为旋转处理和尺寸变更处理的对象的显示画面。另外，能够使控制部的处理高效化。
如以上说明，利用能够设置在桌上的带有操作检测功能的投影型显示装置，能够精度良好地进行基于指点检测等的操作。
实施例2
接着，说明本发明的实施例2。
在实施例1中表示出了图2所示的带有操作检测功能的投影型显示装置中具有照明101、102，检测来自不同的2个方向的照明光的阴影的方法。采用可见光作为该照明光时，由于指点操作产生的阴影会映在显示画面上，存在显示画面难于观看的可能性。于是，优选使用红外光等非可见光的照明作为照明光，使用红外摄像机等对应的摄像机作为摄像机100。
作为像这样使用红外光等非可见光的情况的注意点，是存在因为眼睛看不见非可见光，所以在照明101、102前放置障碍物等遮挡照明光的情况下，不能进行指点检测等，而且用户注意不到这一点的问题。
为了避免这样的问题，能够通过具有在摄像机100检测出妨碍指点检测这样的状况的情况下对用户发出警告的功能而解决。
在图29中示出使该功能工作的情况下的流程图。
在S2001中假设发生了如上所述的状况。在S2002中摄像机100拍摄该状况。在S2003中控制部110根据摄像机所拍摄的图像判断不能够进行指点检测，对显示控制部111进行通知。
作为检测的基准，例如可以列举长时间拍摄到手指等预先设定的检测物以外的物体、在宽范围中非可见光被遮挡、拍摄到长时间不动的物体等。
在S2004中显示控制部111生成在显示画面中插入了“指点检测异常。请确认摄像机和照明部与显示画面之间是否存在异物。”等警告字幕的影像，在S2005中显示所生成的影像。持续该显示直到摄像机100拍摄到非可见光的遮挡物被除去了的状况。
在S2006中控制部110根据摄像机100所拍摄的图像判定非可见光的遮挡物是否已被除去。如果光的遮挡物被除去，则在S2007中控制部110对显示控制部111通知指点的检测功能已恢复。
在S2008中显示控制部111生成删除了警告字幕的通常的显示画面，在S2009中返回到通常的显示画面。以上是一系列动作的例子。
以上的说明中说明了通过在显示画面中插入警告字幕来向用户通知妨碍指点检测等的非可见光的遮挡这样的异常的方法，但也可以是用声音警告、或预先具备的警告灯点亮等其他方法的警告。
如以上所说明，通过具备检测妨碍指点检测等的状况的功能，具备对用户警告的功能，能够防止在用户没有注意到时指点检测等功能中断的状况。
实施例3
接着，说明本发明的实施例3。
本发明的实施例1中所说明的投影型显示装置中，如以上所说明，能够通过观看者的手势操作(指点操作)进行各种画面操作。但是，在本实施例的投影型显示装置中能够输入的操作，也有手指触摸检测型平板等中不可能的操作，存在用户不习惯的情况。于是，在本发明的实施例3的投影型显示装置中，在实施例1或实施例2的投影型显示装置的结构和功能之外，还搭载操作指南显示功能。
在图30中表示出本实施例中的操作指南显示的一例。图30中，投影型显示装置205在投影到桌上的显示画面3000中显示一个显示内容。显示内容中的上下左右的方向如图所示。投影型显示装置205的指南显示的一例，如图30所示，对于该显示内容，以分别不同的角度显示多个操作指南显示3001、3002、3003。该操作指南显示的一例，是所谓的OSD(屏幕显示)，基于投影型显示装置205内部的未图示的存储部中存储的数据，通过控制部110的控制，由显示控制部111叠加在输入信号中进行显示。
图30中，不仅表示出以与显示内容的上下左右方向相同的方向显示的操作指南3001，也表示出以与显示内容不同方向显示的操作指南显示3002、3003。由此，站在桌子周围的用户中，不仅对从正面观看显示内容的观看者，也能够对从正面以外的角度观看显示内容的观看者告知操作的方法。
特别是，如图30所示，在矩形的显示画面3000的边A～D中，在一个边A侧设置了投影型显示装置205的状况下，在该边A侧存在能够进行手势操作的观看者的可能性较低。此处，在设置有投影型显示装置205的边A侧以外的另外3个边B、C、D侧存在观看者，从其中一个边(例如边C)的位置在易于观看的方向上显示了显示内容的情况下，如果仅显示与该显示内容的上下左右方向相同的方向的操作指南3001，则位于其余2边(例如边B、D)侧的观看者不了解操作的方法，不得不特意移动至边C的位置。
与此相对，本实施例的投影型显示装置205中，能够以分别不同的角度显示多个操作指南显示，所以如图30所示，以3个边B、C、D的各边的方向与多个操作指南显示3001、3002、3003的左右方向对应的方式显示即可。如果这样显示，则位于例如设置有投影型显示装置205的一个边A的方向以外的其他3个边B、C、D侧的观看者都易于理解操作的方法。
其中，操作指南显示可以是图示有操作手势的图，也可以是图示有操作手势的图及其说明文本，也可以是说明操作手势的文本，也可以是表示出操作手势的动画。或者也可以是它们的组合。
另外，关于操作指南显示的时刻，可以在未图示的遥控器按钮的操作输入的时刻进行。或者，也可以在显示画面的角落较小地显示问号，在检测出观看者对该问号的手指触摸或手势操作时，进行如图30所示的操作指南显示。
根据以上说明的本实施例的操作指南显示，能够进行对于观看者而言易用性良好的操作指南显示。
实施例4
接着，说明本发明的实施例4。
本发明的实施例1中所说明的投影型显示装置中，如以上所说明，能够通过用户的手势操作(指点操作)进行各种画面操作。本实施例中，在以下说明在实施例1、2、3的投影型显示装置的结构和功能之外，还搭载了关于显示影像的详细信息和菜单画面显示功能的例子。
图31A～图31D表示在投影型显示装置205在桌子204上显示一个显示画面200的情况下，要进行显示影像的详细信息或菜单画面显示时的动作。
作为要进行显示影像的详细信息或菜单画面显示时识别的手势的例子，可以使用如图31A所示的处于指点方向不同的2个手指接触的状态的手势。此处，2个接触点不需要完全接触，可以以在设计上设定的规定距离以下作为条件。另外，作为要进行显示影像的详细信息或菜单画面显示时识别的手势的另一例，也可以使用如图31B所示的处于3个手指接触显示面的状态的手势。
此外，图31A和图31B所示的手势只是一例，只要是能够与其他操作区分的手势，则也可以是其他手势。
本实施例中，在检测出图31A或图31B所示的手势的情况下，投影型显示装置205的控制部110判别为详细信息显示操作，如图31C所示显示详细信息3101。
另外，作为另一例，在检测出图31A或图31B所示的手势的情况下，投影型显示装置205的控制部110判别为菜单画面显示操作，如图31D所示显示菜单画面3102。
另外，作为另一例，在检测出图31A或图31B所示的手势的情况下，投影型显示装置205的控制部110也可以判别为进行详细信息显示和菜单画面显示两者的操作，同时进行图31C所示的详细信息3101的显示和图31D所示的菜单画面3102的显示。
此外，关于图31C所示的详细信息3101的显示和图31D所示的菜单画面3102的显示的位置，只要在显示画面200中或者附近的规定位置显示即可。另外，作为另一例，也可以在与图31A所示的手势的手指的接触点或检测出图31B所示的手势的位置(3个手指的中央的手指的位置)相应的位置，显示详细信息3101或菜单画面3102。
其中，作为详细信息3101的例子，可以是正在显示的影像的性质(输入时的分辨率、帧速率、隔行扫描、逐行扫描等)，在输入影像中包括标题信息等附加信息的情况下，也可以是该信息。另外，具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下，也可以是识别这些输入源的信息。
另外，作为菜单画面3102中表示出的菜单项目的例子，可以显示菜单中使用的语言切换菜单、显示影像的亮度、对比度等的画质调整菜单、梯形修正处理菜单等。另外，具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下，也可以显示用于进行输入源的切换的菜单项目。
接着，用图32A和图32B说明在进行了图23A和图23B中所说明的显示画面数的增加操作之后，按每个显示画面进行个别详细信息显示或个别菜单画面显示的情况的例子。
图32A和图32B是与图23A和图23B同样的显示画面数的增加操作的手势及其显示例，因为已在实施例1中说明所以省略说明。图32C表示出了在通过显示画面数的增加操作而生成的多个显示画面202、203中，在显示画面202内包括手指的接触点的位置检测出了图31A所示的手势的例子。该情况下，投影型显示装置205的控制部110如图32D所示，在显示画面202附近(或者也可以在画面内)，进行关于显示画面202的个别详细信息显示或个别菜单画面显示、或者将它们组合了的显示。
该情况下，图32D所示的个别菜单画面显示关于显示画面202的个别的菜单项目。例如，可以显示关于显示画面202的显示影像的画质调整菜单(不进行关于显示画面203的显示影像的画质调整)。另外，具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下，也可以显示用于进行显示画面202中显示的显示影像的输入源的切换(不进行显示画面203的显示影像的输入源的切换)的菜单项目。另外，仅对作为多个显示画面之一的显示画面202进行梯形修正是不自然的，所以在关于该显示画面202的个别菜单显示中，可以不显示梯形修正的菜单项目，或者采用虽然显示但不能操作的方式。
同样，图32D所示的个别详细信息，显示关于显示画面202的个别的详细信息。显示显示画面202中示出的影像的性质、标题信息等、识别输入源的信息等即可。具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下，能够从图32D所示的关于显示画面202的菜单画面进行输入源的切换。此时，显示画面202和显示画面203中显示的影像的性质、标题信息、输入源等不同，所以能够分别地确认各个显示画面的详细信息对于观看者而言是有益的。
其中，图32A～图32D中，作为用于个别详细信息显示或个别菜单画面显示的手势，使用了图31A的手势的例子，但也可以使用图31B的手势。
接着，用图33A～图33D，说明在进行了图22A、图22B、图25A、图25B中所说明的显示画面的旋转操作之后，进行每个显示画面的个别详细信息显示或个别菜单画面显示的情况的例子。
图33A和图33B是与图22A和图22B同样的显示画面的旋转操作的手势及其显示例，因为已在实施例1中说明所以省略说明。图33C表示出了在多个显示画面202、203中，一个显示画面203在通过显示画面的旋转操作被旋转后的状态下，在显示画面203内包括手指的接触点的位置检测出了图31B所示的手势的例子。该情况下，投影型显示装置205的控制部110如图33D所示，在显示画面203的附近(或者也可以在画面内)，进行关于显示画面203的个别详细信息显示或个别菜单画面显示、或者将它们组合的显示，此时，以与显示画面203的显示角度对应的角度，进行这些个别详细信息显示或个别菜单画面显示。关于显示画面203的个别详细信息显示或个别菜单画面显示的内容，与图32A～图32D中的关于显示画面202的说明相同，所以省略再次说明。
对于旋转后的显示画面，位于易于观看该显示画面的位置的观看者进行手势操作来显示个别详细信息显示或个别菜单画面显示的可能性较高。因此，如图33D所示，通过以与显示画面的角度对应的角度显示个别详细信息显示或者个别菜单画面显示，具有观看者易于操作正在观看的画面的优点。
其中，图33A～图33D中，作为用于个别详细信息显示或个别菜单画面显示的手势，使用了图31B的手势的例子，但也可以使用图31A的手势。
接着，用图34A～图34D说明在显示多个显示画面的情况下，不是显示每个画面的个别菜单，而是显示以全部显示画面为对象的总体菜单的例子。图34A～图34D的例子中，作为用于显示总体菜单的手势，与图32A～图32D或图33A～图33D同样地使用与图31A或图31B相同的手势，但手势的检测位置与图32A～图32D或图33A～图33D不同。例如，图31A的手势的手指的接触点在多个显示画面外被检测出的情况下，判别为总体菜单显示开始的手势。同样，与图31B相同的手势中的3个手指在多个显示画面外被检测出的情况下，判别为总体菜单显示开始的手势。以下，用附图具体说明。
图34A的例子中，投影型显示装置205在桌子204上显示了显示画面202和显示画面203。此处，检测出了图31A的手势，在既不是显示画面202也不是显示画面203的位置检测出了手指的接触点。该情况下，投影型显示装置205的控制部110控制显示控制部111，如图34B所示，显示总体菜单3401。另外，也可以显示关于画面总体的详细信息即总体详细信息3402。
此处，总体菜单3401的菜单项目可以显示同时进行对全部显示画面的显示影像的画质调整的总体画质调整的菜单。另外，也可以显示用于切换总体菜单中使用的语言的语言切换菜单项目。另外，对于在个别画面中的个别菜单显示中不能使用的梯形修正的菜单项目，也可以使其能够在总体菜单3401中使用。
另外，作为总体详细信息3402的例子，可以是显示画面的数量等。另外，具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下，也可以显示多个显示画面和输入源的一览表。
其中，图34A的例子中，也可以使用图31B的手势代替图31A的手势。
接着，在图34C的例子中，投影型显示装置205在桌子204上显示了显示画面202和显示画面203，但显示画面203因旋转处理而以与显示画面202不同的角度显示。此处，检测出了图31A的手势，在既不是显示画面202也不是显示画面203的位置检测出了手指的接触点。该情况下，投影型显示装置205的控制部110控制显示控制部111，如图34D所示，显示总体菜单3401。另外，可以如图34D的显示例所示，此时显示关于多个显示画面各自的个别详细信息3403、3404。
此处，在图33D的例子中，显示个别详细信息时，以与个别的显示画面的显示角度对应的角度进行了显示。与此相对，如图34D所示，在显示总体菜单3401的情况下，为了使总体菜单3401的操作者易于观看，而优选与个别的显示画面203的显示角度无关地以与总体菜单3401的显示角度相同的角度进行显示。
以上说明中，在图34B的例子中与总体菜单显示一同进行总体详细显示，在图34D的例子中与总体菜单显示一同进行个别详细信息显示，但其也可以是任意的显示。另外，也可以仅显示总体菜单。进而，也可以将总体菜单显示和总体详细显示和个别详细信息显示全部显示。
此外，本实施例中说明的菜单画面(个别菜单画面、总体菜单画面)中，也可以设置设定各实施例中所说明的各手势识别功能的ON/OFF的菜单项目。例如，可以使全部手势识别功能OFF。该情况下，基于与遥控器和主体的按钮操作相应的操作信号操作投影型显示装置205。另外，也可以设为能够使图21A所示的一个手指移动手势的识别处理或图21B所示的一个手指旋转手势的识别处理等个别地OFF。这在用指示棒等进行说明时存在误识别的可能性等情况下是有效的。
另外，关于旋转动作，也可以显示选择识别图21B所示的一个手指旋转手势与图25A和图25B所示的2个手指旋转手势中的哪一方的菜单项目。这样，根据情况，有时在投影型显示装置205按要识别的每个手指个别地设定ON/OFF时是具有优势的。这样的情况下，例如构成为对于图21A之后所说明的全部手势都能够从菜单画面分别设定ON/OFF即可。在个别菜单画面的情况下，仅对于对应的显示画面应用这些手势的ON/OFF设定即可。
根据以上说明的本实施例的详细信息显示和菜单显示，能够进行对于观看者而言易用性良好的详细信息显示和菜单显示。

Claims (11)

1.一种投影型影像显示装置，其特征在于，包括：
投射影像的影像投射部；
至少1个照明部，其对与所述影像投射部投射的影像投射面至少一部分重叠的面照射与所述影像投射部投射的所述影像不同的照明光；
利用所述照明光的反射光进行摄像的摄像部；
检测部，其基于所述摄像部所拍摄的图像至少检测操作者的手指与所述影像投射面接触的位置；和
显示控制部，其基于所述检测部的检测结果进行控制来改变所述影像投射部投射的影像中包括的至少一个部分影像显示区域，
所述显示控制部的控制状态包括：
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的外侧位置出发，与所述影像投射面接触的同时进入并横穿所述部分影像显示区域的情况下，基于所述手指的横穿动作分割所述部分影像显示区域，新生成多个部分影像显示区域的第一控制状态；和
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的内侧位置出发，与所述影像投射面接触的同时进行移动的情况下，基于所述手指的移动使所述部分影像显示区域移动的第二控制状态。
2.如权利要求1所述的投影型影像显示装置，其特征在于：
包括2个照明部，其从相互不同的位置对与所述影像投射部投射影像的影像投射面至少一部分重叠的面照射与所述影像投射部投射的投射影像不同的照明光。
3.如权利要求1或2所述的投影型影像显示装置，其特征在于：
所述影像投射部能够以所述投影型影像显示装置设置于与所述影像投射面相同的面上的状态对所述影像投射面投射影像。
4.一种投影型影像显示装置，其特征在于，包括：
投射影像的影像投射部；
至少1个照明部，其对与所述影像投射部投射的影像投射面至少一部分重叠的面照射与所述影像投射部投射的所述影像不同的照明光；
利用所述照明光的反射光进行摄像的摄像部；
检测部，其基于所述摄像部所拍摄的图像至少检测操作者的手指与所述影像投射面接触的位置；和
显示控制部，其基于所述检测部的检测结果进行控制来改变所述影像投射部投射的影像中包括的至少一个部分影像显示区域，
所述显示控制部的控制状态包括：
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的外侧位置出发，与所述影像投射面接触的同时进入并横穿所述部分影像显示区域的情况下，基于所述手指的横穿动作分割所述部分影像显示区域，新生成多个部分影像显示区域的第一控制状态；
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的内侧位置出发，与所述影像投射面接触的同时进行移动的情况下，基于所述手指的移动使所述部分影像显示区域移动的第二控制状态；和
在所述检测部检测出所述操作者的手指在所述影像投射面显示的部分影像显示区域的内侧位置与所述影像投射面接触，并且与所述影像投射面接触的所述操作者的手指的方向发生了旋转的情况下，基于所述手指的旋转动作使所述部分影像显示区域旋转。
5.如权利要求4所述的投影型影像显示装置，其特征在于：
包括2个照明部，其从相互不同的位置对与所述影像投射部投射影像的影像投射面至少一部分重叠的面照射与所述影像投射部投射的投射影像不同的照明光。
6.如权利要求4或5所述的投影型影像显示装置，其特征在于：
所述影像投射部能够以所述投影型影像显示装置设置于与所述影像投射面相同的面上的状态对所述影像投射面投射影像。
7.一种投影型影像显示装置，其特征在于，包括：
投射影像的影像投射部；
至少1个照明部，其对与所述影像投射部投射的影像投射面至少一部分重叠的面照射与所述影像投射部投射的所述影像不同的照明光；
利用所述照明光的反射光进行摄像的摄像部；
检测部，其基于所述摄像部所拍摄的图像至少检测操作者的手指与所述影像投射面接触的位置；和
显示控制部，其基于所述检测部的检测结果进行控制来改变所述影像投射部投射的影像中包括的至少一个部分影像显示区域，
所述显示控制部的控制状态包括：
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的外侧位置出发，与所述影像投射面接触的同时进入并横穿所述部分影像显示区域的情况下，基于所述手指的横穿动作分割所述部分影像显示区域，新生成多个部分影像显示区域的第一控制状态；
在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的内侧位置出发，与所述影像投射面接触的同时进行移动的情况下，基于所述手指的移动使所述部分影像显示区域移动的第二控制状态；和
在所述检测部检测出在所述影像投射面显示的部分影像显示区域的内侧位置所述操作者的两个手指与所述影像投射面接触的位置间隔发生了扩大或缩小的情况下，基于所述两个手指的位置间隔的扩大或缩小使所述部分影像显示区域放大或缩小。
8.如权利要求7所述的投影型影像显示装置，其特征在于：
包括2个照明部，其从相互不同的位置对与所述影像投射部投射影像的影像投射面至少一部分重叠的面照射与所述影像投射部投射的投射影像不同的照明光。
9.如权利要求7或8所述的投影型影像显示装置，其特征在于：
所述影像投射部能够以所述投影型影像显示装置设置于与所述影像投射面相同的面上的状态对所述影像投射面投射影像。
10.一种投影型影像显示装置，其特征在于，包括：
投射影像的影像投射部；
2个照明部，其从相互不同的位置对与所述影像投射部投射影像的影像投射面至少一部分重叠的面照射与所述影像投射部投射的投射影像不同的照明光；
利用所述照明光的反射光进行摄像的摄像部；
检测部，其基于所述摄像部所拍摄的图像至少检测操作者的手指与所述影像投射面接触的位置；和
显示控制部，其基于所述检测部的检测结果进行控制来改变所述影像投射部投射的影像中包括的至少一个部分影像显示区域，
所述显示控制部在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的外侧位置出发，与所述影像投射面接触的同时进入并横穿所述部分影像显示区域的情况下，基于所述手指的横穿动作分割所述部分影像显示区域。
11.一种投影型影像显示装置，其特征在于，包括：
投射影像的影像投射部；
至少1个照明部，其对与所述影像投射部投射的影像投射面至少一部分重叠的面照射与所述影像投射部投射的所述影像不同的照明光；
利用所述照明光的反射光进行摄像的摄像部；
检测部，其基于所述摄像部所拍摄的图像至少检测操作者的手指与所述影像投射面接触的位置；和
显示控制部，其基于所述检测部的检测结果进行控制来改变所述影像投射部投射的影像中包括的至少一个部分影像显示区域，
所述显示控制部在所述检测部检测出所述操作者的手指从所述影像投射面显示的部分影像区域的外侧位置出发，与所述影像投射面接触的同时进入并横穿所述部分影像显示区域的情况下，基于所述手指的横穿动作分割所述部分影像显示区域，
所述影像投射部能够以所述投影型影像显示装置设置于与所述影像投射面相同的面上的状态对所述影像投射面投射影像。
CN201810532207.1A 2013-11-19 2013-11-19 投影型影像显示装置 Active CN108664173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810532207.1A CN108664173B (zh) 2013-11-19 2013-11-19 投影型影像显示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/081131 WO2015075767A1 (ja) 2013-11-19 2013-11-19 投射型映像表示装置
CN201810532207.1A CN108664173B (zh) 2013-11-19 2013-11-19 投影型影像显示装置
CN201380080630.8A CN105706028B (zh) 2013-11-19 2013-11-19 投影型影像显示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380080630.8A Division CN105706028B (zh) 2013-11-19 2013-11-19 投影型影像显示装置

Publications (2)

Publication Number Publication Date
CN108664173A true CN108664173A (zh) 2018-10-16
CN108664173B CN108664173B (zh) 2021-06-29

Family

ID=53179077

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380080630.8A Active CN105706028B (zh) 2013-11-19 2013-11-19 投影型影像显示装置
CN201810532207.1A Active CN108664173B (zh) 2013-11-19 2013-11-19 投影型影像显示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380080630.8A Active CN105706028B (zh) 2013-11-19 2013-11-19 投影型影像显示装置

Country Status (4)

Country Link
US (2) US9927923B2 (zh)
JP (1) JP5973087B2 (zh)
CN (2) CN105706028B (zh)
WO (1) WO2015075767A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509407A (zh) * 2018-12-12 2019-03-22 深圳市万普拉斯科技有限公司 显示装置
WO2020228512A1 (zh) * 2019-05-15 2020-11-19 京东方科技集团股份有限公司 悬浮显示成像装置及悬浮显示触控方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
EP3056975B1 (en) * 2013-10-08 2020-08-12 Maxell, Ltd. Projection type image display device, manipulation detection device and projection type image display method
CN106796388A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 来自发光二极管(led)投影仪的白色闪光生成
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN106556963A (zh) * 2015-09-24 2017-04-05 北京京东尚科信息技术有限公司 投影装置以及投影方法
US11410633B2 (en) * 2015-11-16 2022-08-09 Verizon Patent And Licensing Inc. Orientation selection
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US11076137B1 (en) * 2016-06-20 2021-07-27 Amazon Technologies, Inc. Modifying projected images
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JPWO2018150757A1 (ja) * 2017-02-17 2019-12-12 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
JP6919266B2 (ja) * 2017-03-28 2021-08-18 セイコーエプソン株式会社 光射出装置および画像表示システム
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
JP2019060963A (ja) * 2017-09-25 2019-04-18 ソニー株式会社 表示処理装置、表示処理方法及びプログラム
CN107992191A (zh) * 2017-10-30 2018-05-04 捷开通讯(深圳)有限公司 一种电子设备及其控制方法、电子设备摄像头模组
CN108093232B (zh) * 2017-11-08 2019-09-13 歌尔科技有限公司 一种悬挂式投影仪分屏显示的方法、装置和悬挂式投影仪
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
WO2019126331A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019232282A1 (en) 2018-05-30 2019-12-05 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
EP3803545A4 (en) * 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
USD933079S1 (en) 2018-08-24 2021-10-12 Microsoft Corporation Display screen with animated graphical user interface
USD895664S1 (en) * 2018-08-24 2020-09-08 Microsoft Corporation Display screen with animated graphical user interface
USD915451S1 (en) 2018-08-24 2021-04-06 Microsoft Corporation Display screen with animated graphical user interface
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
USD896269S1 (en) * 2018-12-11 2020-09-15 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
USD904431S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD920997S1 (en) * 2019-01-04 2021-06-01 Samsung Electronics Co., Ltd. Refrigerator with transitional graphical user interface
USD904432S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
CN111831161B (zh) * 2020-07-23 2023-10-03 吕嘉昳 基于触摸方法自动识别显示屏幕中触点位置的方法
JP7471999B2 (ja) 2020-11-09 2024-04-22 株式会社Ｎｔｔドコモ 情報処理装置
CN112306442B (zh) * 2020-11-20 2023-05-12 Oppo广东移动通信有限公司 跨设备的内容投屏方法、装置、设备及存储介质
JP2022113262A (ja) * 2021-01-25 2022-08-04 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
CN112929734B (zh) * 2021-02-05 2023-09-05 维沃移动通信有限公司 投屏方法、装置和电子设备
CN114442851A (zh) * 2022-01-28 2022-05-06 深圳Tcl新技术有限公司 激光处理方法、装置、存储介质、显示设备及激光设备
CN115278185A (zh) * 2022-07-29 2022-11-01 歌尔科技有限公司 投影区域检测方法、装置、桌面投影机及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
CN101038671A (zh) * 2007-04-25 2007-09-19 上海大学 基于立体视觉三维手指运动轨迹跟踪方法
CN101840135A (zh) * 2009-03-19 2010-09-22 三洋电机株式会社 投影型影像显示装置和记载板以及影像投影系统
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102141887A (zh) * 2010-01-28 2011-08-03 微软公司 画笔、复写和填充手势
CN102169281A (zh) * 2010-02-25 2011-08-31 株式会社尼康 投影仪
CN102457730A (zh) * 2010-10-14 2012-05-16 株式会社尼康 投影仪
JP2012113653A (ja) * 2010-11-26 2012-06-14 Canon Inc 制御装置、入力装置、入力判定方法、プログラム
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729533B2 (ja) * 1995-05-25 2005-12-21 沖電気工業株式会社 ポインティングシステム
US6243074B1 (en) * 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US7242388B2 (en) * 2001-01-08 2007-07-10 Vkb Inc. Data input device
JP4500036B2 (ja) * 2003-11-18 2010-07-14 株式会社リコー 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
JP4700539B2 (ja) 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
JP4991458B2 (ja) 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP4933389B2 (ja) 2007-09-14 2012-05-16 株式会社リコー 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体
JP5214223B2 (ja) * 2007-11-15 2013-06-19 船井電機株式会社 プロジェクタ
JP5294670B2 (ja) 2008-03-27 2013-09-18 三洋電機株式会社 投写型映像表示装置及びこれを用いた投写型映像表示システム
JP2009250772A (ja) 2008-04-04 2009-10-29 Sony Corp 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
JP2010237347A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd 投射型表示装置
JP5396975B2 (ja) 2009-04-01 2014-01-22 船井電機株式会社 画像表示装置
US8032624B2 (en) * 2009-06-19 2011-10-04 Avaya Inc. Pluggable contact resolution
JP5374266B2 (ja) 2009-07-22 2013-12-25 株式会社シロク 光学式位置検出装置
CN102473043B (zh) 2009-07-30 2014-11-26 夏普株式会社 便携式显示装置和其控制方法
JP2011043876A (ja) 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5342484B2 (ja) * 2010-03-24 2013-11-13 株式会社日立ソリューションズ 座標入力装置及びプログラム
JP2012068690A (ja) 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
US20140218300A1 (en) * 2011-03-04 2014-08-07 Nikon Corporation Projection device
JP2012185630A (ja) 2011-03-04 2012-09-27 Nikon Corp 投影装置
JP2012194915A (ja) 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
JP5845783B2 (ja) 2011-09-30 2016-01-20 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
US9354809B2 (en) * 2011-10-03 2016-05-31 Furuno Electric Co., Ltd. Display device, display program and display method
WO2013051052A1 (ja) 2011-10-03 2013-04-11 古野電気株式会社 情報表示装置、情報表示方法及び情報表示プログラム
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム
JP2013148802A (ja) 2012-01-23 2013-08-01 Nikon Corp プロジェクタ
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
KR102137240B1 (ko) * 2013-04-16 2020-07-23 삼성전자주식회사 디스플레이 영역을 조절하기 위한 방법 및 그 방법을 처리하는 전자 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
CN101038671A (zh) * 2007-04-25 2007-09-19 上海大学 基于立体视觉三维手指运动轨迹跟踪方法
CN101840135A (zh) * 2009-03-19 2010-09-22 三洋电机株式会社 投影型影像显示装置和记载板以及影像投影系统
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102141887A (zh) * 2010-01-28 2011-08-03 微软公司 画笔、复写和填充手势
CN102169281A (zh) * 2010-02-25 2011-08-31 株式会社尼康 投影仪
CN102457730A (zh) * 2010-10-14 2012-05-16 株式会社尼康 投影仪
JP2012113653A (ja) * 2010-11-26 2012-06-14 Canon Inc 制御装置、入力装置、入力判定方法、プログラム
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509407A (zh) * 2018-12-12 2019-03-22 深圳市万普拉斯科技有限公司 显示装置
CN109509407B (zh) * 2018-12-12 2021-12-10 深圳市万普拉斯科技有限公司 显示装置
WO2020228512A1 (zh) * 2019-05-15 2020-11-19 京东方科技集团股份有限公司 悬浮显示成像装置及悬浮显示触控方法

Also Published As

Publication number Publication date
US20160274733A1 (en) 2016-09-22
US9927923B2 (en) 2018-03-27
CN105706028A (zh) 2016-06-22
CN105706028B (zh) 2018-05-29
CN108664173B (zh) 2021-06-29
US20180164951A1 (en) 2018-06-14
WO2015075767A1 (ja) 2015-05-28
US10191594B2 (en) 2019-01-29
JP5973087B2 (ja) 2016-08-23
JPWO2015075767A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
CN105706028B (zh) 投影型影像显示装置
CN108700934B (zh) 能够进行眼睛追踪的可穿戴设备
JP6724987B2 (ja) 制御装置および検出方法
US6512507B1 (en) Pointing position detection device, presentation system, and method, and computer-readable medium
US9852339B2 (en) Method for recognizing iris and electronic device thereof
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
CN102196220B (zh) 信息处理设备和信息处理方法
JP2009031334A (ja) プロジェクタ及びプロジェクタの投射方法
JP2014174833A (ja) 操作検出装置及び操作検出方法
US20160313903A1 (en) System and method for controlling the display of an image stream
CN106462227A (zh) 投影型影像显示装置及其控制方法
JP6797585B2 (ja) 画像処理装置並びにその制御方法及びプログラム
JP6858352B2 (ja) 画像投影装置
JP6314177B2 (ja) 投射型映像表示装置
JP6307576B2 (ja) 映像表示装置及びプロジェクタ
JP6686319B2 (ja) 画像投影装置及び画像表示システム
TWI622901B (zh) 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
US10943109B2 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
JP6823988B2 (ja) 画面操作方法及び画面操作装置
CN114450729A (zh) 基于网格的用于面部认证的注册
US11933988B2 (en) Information processing apparatus, information processing method, head mounted display housing, and head mounted display system
JP5118663B2 (ja) 情報端末装置
JP2006163922A (ja) コンピュータの遠隔操作システム
WO2015151650A1 (ja) 撮像装置およびその制御方法
JP2018113011A (ja) 入出力システム、入力処理装置、入出力方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220613

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right