CN107077258A - 投射型影像显示装置以及影像显示方法 - Google Patents

投射型影像显示装置以及影像显示方法 Download PDF

Info

Publication number
CN107077258A
CN107077258A CN201480082763.3A CN201480082763A CN107077258A CN 107077258 A CN107077258 A CN 107077258A CN 201480082763 A CN201480082763 A CN 201480082763A CN 107077258 A CN107077258 A CN 107077258A
Authority
CN
China
Prior art keywords
region
image
projection
detect
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480082763.3A
Other languages
English (en)
Other versions
CN107077258B (zh
Inventor
木谷光博
松原孝志
新仓雄大
小畑信
小畑信一
金丸隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN107077258A publication Critical patent/CN107077258A/zh
Application granted granted Critical
Publication of CN107077258B publication Critical patent/CN107077258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

改善外部光等的影响所致的用户操作的误识别或未检出。操作对象装置(150)将显示影像投射到投射面上。照相机(102)对投射面进行摄像。可检测操作区域确定部(107)根据照相机(102)摄像到的图像数据确定在显示影像被投射的范围能够检测操作目标的操作的区域和无法检测操作目标的操作的区域。手指接触位置检测部(105)以及笔接触位置检测部(106)根据照相机(102)摄像到的图像数据检测操作目标的操作。而且，操作对象装置(150)将可检测操作区域确定部(107)确定出的能够检测操作目标的操作的区域和无法检测操作目标的操作的区域区分而显示。另外，变更操作目标的显示位置而显示，以使得显示于能够检测操作目标的操作的区域的范围内。

Description

投射型影像显示装置以及影像显示方法
技术领域
本发明涉及投射型影像显示装置以及影像显示方法，特别涉及对改善基于手指、电子笔等的用户操作有效的技术。
背景技术
关于投射影像而显示的装置提出有多种技术。例如，在专利文献1中，作为目的记载有“不使用特殊设备而检测操作信息”的操作检测装置及其程序。
另外，作为达到该目的的手段，记载有“一种操作检测装置，与照明单元以及摄像单元一起被使用，其特征在于，具备：在通过所述照明单元照射的状态下使所述摄像单元对操作者进行摄像的单元；根据通过所述摄像单元得到的操作者的图像数据检测所述操作者的特定部位的区域的单元；从检测到的所述操作者的特定部位的区域抽出影子的部分的单元；以及从抽出的所述影子的部分中，检测出边缘形成直线的多条线段，检测所检测到的线段彼此相交成锐角的点，将该交点检测为所述操作者的特定部位的区域内的手指指示位置的单元”。
专利文献1：日本特开2008-59283号公报
发明内容
在上述专利文献1的技术中，根据由于照射光等而出现的手指的影子等来检测手指动作和位置。因此，例如在由于外部光等周围光的影响而手指影子的形状变乱的情况下，可能会导致无法检测手指动作或位置等。
另外，用户无法掌握由于外部光等的影响而无法检测用户操作的区域。因此，存在用户自身无法改善使用环境的问题。
本发明的目的在于提供一种能够改善外部光等的影响所致的用户操作的误识别或未检出的技术。
关于本发明的上述以及其它目的和新特征，根据本说明书的表述以及附图将更加明确。
如果简单说明本申请所公开的发明中的代表性的发明的概要，则如下所述。
即，代表性的投射型影像显示装置是能够通过操作投射到投射面的操作目标进行控制的影像显示装置。该投射型影像显示装置具备投射部、摄像部、可操作区域确定部以及检测部。
投射部，将显示影像投射到投射面上。摄像部，对投射面进行摄像。可操作区域确定部，根据摄像部摄像到的图像数据在投射面中的显示影像被投射的范围分别确定能够检测操作目标的操作的第1区域以及无法检测操作目标的操作的第2区域检测部，根据摄像部摄像到的图像数据检测操作目标的操作。
而且，投射部能够投射将第1区域与第2区域区分显示的显示影像，第1区域是可操作区域确定部确定出的能够检测操作目标的操作的区域。另外，变更操作目标的显示位置而显示，以使得显示于能够检测操作目标的操作的第1区域的范围内。
特别是在从投射部投射而显示从外部输入的输入影像的情况下，投射部根据可操作区域确定部确定出的第1区域来变更显示影像中的输入影像所占的范围。
而且，可操作区域确定部根据摄像部摄影到的投射面的图像数据的亮度电平，分别确定能够检测操作目标的操作的第1区域以及无法检测操作目标的操作的第2区域。
如果简单地说明通过本申请所公开的发明中的代表性的发明而得到的效果，则如以下所述。
能够提高用户的便利性。
附图说明
图1是示出实施方式1的操作检测装置的结构的一个例子的说明图。
图2是示出图1的操作检测装置的其它结构例的说明图。
图3是示出图1的操作检测装置的概观以及操作该操作检测装置的用户的情形的一个例子的说明图。
图4是示出图1的操作检测装置具有的电子笔的结构的一个例子的说明图。
图5是示出在发明人所研究的投射图像时来自外部的光被照射到投射面的情形的一个例子的说明图。
图6是示出利用图1的操作检测装置进行的区域确定提示处理的一个例子的流程图。
图7是示出在图6的流程图中的步骤S101的处理时所使用的操作检测判定表的结构的一个例子的说明图。
图8是示出利用图1的操作检测装置进行的无法检测手指操作的区域的显示以及向用户的引导显示的一个例子的说明图。
图9是示出利用图1的操作检测装置进行的无法检测手指操作的区域的显示以及向用户的引导的其它例的说明图。
图10是示出利用图1的操作检测装置进行的无法检测手指操作的区域的显示、向用户的引导显示以及操作菜单图标显示的一个例子的说明图。
图11是示出利用图1的操作检测装置进行的无法检测手指操作的区域的显示、投射范围的变更、操作菜单图标显示的一个例子的说明图。
图12是示出实施方式3的操作检测装置的结构的一个例子的说明图。
图13是示出利用图12的操作检测装置进行的处理的一个例子的流程图。
图14是示出利用图12的操作检测装置进行的向桌子上投射影像时的影像显示的一个例子的说明图。
图15是示出实施方式4的操作检测装置的结构的一个例子的说明图。
图16是示出实施方式5的操作检测装置的结构的一个例子的说明图。
(符号说明)
100：操作检测装置；101：坐标检测装置；102：照相机；103：照明；104：照明；105：手指接触位置检测部；106：笔接触位置检测部；107：可检测操作区域确定部；108：通信部；109：控制部；110：照相机获取图像送出部；120：检测结果数据；121：检测结果数据；150：操作对象装置；151：通信部；152：设定输入部；153：控制部；154：影像照射部；155：显示部；156：发光部；157：音频输出部；301：投射面；302：投射范围；400：电子笔；401：发光元件；402：前端接触检测部；403：发光控制部；600：电磁波生成装置；601：控制装置；900：操作检测判定表。
具体实施方式
在以下实施方式中，为方便起见，必要时分割成多个部分或者实施方式来说明，但除了特别明示的情况以外，它们并非相互无关，而是一方为另一方的一部分或者全部的变形例、详细、补充说明等的关系。
另外，在以下实施方式中，在提及要素的数量等(包括个数、数值、量、范围等)的情况下，除了特别明示的情况以及原理上明确地限定于特定数量的情况等以外，并不限定于该特定数量而既可以是特定数量以上也可以是特定数量以下。
进而，在以下实施方式中，其构成要素(还包括要素步骤等)除了特别明示的情况以及原理上明确地被认为是必须的情况等以外，不言而喻其构成要素并不一定是必须的。
同样地，在以下实施方式中，在提及构成要素等的形状、位置关系等时，除了特别明示的情况以及原理上明确地被认为并非如此的情况等以外，实质上还包括与其形状等近似或者类似的情况等。这关于上述数值以及范围也是同样的。另外，在用于说明实施方式的全部附图中对同一部件原则上附加同一符号，省略其重复的说明。
以下，详细说明实施方式。
(实施方式1)
<操作检测装置的结构例>
图1是示出本实施方式1的操作检测装置100的结构的一个例子的说明图。
如图1所示，作为投射型影像显示装置的操作检测装置100具有坐标检测装置101、操作对象装置150以及电子笔400。坐标检测装置101由照相机102、照明103、照明104、手指接触位置检测部105、笔接触位置检测部106、可检测操作区域确定部107、通信部108以及控制部109构成。
作为摄像部的照相机102由影像传感器、透镜以及滤光器等构成，对图像进行摄像。2个照明103、104分别由未图示的发光二极管、电路板以及透镜等构成。
照明103、照明104对照相机102摄像的区域进行照射。除了使照明103、照明104始终点亮以外，还可以例如以照明103和照明104交替点亮的方式使照明103、照明104分别闪烁。
除此以外，在切换照明103和照明104的点亮时，也可以临时使两者都熄灭。或者，也可以使照明103和照明104在相同的定时闪烁。
另外，照明103、照明104的光也可以是不可见的，例如，也可以由红外照相机和红外照明构成照相机102以及照明103、照明104，进行通过摄像红外图像来检测手指的接触位置的处理。在由红外照相机和红外照明构成的情况下，也可以对红外照相机的结构追加滤光器，将非红外区域的光遮蔽一部分或者遮蔽全部而摄像。
作为检测部的手指接触位置检测部105从照相机102摄像到的图像数据检测手指的接触位置。同样作为检测部的笔接触位置检测部106从照相机102摄像到的图像数据检测电子笔400的接触位置。
构成手指接触位置检测部105、笔接触位置检测部106的电子电路等基于程序形式的软件来执行利用这些手指接触位置检测部105以及笔接触位置检测部106进行的检测处理。
通过控制部153将这些手指接触位置检测部105或者笔接触位置检测部106检测到的接触位置信息处理为手指或电子笔400的操作信息。
以后，在本实施方式中，将“手指”记载为所检测的对象物的代表。手指接触位置检测部105检测接触位置的对象物除了手指以外，也可以是指示棒等笔状物。另外，只要手指接触位置检测部105和笔接触位置检测部106中的至少某一方包含于本结构即可，无需两方都要具备。
作为可操作区域确定部的可检测操作区域确定部107从由照相机102摄像到的图像数据确定能够检测手指或电子笔400的操作信息的区域。能够检测该操作信息的区域为第1区域。
构成可检测操作区域确定部107的电子电路等基于程序形式的软件来执行该区域的确定处理。此外，使用图6以及图7在后叙述区域的确定技术。
通信部108由网络连接或USB连接、超声波单元、红外线通信装置等构成，是与操作对象装置150具有的通信部151通信的接口。
该通信部108例如进行检测结果数据120等的通信。检测结果数据120是坐标检测装置101经由通信部108输出到操作对象装置150的信息。具体而言，是手指的接触点坐标、电子笔400的接触点坐标以及无法检测手指或笔操作信息区域数据等。
无法检测手指或笔操作信息区域数据包括表示无法检测手指或电子笔的操作信息的区域的信息、即表示无法利用基于手指或电子笔的操作的区域的位置信息(例如坐标数据)、表示无法检测基于手指或笔的操作信息的情况下的与检测精度相关的程度的信息等。无法利用操作的区域是第2区域。
控制部109控制照相机102、照明103、照明104、手指接触位置检测部105、笔接触位置检测部106、可检测操作区域确定部107以及通信部108。控制部109例如由CPU(CentralProcessing Unit，中央处理单元)等构成，该控制部109基于程序形式的软件进行控制。
接下来，作为投射部的操作对象装置150由通信部151、设定输入部152、控制部153、影像照射部154、显示部155、发光部156以及音频输出部157构成。
操作对象装置150例如是投影仪，接受从坐标检测装置101的通信部108发送的检测结果数据120，进行基于用户的手指的描绘信息的显示、投影仪主体的操作、设定以及控制等。
与通信部108同样地，通信部151由网络连接、USB(UniversalSerial Bus，通用串行总线)连接、超声波单元或者红外线通信装置等构成，是与坐标检测装置101通信的接口。设定输入部152由按钮以及触摸面板等构成，是受理用户的输入的接口。
控制部153例如由CPU等构成，控制通信部151、设定输入部152、影像照射部154、显示部155、发光部156、音频输出部157以及电子笔400等。控制部153基于程序形式的软件而执行控制。
影像照射部154由光源灯、液晶面板以及透镜等构成，对图3所示的投射面301照射影像。例如，从与操作对象装置150连接的未图示的个人计算机等输出向投射面301照射的影像。
在此，如果使从影像照射部154照射的光为比某固定波长短的可见区域的光，使从照明103、照明104照射的光为比某固定波长长的不可见区域的光，则用户能够仅视觉辨认从影像照射部154照射的光。为了控制所照射的光的波长，也可以使用带通滤光器等。
显示部155由液晶显示器以及驱动它的电子电路等构成，显示文字或图像等信息。发光部156由发光元件以及驱动它的电子电路等构成，做出点亮、闪烁、熄灭等状态。
音频输出部157由扬声器以及对输出到该扬声器的信号等进行放大的放大电路等构成，输出语音消息、效果音等各种音频。电子笔400由发光元件以及驱动它的电子电路等构成。
作为控制部153的具体处理，对影像照射部154进行影像投射控制，以使得能够区分出能够检测基于手指的操作的区域和无法检测基于手指的操作的区域。另外，也可以并非以能够检测基于手指的操作的区域和无法检测基于手指的操作的区域这2级的方式，而是以能够根据检测精度的程度区分成n级的方式进行影像投射控制。在此，n＝2，3…n。
进而，对影像照射部154进行影像投射控制，以避开无法检测基于手指的操作的区域而向投射面301进行菜单图标或用户消息等的显示。进而，对影像照射部154进行调整向投射面301投射的影像的大小的控制，以消除无法检测基于手指的操作的区域。
此外，在图1中，照相机102、照明103、照明104、手指接触位置检测部105、笔接触位置检测部106、可检测操作区域确定部107、通信部108以及控制部109的各功能块部是独立的，但也可以根据需要用一个或者多个构成要件构成。
例如，手指接触位置检测部105、笔接触位置检测部106以及可检测操作区域确定部107也可以构成为通过一个或者多个中央处理装置(CPU)等进行其处理。
另外，在图1中，坐标检测装置101构成为具有照相机102、照明103、照明104、手指接触位置检测部105、笔接触位置检测部106、可检测操作区域确定部107、通信部108以及控制部109的各功能块部的全部。
同样地，操作对象装置150构成为具有通信部151、设定输入部152、控制部153、影像照射部154、显示部155、发光部156以及音频输出部157的各功能块部的全部。
但是，例如如后述图2所示，上述结构也可以构成为在外部构成一个或者多个构成要件并通过网络连接或者USB连接等结合。
<操作检测装置的其它结构例>
图2是示出图1的操作检测装置100的其它结构例的说明图。
在该情况下，如图2所示，操作检测装置100构成为与坐标检测装置101独立而单独地分别设置有照相机102以及照明103、照明104。
另外，作为操作检测装置100的又一结构例，例如，也可以将坐标检测装置101以及操作对象装置150构成为1个装置。
<操作检测装置的概观以及操作例>
图3是示出图1的操作检测装置100的概观以及操作该操作检测装置100的用户的情形的一个例子的说明图。图3(a)示出用户300通过手指进行操作时的一个例子，图3(b)示出用户300通过电子笔400进行操作时的一个例子。
在图3中，照相机102以包含由投射面301的投射范围302所示的范围的方式进行摄像。关于投射面301，使用例如墙、屏幕或者桌子等任意对象物。
如图3(a)所示，在用户300用手指触摸投射面301上的投射范围302时，操作检测装置100的手指接触位置检测部105检测手指的接触位置。另外，如图3(b)所示，在用户300用电子笔400触摸投射面301上的投射范围302时，笔接触位置检测部106检测笔的接触位置。
另外，手指接触位置检测部105也可以具有在用户300在投射面301附近进行了手势操作的情况下从照相机102摄像到的图像数据检测用户的手指的形状或者活动的功能。
手指接触位置检测部105检测到的信息作为检测结果数据120经由通信部108被转送到操作对象装置150。然后，控制部153根据检测结果数据120进行操作对象装置150的控制。
由此，无需在操作面上设置触摸传感器等，而能够正确地检测电子笔或手指对操作面的接触位置。
<电子笔的结构例>
图4是示出图1的操作检测装置100具有的电子笔400的结构的一个例子的说明图。图4(a)是示出电子笔400的外观的一个例子的图。图4(b)示出电子笔400的前端未接触的情况的例子，图4(c)示出电子笔400的前端接触的情况的例子。
如图4(a)所示，电子笔400在前端部设置有发光元件401，在该电子笔400的握柄部分设置有前端接触检测部402以及发光控制部403。前端接触检测部402例如由压敏传感器以及电子电路等构成，判定电子笔400的前端是否接触到墙面等。
发光控制部403根据前端接触检测部402的判定结果，如图4(b)所示，在电子笔400的前端未接触的情况下控制为使发光元件401熄灭。
另外，如图4(c)所示，发光控制部403在前端接触检测部402判定为电子笔400的前端接触时控制为使发光元件401点亮。
或者，也可以控制成在电子笔400的前端接触的情况下使发光元件401点亮，在未接触的情况下闪烁等、控制成在接触时和非接触时发光元件401为不同的状态。进而，也可以控制成在接触时和非接触时发光元件401的闪烁为不同频率。
另外，照相机102和发光元件401也可以分别由红外照相机和红外照明构成，进行通过摄像红外图像来检测电子笔400的接触位置的处理。进而，也可以在由红外照相机和红外照明构成的情况下，对红外照相机的结构追加滤光器，将非红外区域的光遮蔽一部分或者遮蔽全部而摄像。
接下来，说明图1的操作检测装置100确定无法检测手指的操作信息的区域，对用户提示该区域，显示用于提醒改善的引导的技术。
<外部光的照射的影响>
图5是示出本发明人研究的在投射图像时来自外部的光被照射到投射面的情形的一个例子的说明图。
图5所示的外部光701例如是荧光灯、白炽灯的光或者阳光等来自外部的光，是与照明103、照明104不同的光源。在这样的外部光701被强照射到投射面301的情况下，由照明103、照明104形成的影子703、影子704的形状走形、或者变浅而与周围的明暗差变小。
因此，发生无法通过照相机102正确地捕捉该形状、或者在手指接触位置检测部105中无法正确地检测手指702在投射面301的接触位置等现象。
因此，图1的操作检测装置100执行区域确定提示处理。在该区域确定提示处理中确定如图5所示由于外部光701等无法正确地检测手指702在投射面301的接触位置的区域、即无法检测手指的操作信息的区域。然后，对用户提示确定出的区域，显示用于提醒改善的引导。
由此，在无法检测基于手指的操作信息的情况下，能够向用户明示无法检测的投射面上的位置，能够提高操作性。
<区域确定提示处理的处理例>
图6是示出利用图1的操作检测装置100进行的区域确定提示处理的一个例子的流程图。
在图6中虽然是分别逐次执行步骤S101～步骤S106的处理的一轮流程，但实际上连续重复该流程。因此，在步骤S103或者步骤S106的处理后再次返回到步骤S101的处理。
在用户开始使用操作检测装置100前、使用操作检测装置100的过程中等对该操作检测装置100接通电源的期间，图6所示的流程图始终被执行。
由此，能够在用户使用操作检测装置100的期间外部光的亮度突然变化等该操作检测装置100的周围环境突然改变的情况下也得到效果。
另外，也可以仅在使用用户实施的手指操作功能的情况下执行图6的流程图。即，在用户实施的手指操作功能被无效化而仅以投射影像的目的使用操作对象装置150的情况下不执行图6的处理。由此，具有能够减少操作检测装置100的CPU即控制部153等的处理负荷、功耗的效果。
首先，可检测操作区域确定部107根据照相机102对投射面301进行摄像而得到的图像数据，进行是否能够检测基于手指的操作的判定处理(步骤S101)。
作为判定处理的一个例子，可以举出使用亮度电平的判定技术。在仅照明103、照明104点亮而完全未被照射外部光701的状况下，将照相机102摄影的图像数据的亮度预先保持为数据，如果当前摄影的图像数据的亮度比所保持的数据大了固定值(第1设定值)以上，则能够推测为外部光701的量多。其结果是无法检测手指的操作信息，所以能够判定为无法利用手指的操作。
或者，在临时熄灭照明103、照明104即仅被照射外部光701的状态下摄像，如果此时的图像数据的亮度大于某固定值(第1设定值)，则能够判定为外部光701的量多而无法利用基于手指的操作。使用图7说明本判定处理。
接下来，控制部153根据步骤S101的处理的结果即检测结果数据120的无法检测手指或笔操作信息区域数据，进行是否是能够利用手指操作的状态的判定(步骤S102)。在步骤S102的处理中判定为是能够利用手指操作的状态的情况下(“是”)，迁移到步骤S103的处理。
在步骤S102的处理中判定为是能够利用手指操作的状态的情况下，控制部153经由影像照射部154将用户能够利用手指的操作的意思的通知显示于投射范围302(步骤S103)，结束处理。
此外，初次也可以不执行步骤S103的处理。即，也可以仅在装置使用中手指操作暂时无法利用而之后手指操作变为能够利用的情况下，向用户通知该意思。
另一方面，在步骤S102的处理中判定为是无法利用手指操作的状态的情况下(“否”)，迁移到步骤S104的处理。在该处理中，控制部153经由影像照射部154将无法检测手指操作的区域显示于投射面301(步骤S104)。使用图8在后叙述无法检测手指操作的区域的显示。
接下来，控制部153根据无法检测手指操作的区域决定操作目标的显示位置(步骤S105)。使用图9以及图10在后叙述该显示位置的决定。在此，操作目标表示投影到投射面301的向用户的消息或操作菜单图标等的显示。
然后，控制部153经由影像照射部154在投射面301进行对用户唤起设定有操作检测装置100的周围环境的重新评估的引导显示(步骤S106)。此外，使用图8以及图9在后叙述引导显示。
以上，利用操作检测装置100进行的区域确定提示处理结束。在步骤S106的处理结束之后，再次迁移到步骤S101的处理而重复图6的处理。
此外，在步骤S106的处理之后由用户选择不进行周围环境的重新评估而继续进行处理的情况下，不返回到步骤S101的处理而结束处理。
<步骤S101的处理例以及操作检测判定表的结构例>
接下来，关于图6的步骤S101的处理，追加说明判定处理。
图7是示出在图6的流程图的步骤S101的处理时所使用的操作检测判定表900的结构的一个例子的说明图。
可检测操作区域确定部107使用图7所示的操作检测判定表900进行是否能够检测基于手指的操作的判定。该操作检测判定表900例如保存于可检测操作区域确定部107具有的未图示的存储部等。
如图7所示，操作检测判定表900由索引编号901、手指操作检测精度902、亮度电平903、基准亮度差分904以及显示色彩905构成。
索引编号901表示操作检测判定表900的索引编号。手指操作检测精度902是表示基于手指的操作的检测精度的指标。关于该指数，数值越大则表示基于手指的操作的检测精度越高，所以3表示最易于检测手指操作，0表示最难以检测手指操作。
在图7所示的操作检测判定表900的例子中，3表示能够检测基于手指的操作，除此以外的值即2～0表示无法检测基于手指的操作。
亮度电平903与手指操作检测精度902关联，表示由照相机102摄像到的图像数据的亮度电平值的范围。作为一个例子，该亮度电平值用0至255这256级来表现，255表示最亮，越接近0则表示越暗。
因此，越接近255则判断为越受到外部光的影响，手指操作检测精度902接近0。另一方面，越接近0则判断为越不受到外部光的影响，手指操作检测精度902接近3。
基准亮度差分904与手指操作检测精度902关联，表示取由照相机102摄像到的图像数据的亮度电平值与装置所保持的基准的亮度电平值的差分的值的范围。装置所保持的基准的亮度电平值是未受到外部光的影响时的值，所以通过与在使用环境中摄像到的图像数据的亮度电平值进行比较，能够用于推测受到何种程度的外部光影响。
因此，基准亮度差分904的值越大则判断为越受到外部光的影响，手指操作检测精度902接近0。另一方面，该差分值越小则判断为越不受到外部光的影响，手指操作检测精度902接近3。
此外，手指操作检测精度902既可以使用亮度电平903和基准亮度差分904中的任意一方的条件来决定，也可以使用亮度电平903和基准亮度差分904这两方的AND(逻辑与)条件、OR(逻辑或)条件、XOR(逻辑异或)条件中的任意条件来决定。
显示色彩905表示与手指操作检测精度902关联的用于向投射面301显示的颜色。对图6的步骤S105的处理中的无法检测基于手指的操作的区域，换言之，根据手指操作检测精度902的值向投射面301显示用显示色彩905表示的颜色。
此外，图7中通过网线、点以及阴影线表示用显示色彩905分别表示的颜色。在手指操作检测精度902的值是3的情况下，例如为无色。另外，显示色彩905也可以并非不同的颜色而是同色。在该情况下，通过深浅表示显示色彩。
此外，图7中记载了条目数＝4的表例子，但也可以是具有除此以外的条目数的表。只要将表设定为满足条目数≥2，就能够确定能够检测基于手指的操作的区域和无法检测基于手指的操作的区域。
因此，只要满足操作检测判定表900的条目数即索引数≥2即可。此外，本判定处理既可以对投射面301上的投射范围302内的全部像素应用，也可以仅对若干一部分的像素应用。进而，也可以对m×n的集中起来的像素的集合实施平均值等的运算之后应用本判定处理。在此，m、n是任意整数值。
<无法检测手指操作的区域的显示以及对用户的引导例>
接下来，以下使用图8～图10说明与图6的流程图的步骤S103～步骤S106的处理有关的向投射面301的显示。
图8是示出利用图1的操作检测装置100进行的无法检测手指操作的区域的显示以及向用户的引导的一个例子的说明图。
图8(a)示出了在图6的步骤S104的处理以及步骤SS106的处理中在确定出无法检测基于手指的操作的区域之后用于对用户引导周围环境的重新评估的向投射面301的显示例。
在图8中，区域1000表示无法检测基于手指的操作的区域，使用通过图7的显示色彩905定义的颜色表现，以让用户理解检测精度的方式显示。区域1001表示能够检测基于手指的操作的区域，按照通过图7的显示色彩905定义的颜色而显示。引导显示1002表示用于向用户提醒改善使用环境的显示。
在区域1000和区域1001将能够检测基于手指的操作的区域和无法检测基于手指的操作的区域用颜色区分开而向用户提示的情况下，既可以对每个像素用颜色区分开，也可以对a×b的集中起来的像素的每个集合用颜色区分开。a、b是任意整数值。
进而，也可以对将投射范围302分割为预先决定的多个区域而得到的每个区域用颜色区分开。通过对a×b的集中起来的像素的集合、将投射范围302分割为多个区域而得到的每个区域用颜色区分开，能够削减向用户通知的信息量。由此，用户易于识别当前的状态，其结果是能够提高用户便利性。
图8(b)示出从图8(a)的状态用户用窗帘进行遮挡阳光等使用环境的重新评估的结果是看到一定的改善的情况下的显示例。
示出了图8(a)所示的无法检测基于手指的操作的区域1000的一部分变化为能够检测操作的区域1001，进而，无法检测操作的区域1000的检测精度也得到改善。
图8(c)示出从图8(b)的状态用户进一步进行使用环境的重新评估的结果是看到进一步的改善而无法检测基于手指的操作的区域1000从投射范围302完全消失的情况的显示例。
无法检测基于手指的操作的区域1000全部变为能够检测操作的区域1001，引导显示1002的显示成为表示能够在投射范围302的全部区域检测基于手指的操作的字面。
<引导显示的其它例>
图9是示出利用图1的操作检测装置100进行的无法检测手指操作的区域的显示以及向用户的引导显示的其它例的说明图。
该图9示出在图6的步骤S105的处理以及步骤S106的处理中，使向用户的引导显示1002、操作按钮显示1100的显示位置能够与无法检测基于手指的操作的区域适应地变化的例子。
在该情况下，如图9(a)、图9(b)分别所示，引导显示1002和操作按钮显示1100显示为避开无法检测基于手指的操作的区域1000而进入能够检测基于手指的操作的区域1001内。
由此，能够消除由于无法通过手指操作选择操作按钮、用于表示无法检测基于手指的操作的区域的显示和用户消息显示重叠以致显示变得难以看清。其结果是能够提高用户便利性。
此外，此时也可以设为引导显示1002显示于投射面301上的任意坐标，且显示为仅使用户通过手指或手势对投射面301进行操作的操作按钮显示1100包含于能够检测基于手指的操作的区域1001内。
<操作菜单图标等的显示例>
图10是示出利用图1的操作检测装置100进行的无法检测手指操作的区域的显示、向用户的引导显示以及操作菜单图标显示的一个例子的说明图。
该图10示出了在图6的步骤S105的处理以及步骤S106的处理中使操作菜单图标1200的显示位置能够与无法检测基于手指的操作的区域适应地变化的显示例。
如图10(a)、图10(b)分别所示，操作菜单图标1200显示为避开无法检测基于手指的操作的区域1000而进入能够检测基于手指的操作的区域1001内。
由此，能够消除无法用手指进行的操作菜单图标1200的选择操作、表示无法检测基于手指的操作的区域的显示和菜单图标重叠显示以致菜单图标的显示变得看不清，从而提高用户的便利性。
此外，在无法检测基于手指的操作的区域宽而显示向用户的引导显示1002的区域不足的情况下，也可以仅在该情况下缩小引导显示的字体尺寸而显示。
另外，也可以从影像照射部154投射图标，使用图标向用户通知。进而，也可以通过在显示部155进行引导显示向用户通知。另外，也可以通过从音频输出部157输出音频引导、效果音向用户通知。
进而，关于无法检测基于手指的操作的区域宽而显示操作菜单图标1200的区域不足的情况，关于操作菜单图标1200也可以同样地缩小图标的显示尺寸来显示。或者，也可以将所显示的图标的种类减少到最低限度的数量来显示。
由此，能够消除由于无法检测基于手指的操作的区域过宽而显示向用户的引导显示1002的问题等，从而提高用户便利性。
以上，用户能够识别无法检测基于手指的操作信息的区域，在确认该区域的改善状况的同时执行操作对象装置的使用环境的重新评估。由此，能够提高利用操作检测装置100的用户的便利性。
(实施方式2)
<概要>
在本实施方式2中，说明在操作检测装置100中存在无法检测手指的操作信息的区域的情况、难以从投射面消除无法检测手指的操作信息的区域的情况下，调整影像投射的投射范围而从投射面消除无法检测手指的操作信息的区域的处理。控制部153根据检测结果数据120的无法检测手指或笔操作信息区域数据执行该处理。
<操作菜单图标等的显示例>
图11是示出利用图1的操作检测装置100进行的无法检测手指操作的区域的显示、投射范围的变更、操作菜单图标显示的一个例子的说明图。
该图11示出通过变更投射范围从投射面消除无法检测手指的操作信息的区域的情况的投射面的一个例子。
例如，如图11(a)所示，在投射面上的投射范围302内，有时存在区域1000那样的无法检测手指的操作信息的区域。因此，如图11(b)所示，通过变更投射范围302以避开区域1000，能够使无法检测手指的操作信息的区域为投射范围302的框外。
关于本处理，既可以在检测到存在无法检测手指的操作信息的区域时自动执行，也可以显示图11(a)所示的用户消息1301和用户选择按钮1302而仅在用户许可了投射范围的变更的情况下执行。
另外，也可以根据投射面的状态变更显示坐标，以使得图11(a)所示的用户消息1301、用户选择按钮1302以及操作菜单图标1200不显示于无法检测手指的操作信息的区域1000。
进而，也可以仅在由用户实施的手指操作功能有效的情况下执行本处理。另一方面，如果手指操作功能被无效化，那么即使存在无法检测手指的操作信息的区域也与用户的便利性无关，所以即使在用户所决定的任意投射范围投射影像，也不产生问题。
另外，在图11(a)中，用户消息1301既可以显示于投射面上的任意坐标，也可以根据投射面的状态变更显示坐标，以使得仅用户通过手指或手势进行操作的用户选择按钮1302和操作菜单图标1200不显示于无法检测手指的操作信息的区域1000。
进而，在图11(a)中，也可以通过投射投射尺寸的外框以使用户理解变更后的投射尺寸，从而对用户预先明示变更后的投射尺寸。由此，用户易于判断是否变更投射尺寸而能够提高便利性。另外，在该情况下，也可以不显示无法检测手指的操作信息的区域1000。
以上，能够在存在无法检测手指的操作信息的区域的情况、难以从投射范围消除无法检测手指的操作信息的区域的情况下等，调整影像的投射范围而从投射范围去掉无法检测手指的操作信息的区域，所以能够提高用户的便利性。
(实施方式3)
<概要>
在本实施方式3中，说明在操作检测装置100中无法检测手指的操作信息的区域、或者所设定的投射范围未完全收敛于桌子或墙等投射对象物的情况下，根据亮度电平判定通过同一处理检测该区域，执行与各个区域对应的处理的技术。
<操作检测装置的结构例>
图12是示出本实施方式3的操作检测装置100的结构的一个例子的说明图。
图12的操作检测装置100与上述实施方式1的图1的操作检测装置100不同之处在于，新追加有可照射影像区域确定部1601，另外，作为检测结果数据120而追加有不可照射影像区域数据。关于除此以外的结构，与图1相同，所以省略说明。
可照射影像区域确定部1601根据照相机102对投射面301进行摄像而得到的图像数据，确定能够对桌子或墙等投射对象物照射影像的区域。通过图13的流程图在后叙述该确定技术。
另外，追加到检测结果数据120的不可照射影像区域数据是表示由可照射影像区域确定部1601确定出的无法照射影像的区域的数据，例如包括表示无法照射影像的区域的位置信息(例如坐标数据)。
<确定可照射的区域的处理例>
图13是示出利用图12的操作检测装置100进行的处理的一个例子的流程图。图13所示的步骤S201～步骤S204以及步骤S104～步骤S106的处理是分别逐次执行的一轮流程，但实际上连续重复该处理，在步骤S205、步骤S103、步骤S106之后返回到步骤S201的处理。
在用户开始使用操作检测装置100前、使用操作检测装置100的过程中等、本装置被接通电源的期间，图13中的流程图始终被执行。由此，即使在用户使用本装置的期间周围的使用环境突然改变的情况下、例如外部光的亮度发生变化等，也能够立即改善操作性。
另外，也可以仅在使用用户实施的手指操作功能的情况下执行图13所示的流程图。由此，具有能够减少控制部153(CPU)等的处理负荷、功耗的效果。
另外，图13中的步骤S103～S106的处理表示是与图6的步骤S103～S106的处理相同的处理，省略这些处理的说明。
首先，可检测操作区域确定部107根据照相机102对投射面301进行摄像而得到的图像数据进行判定处理(步骤S201)。该步骤S201的判定处理是判定是否能够检测基于手指的操作、以及判定所设定的投射范围是否收敛于桌子或墙等投射对象物内的处理。
作为该判定处理的一个例子，例如考虑在图6的步骤S101的处理的说明中叙述的使用亮度电平的方法。另外，关于是否能够检测基于手指的操作的判定处理，与在图6的步骤S101的处理中叙述的处理相同。
关于桌子或墙等投射对象物相对于所设定的投射范围是否宽的判定处理，作为一个例子，可以举出使用相同亮度电平的方法。将在仅照明103、照明104点亮而完全未被照射外部光701的状况下照相机102所摄影的图像数据的亮度预先保持为数据，如果当前摄影到的图像数据的亮度比所保持的数据小固定值以上(第2设定值)，则能够推测为投射对象物不存在的区域、即不可使用区域。其结果是关于该区域，能够判定为无法投影影像。
或者，在临时熄灭照明103、照明104即仅被照射外部光701的状态下摄像，如果此时的图像数据的亮度小于某固定值(第2设定值)，则能够判定为投射对象物不存在而无法投射影像的不可使用区域。
如图7所示，若举出具体的数值，则在亮度电平903是0～49的情况下，能够判定为投射对象物不存在而无法投射影像。另外，在基准亮度差分904是－(负)20以下的情况下，也能够同样地判定为投射对象物不存在而无法投射影像。进而，也可以根据亮度电平903和基准亮度差分904这两方的指标，判定是否投射对象物不存在而无法投射影像。
接下来，控制部153判定是否存在不可使用区域(步骤S202)。在该步骤S202的处理中，控制部153根据通过步骤S201的处理得到的处理结果，判定是否能够在所设定的投射范围投射影像。另外，作为步骤S202的处理结果，例如使用检测结果数据120的无法检测手指或笔操作信息区域数据以及不可照射影像区域数据等。
然后，在判定为无法在所设定的投射范围投射影像的情况下(“是”)，控制部153判定用户是否经由设定输入部152许可了变更为新决定为投射对象物相对于投射范围302的全部区域存在的投射范围(步骤S203)。
在用户许可了变更投射范围的情况下(“是”)，控制部153重新决定投射范围以使得投射对象物相对于投射范围302的全部区域而存在，进行投射范围的变更，经由影像照射部154照射影像(步骤S205)。
另一方面，在步骤S203的处理中用户未许可变更投射范围的情况(“否”)、或者在步骤S202的处理中判定为能够在所设定的投射范围投射影像的情况(“否”)下，控制部153判定是否存在由于外部光等周围光的原因而无法检测基于手指的操作的区域(步骤S204)。
在步骤S204的处理中，控制部153判定为存在由于外部光等周围光的原因而无法检测基于手指的操作的区域的情况下(“是”)，迁移到步骤S104的处理。
另一方面，在步骤S204的处理中，控制部153判定为不存在由于外部光等周围光的原因而无法检测基于手指的操作的区域的情况下(“否”)，迁移到步骤S103的处理。关于以后的步骤S103～S106的处理，进行与图6中说明的处理同样的处理。
<向桌子上的影像显示例>
图14是示出利用图12的操作检测装置100进行的向桌子上投射影像时的影像显示的一个例子的说明图。
图14(a)相当于图13所示的步骤202以及步骤S205的处理，示出如下情形：在从操作检测装置100向桌子上投射影像时，投射范围302的一部分区域不在投射面301上，所以区域1501未正确地投射到桌子上。
之后，通过用户操作选择是否变更投射尺寸的用户选择按钮1302，执行新的投射范围的决定处理。图14(b)示出了由用户选择“是”的用户选择按钮1302而投射范围被调整为投射范围302的状态。
然后，从最初再次执行图13的处理流程，在执行图13的步骤S204的处理时，如图14(c)所示，显示无法检测基于手指的操作的区域1000的提示以及向用户提醒使用环境的重新评估的引导显示1002。另外，图14(d)示出在图14(a)的时间点即在调整投射范围302之前在投射范围302上显示无法检测基于手指的操作的区域1000的例子。
比较图14(c)和图14(d)可知，通过调整投射范围302，无法检测基于手指的操作的区域1000发生变化。
因此，在缩小影像投射范围的情况下，有可能无法检测基于手指的操作的区域1000变小。另一方面，在扩大影像投射范围的情况下，有可能无法检测基于手指的操作的区域1000变大。
因此，在确定了无法检测基于手指的操作的区域和桌子等投射对象物不存在的区域这两方的情况下，首先进行投射范围的调整，接着显示无法检测基于手指的操作的区域，向用户提示用于改善使用环境的引导，从而能够消除向用户提示不需要的信息。由此，能够提高用户的便利性。
另外，在本实施方式3中，例示了检测到桌子等投射对象物不存在的区域的情况，除此以外，也可以在检测到妨碍影像投射的障碍物的情况下，调整投射范围以使得从投射范围内消除障碍物。
关于障碍物的检测，例如考虑通过预先分别设定障碍物检测用的亮度电平903的阈值和基准亮度差分904的阈值，来与所设定的阈值进行比较判定。由此，能够与在不存在投射对象物的情况下同样地提高用户便利性。
以上，能够使用相同的判定处理同时确定无法检测手指的操作信息的区域和由于投射对象物不存在而无法投射图像的区域。由此，能够削减处理的执行时间，用户能够缩短从装置被接通电源至装置能够使用的时间。另外，即使在装置使用中也能够缩短中断装置的使用的时间。所以能够提高用户便利性
(实施方式4)
<操作检测装置的结构例>
图15是示出本实施方式4的操作检测装置100的结构的一个例子的说明图。
图15的操作检测装置100与图1的操作检测装置100不同之处在于，可检测操作区域确定部107并非设置于坐标检测装置101而设置于操作对象装置150这点以及对坐标检测装置101新追加照相机获取图像送出部110这点。另外，在坐标检测装置101与操作对象装置150之间发送接收的检测结果数据121也存在不同。
通过控制部109控制照相机获取图像送出部110。该照相机获取图像送出部110将照相机102摄像到的照相机获取图像作为检测结果数据121的一部分，经由通信部108发送到操作对象装置150。
可检测操作区域确定部107进行与图1所示的坐标检测装置101具有的可检测操作区域确定部107同样的处理，根据来自控制部153的控制从通信部151接收照相机获取图像，从该图像数据确定能够检测手指的操作信息的区域。
在如以上那样构成的操作检测装置100中也能够起到上述的与上述实施方式1同样的作用效果。
(实施方式5)
在上述实施方式1的图1所示的操作检测装置100中，为了检测电子笔的接触点坐标或者手指的接触点坐标而构成为使用1个照相机和2个照明，在本实施方式5中说明其它结构例。
<操作检测装置的结构例>
图16是示出本实施方式5的操作检测装置100的结构的一个例子的说明图。
图16所示的操作检测装置100由操作对象装置150、照相机102、电磁波生成装置600以及控制装置601构成。此外，关于图16的操作检测装置100，图16(a)中检测的对象物是手指，图16(b)中检测的对象物是电子笔400。
电磁波生成装置600例如安装于投射面301的上方等，照射包含红外线的波长区域的电磁波。电磁波与投射面301平行地以沿着投射面301的方式被投射到平面上，通过照相机102对被接近投射范围302的物体反射的电磁波进行摄像，从而检测物体的位置。此外，照射的电磁波也可以是红光等可见光。
控制装置601控制照相机102、操作对象装置150、电磁波生成装置600的动作。另外，操作对象装置150、照相机102、电磁波生成装置600、控制装置601的构成要素既可以如图16所示独立地构成，也可以作为合并全部或者一部分的装置而代替并置换图16的构成要素。
以上，能够在投射范围302上检测使用用户的手指的操作，从操作对象装置150输出适当的信息，或者操作、控制操作对象装置150。
以上，根据实施方式具体说明了由本发明人完成的发明，但本发明不限于上述实施方式，当然能够在不脱离其主旨的范围内进行各种变更。
例如，在实施方式1～5中，关于图8～图11中示出的从影像照射部154投射的用户消息显示，也可以从影像照射部154投射图标，使用图标来向用户通知。
或者，也可以通过在显示部155显示消息来向用户通知。进而，也可以通过从音频输出部157输出语音消息、效果音来向用户通知。不论使用上述哪种手段都能够得到同样的效果。
此外，上述实施方式是为了易于理解地说明本发明而详细说明的，不限于一定具备所说明的所有结构。另外，能够对各实施方式的结构的一部分进行其它结构的追加、删除及置换。另外，也可以通过例如用集成电路设计等由硬件实现上述各结构、功能、处理部、处理单元等的一部分或者全部。
另外，考虑到说明上需要而示出了控制线、信息线，产品上未必示出所有控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (13)

1.一种投射型影像显示装置，能够通过操作投射到投射面的操作目标来进行控制，具备：
投射部，将显示影像投射到所述投射面上；
摄像部，对所述投射面进行摄像；
可操作区域确定部，根据所述摄像部摄像到的图像数据在所述投射面中的所述显示影像被投射的范围分别确定第1区域以及第2区域，所述第1区域能够检测所述操作目标的操作，所述第2区域无法检测所述操作目标的操作；以及
检测部，根据所述摄像部摄像到的图像数据检测所述操作目标的操作，
所述投射部能够投射将所述第1区域与所述第2区域区分而显示的显示影像，所述投射部变更所述操作目标的显示位置而显示以使得显示于能够检测所述操作目标的操作的所述第1区域的范围内，其中，所述第1区域是所述可操作区域确定部确定出的能够检测所述操作目标的操作的区域。
2.根据权利要求1所述的投射型影像显示装置，其特征在于，
进而，在从所述投射部投射而显示从外部输入的输入影像的情况下，所述投射部根据所述可操作区域确定部确定出的所述第1区域来变更所述显示影像中的所述输入影像所占的范围。
3.根据权利要求1所述的投射型影像显示装置，其特征在于，
所述可操作区域确定部根据所述摄像部摄影到的所述投射面的图像数据的亮度电平，分别确定能够检测所述操作目标的操作的所述第1区域以及无法检测所述操作目标的操作的所述第2区域。
4.根据权利要求3所述的投射型影像显示装置，其特征在于，
进而，所述可操作区域确定部将所述亮度电平比第1设定值高的区域确定为所述第1区域，将所述亮度电平比第1设定值低的区域确定为所述第2区域。
5.根据权利要求4所述的投射型影像显示装置，其特征在于，
进而，所述可操作区域确定部根据所述亮度电平对无法检测所述操作目标的操作的所述第2区域进行分组，
所述投射部在所述显示影像中显示为按组对由所述可操作区域确定部分组的所述第2区域进行识别。
6.根据权利要求3所述的投射型影像显示装置，其特征在于，
进而，所述可操作区域确定部将所述亮度电平比第2设定值低的区域检测为无所述投射面的不可使用区域，
所述投射部根据所述可操作区域确定部的检测结果设定投影范围，以避免影像被投影于所述不可使用区域。
7.根据权利要求1所述的投射型影像显示装置，其特征在于，
所述检测部检测手指或者电子笔的至少任意一个的接触位置，根据检测到的所述接触位置检测所述操作目标的操作。
8.一种影像显示方法，是能够通过操作投射到所述投射面的操作目标来进行控制的投射型影像显示装置的影像显示方法，
该投射型影像显示装置具备：
投射部，将显示影像投射到投射面上；
摄像部，对所述投射面进行摄像；
可操作区域确定部，分别确定能够检测操作目标的操作的第1区域以及无法检测所述操作目标的操作的第2区域；以及
检测部，检测所述操作目标的操作，
其中，所述影像显示方法具有如下步骤：
所述可操作区域确定部根据所述摄像部摄像到的图像数据在所述投射面中的所述显示影像被投射的范围分别确定所述检测部能够检测所述操作目标的操作的所述第1区域以及所述检测部无法检测所述操作目标的操作的所述第2区域的步骤；
所述投射部将所述可操作区域确定部确定出的所述第1区域与所述第2区域区分而显示的步骤；以及
所述投射部变更所述操作目标的显示位置而显示，以使得显示于所述可操作区域确定部确定出的能够检测所述操作目标的操作的所述第1区域的范围内的步骤。
9.根据权利要求8所述的影像显示方法，其特征在于，还具有如下步骤：
所述投射部在投射从外部输入的输入影像而显示时变更影像投射范围而显示，以使得在所述可操作区域确定部确定出的能够检测所述操作目标的操作的所述第1区域的范围内显示所述输入影像的步骤。
10.根据权利要求8所述的影像显示方法，其特征在于，
在确定所述区域的步骤中，根据所述摄像部摄影到的所述投射面的图像数据的亮度电平分别确定所述第1区域以及所述第2区域。
11.根据权利要求10所述的影像显示方法，其特征在于，
在所述第1区域以及所述第2区域的确定中，将所述亮度电平比第1设定值高的区域确定为所述第1区域，将所述亮度电平比第1设定值低的区域确定为所述第2区域。
12.根据权利要求11所述的影像显示方法，其特征在于，还具有如下步骤：
所述可操作区域确定部根据所述亮度电平对确定出的所述第2区域进行分组的步骤；以及
所述投射部在所述显示影像中显示为按组对由所述可操作区域确定部分组的所述第2区域进行识别的步骤。
13.根据权利要求10所述的影像显示方法，其特征在于，还具有如下步骤：
所述可操作区域确定部将所述亮度电平比第2设定值低的区域检测为无所述投射面的不可使用区域的步骤；以及
所述投射部根据所述可操作区域确定部的检测结果设定所述显示影像的投影范围而显示，以避免影像被投影于所述不可使用区域。
CN201480082763.3A 2014-11-13 2014-11-13 投射型影像显示装置以及影像显示方法 Active CN107077258B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080120 WO2016075796A1 (ja) 2014-11-13 2014-11-13 投射型映像表示装置および映像表示方法

Publications (2)

Publication Number Publication Date
CN107077258A true CN107077258A (zh) 2017-08-18
CN107077258B CN107077258B (zh) 2019-12-17

Family

ID=55953909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082763.3A Active CN107077258B (zh) 2014-11-13 2014-11-13 投射型影像显示装置以及影像显示方法

Country Status (4)

Country Link
US (2) US10521050B2 (zh)
JP (1) JP6282758B2 (zh)
CN (1) CN107077258B (zh)
WO (1) WO2016075796A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110999280A (zh) * 2017-08-23 2020-04-10 三菱电机株式会社 影像内容介质和影像再现装置
CN111083455A (zh) * 2018-10-22 2020-04-28 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
CN115421615A (zh) * 2022-10-21 2022-12-02 潍坊歌尔电子有限公司 触控灵敏度自检方法、装置、桌面投影机及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093241A1 (ja) * 2014-12-09 2016-06-16 旭化成株式会社 位置方位検出装置及び位置方位検出プログラム
TWI574180B (zh) * 2016-01-21 2017-03-11 緯創資通股份有限公司 光學觸控系統、光學觸控裝置及其觸控偵測方法
JP2017215631A (ja) * 2016-05-30 2017-12-07 沖電気工業株式会社 入力装置、入力システム、入力処理方法、及びプログラム
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
JP6275312B1 (ja) 2017-06-02 2018-02-07 キヤノン株式会社 投写装置およびその制御方法、プログラム
JP7124375B2 (ja) * 2018-03-26 2022-08-24 セイコーエプソン株式会社 電子ペン、表示システムおよび電子ペンの制御方法
JP2019174513A (ja) * 2018-03-27 2019-10-10 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP7117525B2 (ja) * 2018-05-31 2022-08-15 パナソニックＩｐマネジメント株式会社 投写型映像表示装置の制御装置、制御方法、プログラム、及び投写型映像表示システム
EP3849754A1 (en) 2018-09-13 2021-07-21 The Charles Stark Draper Laboratory, Inc. Manipulating fracturable and deformable materials using articulated manipulators
JP7251094B2 (ja) 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示システム、及び、位置検出方法
JP7443819B2 (ja) 2020-02-27 2024-03-06 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP7338659B2 (ja) * 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
CN2687995Y (zh) * 2003-03-25 2005-03-23 精工爱普生株式会社 图像处理系统及投影机
CN101512630A (zh) * 2006-08-29 2009-08-19 松下电器产业株式会社 图像显示方法及图像显示装置
CN102449680A (zh) * 2009-05-26 2012-05-09 松下电器产业株式会社 信息呈现装置
CN102650804A (zh) * 2011-02-25 2012-08-29 三洋电机株式会社 投射型影像显示装置
CN102650808A (zh) * 2011-02-25 2012-08-29 三洋电机株式会社 投射型影像显示装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386249A (en) * 1992-01-22 1995-01-31 Samsung Electronics Co., Ltd. Video motion detector with full-band response except for diagonal spatial frequencies
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
EP1596271A1 (en) 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
GB2431500B (en) * 2004-06-18 2009-03-25 Microth Inc Stroke-based data entry device, system, and method
JP2006267995A (ja) * 2005-02-28 2006-10-05 Yamaha Corp 投射型映像再生装置
JP4733600B2 (ja) 2006-08-31 2011-07-27 日本電信電話株式会社 操作検出装置とそのプログラム
WO2008045464A2 (en) * 2006-10-10 2008-04-17 Wms Gaming Inc. Multi-player, multi-touch table for use in wagering game systems
GB2447071A (en) 2007-02-27 2008-09-03 Pro Fit Int Ltd An apparatus and method for transporting a fabric
JP5103944B2 (ja) * 2007-03-02 2012-12-19 セイコーエプソン株式会社 入力機能付有機エレクトロルミネッセンス装置、及び電子機器
US8115753B2 (en) * 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
FR2940000A1 (fr) * 2008-12-17 2010-06-18 Bernard Taillade Systeme de securite perimetrique par l'analyse active de l'image d'une camera video
JP2010277377A (ja) * 2009-05-29 2010-12-09 Panasonic Corp タッチパネルシステム
US8390600B2 (en) * 2009-11-13 2013-03-05 Microsoft Corporation Interactive display system with contact geometry interface
FR2962834A1 (fr) * 2010-07-13 2012-01-20 Commissariat Energie Atomique Procede de detection d'une cible dans les images stereoscopiques par apprentissage et classification statistique a partir d'une loi de probabilite.
JP2012027515A (ja) 2010-07-20 2012-02-09 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
JP2012094085A (ja) 2010-10-29 2012-05-17 Hitachi Consumer Electronics Co Ltd 入力装置
JP2013003185A (ja) * 2011-06-13 2013-01-07 Seiko Epson Corp プロジェクター、プロジェクターシステム、及び画像投写方法
JP5921835B2 (ja) 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
JP2013109538A (ja) 2011-11-21 2013-06-06 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
JP6000553B2 (ja) 2012-01-24 2016-09-28 キヤノン株式会社 情報処理装置及びその制御方法
US9785028B2 (en) * 2012-03-23 2017-10-10 Pioneer Corporation Display apparatus, driving method thereof, and screen apparatus for displaying
US9285895B1 (en) * 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
JP6098153B2 (ja) 2012-12-18 2017-03-22 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR102001332B1 (ko) * 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105247447B (zh) * 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
JP2015022442A (ja) * 2013-07-17 2015-02-02 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
KR102162836B1 (ko) * 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
EP3056975B1 (en) * 2013-10-08 2020-08-12 Maxell, Ltd. Projection type image display device, manipulation detection device and projection type image display method
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10198030B2 (en) * 2014-05-15 2019-02-05 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
CN106462227A (zh) 2014-08-07 2017-02-22 日立麦克赛尔株式会社 投影型影像显示装置及其控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
CN2687995Y (zh) * 2003-03-25 2005-03-23 精工爱普生株式会社 图像处理系统及投影机
CN101512630A (zh) * 2006-08-29 2009-08-19 松下电器产业株式会社 图像显示方法及图像显示装置
CN102449680A (zh) * 2009-05-26 2012-05-09 松下电器产业株式会社 信息呈现装置
CN102650804A (zh) * 2011-02-25 2012-08-29 三洋电机株式会社 投射型影像显示装置
CN102650808A (zh) * 2011-02-25 2012-08-29 三洋电机株式会社 投射型影像显示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110999280A (zh) * 2017-08-23 2020-04-10 三菱电机株式会社 影像内容介质和影像再现装置
CN110999280B (zh) * 2017-08-23 2022-02-25 三菱电机株式会社 影像内容介质和影像再现装置
CN111083455A (zh) * 2018-10-22 2020-04-28 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
CN111083455B (zh) * 2018-10-22 2023-08-11 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
CN115421615A (zh) * 2022-10-21 2022-12-02 潍坊歌尔电子有限公司 触控灵敏度自检方法、装置、桌面投影机及存储介质

Also Published As

Publication number Publication date
JP6282758B2 (ja) 2018-02-21
WO2016075796A1 (ja) 2016-05-19
JPWO2016075796A1 (ja) 2017-09-21
US20170322672A1 (en) 2017-11-09
CN107077258B (zh) 2019-12-17
US10915186B2 (en) 2021-02-09
US20200150821A1 (en) 2020-05-14
US10521050B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN107077258A (zh) 投射型影像显示装置以及影像显示方法
CN104052950B (zh) 一种投影仪
TWI719971B (zh) 頭戴式顯示器及濾波方法
CN105706028B (zh) 投影型影像显示装置
CN101617271B (zh) 使用闪烁电磁辐射的增强输入
CN104049792B (zh) 操作检测装置和操作检测方法
CN105723303B (zh) 投影型影像显示装置、操作检测装置及投影型影像显示方法
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
CN105593786B (zh) 对象位置确定
CN101836180B (zh) 检测视觉系统中的环境光级别
US20150062172A1 (en) Image processing apparatus
US10768118B2 (en) Surface defect inspection device and method
CN110058480A (zh) 照明装置
CN101419498A (zh) 操作输入装置
CN102667689B (zh) 交互式显示器
CN105874409A (zh) 信息处理系统、信息处理方法及程序
JP2005182247A (ja) 瞳孔位置検出によるポインティング装置及び方法
JP6307576B2 (ja) 映像表示装置及びプロジェクタ
JP2017227972A (ja) 投影撮像システム及び投影撮像方法
CN108351684A (zh) 操作检测装置、操作检测方法以及影像显示系统
KR20190027081A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
TW201407446A (zh) 光學觸控系統、其操作方法與光學觸控方法
CN108885518A (zh) 坐标检测方法、坐标检测程序以及坐标检测系统
US20180129308A1 (en) Interactive display apparatus and operating method thereof
KR101547187B1 (ko) 신호처리시스템, 신호처리방법, 신호처리장치 및 그 장치의 구동방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171215

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Osaka

Applicant before: Hitachi Maxell, Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Patentee before: MAXELL, Ltd.