CN107407995B - 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法 - Google Patents

交互式投影仪、交互式投影系统以及交互式投影仪的控制方法 Download PDF

Info

Publication number
CN107407995B
CN107407995B CN201680012870.8A CN201680012870A CN107407995B CN 107407995 B CN107407995 B CN 107407995B CN 201680012870 A CN201680012870 A CN 201680012870A CN 107407995 B CN107407995 B CN 107407995B
Authority
CN
China
Prior art keywords
projection screen
function
pointer
light
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012870.8A
Other languages
English (en)
Other versions
CN107407995A (zh
Inventor
B·莫萨哈尼
T·荣尔斯塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN107407995A publication Critical patent/CN107407995A/zh
Application granted granted Critical
Publication of CN107407995B publication Critical patent/CN107407995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1645—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being suitable to be used in combination with an external overhead projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提高指示体与屏幕面的接触的检测精度。交互式投影仪具有：投射部；多台照相机，它们包含对投射画面进行摄像的第1照相机和第2照相机；位置检测部，其根据由多台照相机拍摄的包含有指示体的多个图像检测出指示体相对于投射画面的三维位置；函数计算部，其在投射了特定图像时根据由照相机拍摄的包含有特定图像的摄像图像，计算出表示投射画面的三维形状的曲面函数；以及接触检测部，其使用位置检测部所检测出的指示体的三维位置和由函数计算部所计算出的曲面函数来检测指示体与投射画面的接触，函数计算部根据包含有特定图像的摄像图像检测出投射画面上的互不相同的多个基准点的三维位置，并根据多个基准点的三维位置计算出曲面函数。

Description

交互式投影仪、交互式投影系统以及交互式投影仪的控制 方法
技术领域
本发明涉及能够接受用户通过指示体对投射画面的指示的交互式投影仪及其系统、以及该投影仪的控制方法。
背景技术
在专利文献1、2中公开了这样的投射型显示装置(投影仪)：能够将投射画面投射到屏幕上，并且通过照相机拍摄包含手指或发光的笔等对象物(object)在内的图像，使用该摄像图像检测对象物的位置。手指等对象物作为用于对投射画面进行指示的指示体而被利用。即，在对象物的末端与屏幕接触时，投影仪识别出对投射画面输入有描绘等规定的指示这一情况，并根据该指示再次描绘投射画面。因此，用户能够将投射画面用作用户界面来输入各种指示。这样，将能够利用屏幕上的投射画面作为可输入用户界面的类型的投影仪称为“交互式投影仪”。此外，将用于对投射画面进行指示的对象物称为“指示体(pointingelement)”。
现有技术文献
专利文献
专利文献1：日本特开2012-150636号公报
专利文献2：日本特表2008-520034号公报
发明内容
发明要解决的课题
在典型的交互式投影仪中，根据指示体的末端与屏幕接触来判定指示体进行了指示。能够根据指示体的末端与屏幕之间的距离来检测指示体的接触。但是，在使用多台照相机来检测指示体的末端的三维位置的结构的交互式投影仪中，在屏幕是曲面的情况下，指示体与屏幕的距离的检测精度不高，指示体的接触的检测精度不充分。因此，期望提高指示体相对于曲面的屏幕的接触的检测精度。
用于解决课题的手段
本发明是为了解决上述课题的至少一部分而完成的，能够作为以下的方式或者应用例而实现。
(1)根据本发明的一个方式，提供一种能够受理用户通过指示体对投射画面发出的指示的交互式投影仪。该交互式投影仪具有：投射部，其将所述投射画面投射到屏幕面上；多台照相机，它们包含对所述投射画面的区域进行摄像的第1照相机和第2照相机；位置检测部，其根据由所述多台照相机拍摄的包含有所述指示体的多个图像，检测出所述指示体相对于所述投射画面的三维位置；函数计算部，其在所述投射部投射了用于检测所述投射画面的位置的特定图像时，根据由所述照相机拍摄的包含有所述特定图像的摄像图像计算出表示所述投射画面的三维形状的曲面函数；以及接触检测部，其利用所述位置检测部所检测出的所述指示体的三维位置和由所述函数计算部计算出的所述曲面函数来检测所述指示体与所述投射画面的接触，所述函数计算部根据包含有所述特定图像的所述摄像图像检测出所述投射画面上的互不相同的多个基准点的三维位置，并根据所述多个基准点的三维位置计算出所述曲面函数。
在该交互式投影仪中，根据投射画面上的多个三维位置计算出表示投射画面的三维形状的曲面函数。由于针对指示体与投射画面的接触的检测是利用指示体的三维位置和投射画面的曲面函数来计算的，因此，能够提高针对指示体与曲面屏幕的接触的检测精度。
(2)在上述交互式投影仪中，可以是，所述函数计算部将所述曲面函数设为式(1)所表示的函数进行计算，
[式1]
Figure BDA0001393297010000021
其中，N1、N2、N3是满足P≧N1+N2+N3+1的零或正整数，并且N1、N2、N3中的至少一个是正整数，P是所述基准点的数量，aj、bj、cj、d是常数，aj、bj、cj中的至少1个不是零。
根据该结构，能够根据投射画面上的基准点的三维位置而容易地将投射画面的三维形状作为曲面函数计算出来。
(3)在上述交互式投影仪中，可以是，所述函数计算部将所述曲面函数设为式
(2)所表示的函数进行计算，
[式2]
Figure BDA0001393297010000031
其中，N1、N2是满足P≧N1+N2+1的零或正整数，并且N1、N2中的至少一个是正整数，P是所述基准点的数量，aj、bj、d是常数，aj、bj中的至少1个不是零。
根据该结构，同样能够根据投射画面上的基准点的三维位置而容易地将投射画面的三维形状作为曲面函数计算出来。
(4)在上述交互式投影仪中，可以是，所述函数计算部将所述曲面函数设为式(3)所表示的函数进行计算，
[式3]
Figure BDA0001393297010000032
其中，M1、M2、M3是满足P≧M1+M2+M3+1的零或正整数，并且M1、M2、M3中的至少一个是正整数，P是所述基准点的数量，ak、bk、ck、d是常数，ak、bk、ck中的至少1个不是零。
根据该结构，能够根据投射画面上的基准点的三维位置更快速地将投射画面的三维形状作为曲面函数计算出来。
(5)在上述交互式投影仪中，可以是，所述函数计算部将所述曲面函数设为式(4)所表示的函数进行计算，
[式4]
Figure BDA0001393297010000033
其中，M1、M2是满足P≧M1+M2+1的零或正整数，并且M1、M2中的至少一个是正整数，P是所述基准点的数量，ak、bk、d是常数，ak、bk中的至少1个不是零。
根据该结构，同样能够根据投射画面上的基准点的三维位置更快速地将投射画面的三维形状作为曲面函数计算出来。
(6)可以是，上述交互式投影仪还具有控制部，该控制部根据在所述接触检测部检测出所述指示体与所述投射画面接触时的所述指示体的三维位置来判定所述用户的指示的内容。
根据该结构，能够提高判定用户使用指示体对曲面屏幕所发出的指示内容的精度。
本发明能够通过各种方式来实现，例如，能够通过如下的各种各样的方式来实现：具备包含有自发光指示体和不发光指示体中的至少任意一方的指示体、屏幕、以及交互式投影仪的系统；交互式投影仪的控制方法或者控制装置；用于实现这些方法或者装置的功能的计算机程序；以及记录该计算机程序的非暂时性的记录介质(non-transitorystorage medium)等。
附图说明
图1是交互式投影系统的立体图。
图2是交互式投影系统的侧视图以及主视图。
图3是示出投影仪与自发光指示体的内部结构的框图。
图4是示出利用了自发光指示体和不发光指示体的操作的情况的说明图。
图5是例示出显示了测定用模式图像的投射画面的图。
图6是在曲面形状的屏幕上投射测定用模式图像的第1图。
图7是在曲面形状的屏幕上投射测定用模式图像的第2图。
具体实施方式
A1.系统的概要
图1是本发明的一个实施方式中的交互式投影系统900的立体图。该系统900具有交互式投影仪100、屏幕板920以及自发光指示体70。屏幕板920的前表面被用作投射屏幕面SS(projection Screen Surface)。投影仪100借助支承部件910而固定于屏幕板920的前方和上方。另外，在图1中，将投射屏幕面SS铅直地配置，但也能够将投射屏幕面SS水平地配置来使用该系统900。
投影仪100将投射画面PS(Projected Screen)投射到投射屏幕面SS上。投射画面PS通常包含有在投影仪100内描绘的图像。当不存在在投影仪100内描绘的图像的情况下，从投影仪100向投射画面PS照射光，而显示白色图像。在本说明书中，“投射屏幕面SS”(或者“屏幕面SS”)意味着部件的供图像投射的表面。此外，“投射画面PS”意味着被投影仪100投射到投射屏幕面SS上的图像的区域。通常，将投射画面PS投射到投射屏幕面SS的一部分上。
自发光指示体70是具有能够发光的末端部71、用户把持着的轴部72以及设置于轴部72的按钮开关73的笔型指示体。自发光指示体70的结构和功能在后面叙述。在该系统900中，能够与1个或者多个自发光指示体70一起利用1个或者多个不发光指示体80(不发光的笔、手指等)。以下，在不区别自发光指示体70与不发光指示体80的情况下，也简单地称为指示体780。
图2的(A)是交互式投影系统900的侧视图，图2的(B)是其主视图。在本说明书中，将沿着屏幕面SS的左右的方向定义为X方向，将沿着屏幕面SS的上下的方向定义为Y方向，将沿着屏幕面SS的法线的方向定义为Z方向。另外，为了方便，也将X方向称为“左右方向”，将Y方向称为“上下方向”，将Z方向称为“前后方向”。此外，将Y方向(上下方向)中的从投影仪100观察时投射画面PS所在的方向称为“下方向”。另外，在图2的(A)中，为了图示的方便，对屏幕板920中的投射画面PS的范围赋予阴影线。
投影仪100具有：投射透镜210，其将投射画面PS投射到屏幕面SS上；第1照相机310和第2照相机320，它们拍摄投射画面PS的区域；以及检测光照射部410，其用于对指示体780照射检测光。作为检测光，例如使用近红外光。两台照相机310、320至少具有接受包含检测光的波长在内的波长区域的光来进行摄像的第1摄像功能。两台照相机310、320中的至少一方还具有接受包含可见光在内的光来进行摄像的第2摄像功能，构成为能够切换这2种摄像功能。例如，两台照相机310、320优选分别具有近红外滤光器切换机构(未图示)，该近红外滤光器切换机构能够将近红外滤光器配置于透镜前或者使该近红外滤光器从透镜前后退，该近红外滤光器遮断可见光而仅使近红外光通过。两台照相机310、320的左右方向(X方向)的位置相同，两台照相机310、320在前后方向(Z方向)上隔开规定的距离并排地配置。两台照相机310、320不限于本实施方式。例如，也可以是前后方向(Z方向)的位置相同且在左右方向(X方向)上隔开规定的距离并排地配置。此外，也可以是，位置在X、Y、Z全部方向上全都不同。当改变Z方向的位置(在前后方向上偏移)来配置两台照相机时，由于基于三角测量的三维位置计算中的Z坐标的精度较高，因此是优选的。
图2的(B)的例子示出了交互式投影系统900以白板模式动作的情况。白板模式是用户能够使用自发光指示体70或不发光指示体80在投射画面PS上任意描绘的模式。在屏幕面SS上投射有包含工具箱TB在内的投射画面PS。该工具箱TB包含：使处理复原的取消按钮UDB；选择鼠标指针的指针按钮PTB；选择描绘用的笔工具的笔按钮PEB；选择用于将所描绘的图像消去的橡皮工具的橡皮按钮ERB；以及使画面接着前进或返回到前面的画面的前方/后方按钮FRB。用户使用指示体触摸这些按钮，由此，能够进行与该按钮对应的处理或者选择工具。另外，也可以在系统900刚启动后选择鼠标指针来作为默认工具。在图2的(B)的例子中，在用户选择笔工具之后，使自发光指示体70的末端部71在与屏幕面SS接触的状态下在投射画面PS内移动，由此，在投射画面PS内描绘出了描绘线的情况。该线的描绘是通过投影仪100的内部的投射图像生成部(后述)进行的。
另外，交互式投影系统900也能够在白板模式以外的其他的模式下动作。例如，该系统900也能够在将从个人计算机(未图示)经由通信线路传送来的数据的图像显示到投射画面PS上的PC交互式模式下动作。在PC交互式模式中，例如能够显示表计算软件等的数据的图像，并利用在该图像内显示的各种工具和图标进行数据的输入、生成、修正等。
图3是示出交互式投影仪100与自发光指示体70的内部结构的框图。投影仪100具有控制部700、投射部200、投射图像生成部500、位置检测部600、接触检测部800、摄像部300、检测光照射部410以及信号光发送部430。
控制部700进行投影仪100内部的各部分的控制。此外，控制部700根据由位置检测部600所检测出的指示体780的三维位置、和基于接触检测部800进行的指示体780的接触检测来判定指示体780在投射画面PS上进行的指示的内容，并根据该指示的内容对投射图像生成部500发出生成或者变更投射图像的指令。
投射图像生成部500具有存储投射图像的投射图像存储器510，并且具有生成由投射部200投射到屏幕面SS上的投射图像的功能。投射图像生成部500优选还具有作为对投射画面PS(图2的(B))的梯形畸变进行校正的梯形畸变校正部的功能。
投射部200具有将投射图像生成部500所生成的投射图像投射到屏幕面SS上的功能。投射部200除了具有在图2中说明的投射透镜210之外，还具有光调制部220和光源230。光调制部220根据从投射图像存储器510提供的投射图像数据对来自光源230的光进行调制，由此，形成投射图像光IML。该投射图像光IML典型地是包含RGB这3色的可见光的彩色图像光，并被投射透镜210投射到屏幕面SS上。另外，作为光源230，除了超高压水银灯等光源灯之外，还能够采用发光二极管或激光二极管等各种光源。此外，作为光调制部220，能够采用透射型或者反射型的液晶面板或数字反射镜器件等，也可以是根据色光不同而具有多个调制部220的结构。
检测光照射部410遍及屏幕面SS及其前方的空间照射用于检测指示体780的末端部的照射检测光IDL。作为照射检测光IDL，例如使用近红外光。检测光照射部410仅在包含照相机310、320的摄像定时在内的规定的期间亮灯，而在其他的期间熄灯。或者，检测光照射部410可以在系统900的动作中始终维持亮灯状态。
信号光发送部430具有发送作为同步用的近红外光信号的装置信号光ASL的功能。装置信号光ASL是同步用的近红外光信号，当投影仪100启动时，信号光发送部430对自发光指示体70定期地发出该装置信号光ASL。自发光指示体70的末端发光部77与装置信号光ASL同步地发出具有预先确定的发光模式(发光顺序)的近红外光即指示体信号光PSL(后述)。此外，摄像部300的照相机310、320在进行指示体780的位置检测时，在与装置信号光ASL同步的规定的定时执行摄像。
摄像部300具有图2中说明的第1照相机310和第2照相机320。如上所述，两台照相机310、320具有接受包含检测光的波长在内的波长区域的光来进行摄像的功能。在图3的例子中，描绘了如下情况：检测光照射部410所照射的照射检测光IDL在指示体780上反射，其反射检测光RDL被两台照相机310、320接受而被拍摄。两台照相机310、320还接受从自发光指示体70的末端发光部77发出的近红外光即指示体信号光PSL而进行摄像。两台照相机310、320的拍摄在从检测光照射部410发出的照射检测光IDL为接通状态(发光状态)的第1期间、以及照射检测光IDL为断开状态(不发光状态)的第2期间这两种期间内被执行。位置检测部600通过对这2种的期间内的图像进行比较，能够判定出图像内包含的各个指示体是自发光指示体70和不发光指示体80中的哪个。
另外，两台照相机310、320中的至少一方除了具有使用包含近红外光在内的光进行摄像的功能之外，还具有使用包含可见光在内的光进行摄像的功能。这样，能够通过该照相机拍摄投射到屏幕面SS上的投射画面PS，并利用其图像如后述那样由函数计算部820计算出投射画面PS的三维的曲面函数。此外，投射图像生成部500能够执行梯形畸变校正。利用了1台以上的照相机的梯形畸变校正的方法是公知的，因此，这里省略其说明。
位置检测部600具有这样的功能：对两台照相机310、320所拍摄的图像(以下，也称为“摄像图像”。)进行分析，并通过利用了两台照相机的视差的三角测量原理来计算出指示体780(自发光指示体70或不发光指示体80)的末端部的三维位置坐标。此时，位置检测部600通过对上述第1期间和第2期间内的摄像图像进行比较，来判定图像内包含的各个指示体780是自发光指示体70和不发光指示体80中的哪个(后述)。位置检测部600所检测的三维坐标的坐标系优选是照相机310、320中的、具有使用包含可见光在内的光进行摄像的功能的照相机的坐标系(照相机坐标系)。此外，坐标系的原点优选利用由后述的函数计算部820在投影仪100启动时在屏幕面SS上设定的原点。
接触检测部800对指示体780(自发光指示体70或不发光指示体80)与投射画面PS(屏幕面SS)的接触进行检测。本实施方式的接触检测部800根据自发光指示体70所发出的指示体信号光PSL的发光模式来执行针对自发光指示体70与投射画面PS的接触的检测，并根据由位置检测部600所检测出的三维位置坐标来执行针对不发光指示体80与投射画面PS的接触的检测。但是，接触检测部800也可以通过和不发光指示体80与投射画面PS的接触的检测方法相同的方法来执行自发光指示体70与投射画面PS的接触的检测。
本实施方式的接触检测部800包含对表示投射画面PS(屏幕面SS)的三维形状的曲面函数进行计算的函数计算部820。接触检测部800根据位置检测部600所检测出的不发光指示体80的三维位置坐标和函数计算部820所计算出的投射画面PS的曲面函数，来执行针对不发光指示体80与投射画面PS的接触的检测。具体而言，接触检测部800根据不发光指示体80的三维位置坐标和投射画面PS的曲面函数来计算出不发光指示体80与投射画面PS之间的距离，在它们之间的距离为零或者为接近零的误差容许值以下时，判定为不发光指示体80与投射画面PS接触。关于基于接触检测部800进行的不发光指示体80的接触的检测方法以及基于函数计算部820进行的曲面函数的计算方法，在后文进行详细叙述。
在自发光指示体70上除了设置有按钮开关73之外，还设置有信号光接收部74、控制部75、末端开关76以及末端发光部77。信号光接收部74具有接收从投影仪100的信号光发送部430发出的装置信号光ASL的功能。末端开关76是如下开关：当自发光指示体70的末端部71被按压时成为接通状态，当末端部71被释放时为断开状态。末端开关76通常是断开状态，当自发光指示体70的末端部71与屏幕面SS接触时，末端开关76由于该接触压力而成为接通状态。当末端开关76为断开状态时，控制部75以表示末端开关76为断开状态的特定的第1发光模式使末端发光部77发光，由此，发出了具有第1发光模式的指示体信号光PSL。另一方面，当末端开关76为接通状态时，控制部75以表示末端开关76为接通状态的特定的第2发光模式使末端发光部77发光，由此，发出具有第2发光模式的指示体信号光PSL。这些第1发光模式和第2发光模式互相不同，因此，位置检测部600通过对两台照相机310、320所拍摄到的图像进行分析，由此，能够识别出末端开关76是接通状态还是断开状态。此外，接触检测部800能够根据位置检测部600的分析结果来检测自发光指示体70与投射画面PS的接触。
自发光指示体70的按钮开关73具有与末端开关76相同的功能。因此，控制部75在用户按下按钮开关73的状态下使末端发光部77以上述第2发光模式发光，在未按下按钮开关73的状态下使末端发光部77以上述第1发光模式发光。换言之，控制部75在末端开关76和按钮开关73中的至少一方为接通的状态下使末端发光部77以上述第2发光模式发光，在末端开关76和按钮开关73双方都断开的状态下使末端发光部77以上述第1发光模式发光。
但是，可以对按钮开关73分配与末端开关76不同的功能。例如，在对按钮开关73分配与鼠标的右点击按钮相同的功能的情况下，当用户按下按钮开关73时，右点击的指示被传递到投影仪100的控制部700，执行与该指示对应的处理。这样，在对按钮开关73分配与末端开关76不同的功能的情况下，末端发光部77根据末端开关76的通/断状态以及按钮开关73的通/断状态而以互不相同的4种发光模式发光。在该情况下，自发光指示体70能够对末端开关76与按钮开关73的通/断状态的4种组合进行区别，并传递至投影仪100。
图4是示出利用了自发光指示体70和不发光指示体80的操作的情况的说明图。在该例中，自发光指示体70的末端部71和不发光指示体80的末端部81都远离屏幕面SS。自发光指示体70的末端部71的XY坐标(X71，Y71)处于工具箱TB的橡皮按钮ERB之上。此外，在此，选择鼠标指针PT作为表示自发光指示体70的末端部71的功能的工具，以使鼠标指针PT的末端OP71存在于橡皮按钮ERB之上的方式将鼠标指针PT描绘于投射画面PS。如上所述，自发光指示体70的末端部71的三维位置是通过使用了两台照相机310、320所拍摄到的图像的三角测量来决定的。因此，在投射画面PS上，以下述方式描绘鼠标指针PT：将处于鼠标指针PT的末端的操作指针OP71配置于通过三角测量确定的末端部71的三维位置坐标(X71，Y71，Z71)中的XY坐标(X71，Y71)的位置处。即，鼠标指针PT的末端OP71配置于自发光指示体70的末端部71的三维位置坐标(X71，Y71，Z71)中的XY坐标(X71，Y71)处，并在该位置进行用户的指示。例如，用户能够在该状态下使自发光指示体70的末端部71接触到投射画面PS上来选择橡皮工具。此外，用户通过在该状态下按下自发光指示体70的按钮开关73，也能够选择橡皮工具。这样，在本实施方式中，即使在自发光指示体70处于离开屏幕面SS的状态的情况下，通过按压按钮开关73，也能够将与操作指针OP71处的投射画面PS的内容相对应的指示提供给投影仪100，其中，该操作指针OP71被配置在末端部71的XY坐标(X71，Y71)处。
在图4的(B)中，还选择笔工具PE作为表示不发光指示体80的末端部81的功能的工具，在投射画面PS上描绘出笔工具PE。如上所述，不发光指示体80的末端部81的三维位置也通过使用了由两台照相机310、320所拍摄到的图像的三角测量来确定。因此，在投射画面PS上，以如下的方式描绘出笔工具PE：将处于笔工具PE的末端的操作指针OP81配置于通过三角测量确定的末端部81的三维位置坐标(X81，Y81，Z81)中的XY坐标(X81，Y81)的位置处。但是，在用户想利用不发光指示体80向投影仪100发出指示时，在使不发光指示体80的末端部81接触到投射画面PS上的状态下进行该指示(描绘、工具的选择等)。
在图4的例子中，即使在指示体780(自发光指示体70、不发光指示体80)的末端部远离投射画面PS的情况下，由各个指示体所选择的工具(鼠标指针PT、笔工具PE)也被描绘并显示在投射画面PS上。因此，具有如下优点：即使在用户未使指示体的末端部与投射画面PS接触的情况下，也容易理解该指示体选择了哪个工具，从而操作容易。此外，以使得工具的操作指针OP配置于指示体的末端部的三维位置坐标中的XY坐标的位置的方式描绘该工具，因此，具有如下优点：用户能够适当地识别出使用中的工具的位置。
另外，该交互式投影系统900构成为能够同时利用多个自发光指示体70。在该情况下，上述的指示体信号光PSL的发光模式优选为能够识别出多个自发光指示体70的固有的发光模式。更具体而言，在能够同时利用N个(N是2以上的整数)自发光指示体70的情况下，指示体信号光PSL的发光模式优选为能够区别开N个自发光指示体70。另外，当在1组发光模式中包含有多次单位发光期间的情况下，在1次单位发光期间内，能够表现出发光与不发光这两种值。在此，1次单位发光期间相当于自发光指示体70的末端发光部77表现出通/断的1位信息的期间。在1组发光模式由M个(M是2以上的整数)单位发光期间构成的情况下，通过1组发光模式能够区别2M个状态。因此，构成1组发光模式的单位发光期间的数量M优选被设定为满足下式(5)。
N×Q≦2M…(5)
其中，Q是通过自发光指示体70的开关73、76来区别的状态的数量，在本实施方式的例子中，Q＝2或者Q＝4。例如，在Q＝4的情况下，优选的是，当N＝2时，将M设定为3以上的整数，当N＝3～4时，将M设定为4以上的整数。此时，当位置检测部600(或者控制部700)识别N个自发光指示体70以及各自发光指示体70的开关73、76的状态时，使用在1组发光模式的M个单位发光期间内由各照相机310、320所分别拍摄到的M个图像来执行该识别。另外，该M位的发光模式是在将照射检测光IDL维持为断开状态的状态下将指示体信号光PSL设定为接通或断开的模式，在照相机310、320所拍摄到的图像中未映入不发光指示体80。因此，为了拍摄因检测不发光指示体80的位置所使用的图像，优选进一步追加照射检测光IDL为接通状态的1位的单位发光期间。但是，在位置检测用的单位发光期间，指示体信号光PSL可以是通/断中的任意。在该位置检测用的单位发光期间得到的图像也能够用于自发光指示体70的位置检测。
将图3中描绘的5种类的信号光的具体例汇总如下。
(1)投射图像光IML：为了向屏幕面SS投射投射画面PS而由投射透镜210向屏幕面SS上投射的图像光(可见光)。
(2)照射检测光IDL：为了检测指示体780(自发光指示体70以及不发光指示体80)的末端部而由检测光照射部410遍及屏幕面SS及其前方的空间所照射的近红外光。
(3)反射检测光RDL：作为照射检测光IDL而照射的近红外光中的被指示体780(自发光指示体70以及不发光指示体80)反射并被两台照相机310、320接受的近红外光。
(4)装置信号光ASL：为了实现投影仪100与自发光指示体70的同步而从投影仪100的信号光发送部430定期发出的近红外光。
(5)指示体信号光PSL：在与装置信号光ASL同步的定时从自发光指示体70的末端发光部77发出的近红外光。指示体信号光PSL的发光模式根据自发光指示体70的开关73、76的通/断状态而变更。此外，具有识别多个自发光指示体70的固有的发光模式。
在本实施方式中，自发光指示体70和不发光指示体80的末端部的位置检测、以及由自发光指示体70和不发光指示体80所指示的内容的判别分别如下述这样执行。
A2.自发光指示体70的位置检测方法以及指示内容的判别方法的概要
自发光指示体70的末端部71的三维位置坐标(X71，Y71，Z71)是位置检测部600使用两台照相机310、320所拍摄到的图像并根据三角测量而确定的。此时，关于是自发光指示体70，能够通过判断在规定的多个定时所拍摄的图像中出现了末端发光部77的发光模式来进行识别。此外，关于自发光指示体70的末端部71与屏幕面SS接触(即末端开关76接通)，能够利用在上述多个定时拍摄的图像中的末端发光部77的发光模式来进行判别。通过位置检测部600以及接触检测部800，能够检测出自发光指示体70的末端部71的三维位置和末端部71与屏幕面SS接触。控制部700根据位置检测部600以及接触检测部800的检测结果来判别自发光指示体70的指示内容，并使投射图像生成部500生成与指示内容对应的图像，并通过投射部200将与指示内容对应的图像透射在屏幕面SS上。例如，如图4的(B)所例示的那样，当在末端部71的XY坐标(X71，Y71)的位置位于工具箱TB内的任意一个按钮之上的状态下末端开关76为接通的情况下，该按钮的工具被选择。此外，如图2的(B)所例示的那样，当在末端部71的XY坐标(X71，Y71)处于投射画面PS内的工具箱TB以外的位置的状态下末端开关76为接通的情况下，基于所选择的工具的处理(例如描绘)被选择。控制部700利用自发光指示体70的末端部71的XY坐标(X71，Y71)，以使预先选择的指针或标记配置于投射画面PS内的位置(X71，Y71)处的方式使投射图像生成部500描绘该指针或标记。此外，控制部700执行遵从由自发光指示体70所指示的内容的处理，并使投射图像生成部500描绘包含该处理结果在内的图像。
A3.不发光指示体80的位置检测方法以及指示内容的判别方法的概要
不发光指示体80的末端部81的三维位置坐标(X81，Y81，Z81)也是使用由两台照相机310、320所拍摄的图像并根据三角测量而确定的。此时，关于是不发光指示体80，能够通过判断在规定的多个定时所拍摄的图像中出现有自发光指示体70的发光模式来进行识别。另外，关于两台照相机310、320所拍摄的两个图像中的不发光指示体80的末端部81的位置，能够利用模板匹配或特征提取等公知的技术来确定。例如，在通过模板匹配来识别作为手指的不发光指示体80的末端部81的情况下，预先准备与手指相关的多个模板，在两台照相机310、320所拍摄到的图像中检索适合这些模板的部分，由此，能够识别手指的末端部81。关于不发光指示体80的末端部81与屏幕面SS接触，接触检测部800根据位置检测部600通过三角测量所确定的末端部81的Z坐标值、与根据投射画面PS的曲面函数所计算出的屏幕面SS的Z坐标值之差在微小的容许差以下、即末端部81与屏幕面SS的表面充分接近来判定。作为该容许差，例如优选使用2mm～6mm左右的小值。在接触检测部800判定为不发光指示体80的末端部81与屏幕面SS接触的情况下，控制部700根据该接触位置处的投射屏幕面SS的内容来判别其指示内容。此外，控制部700也可以利用位置检测部600所检测出的不发光指示体80的末端的XY坐标(X81，Y81)，以使预先选择的指针或标记配置于投射画面PS内的位置(X81，Y81)处的方式使投射图像生成部500描绘该指针或标记。此外，控制部700可以执行遵从由不发光指示体80所指示的内容的处理，并使投射图像生成部500描绘包含该处理结果在内的图像。
A4.投射画面PS的曲面函数的计算(之1)
图5是例示出投射画面PS的图，其中，在该投射画面PS上显示了在投射画面PS的曲面函数的计算中所使用的测定用模式图像CPM。函数计算部820能够通过以下的方法计算出投射画面PS的三维的曲面函数。首先，投射部200在投影仪100启动时将表现有测定用模式图像CPM(校准模式图像)的投射画面PS投射到投射屏幕面SS上。测定用模式图像CPM是包含有多个基准点Pc的图像，作为测定用模式图像数据而预先存储于未图示的存储部。在本实施例中，在测定用模式图像CPM中，25个基准点Pc(Pc1～Pc25)以在纵方向上5个、在横方向上5个的方式排列配置。测定用模式图像CPM中包含的基准点Pc的数量P只要是P≧3，则不限于上述数量。但是，基准点Pc优选在测定用模式图像CPM内以行列状规则地排列。此外，基准点Pc只要构成为能够识别投射画面PS上的特定的位置，则不限于点(圆点)，例如也可以是两个直线的交点或矩形的角部。
当显示有测定用模式图像CPM的投射画面PS被投射到投射屏幕面SS上时，摄像部300通过第1照相机310和第2照相机320中的具有第2摄像功能(接受包含可见光在内的光而进行摄像的功能)的照相机，对包含显示有测定用模式图像CPM的投射画面PS在内的区域进行摄像。由此，得到了包含有测定用模式图像CPM的摄像图像CI。函数计算部820对得到的摄像图像CI进行解析，检测摄像图像CI中的各基准点Pc的位置，并根据检测出的位置来检测各基准点Pc的三维位置坐标。函数计算部820所检测的三维坐标的坐标系优选与位置检测部600检测指示体780的三维位置坐标时的照相机坐标系相同。关于基准点Pc的三维位置坐标的检测，也可以使用如下的主动型的主动立体法(能動型のアクティブステレオ法)：利用投射部200与摄像部300(进行摄像的照相机)的视差，并通过三角测量的原理进行检测。另外，在基准点Pc的三维位置坐标的检测中，也可以使用主动立体法以外的方法(例如，使用了两个照相机的被动型的立体法)。由此，能够得到各基准点Pc1～Pc25的三维位置坐标Pc1(Xc1，Yc1，Zc1)、Pc2(Xc2，Yc2，Zc2)、Pc3(Xc3，Yc3，Zc3)、···、Pc25(Xc25，Yc25，Zc25)。另外，优选的是，函数计算部820将基准点Pc1～Pc25中的任意一点作为坐标系的原点来计算其他的基准点Pc的三维位置坐标，更优选的是，将基准点Pc1～Pc25中的位于投射画面PS的中心处的基准点Pc13作为坐标系的原点。
函数计算部820根据检测出的各基准点Pc的三维位置坐标来计算出表示投射画面PS的近似曲面的曲面函数。优选的是，本实施方式的函数计算部820将下述的式(1)作为拟合函数来进行计算。
[式5]
Figure BDA0001393297010000141
其中，N1、N2、N3是满足P≧N1+N2+N3+1的零或正整数，且N1、N2、N3中的至少一个是正整数。P是基准点Pc的数量。aj、bj、cj，d是常数，aj、bj、cj中的至少1个不是零。
根据本实施方式，投射画面PS的三维形状与包含N1次的X、N2次的Y、N3次的Z的曲面函数近似。另外，通过使N1、N2、N3满足P≧N1+N2+N3+1，能够使基准点Pc的数量P为式(1)中所包含的未知数的数量(N1+N2+N3+1)以上，并能够计算出这些未知数的值(包含近似解)。此外，由上述式(1)可知，投射画面PS的三维的曲面函数包含三维的平面函数(例如，N1、N2、N3全部为1时)。在投射部200所投射的测定用模式图像CPM的种类存在有多种的情况下，函数计算部820可以根据各个测定用模式图像CPM中包含的基准点Pc的数量P来设定N1、N2、N3。
在此，针对测定用模式图像CPM中所包含的基准点Pc的数量P为25且将式(1)的N1、N2、N3全部设为4的情况下的一例进行说明。根据式(1)和25处基准点Pc1～Pc25的三维位置坐标，如以下的式(6)那样成立25个联立方程式。未知数的数量是a1～a4、b1～b4、c1～c4以及d这13个，因此，式(6)是过剩条件的联立方程式。在该情况下，例如，能够通过最小二乘法计算出近似解。基于最小二乘法的近似解的计算方法是公知的，因此，这里省略其说明。通过上述的未知数的值的计算，能够计算出投射画面PS的曲面函数。
[式6]
Figure BDA0001393297010000151
A5.针对投射画面PS与不发光指示体80的接触的检测
接触检测部800通过将由位置检测部600计算出的不发光指示体80的末端部81的三维位置坐标(X81，Y81，Z81)中的XY坐标(X81，Y81)代入函数计算部820所计算出的投射画面PS的曲面函数中，能够计算出在将不发光指示体80的末端部81向Z方向投影时的屏幕面SS上的Z坐标。而且，能够将不发光指示体80的末端部81的Z坐标与屏幕面SS上的Z坐标之差作为不发光指示体80与投射屏幕面SS之间的距离。而且，当该距离为容许差以下时，能够检测出不发光指示体80与投射屏幕面SS的接触。
图6以及图7是示出在曲面形状的屏幕上投射测定用模式图像CPM的例子的图。图6的屏幕面SS1由左右方向朝向内侧弯曲的面形成，图7的屏幕面SS2由上下方向朝向内侧弯曲的面形成。根据本实施方式，函数计算部820将投射画面PS的三维形状近似为式(1)那样的曲面函数，因此，即使屏幕面是曲面，也能够降低表示投射画面PS的三维形状的函数与实际的屏幕面的形状之间的误差。由此，能够提高检测不发光指示体80与投射屏幕面SS的接触的精度。
B.投射画面PS的曲面函数的计算(之2)
函数计算部820也可以根据检测出的各基准点Pc的三维位置坐标，计算出映射到如下的坐标系中的映射函数，其中，在该坐标系中，各基准点Pc1～Pc25的三维位置坐标Pc1(Xc1，Yc1，Zc1)、Pc2(Xc2，Yc2，Zc2)、Pc3(Xc3，Yc3，Zc3)、···、Pc25(Xc25，Yc25，Zc25)的各自的Z坐标全部是Z＝0。然后，可以通过映射函数对由位置检测部600所检测出的不发光指示体80的末端部81的三维位置坐标进行转换，由此，将转换后的三维位置坐标中的Z坐标作为末端部81与投射屏幕面SS之间的距离。即，在转换后的不发光指示体80的末端部81的Z坐标为容许值以下的情况下，接触检测部800可以判定为不发光指示体80与投射屏幕面SS接触。
此外，例如，函数计算部820可以将下述的式(2)作为拟合函数，计算出表示投射画面PS的近似曲面的曲面函数。
[式7]
Figure BDA0001393297010000161
其中，N1、N2是满足P≧N1+N2+1的零或正整数，且N1、N2中的至少一个是正整数。aj、bj、d是常数，aj，bj中的至少1个不是零。
在该情况下，相对于不发光指示体80的末端部81的三维位置坐标(X81，Y81，Z81)而言，三维位置坐标(X81，Y81，Z81-Zc)相当于通过映射函数进行了转换的转换后的不发光指示体80的末端部81的三维位置坐标。该转换后的Z坐标(Z81-Zc)可以相当于不发光指示体80的末端部81与投射画面PS(投射屏幕面SS)之间的距离，并且当Z坐标(Z81-Zc)是接近于零的规定值以下时，检测出不发光指示体80的末端部81与投射画面PS的接触。根据该结构，由于式(2)的Z坐标的项仅包含系数为1的1次项，因此，能够使未知数的数量(N1+N2+1)比式(1)的未知数的数量(N1+N2+N3+1)少。由此，能够缩短曲面函数的计算所需的时间，或者减轻计算所需的处理负担。
C.投射画面PS的曲面函数的计算(之3)
除了上述式(1)之外，函数计算部820还可以将下述的式(3)作为拟合函数。
[式8]
Figure BDA0001393297010000171
其中，M1、M2、M3是满足P≧M1+M2+M3+1的零或正整数，且M1、M2、M3中的至少一个是正整数。ak、bk、ck、d是常数，ak、bk、ck中的至少1个不是零。
根据该结构，投射画面PS的三维形状近似于只有次数为偶数的项的曲面函数。与式(1)相比，式(3)不包含次数为奇数的项，因此，在次数相同的函数中，能够减少未知数的数量。由此，能够缩短曲面函数的计算所需的时间或者减轻处理负担。此外，能够以相同的处理量使次数比式(1)高的曲面函数拟合，因此，能够使函数更加近似于实际的屏幕面SS的形状。作为实际的屏幕面，如图6或者图7所示，存在使用如下的屏幕面的情况：屏幕面的两侧面朝向内侧弯曲的屏幕面；和屏幕面的上端部和下端部朝向内侧弯曲的屏幕面。这是为了抑制向屏幕面的映入，从而更容易观察到屏幕面的两侧面附近或上下端部附近的图像。作为这样的屏幕面的曲面函数，优选使用上述式(3)那样的仅包含偶数次的项的函数。此时，优选将坐标系的原点设定于投射画面PS的中心。
D.投射画面PS的曲面函数的计算(之4)
此外，和式(1)与式(2)的关系同样地，函数计算部820可以将式(4)作为拟合函数来计算投射画面PS的曲面函数。
[式9]
Figure BDA0001393297010000172
其中，M1、M2是满足P≧M1+M2+1的零或正整数，且M1、M中的至少一个是正整数。ak、bk、d是常数，ak、bk中的至少1个不是零。根据该结构，与式(1)相比，在式(4)中，在Z坐标的项中没有系数，此外，不包含次数为奇数的项，因此，能够减少未知数的数量。由此，能够缩短曲面函数的计算所需的时间或者减轻处理负担。
E.变形例
另外，本发明不限于上述实施例和实施方式，能够在不脱离其主旨的范围内在各种方式中实施，例如也能够进行下面的变形。
·变形例1
在上述实施方式中，摄像部300具有两台照相机310、320，但摄像部300也可以具有3台以上的照相机。在后者的情况下，根据m台(m是3以上的整数)照相机所拍摄的m个图像确定三维位置坐标(X，Y，Z)。例如，可以使用从m个图像中任意地选择两个图像所得到的mC2个组合，来分别求出三维位置坐标，并使用它们的平均值来确定最终的三维位置坐标。这样的话，能够进一步提高三维位置坐标的检测精度。
·变形例2
在上述实施方式中，交互式投影系统900能够以白板模式和PC交互式模式动作，但也可以以仅在这些模式中的一个模式下进行动作的方式构成系统。此外，交互式投影系统900可以以仅在这两个模式以外的其他的模式下进行动作的方式构成，而且，也可以构成为能够在包含这两个模式在内的多个模式下进行动作。
·变形例3
在上述实施方式中，图3所示的照射检测光IDL、反射检测光RDL、装置信号光ASL、指示体信号光PSL都是近红外光，但可以使它们中的一部分或者全部是近红外光以外的光。
·变形例4
在上述实施方式中，根据自发光指示体70所发出的指示体信号光PSL的发光模式来进行自发光指示体70的接触检测。但是，由于自发光指示体70的末端部71的三维位置能够通过使用了由两台照相机310、320所拍摄的图像的三角测量来求出，因此，也能够利用该三维位置执行自发光指示体70的末端部71的接触检测。
以上，根据几个实施例对本发明的实施方式进行了说明，但上述发明的实施方式用于使本发明的理解变得容易，并不是限定本发明。本发明能够不脱离其主旨及权利要求书的情况下进行变更和改良，并且，在本发明中当然包含其等价物。
标号说明
70：自发光指示体；71：末端部；72：轴部；73：按钮开关；74：信号光接收部；75：控制部；76：末端开关；77：末端发光部；80：不发光指示体；81：末端部；100：交互式投影仪；200：投射部；210：投射透镜；220：光调制部；230：光源；300：摄像部；310：第1照相机；320：第2照相机；410：检测光照射部；430：信号光发送部；500：投射图像生成部；510：投射图像存储器；600：位置检测部；700：控制部；780：指示体；800：接触检测部；820：函数计算部；900：交互式投影系统；910：支承部件；920：屏幕板。

Claims (8)

1.一种交互式投影仪，其能够受理用户通过指示体对投射画面发出的指示，其中，该交互式投影仪具有：
投射部，其将所述投射画面投射到屏幕面上；
多台照相机，它们包含对所述投射画面的区域进行摄像的第1照相机和第2照相机；
位置检测部，其根据由所述多台照相机拍摄的包含有所述指示体的多个图像，检测出所述指示体相对于所述投射画面的三维位置；
函数计算部，其在所述投射部投射了用于检测所述投射画面的位置的、以行列状规则地排列有多个基准点的特定图像时，根据由所述照相机拍摄的包含有所述特定图像的摄像图像计算出表示所述投射画面的三维形状的曲面函数；以及
接触检测部，其利用所述位置检测部所检测出的所述指示体的三维位置和由所述函数计算部计算出的所述曲面函数来检测所述指示体与所述投射画面的接触，
所述函数计算部根据包含有所述特定图像的所述摄像图像检测出所述投射画面上的互不相同的多个基准点的三维位置，并根据所述多个基准点的三维位置计算出所述曲面函数。
2.根据权利要求1所述的交互式投影仪，其中，
所述函数计算部将所述曲面函数设为式(1)所表示的函数进行计算，
[式1]
Figure FDA0002338747750000011
其中，N1、N2、N3是满足P≧N1+N2+N3+1的零或正整数，并且N1、N2、N3中的至少一个是正整数，P是所述基准点的数量，aj、bj、cj、d是常数，aj、bj、cj中的至少1个不是零。
3.根据权利要求1所述的交互式投影仪，其中，
所述函数计算部将所述曲面函数设为式(2)所表示的函数进行计算，
[式2]
Figure FDA0002338747750000021
其中，N1、N2是满足P≧N1+N2+1的零或正整数，并且N1、N2中的至少一个是正整数，P是所述基准点的数量，aj、bj、d是常数，aj、bj中的至少1个不是零。
4.根据权利要求1所述的交互式投影仪，其中，
所述函数计算部将所述曲面函数设为式(3)所表示的函数进行计算，
[式3]
Figure FDA0002338747750000022
其中，M1、M2、M3是满足P≧M1+M2+M3+1的零或正整数，并且M1、M2、M3中的至少一个是正整数，P是所述基准点的数量，ak、bk、ck、d是常数，ak、bk、ck中的至少1个不是零。
5.根据权利要求1所述的交互式投影仪，其中，
所述函数计算部将所述曲面函数设为式(4)所表示的函数进行计算，
[式4]
Figure FDA0002338747750000023
其中，M1、M2是满足P≧M1+M2+1的零或正整数，并且M1、M2中的至少一个是正整数，P是所述基准点的数量，ak、bk、d是常数，ak、bk中的至少1个不是零。
6.根据权利要求1至5中的任意一项所述的交互式投影仪，其中，
所述交互式投影仪还具有控制部，该控制部根据在所述接触检测部检测出所述指示体与所述投射画面接触时的所述指示体的三维位置来判定所述用户的指示的内容。
7.一种交互式投影系统，其中，
该交互式投影系统具有：
权利要求1至6中的任意一项所述的交互式投影仪；
屏幕板，其具有被投射所述投射画面的屏幕面；以及
指示体，其包含自发光指示体和不发光指示体中的至少任意一方，所述自发光指示体具有在与所述投射画面接触时和不与所述投射画面接触时以不同的发光模式发出指示体信号光的发光部，所述不发光指示体不具有所述发光部。
8.一种交互式投影仪的控制方法，该交互式投影仪能够受理用户通过指示体对投射画面发出的指示，其中，
在该交互式投影仪的控制方法中，
将所述投射画面投射到屏幕面上，
通过包含第1照相机和第2照相机在内的多台照相机对所述投射画面的区域进行摄像，
根据由所述多台照相机拍摄的包含有所述指示体的多个图像来检测所述指示体相对于所述投射画面的三维位置，
在投射了用于检测所述投射画面的位置的、以行列状规则地排列有多个基准点的特定图像时，根据由所述照相机拍摄的包含有所述特定图像的摄像图像来计算出表示所述投射画面的三维形状的曲面函数，
使用检测出的所述指示体的三维位置和计算出的所述曲面函数来检测所述指示体与所述投射画面的接触，
在计算所述曲面函数时，根据包含有所述特定图像的所述摄像图像检测出所述投射画面上的互不相同的多个基准点的三维位置，并根据所述多个基准点的三维位置计算出所述曲面函数。
CN201680012870.8A 2015-03-27 2016-03-11 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法 Active CN107407995B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-065625 2015-03-27
JP2015065625A JP6459705B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター、インタラクティブプロジェクションシステム、及び、インタラクティブプロジェクターの制御方法
PCT/JP2016/001396 WO2016157759A1 (ja) 2015-03-27 2016-03-11 インタラクティブプロジェクター、インタラクティブプロジェクションシステム、及びインタラクティブプロジェクターの制御方法

Publications (2)

Publication Number Publication Date
CN107407995A CN107407995A (zh) 2017-11-28
CN107407995B true CN107407995B (zh) 2020-06-26

Family

ID=57004181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012870.8A Active CN107407995B (zh) 2015-03-27 2016-03-11 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法

Country Status (7)

Country Link
US (1) US10416787B2 (zh)
EP (1) EP3276464A4 (zh)
JP (1) JP6459705B2 (zh)
KR (1) KR20170129948A (zh)
CN (1) CN107407995B (zh)
TW (1) TW201635100A (zh)
WO (1) WO2016157759A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778152B2 (en) * 2021-07-26 2023-10-03 Seiko Epson Corporation Method of controlling projector and projector

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7035555B2 (ja) * 2018-01-23 2022-03-15 セイコーエプソン株式会社 教示装置、及びシステム
JP2021022807A (ja) * 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター
JP7243510B2 (ja) * 2019-07-29 2023-03-22 セイコーエプソン株式会社 プロジェクターの制御方法、及びプロジェクター

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
CN102457692A (zh) * 2010-10-28 2012-05-16 精工爱普生株式会社 投影仪以及投影仪的控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP2003036142A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd プレゼンテーションシステム、およびプレゼンテーション方法
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
JP5593802B2 (ja) * 2010-04-16 2014-09-24 セイコーエプソン株式会社 位置検出システム及びその制御方法、並びにプログラム
JP2012150636A (ja) 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
CN102457692A (zh) * 2010-10-28 2012-05-16 精工爱普生株式会社 投影仪以及投影仪的控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778152B2 (en) * 2021-07-26 2023-10-03 Seiko Epson Corporation Method of controlling projector and projector

Also Published As

Publication number Publication date
JP6459705B2 (ja) 2019-01-30
US10416787B2 (en) 2019-09-17
WO2016157759A1 (ja) 2016-10-06
CN107407995A (zh) 2017-11-28
TW201635100A (zh) 2016-10-01
US20180101246A1 (en) 2018-04-12
JP2016186668A (ja) 2016-10-27
EP3276464A1 (en) 2018-01-31
KR20170129948A (ko) 2017-11-27
EP3276464A4 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
CN107430465B (zh) 交互式投影仪、交互式投影系统和交互式投影仪的控制方法
CN107094247B (zh) 位置检测装置及其对比度调整方法
CN107407994B (zh) 交互式投影仪以及交互式投影系统
US10133366B2 (en) Interactive projector and interactive projection system
CN107407995B (zh) 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法
US10551972B2 (en) Interactive projector and method of controlling interactive projector
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6503828B2 (ja) インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法
JP6451446B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6631280B2 (ja) 位置検出装置、位置検出システム、及び、位置検出方法
JP6569361B2 (ja) インタラクティブプロジェクター及びそのｚ座標の補正方法
US9958958B2 (en) Interactive projector and method of controlling interactive projector
JP2016186679A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant