CN101641964B - 空中影像互动装置 - Google Patents

空中影像互动装置 Download PDF

Info

Publication number
CN101641964B
CN101641964B CN2008800098040A CN200880009804A CN101641964B CN 101641964 B CN101641964 B CN 101641964B CN 2008800098040 A CN2008800098040 A CN 2008800098040A CN 200880009804 A CN200880009804 A CN 200880009804A CN 101641964 B CN101641964 B CN 101641964B
Authority
CN
China
Prior art keywords
mentioned
real image
semi
light
projectual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800098040A
Other languages
English (en)
Other versions
CN101641964A (zh
Inventor
前川聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Publication of CN101641964A publication Critical patent/CN101641964A/zh
Application granted granted Critical
Publication of CN101641964B publication Critical patent/CN101641964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G02B5/122—Reflex reflectors cube corner, trihedral or triple reflector type
    • G02B5/124—Reflex reflectors cube corner, trihedral or triple reflector type plural reflecting elements forming part of a unitary plate or sheet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G02B5/136—Reflex reflectors plural reflecting elements forming part of a unitary body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种空中影像互动装置及其程序。空中影像互动装置构成为具备：成像光学系统，使从光线的光路弯曲的光线弯曲面的一侧配置的被投影物发出的光在该光线弯曲面的相反面侧前后反转地成像，而可以作为空中影像观察；以及物体确定单元，确定靠近空中影像的物体的位置，从而可以实现装置的简化，并且可以可靠地把握用户相对影像的访问，可以实现影像与用户的优良的互动。

Description

空中影像互动装置
技术领域 
本发明涉及用户可以双向地访问在空中投影的影像的装置、和其中利用的程序。 
背景技术 
已开发出使用户(观察者)对在空中投影的影像(以下称为“空中影像”。包括二维影像、三维影像)进行访问，与其对应地使影像动作这样的技术，并且已用于实用(例如参照专利文献1、非专利文献1)。作为检测用户针对空中影像的访问的方法，可以认为有将用于检测三维位置的传感器安装在用户的手或用户用手拿着的访问用的指示棒上的方法、将红外线的发光/传感器对安装在投影装置的一部分中而用传感器检测红外线被遮断的方法、在投影装置或其所设置的房间的天花板或壁等上安装照相机而从上方摄影空中影像和进行访问的用户的手等并对摄影的影像进行图像解析从而检测该访问的方法等。另外，作为可以投影空中影像的新的成像光学系统，提出了以在一个平面中观察光线的弯曲的光学系统即相对光路弯曲的光线弯曲面前后关系反转的成像为特征的成像光学系统。在这样的成像光学系统中，在适当地设定了光学系统时，可以在相对弯曲面的面对称位置成像、即可以将镜影像成像为实像，在该情况下，具有不仅是二维像，而且还可以无失真地进行三维像的成像的特征。 
本发明者提出了多种利用通过镜面反射光的反射作用的成像光学系统，其中之一是配置有多个通过以与上述元件面垂直或大致垂直 的角度配置的一个以上的镜面(微镜)反射光的单位光学元件的成像光学元件(参照专利文献2)。该成像光学元件具备使从配置在该元件面的一侧的被投影物(包括实体的某物体、影像)中发出的光在单位光学元件内的镜面分别反射且透过上述成像光学元件，从而在元件面的另一侧的空间中成像该被投影物的实像这样的新的成像样式。在该成像光学系统中，由于在透过元件面时通过镜面反射而使光路弯曲，所以该元件面作为光线弯曲面而发挥功能。 
进而，本发明者提出的另一成像光学系统利用具备回归反射功能的后向反射器阵列与半透半反镜(参照专利文献3)。该成像光学系统使从被观察物发出并通过半透半反镜反射的光通过后向反射器阵列回归反射进而透过半透半反镜、或者使从被观察物发出并透过了半透半反镜的光通过后向反射器阵列回归反射进而通过半透半反镜反射，从而将半透半反镜面作为光线弯曲面，将被观察物的实像作为镜影像，在面对称位置处无失真地成像为镜影像，与双面角形反射器阵列同样地，可以相对半透半反镜面从斜向观察二维的被观察物时的二维的实像、三维的被观察物时的三维的实像。专利文献1：日本特开2005-141102号公报专利文献2：WO2007/116639国际公开公报专利文献3：日本特愿2007-163323申请说明书非专利文献1：“3D floating vision”、[online]、Pioneer-pcc株式会社、【平成19年1月12日检索】、网址<URL：http://www.pioneer-pcc.jp/corp/haruka.html> 
在上述检测向空中影像的访问的方法中，在使用三维位置检测用的传感器的情况下，需要在用户的手等中安装传感器、或由用户手持传感器、或用户手持安装有传感器的指示棒等，例如无法检测路过的行人等没有附带上述传感器的用户向空中影像的访问，而必需向用户附带传感器，所以产生一定的不便。另外，在使用红外线/传感器对的 情况下，需要包围空中影像地安装多个传感器群，所以事实上难以三维地检测用户的访问。 
与这些方法相比，在使用照相机的方法中不易发生上述那样的问题，所以实用性也在某种程度上更优良。但是，需要将照相机配置在不会被用户的身体和其他物体遮挡而可以直接看到空中影像的位置，所以除了使用户看到照相机的存在也无妨的情况以外，有时在照相机的配置场所中产生物理性的制约。另外，在此前提出的空中影像的投影技术中，难以使无失真的三维像浮现在平台那样的平面上，并且相对上下左右的运动视差也难以在空中定位。 
对于这些问题，可以通过利用本发明者提出的成像光学系统(参照上述专利文献2、专利文献3)来解决。专利文献2公开的成像光学系统(成像光学元件)具备通过使从该成像光学元件中的元件面的一侧配置的被投影物(包括实体的某物体、影像)中发出的光通过上述两个镜面(以下称为双面角形反射器)分别反射且透过上述成像光学元件，而在元件面的另一侧的空间上成像该被投影物的失真少的实像，相对二维的被投影物得到二维像、相对三维的被投影物得到三维像这样的新的成像样式，被称为双面角形反射器阵列。该双面角形反射器阵列由于利用镜面反射，所以可以相对元件面从斜向观察，可以提示浮现在平面上的空中影像。另外，上述成像光学元件除了作为双面角形反射器动作的用于成像空中影像的优选的成像样式以外，还存在不进行反射而透过元件面的直接光模式、或在透过时仅进行一次镜面反射的一次反射模式等其他动作模式(参照日本特愿2006-271191申请说明书)。另外，专利文献3公开的成像光学系统也可以与双面角形反射器阵列中的元件面同样地，使半透半反镜面作为被投影物与实像的光线弯曲面而发挥功能，相对半透半反镜面从斜向观察实像。另外，由于光线弯曲面是半透半反镜，所以还可以通过直接透过光线弯曲面的光线，来直接观察处于光线弯曲面的相反侧的物体。 
发明内容 
本发明鉴于以往那样的问题，提供一种空中影像互动(interaction)装置和在其中使用的计算机程序，通过利用上述成像光学系统，并且还利用空中影像的成像中利用的成像样式以外的动作模式，可以实现装置的简化，并且可以可靠地把握用户相对影像的访问，可以将用于检测访问实像的用户的手等物体的位置检测单元配置在用户无法看到的位置，而可以带来影像与用户的优选的互动。 
即，本发明的空中影像互动装置的特征在于，具备：成像光学系统，具有构成光线的光路弯曲的一个平面的光线弯曲面，且使配置在光线弯曲面的一侧的被投影物的实像在该光线弯曲面的相反面侧前后反转地成像；以及物体确定单元，确定靠近由该成像光学系统成像的实像的物体的位置、或位置以及形状。 
根据这样的结构的空中影像互动装置，首先，通过成像光学系统，来自被投影物(夹着光线弯曲面配置在一方的物体或由显示装置放映的影像构成的被投影物，既可以是二维也可以是三维)的光由于该光线弯曲面处的光线的弯曲，而成像在光线弯曲面的相反侧的空中。在这样的成像方式中，例如在成像光学系统中使用上述微镜的情况下，由于可以在光线弯曲面中大角度地使光线弯曲，所以可以相对光线弯曲面从斜向观察实像。另外，由于进行被投影物的实像的成像，所以该实像可以提示成虽然没有实体但仅视觉上存在于空中的假想的物体，用户可以针对该假想物体用手指或指示棒等物体来进行接触或指点的行为。另外，可以通过物体确定单元，正确地确定用户的手等物理性的实体的某物体的三维位置、或位置以及形状，可以比以前更容易地进行实像与用户(物体)的互动(相互作用)。虽然需要通过物体确定单元至少确定用户的手等物体的位置，但可以确定物体的位置 与形状这两方，所以是优选的。另外，在本发明中，物体确定单元还可以构成为与上述物体一并地还确定实像的位置。在该情况下，可以通过物体确定单元，确定实像与接近该实像的物体这两方的位置关系，而用于用户(物体)与影像的相互作用。但是，通常可以通过把握成像光学系统的性质以及被投影物的位置来计算实像的位置，而实际上无需一定计算实像的位置。 
在上述本发明的空中影像互动装置中，为了实现作为被投影物的实像的空中影像与用户的互动，还具备利用由物体确定单元确定的物体的位置、或位置以及形状来使实像变化的实像变化单元。即，实像变化单元通过根据相对实像的物体的位置和形状使被投影物的位置和形状等状态追踪地变化，而使实像的状态变化。例如，在物体是手指，且进行用手指按压实像这样的动作的情况下，通过使实像也动作以保存与手指的相对位置，可以表现无实体的实像被手指按压、或实像贴在手指上这样的状态。另外，在进行用手指捏实像的动作的情况下，通过进行该手指的位置以及形状识别，以后使实像移动以保存手指与实像的相对位置，从而可以表现实际上捏住实像那样的效果。为了如此使实像变化，对于实像变化单元，如果被投影物是物理性的实体的某物体，则使其动作，如果被投影物是图像，则使其图像变化。因此，在被投影物是实体物的情况下，例如利用由物体确定单元确定的信息，通过使该实体物动作的程序、动作机构，可以构成实像变化单元。另外，在被投影物是图像的情况下，例如利用由物体确定单元确定的信息，通过使该图像动作的程序、使显示图像的显示器动作的程序以及动作机构，可以构成实像变化单元。特别，如果被投影物是三维图像，则可以使该三维图像按照规定的程序三维地动作，但在被投影物是二维图像的情况下，例如通过使显示器三维的动作，可以使该实像三维地动作。 
另外，不仅是基于物体的位置、形状的实像的变化，而且还对于 访问作为空中影像的实像的用户的手等物体，也产生了接触实像那样的反应，也可以实现空中影像与用户的互动。例如，在手指或由手指保持的物体接触实像时，如果可以提供反作用力，则尽管没有实体，但也可以感觉到高的实际存在感觉。另外，即使并非正确的反作用力，但通过在与实像接触时提供某种触觉刺激，也可以提高其实际存在感觉。进而，在描绘了实像时，通过提供适当的振动刺激，可以感觉表面形状。作为为此的结构，在本发明的空中影像互动装置中，还设置有利用由物体确定单元确定的物体的位置、或位置以及形状，使物体受到力的对物体作用机构。即，对物体作用机构根据实像的位置、形状，对靠近该实像的用户的手等物体提供物理性的作用。因此，在对物体作用机构中，例如需要根据由物体确定单元确定的信息使对物体作用机构动作的程序。 
此处，作为对物体作用机构的一个例子，可以举出具有机械性的链杆机构的例子。作为这样的链杆结构，例如可以例示出将由物体确定单元确定的物体的位置、或位置以及形状用作力觉信息而如接触作为空中影像的实像那样地动作的结构(例如SensAble Technologies公司制、商品名“PHANTOM”参考URL：http://www.sensable.com/products-haptic-devices.htm)。另外，在利用了链杆机构的情况下，通过测量链杆机构的各关节角，可以进行链杆前端的位置测量。 
除此以外，作为对物体作用机构的一个例子，还可以例示出具有发生空气的流动的空气流发生机构，例如根据由物体确定单元确定的物体的位置或位置以及形状从细的喷嘴中对用户的手指等喷出空气的空气喷嘴或发生空气的涡轮的空气炮等。 
在本发明中所适用的成像光学系统的具体方式之一是具备多个通过以与成为光线弯曲面的元件面垂直或大致垂直的角度配置的一 个以上的镜面反射光的单位光学元件，且通过这些多个单位光学元件使配置在元件面的一个面侧的被投影物的实像成像在元件面的相反面侧的成像光学元件。 
此处，各单位光学元件将在贯通元件面的方向上假想的光学性的孔的内壁用作镜面。但，这样的单位光学元件是概念性的物体，无需一定要反映由物理性的边界等决定的形状，例如可以连接上述光学性的孔而并非相互独立。根据这样的结构的空中影像互动装置，首先，通过成像光学元件，来自被投影物的光在通过其元件面时通过各单位光学元件的镜面反射一次以上，而成像在元件面的相反侧的空中。在这样的成像方式中，通过镜面反射，在透过元件面时光线大角度地被弯曲，所以可以相对元件面从斜向观察。 
作为该成像光学元件的更优选的例子，可以举出单位光学元件由正交的两个镜面构成作为双面角形反射器而发挥功能的双面角形反射器阵列。在该情况下，来自被投影物的光通过各双面角形反射器的两个镜面各反射一次而可以成像在相对元件面的相反侧的空中的与被投影物相对元件面面对称的位置。如果采用利用了这样的双面角形反射器的成像方式，则二维的被投影物作为二维的实像，三维的被投影物作为三维的实像，都可以投影无失真的实像。另外，在被投影物是三维的立体物的情况下，虽然视线方向的纵深反转，但通过相对该纵深反转，使作为被投影物的三维物体或三维影像预先纵深反转、或利用两个该成像光学元件使来自被投影物的光依次通过该两个成像光学元件，可以显示纵深正常的空中像。 
另外，作为本发明中应用的成像光学系统的具体方式的一个，还可以举出具备：具有成为光线弯曲面的半透半反镜面的半透半反镜；以及配置在使来自该半透半反镜的透过光或反射光回归反射的位置处的单位回归反射元件的集合即后向反射器阵列的例子。后向反射器 阵列既可以相对半透半反镜面配置在与被投影物相同的一侧也可以配置在相反侧，也可以配置在这两方。在将后向反射器阵列相对半透半反镜面设置在与被投影物相同的一侧的情况下，从被投影物发出并在半透半反镜面反射的光通过后向反射镜回归反射，进而透过半透半反镜而成像。另一方面，在将回归反射元件相对半透半反镜面配置在与被投影物相反的一侧的情况下，从被投影物发出并透过半透半反镜面的光通过回归反射元件回归反射，进而通过半透半反镜反射而成像。在该成像光学系统的情况下，在半透半反镜面中光线透过时该光线不应被弯曲，而在反射时实际上引起弯曲，但其结果再现与光线透过光线弯曲面的时弯曲的情况等价的光线路径。因此，即使在该成像光学元件中也将半透半反镜面设为光线弯曲面。由于在光线弯曲面中再现出与光线大角度地被弯曲的情况同样的光线，所以可以相对半透半反镜面从斜向观察。另外，在后向反射器阵列中，例如可以应用利用立方体内角的一个角的角锥棱镜的集合即角锥棱镜阵列、猫眼后向反射镜等。 
在这样的空中影像互动装置中，通过将物体确定单元相对光线弯曲面配置在固定的相对位置，可以预先提供成像光学系统与物体确定单元的相对位置关系，易于确定物体的位置。另外，如果预先把握被投影物的位置，则可以利用成像光学系统的性质来计算实像位置，由此可以把握实像与物体的相对位置。 
特别，作为物体确定单元的具体的方式，可以举出构成为具备：摄影上述物体的一台以上的照相机；以及根据由该照相机摄影的影像解析上述物体的位置、或位置以及形状的图像解析装置的单元。另外，如上所述，也可以构成为利用照相机还摄影实像，并通过图像解析装置解析物体与实像的位置。另外，如果关于照相机，配置所固定的最低限两台的照相机，则可以在图像解析装置中使用三角测量的手法来测量物体各点的三维位置，由此还可以得到物体的形状数据。在还摄 影实像的情况下，可以确定物体与实像的三维位置以及形状。进而，也可以利用三台以上的照相机来进行精度更高的位置测量、形状测量。另外，利用照相机的位置测量的方法是任意的。例如，作为利用由照相机摄影的影像的对应点测量距离的距离测量方法，可以举出将靠近实像的用户的手指或物体的纹理用作对应点或配置标记并将其作为目的记号而用作对应点的方法、与被投影物及其实像独立地投影格子或条文花样而用作对应点的方法。另外，还可以利用通过TOF(Time of Flight，飞行时间)测量的距离图像测量方法。在取得了距离图像的情况下，可以通过一台照相机测量三维位置/形状。在得到了与物体的三维位置以及形状相关的测量数据时，通过形状识别单元来进行物体形状的识别。形状识别单元可以由形状识别程序与使其动作的计算机来实现。由此，例如在物体是手指的情况下，手指的形状被识别，可以判别拇指与食指的接触(例如假想地捏住实像的状态)等。接下来，该形状识别结果被输入给动作识别单元，通过时序列地连续的形状变化来进行动作识别。由此，例如通过拇指与食指接触的过程，可以判别捏这样的动作等。通过利用该识别结果，可以检测捏住空中影像这样的用户的意图，记录捏住的瞬间的实像与手指的相对位置，以后在维持了手指捏住的状态原样地动作的情况下，通过使实像变化以保持该相对位置，可以表现用户捏住指向那样的效果。 
这样，在将一台以上的照相机用作物体确定单元的一部分的情况下，如果将这些照相机相对成像光学系统的光线弯曲面配置在与上述被投影物相同的一侧，则可以将照相机配置在用户看不见的场所，所以可以实现装置自身的小型化、外观的提高。 
可以直接透过光线弯曲面，而使用照相机进行物体的摄影。特别，在应用具备上述多个单位光学元件的成像光学系统、作为其一个方式的双面角形反射器阵列的情况下，如果将相对作为光线弯曲面的元件面配置在与被投影物相同的一侧的多个照相机配置在可以摄影上述 物体而不会透过上述元件面在各单位光学元件的镜面上反射的位置处，则可以通过照相机经用成像光学元件直接摄影靠近实像的用户(物体)。其原因在于，在成像光学元件中，根据反射次数的差异而存在多个动作模式。单位光学元件由于在光学性的孔的内壁形成有镜面要素，所以可以根据观察方向而观察到无反射地透过该孔的光，其表示可以简单地通过多个孔来观察物体。另外，即使在具备半透半反镜与后向反射器阵列的成像光学系统的情况下，也可以通过利用直接透过半透半反镜的光线，来透过作为光线弯曲面的半透半反镜面而利用照相机进行物体的摄影。 
另外，还可以构成为在光线弯曲面与被投影物之间配置半透半反镜，并将照相机配置成对由该半透半反镜反射的相对物体的通过成像光学系统得到的实像进行摄影。本发明中应用的成像光学系统如上所述使被投影物的实像成像在相对该成像光学系统的光线弯曲面成为面对称的位置，但由于该作用相对光线弯曲面是对称的，所以靠近被投影物的实像的用户的手指等物体的实像也成像在相对光线弯曲面的面对称位置。此时，在使物体极其靠近被投影物的实像时，极其靠近被投影物地成像物体的实像。因此，如果在光线弯曲面与被投影物之间、更具体而言在从物体发出的光线的光线弯曲面中在弯曲点与成像点的光路之间配置半透半反镜，则该光线在本来的成像点的相对半透半反镜的面对称位置处成像为实像，所以可以使该物体的实像从被投影物分离。其结果，通过用照相机摄影由半透半反镜分离的物体的实像，即使不直接摄影物体，也可以正确地取得物体的位置、形状。 
另外，在应用具备多个单位光学元件的成像光学系统、作为其一个方式的双面角形反射器阵列的情况下，由于有时通过在各单位光学元件的镜面仅反射一次并透过的光而出现成像，所以还可以将一台以上的照相机配置在可以通过摄影该像而得到上述物体的位置。 
进而，即使将照相机配置在不会透过上述光线弯曲面而可以直接摄影上述物体的位置，也可以同样地摄影用户(物体)。具体而言，例如可以采用在光线弯曲面的周围的一部分设置贯通孔，并通过该贯通孔从与被投影物相同的一侧用照相机来摄影靠近实像的用户(物体)这样的方式。 
除了以上那样的照相机的配置场所以外，即使将照相机相对成像光学系统的光线弯曲面配置在与上述实像相同的一侧，也可以充分地摄影物体或物体与实像来测量它们的位置。但是，在以使用户看不见照相机的存在的方式构成装置的情况下，有必要充分地在照相机的配置场所上下工夫。 
另外，在将照相机用作物体确定单元的情况下，优选将照相机的至少一台设为可以取得距离图像的距离测定照相机。在该情况下，由于可以使用一个照相机来测定直到物体的距离以及方位，所以可以通过一台照相机测量位置。进而，也可以利用两台以上的距离测定照相机来高精度地测量位置。 
在以上那样的空中影像互动装置中，为了良好地实现投影在空中的实像与用户(物体)的互动，本装置中利用的本发明的计算机程序的特征在于，具备：通过上述物体确定单元测量上述物体的位置、或位置以及形状，并根据该测量结果确定该物体的位置、或位置以及形状；以及物体信息输出工序，将与通过上述物体确定工序确定的上述物体的位置、或位置以及形状相关的信息输出给与上述物体的位置、或位置以及形状对应地控制上述被投影物的规定的互动程序。在物体确定工序中，根据上述那样的由物体确定单元作为测量结果而得到的物体的三维位置、或该物体各点的三维位置，进行物体的位置、或形状的识别。特别，在进行物体的形状识别的情况下，例如将形状识别程序作为处理物体确定工序的程序而包含，例如在物体是访问实像的 手指的情况下，识别出手指的形状，而判别拇指与食指的接触(例如假想地捏住实像的状态)等即可。进而，在根据该形状识别结果还确定物体的动作的情况下，在处理物体确定工序的程序中包括动作识别程序，将形状识别程序的输出作为输入，而通过时序列地连续的形状变化来进行动作识别即可。由此，例如通过拇指与食指接触的过程，可以判别捏这样的动作等。通过利用该识别结果，可以检测捏住空中影像这样的用户的意图，记录捏住的瞬间的实像与手指的相对位置，以后在维持手指捏住的状态而原样地动作的情况下，通过使实像变化以保持该相对位置，可以表现用户捏住实像那样的互动效果。 
本发明的空中影像互动装置可以利用具备上述双面角形反射器等具有与元件面大致垂直的镜面的单位光学元件的成像光学元件、或具备半透半反镜与后向反射器阵列的成像光学元件来成像被投影物的实像(空中影像)，所以不拘泥于被投影物是二维或三维、是物体还是影像，而可以在空中投影二维或三维的空中影像，进而可以确定靠近该空中影像的用户的手等物体的三维位置，所以对根据用户的访问而使空中影像变化这样的用户与空中影像的互动技术带来较大的优点。特别，在物体确定单元中利用多个照相机的情况下，不论这些照相机相对成像光学系统的配置状态如何，空中影像互动装置自身的小型化也容易，而可以容易地实现其设置、移动。 
附图说明 
图1是概略地示出本发明的第一实施方式的空间影像互动装置的基本结构的图。
图2是示出适用于该实施方式的双面角形反射器阵列的俯视图。
图3是放大示出该双面角形反射器阵列的一部分的立体图。
图4是示意地示出该双面角形反射器阵列的成像样式的俯视图。
图5是示意地示出该双面角形反射器阵列的成像样式的侧视图。 
图6是示意地示出该双面角形反射器阵列的成像样式的立体图。
图7是示出在该实施方式中使用的程序的动作过程的一个例子的流程图。
图8是示出该实施方式的空中影像互动装置的另一例子的图。
图9是示出该实施方式的空中影像互动装置的又一例子的图。
图10是示出可以适用于该实施方式的双面角形反射器阵列的另一例子的立体图。
图11是概略地示出本发明的第二实施方式的空中影像互动装置的基本结构的图。
图12是示出适用于该实施方式的成像光学系统中的后向反射器阵列的一个例子的图。
图13是示出适用于该实施方式的成像光学系统中的后向反射器阵列的一个例子的图。
图14是示意地适用于示出该实施方式的成像光学系统的成像样式的侧视图。
图15是示意地示出具有用于使用半透半反镜来摄影用户的实像的结构的本发明的一个例子的侧视图。 
具体实施方式 
以下，参照附图，对本发明的一个实施方式进行说明。 
(第一实施方式) 
图1所示的本实施方式概略地示出了空中影像互动装置1的基本结构的一个例子。该空中影像互动装置1包括：以具备形成有多个双面角形反射器2的实镜影像成像光学元件(以下称为“双面角形反射器阵列”)3的底座31作为上盖的框体4；收容在框体4内的两台照相机51；以及与这些照相机51连接的图像解析装置52。两台照相机51与图像解析装置52构成物体确定单元5。在框体4内，收容有成 为在底座11的上方空间中投影的实像的源的被投影物O。另外，双面角形反射器2由于与双面角形反射器阵列3的整体相比非常微小，所以在该图中以组来表示双面角形反射器2的集合整体，以V字形状夸张地表示其内角的朝向，并且用箭头表示实像P的观察方向。 
被投影物O例如可以采用在纸上描绘的图形那样的二维(性的)物体、具有三维形状的物体、二维或三维的影像中的某一个。在作为被投影物O采用物体的情况下，在并非该物体自身发光的情况下，可以将对物体投光的照明器具(图示省略)配置在框体4内。另外，在作为被投影物O应用影像的情况下，可以在框体4内设置屏幕、显示器(图示省略)，并根据需要连接将影像放映在屏幕、显示器的投影装置、计算机。 
在双面角形反射器阵列3中，如图2所示，在平板状的底座31中，形成有多个相对平坦的底座表面垂直地贯通壁厚的孔32，为了将各孔32的内壁面用作双面角形反射器2，在孔32的内壁面中的正交的两个面中分别形成了镜面要素21、22。 
底座31的厚度尺寸例如是50～200μm，在本实施方式中是100μm的薄板状，在本实施方式中，应用了一边分别大约是5cm的俯视时正方形形状的部件，但底座31的厚度、平面尺寸不限于这些而可以适当设定。将图2的A部放大而如图3所示，各双面角形反射器2是利用为了使光透过而在底座31中形成的物理/光学性的孔32形成的。在本实施方式中，首先在底座31中形成多个俯视时大致矩形形状(具体而言在本实施方式中正方形形状)的孔32，对各孔32中的邻接并正交的两个内壁面实施平滑镜面处理而设为镜面要素21、22，将这些镜面要素21、22设为作为反射面而发挥功能的双面角形反射器2。另外，优选对孔32的内壁面中的双面角形反射器2以外的部分不实施镜面处理而设为光无法反射的面、或者附加角度等而抑制多重 反射光。各双面角形反射器2形成为在底座31中镜面要素21、22所成的内角成为完全相同的朝向。以下，有时将该镜面要素21、22的内角的朝向称为双面角形反射器2的朝向(方向)。在形成镜面要素21、22时，在本实施方式中，首先制作金属制的模具，对应形成镜面要素21、22的内壁面实施纳米量级的切削加工处理，从而进行镜面形成，将它们的面粗糙度设为10nm以下，而相对可见光矢量域一样地成为镜面。 
具体而言，构成各双面角形反射器2的镜面要素21、22的一边例如是50～200μm、在本实施方式中是对应于底座31的厚度的100μm，通过将使用了之前制作的模具的工艺手法应用于纳米量级的纳米压印手法或电铸手法，在一个底座31中以规定间隔形成多个镜面要素。在本实施方式中，在具有各双面角形反射器2的双面角形反射器阵列3的元件面3S上使呈现V字形状的各边相对底座31的宽度方向或纵深方向倾斜45度，并且使所有双面角形反射器2在元件面3S上排列成预想的规则的格子点上并朝向同一方向。另外，通过极力减小相邻的双面角形反射器2彼此的离开尺寸，可以提高透过率。而且，对上述底座31中的构成双面角形反射器2的部分以外的部位实施遮光处理，在底座31的上面以及下面设置未图示的呈现薄板状的透明的加强件。在本实施方式中，采用在底座31中设置了几万至几十万个这样的双面角形反射器2的双面角形反射器阵列3。 
另外，在通过电铸手法用铝、镍等金属形成了底座31的情况下，只要模具的面粗糙度足够小，则镜面要素21、22由此自然地成为镜面。另外，在使用纳米压印手法并将底座31设为树脂制等的情况下，为了制作镜面要素21、22，需要通过溅射等来实施镜面涂层。 
这样形成在底座31中的双面角形反射器2具有通过一个镜面要素(21或22)反射从底座31的下面侧(或上面侧)进入孔32的光， 进而通过另一个镜面要素(22或21)反射该反射光而使其通过底座31的上面侧(或下面侧)的功能，在从侧方观察该光的路径时，光的进入路径与射出路径夹住底座31(元件面3S)而呈现面对称，所以通过如上所述在底座31上形成多个双面角形反射器2，而作为双面角形反射器阵列3而发挥功能。即，上述双面角形反射器阵列3的元件面3S(假设通过底座31的壁厚的中央部并与各镜面要素正交的面，在图中用虚线示出)成为使位于底座31的一侧的被投影物O的空中影像即实像P(参照图1)成像于另一侧的面对称位置的面。在本实施方式中，使上述双面角形反射器阵列3的元件面3S作为使透过双面角形反射器阵列3的光线的光路弯曲的光线弯曲面而发挥功能。 
此处，与从被投影物O发出的光的路径一起说明本实施方式中使用的双面角形反射器阵列3的成像样式。图4示出俯视的示意图，图5示出从侧面观察的示意图，如图4以及图5所示，从被投影物O(在该图中用点表示)发出的光(用箭头方向、实线表示。在图4中三维地从纸面里侧向纸面行进)在通过双面角形反射器阵列3的底座31中形成的孔32时，通过在构成双面角形反射器2的一个镜面要素21(或22)反射进而在另一个镜面要素22(或21)反射(用虚线表示透过光的光线)，从而对于双面角形反射器阵列3的元件面3S在被投影物O的面对称位置上，成像为实像P。该实像P如图6的示意图所示，可以通过从能看到该双面角形反射器阵列3中的双面角形反射器2的镜面要素21、22的位置即底座31的斜上方(图中箭头方向)观察而视认。详细而言，在光相对相互正交的镜面要素21、22反射两次时，光的分量中的与底座31的面方向平行的分量(换言之与元件面3S平行的分量)返回入射方向，另一方面与镜面要素21、22的面方向平行的分量(换言之相对元件面3S垂直的分量)被保存。其结果，透过了双面角形反射器阵列3的两次反射光必然通过相对元件面3S面对称的点。另外，由于从作为光源的被投影物O发出任意方向的光，所以在这些光透过双面角形反射器阵列3时，通过各双面角 形反射器2反射两次，全部集中到同一点而结成焦点。 
这样，透过了各双面角形反射器阵列3的两次反射光聚束到面对称位置，所以可以相对纵深方向(相对元件面3S垂直的方向)在宽的范围中结成焦点。另外，在图4中示出了入射光与反射光呈现平行的情况，其是在该图中相对被投影物O将双面角形反射器2夸张地放大而记载的，实际上因为各双面角形反射器2是极其微小的，所以在如该图所示从上方观察双面角形反射器阵列3的情况下，入射光与反射光看起来几乎重叠。即，结果，透过光集中在被投影物O的相对元件面3S的面对称位置，在图5中在P的位置成像为实镜影像。另外，在底座31的下面侧的空间中作为被投影物O配置三维物体或三维影像的情况下，在底座31的上面侧浮现三维的实像P。但是，该三维实像P由于其凹凸反转，所以为了防止在该实像P中发生凹凸，使底座31的下面侧的空间中配置的三维的被投影物O的凹凸预先逆转、或者将两个双面角形反射器阵列3离开配置即可。 
在两台照相机51中，可以使用利用了例如CCD、CMOS等固体摄像元件的数字视频照相机等。这些照相机51在本实施方式中在框体4内朝向实像P，而固定地设置在被投影物O的周围，利用直接通过形成在底座31中的孔32的光(直接光)来摄影在空中投影的实像P的周边区域。即，访问实像P的用户(物体)U(参照图1)被照相机51摄影。另外，实像P由于是从下方向上方而被投影的，所以在配置于框体4内的照相机51对其不进行摄影，而仅摄影用户(物体)U。 
然后，由两台照相机51摄影的影像被发送给图像解析装置52。在图像解析装置52中，图像解析以及物体确定程序动作，根据来自两台照相机51的影像，确定用户(物体)U的影像(图7所示的流程图、S1)，通过三角测量的要领测量并求出用户(物体)U的各点 处的三维位置(S2)。 
另外，如果框体4中的双面角形反射器阵列3的位置以及被投影物O的位置既知，则可以利用实像P必然相对元件面3S成像在被投影物O的面对称位置这样的规则性，来计算出实像P的三维位置。 
另外，在适当地配置照相机51时，可以利用由通过双面角形反射器2的镜面要素21、22中的某一个反射一次的光(一次反射光)而得到的成像来观察用户(物体)U，而并非利用来自用户(物体)U的直接光。该像并非向面对称位置的成像，但由于按照一定的规则成像，所以可以预先计算，可以据此推断用户(物体)U的位置。由于可以从与直接光不同的方向观察用户(物体)U，所以因被投影物O的形状、位置而难以在直接光下观察的情况下是有效的。 
通过上述物体确定程序的一部分中包含的形状识别程序，对这样得到的用户(物体)U的三维位置信息(或者还加上实像P的三维位置信息)进行运算处理，而进行用户(物体)U的形状识别(该图，S3)。进而，在识别用户(物体)U的动作(例如抓、捏、抚摩实像P等)，而用于与其相对的实像的变化、向用户(物体)U的响应这样的反馈的情况下，在物体确定程序的一部分中包括动作识别程序，通过基于根据形状识别程序得到的运算结果的以时间序列连续的形状变化来确定用户(物体)U的动作(该图，S4)。另外，在不进行用户(物体)U的形状识别、动作识别的情况下，也可以在该图的流程图中的工序S2中，仅进行用户(物体)U的三维位置测量，而不进行工序S3的形状识别、工序S4的动作识别。然后，在例如被投影物O是按照规定的控制程序动作的实体物或影像的情况下，被输出给该控制程序(S5)。这样的控制程序对应于与例如用户(物体)U向实像P的访问对应的三维相对位置，使被投影物O的形状、位置变化，例如后述那样的构成实像变化单元的一部分的程序、使对物体作用机 构动作的程序等就相当于这种程序。特别在被投影物O是影像的情况下，控制程序也可以是使被投影物O向其他影像变化的程序。另外，在利用用户(物体)U的位置与形状这两者的情况下，在步骤S3中输出包括用户(物体)U的各点的三维位置信息，并根据该信息进行了用户(物体)U的形状识别处理之后，输出给控制程序即可。在形状识别处理中，可以应用例如一般的形状识别程序。 
如上所述，通过如上述那样利用本实施方式的空中影像互动装置1，可以在元件面3S的上方的空中二维或三维地投影被投影物O的实像P，而且可以容易地确定访问该实像P的用户(物体)U的三维位置。因此，通过使用例如控制被投影物O的动作的控制程序来处理用户(物体)U的三维位置信息，易于根据用户(物体)U的位置使被投影物O以及实像P动作或变化，可以容易地实现实像P与用户(物体)U的假想的互动。另外，在本空中影像互动装置1中，无需使用户(物体)U附带用于确定其三维位置的传感器，所以也可以使路过而利用本空中影像互动装置1的用户不增加任何负担地利用。另外，由于在空中影像互动装置1的外部无需设置确定用户(物体)U的位置的红外线/传感器对，所以可以将空中影像互动装置1自身非常地集成化，可以比较自由地设定设置场所、移动。 
另外，本实施方式不限于上述实施方式。例如，可以如下所述变更在上述实施方式中用作物体确定单元5的照相机51的配置位置。即，只要是例如如图8中的空中影像互动装置1’所示，能够在底座31中在双面角形反射器阵列3的外侧形成两个小孔33的话，则预先形成之，可以通过这些小孔33用照相机51对用户(物体)U进行摄影。在该情况下，以能够摄影实像P的周边区域地倾斜的姿势配置照相机51即可。由此，由于可以通过照相机51直接摄影用户(物体)U，所以可以一开始就排除与透过双面角形反射器阵列3相伴的减光、模糊等影响。另外，例如如图8的空中影像互动装置1”所示，还可以采 用在底座31的上方空间配置照相机51的方式。在图示例子中，示出了例如经由未图示的支柱等配置照相机51，以从斜上方摄影实像P的周边区域的方式，但除此以外，也可以在底座31的上面附近设置照相机51而从斜下方摄影实像P的周边区域。在这样的情况下，也可以用照相机51仅通过直接光来摄影用户(物体)U，所以可以从一开始就排除与透过双面角形反射器阵列3相伴的影响。 
另外，例如，作为构成双面角形反射器阵列3的双面角形反射器2只要存在正交的两个反射面即可，作为该反射面，可以利用通过具有反射光的物质的镜面精度的平坦度的端面或膜实现的反射、以及具有不同折射率的透明的介质彼此的镜面精度的平坦度的边界处的全反射等现象。更具体而言，在上述实施方式中，示出了如下例子：在双面角形反射器阵列3中，作为光学性的孔，在薄板状的底座31中形成正方形形状的孔，将该孔的内周壁中的邻接的两个作为镜面21、22而形成双面角形反射器2，但例如也可以改变这样的结构而成为如图10所示，由在底座31’的厚度方向上突出的透明的筒状体来构成单位光学元件2’，并棋盘状地形成多个这样的筒状体的双面角形反射器阵列3’。在该情况下，可以将各筒状体32’的内壁面中的正交的第一内壁面以及第二内壁面作为镜面21’、22’而构成双面角形反射器2’。在该情况下，与上述实施方式同样地，由双面角形反射器2’反射两次的光通过相对底座31’的面方向即元件面3S’面对称的点，从而在规定的空间中不仅可以成像为二维像而且还可以成像为三维像。另外，通过将筒状体的镜面21’、22’以外的壁面23’、24’不设为镜面、或者对元件面3S’附加垂直以外的角度，可以消除多余的反射，而得到更清晰的像。另外，构成双面角形反射器2’的两个镜面21’、22’还可以利用全反射，也可以利用基于反射膜的反射。特别是，在利用镜面21’、22’的全反射的情况下，由于在全反射中存在临界角，所以可以期待不易引起多重反射。进而，还可以对应形成镜面的筒状体的两个面附加金属反射膜，将筒状体彼此粘接。在该情况下，需要向镜面以外的面 实施非镜面化等多重反射对策，但开口率变高，可以得到透过率高的双面角形反射器阵列。 
另外，构成双面角形反射器的两个镜面只要可以形成正交的两个反射面则也可以相互隔开间隔地配置而不相互接触，而且对于在上述孔、筒状体中作为构成双面角形反射器的镜面而发挥功能的两个面与其他面彼此的角度也没有特别限制。作为单位光学元件，也可以使用平面形状是矩形形状以外的元件、三角形的元件、或者连接两个镜面的反交点侧的端部彼此的面是俯视时大致部分圆弧状的元件。另外，在将单位光学元件的平面形状设为直角三角形的情况下，意味着将直角棱镜用作单位光学元件。 
(第二实施方式) 
在图11所示的本实施方式中，概略地示出了空中影像互动装置1”’的基本结构的一个例子。该空中影像互动装置1”’与作为第一实施方式中的一个变形例的空中影像互动装置1’相比，仅应用的成像光学系统的结构不同，而其他结构大致相同，所以对相同的结构部件使用与第一实施方式相同的符号来进行说明。即在本实施方式中，作为成像光学系统6，利用具备半透半反镜7与回归反射元件(以下称为“后向反射器阵列”)8的实镜影像成像光学系统，包括：具有嵌入了半透半反镜7的上盖71的框体4；收容在框体4内的两台照相机51；以及与这些照相机51连接的图像解析装置52。在上盖71中的半透半反镜71的外侧形成有两个小孔72，通过这些小孔72用照相机51摄影用户(物体)U。在框体4内，收容有成为在半透半反镜7的上方空间所投影的实像的源的被投影物O。 
半透半反镜7可以利用例如在透明树脂、玻璃等透明薄板的一个面上涂敷了薄的反射膜的元件。在半透半反镜7中使光透过且反射的面即半透半反镜面7S作为在本实施方式的空中影像互动装置1”’中 应用的成像光学系统6中的光线弯曲面而发挥功能。 
另一方面，在后向反射器阵列8中，只要是使入射光严密地逆反射的元件，则可以应用任意种类的元件，还考虑向原材料表面涂敷回归反射膜、回归反射涂料等。另外，在本实施方式中作为后向反射器阵列8利用了平面状的形状的元件，但其形状也可以是曲面。例如，图12(a)中将主视图的一部分放大示出的后向反射器阵列8是利用立方体内角的一个角的角锥棱镜的集合即角锥棱镜阵列。在各个后向反射镜8A中，将三个呈现相同形状相同大小的直角等腰三角形的镜面8Aa、8Ab、8Ac集中在一点而在主视图的情况下形成正三角形，这些三个镜面8Aa、8Ab、8Ac相互正交而构成角锥棱镜。另外，在图13(a)中将主视图的一部分放大示出的后向反射器阵列8也是利用立方体内角的一个角的角锥棱镜的集合即角锥棱镜阵列。在各个后向反射镜8B中，将三个呈现相同形状相同大小的正方形的镜面8Ba、8Bb、8Bc集中在一点而在主视图的情况下形成正六边形，这些三个镜面8Ba、8Bb、8Bc相互正交。该后向反射器阵列8与图12(a)的后向反射器阵列8相比，仅形状不同，而回归反射的原理相同。在图12(b)以及图13(b)中，在以图12(a)以及图13(b)分别示出的后向反射器阵列8为例子进行说明时，入射到各后向反射镜8A、8B的镜面中的一个(例如8Aa、8Ba)的光通过另一镜面(8Ab、8Bb)、进而通过另一镜面(8Ac、8Bc)依次反射，从而朝向后向反射镜8A、8B的光朝向入射来的原方向反射。另外，相对后向反射器阵列8的入射光与射出光的路径严格而言不重叠而平行，但在后向反射镜8A、8B与后向反射器阵列8相比足够小的情况下，可以视为入射光与射出光的路径重叠。这些两种角锥棱镜阵列的差异是指，在镜面是等腰三角形时，虽然比较容易制作，但反射率稍微降低，在镜面是正方形时，与等腰三角形时相比，稍微难以制作，但反射率变高。 
图14示出本实施方式中应用的成像光学系统6的成像的原理的 示意图，而作为从横向观察了光线的反射、透过的状态的图。在该成像光学系统6中，在水平方向上配置半透半反镜7，在该半透半反镜7的一端侧(反观察侧)在半透半反镜面7S的下面侧、即框体4内以垂直姿势配置一个后向反射器阵列8，从而使半透半反镜7与后向反射器阵列8成为大致正交。首先，从被投影物O(图中作为点光源示出)向各个方向输出的光通过半透半反镜7的半透半反镜面7S反射，并通过后向反射器阵列8反射而向相同方向回归反射，进而透过半透半反镜面7S，从而在半透半反镜7的上面的上方空间的一端再次集中成一点。即，该集光意味着成像。该集光点是被投影物O的相对半透半反镜面7S的面对称位置。另外，在本实施方式中考虑成使后向反射器阵列8不成为实像P的观察的障碍，而将后向反射器阵列8收容在半透半反镜7的下面侧的框体4内，但只要是不成为实像P的观察的障碍的范围，则可以将后向反射器阵列8配置在半透半反镜的上面侧、或者沿着半透半反镜7的上下两面侧配置。即，在将后向反射器阵列8配置在半透半反镜7的上面侧的情况下，从被投影物O向各个方向发出的光直线地透过半透半反镜7而通过后向反射器阵列8向相同方向回归反射，进而通过半透半反镜7反射，从而在半透半反镜7的上面的上方空间的一点处成像。另外，在沿着半透半反镜7的上下两面侧配置后向反射器阵列8的情况下，从被投影物O发出的光通过上述两个光路，都在被投影物O的相对半透半反镜面7S的面对称位置处成像。即，通过任意光路的光线都通过被投影物O的相对半透半反镜7(更详细而言半透半反镜面7S)的面对称位置，所以在相同位置处实像P成像成镜影像，可以从一定的视点对其进行观察。此处，通过针对每个光路乘上“半透半反镜透过率”、“半透半反镜反射率”、“角锥棱镜反射率”这三个，而得到实像P的相对被投影物O的明亮度(光线的透过率)。如果假设作为理想的最大值，将“半透半反镜透过率”以及“半透半反镜反射率”都设为0.5、将“角锥棱镜反射率”设为r，则通过了任意一个光路的实像P的透过率都成为0.25r，在将两个光路L1、L2合起来时，实像P整体的透过率成为其合计的0.5r。 
这样，在本实施方式的空中影像互动装置1”’中，使从被投影物O发出的光通过成像光学系统6中的半透半反镜7向斜下方反射，通过后向反射器阵列8回归反射，进而直线地透过半透半反镜7，从而将半透半反镜面7S作为光线弯曲面在面对称位置处成像为实镜影像，从而可以从半透半反镜7的斜上方观察实像P。与第一实施方式的情况同样地，如果既知框体4中的半透半反镜7的位置以及被投影物O的位置，则可以利用实像P相对半透半反镜面7S必然成像于被投影物O的面对称位置这样的规则性，计算出该实像P的三维位置。然后，向实像P访问的用户(物体)U通过框体4的上盖71的小孔72而被两台照相机51直接摄影。由两台照相机51摄影的影像被发送给图像解析装置52，根据该影像信息通过图像解析装置52中的图像解析以及位置确定程序来进行用户(物体)U的影像的确定以及三维位置的测量的过程如图7的流程图所示，与第一实施方式的情况相同。进而，得到的用户(物体)U的三维位置信息(或者还加上实像P的三维位置信息)例如在被投影物O是按照规定的控制程序动作的物体或影像的情况下，被输出给该控制程序，其也与第一实施方式的说明相同。当然，在被投影物O是影像的情况下，控制程序也可以使被投影物O变化成其他影像，在这一点上也相同。 
如上所述，通过如上述利用本实施方式的空中影像互动装置1”’，可以与第一实施方式同样地，在半透半反镜面7S的上方的空中二维或三维地投影被投影物O的实像P，而且可以容易地确定访问该实像P的用户(物体)U的三维坐标。因此，通过例如使用控制被投影物O的动作的控制程序来处理用户(物体)U的三维位置信息，易于根据用户(物体)U的位置使被投影物O以及实像P动作或变化，可以容易地实现实像P与用户(物体)U的假想的互动。另外，在本空中影像互动装置1”’中，无需使用户(物体)U附带用于确定其三维位置的传感器，所以例如路过而利用本空中影像互动装置1”’的用 户也可以不增加任何负担地利用。另外，由于在空中影像互动装置1”’的外部无需确定用户(物体)U的位置的红外线/传感器对，所以可以将空中影像互动装置1”’自身非常地集成化，可以比较自由地设定设置场所、移动。 
例如，具备由半透半反镜7以及后向反射器阵列8构成的成像光学系统6的空中影像互动装置1”’的具体结构不限于上述实施方式。例如，当然也可以如第一实施方式的空中影像互动装置1那样，通过照相机51隔着半透半反镜7进行用户(物体)U的摄影，也可以如作为其变形例的空中影像互动装置1”那样，将照相机51配置在半透半反镜7的上方空间而直接摄影用户(物体)U。另外，如上所述，还可以将后向反射器阵列8仅配置在半透半反镜7的上面侧、或者沿着半透半反镜7的上下两面侧配置。 
另外，在本发明中，还可以构成为并非利用照相机摄影用户(物体)来确定其位置、形状，而通过利用半透半反镜与被投影物分离而摄影由成像光学系统成像的用户(物体)的实像，来确定该用户(物体)的位置、形状。例如，图15是从侧方观察了空中影像互动装置1””的示意图，在该例子中，作为成像光学系统应用与第一实施方式同样的双面角形反射器阵列3。如该图所示，来自被投影物O的光通过双面角形反射器阵列3中的各双面角形反射器2反射两次，在元件面3S弯曲同时透过，从而在相对元件面3S的面对称位置处成像为实像P。该双面角形反射器阵列3的成像样式相对元件面3S对称。即，从靠近实像P的用户(物体)U发出的光也通过双面角形反射器阵列3中的各双面角形反射器2反射两次，在相对元件面3S的面对称位置处成像为实像V。但是，根据用户(物体)U与实像P的位置关系，实像V有时被被投影物O遮断，而仅部分成像或完全不成像。因此，在本例子中，在元件面3S与被投影物O之间、更详细而言从用户(物体)U发出并在元件面3S弯曲的光线的从该弯曲点到实像V为止的 光路的期间配置有半透半反镜9。在图示例子中，示出了将半透半反镜9相对元件面3S大致垂直地配置的状态，但也可以适当变更半透半反镜9的相对元件面3S的配置角度。半透半反镜9由于使从被投影物O发出的光直线地透过，所以在实像P的成像中不产生问题。通过这样配置半透半反镜9，从用户(物体)U发出的光通过双面角形反射器阵列3中的各双面角形反射器2反射两次而透过元件面S，该透过光的一部分通过半透半反镜9反射，而在实像V的相对半透半反镜9的面对称位置处成像为实像V’。通过利用照相机51来摄影该实像’，可以确定用户(物体)的位置、形状。另外，通过调整半透半反镜9的角度，可以配置成在从照相机51观测了实像V’时，被投影物O不重叠在其背景中，可以在分离了实像V’与被投影物O的状态下确定其位置、形状。另外，在本例子中，以作为成像光学系统应用了双面角形反射器阵列3的例子进行了说明，但还可以应用使用了半透半反镜7与后向反射器阵列8的成像光学系统6、其他成像光学系统。 
进而在本发明中，对于访问空中影像的用户(物体)的位置测量，不仅可以使用照相机的方法，而且还可以利用基于激光扫描的位置测量、基于链杆机构中的各间接的角度测量的位置测量、基于磁传感器、超声波传感器、电波等的位置测量等各种方法。 
另外，在确定了实像P与用户(物体)U的三维位置的情况下，还考虑将通过对用户(物体)U与实像P假想地进行了互动的情况的反馈，在空中影像互动装置中设置使实像P变化的实像变化单元。为了使实像P容易地变化，优选如上所述将被投影物O设为影像，需要向该影像显示程序嵌入被投影物O的动态变化。具体而言，例如作为根据用户(物体)U位置、形状而使实像变化的手法，通过进行用户(物体)U的各点的位置测量来进行用户(物体)U三维位置以及形状的测定，根据测量的形状来进行用户(物体)U的形状识别，进而根据识别的形状来进行动作识别，从而识别例如抓、捏、抚摩实像P 等用户(物体)U的动作。然后，通过根据测量的位置与实像的相对位置关系、以及形状/动作的信息对被投影物O提供适当的变化，可以使实像P产生变化，而实现用户(物体)U与实像P的互动。 
另外，作为基于互动的另一反馈的单元，还考虑将与上述实像变化手段一并或与其独立地，对物体施加力的对物体作用机构设置在空中影像互动装置中。作为对物体作用机构，例如可以例示出利用用户用手指把持上述链杆机构的操作部，并在对其进行位置测量之后加入力信息，从而从链杆机构向用户的手指提供反作用力这样的力反馈的功能。在该情况下，如果构成链杆机构的各链杆的长度是既知，进而取得与访问实像P的用户的手指连接的各链杆的角度信息，则可以求出链杆机构的前端部(用户的手指)的坐标。另外，作为对物体作用机构的另一例子，还可以利用对访问实像P的用户的手指提供空气流的空气流发生机构。在该情况下，例如在上述实施方式中的光线弯曲面的周围(例如上盖31、71)中形成孔，并配置可以向该孔通过涡轮或空气喷口放出空气流的空气喷嘴，在通过位置识别确定了用户的手指横切了实像的时刻，放出空气流，从而对用户提供触觉。空气喷嘴优选具备空气流的方向控制(可以实现方位角、仰角这两轴控制)机构，可以对确定了位置的用户的手指喷射空气流，在该情况下，与上述链杆机构不同，具有无需对用户安装器具这样的优点。另外，在对物体作用机构中，可以利用通过访问实像P的用户(物体)U中安装的线而实现的力反馈、通过安装在用户(物体)U中的振动电动机实现的触觉反馈等。 
另外，对于各部的具体的结构，也不限于上述实施方式，而可以在不脱离本发明的要旨的范围内实现各种变形。 
产业上的可利用性本发明的空中影像互动装置可以应用于可以进行空中影像与用户的互动的影像机器、牵引装置、教育机器、医疗机器等领域。 

Claims (15)

1.一种空中影像互动装置，其特征在于包括：
成像光学系统，具有构成光线的光路弯曲的一个平面的光线弯曲面，且具备多个通过以与成为上述光线弯曲面的元件面垂直或接近垂直的角度配置的两个以上的镜面反射光的单位光学元件，在上述单位光学元件中，利用两个以上的镜面分别反射光，通过这些多个单位光学元件，在配置上述光线弯曲面的被投影物的一侧的相反侧使实像成像，上述实像在上述光线弯曲面的垂直方向针对上述被投影物反转；
物体确定单元，确定靠近上述实像的物体的位置、或位置以及形状，以及
实像变化单元，利用由上述物体确定单元确定的上述物体的位置、或位置以及形状来使上述实像变化。
2.根据权利要求1所述的空中影像互动装置，其特征在于还包括：
对物体作用机构，利用由上述物体确定单元确定的上述物体的位置、或位置以及形状来使上述物体受到力。
3.根据权利要求2所述的空中影像互动装置，其特征在于：
上述对物体作用机构具有机械性的链杆机构。
4.根据权利要求2或3所述的空中影像互动装置，其特征在于：
上述对物体作用机构具有产生空气的流动的空气流发生机构。
5.根据权利要求1所述的空中影像互动装置，其特征在于：
上述成像光学系统是上述单位光学元件由正交的两个镜面构成且作为双面角形反射器而发挥功能的双面角形反射器阵列。
6.一种空中影像互动装置，其特征在于包括：
成像光学系统，具有构成光线的光路弯曲的一个平面的光线弯曲面，且在配置上述光线弯曲面的被投影物的一侧的相反侧使实像成像，上述实像在上述光线弯曲面的垂直方向针对上述被投影物反转；
物体确定单元，确定靠近上述实像的物体的位置、或位置以及形状，以及
实像变化单元，利用由上述物体确定单元确定的上述物体的位置、或位置以及形状来使上述实像变化，
上述成像光学系统具备：具有成为上述光线弯曲面的半透半反镜面的半透半反镜；以及配置在使来自该半透半反镜的透过光或反射光回归反射的位置的单位回归反射元件的集合即后向反射器阵列。
7.根据权利要求1或6所述的空中影像互动装置，其特征在于：
在相对上述光线弯曲面固定的相对位置上配置上述物体确定单元。
8.根据权利要求1或6所述的空中影像互动装置，其特征在于：
上述物体确定单元具备：摄影上述物体的一台以上的照相机；以及根据由该照相机所摄影的影像解析上述物体的位置、或位置以及形状的图像解析装置。
9.根据权利要求8所述的空中影像互动装置，其特征在于：
将上述照相机相对上述光线弯曲面配置在与上述被投影物相同的一侧。
10.根据权利要求9所述的空中影像互动装置，其特征在于：
将上述照相机配置在可以透过上述光线弯曲面直接摄影上述物体的位置。
11.根据权利要求9所述的空中影像互动装置，其特征在于：
在上述光线弯曲面与上述被投影物之间配置半透半反镜，将上述照相机配置成对由上述半透半反镜反射的相对上述物体的通过上述成像光学系统得到的实像进行摄影。
12.根据权利要求5所述的空中影像互动装置，其特征在于：
上述物体确定单元构成为具备：摄影上述物体的一台以上的照相机；以及根据由该照相机摄影的影像解析上述物体的位置的图像解析装置，将上述照相机配置于可以在上述各单位光学元件的镜面仅反射一次而摄影上述物体的位置。
13.根据权利要求8所述的空中影像互动装置，其特征在于：
将上述照相机配置在不透过上述光线弯曲面而可以直接摄影上述物体的位置。
14.根据权利要求8所述的空中影像互动装置，其特征在于：
将上述照相机相对上述光线弯曲面配置在与上述实像相同的一侧。
15.根据权利要求8所述的空中影像互动装置，其特征在于：
上述照相机中的至少一台是可以取得距离图像的距离测定照相机。
CN2008800098040A 2007-03-30 2008-03-31 空中影像互动装置 Active CN101641964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP091786/2007 2007-03-30
JP2007091786 2007-03-30
PCT/JP2008/056349 WO2008123500A1 (ja) 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム

Publications (2)

Publication Number Publication Date
CN101641964A CN101641964A (zh) 2010-02-03
CN101641964B true CN101641964B (zh) 2012-01-18

Family

ID=39830977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800098040A Active CN101641964B (zh) 2007-03-30 2008-03-31 空中影像互动装置

Country Status (5)

Country Link
US (1) US8985774B2 (zh)
EP (1) EP2144448B1 (zh)
JP (1) JP5212991B2 (zh)
CN (1) CN101641964B (zh)
WO (1) WO2008123500A1 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP5410776B2 (ja) * 2009-02-16 2014-02-05 スタンレー電気株式会社 表示装置
JP2010262229A (ja) * 2009-05-11 2010-11-18 National Institute Of Information & Communication Technology 表示装置
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
CN102597857B (zh) * 2009-10-28 2015-01-14 夏普株式会社 光学系统
US20120281061A1 (en) * 2010-03-03 2012-11-08 Sharp Kabushiki Kaisha Teleconference system
JP5498853B2 (ja) * 2010-05-21 2014-05-21 スタンレー電気株式会社 表示装置
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
WO2012073362A1 (ja) * 2010-12-02 2012-06-07 パイオニア株式会社 デスクトップディスプレイシステム
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
WO2012133279A1 (ja) * 2011-03-30 2012-10-04 シャープ株式会社 光学システム
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8686943B1 (en) 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US8773512B1 (en) * 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
US9097904B2 (en) 2011-07-10 2015-08-04 Industrial Technology Research Institute Display apparatus
CN102880337B (zh) * 2011-07-10 2015-08-19 财团法人工业技术研究院 显示装置
TW201303368A (zh) * 2011-07-10 2013-01-16 Ind Tech Res Inst 顯示裝置
JP2013033344A (ja) * 2011-08-01 2013-02-14 Yazaki Corp 表示装置
JP5763464B2 (ja) * 2011-08-01 2015-08-12 矢崎総業株式会社 位置特定装置及び車両
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
DE102011117979A1 (de) * 2011-11-09 2013-05-16 Deutsche Telekom Ag Verfahren zum Bereitstellen von Daten und/oder Interaktionsmöglichkeiten zwischen einem Nutzer und einer Datenverarbeitungsanordnung
JPWO2013077338A1 (ja) 2011-11-21 2015-04-27 株式会社ニコン 表示装置、表示制御プログラム
WO2013089490A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
WO2013109282A1 (en) 2012-01-20 2013-07-25 Empire Technology Development Llc Mirror array display system
US9092953B1 (en) * 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013124845A1 (en) * 2012-02-22 2013-08-29 Pointgrab Ltd. Computer vision based control of an icon on a display
JP5987395B2 (ja) * 2012-03-27 2016-09-07 セイコーエプソン株式会社 表示装置
JP2013205730A (ja) * 2012-03-29 2013-10-07 Seiko Epson Corp 電子機器、及び表示システム
JP6143161B2 (ja) * 2012-03-30 2017-06-07 日東電工株式会社 表示装置
JP2014130305A (ja) * 2012-03-30 2014-07-10 Nitto Denko Corp 表示装置
JP2014130309A (ja) * 2012-03-30 2014-07-10 Nitto Denko Corp 表示装置
JP2013242850A (ja) * 2012-04-27 2013-12-05 Nitto Denko Corp 表示入力装置
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
JP2014021305A (ja) * 2012-07-19 2014-02-03 Nitto Denko Corp 表示入力装置
JP2014032600A (ja) * 2012-08-06 2014-02-20 Nitto Denko Corp 表示入力装置
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
JP2014081617A (ja) * 2012-09-28 2014-05-08 Nlt Technologies Ltd 空間結像素子及びその製造方法、表示装置および端末機
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
JP5992302B2 (ja) * 2012-11-27 2016-09-14 日東電工株式会社 表示装置
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
US9619027B2 (en) * 2013-07-12 2017-04-11 Disney Enterprises, Inc. Using vortices to provide tactile sensations corresponding to a visual presentation
CN103412410B (zh) * 2013-07-19 2015-10-14 京东方科技集团股份有限公司 一种立体触感装置及显示装置
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
JP2015060296A (ja) 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20150199011A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Attractive and repulsive force feedback
DE102014201578A1 (de) * 2014-01-29 2015-07-30 Volkswagen Ag Vorrichtung und Verfahren zur Signalisierung eines Eingabebereiches zur Gestenerkennung einer Mensch-Maschine-Schnittstelle
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
WO2015151799A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 電子機器
JP6390171B2 (ja) * 2014-05-29 2018-09-19 船井電機株式会社 レーザー装置
JP6427981B2 (ja) * 2014-06-20 2018-11-28 船井電機株式会社 画像表示装置
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
JP6314688B2 (ja) 2014-06-25 2018-04-25 船井電機株式会社 入力装置
KR101956659B1 (ko) * 2015-02-16 2019-03-11 가부시키가이샤 아스카넷토 비접촉 입력 장치 및 방법
FR3034053B1 (fr) * 2015-03-26 2017-03-17 Continental Automotive France Systeme de palette tactile mobile ou deformable formant une interface homme-machine adapte sur un volant de vehicule
US9613406B2 (en) 2015-03-31 2017-04-04 Nokia Technologies Oy Method and apparatus for providing specular surface reconstruction
JP6573101B2 (ja) * 2015-04-02 2019-09-11 株式会社コト インタラクション実行方法及び該方法を採用する装置並びにプログラム
JP6361828B2 (ja) * 2015-06-11 2018-07-25 コニカミノルタ株式会社 空中映像表示装置
JP6536350B2 (ja) 2015-10-26 2019-07-03 船井電機株式会社 入力装置
JPWO2017122256A1 (ja) * 2016-01-14 2018-11-08 パナソニックＩｐマネジメント株式会社 洗濯機
JP6493240B2 (ja) 2016-02-08 2019-04-03 三菱電機株式会社 空中映像表示装置
JP6428665B2 (ja) * 2016-02-10 2018-11-28 三菱電機株式会社 空中映像表示装置
US20190025604A1 (en) * 2016-02-19 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Space display apparatus
KR102510944B1 (ko) 2016-05-16 2023-03-16 삼성전자주식회사 입체 영상 장치 및 그를 포함하는 전자 장치
JP6782454B2 (ja) * 2016-05-16 2020-11-11 パナソニックＩｐマネジメント株式会社 空中表示装置及び建材
CN106560734A (zh) * 2016-06-01 2017-04-12 杭州飞像科技有限公司 空中成像元件在提词器中的应用及提词器
US10409470B2 (en) 2016-09-14 2019-09-10 Microsoft Technology Licensing, Llc Touch-display accessory with relayed display plane
JP2018077438A (ja) * 2016-11-11 2018-05-17 株式会社ジャパンディスプレイ 表示装置
JP2020013171A (ja) * 2016-11-16 2020-01-23 パナソニックＩｐマネジメント株式会社 センサシステム
JP6390736B2 (ja) * 2017-03-15 2018-09-19 船井電機株式会社 空間入力装置
JP6803971B2 (ja) * 2017-03-27 2020-12-23 富士フイルム株式会社 視覚触覚統合呈示装置
JP6315127B2 (ja) * 2017-04-10 2018-04-25 船井電機株式会社 入力装置、空中像インタラクションシステム、及び入力方法
JP6731376B2 (ja) * 2017-04-13 2020-07-29 日本電信電話株式会社 空中像投影装置及び空中像投影方法
JP6389547B1 (ja) * 2017-06-29 2018-09-12 ピクシーダストテクノロジーズ株式会社 撮像装置及び眼底検査装置
US10091482B1 (en) 2017-08-04 2018-10-02 International Business Machines Corporation Context aware midair projection display
CN107831558A (zh) * 2017-12-09 2018-03-23 安徽省东超科技有限公司 多排多列等效负折射率平板透镜
JP7040041B2 (ja) * 2018-01-23 2022-03-23 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
CN108267862A (zh) * 2018-01-27 2018-07-10 像航（上海）科技有限公司 根据激光影像技术实现空中成像的实时触控系统
JPWO2019163339A1 (ja) * 2018-02-22 2020-02-27 株式会社アスカネット 非接触入力装置及び非接触入力方法
JP6712609B2 (ja) * 2018-02-28 2020-06-24 コイト電工株式会社 非接触入力装置
JP7238267B2 (ja) * 2018-04-25 2023-03-14 凸版印刷株式会社 空中表示装置
US10949554B2 (en) 2018-08-08 2021-03-16 International Business Machines Corporation Content security for midair projection display
JP2020067707A (ja) * 2018-10-22 2020-04-30 豊田合成株式会社 非接触操作検出装置
CN110085083B (zh) * 2019-06-05 2024-03-15 南京航空航天大学 一种微气流喷射阵列虚拟操控平台
CN110908135A (zh) * 2019-11-26 2020-03-24 深圳奥比中光科技有限公司 一种三维图像悬浮显示装置及方法
CN111522146B (zh) * 2020-05-11 2021-02-26 北京航空航天大学 一种大尺寸无缝拼接的集成成像桌面3d显示装置
JP2022063542A (ja) * 2020-10-12 2022-04-22 マクセル株式会社 空間浮遊映像情報表示システムおよび光源装置
CN114374831A (zh) * 2020-10-15 2022-04-19 幻景启动股份有限公司 互动系统
JP2022113411A (ja) * 2021-01-25 2022-08-04 マクセル株式会社 空間浮遊映像表示装置
US20220308693A1 (en) * 2021-03-29 2022-09-29 Innolux Corporation Image system
TWM617658U (zh) * 2021-03-31 2021-10-01 全台晶像股份有限公司 浮空影像觸控顯示裝置
WO2022224613A1 (ja) * 2021-04-21 2022-10-27 株式会社アスカネット 反射型空中像結像装置及び反射型空中像結像方法
EP4242729A1 (en) * 2021-04-21 2023-09-13 Asukanet Company, Ltd. Reflection-type aerial image formation device and reflection-type aerial image formation method
US20230112984A1 (en) * 2021-10-11 2023-04-13 James Christopher Malin Contactless interactive interface
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866419A2 (en) * 1997-03-21 1998-09-23 Takenaka Corporation Pointing device using the image of the hand
CN1366197A (zh) * 2001-01-16 2002-08-28 亚特科研公司 立体三维图像显示方法及装置
CN2682483Y (zh) * 2004-03-11 2005-03-02 钟煜曦 一种基于图像的互动输入控制系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3057256A (en) * 1952-03-10 1962-10-09 Richard T Erban Optical screen
US4509837A (en) * 1980-08-29 1985-04-09 Michiel Kassies Real image projection device
US5701140A (en) * 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
GB2284680A (en) * 1993-12-13 1995-06-14 Central Research Lab Ltd Apparatus for displaying a suspended image
JPH0955152A (ja) * 1995-08-11 1997-02-25 Tietech Co Ltd タッチレスパネルスイッチにおける物体検出手段
JP4233000B2 (ja) * 1999-07-05 2009-03-04 日本電信電話株式会社 仮想空間における風圧による力覚提示装置
GB2365142B (en) * 2000-07-27 2002-06-19 Michael John Downs Jamin-type interferometers and components therefor
JP3847593B2 (ja) * 2001-02-20 2006-11-22 シャープ株式会社 コーナーキューブアレイなどの光学素子及びそれを備える反射型表示装置
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2004213351A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び力覚提示システム
JP2005141102A (ja) * 2003-11-07 2005-06-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び方法
US7787009B2 (en) * 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
JP4675324B2 (ja) * 2004-07-15 2011-04-20 日本電信電話株式会社 力覚提示装置、力覚提示方法および力覚提示プログラム
JP2006317708A (ja) * 2005-05-12 2006-11-24 Yasuaki Tanaka 空中浮遊映像投影装置
JP4579295B2 (ja) * 2005-07-25 2010-11-10 パイオニア株式会社 画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866419A2 (en) * 1997-03-21 1998-09-23 Takenaka Corporation Pointing device using the image of the hand
CN1366197A (zh) * 2001-01-16 2002-08-28 亚特科研公司 立体三维图像显示方法及装置
CN2682483Y (zh) * 2004-03-11 2005-03-02 钟煜曦 一种基于图像的互动输入控制系统

Also Published As

Publication number Publication date
JP5212991B2 (ja) 2013-06-19
EP2144448A4 (en) 2011-12-21
EP2144448A1 (en) 2010-01-13
WO2008123500A1 (ja) 2008-10-16
US20100110384A1 (en) 2010-05-06
US8985774B2 (en) 2015-03-24
EP2144448B1 (en) 2019-01-09
CN101641964A (zh) 2010-02-03
JPWO2008123500A1 (ja) 2010-07-15

Similar Documents

Publication Publication Date Title
CN101641964B (zh) 空中影像互动装置
CN101646971B (zh) 传送光学系统
JP5441059B2 (ja) 多視点空中映像表示装置
US8730308B2 (en) Volume scanning three-dimensional floating image display device
KR101067941B1 (ko) 광학 시스템
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
ES2340945T3 (es) Procedimiento para un sistema tactil basado en camaras.
CN101405627A (zh) 成像元件和显示装置
JP2020518820A (ja) 平坦な形状を有し且つ符号化されていないスポットを投影する三角測量スキャナ
JPWO2008111426A1 (ja) 多視点空中映像表示素子
JP5665053B2 (ja) 多視点空中映像表示装置
KR20010033919A (ko) 3-ｄ 가상 이미지를 만들기 위한 상대적 카메라오리엔테이션 위치를 결정하기 위한 방법
US20220407994A1 (en) Compound eye camera device and compound eye system
Svoboda et al. Panoramic cameras for 3D computation
JP7141833B2 (ja) 画像処理装置および画像処理プログラム
JP6714110B2 (ja) 位置測定装置及び位置測定方法
CA2394260A1 (en) Rectified catadioptric stereo sensors
CN110470216A (zh) 一种三镜头高精度视觉测量方法及装置
Marcon et al. Multicamera rig calibration by double‐sided thick checkerboard
Jahnke et al. Development of a time-resolved catadioptric stereo digital image correlation technique for the study of blast loading of composite material structures
JP5893503B2 (ja) 表示装置及び表示方法
FR2894684A1 (fr) Systeme de visualisation pour la manipulation d&#39;un objet
Yasui et al. Occlusion-robust 3D sensing using aerial imaging
Ando et al. An Optical Design for Interaction with Mid-air Images Using the Shape of Real Objects
TWI590132B (zh) A device for detecting the position of the object and a light guide plate touch device using the device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant