CN108475145B - 图像识别装置、图像识别方法以及图像识别单元 - Google Patents

图像识别装置、图像识别方法以及图像识别单元 Download PDF

Info

Publication number
CN108475145B
CN108475145B CN201680078749.5A CN201680078749A CN108475145B CN 108475145 B CN108475145 B CN 108475145B CN 201680078749 A CN201680078749 A CN 201680078749A CN 108475145 B CN108475145 B CN 108475145B
Authority
CN
China
Prior art keywords
image
pattern
image recognition
line
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680078749.5A
Other languages
English (en)
Other versions
CN108475145A (zh
Inventor
山内泰介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN108475145A publication Critical patent/CN108475145A/zh
Application granted granted Critical
Publication of CN108475145B publication Critical patent/CN108475145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Abstract

提供能够进行高精度的触摸识别的图像识别装置、图像识别方法以及图像识别单元。图像识别装置(500)具有：计测点判定部(510)，其根据照相机(400)所取得的图像，检测位于照相机(400)与屏幕(900)之间的手指(F)，判定手指(F)的指尖(F1)；线状图案显示部(520)，其使投影仪(200)在核线(EL)上显示线状图案(800)，该核线(EL)穿过指尖(F1)，是根据照相机(400)与投影仪(300)的位置关系而确定的；以及图案判定部(530)，其根据照相机(400)所取得的包含线状图案(800)的图像，判定包含在该图像中的线状图案(800)与不存在指尖(F1)时的线状图案(800)之间的差异。

Description

图像识别装置、图像识别方法以及图像识别单元
技术领域
本发明涉及图像识别装置、图像识别方法以及图像识别单元。
背景技术
作为检测手指是否与投影有来自投影仪的图像的屏幕接触的图像识别技术，公知有专利文献1的技术。在专利文献1的图像识别技术中，首先，将格子图案的构造光投影在屏幕上，接着，根据来自摄像装置(照相机)的图像来确认所述手指的位置处的格子图案的变化，从而进行触摸识别。
现有技术文献
专利文献
专利文献1：US2011/0254810号公报
发明内容
发明所要解决的课题
但是，在专利文献1所记载的图像识别技术中，存在如下问题：从摄像装置观察时的手指的深度方向的位置检测精度较差，与此相伴地触摸识别的精度也较差。
本发明的目的在于，提供能够进行高精度的触摸识别的图像识别装置、图像识别方法以及图像识别单元。
用于解决课题的手段
这样的目的是通过下述的本发明而达成的。
本发明的图像识别装置被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别装置的特征在于，具有：计测点判定部，其根据所述摄像装置所取得的图像，检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；线状图案显示部，其使所述检测用图像显示装置在核线上显示具有周期性的图案的线状图案，该核线是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的，并且穿过所述计测对象点；以及图案判定部，其根据所述摄像装置所取得的包含所述线状图案的图像，判定包含在该图像中的所述线状图案与不存在所述对象物时的所述线状图案之间的差异。
由此，能够根据图案判定部的判定结果来高精度地进行触摸识别(对象物与图像显示面接触还是不接触的判断)。
在本发明的图像识别装置中，优选所述图案判定部判定所述线状图案的连续性。
这样，通过判定线状图案的连续性，能够更高精度地进行触摸识别。
在本发明的图像识别装置中，优选所述线状图案具有第1线状图案，该第1线状图案的亮度按照第1周期发生变化。
由此，线状图案的结构变得简单。
在本发明的图像识别装置中，优选所述线状图案具有：第1线状图案，其亮度按照第1周期发生变化；以及第2线状图案，其亮度按照与所述第1周期不同的第2周期发生变化。
由此，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选在不同的时刻显示所述第1线状图案和所述第2线状图案。
由此，由于能够在相同的位置显示第1线状图案和第2线状图案，所以能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述第1线状图案和所述第2线状图案在与所述核线交叉的方向上排列显示。
由此，由于能够同时显示第1线状图案和第2线状图案，所以能够缩短触摸识别的周期。
在本发明的图像识别装置中，优选利用近红外线生成所述线状图案。
由此，看不到线状图案，例如，不会因线状图案而使显示于图像显示面的图像劣化。
在本发明的图像识别装置中，优选所述线状图案包含如下的线段，该线段具有相对于所述核线倾斜的部分。
由此，能够更准确地判定线状图案的差异，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述图像显示单元具有照明光照射装置，该照明光照射装置向所述图像显示面照射照明光，所述计测点判定部根据所述摄像装置所取得的包含所述照明光的图像来检测所述对象物。
由此，能够高精度地检测对象物。
在本发明的图像识别装置中，优选所述照明光具有亮度沿着所述核线的延伸方向周期性地变化的图案。
由此，能够高精度地检测对象物。
在本发明的图像识别装置中，优选对所述照明光的所述周期性地变化的图案分别赋予用于确定位置的地址。
由此，仅在检测出对象物的地址附近显示线状图案即可，因此能够在短时间内进行线状图案的差异判定。并且，由于能够缩短线状图案的周期，所以能够高精度地检测对象物。
本发明的图像识别方法被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别方法的特征在于，具有如下的步骤：计测点判定步骤，根据所述摄像装置所取得的图像，检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；线状图案显示步骤，使所述检测用图像显示装置在核线上显示亮度周期性地变化的线状图案，该核线穿过所述计测对象点，是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的；以及图案判定步骤，根据所述摄像装置所取得的包含所述线状图案的图像，判定包含在该图像中的所述线状图案与不存在所述对象物时的所述线状图案之间的差异。
由此，能够根据图案判定步骤的判定结果来高精度地进行触摸识别。
本发明的图像识别单元的特征在于，具有：本发明的图像识别装置；所述摄像装置；以及所述检测用图像显示装置。
由此，获得了能够高精度地进行触摸识别的图像识别单元。
在本发明的图像识别单元中，优选具有图像显示装置，该图像显示装置在所述图像显示面上显示图像。
由此，能够在图像显示面上显示期望的图像。
附图说明
图1是示出本发明第1实施方式的图像识别单元的结构的图。
图2是图1所示的投影仪的结构图。
图3是图1所示的投影仪的结构图。
图4是图3所示的投影仪所具有的扫描部的俯视图。
图5是图1所示的图像识别装置的框图。
图6是对核线(epipolar line)进行说明的图。
图7是示出线状图案的图。
图8是示出在指尖与屏幕接触的状态下取得的线状图案的图像的图。
图9是示出在指尖不与屏幕接触的状态下取得的线状图案的图像的图。
图10是示出在本发明第2实施方式的图像识别单元中使用的线状图案的图。
图11是示出在本发明第3实施方式的图像识别单元中使用的周期图案的图。
图12是对使用了图11所示的线状图案的触摸识别方法进行说明的图。
图13是对使用了图11所示的线状图案的触摸识别方法进行说明的图。
图14是示出在本发明第4实施方式的图像识别单元中使用的周期图案的图。
图15是示出在本发明第5实施方式的图像识别单元中使用的周期图案的图。
图16是示出在指尖与屏幕接触的状态下取得的线状图案的图像的图。
图17是示出在指尖不与屏幕接触的状态下取得的线状图案的图像的图。
图18是示出在本发明第6实施方式的图像识别单元中使用的周期图案的图。
图19是对使用了图18所示的线状图案的触摸识别方法进行说明的图。
图20是示出在本发明第7实施方式的图像识别单元中使用的照明光的图。
图21是对使用了图20所示的照明光的手指检测方法进行说明的图。
图22是对使用了图20所示的照明光的手指检测方法进行说明的图。
图23是示出在本发明第8实施方式的图像识别单元中使用的照明光的俯视图。
图24是示出构成手指的物质的波长吸收特性的曲线图。
图25是示出在本发明第9实施方式的图像识别单元中使用的照明光的图。
图26是说明对照明光的地址赋予的图。
图27是对触摸识别方法进行说明的图。
图28是对触摸识别方法进行说明的图。
图29是在本发明第10实施方式的图像识别单元中使用的投影仪的结构图。
具体实施方式
以下，参照附图对本发明的图像识别装置、图像识别方法以及图像识别单元的优选实施方式进行说明。
<第1实施方式>
首先，对第1实施方式的图像识别单元进行说明。
图1是示出本发明第1实施方式的图像识别单元的结构的图。图2是图1所示的投影仪的结构图。图3是图1所示的投影仪的结构图。图4是图3所示的投影仪所具有的扫描部的俯视图。图5是图1所示的图像识别装置的框图。图6是对核线进行说明的图。图7是示出线状图案的图。图8是示出在指尖与屏幕接触的状态下取得的线状图案的图像的图。图9是示出在指尖不与屏幕接触的状态下取得的线状图案的图像的图。
图1所示的图像识别单元100例如是如下的装置：该图像识别单元100能够判定手指(对象物)F是否与平坦的屏幕(图像显示面)900接触，根据判定结果来切换显示于屏幕900的图像。另外，以下，将手指F是否与屏幕900接触的判断称为“触摸识别”。这样的图像识别单元100例如可以使用在演示中，通过进行演示者的手指的触摸识别，在需要时对呈现在屏幕900的图像进行切换、或者进行放大或缩小，能够使演示顺利地进行。
但是，作为图像显示面，并不限定于屏幕900，例如，也可以是墙壁、玻璃等。并且，图像显示面可以不是平坦的，也可以是球面或凹凸面。并且，图像显示面的形状也可以随时间而发生变化。并且，作为进行触摸识别的对象物，并不限定于手指F，例如，也可以是指示棒、吸附于屏幕900的磁铁等。并且，作为图像识别单元100的用途，并不限定于演示，例如，可以使用在商场等的店铺引导、经办商品的介绍/检索等各种用途中。
如图1所示，这样的图像识别单元100具有图像显示单元和进行触摸识别的图像识别装置500，该图像显示单元具有：投影仪(图像显示装置)200，其在屏幕900上显示图像；投影仪(检测用图像显示装置)300，其在屏幕900上显示检测用图像；以及照相机(摄像装置)400，其对屏幕900进行拍摄。
投影仪300和照相机400配置在不同的位置。并且，投影仪300和照相机400的相对(几何)位置关系恒定，与位置关系相关的信息被存储在图像识别装置500所具有的未图示的存储部中，并且被适当使用。
以下，对投影仪200、投影仪300、照相机400以及图像识别装置500按顺序进行说明。
[投影仪200]
投影仪200是将想要使观察者看到的图像(例如，演示用的图像)显示于屏幕900的装置。
这样的投影仪200是LCD方式的投影仪，如图2所示，具有液晶显示元件240R、240G、240B、分色棱镜250以及投射透镜系统260。并且，向液晶显示元件240R入射红色光R，向液晶显示元件240G入射绿色光G，向液晶显示元件240B入射蓝色光B。
液晶显示元件240R、240G、240B是分别与R、G、B的原色对应的透过型的空间光调制器，被液晶显示元件240R、240G、240B分别进行了空间调制的光经分色棱镜250合成而从分色棱镜250射出全色的影像光La。并且，所射出的影像光La被投射透镜系统260放大而投射到屏幕900。由此，在屏幕900上显示图像。
以上，对投影仪200进行了说明，但作为投影仪200，只要能够在屏幕900上显示图像，则并不限定于LCD方式的投影仪，例如，可以是光扫描方式的投影仪，也可以是DMD方式的投影仪。
[投影仪300]
投影仪300是将用于进行触摸识别的检测用图像(后述的线状图案800)显示于屏幕900的装置。
这样的投影仪300是光扫描型的投影仪，如图3所示，具有光源310、扫描部320以及未图示的投射透镜系统。
光源310具有：光源311R，其射出红色的激光；光源311G，其射出绿色的激光；光源311B，其射出蓝色的激光；准直透镜312R、312G、312B，它们使从光源311R、311G、311B射出的光平行化；光合成部313；以及聚光透镜314。
光合成部313是对来自光源311R、311G、311B的激光进行合成而生成调制光Lb的要素，具有3个分色镜313a、313b、313c。并且，由光合成部313生成的调制光Lb被聚光透镜314变更为期望的NA(数值孔径)之后，被引导至扫描部320。
扫描部320是能够绕两轴摆动的光扫描仪，如图4所示，具有：可动部330，其具有反射镜331；轴部341、342，它们将可动部330支承为能够绕轴J1摆动；驱动框部350，其对轴部341、342进行支承；轴部361、362，它们将驱动框部350支承为能够绕与轴J1垂直的轴J2摆动；以及框状的支承部370，其对轴部361、362进行支承。在这样的扫描部320中，一边通过未图示的驱动单元使驱动框部350相对于支承部370绕轴J2摆动，一边使可动部330相对于驱动框部350绕轴J1摆动，由此，能够对被反射镜331反射的调制光Lb进行二维扫描。
然后，被扫描部320扫描后的调制光Lb被未图示的投射透镜系统放大而投射到屏幕900。由此，在屏幕900上显示线状图案800。
以上，对投影仪300进行了说明，但作为投影仪300，只要能够在屏幕900上显示线状图案800，则并不限定于光扫描方式的投影仪，例如可以是LCD方式的投影仪，也可以是DMD方式的投影仪。并且，即使是光扫描方式的投影仪，也并不限定于上述的结构，例如，也可以使用两个单轴摆动型的光扫描仪对调制光Lb进行二维扫描。
[照相机400]
照相机400是用于对屏幕900进行拍摄的装置。这样的照相机400例如是RGB照相机，具有：受光单元410，其具有镜头系统411和摄像元件412；以及未图示的处理部，其对来自摄像元件412的影像信号进行处理。
[图像识别装置]
图像识别装置500是使用上述的投影仪300和照相机400进行触摸识别的装置。
如图5所示，这样的图像识别装置500具有计测点判定部510、线状图案显示部520以及图案判定部530。
计测点判定部510根据照相机400所取得的图像来检测位于照相机400与屏幕900之间的手指F，然后将手指F的指尖F1判定为计测对象点(计测点判定步骤)。作为指尖F1的判定方法，并没有特别地限定，能够使用各种方法。例如，可以使用HSV颜色系统从照相机400所取得的图像中提取类似肤色区域(具有与手指F的颜色相似的颜色的区域)，然后，从所提取的类似肤色区域的轮廓形状中检测具有与指尖F1类似的轮廓形状的部分，将检测出的部分判定为指尖F1。
线状图案显示部520使投影仪300在穿过指尖F1的核线EL(EL')上显示线状图案800(线状图案显示步骤)。
这里，对核线EL进行简单地说明。核线EL是根据投影仪300与照相机400的几何(相对)位置关系而确定的线。具体来说，如图6所示，将直线(基线)l2与投影仪300的假想图像平面π2之间的交点称为核点Pe，将在假想图像平面π2内穿过核点Pe的所有直线称为核线EL，其中，该直线l2是将照相机400的照相机中心(镜头系统411的主点)C1与对扫描部320的调制光Lb进行扫描时的角度变更中心(反射镜331的中心)C2连接而得的直线。
并且，如图6所示，如果指尖F1包含在照相机400的图像中，则照相机400的图像平面π1内的指尖F1的坐标(面内坐标)x被确定。将由穿过该坐标x和照相机中心C1的直线l1和直线l2限定的平面称为核平面Σ。并且，在将与直线l3一致的核线EL称为“核线EL'”的情况下，指尖F1位于核线EL'上的某处，该直线l3是核平面Σ与假想图像平面π2交叉而形成的。
如图7所示，线状图案800具有周期性的图案，亮度以恒定的间距周期性地变化。具体来说，线状图案800是具有第1区域810和第2区域820、并且这些区域等间隔地交替配置的图案，其中，该第1区域810具有规定的亮度，该第2区域820具有与第1区域810不同的亮度。第1区域810和第2区域820的亮度被设定为使对比度尽可能地变高。由此，能够进行更高精度的触摸识别。但是，作为线状图案800，只要能够用于触摸识别，则并不限定于此，例如，也可以具有亮度与第1、第2区域810、820不同的第3区域，还可以是具有亮度梯度(亮度连续变化)的图案。
图案判定部530根据照相机400所取得的图像，判定在包含指尖F1的状态下投影于屏幕900的线状图案800与在不存在指尖F1的状态下投影于屏幕900的线状图案800之间的图案的差异(变化)，根据该判定结果来进行触摸识别(图案判定步骤)。作为图案判定的例子，图案判定部530能够根据照相机400所取得的图像来判定投影于屏幕900的线状图案800的连续性，根据该判定结果来进行触摸识别。这样，通过判定线状图案800的连续性，能够进行更高精度的触摸识别。
具体来说，首先，图案判定部530获得对照相机400所取得的图像进行立体平行化后的图像(以下也称为“立体平行化图像”)。在立体平行化图像中，如后述的图8和图9那样，无论屏幕900的表面凹凸或指尖F1的形状等如何，所有的核线EL都为沿着水平方向(纸面横向)的直线。因此，线状图案800也沿着水平方向，能够容易且高精度地进行线状图案800的差异判定。
接着，图案判定部530判定立体平行化图像中的线状图案800的差异(例如连续性)而进行触摸识别。另外，由于立体平行化图像内的指尖F1的位置是已知的，所以不需要对线状图案800的整个区域判定图案的差异，仅对指尖F1附近的区域判定图案的差异即可。由此，能够减少计算负担。
在指尖F1与屏幕900接触的情况(即，指尖F1的深度与屏幕900的深度大体一致的情况)的立体平行化图像P11中，如图8所示，线状图案800为连续的形状。与此相对，在指尖F1不与屏幕900接触的情况的立体平行化图像P11中，如图9所示，线状图案800的一部分成为指尖F1的阴影，变成在中途断开的形状。并且，线状图案800在指尖F1的周围出现周期不连续。因此，如果在立体平行化图像P11中线状图案800具有连续性，则图案判定部530判定为指尖F1与屏幕900接触的“接触状态”，如果不具有连续性，则图案判定部530判定为指尖F1不与屏幕900接触的“非接触状态”。
另外，作为图案判定部530的判定方法，并不限定于此。例如，尽管指尖F1与屏幕900接触，但有时也根据投影仪300的位置、指尖F1的形状或大小(个人差异)等产生阴影。因此，也可以对阴影部分的长度设置阈值，如果小于阈值，则判定为“接触状态”，如果为阈值以上，则判定为“非接触状态”。
在判定结果为“接触状态”时，图案判定部530将该判定结果发送到未图示的控制部。接收到该判定结果的控制部对投影仪200发送例如使显示于屏幕900的图像放大或缩小的命令、切换图像的命令等根据指尖F1的接触位置而确定的画面操作命令。通过进行这样的控制，仅通过利用指尖F1来触摸屏幕900，便能够对显示于屏幕900的图像进行操作，因此成为便利性高的图像识别单元100。
如以上那样，基于图像识别装置500的触摸识别的过程(图像识别方法)是进行计测点判定步骤、线状图案显示步骤以及图案判定步骤，通过按照规定的周期反复进行该过程，能够反复进行触摸识别。
例如，首先，取得第n帧的立体平行化图像Pn(步骤1)。接着，判定立体平行化图像Pn中的指尖F1的位置(步骤2)。接着，对穿过在立体平行化图像Pn中判定出的指尖F1的线状图案800进行显示(步骤3)。接着，在显示线状图案800的状态下取得第n+1帧的立体平行化图像Pn+1(步骤4)。接着，根据立体平行化图像Pn+1来判定线状图案800的差异，在取得了立体平行化图像Pn+1的时刻进行触摸识别，并且判定立体平行化图像Pn+1中的指尖F1的位置(步骤5)。接着，对穿过在立体平行化图像Pn+1中判定出的指尖F1的线状图案800进行显示(步骤6)。接着，在显示线状图案800的状态下取得第n+2帧的立体平行化图像Pn+2(步骤7)。接着，根据立体平行化图像Pn+2来判定线状图案800的差异，在取得了立体平行化图像Pn+2的时刻进行触摸识别，并且判定立体平行化图像Pn+2中的指尖F1的位置(步骤8)。通过反复进行这样的步骤，能够进行连续的触摸识别。特别是如步骤5、8那样，使用1个图像来进行触摸识别和指尖F1的位置判定，从而能够缩短触摸识别的周期，能够进行延迟时间更少的触摸识别。
根据这样的图像识别装置500，能够减少计算负担，并且能够进行精度高的触摸识别。并且，核线EL是根据投影仪300与照相机400的几何位置求出的线，而与屏幕900的三维位置或表面形状无关。因此，一旦设定了投影仪300与照相机400的几何位置，则能够不受屏幕900的位置或形状影响地进行触摸识别。
<第2实施方式>
接着，对本发明第2实施方式的图像识别单元进行说明。
图10是示出在本发明第2实施方式的图像识别单元中使用的线状图案的图。
以下，对本发明第2实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第2实施方式的图像识别单元除了线状图案不同以外，与前述的第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
如图10所示的立体平行化图像那样，本实施方式的线状图案800的宽度比指尖F1宽。因此，在线状图案800中，投影在指尖F1上的区域800a和投影于屏幕900的区域800b在核线EL的宽度方向上排列形成，能够在区域800a、800b的边界部产生图案的变动。因此，能够掌握(区分)在指尖F1附近产生的线状图案800的变动例如是因屏幕900的表面凹凸而产生的(存在连续性的变动)、还是因指尖F1而产生的(不连续的变动)。通过进一步使用这样的信息，能够更高精度地进行触摸识别。
通过以上那样的第2实施方式，也能够发挥与上述第1实施方式同样的效果。
<第3实施方式>
接着，对本发明第3实施方式的图像识别单元进行说明。
图11是示出在本发明第3实施方式的图像识别单元中使用的周期图案的图。图12和图13是分别对使用了图11所示的线状图案的触摸识别方法进行说明的图。
以下，对本发明第3实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第3实施方式的图像识别单元除了线状图案不同以外，与前述的第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在前述的第1实施方式中，通过判定线状图案800的连续性来进行触摸识别。但是，还需要考虑因线状图案800的周期或周围环境而难以稳定地判定线状图案800的连续性(即存在阴影或不连续周期)的情况。因此，在本实施方式中，主要根据屏幕900与指尖F1之间的线状图案800的周期变动(图案偏移)来检测指尖F1的深度(图像深度方向的位置)，从而进行触摸识别。以下，进行具体地说明。
如图11所示，本实施方式的线状图案800具有：第1线状图案800A，其亮度按照恒定的第1周期(间距)T1发生变化；以及第2线状图案800B，其亮度按照与第1周期T1不同的恒定的第2周期(间距)T2发生变化。并且，第1线状图案800A与第2线状图案800B在核线EL(EL')的宽度方向(与核线EL交叉的方向)上排列配置。并且，第1线状图案800A和第2线状图案800B隔着核线EL位于相反侧。即，核线EL沿着第1线状图案800A与第2线状图案800B的边界被定位。
这里，作为第2周期T2，没有特别地限定，但优选小于第1周期T1的2倍。当使第2周期T2为第1周期T1的2倍以上时，在第2线状图案800B的1个周期内包含两个周期以上的第1线状图案800A。因此，后述的指尖F1的深度分析的准确性有可能因使用环境等而降低。另外，在本实施方式中，第2周期T2为第1周期T1的1.75倍。在后面对该理由进行说明。
当在核线EL'上显示这样的线状图案800时，在屏幕900上投影有线状图案800，并且在指尖F1上也投影有线状图案800。并且，在屏幕900上的线状图案800与指尖F1上的线状图案800之间产生基于指尖F1的深度的周期变动(图案偏移)。
图案判定部530根据该周期变动来检测指尖F1的深度，根据检测出的深度来进行触摸识别。具体来说，首先，取得图12所示的立体平行化图像P21。接着，进行呈现在屏幕900上的第1、第2线状图案800A、800B的深度分析，检测(推测)屏幕900的与指尖F1重叠的位置的深度，并且进行呈现在指尖F1上的第1、第2线状图案800A、800B的深度分析，检测指尖F1的深度。
然后，如果在第1线状图案800A的分析结果和第2线状图案800B的分析结果的至少一方中，指尖F1的深度与屏幕900的深度不一致，则图案判定部530判定为指尖F1不与屏幕900接触的“非接触状态”。另一方面，在第1线状图案800A的分析结果和第2线状图案800B的分析结果的双方中，指尖F1的深度与屏幕900的深度一致的情况下，图案判定部530进一步进行如下的判定。
例如，当对第1线状图案800A进行说明时，如图13所示，即使指尖F1从屏幕900离开，在其离开方式产生相当于第1线状图案800A的周期的整数倍的周期变动(图案偏移)的情况下，尽管是非接触状态，但也会得到指尖F1上的图案与指尖F1接触于屏幕900的接触状态相同的图像(以下，将该现象称为“相位缠绕(phase wrapping)”)。关于这点，第2线状图案800B也同样如此。
因此，在指尖F1的离开方法产生相当于第1线状图案800A的周期的整数倍的周期变动、并且产生相当于第2线状图案800B的周期的整数倍的周期变动的情况下，会产生相位缠绕。因此，需要区分是接触状态还是产生了相位缠绕的状态。另外，如前述那样，第2线状图案800B的长度的周期(第2周期T2)是第1线状图案800A的长度的周期(第1周期T1)的1.75倍。通过采用这样的关系，能够使两周期的最小公倍数变得比较大(即，第1周期T1的7倍、第2周期T2的4倍)，因此能够使产生相位缠绕的条件进一步降低。
作为区分是接触状态还是产生了相位缠绕的状态的方法，虽然没有特别地限定，但存在如下的方法。即，在接触状态的情况的立体平行化图像中，由于指尖F1与屏幕900接触，所以在屏幕900上不产生指尖F1的阴影。另一方面，在产生了相位缠绕的情况的立体平行化图像中，由于指尖F1从屏幕900离开，所以在屏幕900上产生指尖F1的阴影。因此，如果在立体平行化图像中在屏幕900上没有产生指尖F1的阴影，则图案判定部530可以判定为“接触状态”，如果产生了阴影，则图案判定部530可以判定为产生了相位缠绕的“相位缠绕状态”。
另外，根据投影仪300或照相机400的配置、指尖F1的形状或大小(个人差异)等，即使是接触状态，有时也会在屏幕900上产生阴影。因此，也可以对阴影的宽度(大小)设置阈值，如果小于阈值，则判定为“接触状态”，如果为阈值以上，则判定为“相位缠绕状态”。
根据这样的结构，能够减少相位缠绕的产生，并能够进行高精度的触摸识别。相反地，也可以说相位缠绕的产生被抑制，相应地能够缩短第1线状图案800A和第2线状图案800B的周期，并且相应地能够进行更高精度的触摸识别。
通过以上那样的第3实施方式，也能够发挥与上述第1实施方式同样的效果。
<第4实施方式>
接着，对本发明第4实施方式的图像识别单元进行说明。
图14是示出在本发明第4实施方式的图像识别单元中使用的周期图案的图。
以下，对本发明第4实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第4实施方式的图像识别单元除了线状图案不同以外，与前述第3实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在本实施方式的图像识别单元100中，如图14所示，在不同的时刻显示(以分时方式显示)第1线状图案800A和第2线状图案800B。具体来说，按照规定的周期交替地显示第1线状图案800A和第2线状图案800B。根据这样的结构，由于能够在相同的位置显示第1线状图案800A和第2线状图案800B，所以能够进行更高精度的触摸识别。
通过以上那样的第4实施方式，也能够发挥与上述第1实施方式同样的效果。
<第5实施方式>
接着，对本发明第5实施方式的图像识别单元进行说明。
图15是示出在本发明第5实施方式的图像识别单元中使用的周期图案的图。图16是示出在指尖与屏幕接触的状态下取得的线状图案的图像的图。图17是示出在指尖不与屏幕接触的状态下取得的线状图案的图像的图。
以下，对本发明第5实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第5实施方式的图像识别单元除了线状图案不同以外，与前述的第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
本实施方式的线状图案800包含具有相对于核线EL(EL')倾斜的部分(非平行的部分)的线段，在本实施方式中，线状图案800为图15所示的正弦波形状。线状图案800从核线EL向两侧等距离地分离，并且位于与核线EL平行的线段L51、L52之间。即，在本实施方式中，正弦波的上下峰的顶点分别位于与核线EL等距离的位置。作为线段L51、L52的分离距离，并没有特别地限定，但优选与指尖F1的宽度大致相等或者比指尖F1的宽度大。
这样，当使用具有相对于核线EL倾斜的部分的线状图案800时，能够按照以下方法进行触摸识别。在指尖F1与屏幕900接触的情况的立体平行化图像P51中，如图16所示，虽然指尖F1上的线状图案800相对于屏幕900上的线状图案800在水平方向(纸面横向)上偏移，但大致维持了其连续性。即，即使在屏幕900与指尖F1的边界部A中，线状图案800也为连续的状态。
与此相对，在指尖F1不与屏幕900接触的情况的立体平行化图像P52中，如图17所示，指尖F1上的线状图案800相对于屏幕900上的线状图案800在水平方向上偏移得较大，失去了其连续性。即，在屏幕900与指尖F1的边界部A中，线状图案800为不连续的状态。
因此，图案判定部530通过判定边界部A处的线状图案800的连续性，能够进行高精度的触摸识别。
通过以上那样的第5实施方式，也能够发挥与上述第1实施方式同样的效果。
另外，作为线状图案800的形状，只要具有相对于核线EL倾斜的部分(非平行的部分)，则并不限定于正弦波形状，例如，也可以是三角波形状、锯齿波形状等。
<第6实施方式>
接着，对本发明第6实施方式的图像识别单元进行说明。
图18是示出在本发明第6实施方式的图像识别单元中使用的周期图案的图。图19是对使用了图18所示的线状图案的触摸识别方法进行说明的图。
以下，对本发明第6实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第6实施方式的图像识别单元除了线状图案不同以外，与前述的第5实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在前述的第5实施方式中，对在指尖F1与屏幕900接触的情况下边界部A处也维持线状图案800的连续性的情况进行了说明，但还需要考虑根据指尖F1的形状或大小而失去连续性的情况，在这样的情况下有可能进行错误的触摸识别。因此，通过使用本实施方式的线状图案800，能够有效地解决上述的问题点。
如图18所示，本实施方式的线状图案800的轮廓呈正弦波形状，并且构成为被轮廓和核线EL(EL')包围的区域S内用规定的亮度填充。当采用这样的结构时，能够容易地根据立体平行化图像来判定区域S的轮廓的连续性。
如前述那样，无论指尖F1是否与屏幕900接触，都有可能在边界部A处失去线状图案800的连续性，但即使在这样的情况下，如图19所示，指尖F1与屏幕900接触的情况的线状图案800的位置的变动量(不连续性的大小)D1也比指尖F1不与屏幕900接触的情况的变动量D2小。因此，将某种程度的变动量D3设为阈值，如果变动量比变动量D3小则判定为“接触状态”，如果变动量比变动量D3大则判定为“非接触状态”即可。
根据这样的方法，能够进行更高精度的触摸识别。并且，根据本实施方式的线状图案800，即使在周边环境因外部光等发生变动的环境中，也能够进行准确的分析。并且，即使将线状图案800的周期(间距)设得比较大，导致触摸识别的精度降低的可能性也较小。
通过以上那样的第6实施方式，也能够发挥与上述第1实施方式同样的效果。
另外，作为线状图案800的形状，只要具有相对于核线EL倾斜的成分(非平行的成分)，则并不限定于正弦波形状，例如，也可以是三角波形状、锯齿波形状等。
<第7实施方式>
接着，对本发明第7实施方式的图像识别单元进行说明。
图20是示出在本发明第7实施方式的图像识别单元中使用的照明光的图。图21和图22是分别对使用了图20所示的照明光的手指检测方法进行说明的图。
以下，对本发明第7实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第7实施方式的图像识别单元除了使用NIR光(具有800～2500nm左右的波长的近红外线)来检测手指F并进行触摸识别以外，大部分与前述的第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在本实施方式的图像识别单元100中，作为照相机400，使用能够对NIR光进行拍摄的NIR照相机。
并且，在本实施方式的图像识别单元100中，使用NIR光来生成由投影仪300照射的线状图案800。在该情况下，只要将在前述的第1实施方式中说明的投影仪300的光源310变更为能够射出NIR激光的结构即可。通过采用NIR光作为线状图案800，不会使来自投影仪200的影像劣化，进而，即使在外部光入射的环境下，也能够发挥线状图案800的高对比度(第1区域810与第2区域820的亮度差)。
并且，图像识别单元100除了具有投影仪200、投影仪300、照相机400以及图像识别装置500之外，如图20所示，还具有向屏幕900照射照明光LL的投影仪(照明光照射装置)600。投影仪600以扩展到屏幕900的整个区域的方式照射由NIR光构成的照明光LL。这样的照明光LL如后述那样是为了提高手指F的检测精度而使用的。
照明光LL是由沿纸面纵向(与线状图案800交叉的方向)延伸的亮线LLa在横向上周期性地排列而成的格子状图案。通过采用这样的图案，能够容易地区分均为NIR光的照明光LL和线状图案800。但是，照明光LL的图案没有被特别限定，例如，亮线LLa可以相对于线状图案800倾斜，也可以呈圆弧状弯曲。并且，例如，通过在不同的时刻显示(以分时方式显示)照明光LL和线状图案800，能够区分照明光LL和线状图案800。
接着，对照明光LL的功能进行说明。在来自投影仪200的图像显示于屏幕900的状态下，手指F上也因来自投影仪200的光而被照射了各种颜色(色调、饱和度、亮度)的光。因此，还需要考虑如下情况：难以利用计测点判定部510提取基于HSV颜色系统的类似肤色区域，从而无法高精度地进行指尖F1的判定。因此，为了提高指尖F1的检测精度而使用照明光LL。
对照明光LL的使用方法进行说明，首先，利用照相机400取得在不存在手指F的状态下照射在屏幕900上的照明光LL的图像，将该立体平行化图像存储为图21所示的基准立体平行化图像P71。然后，计测点判定部510根据在使用中由照相机400取得的、被立体平行化后的比较立体平行化图像P72与基准立体平行化图像P71之间的差分，提取手指F。例如，当在比较立体平行化图像P72中存在手指F的情况下，如图22所示，由于屏幕900上的照明光LL与手指F上的照明光LL产生偏移，所以计测点判定部510能够根据该偏移(差分)来提取手指F。提取了手指F之后的处理(从指尖F1的判定到触摸识别)与前述的第1实施方式相同。
这里，优选照明光LL的周期与线状图案800的周期大致相等。由此，图案判定部530能够通过与基准立体平行化图像P71的比较来进行线状图案800的连续性的判定。因此，能够更高精度地判定线状图案800的连续性。
根据这样的结构，能够更高精度地进行手指F的提取，而不会受到通过投影仪200显示于屏幕900的图像的影响。并且，作为照明光LL，由于使用了对人类而言不可见的NIR光，所以不存在使来自投影仪200的影像劣化的可能性。特别是如本实施方式那样，当使用格子图案的照明光LL时，由于能够利用对基准立体平行化图像P71和比较立体平行化图像P72进行二值化而得的图像来比较两者，所以手指F的提取不容易受到外部环境的影响。
作为投影仪600的结构，只要能够照射照明光LL，则没有特别地限定。例如，可以采用具有射出NIR激光的光源和对从光源射出的NIR激光进行衍射的衍射光栅的结构，也可以使用具有能够射出NIR光的光源的液晶型的投影仪、光扫描型的投影仪、DMD型的投影仪。并且，投影仪200也可以兼作投影仪600。即，投影仪200也可以构成为照射影像光和照明光LL。在该情况下，例如，投影仪200可以构成为同时照射红色光、绿色光、蓝色光、NIR光，也可以构成为以分时方式照射红色光、绿色光、蓝色光、NIR光。在以分时方式进行照射的情况下，通过将红色光、绿色光、蓝色光在屏幕900上合成而生成影像，利用NIR光来生成照明光LL。
通过以上那样的第7实施方式，也能够发挥与上述第1实施方式同样的效果。
另外，在本实施方式中，使用了具有格子状的图案的照明光LL，但也可以是不具有图案的纯照明光LL。即，也可以对屏幕900的整个区域均匀地照射照明光LL。即使利用这样的照明光LL，也能够根据手指与屏幕的亮度值的不同来提取手指F。特别是与本实施方式相比，不需要用于生成格子状的图案的衍射光栅等，在该点上能够实现装置的简化。
并且，在本实施方式的图像识别单元100中，利用NIR光来生成线状图案800，但也可以利用可见光来生成线状图案800。但是，在该情况下，需要采用能够对NIR光和可见光的双波段进行拍摄的照相机400。
<第8实施方式>
接着，对本发明第8实施方式的图像识别单元进行说明。
图23是示出在本发明第8实施方式的图像识别单元中使用的照明光的俯视图。
图24是示出构成手指的物质的波长吸收特性的曲线图。
以下，对本发明第8实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第8实施方式的图像识别单元除了照明光的结构不同以外，大部分与前述第7实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在前述的第7实施方式中，由于在手指F的提取中必须使用基准立体平行化图像P71，所以例如在屏幕900的位置发生变化的情况、屏幕900的形状发生变化的情况(即，手指F的背景发生变化的情况)下，每次都必须重新取得基准立体平行化图像P71，从而无法顺利地进行手指F的提取。即，前述的第7实施方式在屏幕900的位置和形状被固定的情况下发挥特别优异的效果。与此相对，在下面要叙述的本实施方式中，由于不需要基准立体平行化图像，所以即使在屏幕900的位置发生变化的情况、或屏幕900的形状发生变化的情况下，也能够顺利地提取手指F。
如图23所示，本实施方式的照明光LL包含：第1照明光LL1，其具有第1波长；以及第2照明光LL2，其具有与第1波长不同的第2波长。并且，同时照射第1照明光LL1和第2照明光LL2。但是，也可以在不同的时刻(以分时方式)照射第1照明光LL1和第2照明光LL2。并且，第1照明光LL1和第2照明光LL2都是不具有图案的纯光，对照射区域内进行均匀(均等)地照射。
此外，第1照明光LL1和第2照明光LL2都是NIR光，并且基于手指F的波长吸收特性是不同的。图24是示出构成手指F的物质的波长吸收特性的曲线图。如该图所示，例如，在800nm附近和1050nm附近，基于水和血红蛋白的光吸收比周边的波长少，与此相对，在970nm附近，基于水和血红蛋白的光吸收比周边的波长多。因此，在本实施方式中，将第1照明光LL1的波长设为800nm，将第2照明光LL2的波长设为970nm。但是，作为第1、第2照明光LL1、LL2的波长，只要波长吸收特性不同，则没有特别地限定，能够根据对象物的结构来进行适当设定。
并且，照相机400是能够同时取得基于第1照明光LL1的第1图像和基于第2照明光LL2的第2图像的双波段照相机。由于第1图像和第2图像因前述的波长吸收特性的不同而产生差异，所以计测点判定部510通过对第1图像和第2图像进行比较，能够进行手指F的提取。作为这样的方法，公知有“多光谱感测”、“高光谱感测”等。
根据这样的结构，由于不需要前述第7实施方式那样的基准立体平行化图像，所以即使在屏幕900的位置发生变化的情况、或屏幕900的形状发生变化的情况下，也能够顺利地提取手指F。
通过以上那样的第8实施方式，也能够发挥与上述第1实施方式同样的效果。
<第9实施方式>
接着，对本发明第9实施方式的图像识别单元进行说明。
图25是示出在本发明第9实施方式的图像识别单元中使用的照明光的图。图26是说明对照明光的地址赋予的图。图27和图28是分别对触摸识别方法进行说明的图。
以下，对本发明第9实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第9实施方式的图像识别单元除了对照明光LL设定地址以外，与前述第7实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在本实施方式中，如图25所示，照明光LL的长度的周期(包含在照明光LL的重复图案中的亮线LLa的宽度以及相邻的亮线LLa之间的宽度)被设定为比指尖F1的宽度大。并且，如图26所示，将立体平行化图像P91与事先准备的寻址图像P92进行对照，对立体平行化图像P91中的照明光LL赋予地址。作为地址的赋予方法，并没有特别地限定，但列举了对各地址配置识别图案的方法。计测点判定部510对指尖F1进行判定，并且根据所赋予的地址来确定指尖F1所位于的地址。在图示的例子中，指尖F1位于地址[N+6]。
如图27所示的立体平行化图像那样，线状图案显示部520使线状图案800显示在包含指尖F1所位于的地址的比较小的区域。这样，通过仅在检测出指尖F1的地址附近显示线状图案800，能够在短时间内进行线状图案800的差异判定。并且，由于能够缩短线状图案800的周期，所以能够高精度地检测指尖F1。另外，在图示的例子中，在指尖F1所位于的地址[N+6]及其两侧相邻的地址[N+5]、[N+7]显示线状图案800。
此时，在指尖F1与屏幕900接触、或者即使不接触但与屏幕900之间的分离距离也较短的情况(相当于照明光LL的1个周期的距离以内的情况)下，线状图案800也被照射在指尖F1上。因此，如图27所示，此时的立体平行化图像P91为在指尖F1上照射有线状图案800的图像。另一方面，在指尖F1不与屏幕900接触且与屏幕900之间的分离距离较长的情况(超过了相当于照明光LL的1个周期的距离的情况)下，线状图案800不会被照射在指尖F1上，如图28所示，立体平行化图像P91为线状图案800的一部分被指尖F1遮盖的图像。
根据这样的图像的差异，能够排除指尖F1与屏幕900分离得很远的状态，仅在指尖F1与屏幕900接触、或者即使不接触但与屏幕900之间的分离距离也较短的情况下，判定线状图案800的连续性而进行触摸识别即可。因此，能够减少触摸识别的计算负担，并且能够进行高精度的触摸识别。进而，由于能够有效地抑制相位缠绕，所以能够缩短线状图案800的周期，能够进行更高精度的触摸识别。
另外，作为寻址图像P92的取得时机，并没有特别地限定，根据屏幕900的结构而不同。例如，只要屏幕900被固定并且其形状不发生变化，则在投影仪200进行图像显示之前取得寻址图像P92即可。另一方面，在屏幕900的位置发生变化的情况、或屏幕900的形状发生变化的情况下，只要连续地取得寻址图像P92，使用之前刚刚取得的寻址图像P92对立体平行化图像P91赋予地址即可。
通过以上那样的第9实施方式，也能够发挥与上述第1实施方式同样的效果。
另外，在本实施方式中，利用NIR光来生成照明光LL和线状图案800，但也可以利用可见光来生成照明光LL和线状图案800。在利用可见光生成照明光LL的情况下，只要以投影仪200的图像不发生劣化的方式，对显示图像的区域外侧照射照明光LL，并根据该照射到外侧的照明光LL的状态来预测并确定所述区域内的地址即可。并且，如前述那样，由于线状图案800仅显示在比较窄的范围内，所以即使利用可见光来生成线状图案800，也不会使投影仪200的图像较大程度地劣化。
<第10实施方式>
接着，对本发明第10实施方式的图像识别单元进行说明。
图29是在本发明第10实施方式的图像识别单元中使用的投影仪的结构图。
以下，对本发明第10实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第10实施方式的图像识别单元除了用投影仪200兼作投影仪300以外，与前述的第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
本实施方式的投影仪200与在前述的第1实施方式中说明的结构大致相同，但如图29所示，将NIR光与红色光R一起入射到液晶显示元件240R。由于与绿色光G和蓝色光B相比，红色光R与NIR光之间的波长的差较小，所以能够比较简单地实现同一光学系统。根据这样的结构的投影仪200，能够将图像和线状图案800同时投影到屏幕900。另外，根据本实施方式的投影仪200，线状图案800的第1区域810由红色光和NIR光构成，第2区域820由与红色不同的颜色(NIR光关闭状态)构成。根据这样的线状图案800，由于抑制了屏幕900上的明亮度，并且获得了第1区域810与第2区域820之间的高对比度，所以能够进行更高精度的触摸识别。
通过以上那样的第10实施方式，也能够发挥与上述第1实施方式同样的效果。
以上，根据图示的实施方式对本发明的图像识别装置、图像识别方法以及图像识别单元进行了说明，但本发明并不限定于此。例如，在本发明的图像识别装置中，能够将各部分的结构置换成具有同样功能的任意结构，并且，还能够添加其他的任意结构。
标号说明
100：图像识别单元；200：投影仪；240B、240G、240R：液晶显示元件；250：分色棱镜；260：投射透镜系统；300：投影仪；310：光源；311B、311G、311R：光源；312B、312G、312R：准直透镜；313：光合成部；313a、313b、313c：分色镜；314：聚光透镜；320：扫描部；330：可动部；331：反射镜；341、342：轴部；350：驱动框部；361、362：轴部；370：支承部；400：照相机；410：受光单元；411：镜头系统；412：摄像元件；500：图像识别装置；510：计测点判定部；520：线状图案显示部；530：图案判定部；600：投影仪；800：线状图案；800A：第1线状图案；800B：第2线状图案；800a：区域；800b：区域；810：第1区域；820：第2区域；900：屏幕；A：边界部；B：蓝色光；C1：照相机中心；C2：角度变更中心；D1、D2、D3：变动量；EL、EL'：核线；F：手指；F1：指尖；G：绿色光；J1、J2：轴；l1、l2、l3：直线；L51、L52：线段；LL：照明光；LL1：第1照明光；LL2：第2照明光；LLa：亮线；La：影像光；Lb：调制光；P11、P21、P51、P52：立体平行化图像；P71：基准立体平行化图像；P72：比较立体平行化图像；P91：立体平行化图像；P92：寻址图像；Pe：核点；R：红色光；S：区域；T1：第1周期；T2：第2周期；x：坐标；Σ：核平面；π1：图像平面；π2：假想图像平面。

Claims (13)

1.一种图像识别装置，该图像识别装置被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别装置的特征在于，具有：
计测点判定部，其根据所述摄像装置所取得的图像，检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；
线状图案显示部，其使所述检测用图像显示装置在核线上显示具有周期性的图案的线状图案，该核线是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的，并且穿过所述计测对象点；以及
图案判定部，其根据所述摄像装置所取得的包含所述线状图案的图像，判定包含在该图像中的所述线状图案与不存在所述对象物时的所述线状图案之间的差异，
所述图案判定部判定所述线状图案的连续性，在所述线状图案具有连续性的情况下，判定为所述对象物与所述图像显示面接触的接触状态，在所述线状图案不具有连续性的情况下，判定为所述对象物不与所述图像显示面接触的非接触状态。
2.根据权利要求1所述的图像识别装置，其中，
所述线状图案具有第1线状图案，该第1线状图案的亮度按照第1周期发生变化。
3.根据权利要求1所述的图像识别装置，其中，
所述线状图案具有：第1线状图案，其亮度按照第1周期发生变化；以及第2线状图案，其亮度按照与所述第1周期不同的第2周期发生变化。
4.根据权利要求3所述的图像识别装置，其中，
在不同的时刻显示所述第1线状图案和所述第2线状图案。
5.根据权利要求3所述的图像识别装置，其中，
所述第1线状图案和所述第2线状图案在与所述核线交叉的方向上排列显示。
6.根据权利要求1所述的图像识别装置，其中，
利用近红外线生成所述线状图案。
7.根据权利要求1所述的图像识别装置，其中，
所述线状图案包含如下的线段：该线段具有相对于所述核线倾斜的部分。
8.根据权利要求1所述的图像识别装置，其中，
所述图像显示单元具有照明光照射装置，该照明光照射装置向所述图像显示面照射照明光，
所述计测点判定部根据所述摄像装置所取得的包含所述照明光的图像来检测所述对象物。
9.根据权利要求8所述的图像识别装置，其中，
所述照明光具有亮度沿着所述核线的延伸方向周期性地变化的图案。
10.根据权利要求9所述的图像识别装置，其中，
对所述照明光的所述周期性地变化的图案分别赋予用于确定位置的地址。
11.一种图像识别方法，该图像识别方法被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别方法的特征在于，具有如下的步骤：
计测点判定步骤，根据所述摄像装置所取得的图像，检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；
线状图案显示步骤，使所述检测用图像显示装置在核线上显示亮度周期性地变化的线状图案，该核线穿过所述计测对象点，是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的；以及
图案判定步骤，根据所述摄像装置所取得的包含所述线状图案的图像，判定包含在该图像中的所述线状图案与不存在所述对象物时的所述线状图案之间的差异，
在所述图案判定步骤中判定所述线状图案的连续性，在所述线状图案具有连续性的情况下，判定为所述对象物与所述图像显示面接触的接触状态，在所述线状图案不具有连续性的情况下，判定为所述对象物不与所述图像显示面接触的非接触状态。
12.一种图像识别单元，其特征在于，该图像识别单元具有：
权利要求1～10中的任意一项所述的图像识别装置；
所述摄像装置；以及
所述检测用图像显示装置。
13.根据权利要求12所述的图像识别单元，其中，
该图像识别单元具有图像显示装置，该图像显示装置在所述图像显示面上显示图像。
CN201680078749.5A 2016-01-13 2016-12-27 图像识别装置、图像识别方法以及图像识别单元 Active CN108475145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016004773A JP6668763B2 (ja) 2016-01-13 2016-01-13 画像認識装置、画像認識方法および画像認識ユニット
JP2016-004773 2016-01-13
PCT/JP2016/088863 WO2017122534A1 (ja) 2016-01-13 2016-12-27 画像認識装置、画像認識方法および画像認識ユニット

Publications (2)

Publication Number Publication Date
CN108475145A CN108475145A (zh) 2018-08-31
CN108475145B true CN108475145B (zh) 2021-06-22

Family

ID=59311302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078749.5A Active CN108475145B (zh) 2016-01-13 2016-12-27 图像识别装置、图像识别方法以及图像识别单元

Country Status (4)

Country Link
US (1) US10775936B2 (zh)
JP (1) JP6668763B2 (zh)
CN (1) CN108475145B (zh)
WO (1) WO2017122534A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
CN108334246B (zh) * 2017-12-11 2021-06-22 北京硬壳科技有限公司 悬浮触控方法及相关装置
CN111625157B (zh) * 2020-05-20 2021-09-17 北京百度网讯科技有限公司 指尖关键点检测方法、装置、设备和可读存储介质
CN111811432A (zh) * 2020-06-16 2020-10-23 中国民用航空飞行学院 一种三维成像系统及方法
CN112278801B (zh) * 2020-11-09 2022-03-22 黄河科技学院 一种物料排序系统的控制方法
KR102248504B1 (ko) * 2021-03-09 2021-05-06 시설물안전연구원 주식회사 레이저를 이용한 기울기 측정장치 및 이의 제어방법
CN114596582B (zh) * 2022-02-28 2023-03-17 北京伊园未来科技有限公司 一种带视觉和力反馈的增强现实交互方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
JP2014115108A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869515A (ja) * 1994-08-29 1996-03-12 Sumitomo Electric Ind Ltd 画像表示装置
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2004077290A (ja) 2002-08-19 2004-03-11 Fuji Xerox Co Ltd ３次元形状計測装置および方法
JP3830956B1 (ja) * 2005-09-14 2006-10-11 健治 吉田 情報出力装置
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
CN101739547B (zh) * 2008-11-21 2012-04-11 中国科学院沈阳自动化研究所 复杂背景下图像中鲁棒的编码点的精确识别与定位方法
JP5404263B2 (ja) * 2009-09-07 2014-01-29 パナソニック株式会社 視差算出方法、および視差算出装置
JP5325814B2 (ja) * 2010-02-25 2013-10-23 大日本スクリーン製造株式会社 画像形成装置および画像形成方法
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
JP5293843B2 (ja) * 2012-01-24 2013-09-18 デクセリアルズ株式会社 透明導電性素子、入力装置、電子機器および透明導電性素子作製用原盤
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
JP2014021140A (ja) * 2012-07-12 2014-02-03 Seiko Epson Corp スクリーン、および画像表示システム
JP5702411B2 (ja) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
JP5844002B2 (ja) * 2013-03-07 2016-01-13 三菱電機株式会社 表示装置
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
JP2014115108A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置

Also Published As

Publication number Publication date
WO2017122534A1 (ja) 2017-07-20
JP6668763B2 (ja) 2020-03-18
US10775936B2 (en) 2020-09-15
US20190025986A1 (en) 2019-01-24
JP2017126870A (ja) 2017-07-20
CN108475145A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108475145B (zh) 图像识别装置、图像识别方法以及图像识别单元
TWI513273B (zh) 掃描投影機及用於３ｄ映射之影像擷取模組
US10083522B2 (en) Image based measurement system
CN108463793B (zh) 图像识别装置、图像识别方法以及图像识别单元
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
US8937612B2 (en) Coordinate locating method, coordinate locating device, and display apparatus comprising the coordinate locating device
US10726257B2 (en) Gaze-tracking system and method of tracking user&#39;s gaze
US11048363B2 (en) Floating display device and method for a floating display device to indicate touch position
US8982101B2 (en) Optical touch system and optical touch-position detection method
JP6601489B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
WO2013035553A1 (ja) ユーザインタフェース表示装置
CN108475147B (zh) 图像识别装置、图像识别方法以及图像识别单元
JP6314688B2 (ja) 入力装置
US20170069110A1 (en) Shape measuring method
US20130241882A1 (en) Optical touch system and optical touch position detecting method
KR102495234B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
JP2016080517A (ja) 表面検査装置
KR102486540B1 (ko) 시약분석장치 및 그 시약분석장치의 제어방법
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method
JP2017021861A (ja) プロジェクタ及びヘッドマウント型表示装置
KR20240043743A (ko) 오브젝트에 심볼을 할당하기 위한 시스템들 및 방법들
JP2018107489A (ja) 入出力装置、情報共有方法及び情報共有プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant