CN108140358A - 附带距离图像获取装置的投影装置以及投影方法 - Google Patents

附带距离图像获取装置的投影装置以及投影方法 Download PDF

Info

Publication number
CN108140358A
CN108140358A CN201680056828.6A CN201680056828A CN108140358A CN 108140358 A CN108140358 A CN 108140358A CN 201680056828 A CN201680056828 A CN 201680056828A CN 108140358 A CN108140358 A CN 108140358A
Authority
CN
China
Prior art keywords
projected
image
projection
range image
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680056828.6A
Other languages
English (en)
Inventor
北川润也
河合智行
新贝安浩
增田智纪
古田善工
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108140358A publication Critical patent/CN108140358A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006—Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种抑制投影装置的大型化或复杂化且检测被投影体的移动并将图像高精度地投影到被投影体的附带距离图像获取装置的投影装置以及投影方法。在本发明的方式中，附带距离图像获取装置的投影装置(20)具备：投影图像生成部(28)；获取在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值的差分值获取部(101)；根据在差分值获取部(101)中获取的差分值进行被投影体是否静止的判定的判定部(103)；输出对被投影体进行在投影图像生成部(28)中生成的图像的投影的指示的投影指示部(105)；以及根据从投影指示部(105)输出的进行投影的指示对投影装置(20)的投影进行控制的投影控制部(107)。

Description

附带距离图像获取装置的投影装置以及投影方法
技术领域
本发明涉及一种附带距离图像获取装置的投影装置以及投影方法，尤其涉及一种依据移动以及静止的被投影体的移动投影图像的技术。
背景技术
作为一边获取距离信息一边获取图像的相机，已知有TOF(Time Of Flight，飞行时间测量)相机。TOF相机向被摄体照射光，并测量通过图像传感器接收其反射光为止的时间(飞行时间)，由此求出表示与被摄体之间的距离的距离图像(深度数据)。
并且，还已知有从投影装置依据被投影体的立体形状投影图像的技术，被称作投影映射、视频映射等。
在专利文献1中记载有以下内容：对被投影体的摄像图像进行从电子相机的坐标系向显示画面的坐标系的坐标转换，并对转换后的图像的被投影体进行边缘处理，由此提取封闭区域的轮廓形状，并对其轮廓形状进行投影映射。
并且，在专利文献2中提出了将TOF相机用作实时获取被投影体的距离图像的装置并与投影装置一体化来将投影映射用装置小型化的技术。
尤其是专利文献2中记载的投影装置具有通过将投影用图像作为脉冲光照射而将投影装置的光源以及投影透镜作为TOF相机的光源以及投影透镜兼用的特征。
现有技术文献
专利文献
专利文献1：日本特开2013－192189号公报
专利文献2：日本特表2013－546222号公报
发明内容
发明所要解决的问题
在此，在投影映射中，由于将依据被投影体的形状生成的图像进行投影，因此关于被投影体移动或静止的检测非常重要。即，在对移动的被投影体进行投影映射的情况下，发生被投影体与投影图像的偏离，从而发生无法很好地进行投影映射的情况。
另一方面，为了检测被投影体的移动，必须对投影装置进一步追加用于检测被投影体的移动的检测装置的功能，这成为投影装置大型化或复杂化的因素。
在上述专利文献1以及2中，并未提及关于在进行投影映射时抑制投影装置的大型化或复杂化且检测被投影体的移动的内容。
本发明是鉴于这种情况而完成的，其目的在于提供一种抑制投影装置的大型化或复杂化且检测被投影体的移动并将图像高精度地投影到被投影体的附带距离图像获取装置的投影装置以及投影方法。
用于解决问题的手段
用于实现上述目的的本发明的一方式的附带距离图像获取装置的投影装置包含投影装置和距离图像获取装置，投影装置具备：显示投影图像的显示用光学元件；以及将显示于显示用光学元件的投影图像投影到被投影体的投影光源以及投影透镜，距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从测量用光源射出且被被投影体反射的测量光成像于距离图像传感器；以及距离图像生成部，其从距离图像传感器获取与测量光的飞行时间对应的距离信息，并根据获取的距离信息生成距离图像，所述测量光从测量用光源射出，被被投影体反射，并射入到距离图像传感器，投影装置具备：投影图像生成部，其根据通过距离图像获取装置获取的距离图像检测被投影体的形状，并生成与检测出的形状对应的投影图像；差分值获取部，其获取通过距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；判定部，其根据在差分值获取部中获取的差分值进行被投影体是否静止的判定；投影指示部，其根据判定部的判定结果输出对被投影体进行在投影图像生成部中生成的图像的投影的指示；以及投影控制部，其根据从投影指示部输出的进行投影的指示对投影装置的投影进行控制。
根据本方式，根据在距离图像获取装置的距离图像生成部中生成的距离图像检测投影体的形状，并生成投影图像。而且，根据本方式，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体是否静止的判定，并根据其判定进行投影。由此，本方式将距离图像使用于投影图像的生成以及被投影体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体的移动，从而能够将投影图像高精度地投影到被投影体。
优选差分值获取部获取第1距离图像所具有的距离信息的平均值与第2距离图像所具有的距离信息的平均值之间的差分值，在差分值为第1阈值以下的情况下，判定部判定为被投影体静止。
根据本方式，根据第1距离图像所具有的距离信息的平均值和第2距离图像所具有的距离信息的平均值计算差分值，判定部根据第1阈值判定被投影体是否静止。由此，本方式能够根据距离图像所具有的距离信息的平均值更加高精度地进行被投影体是否静止的判定。
优选差分值获取部获取第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的最大差分值，在最大差分值为第2阈值以下的情况下，判定部判定为被投影体静止。
根据本方式，差分值是第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的差分值的最大值，判定部根据第2阈值判定被投影体是否静止。由此，本方式能够根据差分值的最大值更加高精度地进行被投影体是否静止的判定。
优选附带距离图像获取装置的投影装置具备差分图像生成部，该差分图像生成部生成根据差分值获取部获取的差分值所生成的差分图像。
根据本方式，由于根据差分值生成差分图像，因此能够利用差分图像。
优选差分图像生成部获取差分图像在多个帧中的平均差分值，在差分图像在多个帧中的平均差分值为第3阈值以下的情况下，判定部判定为被投影体静止。
根据本方式，由于在差分图像在多个帧中的平均差分值为第3阈值以下的情况下，判定为被投影体静止，因此能够更加高精度地进行被投影体是否静止的判定。
优选差分图像生成部获取差分图像在多个帧中的最大差分值，在差分图像在多个帧中的最大差分值为第4阈值以下的情况下，判定部判定为被投影体静止。
根据本方式，由于在差分图像在多个帧中的最大差分值为第4阈值以下的情况下，判定为被投影体静止，因此能够根据多个帧中的最大差分值进行被投影体是否静止的判定。
优选差分图像生成部获取差分图像的每个区域的差分值，判定部根据差分图像中的差分值为第5阈值以下的区域的大小进行被投影体是否静止的判定。
根据本方式，由于根据差分图像中的差分值为第5阈值以下的区域的大小进行被投影体是否静止的判定，因此能够更加高精度地进行被投影体是否静止的判定。
优选差分图像生成部在多个帧中获取差分图像的每个区域的差分值，判定部根据多个帧的差分图像中的差分值为第6阈值以下的区域的大小进行被投影体是否静止的判定。
根据本方式，由于根据多个帧的差分图像中的差分值为第6阈值以下的区域的大小进行被投影体是否静止的判定，因此能够高精度地判定多个帧中的被投影体的静止。
优选差分图像生成部获取按照差分图像的区域设定的加权系数乘以差分值的值，在加权系数乘以差分值的值为第7阈值以下的情况下，判定部判定为被投影体静止。
根据本方式，由于根据按照差分图像的区域设定的加权获取差分值，并根据其差分值进行被投影体是否静止的判定，因此能够更准确地判定被投影体的移动。
优选附带距离图像获取装置的投影装置具备投影停止指示部，投影停止指示部根据判定部的判定结果输出对被投影体在投影图像生成部中生成的图像的投影的停止指示，投影控制部根据从投影停止指示部输出的投影的停止指示对投影装置的投影进行控制。
根据本方式，由于根据判定结果输出图像投影的停止指示，并根据其停止指示对投影装置的投影进行控制，因此在被投影体静止之后重新开始移动的情况下，停止投影。由此，能够防止投影到移动的被投影体，从而进行更加高精度的投影。
本发明的另一方式的投影方法使用包含投影装置和距离图像获取装置的附带距离图像获取装置的投影装置，投影装置具备：显示投影图像的显示用光学元件；以及将显示于显示用光学元件的投影图像投影到被投影体的投影光源以及投影透镜，距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从测量用光源射出且被被投影体反射的测量光成像于距离图像传感器；以及距离图像生成部，其从距离图像传感器获取与测量光的飞行时间对应的距离信息，并根据获取的距离信息生成距离图像，所述测量光从测量用光源射出，被被投影体反射，并射入到距离图像传感器，投影方法包含：投影图像生成步骤，根据通过距离图像获取装置获取的距离图像检测被投影体的形状，并生成与检测出的形状对应的投影图像；差分值获取步骤，获取通过距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；判定步骤，根据在差分值获取步骤中获取的差分值进行被投影体是否静止的判定；投影指示步骤，根据判定步骤的判定结果输出对被投影体进行在投影图像生成步骤中生成的图像的投影的指示；以及投影控制步骤，根据从投影指示步骤输出的进行投影的指示对投影装置的投影进行控制。
发明效果
根据本发明，根据在距离图像获取装置的距离图像生成部中生成的距离图像检测投影体的形状，并生成投影图像，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体是否静止的判定，并根据其判定进行投影。由此，本发明将距离图像使用于投影图像的生成以及被投影体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体的移动，从而能够将投影图像高精度地投影到被投影体。
附图说明
图1是示出使用附带距离图像获取装置的投影装置的情况的概念图。
图2是从正面观察图1中说明的被投影体的图。
图3是概念性地示出对图2中说明的被投影体进行投影映射的方式的图。
图4是示出投影装置的结构的框图。
图5是对被投影体的距离的运算处理进行说明的图。
图6是示出控制部的结构的框图。
图7是关于差分值获取部进行的差分值的获取进行说明的图。
图8是关于差分值获取部进行的差分值的获取进行说明的图。
图9是示出投影装置的动作的流程图。
图10是示出控制部的结构的框图。
图11是示出差分图像的概念图。
图12是示出差分图像的概念图。
图13是概念性地示出距离图像和差分图像的图。
图14是概念性地示出距离图像和差分图像的图。
具体实施方式
以下，根据附图对本发明所涉及的附带距离图像获取装置的投影装置以及投影方法的优选的实施方式进行说明。
图1是示出使用本发明所涉及的附带距离图像获取装置的投影装置的情况的概念图。示出了作为被投影体2的人物向附带距离图像获取装置的投影装置20(以下，称作投影装置20)直行走过来的情况。作为图1所示的情况的具体例，可设想时装秀等。投影装置20具备距离图像获取部(距离图像获取装置)20A和投影部(投影装置)20B。投影装置20将作为被投影体2的人穿着的衣服设为投影区域3，在被投影体2静止的情况下，对被投影体2的投影区域3进行投影映射(Projection Mapping)。
图2是从正面观察图1中说明的被投影体2的图。图2(A)是时刻T1时的被投影体2的主视图，图2(B)是时刻T2时的被投影体2的主视图，图2(C)是时刻T3时的被投影体2的主视图。如图2(A)～图2(C)所示，在被投影体2移动的情况下，由于投影装置20与被投影体2之间的距离发生变化，因此投影区域3的范围发生变化。若投影区域3的范围发生变化，则依据投影区域3生成的投影图像与投影区域3不一致。由此，在本发明中，为了防止投影图像与投影区域3的如上所述的不一致，检测被投影体2的移动，在被投影体2静止的情况下，进行投影映射。
图3是概念性地示出对图2(C)中说明的被投影体2进行投影映射的方式的图。投影装置20将投影图像5投影到作为被投影体2的人穿着的衣服上。通过投影装置20投影的投影图像5将作为被投影体2的人穿着的衣服所构成的封闭区域的形状与投影区域3一致而形成。如此，将与投影区域3的形状呈一致的投影图像5进行投影的技术一般称作投影映射。
图4是示出投影装置20的结构的框图。该投影装置20具备：进行距离图像的获取的距离图像获取部20A；进行投影图像5的投影的投影部20B；控制部26；存储器27；投影图像生成部28；以及输入I/F(interface，接口)29。另外，控制部26、存储器27以及输入I/F29在距离图像获取部20A以及投影部20B中共同发挥功能。
距离图像获取部20A进行脉冲光检测方式的距离图像的获取，包含定时信号发生器31、LED(Light Emitting Diode，发光二极管)光源(测量用光源)32、光源驱动器33、投影透镜35、成像透镜36、透镜驱动器37、距离图像传感器38、图中表示为“A/D”的AD(Analog-to-Digital，模数)转换器39以及图中表示为“I/F”的接口(interface)电路40。距离图像获取部20A具有所谓的TOF(Time Of Flight)相机的功能。关于TOF(Time Of Flight)相机的原理在后面叙述。另外，距离图像是指通过TOF等距离测量方法获得的距离值(距离信息)的二维分布图像。距离图像的各像素具有距离值(距离信息)。
定时信号发生器31在控制部26的控制下分别向LED光源32和距离图像传感器38输出定时信号。
LED光源32与从定时信号发生器31输入的定时信号同步而发出固定脉冲宽度的脉冲光。光源驱动器33在控制部26的控制下对LED光源32的驱动进行控制。
投影透镜35向被投影体2照射从LED光源32射出的脉冲光。在从LED光源32通过投影透镜35向被投影体2照射脉冲光的情况下，成像透镜36使被该被投影体2反射的脉冲光成像于距离图像传感器38。透镜驱动器37经由未图示的透镜驱动部进行成像透镜36的聚焦控制等。
距离图像传感器38以二维状排列有多个受光元件，由CMOS(ComplementaryMetal-Oxide Semiconductor，互补金属氧化物半导体)驱动器以及CMOS型图像传感器构成，该CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)驱动器具有垂直驱动器和水平驱动器等,该CMOS型图像传感器通过定时信号发生器31驱动。另外，距离图像传感器38并不限于CMOS型，也可以是XY地址型或CCD(Charge Coupled Device，电荷藕合器件)型图像传感器。
距离图像传感器38也可以以二维状排列有多个受光元件(光电二极管)，并在多个受光元件的射入面侧设置仅使从LED光源32发出的脉冲光的波长频带通过的带通滤波器或去除可见光的可见光截止滤波器。由此，距离图像传感器38的多个受光元件作为对脉冲光具有灵敏度的像素发挥功能。
与LED光源32的脉冲光的发光同步，通过从定时信号发生器31输入的定时信号控制距离图像传感器38的曝光期间(曝光时间以及曝光定时)。距离图像传感器38的各受光元件中蓄积有与在曝光期间射入的脉冲光的光量对应的电荷。如此，在脉冲光检测方式下，与被投影体2之间的距离越短，曝光量越多，相反，与被投影体2之间的距离越远，曝光量越少，因此能够按照曝光量的大小测量与被投影体2之间的距离。而且，从距离图像传感器38读出与由被投影体2反射的脉冲光的射入光量相应的像素信号(与蓄积在每一个像素中的电荷对应的模拟信号)。
AD转换器39将从距离图像传感器38读出的像素信号转换为数字信号，并输出至接口电路40。另外，CMOS型图像传感器有包含AD转换器39的图像传感器，在该情况下，能够省略AD转换器39。接口电路40作为图像输入控制器发挥功能，将从AD转换器39输入的数字信号输出至控制部26。由此，在控制部26的距离图像生成部113(图6)中生成距离图像，再通过投影图像生成部28生成投影图像5，详细内容后述。
投影部20B为所谓的单板式液晶投影仪，包含显示用光学元件(还称作光调制元件)42、元件驱动器43、LED光源(投影光源)44、光源驱动器45、投影透镜46以及透镜驱动器47。
显示用光学元件42能够使用具备多个颜色的滤色器的透射型液晶面板或将分色镜、微透镜阵列以及单色透射型液晶面板组合而成的无滤色器结构的元件等。无滤色器结构的元件例如通过分别反射R(Red,红色)光、G(Green,绿色)光以及B(Blue,蓝色)光的3种分色镜将白色光分光为RGB这三个颜色的光，并使三个颜色的光以相互不同的角度射入到液晶面板上的微透镜阵列中。然后，使三个颜色的光通过微透镜阵列分别射入到液晶面板的R用像素、G用像素以及B用像素中，由此能够显示彩色图像。
另外，投影部20B并不限定于单板式液晶投影仪，也可以是具备色分离光学以及多个液晶面板的公知的三板式液晶投影仪。并且，投影部20B并不限定于透射型液晶方式，也可以采用反射型液晶显示方式或微镜设备方式(光开关显示方式)等其他方式。
元件驱动器43在控制部26的控制下控制显示用光学元件42，使其显示后述投影图像生成部28生成的投影图像5。
LED光源44使白色光从显示用光学元件42的背面侧(与和投影透镜46相向的面相反的面侧)射入到显示用光学元件42。由此，从显示用光学元件42射出投影图像5的像光。光源驱动器45在控制部26的控制下对LED光源44的驱动进行控制。
投影透镜46将从显示用光学元件42射出的投影图像5的像光投影到被投影体2。透镜驱动器47经由未图示的透镜驱动部进行投影透镜46的聚焦控制等。
控制部26经由数据总线49与定时信号发生器31、光源驱动器33、透镜驱动器37、距离图像传感器38、接口电路40、元件驱动器43、光源驱动器45以及透镜驱动器47等连接。该控制部26例如由包含CPU(Central Processing Unit，中央处理器)的各种运算部、处理部以及存储部构成，通过执行从存储器27读出的控制用程序或数据，统一控制投影装置20整体的动作和处理。
存储器27存储有控制部26用于执行处理的控制用程序等。
投影图像生成部28在控制部26的控制下根据从控制部26输入的数据或信息进行投影图像5的生成。即，投影图像生成部28根据通过距离图像获取装置获取的距离图像检测被投影体2的形状，并生成与检测出的形状对应的投影图像5。另外，关于投影图像生成部28进行的投影图像5的生成在后面叙述。
＜TOF法的基本原理＞
接下来，对通过TOF相机获取距离图像的基本原理进行说明。以下，对通过TOF相机(距离图像获取部20A)获取被投影体2的距离图像的情况进行说明。
由于距离图像获取部20A的LED光源32发出近红外光，因此通过定时信号发生器31进行脉冲驱动，其结果，从LED光源32发出脉冲宽度的脉冲光。该脉冲光由被投影体2的表面反射，其反射的脉冲光经由距离图像获取部20A的成像透镜36通过距离图像传感器38成像(接收)。另外，在距离图像传感器38设置有可见光截止滤波器，距离图像传感器38只接收近红外脉冲光。
图5是对被投影体2的距离的运算处理进行说明的图。
距离图像获取部20A的LED光源32虽然通过定时信号发生器31进行脉冲驱动，但是图5(A)以及图5(B)所示，与LED光源32的脉冲驱动同步，距离图像传感器38通过定时信号发生器31依次进行第1曝光控制以及第2曝光控制这两次曝光控制。
图5(A)所示的第1曝光控制是从LED光源32发出脉冲光并且以至少使由距离图像传感器38的对应的受光元件进行的曝光量按照被投影体2的距离产生差的方式控制曝光期间的曝光控制，在从LED光源32发出脉冲光之后，经过一定时间(脉冲光从可测距的最远的被摄体返回为止的时间)之后，开始曝光，至少经过被最远的被摄体反射的脉冲光全部返回来的时间(规定的曝光时间)之后，结束曝光。
图5(B)所示的第2曝光控制是从LED光源32发出脉冲光并且开始对脉冲光进行曝光的相位与开始对第1曝光控制脉冲光进行曝光的相位不同的曝光控制，是用于去除距离图像传感器38中的曝光量因被摄体的反射率的不同以及非全画面均匀光量的脉冲光产生的变化的曝光控制。在本例中，是距离图像传感器38的所有受光元件全部曝光由被摄体反射的脉冲光的曝光控制。具体而言，与从LED光源32发出的脉冲光的发光定时同步而开始曝光，经过一定时间(至少为脉冲光从可测距的最远的被摄体全部返回为止的规定的曝光时间)之后，结束曝光。另外，第1曝光控制下的“规定的曝光时间”与第2曝光控制下的“规定的曝光时间”为相同的时间，但是如上所述，开始对脉冲光进行曝光的相位不同。
接下来，如图5(C)所示，在将与通过第1曝光控制以及第2曝光控制从距离图像传感器38获取的各曝光量对应的传感器输出(某一像素的输出数据)分别设为第1数据L1以及第2数据L2时，控制部26的距离图像生成部113通过下式计算与被摄体的距离对应的距离信息D。
[数式1]
D＝L1÷L2
即，根据[数式1]式，计算将第1数据L1除以第2数据L2而得出的相除数据。该相除数据成为与去除被摄体的反射率的影响且去除非全画面均匀光量的脉冲光的光量的影响的相对距离对应的数据(距离信息D)。另外，根据第1数据L1和第2数据L2还能够求出被摄体的绝对距离。
而且，通过按照距离图像传感器38的所有像素的每一个像素获取距离信息D，能够生成距离图像。
＜投影图像的生成＞
接下来，关于投影图像生成部28进行的投影图像5的生成进行说明。
关于存储器27中记录的投影用图像(动态图像或静态图像)，投影图像生成部28利用通过距离图像生成部113(图6)生成的第1距离图像以及第2距离图像(即，被投影体2的投影区域3的形状、大小以及凹凸之类的信息)对存储器27中记录的投影用图像(动态图像或静态图像)进行修整、坐标转换、扩缩等处理，并生成与被投影体2的表面一致的投影图像5。另外，作为投影图像生成部28为了生成投影图像5而使用的距离图像，使用在差分值获取部101中使用的距离图像，由此而有效利用数据，因此优选。
根据通过投影图像生成部28生成的投影图像5对图4所示的投影部20B的显示用光学元件42的各光学元件的透射率进行控制。
[第1实施方式]
接下来，关于本发明的第1实施方式中的控制部26进行说明。
图6是示出控制部26的结构的框图。控制部26主要具备距离图像生成部113、差分值获取部101、判定部103、投影指示部105、投影控制部107以及投影停止指示部109。
距离图像生成部113从距离图像传感器38获取距离信息，并根据获取到的距离信息生成距离图像。在此，距离信息是指与从LED光源32发出的脉冲光(测量光)由被投影体2反射并射入到距离图像传感器38的测量光的飞行时间对应的信息，与被投影体2的距离对应。距离图像生成部113的具体的距离图像生成方法如上所述。在距离图像生成部113中生成的距离图像由二维分布的距离信息构成。
差分值获取部101获取通过距离图像获取部20A在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值。
图7以及图8是关于差分值获取部101进行的差分值的获取进行说明的图。图7(A)示出在图2(A)(时刻T1)时由距离图像获取部20A获取的距离图像S。图7(B)示出在图2(B)(时刻T2)时由距离图像获取部20A获取的距离图像T。并且，为了便于说明，将距离信息设为近距离11、中距离13以及远距离15，并在图中用深浅方式表示。另外，在图7中，用椭圆简单标绘出了被投影体2，省略了图像中的载物台7以及被投影体2以外的背景。
图7(A)所示的距离图像S在载物台7中具有近距离11、中距离13以及远距离15的距离信息，在被投影体2中具有远距离15的距离信息。而且，在距离图像S中相等地表示载物台7的具有远距离15的距离信息的区域的深浅与被投影体2的深浅。图7(B)所示的距离图像T在载物台7中具有近距离11、中距离13以及远距离15的距离信息，在被投影体2中具有中距离13的距离信息。而且，在距离图像T中相等地表示载物台7的具有中距离13的距离信息的区域的深浅与被投影体2的深浅。
在图7(C)中，示出了距离图像S所具有的距离信息与距离图像T所具有的距离信息之间的差分值。与载物台7有关的距离信息在距离图像S和距离图像T中不发生变化，因此差分值为0。另一方面，与被投影体2有关的距离信息在距离图像S和距离图像T中发生变化，因此差分值不是0。即，距离图像S中的被投影体2的距离信息为远距离15，而距离图像T中的被投影体2的距离信息为中距离13。从而，在被投影体2中产生差分值。
另一方面，在图8的情况下，示出了在被投影体2静止时获取的距离图像U以及V。即，在图8(A)中示出了在时刻T3时由距离图像获取部20A获取的距离图像U，在图8(B)中示出了在时刻T4时由距离图像获取部20A获取的距离图像V。在距离图像U以及V中，被投影体2的距离信息以中距离13相同。从而，如图8(C)所示，距离图像U的距离信息与距离图像V的距离信息之间的差分值为0。并且，关于载物台7的差分值，也与图7相同地为0。另外，由于时刻T3与时刻T4之间的时间差非常短，因此若距离图像U与距离图像V之间的差分值接近0，则能够预测为被投影体2静止。并且，距离图像获取部20A能够连续获取距离图像。在该情况下，距离图像获取部20A能够以30fps(frame per second，每秒传输帧数)或60fps获取距离图像。
这样，在差分值获取部101中，通过对在第1定时获取的距离图像所具有的距离信息和在第2定时获取的距离图像所具有的距离信息进行减法运算而获取差分值。
并且，差分值获取部101也可以将获取距离图像S所具有的距离信息的平均值并获取距离图像T所具有的距离信息的平均值之后对平均值彼此进行减法运算而得出的值作为差分值。即，差分值获取部101也可以获取对在第1定时获取的距离图像所具有的距离信息的平均值和第2距离图像所具有的距离信息的平均值进行减法运算而得出的值作为差分值。
并且，例如差分值获取部101也可以获取在第1定时获取的距离图像所具有的距离信息与在第2定时获取的距离图像所具有的距离信息之间的最大差分作为差分值。即，也可以采用对在第1定时获取的距离图像所具有的距离信息和在第2定时获取的距离图像所具有的距离信息进行减法运算而得出的最大的值作为差分值。
并且，例如差分值获取部101也可以获取对在第1定时获取的距离图像所具有的距离信息的总和与在第2定时获取的距离图像所具有的距离信息的总和进行减法运算而得出的值作为差分值。
返回到图6，判定部103根据由差分值获取部101获取的差分值进行被投影体2是否静止的判定。即，判定部103获取差分值并根据其差分值判定被投影体2的状态(移动或静止)。判定部103能够利用差分值通过各种各样的方法判定被投影体2的状态。例如，判定部103能够根据阈值判定被投影体2的状态。具体而言，也可以如下：在获取到的差分值为阈值以下的情况下，判定部103判定为被投影体2静止，在获取到的差分值大于阈值的情况下，判定为被投影体2移动。阈值按照如下两个阈值分开使用：判定部103根据第1距离图像所具有的距离信息的平均值与第2距离图像所具有的距离信息的平均值之间的差分值进行判别时的阈值(第1阈值)；以及判定部103根据第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的最大差分值进行判别时的阈值(第2阈值)。
投影指示部105根据判定部103的判定结果输出对被投影体2进行在投影图像生成部28中生成的图像的投影的指示。即，在通过判定部103判定为被投影体2静止的情况下，投影指示部105输出通过投影部20B进行投影的指示。
投影控制部107根据从投影指示部105输出的进行投影的指示对投影部20B的投影进行控制。投影控制部107使在投影图像生成部28中生成的投影图像5显示于显示用光学元件42，并通过光源驱动器45使LED光源44发光，并使投影图像5显示于被投影体2。
在暂时判定为被投影体2静止且通过投影部20B开始投影之后，通过判定部103判定为被投影体2移动的情况下，投影停止指示部109输出对被投影体2在投影图像生成部28中生成的图像的投影的停止指示。即，在被投影体2重新移动的情况下，投影停止指示部109输出停止通过投影部20B进行投影的指示。另外，即使在通过投影部20B进行投影的期间，也通过距离图像获取部20A随时获取距离图像，并通过判定部103随时判定被投影体2的状态。
接下来，关于使用了投影装置20的投影方法进行说明。图9是示出投影装置20的动作的流程图。
首先，通过投影装置20的距离图像获取部20A在第1定时获取距离图像(步骤S10)。之后，通过距离图像获取部20A在第2定时获取距离图像(步骤S11)。然后，通过差分值获取部101获取第1定时的距离图像所具有的距离信息与第2定时的距离图像所具有的距离信息之间的差分值(步骤S12)。另外，省略图示，随时进行由距离图像获取部20A进行的距离图像的获取以及由差分值获取部101进行的差分值的获取。
然后，判定部103根据差分值对被投影体2是否静止进行判定(步骤S13)。在通过判定部103判定为被投影体2未静止(在移动)的情况(步骤S13的否的情况)下，再次由距离图像获取部20A获取距离图像。另一方面，在通过判定部103判定为被投影体2静止的情况下，由投影图像生成部28生成投影图像5(步骤S14)。投影图像生成部28根据在第1定时获取的距离图像和/或在第2定时获取的距离图像生成投影图像5。之后，通过投影指示部105输出将投影图像5进行投影的指示(步骤S15)。然后，通过投影控制部107控制投影部20B，使其对被投影体2进行投影(步骤S16)。
上述各结构以及功能能够通过任意的硬件、软件或两者的组合而适宜地实现。例如，对于使计算机执行上述处理步骤(处理顺序)的程序、记录有这样的程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这样的程序的计算机也能够适用本发明。
如以上说明，根据本发明，根据在距离图像获取部20A的距离图像生成部113中生成的距离图像检测被投影体2的形状，并生成投影图像5。而且，根据本发明，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体2是否静止的判定，并根据该判定进行投影。由此，本发明将距离图像使用于投影图像5的生成以及被摄体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体2的移动，从而能够将投影图像5高精度地投影到被投影体2。
[第2实施方式]
接下来，关于本发明的第2实施方式进行说明。在本实施方式中，根据差分值生成差分图像，并高精度地检测被投影体2的移动。
图10是示出本实施方式的控制部26的结构的框图。另外，图6中说明的部位标注相同的符号而省略说明。控制部26主要具备距离图像生成部113、差分值获取部101、判定部103、差分图像生成部111、投影指示部105、投影控制部107以及投影停止指示部109。
对图10所示的本实施方式的控制部26与图6所示的第1实施方式的控制部26进行比较，本实施方式的控制部26在具有差分图像生成部111的点上不同。
差分图像生成部111生成根据差分值获取部101获取的差分值所生成的差分图像，该差分图像根据差分值获取部101获取的差分值生成。即，差分图像生成部111根据从差分值获取部101获取的差分值制作差分值的二维分布图。另外，在此，差分图像是指差分值的二维分布图。
图11是示出差分图像的概念图。图11所示的差分图像W根据图7以及图8中说明的距离图像以及差分值制作。并且，也可以在差分图像中按照构成差分图像的差分值改变深浅或颜色来显示。通过这样，在差分图像显示于显示画面(未图示)的情况下，用户容易掌握差分值的不同。在图11所示的差分图像的情况下，表现出了差分值的不同。另外，省略了被投影体2以及载物台7以外的背景。
图11(A)是根据基于图7(A)以及图7(B)所示的距离图像S以及T获取的差分值制作的差分图像W，示出了获取的的差分值的二维分布。由于载物台7在距离图像S与距离图像T之间差分值为0，因此用黑色表现。另一方面，被投影体2由在距离图像S与距离图像T之间差分值不同的两个区域(区域O、P以及Q)构成。
由于区域O在距离图像S与距离图像T之间差分值0，因此与载物台7相同地用黑色表示。区域Q中的差分值是中距离13(图7)与远距离15(图7)之间的差分值，区域P中的差分值是中距离13(图7)与背景之间的差分值。另外，背景假设为无限远方。
图11(B)是根据基于图8(A)以及图8(B)所示的距离图像U以及V获取的差分值制作的差分图像W，示出了获取到的差分值的二维分布。在图11(B)所示的情况下，由于在被投影体2以及载物台7中差分值为0，因此被投影体2以及载物台7用黑色表现。如此，差分图像由距离图像所具有的距离信息的差分值的二维分布构成。
返回到图10，本实施方式的判定部103能够根据差分图像W通过各种各样的方式判定被投影体2的移动。例如，判定部103能够根据按照差分图像的区域设定的加权系数乘以差分值而得出的值使用阈值(第7阈值)进行被投影体2是否静止的判定。在该情况下，差分图像生成部111获取按照差分图像的区域设定的加权系数乘以差分值而得出的值。
图12是示出差分图像W的概念图。图12所示的差分图像W在区域F和区域E设定有不同的加权系数，差分图像生成部111获取该加权系数乘以差分值而得出的值。例如，对区域F进行系数1.5的加权，对区域E进行系数0.5的加权。然后，差分图像生成部111将区域F的加权系数和区域F的差分值相乘，将区域E的加权系数和区域E的差分值相乘。由此，主要的被摄体存在于图像的中央的情况较多，因此能够更准确地检测主要的被摄体(被投影体2)的移动。另外，在图12中，以中央附近的区域及其周边的区域进行了区域划分，但是区域的设定能够采用各种各样的方式。例如，还能够将差分图像W分割成N×M(N以及M为整数)的格子状的区域，或者按照被投影体2的形状分割区域。
图13以及图14是概念性地示出距离图像S以及T和差分图像W的图。在图13(A)中，示出了被投影体2向中央附近移动的距离图像S以及距离图像T。距离图像S在时刻T1被拍摄，距离图像T在时刻T2被拍摄，被投影体2在时刻T1至时刻T2之间朝着图13向右移动。另外，在图13(A)中，关于距离在被投影体2和背景中进行了二值化，距离投影装置20近的被投影体2比背景更白地表现。
图13(B)是图13(A)所示的距离图像S和距离图像T的差分图像(W1以及W2)。另外，在图13(B)中，将差分值为0的区域用黑色表现，将差分值不是0的区域117用白色表现。例如，将差分图像(W1以及W2)的区域117的差分值设为100。如在图12中说明，在差分图像W2中的区域E以及F中设定了加权，在差分图像W1中未设定加权。由于在差分图像W2中对区域F中的差分值进行了系数1.5的加权，因此差分图像生成部111将区域117的差分值(100)和加权系数(1.5)相乘，获得150这一值(100×1.5＝150)。另一方面，由于在差分图像W1中未设定加权，因此W1的差分值为100。
在图14(A)中，示出了映现出不是被投影体2的人物114的距离图像S以及未映现出人物114的距离图像T。距离图像S在时刻T1被拍摄，距离图像T在时刻T2被拍摄。并且，在图14(A)中，关于距离进行了人物114和背景的二值化，距离投影装置20近的人物114比背景更白地表现。
图14(B)是图14(A)所示的距离图像S和距离图像T的差分图像(W1以及W2)，与人物114相应的差分值不是0的区域119用白色表现。例如，将差分图像(W1以及W2)中的差分值设为50。图14(B)与图13(B)相同地设定了加权。由于在差分图像W2中对区域E中的差分值进行了系数0.5的加权，因此差分图像生成部111将区域119的差分值(50)和加权系数(0.5)相乘，得到25这一值(50×0.5＝25)。另一方面，由于在差分图像W1中未设定加权，因此W1的差分值为50。
如此，在图13(B)以及图14(B)的情况(按照区域设定加权的情况)下，较大地评价出区域F的差分值，较小地评价出区域E的差分值。
如此，按照差分图像的区域进行加权，并根据通过其加权系数乘以差分值而得到的值判定被投影体2的移动，由此能够更准确地判定被投影体2的移动。
而且，在差分图像生成部111生成的差分图像在多个帧中的平均差分值为阈值(第3阈值)以下的情况下，判定部103也可以判定为被投影体2静止。即，差分图像生成部111在一个差分图像中获取平均差分值，生成多个帧量的该平均值，判定部103根据所获得的多个帧量的差分图像中的平均差分值判定为被投影体2静止。由此，由于根据多个帧的差分图像的平均值判定被投影体2是否静止，因此能够判定更加正确的被投影体2的移动。
并且，在差分图像在多个帧中的最大差分值为阈值(第4阈值)以下的情况下，判定部103能够判定为被投影体2静止。即，差分图像生成部111获取多个帧的差分图像中的最大差分值，判定部103根据其最大差分值判定被投影体2是否静止。由此，由于根据最大差分值判定被投影体2是否静止，因此能够判定更加正确的被投影体2的移动。
并且，判定部103根据差分图像中的差分值为阈值(第5阈值)以下的区域的大小进行被投影体2是否静止的判定。即，差分图像生成部111在差分图像中计算阈值以下的区域，在该区域的大小比规定的大小大的情况下，判定部103判定为被投影体2静止。并且，差分图像生成部111在多个帧的差分图像中计算阈值(第6阈值)以下的区域，在该区域的大小比规定的大小大的情况下，判定部103也可以判定为被投影体2静止。
并且，差分值获取部101能够获取或计算与差分图像相关的各种各样的值作为判定部103判定被投影体2的移动的值(以下，称作评价值)。例如，差分图像生成部111也可以将距离图像S与距离图像T之间差分值不是0的像素的数作为评价值。并且，差分图像生成部111也可以将差分图像的差分值的分散值或标准偏差作为评价值。
以上，对本发明的例子进行了说明，但是本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内能够进行各种各样的变形是不言而喻的。
符号说明
2-被投影体，7-载物台，20-附带距离图像获取装置的投影装置，20A-距离图像获取部，20B-投影部，26-控制部，27-存储器，28-投影图像生成部，29-输入I/F，31-定时信号发生器，32-测量用光源，33-光源驱动器，35-投影透镜，36-成像透镜，37-透镜驱动器，38-距离图像传感器，39-AD转换器，39-转换器，40-接口电路，40-电路，42-显示用光学元件，43-元件驱动器，44-投影光源，45-光源驱动器，46-投影透镜，47-透镜驱动器，49-数据总线，101-差分值获取部，103-判定部，105-投影指示部，107-投影控制部，109-投影停止指示部，111-差分图像生成部，113-距离图像生成部。

Claims (11)

1.一种附带距离图像获取装置的投影装置，其包含投影装置和距离图像获取装置，
所述投影装置具备：显示投影图像的显示用光学元件；以及将显示于所述显示用光学元件的投影图像投影到被投影体的投影光源及投影透镜，
所述距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从所述测量用光源射出且被所述被投影体反射的测量光成像于所述距离图像传感器；以及距离图像生成部，其从所述距离图像传感器获取与从所述测量用光源射出且被所述被投影体反射并且射入到所述距离图像传感器的所述测量光的飞行时间对应的距离信息，并根据获取的所述距离信息生成距离图像，
所述投影装置具备：
投影图像生成部，其根据通过所述距离图像获取装置获取的所述距离图像检测所述被投影体的形状，并生成与检测出的所述形状对应的投影图像；
差分值获取部，其获取通过所述距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；
判定部，其根据在所述差分值获取部中获取的所述差分值进行所述被投影体是否静止的判定；
投影指示部，其根据所述判定部的判定结果，输出对所述被投影体进行在所述投影图像生成部中生成的图像的投影的指示；以及
投影控制部，其根据从所述投影指示部输出的进行所述投影的指示来控制所述投影装置的投影。
2.根据权利要求1所述的附带距离图像获取装置的投影装置，其中，
所述差分值获取部获取所述第1距离图像所具有的距离信息的平均值与所述第2距离图像所具有的距离信息的平均值之间的差分值，
在所述差分值为第1阈值以下的情况下，所述判定部判定为所述被投影体静止。
3.根据权利要求1所述的附带距离图像获取装置的投影装置，其中，
所述差分值获取部获取所述第1距离图像所具有的距离信息与所述第2距离图像所具有的距离信息之间的最大差分值，
在所述最大差分值为第2阈值以下的情况下，所述判定部判定为所述被投影体静止。
4.根据权利要求1至3中任一项所述的附带距离图像获取装置的投影装置，
其具备差分图像生成部，所述差分图像生成部生成根据所述差分值获取部获取的所述差分值所生成的差分图像。
5.根据权利要求4所述的附带距离图像获取装置的投影装置，其中，
所述差分图像生成部获取所述差分图像在多个帧中的平均差分值，
在所述差分图像在所述多个帧中的所述平均差分值为第3阈值以下的情况下，所述判定部判定为所述被投影体静止。
6.根据权利要求4所述的附带距离图像获取装置的投影装置，其中，
所述差分图像生成部获取所述差分图像在多个帧中的最大差分值，
在所述差分图像在所述多个帧中的所述最大差分值为第4阈值以下的情况下，所述判定部判定为所述被投影体静止。
7.根据权利要求4所述的附带距离图像获取装置的投影装置，其中，
所述差分图像生成部获取所述差分图像的每个区域的差分值，
所述判定部根据在所述差分图像中所述差分值为第5阈值以下的所述区域的大小进行所述被投影体是否静止的判定。
8.根据权利要求4所述的附带距离图像获取装置的投影装置，其中，
所述差分图像生成部在多个帧中获取所述差分图像的每个区域的差分值，
所述判定部根据在所述多个帧的所述差分图像中所述差分值为第6阈值以下的区域的大小进行所述被投影体是否静止的判定。
9.根据权利要求4所述的附带距离图像获取装置的投影装置，其中，
所述差分图像生成部获取按照所述差分图像的区域设定的加权系数乘以差分值而得到的值，
在所述加权系数乘以差分值而得到的值为第7阈值以下的情况下，所述判定部判定为所述被投影体静止。
10.根据权利要求1至9中任一项所述的附带距离图像获取装置的投影装置，
其具备投影停止指示部，所述投影停止指示部根据所述判定部的判定结果，输出对所述被投影体在所述投影图像生成部中生成的图像的投影的停止指示，
所述投影控制部根据从所述投影停止指示部输出的所述投影的停止指示来控制所述投影装置的投影。
11.一种投影方法，其使用包含投影装置和距离图像获取装置的附带距离图像获取装置的投影装置，
所述投影装置具备：显示投影图像的显示用光学元件；以及将显示于所述显示用光学元件的投影图像投影到被投影体的投影光源及投影透镜，
所述距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从所述测量用光源射出且被所述被投影体反射的测量光成像于所述距离图像传感器；以及距离图像生成部，其从所述距离图像传感器获取与从所述测量用光源射出且被所述被投影体反射并且射入到所述距离图像传感器的所述测量光的飞行时间对应的距离信息，并根据获取的所述距离信息生成距离图像，
所述投影方法包含：
投影图像生成步骤，根据通过所述距离图像获取装置获取的所述距离图像检测所述被投影体的形状，并生成与检测出的所述形状对应的投影图像；
差分值获取步骤，获取通过所述距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；
判定步骤，根据在所述差分值获取步骤中获取的所述差分值进行所述被投影体是否静止的判定；
投影指示步骤，根据所述判定步骤的判定结果，输出对所述被投影体进行在所述投影图像生成步骤中生成的图像的投影的指示；以及
投影控制步骤，根据从所述投影指示步骤输出的进行所述投影的指示对所述投影装置的投影进行控制。
CN201680056828.6A 2015-09-29 2016-08-19 附带距离图像获取装置的投影装置以及投影方法 Withdrawn CN108140358A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015191761 2015-09-29
JP2015-191761 2015-09-29
PCT/JP2016/074251 WO2017056776A1 (ja) 2015-09-29 2016-08-19 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法

Publications (1)

Publication Number Publication Date
CN108140358A true CN108140358A (zh) 2018-06-08

Family

ID=58423434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056828.6A Withdrawn CN108140358A (zh) 2015-09-29 2016-08-19 附带距离图像获取装置的投影装置以及投影方法

Country Status (4)

Country Link
US (1) US10663593B2 (zh)
JP (1) JP6467516B2 (zh)
CN (1) CN108140358A (zh)
WO (1) WO2017056776A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757075A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种动态投影方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN112262363A (zh) 2018-02-27 2021-01-22 利惠商业有限公司 激光整理设计工具
DE102018105621A1 (de) * 2018-03-12 2019-09-12 Salzbrenner STW-Inside GmbH Videoprojektionsvorrichtung
WO2020145097A1 (ja) * 2019-01-10 2020-07-16 株式会社小糸製作所 ＬｉＤＡＲセンサユニットおよび車両用防犯システム
WO2021042068A1 (en) 2019-08-29 2021-03-04 Levi Strauss & Co. Digital showroom with virtual previews of garments and finishes

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652013A (zh) * 2004-02-03 2005-08-10 卡西欧计算机株式会社 投影装置、投影方法和记录投影方法的记录媒体
CN1758720A (zh) * 2004-10-06 2006-04-12 索尼株式会社 图像处理方法和图像处理装置
CN1768352A (zh) * 2003-08-25 2006-05-03 卡西欧计算机株式会社 投影设备和投影方法
CN101276460A (zh) * 2007-03-26 2008-10-01 船井电机株式会社 三维物体成像设备
CN101726978A (zh) * 2008-10-29 2010-06-09 精工爱普生株式会社 投影仪及投影仪的控制方法
US20120127273A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
CN102740031A (zh) * 2011-03-30 2012-10-17 索尼公司 投影装置、投影方法和投影程序
CN103002239A (zh) * 2011-09-14 2013-03-27 株式会社理光 投影仪装置和操作检测方法
CN103327273A (zh) * 2012-03-21 2013-09-25 精工爱普生株式会社 图像处理装置、投影仪以及投影仪的控制方法
CN103650024A (zh) * 2011-07-06 2014-03-19 株式会社理光 投影显示设备、信息处理设备、投影显示系统和程序
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
US20140300869A1 (en) * 2013-04-09 2014-10-09 Massachusetts Institute Of Technology Methods and Apparatus for Light Field Projection
CN104272717A (zh) * 2012-02-29 2015-01-07 前视红外系统股份公司 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407952B2 (ja) * 1993-10-19 2003-05-19 東日本旅客鉄道株式会社 列車扉検出装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP2003255219A (ja) * 2002-03-04 2003-09-10 Nisca Corp 自動フレーミングカメラ
JP3495355B2 (ja) * 2001-11-05 2004-02-09 三菱電機株式会社 パルスレーダ装置
US10410500B2 (en) * 2010-09-23 2019-09-10 Stryker Corporation Person support apparatuses with virtual control panels
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
EP2634747A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for projecting a visible representation of infrared radiation
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP2014041225A (ja) * 2012-08-22 2014-03-06 Canon Inc 液晶プロジェクタ及び液晶プロジェクタの投射方法
US9996909B2 (en) * 2012-08-30 2018-06-12 Rakuten, Inc. Clothing image processing device, clothing image display method and program
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
JP6101944B2 (ja) * 2014-12-25 2017-03-29 パナソニックＩｐマネジメント株式会社 投影装置
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768352A (zh) * 2003-08-25 2006-05-03 卡西欧计算机株式会社 投影设备和投影方法
CN1652013A (zh) * 2004-02-03 2005-08-10 卡西欧计算机株式会社 投影装置、投影方法和记录投影方法的记录媒体
CN1758720A (zh) * 2004-10-06 2006-04-12 索尼株式会社 图像处理方法和图像处理装置
CN101276460A (zh) * 2007-03-26 2008-10-01 船井电机株式会社 三维物体成像设备
CN101726978A (zh) * 2008-10-29 2010-06-09 精工爱普生株式会社 投影仪及投影仪的控制方法
US20120127273A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
CN102740031A (zh) * 2011-03-30 2012-10-17 索尼公司 投影装置、投影方法和投影程序
CN103650024A (zh) * 2011-07-06 2014-03-19 株式会社理光 投影显示设备、信息处理设备、投影显示系统和程序
CN103002239A (zh) * 2011-09-14 2013-03-27 株式会社理光 投影仪装置和操作检测方法
CN104272717A (zh) * 2012-02-29 2015-01-07 前视红外系统股份公司 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
CN103327273A (zh) * 2012-03-21 2013-09-25 精工爱普生株式会社 图像处理装置、投影仪以及投影仪的控制方法
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
US20140300869A1 (en) * 2013-04-09 2014-10-09 Massachusetts Institute Of Technology Methods and Apparatus for Light Field Projection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757075A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种动态投影方法及系统

Also Published As

Publication number Publication date
WO2017056776A1 (ja) 2017-04-06
JP6467516B2 (ja) 2019-02-13
US20180224553A1 (en) 2018-08-09
US10663593B2 (en) 2020-05-26
JPWO2017056776A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
CN108140358A (zh) 附带距离图像获取装置的投影装置以及投影方法
CN105165006B (zh) 投影系统及半导体集成电路
JP5450380B2 (ja) 画像処理装置、集積回路、および画像処理方法
US20200162721A1 (en) Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
KR20070013512A (ko) 화상처리 장치 및 방법
US10916025B2 (en) Systems and methods for forming models of three-dimensional objects
US20040037450A1 (en) Method, apparatus and system for using computer vision to identify facial characteristics
CN104395694B (zh) 具有多个光源的运动传感器装置
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
US12102465B2 (en) Three-dimensional scanner and scanning method using same
CN106408664B (zh) 一种基于三维扫描装置的三维模型曲面重建方法
CN107370950B (zh) 对焦处理方法、装置和移动终端
US20170230636A1 (en) Scanning an object in three dimensions using color dashed line pattern
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
CN104718742B (zh) 显示装置和显示方法
GB2544263A (en) Systems and methods for imaging three-dimensional objects
JP2013182062A (ja) 表示装置および投影装置
CN105787426B (zh) 用于采用机器视觉检查物体的方法和设备
CN105872392A (zh) 具有动态曝光时间的光学测距系统
CN109587303A (zh) 电子设备和移动平台
CN106352847B (zh) 基于相位差的距离测量装置及距离测量方法
US20180045506A1 (en) Film thickness measurement device and film thickness measurement method
JP6740614B2 (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
Hernández et al. Self-calibrating a real-time monocular 3d facial capture system
CN103312965A (zh) 摄像装置以及摄像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180608

WW01 Invention patent application withdrawn after publication