CN105165006A - 投影系统及半导体集成电路 - Google Patents

投影系统及半导体集成电路 Download PDF

Info

Publication number
CN105165006A
CN105165006A CN201580000683.3A CN201580000683A CN105165006A CN 105165006 A CN105165006 A CN 105165006A CN 201580000683 A CN201580000683 A CN 201580000683A CN 105165006 A CN105165006 A CN 105165006A
Authority
CN
China
Prior art keywords
mentioned
projection
coordinate
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580000683.3A
Other languages
English (en)
Other versions
CN105165006B (zh
Inventor
渕上竜司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105165006A publication Critical patent/CN105165006A/zh
Application granted granted Critical
Publication of CN105165006B publication Critical patent/CN105165006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

投影系统(100)具备投影装置(102)和至少1个摄像装置(101)，投影装置将表示影像信息的影像光、和表示将由投影坐标系规定的投影坐标进行代码化而得到的图案图像的图案光进行投影。

Description

投影系统及半导体集成电路
技术领域
本发明涉及投影系统、在投影系统中使用的半导体集成电路。
背景技术
已知有向物体例如建筑物那样的构造物投影影像信息的技术、称作所谓的投影映射的技术。在投影映射的系统中，有具备摄像功能的系统。
例如，专利文献1公开了一种能够同时进行取得被摄体的3D形状、以及将被摄体用可视光摄像的处理的系统。
现有技术文献
专利文献
专利文献1：特开2005－258622号公报
专利文献2：特开2013－192189号公报
专利文献3：特开2000－259126号公报
非专利文献
非专利文献1：“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発(使用高速投影机的3000帧每秒的三维图像计测系统的开发)”，“ロボティクス·メカトロニクス講演会講演概要集2007(机器人技术·机械电子装置研讨会研讨概要集2007)”，1P1－M02(1)－“1P1－M02(4)”，2007－05－11
发明内容
在上述以往的投影系统中，要求提高将影像信息按照意图向作为投影对象的构造物进行对位而投影的技术。本发明的非限定性且例示性的一技术方案，是能够将影像信息按照意图向构造物进行对位而投影的投影系统。
本发明的一技术方案的附加性的好处及有利的点根据本说明书及附图会变得清楚。该好处及/或有利的点可以根据在本说明书及附图中公开的各种形态及特征而单独提供，不是为了得到其1个以上而需要全部。
有关本发明的一技术方案的投影系统，包括：投影装置，将影像光和图案光进行投影，上述影像光表示影像信息，上述图案光包含与将投影坐标系上的投影坐标进行代码化而得到的信息对应的图案图像；以及至少1个摄像装置。
另外，这些包含性或具体的技术方案也可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质实现，也可以通过装置、系统、方法、集成电路、计算机程序及计算机可读取的记录介质的任意的组合实现。计算机可读取的记录介质包括例如CD－ROM(CompactDisc－ReadOnlyMemory)等非易失性记录介质。
根据本发明，能够将影像信息按照意图向构造物进行对位而投影。
附图说明
图1是表示例示性的实施方式1的投影系统的概略性的结构的示意图。
图2是例示与图案光对应的被代码化的图案图像的一部分的形象图。
图3是例示性的实施方式1的运算装置的功能模块结构图。
图4是例示性的实施方式1投影系统的动作流程图。
图5是表示例示性的实施方式2的投影系统100的概略性的结构的示意图。
图6是表示以往的系统结构例的示意图。
图7是表示以往的系统结构例的示意图。
图8是表示以往的系统结构例的示意图。
具体实施方式
在说明本发明的实施方式之前，首先参照图6说明以往的计测系统600。
计测系统600具备摄像装置601、红外光源602、可视光光源603及具有图案(pattern)的狭缝604。摄像装置601能够将可视光及红外光同时摄像。摄像装置601能够将被可视光光源603照射了可视光的被摄体605作为可视光的图像而取得。此外，来自红外光源602的红外光穿过狭缝604，作为图案光被向被摄体605照射。摄像装置601能够将该被照射的图案光作为红外图像进行摄影。结果，能够根据图案光得到被摄体605的形状。这样，可同时实现被摄体605的形状计测和可视光图像的取得。
在计测领域中，已知有除了专利文献1以外、例如在非专利文献1、专利文献2及专利文献3中公开的系统。
非专利文献1公开了一种使用光图案投影高速地计测3D形状的方法。在图7中表示非专利文献1的系统结构。计测系统700具备摄像装置701、和具有光源731、透镜711及数字微镜设备721的投影装置702。摄像装置701具有进行高速度摄影的功能。例如，摄像装置701能够以6000fps进行高速摄影。投影装置702能够将具有1024×768的像素的二进制图案以6000fps以上投影。
具体而言，对于数字微镜设备以6000fps设定对将1024×768的图像的X坐标进行格雷代码化的各比特进行曼彻斯特编码而得到的图案。将该图案向投影对象703投影，摄像装置701将被投影了图案的投影对象703以6000fps摄影。
由于X坐标是0到1023的范围，所以将各坐标用10bit表示。进而，通过曼彻斯特编码而将各坐标用20bit表示。因此，能够从20帧的摄像图像得到各X坐标。此外，通过三角法，能够按每个像素得到到投影对象703的距离。将摄像结果向计算装置(例如个人计算机)传送并解析。通过曼彻斯特编码，能够每两帧得到新的X坐标的比特而再计算。因此，作为最终的处理量，能够以3000fps的分辨率进行3D计测。
此外，专利文献2公开了一种基于摄像数据对影像信息进行调整的计测系统。在图8中表示专利文献2的系统结构。计测系统800具备摄像装置801、投影装置802及计算装置803。计算装置803根据由摄像装置801取得的摄像结果进行投影对象804的图像识别。计算装置803生成该影像，以向识别出投影对象804的区域投射影像信息。投影装置802将影像信息向投影对象804投影。
此外，专利文献3公开了一种使用数字微镜设备的可视图像的灰阶显示。当在仅能够进行ON/OFF的数字输出的数字微镜设备中进行灰阶显示时，为了表现灰阶而以子场(subfield)单位控制数字微镜设备的ON/OFF。由此，与每次控制全部场的ON/OFF相比能够以更短的时间控制灰阶。
以下，说明在作出本发明时考察的以往技术的问题。
在考虑到投影映射等的向作为投影对象的构造物投影影像信息的情况下，要求将影像信息按照意图进行对位并投影到构造物上。最终，需要得到从投影装置的坐标系看到的构造物的几何学的位置信息。
此外，当向静态的构造物投影时，只要与投影另外地进行1次事前计测就可以。在此情况下，能够忽视投影与计测的干扰。另一方面，考虑对动态地移动及/或变形的物体一边将其进行3D计测一边基于其结果实时地进行没有误差的投影。在此情况下，要求以不对投影中的影像信息带来影响的方式进行计测。
但是，专利文献1只不过是公开了通过将3D计测用的图案图像用非可视光投影、能够进行不受到来自设置在别的场所的可视光光源的可视光的影响的计测的技术。根据专利文献1的技术，仅能够得到依据摄像装置的坐标系的计测结果。
此外，非专利文献1也只不过是公开了以高速进行3D计测的技术水准。由于为了送出投影装置的坐标信息而需要几十帧的图像，所以以往难以高速地进行移动物体的3D计测。非专利文献1的技术在暗示了能够高速进行计测的可能性这一点上可以认为是有意义的。
但是，非专利文献1虽然公开了一种3D计测单体的技术，但关于投影装置的坐标系完全没有提及。此外，非专利文献1提及了高速摄像后的离线处理即非实时处理。在原本将以60Hz等进行图像处理作为前提的个人计算机那样的计算机体系结构装置中，在输入输出中发生几十毫秒以上的延迟。结果，难以一边向移动物体投影影像一边将其摄像、并将其结果实时地反馈到投影中。
根据专利文献2的技术，由于摄像装置与投影装置的位置相互不同而发生视差。但是，专利文献2关于该视差的解决完全没有提及，关于系统的高速化也没有提及。
鉴于这样的课题，想到了具备新的构造的投影系统、在该投影系统中利用的半导体集成电路。
本发明提供一种能够利用与影像投影相同的光学系统、尽量不对可视光带来影响而叠加坐标信息的投影装置。此外，提供一种将以摄像装置的坐标系为基准的几何学计测的结果以最小的误差变换为以投影装置的坐标系为基准的结果的方法。还提供一种实时地反馈坐标信息的运算电路。
本发明的一技术方案的概要如下。
作为本发明的一技术方案的投影系统，包括：投影装置，将影像光和图案光进行投影，上述影像光表示影像信息，上述图案光包含与将投影坐标系上的投影坐标进行代码化而得到的信息对应的图案图像；以及至少1个摄像装置。
根据该结构，能够通过相同的投影装置进行影像投影和计测。
在一技术方案中，上述投影系统也可以是，还具备运算装置；上述至少1个摄像装置具有摄像坐标系，对从上述投影装置投影到物体上的上述图案光进行摄像而生成摄像图像；上述运算装置将上述摄像图像解码为投影坐标信息，该投影坐标信息表示与上述摄像坐标系上的摄像坐标对应的上述投影坐标；将上述投影坐标信息以上述投影坐标系为基准变换为到上述物体的距离信息；根据上述距离信息决定上述影像信息的内容。
根据该结构，能够在原理上抑制投影和计测的偏差的发生，并且能够实现不与可视光的影像干扰的几何学计测的叠加。此外，能够将影像信息按照意图向构造物进行对位而投影。
在一技术方案中，上述投影装置也可以将上述影像光及上述图案光进行分时复用而投影。
根据该结构，由于能够用比光源的数量少的数量的数字微镜设备构成装置，所以能够削减成本。由于能够高速地分时复用，所以对于鉴赏者而言不能与同时发光区别。
在一技术方案中，上述投影装置也可以将上述影像光及上述图案光进行波长复用而投影。
根据该结构，在能够利用波长复用的光完全同时进行投影和计测这一点上，能够使延迟量进一步减少。
在一技术方案中，上述投影装置也可以通过电子穿透法使上述图案光叠加到上述影像光而投影。
根据该结构，能够将可视光影像的辨识性不好的低位比特有效地利用。
在一技术方案中，也可以是，上述影像光是可视光，上述图案光是非可视光。
根据该结构，能够不受图案光的影响而使人辨识影像光。
在一技术方案中，上述非可视光也可以是红外光。
根据该结构，能够不受图案光的影响而使人辨识影像光。
在一技术方案中，也可以是，上述影像光具有对紫外线硬化树脂的硬化带来作用的第一波长，上述图案光是与上述第一波长不同的第二波长。也可以是，上述影像光具有适合于作为3D打印机等的方式之一被实用化的使紫外线硬化树脂硬化的光造形的紫外线波长(例如，100nm～400nm)，上述图案光具有难以对上述光造形带来影响的其以上的可视光线或近红外光线的波长(例如，400nm～1000nm)。
根据该结构，由于能够基于投影装置的投影坐标系上的距离信息得到造形物及材料树脂的状态，所以能够进行误差较少的细致的光造形的控制。
在一技术方案中，也可以是，上述至少1个摄像装置的设置位置、摄像方向及缩放倍率的至少1个动态地变化。
根据该结构，能够部分地提高计测的析像度。
在一技术方案中，也可以是，上述至少1个摄像装置包括第1及第2摄像装置；上述第1及第2摄像装置被配置在上述投影装置的两侧。
根据该结构，能够减少虽然投影光照到但不能摄像的闭锁(occlusion)区域。
在一技术方案中，也可以是，上述至少1个摄像装置包括第1及第2摄像装置；上述第1摄像装置配置在比上述第2摄像装置更靠近上述物体的位置。
根据该结构，能够部分地提高计测的析像度。
在一技术方案中，也可以是，上述运算装置从上述摄像装置取得由上述摄像坐标确定的像素的第1颜色信息，使用上述投影坐标决定与上述第1颜色信息对应的上述投影像素的第2颜色信息。
根据该结构，摄像装置能够基于投影目标的正确的位置的素材的颜色信息进行投影。因此，例如能够实现以下。
第1，对于不同颜色混合存在的面，能够进行修正，以使得看起来宛如与投影到均匀的屏幕上时相同。第2，能够发挥使投影目标的素材看起来新鲜的显色性较高的照明效果。第3，能够将存在的素材的辨识性降低而隐藏等。此外，本系统由于能够实现低延迟，所以在投影对象移动的情况下也能够使其偏差成为最小。
作为本发明的一技术方案的半导体集成电路，在投影系统中使用，上述投影系统具备：投影装置，将影像光和图案光进行投影，上述影像光表示影像信息，上述图案光包含与将投影坐标系上的投影坐标进行代码化而得到的信息对应的图案图像；以及至少1个摄像装置，对从上述投影装置投影到物体上的上述图案光进行摄像而生成摄像图像，上述半导体集成电路具备：图案解码部，将上述摄像图像解码为投影坐标信息，该投影坐标信息表示与上述摄像坐标系上的摄像坐标对应的上述投影坐标；坐标变换部，将上述投影坐标信息以上述投影坐标系为基准变换为到上述物体的距离信息；以及信息生成部，根据上述距离信息决定上述影像信息的内容。
如果将该半导体集成电路用在投影系统中，则在原理上能够抑制投影和计测的偏差的发生，并且能够实现不与可视光的影像干扰的几何学计测的叠加。此外，能够将影像信息按照意图向构造物进行对位而投影。
以下，参照附图说明本发明的具体的实施方式。在以下的说明中，对于相同或类似的构成要素赋予相同的参照符号。此外，重复的说明有时省略。另外，本发明的实施方式的投影系统并不限于以下例示的结构。
(实施方式1)
参照图1～图4，说明本实施方式的投影系统100的构造、功能及动作。
图1示意地表示投影系统100的概略性的结构的一例。投影系统100具备摄像装置101、投影装置102及运算装置103。
在本实施方式中，摄像装置101与非专利文献1同样能够进行每秒6000帧的摄影。此外，摄像装置101在内部不缓冲而具有大规模的传送频带，能够向运算装置103输出摄像数据。进而，摄像装置101在红外光区域具有灵敏度。以下，以这些为前提，说明各装置的功能及动作的一例。
投影装置102将表示影像信息的影像光和表示将由投影坐标系规定的投影坐标进行代码化而得到的图案图像的图案光进行投影。在本说明书中，投影坐标系是指确定作为投影图像的影像信息的图像的各像素的坐标的坐标系。将确定影像信息的图像的各像素的坐标称作投影坐标系的“投影坐标”。
投影装置102典型地具有透镜光学系统111、可视光LED光源131、红外LED光源132、分色镜141和数字微镜设备121。
透镜光学系统111既可以由一片透镜构成，也可以由多片透镜(透镜群)构成。多个透镜例如包括变焦透镜(zoomlens)及聚光透镜等。
可视光LED光源131将可视光频带(大致从380nm到780nm)的光作为影像光射出。从简单化的观点出发，可以使可视光LED光源131为单色的可视光光源。但是，当然也可以作为红蓝绿的三色用而分别设置3个光源，从而将全彩色的影像进行投影。或者，如果有能够非常高速地旋转的色轮，则也可以代替可视光LED光源131而具备高压水银灯等白色光源，通过将其安装在输出上，能够将全彩色的影像进行投影。
此外，作为可视光LED光源131，可以利用从高压水银灯通过二向棱镜等分波长取出光的光源。这样，在本发明中可以使用所有的光源。
红外LED光源132将非可视光作为图案光射出。非可视光例如具有红外光频带(大致从700nm到1000nm)的波长。另外，在本实施方式中，作为非可视光的光源而使用红外LED光源132，但也可以利用射出紫外线的光源。
数字微镜设备121例如是1024×768的尺寸上排列有微镜的设备。数字微镜设备121能够以二进制图案输出每秒30000帧的影像。另外，数字微镜设备121也可以用液晶设备代替。
分色镜141具有使可视光透过、将红外光反射的特性。作为分色镜141，可以广泛地使用周知的结构。
摄像装置101对图案光进行摄像，生成图案光的摄像图像。摄像装置101包括图像传感器、透镜光学系统等。例如，可以与数字微镜设备121对应而使用具有1024×768的像素数的图像传感器。在此情况下，如果使1像素为8bit的分辨率，则转送频带是38Gbps左右。假定将运算装置103例如用FPGA(FieldProgrammableGateArray)实现。如果考虑目前的半导体技术水准，则38Gbps左右的转送频带是能够充分实现的范围。
摄像装置101具有摄像坐标系。在本说明书中，摄像坐标系意味着确定由摄像装置101取得的摄像图像的各像素的坐标的坐标系。与“投影坐标”区别，将摄像图像的各像素的坐标称作摄像坐标系的“摄像坐标”。
运算装置103将摄像图像解码为表示与由摄像坐标系规定的摄像坐标对应的投影坐标的投影坐标信息，以投影坐标系为基准，将投影坐标信息变换为到构造物的距离信息，根据距离信息，有选择地决定影像信息的内容。
图2例示了与图案光对应的被代码化的图案图像(坐标图案)的一部分。图2所示的图案图像可通过将具有1024×768的微镜的数字微镜设备121的各反射镜的X及Y坐标进行格雷代码化后、将各bit表示为黑白的2值图像来得到。
投影装置102能够基于例如1024×768像素的图案图像将图案光向构造物104投影。像素的X坐标及Y坐标都比512大且是1024以下。在此情况下，将表示X坐标的bit0到bit9的10比特进行格雷代码化。与X坐标同样，将表示Y坐标的bit0到bit9的10比特进行格雷代码化。这样，通过对各坐标分别分配10比特、合计分配20比特，能够将坐标信息代码化。以下，说明利用40帧的图像数据进行该20比特的信息的编码的例子。
图2是在用40张图案图像进行代码化的例子中、表示在40张图案图像中包含的代表性的12张图案图像的形象图。图2的(X9a)表示与将X坐标进行格雷代码化后的bit9对应的图案图像。此外，在本实施方式中，由于通过曼彻斯特编码将投影坐标编码，所以也使用使bit9比特反转后的反转图案图像。图2的(X9b)表示使(X9a)的图像图案反转后的反转图案图像。同样，图2的(X8a)表示与将X坐标进行格雷代码化后的bit8对应的图案图像，(X8b)表示使(X8a)的图像图案反转后的反转图案图像。图2的(X7a)表示与将X坐标进行格雷代码化后的bit7对应的图案图像，(X7b)表示使(X7a)的图像图案反转后的反转图案图像。
图2的(Y9a)表示与将Y坐标进行格雷代码化后的bit9对应的图案图像。图2的(Y9b)表示使(Y9a)的图像图案反转后的反转图案图像。同样，图2的(Y8a)表示与将Y坐标进行格雷代码化后的bit8对应的图案图像，(Y8b)表示使(Y8a)的图像图案反转后的反转图案图像。图2的(Y7a)表示与将Y坐标进行格雷代码化后的bit7对应的图案图像，(Y7b)表示使(Y7a)的图像图案反转后的反转图案图像。
虽然没有图示，但在可计测的析像度以内存在例如与X坐标及Y坐标的bit6到0也分别对应的图案图像及反转图案图像。投影装置102将包括这些图案的40个图案向构造物104依次投影。摄像装置101将被投影的图案图像依次摄像。
接着，参照图3及图4说明运算装置103的构造、功能的详细情况。
图3表示运算装置103的功能模块结构的一例。运算装置103具有控制投影系统整体的功能。运算装置103例如可以通过以计算机、处理器为代表的运算装置或半导体集成电路实现。所谓半导体集成电路，例如是ASIC(ApplicationSpecificIntegratedCircuit)及FPGA等。也可以是，在存储器中安装有发挥各构成要素的功能的计算机程序，通过由半导体集成电路内的处理器依次执行计算机程序，来实现各构成要素的功能。
运算装置103具有图像输入部401、图案解码部402、帧存储部403、代码解码用存储部404、坐标变换部405、坐标变换用存储部406、坐标插补部407、信息生成部408、信息存储部409、图像输出部410和图案生成部411。运算装置103内的各存储部例如可以由RAM等构成。
图4表示本实施方式的投影系统100的动作流程图。如图4所示，投影装置102在期间211、213、215中将图案光投影，在期间212、214、216中将影像光投影。即，投影装置102将影像光及图案光进行分时复用而投影。另外，图中的微镜的“P”表示用于计测的图案图像，“V”表示作为投影图像的影像信息。
首先，图案生成部411在期间211中使红外LED光源132点亮。图案生成部411通过上述方法生成图案投影用的图案图像。图案生成部411向图像输出部410输出表示图案图像的图像数据，以在数字微镜设备121中进行计测用的图案投影。图像输出部410将来自图案生成部411的图像数据和红外LED光源132的点亮信息向投影装置102输出。由于表示该图案图像的图案光被作为红外光投影，所以虽然被摄像装置101计测到，但对于人的视觉不会带来影响。
图案生成部411能够将1个图案以1/6000秒输出。图案生成部411在期间211中输出X坐标及Y坐标的各自的10bit的坐标图像和其反转图像的合计40帧。另一方面，摄像装置101与由数字微镜设备121输出帧的速率同步而以40帧进行摄像。在该例中，期间211的长度是6.7毫秒。
此外，图像输出部410也与图案生成部411的输出定时同步地向投影装置102输出图案图像。图像输入部401通过与图像输出部410的输出定时同步地控制摄像装置101的曝光，进行40帧的摄像。
图像输入部401接收由摄像装置101摄像的摄像图像(摄像数据)。图像输入部401将接收到的摄像数据向图案解码部402发送。图像输入部401一边与图像输出部410同步，一边判定与接收到的摄像数据对应的图案。
图案解码部402将来自摄像装置101的表示图案图像的摄像图像解码为表示与由摄像坐标系规定的摄像坐标对应的投影坐标的投影坐标信息。以下，更详细地说明图案解码部402的功能。
图案解码部402如果从图像输入部401接收到的摄像数据是X及Y坐标的非比特反转图像，则将该摄像数据向帧存储部403写入。如果该图像数据是X及Y坐标的比特反转图像，则图案解码部402一边将之前记录在帧存储部403中的非比特反转图像读出，一边取两者的差分。通过取该差分，能够不依存于投影对象的颜色或环境光而判别投影光的“0”和“1”。能够将该差分为规定值以下的区域判别为没有被投影投影光的区域，将该区域从计测对象区域中除去。
在代码解码用存储部404中，按摄像装置101的每个像素设有写入区域。图案解码部402在取差分后，将格雷代码化后的坐标数据的各比特值以比特单位向该写入区域写入。将该操作在摄像装置101的曝光时间的期间中执行40帧的量。由此，将与摄像装置101的各像素对应的、表示是否存在投影装置102的X坐标及Y坐标的信息、和存在的情况下的表示X坐标及Y坐标各自的10bit的值向代码解码用存储部404写入。图案解码部402最终将记录在代码解码用存储部404中的格雷代码的坐标数据再变换为二进制，向坐标变换部405输出。
通过到此为止的处理，能够知道被摄像到摄像装置101的某个像素位置的投影光是从投影装置102的哪个像素投影的。即，能够知道投影坐标与由摄像装置的摄像坐标系规定的摄像坐标的对应关系。因而，只要摄像装置101与投影装置102的相互的位置关系是已知的，就能够按每个摄像像素通过三角法得到到构造物的距离。但是，得到的信息是与摄像装置101的摄像像素对应的距离信息。因此，在本实施方式中，将该信息变换为与投影装置102的像素坐标对应的距离信息。
坐标变换部405将从图案解码部402接收到的数据写入由与投影装置102的投影坐标对应的地址确定的坐标变换用存储部406的区域。然后，坐标变换部405通过从坐标变换用存储部406以投影装置102的X坐标及Y坐标的顺序读出距离信息，生成与投影装置102的投影坐标对应的距离信息。
此时，可能发生不存在对应点的投影像素。具体而言，被投影在构造物上的图案图像中的与某多个像素对应的各个光能够被摄像装置101的1个摄像像素摄像。在此情况下，根据格雷代码的特性，不存在对应点的投影像素被揉入到相邻的两个投影像素中的某一个像素坐标中，所以单侧的投影像素成为没有对应目标的状态。
坐标插补部407从坐标变换部405接收与投影装置102的投影坐标对应的距离信息。坐标插补部407对于不存在距离信息的投影坐标将距离信息进行插补。其限于在其周边存在一定数量的具有能够插补的距离信息的投影坐标的部位，根据周边坐标的距离信息使用线性插补等插补法进行。坐标插补部407将基于投影坐标的距离信息向信息生成部408输出。
信息生成部408跨期间212和213生成投影用的影像信息。信息生成部408将预先记录在信息存储部409中的影像信息基于从坐标插补部407接收到的距离信息进行加工，将加工后的影像信息向图像输出部410输出。以下，有将加工后的影像信息与预先记录的加工前的影像信息区别而称作“加工后的影像信息”的情况。
信息生成部408生成没有坐标偏差的、与到构造物的距离正确地对应的影像信息。此外，信息生成部408可以根据距离信息有选择地决定影像信息的内容。例如可以进行将处于一定的距离的物体切出而检测、将可视光投影用的影像信息正确地描绘等处理。信息生成部408将投影用的加工后的影像信息向图像输出部410输出。
图像输出部410将在期间212及213中生成的可视光投影用的影像信息在期间214中向投影装置102输出。
然后，将可视光LED光源131点亮，通过数字微镜设备121输出与影像信息对应的投影光。数字微镜设备121能够输出每秒30000的二进制帧。因此，例如在8.5毫秒的间期间中能够使用255帧将256灰阶的图像投影。由于该投影由可视光光源进行，所以能被人辨识。
在期间213中，与投影用的影像信息的生成并行地、与期间211同样进行通过红外光的图案图像的投影和摄像。跨期间214和215，信息生成部408生成没有坐标偏差的、与到构造物的距离正确地对应的影像信息。并且，在期间216中，投影装置102将投影用的影像信息投影。这样，能够连续地进行计测和投影。
对计测和投影重复的周期而言，如果计测时间(期间211)是6.7毫秒、投影时间(期间212)是8.5毫秒，则是15.2毫秒。这意味着，能够通过60Hz以上的处理量(throughput)实现。此外，能够使从计测起到反映其计测结果为止的时间(以下称作“延迟时间”)设为与重复的周期相同的15.2毫秒。这样，能够实现60Hz以上的处理量，所以由没有被投影影像信息的计测期间等非显示时间引起的投影图像的闪烁能够充分降低到不被人的眼睛注意到的水平。另外，在图4中，延迟时间相当于期间212及213的合计时间。
根据本实施方式，通过相同的投影装置进行影像投影和计测，由此在原理上能够抑制投影和计测的偏差的发生，并且能够实现不与可视光的影像干扰的几何学计测的叠加。
此外，根据本实施方式，只要运算装置103能够将由摄像装置101摄像的图案图像解码，就能够承受相对性的位置计测。因此，即使不能充分确保设置的精度，也能够承受实用。在这一点上，能够确保设置的简单性。此外，对于因老化带来的设置关系的误差扩大能够得到较高的鲁棒性。
以下，说明本实施方式的变形例。
在本实施方式中，利用了X坐标及Y坐标双方。但是，本发明并不限定于此，只要将摄像装置101和投影装置102配置为仅在单个轴向上发生视差，则在计算到物体的距离时，就能够使利用的图案图像减半。
此外，在本实施方式中，与非专利文献1同样，例示了比特反转后交替地传送的曼彻斯特编码方式。但是，本发明并不限定于该方式。例如，如果以全0的图案图像和全1的图案图像为基准预先生成图案图像后求出差分，则能够以比曼彻斯特编码方式少的张数进行计测。如果采用这样的方式，则能够将期间211的时间进一步缩短。
此外，如果采用如非专利文献1的方式那样、不将全部的坐标比特扫描而在每当得到新的比特时将距离信息更新那样的方式，则期间211可以设为2帧的摄影所需要的时间。结果，还能够使期间211的时间为333微秒。
从计测起到使其计测结果反映到投影中为止发生延迟。关于该延迟，也在本实施方式中，跨期间212及期间213基于摄像结果生成投影用的影像信息，在期间214中将加工后的影像信息投影。但是，如果在期间211的期间中能够将信息生成也在短时间中实施，则还能够在下个期间212中在可视光投影中反映其结果。
例如，在本实施方式中，作为包括到物体的距离的3维数据而使用了计测结果。但是，在将计测结果作为2D数据使用、单单进行对位的情况下，本发明也非常有用。如果仅仅是决定投影区域，则优选的是匹配于数据转送而设置阈值(例如与到物体的距离对应的阈值)。由此，能够将生成影像信息的时间大幅地缩短。
关于影像信息(影像光)的投影，也已知如果不像非专利文献2那样将帧全部更新、而是在帧间设置子场并以子场单位进行更新，则能够以更短的时间表现灰阶。如果将这样的技术和本发明并用，则能够使作为整体的帧速率进一步提高。
根据以往的技术，计算机体系结构具有以60Hz下的图像处理为基础的描绘系统。在基于从与投影装置不同的位置摄像的摄像图像在该计算机体系结构上计算伴随着摄像装置的位置偏差的视差的情况下，包括缓冲在内最低可能发生33毫秒以上的延迟。结果，例如在将以往的技术应用到保龄球场等中的情况下，在从计测到投影之间球会移动495毫米，以往的技术不能承受实用。
相对于此，根据本发明，还能够依据其结构次使延迟进一步减少。具体而言，还能够以比1毫秒短的延迟使计测结果反映到投影中。例如在组装了延迟是1毫秒左右的系统的情况下，即使是以秒速10米移动的物体，计测与投影的误差也能够抑制在10毫米以下。如果考虑包含计测对象的系统的动力学，则精度与延迟为折衷的关系，所以实际上只要根据该关系调整系统就可以。
本发明适合于具备交互性的投影映射系统等。例如当在保龄球场中匹配于球的运动而投影影像信息时，球的速度即使是世界记录也为秒速15米左右。如果能够以1毫秒以下的延迟进行投影，则能够使影像信息的偏差量为15毫米以下。在本实施方式中，由于在投影装置的投影坐标系中得到了计测结果，所以能够非常高速地加工投影用的影像信息。
在本实施方式中，投影系统100具备1个摄像装置101。但是，通过在投影装置102的两侧设置至少两个摄像装置101，能够减少投影光照到但不能摄像的闭锁(occlusion)区域。
在本实施方式中，也可以使摄像装置101的设置位置、摄像方向及缩放倍率的至少1个动态地变化。此外，通过追加析像度及缩放倍率的至少1个不同的摄像装置、以及/或到物体的距离不同的摄像装置，能够部分性地提高计测的析像度。例如，投影系统100也可以具备第1及第2摄像装置。此时，第1摄像装置能够配置在与第2摄像装置相比更靠近物体(构造物)的位置。
进而，可以代替使用红外LED光源132而使用如图7所示的以往的投影装置。在此情况下，将用于计测的图案光也通过可视光投影。但是，例如在使用曼彻斯特编码的方式的情况下，在全部的像素中发生同量的0和1。因此，图案光不被人的眼睛识别，而如对影像光施加了一定的偏移那样被辨识。在此情况下，也可以将偏移量预先从可视光用的影像光减去。这是电子穿透等技术的一种，例如通过对可视光影像的辨识性不好的低位比特植入计测用的图案图像来实现。
特别是，在用液晶设备代替数字微镜设备121的情况下，低位比特不是特定的二进制图像的帧，而表现为各帧的模拟量。因此，通过电子穿透技术使图案光叠加在影像光上是重要的。
在本实施方式中，也可以在期间211中通过摄像装置101与图案图像一起取得投影光的投影图像(影像信息)作为第1可视光图像。在此情况下，即使图案光是可视光，表示被曼彻斯特编码的图案图像的光的时间方向上的积分值必然一定。因此，与白色光的投影没有变化，能够进行通过可视光的投影图像的取得。进而，也可以在期间212中通过摄像装置101将表示影像信息的投影光作为第2可视光图像摄像。根据第2可视光图像，能够跟踪投影目标的构造物104通过该投影变化为了怎样的颜色。
根据本实施方式，能够将摄像坐标系中的摄像坐标变换为投影坐标系中的投影坐标。因此，当使用可视光图像进行投影色的调整时，能够没有位置偏差地将投影光投影。此时的可视光图像既可以原样利用第1可视光图像及第2可视光图像的任一个，也可以使用将两者合成而减轻了图案成分的影响的图像。
本发明在开展商品展示的领域中对于投影映射是有用的。例如对于使食材看起来新鲜、或不依存于环境光而与产品样本(catalogue)一样再现商品的颜色是有意义的。能够匹配于作为投影对象的物体的形状及/或移动而没有位置偏差地投影投影光。
此外，本发明在3D打印机等的光造形领域中也是有用的技术。该3D打印机通过使用紫外线用的投影机将表示造形信息的紫外线投影到紫外线硬化树脂上而进行光造形。例如如果将可视光LED光源131变更为紫外线光源，则能够一边通过不使树脂硬化的红外线进行3D信息的计测，一边通过紫外线控制光造形。由于能够基于投影装置102的投影坐标系中的距离信息得到造形物及材料树脂的状态，所以能够进行误差较少的细致的光造形的控制。
此外，作为进一步的应用例，也可以考虑将本发明的系统用在汽车的前灯中。汽车的前灯的光例如被雨滴及有光泽的物体等反射。通过其反射光，驾驶者的眼睛有可能眩晕。根据本发明的系统，通过3D计测在定点(pinpoint)将向这些物体等的投光遮蔽，能够确保安全的视野。对于步行者及对面车辆也通过将向脸(特别是眼睛)部分的投光遮蔽，能够防止对人的眼睛的影响。
此外，也可以与此相反，还能够对标识及看板等容易辨识的形状进行识别，在定点向它们积极地投光。
(实施方式2)
参照图5，对本实施方式的投影系统100的结构、功能及动作进行说明。
本实施方式的投影系统100在投影装置102具有二向棱镜841这一点上与实施方式1的投影装置102不同。以下，以投影装置102的构造为中心进行说明。
图5表示本实施方式的投影系统100的概略性的结构。
本实施方式的投影系统100具备摄像装置101、投影装置102及运算装置103。投影装置102包括数字微镜设备121、121、可视光LED光源131、二向棱镜841、红外LED光源132及透镜光学系统111。
二向棱镜841将从左右入射的可视光与红外光混合，向透镜光学系统输出混合光。
本实施方式的摄像装置101优选的是包括对于红外光实质上具有灵敏度的图像传感器。由此，摄像装置101即使接受到混合光，也能够将作为红外光的图案光摄像。
根据本实施方式的投影装置102，能够通过数字微镜设备121与红外LED光源132的组合将距离计测用的图案光投影，并且在该时刻通过可视光LED光源131与数字微镜设备122的组合将可视光的投影光投影。换言之，投影装置102将影像光及图案光进行波长复用而投影。另外，如在实施方式1中说明那样，当然也可以通过在可视光LED光源131的输出上安装色轮、或为红蓝绿的三色用分别设置3个光源，而投影全彩色的影像。
进而，也可以如3板式投影机那样为红蓝绿用而单独地设置数字微镜设备121及122各自。此外，通过除了以往的3个数字微镜设备以外还设置红外用的数字微镜设备，有可能能够实现新的4板式投影机。由此，大为期待开拓出新的产业领域。
根据本实施方式，与实施方式1相比，数字微镜设备的数量增加，所以成本相应地增加。但是，在能够利用混合光而完全同时进行投影和计测这一点上，能够使延迟量进一步减少。
根据本发明，能够使用1个投影装置同时进行计测和投影。此外，能够在投影装置的投影坐标系中非常高速地计测物体的位置，并且能够便宜地构建物体跟踪型的投影映射系统。
以下，说明能够设想的本发明的应用例。
本发明对于包括例如保龄球、台球及体感型表演(attraction)等包含运动的娱乐用的交互的投影映射的照明演出是有用的。此外，本发明对于活动(event)、音乐会的照明演出是有用的。此外，本发明对于西餐厅或酒吧等的适合顾客的运动的店内装饰演出等也是有用的。
进而，本发明可以在百货店或商店等的橱窗或商品展示中利用。本发明对于将光量进行调整以使商品的色彩不依存于环境光而与产品样本一样的装置也能够应用。
作为其他应用例，本发明还适合于在工厂及流通等领域中将作业指引线向作业空间投影等的用途。还能够期待对3D光造形领域及汽车的前灯等机器视觉领域的应用。
也可以是，影像光具有适合于作为3D打印机等的方式之一被实用化的使紫外线硬化树脂硬化的光造形的紫外线波长(例如，包含在100nm～400nm中的波长)，图案光具有不易对光造形带来影响的其以上的可视光线或近红外光线的波长(例如，包含在400nm～1000nm中的波长)。
当作为影像光而选择了包含在100nm～400nm中的波段A的光时，当作为图案光而选择了包含在400nm～1000nm中的波段B的光时，也可以使波段A和波段B没有重叠的波长。
工业实用性
本发明的投影系统及半导体集成电路能够在投影映射系统中使用。
符号说明
100投影系统
101摄像装置
102投影装置
103运算装置
104构造物
111透镜光学系统
121、122数字微镜设备
131可视光LED光源
132红外LED光源
141分色镜
401图像输入部
402图案解码部
403帧存储部
404代码解码用存储部
405坐标变换部
406坐标变换用存储部
407坐标插补部
408信息生成部
409信息存储部
410图像输出部
411图案生成部
501可视光光源
502红外光源
504狭缝
702计算装置
841二向棱镜

Claims (13)

1.一种投影系统，其特征在于，包括：
投影装置，将影像光和图案光进行投影，上述影像光表示影像信息，上述图案光包含与将投影坐标系上的投影坐标进行代码化而得到的信息对应的图案图像；以及
至少1个摄像装置。
2.如权利要求1所述的投影系统，其特征在于，
还具备运算装置；
上述至少1个摄像装置具有摄像坐标系，对从上述投影装置投影到物体上的上述图案光进行摄像而生成摄像图像；
上述运算装置中，
将上述摄像图像解码为投影坐标信息，该投影坐标信息表示与上述摄像坐标系上的摄像坐标对应的上述投影坐标；
将上述投影坐标信息以上述投影坐标系为基准变换为到上述物体的距离信息；
根据上述距离信息决定上述影像信息的内容。
3.如权利要求2所述的投影系统，其特征在于，
上述投影装置将上述影像光及上述图案光进行分时复用而投影。
4.如权利要求2所述的投影系统，其特征在于，
上述投影装置将上述影像光及上述图案光进行波长复用而投影。
5.如权利要求2所述的投影系统，其特征在于，
上述投影装置通过电子穿透法使上述图案光叠加到上述影像光而投影。
6.如权利要求4所述的投影系统，其特征在于，
上述影像光是可视光，上述图案光是非可视光。
7.如权利要求6所述的投影系统，其特征在于，
上述非可视光是红外光。
8.如权利要求4所述的投影系统，其特征在于，
上述影像光具有对紫外线硬化树脂的硬化带来作用的第一波长，上述图案光是与上述第一波长不同的第二波长。
9.如权利要求1所述的投影系统，其特征在于，
上述至少1个摄像装置的设置位置、摄像方向及缩放倍率中的至少1个动态地变化。
10.如权利要求2所述的投影系统，其特征在于，
上述至少1个摄像装置包括第1摄像装置及第2摄像装置；
上述第1摄像装置及第2摄像装置配置在上述投影装置的两侧。
11.如权利要求2所述的投影系统，其特征在于，
上述至少1个摄像装置包括第1摄像装置及第2摄像装置；
上述第1摄像装置配置在比上述第2摄像装置更靠近上述物体的位置。
12.如权利要求2所述的投影系统，其特征在于，
上述运算装置从上述摄像装置取得由上述摄像坐标确定的像素的第1颜色信息，使用上述投影坐标决定与上述第1颜色信息对应的上述投影像素的第2颜色信息。
13.一种在投影系统中使用的半导体集成电路，其特征在于，
上述投影系统具备：
投影装置，将影像光和图案光进行投影，上述影像光表示影像信息，上述图案光包含与将投影坐标系上的投影坐标进行代码化而得到的信息对应的图案图像；以及
至少1个摄像装置，对从上述投影装置投影到物体上的上述图案光进行摄像而生成摄像图像，
上述半导体集成电路具备：
图案解码部，将上述摄像图像解码为投影坐标信息，该投影坐标信息表示与上述摄像坐标系上的摄像坐标对应的上述投影坐标；
坐标变换部，将上述投影坐标信息以上述投影坐标系为基准变换为到上述物体的距离信息；以及
信息生成部，根据上述距离信息决定上述影像信息的内容。
CN201580000683.3A 2014-02-18 2015-01-08 投影系统及半导体集成电路 Active CN105165006B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-028440 2014-02-18
JP2014028440 2014-02-18
JP2014235663A JP6618249B2 (ja) 2014-02-18 2014-11-20 投影システムおよび半導体集積回路
JP2014-235663 2014-11-20
PCT/JP2015/000051 WO2015125403A1 (ja) 2014-02-18 2015-01-08 投影システムおよび半導体集積回路

Publications (2)

Publication Number Publication Date
CN105165006A true CN105165006A (zh) 2015-12-16
CN105165006B CN105165006B (zh) 2019-03-01

Family

ID=53877932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000683.3A Active CN105165006B (zh) 2014-02-18 2015-01-08 投影系统及半导体集成电路

Country Status (6)

Country Link
US (1) US9554104B2 (zh)
EP (1) EP3110139B1 (zh)
JP (1) JP6618249B2 (zh)
KR (1) KR102196467B1 (zh)
CN (1) CN105165006B (zh)
WO (1) WO2015125403A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107836112A (zh) * 2016-06-08 2018-03-23 松下知识产权经营株式会社 投影系统
CN112425155A (zh) * 2018-05-17 2021-02-26 松下知识产权经营株式会社 投影系统、投影装置以及投影方法
CN112954288A (zh) * 2016-05-30 2021-06-11 松下知识产权经营株式会社 图像投影系统和图像投影方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110086A1 (ja) * 2015-12-24 2017-06-29 パナソニックＩｐマネジメント株式会社 高速表示装置、高速表示方法及びリアルタイム計測投影装置
JP6763154B2 (ja) * 2016-03-09 2020-09-30 富士通株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
JP6153050B1 (ja) 2016-06-08 2017-06-28 パナソニックＩｐマネジメント株式会社 投影システム
WO2017212510A1 (ja) 2016-06-08 2017-12-14 パナソニックＩｐマネジメント株式会社 投影システム
JP2018097148A (ja) * 2016-12-13 2018-06-21 パナソニックＩｐマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法
KR101820905B1 (ko) * 2016-12-16 2018-01-22 씨제이씨지브이 주식회사 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템
JP6702171B2 (ja) 2016-12-22 2020-05-27 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
JP6897092B2 (ja) 2016-12-22 2021-06-30 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
JP6353573B1 (ja) 2017-03-02 2018-07-04 Ckd株式会社 三次元計測装置
JP6964223B2 (ja) 2017-03-24 2021-11-10 パナソニックＩｐマネジメント株式会社 投影システム及び投影方法
US10574953B2 (en) * 2017-05-23 2020-02-25 Sony Corporation Transparent glass of polymer window pane as a projector screen
US10613428B2 (en) 2017-05-30 2020-04-07 Sony Corporation Wallpaper-based lenticular projection screen
US10429727B2 (en) 2017-06-06 2019-10-01 Sony Corporation Microfaceted projection screen
JP7091326B2 (ja) * 2017-06-07 2022-06-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および方法
US10795252B2 (en) 2017-07-21 2020-10-06 Sony Corporation Multichromic filtering layer to enhance screen gain
US10634988B2 (en) 2017-08-01 2020-04-28 Sony Corporation Tile-based lenticular projection screen
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
JP7236680B2 (ja) 2018-02-09 2023-03-10 パナソニックＩｐマネジメント株式会社 投影システム
JP7162168B2 (ja) 2018-05-17 2022-10-28 パナソニックＩｐマネジメント株式会社 投影調整プログラム、投影調整方法及び投影調整システム
CN108776338B (zh) * 2018-06-19 2022-05-24 四川大学 信号源空间传感方法、装置及主动式传感系统
JP7145444B2 (ja) * 2018-06-20 2022-10-03 パナソニックＩｐマネジメント株式会社 投影システム、投影調整プログラム及び投影方法
JP7379859B2 (ja) * 2018-06-29 2023-11-15 株式会社リコー 光源、投影装置、計測装置、ロボット、電子機器、移動体、および造形装置
JP7065458B2 (ja) * 2018-07-13 2022-05-12 パナソニックＩｐマネジメント株式会社 映像表示装置、および映像表示方法
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
JP7163943B2 (ja) * 2020-09-10 2022-11-01 セイコーエプソン株式会社 情報生成方法、情報生成システム、及びプログラム
JP2021051318A (ja) * 2020-12-03 2021-04-01 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
JP2022102058A (ja) 2020-12-25 2022-07-07 セイコーエプソン株式会社 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム
KR20230099970A (ko) * 2021-12-28 2023-07-05 주식회사 메디트 3차원 스캐너용 단일 패턴 쉬프트 투사 광학계

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151418A (ja) * 2003-11-19 2005-06-09 Nec Viewtechnology Ltd プロジェクタ
CN101063605A (zh) * 2006-04-27 2007-10-31 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
CN101303229A (zh) * 2007-05-09 2008-11-12 哈尔滨理工大学 基于边缘格雷码和线移的结构光3d测量技术
CN201218726Y (zh) * 2008-04-23 2009-04-08 哈尔滨理工大学 基于彩色结构光的文物三维重建装置
US20090168027A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Projector system employing depth perception to detect speaker position and gestures
CN103491328A (zh) * 2013-06-26 2014-01-01 苏州联科盛世科技有限公司 带图像校正的静脉投影仪及图像校正方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3989373A (en) * 1974-06-12 1976-11-02 Craig Dwin R Automatic focussing attachment for photographic enlargers
JP2000259126A (ja) 1999-03-04 2000-09-22 Matsushita Electric Ind Co Ltd 階調表示方法
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP2002031847A (ja) * 2000-07-18 2002-01-31 Sony Corp 画像表示装置および投射装置
JP4961628B2 (ja) * 2000-08-11 2012-06-27 日本電気株式会社 投射映像補正システム及びその方法
JP4445693B2 (ja) * 2002-05-17 2010-04-07 日本電気株式会社 プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
JP2004266345A (ja) * 2003-02-05 2004-09-24 Sony Corp 映像表示方法、映像表示処理装置、映像表示システム
JP2005024855A (ja) * 2003-07-01 2005-01-27 Toshiba Corp 液晶投射表示装置
JP4199641B2 (ja) * 2003-10-30 2008-12-17 日本電気株式会社 プロジェクタ装置
JP4292061B2 (ja) * 2003-11-26 2009-07-08 ナブテスコ株式会社 光造形方法および装置
JP2005258622A (ja) 2004-03-10 2005-09-22 Fuji Photo Film Co Ltd 三次元情報取得システムおよび三次元情報取得方法
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP2007079210A (ja) * 2005-09-15 2007-03-29 Seiko Epson Corp 映像投影装置及び映像投影方法
JP2007274522A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 投影装置
JP5141044B2 (ja) * 2007-02-27 2013-02-13 セイコーエプソン株式会社 プロジェクタ
US9052575B2 (en) * 2007-07-12 2015-06-09 Hewlett-Packard Development Company, L.P. Determining correspondence mappings from infrared patterns projected during the projection of visual content
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
JP5186964B2 (ja) * 2008-03-18 2013-04-24 株式会社リコー プロジェクションシステム
US8791880B2 (en) * 2008-11-17 2014-07-29 Nec Corporation System, method and program for specifying pixel position correspondence
US20100321382A1 (en) * 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
US20110216205A1 (en) * 2010-03-03 2011-09-08 Christie Digital Systems Usa, Inc. Automatic calibration of projection system using non-visible light
JP2012018214A (ja) * 2010-07-06 2012-01-26 Sanyo Electric Co Ltd 投写型映像表示装置
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5465708B2 (ja) * 2011-12-05 2014-04-09 哲也 秋葉 投影システム及び方法
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
JP6089424B2 (ja) * 2012-03-21 2017-03-08 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP2013213971A (ja) * 2012-04-03 2013-10-17 Seiko Epson Corp プロジェクター
US20150186039A1 (en) * 2012-08-27 2015-07-02 Citizen Holdings Co., Ltd. Information input device
WO2014104203A1 (ja) * 2012-12-26 2014-07-03 シチズンホールディングス株式会社 投影装置
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システム、半導体集積回路、および画像補正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151418A (ja) * 2003-11-19 2005-06-09 Nec Viewtechnology Ltd プロジェクタ
CN101063605A (zh) * 2006-04-27 2007-10-31 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
CN101303229A (zh) * 2007-05-09 2008-11-12 哈尔滨理工大学 基于边缘格雷码和线移的结构光3d测量技术
US20090168027A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Projector system employing depth perception to detect speaker position and gestures
CN201218726Y (zh) * 2008-04-23 2009-04-08 哈尔滨理工大学 基于彩色结构光的文物三维重建装置
CN103491328A (zh) * 2013-06-26 2014-01-01 苏州联科盛世科技有限公司 带图像校正的静脉投影仪及图像校正方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954288A (zh) * 2016-05-30 2021-06-11 松下知识产权经营株式会社 图像投影系统和图像投影方法
CN112954288B (zh) * 2016-05-30 2023-02-24 松下知识产权经营株式会社 图像投影系统和图像投影方法
CN107836112A (zh) * 2016-06-08 2018-03-23 松下知识产权经营株式会社 投影系统
CN107836112B (zh) * 2016-06-08 2019-03-12 松下知识产权经营株式会社 投影系统
CN112425155A (zh) * 2018-05-17 2021-02-26 松下知识产权经营株式会社 投影系统、投影装置以及投影方法

Also Published As

Publication number Publication date
EP3110139A1 (en) 2016-12-28
WO2015125403A1 (ja) 2015-08-27
EP3110139B1 (en) 2019-08-14
JP2015173431A (ja) 2015-10-01
KR102196467B1 (ko) 2020-12-29
US20160088275A1 (en) 2016-03-24
KR20160122048A (ko) 2016-10-21
US9554104B2 (en) 2017-01-24
EP3110139A4 (en) 2017-03-08
CN105165006B (zh) 2019-03-01
JP6618249B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
CN105165006A (zh) 投影系统及半导体集成电路
Bermano et al. Makeup lamps: Live augmentation of human faces via projection
EP3466061B1 (en) Image projection system and image projection method
CN103776392B (zh) 三维几何建模和三维视频内容创建
KR20200012043A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP6601790B2 (ja) リアルタイム計測投影装置及び三次元投影計測装置
CN104677308A (zh) 一种高频二值条纹的三维扫描方法
US20170111622A1 (en) Method and device for processing a projection image, and projection display system
US20070046924A1 (en) Projecting light patterns encoding correspondence information
TWI531215B (zh) 編碼光源與應用其之光場投影裝置
TW202036482A (zh) 用於後成像處理的顯示引擎
US20220366530A1 (en) Dynamic uniformity correction
JP2007518098A (ja) 三次元ビデオスキャナ
CN107370950B (zh) 对焦处理方法、装置和移动终端
US11714278B2 (en) Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space
CN105806259A (zh) 一种基于二值光栅离焦投影的三维测量方法
US11508285B2 (en) Systems and methods for spatio-temporal dithering
US9654748B2 (en) Projection device, and projection method
De Decker et al. Capturing multiple illumination conditions using time and color multiplexing
US11089279B2 (en) 3D image processing method, camera device, and non-transitory computer readable storage medium
US11710212B1 (en) Display non-uniformity correction
US11754846B2 (en) Display non-uniformity correction
US20240013480A1 (en) Projection of an image in an extended reality device
US20220065620A1 (en) Volumetric performance capture with relighting
KR20180013430A (ko) 3차원 후광 연출 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant