CN111788826A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111788826A
CN111788826A CN201980016073.0A CN201980016073A CN111788826A CN 111788826 A CN111788826 A CN 111788826A CN 201980016073 A CN201980016073 A CN 201980016073A CN 111788826 A CN111788826 A CN 111788826A
Authority
CN
China
Prior art keywords
projectors
projector
projection
mask
predetermined position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980016073.0A
Other languages
English (en)
Other versions
CN111788826B (zh
Inventor
加治洋祐
高桥巨成
池田哲男
村上忠义
永野佳恵
藤绳英佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111788826A publication Critical patent/CN111788826A/zh
Application granted granted Critical
Publication of CN111788826B publication Critical patent/CN111788826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技术涉及使得能够在实现从多个投影仪到对象上的多个投影时减轻交叠区域的分辨率的降低的信息处理装置、信息处理方法和程序。根据本技术的一个方面的信息处理装置生成用于调节投影图像的每个像素的光束强度的掩模信息,该掩模信息包括指示要投影在其上的对象的表面上的指定位置被指定投影仪照射的信息,多个投影仪的投影光的光束作为叠加光束进行照射。本技术可以应用于从多个投影仪投影图像的计算机。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序,并且具体地涉及能够在使用多个投影仪执行到对象上的多个投影的情况下减少多个投影的交叠区域中的分辨率的降低的信息处理装置、信息处理方法和程序。
背景技术
已知使多个投影仪一起工作以将图像投影到对象上的PM(投影映射)技术。
来自多个投影仪的光线在对象上彼此交叠的状态被称为交叠。例如,在使用两个投影仪的情况下,投影仪中的一个投影仪的投影区域与另一投影仪的投影区域交叠的区域被定义为交叠区域。
引用列表
专利文献
[PTL 1]
JP 2011-257609A
发明内容
技术问题
如果可以正确估计每个投影仪的内部参数(焦距、主点和透镜畸变)以及每个投影仪与对象的相对姿势之间的关系,则使得即使在交叠区域中也能够无任何投影偏差地投影图像。
然而,在实际情况下难以执行这样的投影,从而由于细微的误差可能发生不可避免的投影偏差。因此,在交叠区域中发生分辨率的降低,还导致PM的质量劣化。
鉴于这样的情况作出本技术,并且本技术能够在使用多个投影仪在对象上执行多个投影的情况下减少交叠区域中的分辨率的降低。
问题的解决方案
根据本技术的一个方面的信息处理装置包括生成单元,该生成单元被配置成生成关于多个投影仪的掩模信息,多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象,掩模信息用于调节投影图像的每个像素的相应光线的强度。掩模信息包括关于对象指示所述预定位置被投影仪中的预定投影仪照射的信息。
根据本技术的另一方面的信息处理装置包括投影处理单元,该投影处理单元被配置成:基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象的多个投影仪,调节投影仪中的每一个的投影图像的每个像素的相应光线的强度,掩模信息包括关于对象指示所述预定位置被投影仪中的预定投影仪照射的信息;以及使所述投影仪中的每一个投影所述投影图像。
在本技术的一个方面中,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的对象的多个投影仪,生成掩模信息,所述掩模信息被用于调节投影图像的每个像素的相应光线的强度。掩模信息包括关于具有包括预定位置的表面的对象指示预定位置被投影仪中的预定投影仪照射的信息。
在本技术的另一方面中,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的对象的多个投影仪,基于所生成的掩模信息,执行包括以下操作的处理:调节投影仪中的每一个的投影图像的每个像素的相应光线的强度,掩模信息包括关于具有包括预定位置的表面的对象指示预定位置被投影仪中的预定投影仪照射的信息;以及使投影仪中的每一个投影所述投影图像。
发明的有益效果
根据本技术,可以在多个投影仪对对象执行多个投影的情况下减轻交叠区域中的分辨率的降低。
注意,本文中描述的效果不一定受限制,并且可以是本公开内容中描述的任何效果。
附图说明
[图1]图1描绘了示出根据本技术的实施方式的投影系统的配置的示例的图。
[图2]图2描绘了示出投影系统的配置的示例的框图。
[图3]图3描绘了示出投影控制器的配置的示例的框图。
[图4]图4描绘了示出控制装置的硬件配置的示例的框图。
[图5]图5描绘了示出投影控制器的投影掩模生成处理的流程图。
[图6]图6描绘了示出在图5的步骤S7中执行的交叠光线检测处理的流程图。
[图7]图7描绘了示出交叠光线检测的示例的图。
[图8]图8描绘了示出深度信息的示例的图。
[图9]图9描绘了如何确定投影仪的示例的图。
[图10]图10描绘了示出由投影图像处理单元执行的投影处理的流程图。
[图11]图11描绘了示出使用投影掩模的投影的示例的图。
[图12]图12描绘了示出图像被投影在平面上的示例的图。
[图13]图13描绘了示出交叠区域中的掩模值的示例的图。
具体实施方式
在下文中,将描述用于执行本发明的模式。注意,将按以下顺序进行描述。
1.投影系统的配置
2.控制装置的配置
3.控制装置的操作
4.修改
<投影系统的配置>
图1描绘了示出根据本技术的实施方式的投影系统的配置的示例的图。
图1的投影系统被配置成使得投影仪#0和投影仪#1经由有线或无线通信耦接至控制装置1。投影仪#0和#1被设置在投影空间上方,使得投影仪#0和#1的投影方向面向对象22。投影仪#0和#1的设置位置可以不必限于投影空间上方的位置。
控制装置1包括诸如个人计算机、智能电话和平板终端的装置。控制装置1控制由投影仪#0和#1执行的图像的投影。
在控制装置1的控制下,投影仪#0和#1发射表示预定图像的投影光。
在图1中描绘的投影系统下,使用投影仪#0和#1来将图像投影到放置在地板表面21上的对象22上。由投影仪#0所发射的投影光表示的图像主要投影在对象22的左侧,并且由投影仪#1所发射的投影光表示的图像主要投影在对象22的右侧。
例如,纹理图像被投影在对象22上用于表达对象22的表面的纹理,即诸如金属或木材的纹理。图像的投影不限于纹理的表达,而是可以被执行以呈现各种信息并产生立体声效果。
尽管将主要关于使用两个投影仪来投影图像的情况进行描述,但是投影仪的数目不限于两个,并且可以设置更多个投影仪。
如上所述,图1中描绘的投影系统是PM(投影映射)系统,其旨在以如下方式将图像投影在对象22的整个表面上:对于一个投影仪不能投影图像的区域,另一投影仪将图像投影在该区域上。
图2是示出投影系统的配置的示例的框图。
在图2中描绘的示例中,还示出了除了投影仪#0和#1之外的投影仪。投影仪#0至投影仪#N中的每一个包括成像单元和投影单元,成像单元包括摄像装置,投影单元包括显示设备、透镜和光源。
例如,投影仪#0的成像单元#0-1捕获包括对象22的投影空间的情况。使用成像单元#0-1捕获的图像用于例如由控制装置1执行的投影图像的校正。
投影单元#0-2根据控制装置1的控制来投影分配给投影单元#0-2的投影图像。
投影仪#1至投影仪#N的成像单元#1-1至成像单元#N-1中的每一个捕获对应的投影空间的情况。同样地,投影单元#1-2至投影单元#N-2中的每一个投影分配给对应的投影单元本身的投影图像。
在图2的示例中,尽管投影单元的数目和成像单元的数目相等,但是投影单元的数目和成像单元的数目可以不同。此外,成像单元可以被设置在与投影仪不同的位置处而不是被并入投影仪中。控制装置1的配置可以被设置在投影仪中。
在图1中描绘的投影系统下,调节每个投影仪的投影光(光线)的强度以防止交叠区域中的投影偏差。
<控制装置的配置>
如图2所描绘的,控制装置1包括捕获图像处理单元31、投影图像处理单元32和投影控制器33。
捕获图像处理单元31基于由投影仪的成像单元捕获的图像来估计例如投影仪与对象22的相对姿势之间的关系。指示由捕获图像处理单元31估计的姿势的关系的信息被提供给投影图像处理单元32。
投影图像处理单元32为投影仪中的每一个生成投影图像。投影图像要被投影仪投影到用作投影目标的对象22上。投影图像处理单元32基于由捕获图像处理单元31估计的投影仪与对象22的相对姿势之间的关系,适当地对投影图像进行诸如几何校正和亮度校正的各种类型的图像处理。投影图像处理单元32将经过各种类型的图像处理的这样生成的投影图像输出到投影仪,并且使投影仪将投影图像投影到对象22上。
此外,投影图像处理单元32基于由投影控制器33生成的投影掩模来调节构成投影图像的像素中的每一个像素的投影光的强度。投影掩模是包括投影图像的每个像素的掩模值的信息。掩模值表示投影光的强度(增益)。为每个投影仪准备这样的投影掩模。
投影控制器33为每个投影仪生成投影掩模,并将投影掩模输出到投影图像处理单元32。
每个投影仪的内部参数(焦距、主点和透镜畸变)、每个投影仪的外部参数、用作投影目标的对象的外部参数、以及投影目标的对象的3D模型数据被输入到投影控制器33。基于每个投影仪的外部参数以及投影目标的对象的外部参数两者,估计每个投影仪与投影目标的对象的相对姿势之间的关系。
例如,响应于由控制装置1的用户执行的这些信息的输入,由投影控制器33进行的投影掩模的生成由软件执行。诸如稍后描述的用于生成投影掩模的光线检测的处理也是通过软件的计算执行的。
图3是示出投影控制器33的配置的示例的框图。
如图3所描绘的,投影控制器33包括深度计算单元51、交叠光线检测单元52、投影投影仪确定单元53和投影掩模生成单元54。每个投影仪的内部参数、每个投影仪和对象的外部参数、以及3D模型数据被提供给深度计算单元51。
深度计算单元51基于从外部提供的信息来计算从作为基准的每个投影仪到投影目标的对象的表面上的每个位置的深度(深度),并且然后生成指示这样计算的深度的深度信息。
深度计算单元51使深度信息缓冲器51A存储深度信息。例如,深度信息缓冲器51A以如下方式存储每个投影仪的深度信息:投影仪#0的深度信息、投影仪#1的深度信息,……。
交叠光线检测单元52从深度信息缓冲器51A读出并获取每个投影仪的深度信息。
交叠光线检测单元52参考深度信息,并且确定某一投影仪的投影图像的像素的光线是否与来自另一投影仪的光线在对象的表面上交叠。交叠光线检测单元52通过关注每个投影仪的每个像素来执行这样的确定,即交叠光线检测。
投影投影仪确定单元53基于由交叠光线检测单元52作出的确定结果来指定对象的表面上的在其处多个光线彼此交叠的位置。投影投影仪确定单元53确定如何照射对象的表面上的在其处多个光线彼此交叠的位置,即,关于使用哪个投影仪以何百分比强度的光线进行照射。
例如,投影投影仪确定单元53以在两个值之间选择的方式确定彼此交叠的光线的掩模值中的每一个。即,例如,确定掩模值,使得以来自某一投影仪的100%的强度的光线以及来自另一投影仪的0%的强度的光线进行照射。掩模值为0%表示没有从设置了该掩模值的像素发射光线,即,表示投影了黑色。
以这样的方式,投影掩模是指示在对象的表面的预定位置被从多个投影仪发射并且彼此交叠的光线照射的情况下使用哪个投影仪的光线进行照射的信息。与对象的表面上的被交叠光线照射的位置对应的掩模值表示如何如下照射该位置:该位置被从设置了100%的掩模值的投影仪发射的最大强度的光线照射,并且不被设置了0%的掩模值的投影仪照射。
掩模值可以被适应性地控制为除了在两个值100%与0%之间选择的值之外的值,使得例如以从一个投影仪发射的30%的强度的光线以及以从另一投影仪发射的70%的强度的光线进行照射。
投影掩模生成单元54基于由投影投影仪确定单元53作出的确定结果为每个投影仪生成投影掩模。由投影掩模生成单元54生成的投影掩模被提供给投影图像处理单元32并且用于调节光线。
稍后将详细描述由交叠光线检测单元52执行的交叠光线检测以及由投影投影仪确定单元53执行的投影仪确定。
图4是示出控制装置1的硬件配置的示例的框图。
控制装置1包括具有如图4所描绘的配置的计算机。
CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104彼此耦接。
输入-输出接口105也耦接至总线104。包括键盘和鼠标的输入单元106以及包括显示器和扬声器的输出单元107耦接至输入-输出接口105。另外,包括硬盘和非易失性存储器的存储单元108、包括网络接口的通信单元109以及驱动可移除介质111的驱动器110耦接至输入-输出接口105。
图2和图3中描绘的控制装置1的功能单元的至少一部分通过利用图4的CPU 101执行预定程序来实现。
<控制装置的操作>
这里,将描述具有以上提及的配置的控制装置1的操作。
首先,参考图5中描绘的流程图,将描述投影控制器33的投影掩模生成处理。
以下,为了便于描述,将描述使用两个投影仪——投影仪#0和投影仪#1——的情况;然而,在使用更多个投影仪的情况下,也执行类似的处理。
在步骤S1中,深度计算单元51获取从外部输入的每个投影仪的内部参数和外部参数两者。
在步骤S2中,深度计算单元51获取从外部输入的投影目标的对象的外部参数和3D模型数据两者。
在步骤S3中,深度计算单元51基于每个投影仪的外部参数以及投影目标的对象的外部参数两者来估计每个投影仪与对象的相对姿势之间的关系。此外,深度计算单元51基于所估计的姿势之间的关系和其他信息来计算从作为基准的投影仪到投影目标的对象的表面上的每个位置的深度。指示由深度计算单元51计算的深度的深度信息被存储在深度信息缓冲器51A中。
在步骤S4中,交叠光线检测单元52通过从深度信息缓冲器51中读出每个投影仪的深度信息来获取该深度信息。
在步骤S5中,交叠光线检测单元52关注一个投影仪。
在步骤S6中,交叠光线检测单元52关注受关注投影仪的投影图像的一个像素。例如,像素从左上端处的像素开始按顺序受关注。
在步骤S7中,交叠光线检测单元52执行交叠光线检测处理。交叠光线检测处理用于确定受关注像素的光线是否与来自另一投影仪的光线在对象的表面上交叠。
这里,参照图6的流程图,将描述在图5的步骤S7中执行的交叠光线检测处理。
在步骤S31中,交叠光线检测单元52追踪受关注像素的光线。
在步骤S32中,交叠光线检测单元52确定受关注像素的光线是否入射在投影目标的对象的表面上。通过参考受关注投影仪的深度信息来执行该确定。
在在步骤S32中确定受关注像素的光线入射在投影目标的对象的表面上的情况下,在步骤S33中,交叠光线检测单元52将入射点P0变换成另一投影仪的坐标系中的点P'0,入射点P0是对象的表面上的、受关注像素的光线入射在其上的点。
在投影仪#0受关注的情况下,入射点P0则是以投影仪#0作为基准的坐标系中的点,并且点P'0则是以投影仪#1作为基准的坐标系中的点。
在步骤S34中,交叠光线检测单元52对于点P'0执行后向光线追踪,从而以投影仪#1作为基准计算点P1,其中点P1对应于入射点P0。参考投影仪#1的深度信息执行对于点P'0的后向光线追踪。
在步骤S35中,交叠光线检测单元52确定点P'0和点P1是否是三维空间中的同一点。
在在步骤S35中确定点P'0和点P1是同一点的情况下,则在步骤S36中,交叠光线检测单元52确定来自受关注像素的照射入射点P0的光线是交叠光线。
图7是示出交叠光线检测的示例的图。
在图7的示例中,地板表面151上的大致立方体的对象152被示出为投影目标的对象。
基于3D模型数据来指定对象152的形状。此外,基于投影仪#0和对象152的外部参数来估计投影仪#0与对象152的姿势之间的关系。类似地,基于投影仪#1和对象152的外部参数来估计投影仪#1与对象152的姿势之间的关系。
例如,在投影仪#0受关注并且投影仪#0的投影图像的预定像素的光线入射在对象152的上表面的拐角处的点P的情况下,确定点P是否被来自投影仪#1的光线照射。
图8描绘了示出深度信息的示例的图。
图8的图A表示投影仪#0的深度信息,并且图8的图B表示投影仪#1的深度信息。
在图8的图A中,表示对象152的立方体的着色指示:以投影仪#0作为基准,对象152被定位成比地板表面151更接近基准。左上方的黑色圆圈对应于图7中的点P。
点P被表示为以投影仪#0作为基准的坐标系中的入射点P0。入射点P0被变换成以投影仪#1作为基准的坐标系中的点P'0。使用例如基于投影仪#0和#1中的每一个与对象152的姿势之间的关系计算的参数来执行坐标系变换。
通过对于点P'0执行后向光线追踪,计算以投影仪#1作为基准的点P1;这样计算的点是与入射点P0对应的点。在图8的图B中,表示对象152的立方体的着色指示:以投影仪#1作为基准,对象152被定位成比地板表面151更接近基准。上方的黑色圆圈对应于点P1
在点P'0和点P1是三维空间中的同一点的情况下,确定受关注像素的光线——即来自投影仪#0的照射图7中的点P的光线——是交叠光线。
在在步骤S35中以这样的方式确定受关注像素的光线是交叠光线之后,处理返回到图5中的步骤S7,并且执行后续处理。
同样,在在步骤S32中确定受关注像素的光线没有入射在投影目标的对象的表面上或者在步骤S35中确定点P'0和点P1不是同一点的情况下,处理返回到图5的步骤S7,并且执行后续处理。在任一情况下,该确定指示受关注像素的光线不是交叠光线。
返回到图5的描述,在步骤S8中,投影投影仪确定单元53基于交叠光线检测处理的结果来确定要照射对象的表面上的被受关注像素的光线照射的位置的投影仪。
例如,在确定受关注像素的光线不是交叠光线的情况下,投影投影仪确定单元53将受关注投影仪确定为要照射对象的表面上的被受关注像素的光线照射的位置的投影仪。
另一方面,在确定受关注像素的光线是交叠光线的情况下,投影投影仪确定单元53将投影仪#0和投影仪#1中之一确定为要照射对象的表面上的将被交叠光线照射的位置的投影仪。
具体地,投影投影仪确定单元53计算光线从投影仪#0到对象的入射角以及光线从投影仪#1到对象的入射角两者,然后确定发射具有入射角中较小入射角的光线的投影仪。在来自三个或更多个投影仪的光线彼此交叠的情况下,确定提供其入射角中最小入射角的投影仪。
图9是如何确定投影仪的示例的图。
例如,在以直线箭头L0所指示的来自投影仪#0的光线以及直线箭头L1所指示的来自投影仪#1的光线两者照射点P的情况下,确定了来自投影仪#0的光线的入射角θp0以及来自投影仪#1的光线的入射角θp1两者。在图9的情况下,入射角θp0小于入射角θp1。在该情况下,投影仪#0被确定为要用于照射点P的投影仪。
与以这样的方式确定的关于投影仪的信息从投影投影仪确定单元53被提供给投影掩模生成单元54。
在图5的步骤S9中,投影掩模生成单元54通过反映由投影投影仪确定单元53作出的确定来更新每个投影仪的投影掩模。
例如,在如图9所示确定投影仪的情况下,在投影仪#0的投影掩模中,将受关注像素的掩模值设置为100%的值。另外,在投影仪#1的投影掩模中,将与点P对应的像素(即,以其光线照射点P的像素)的掩模值设置为0%的值。
在图5的步骤S10中,交叠光线检测单元52确定是否已经关注了构成受关注投影仪的投影图像的所有像素。在步骤S10中确定尚未关注所有像素的情况下,处理返回到步骤S6,改变受关注像素,并且重复上述处理。
另一方面,在步骤S10中确定已经关注了构成受关注投影仪的投影图像的所有像素的情况下,在步骤S11中,交叠光线检测单元52确定是否已经关注了所有投影仪。
在步骤S11中确定尚未关注所有投影仪的情况下,在步骤S12中,交叠光线检测单元52将受关注投影仪改变为另一投影仪。之后,处理返回到步骤S6,并且重复类似的处理。
在步骤S11中确定已经关注了所有投影仪的情况下,在步骤S13中,投影掩模生成单元54输出各个投影仪的投影掩模,并且结束处理。从投影掩模生成单元54输出的投影掩模由投影图像处理单元32使用以调节从各个投影仪发射的光线。
接下来,参照图10中示出的流程图,将描述由投影图像处理单元32进行的投影处理。
在通过执行上述处理生成投影掩模之后执行图10中示出的处理。将每个投影仪的投影图像的数据输入到投影图像处理单元32。
在步骤S51中,投影图像处理单元32通过使用投影仪的投影掩模来调节每个投影仪的投影图像的每个像素的光线的强度。
例如,在将投影仪#0确定为以参照图9描述的方式向点P发射光线的投影仪的情况下,基于投影仪#0的投影掩模,将来自投影仪#0的光线调节成具有100%的强度。另外,基于投影仪#1的投影掩模,将来自投影仪#1的用于照射点P的光线调节成具有0%的强度。
在步骤S52中,投影图像处理单元32控制各个投影仪,以使各个投影仪通过使用经调节的强度的光线来投影其投影图像。
在投影投影图像时重复上述处理。当投影图像的投影结束时,图10中示出的处理结束。
图11是示出使用投影掩模的投影的示例的图。
例如,认为对象152的整个上表面152A是投影仪#0的投影范围与投影仪#1的投影范围交叠的交叠区域。那么,从投影仪#0发射到上表面152A的每个照射位置的对应的光线以及从投影仪#1发射到上表面152A的照射位置的对应的光线是交叠光线。
在该情况下,在投影仪#0的投影掩模的掩模值中,用于以光线照射通过使用虚线L11指示的上表面152A的左侧的像素的掩模值被设置为100%,并且用于以光线照射上表面152A的右侧的像素的掩模值被设置为0%。
通过基于这样的投影掩模调节投影仪#0的投影图像的每个像素的光线的强度,然后以仅来自投影仪#0的光线照射上表面152A的左侧,如图11的下部分中的点划线所示。上表面152A的左侧的纹理由投影仪#0所投影的图像表示。
在图11的下部中示出的图中,横轴表示上表面152A上的位置,纵轴表示掩模值(光线的强度)。
另一方面,在投影仪#1的投影掩模的掩模值中,用于以光线照射通过使用虚线L11指示的上表面152A的右侧的像素的掩模值被设置为100%,并且用于以光线照射上表面152A的左侧的像素的掩模值被设置为0%。
通过基于这样的投影掩模调节投影仪#1的投影图像的每个像素的光线的强度,然后以仅来自投影仪#1的光线照射上表面152A的右侧,如图11的下部分中的实线所示。上表面152A的右侧的纹理由投影仪#1所投影的图像表示。
如上所述,检测交叠区域并且利用例如一个投影仪执行交叠区域中的图像的投影。这使得能够减少对象的表面上的纹理图像的分辨率的劣化。此外,这使得能够增加亮度的均匀性。
假设在如图12所描绘的将图像投影在平面上的情况下可以指定投影仪#0的投影区域以及投影仪#1的投影区域两者,可以将边界设置在由虚线L21表示的中间位置处,并且可以容易地设置如上所述的二元掩模值。由于图像的投影目标是三维对象,因此有必要执行光线追踪,确定每个像素的光线是否将入射在对象的表面上以及任何其他问题。
在图12中,被表示为梯形的区域A0是投影仪#0的投影区域,并且区域A1是投影仪#1的投影区域。
<修改>
为了使投影图像的投影仪的切换不那么明显,可以使用两个投影仪来执行在这样的交叠区域上的投影。
在该情况下,两个投影仪通过叠加投影图像的交叠区域的掩模值被设置成使得掩模值各自以例如在0%至100%的范围内的连续值变化。
图13是示出交叠区域中的掩模值的示例的图。
在图13的示例中,夹入图11的虚线L11的位置的位置p21与位置p22之间的区域被设置为交叠区域。
投影仪#0的与交叠区域对应的掩模值被设置为在远离位置P21到位置P22的更大距离处从100%逐渐减小到0%。此外,投影仪#1的与交叠区域对应的掩模值被设置为在远离位置P22到位置P21的更大距离处从100%逐渐减小到0%。
尽管已经描述了经由软件的处理来检测交叠区域,但是也可以如下检测交叠区域:在实际空间中,利用摄像装置捕获由各个投影仪投影的图像,并且然后基于这样捕获的图像来检测交叠区域。
尽管已经描述了控制装置1被准备为与投影仪分开地容纳在另一壳体中的装置,但是控制装置1的以上提及的功能可以被设置在多个投影仪中的任何一个中。
尽管已经描述了控制装置1经由有线或无线通信耦接至多个投影仪中的每一个,但是它们也可以经由因特网耦接。
上述一系列处理项可以由硬件或软件执行。在由软件执行一系列处理项的情况下,将构成软件的程序安装在并入专用硬件的计算机、通用个人计算机、或任何其他设备中。
所安装的程序通过记录在图4中描绘的可移除介质111中来提供,可移除介质111包括光盘(CD-ROM(致密盘只读存储器)、DVD(数字通用盘)等)和半导体存储器。此外,程序可以经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供。程序可以预先安装在ROM 102或存储单元108中。
注意,由计算机执行的程序可以是其中按本说明书中描述的顺序以时间序列执行处理步骤的程序,或者可以是其中并行执行处理步骤或在必要的时序例如在进行调用时执行处理步骤的程序。
在说明书中,系统是指多个构成元件(装置、模块(部件)等)的集合体,并且是否所有构成元件均被设置在同一壳体内并不重要。因此,容纳在不同的壳体中并且经由网络连接的多个装置以及其中多个模块容纳在单个壳体中的单个装置两者均被称为系统。
本技术的实施方式不限于上述实施方式,并且可以在不偏离本技术的主旨的情况下进行各种修改。
例如,本技术可以采取云计算配置,在该云计算配置中,一个功能由多个装置经由网络划分并协作处理。
此外,在上述流程图中示出的步骤中的每一个可以由单个装置执行,或者可以由多个装置划分并执行。
此外,在单个步骤中包括多个处理项的情况下,该单个步骤中包括的多个处理项可以由单个装置执行,或者可以由多个装置划分并执行。
注意,本说明书中描述的效果仅是说明性的,该效果没有限制,并且可以存在其他效果。
·配置的示例性组合
本技术还可以采用以下配置。
(1)
一种信息处理装置,包括:
生成单元,其被配置成生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象,所述掩模信息用于调节所述投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息。
(2)
根据(1)所述的信息处理装置,其中,
所述生成单元生成包括指示所述预定位置被所述投影仪中的一个投影仪照射的信息的掩模信息。
(3)
根据(2)所述的信息处理装置,还包括:
确定单元,其被配置成:基于所述投影仪中的每一个使用相应光线照射所述预定位置的角度,将所述投影仪中的一个投影仪确定为照射所述预定位置的一个投影仪。
(4)
根据(3)所述的信息处理装置,其中,
所述确定单元将各自使用相应光线以入射角照射所述预定位置的多个所述投影仪中的、使用相应光线以相对于所述预定位置最小的入射角照射所述预定位置的投影仪确定为照射所述预定位置的一个投影仪。
(5)
根据(3)或(4)所述的信息处理装置,其中,
所述生成单元生成包括指示以最大强度照射所述预定位置的信息的掩模信息作为关于照射所述预定位置的投影仪的掩模信息,以及,
所述生成单元生成包括指示投影仪未照射所述预定位置的信息的掩模信息作为关于未照射所述预定位置的投影仪的掩模信息。
(6)
根据(1)至(5)中任一项所述的信息处理装置,还包括:
检测单元,其被配置成通过执行所述多个投影仪的投影光线的光线追踪来检测所述交叠光线。
(7)
根据(6)所述的信息处理装置,其中,
所述检测单元基于多个所述投影仪的内部参数、关于所述投影仪和所述对象的姿势的信息以及所述对象的模型数据来检测所述交叠光线。
(8)
一种由信息处理装置执行的信息处理方法,所述方法包括:
生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象,所述掩模信息用于调节所述投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息。
(9)
一种程序,所述程序用于使计算机执行以下处理:
生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象,所述掩模信息用于调节所述投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息。
(10)
一种信息处理装置,包括:
数据处理单元,其被配置成:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息,以及
使所述投影仪中的每一个投影所述投影图像。
(11)
一种由信息处理装置执行的信息处理方法,所述方法包括:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息;以及
使所述投影仪中的每一个投影所述投影图像。
(12)
一种程序,所述程序用于使计算机执行以下处理:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的具有包括预定位置的表面的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括关于所述对象指示所述预定位置被所述投影仪中的预定投影仪照射的信息;以及
使所述投影仪中的每一个投影所述投影图像。
附图标记列表
1控制装置,31捕获图像处理单元,32投影图像处理单元,33投影控制器,51深度计算单元,52交叠光线检测单元,53投影投影仪确定单元,54投影掩模生成单元

Claims (12)

1.一种信息处理装置,包括:
生成单元,其被配置成生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的对象,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息,所述掩模信息用于调节投影图像的每个像素的相应光线的强度。
2.根据权利要求1所述的信息处理装置,其中,
所述生成单元生成包括指示所述预定位置被所述投影仪中的一个投影仪照射的信息的掩模信息。
3.根据权利要求2所述的信息处理装置,还包括:
确定单元,其被配置成:基于所述投影仪中的每一个使用相应光线照射所述预定位置的角度,将所述投影仪中的一个投影仪确定为照射所述预定位置的一个投影仪。
4.根据权利要求3所述的信息处理装置,其中,
所述确定单元将各自使用相应光线以入射角照射所述预定位置的多个投影仪中的、使用相应光线以相对于所述预定位置最小的入射角照射所述预定位置的投影仪确定为照射所述预定位置的一个投影仪。
5.根据权利要求3所述的信息处理装置,其中,
所述生成单元生成包括指示以最大强度照射所述预定位置的信息的掩模信息作为关于照射所述预定位置的投影仪的掩模信息,以及,
所述生成单元生成包括指示投影仪未照射所述预定位置的信息的掩模信息作为关于未照射所述预定位置的投影仪的掩模信息。
6.根据权利要求1所述的信息处理装置,还包括:
检测单元,其被配置成通过执行所述多个投影仪的投影光线的光线追踪来检测所述交叠光线。
7.根据权利要求6所述的信息处理装置,其中,
所述检测单元基于所述多个投影仪的内部参数、关于所述投影仪和所述对象的姿势的信息以及所述对象的模型数据来检测所述交叠光线。
8.一种由信息处理装置执行的信息处理方法,所述方法包括:
生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的对象,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息,所述掩模信息用于调节投影图像的每个像素的相应光线的强度。
9.一种程序,所述程序用于使计算机执行以下处理:
生成关于多个投影仪的掩模信息,所述多个投影仪被配置成使用投影光线作为交叠光线来照射用作投影目标的对象,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息,所述掩模信息用于调节投影图像的每个像素的相应光线的强度。
10.一种信息处理装置,包括:
投影处理单元,其被配置成:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息,以及
使所述投影仪中的每一个投影所述投影图像。
11.一种由信息处理装置执行的信息处理方法,所述方法包括:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息;以及
使所述投影仪中的每一个投影所述投影图像。
12.一种程序,所述程序用于使计算机执行以下处理:
基于所生成的掩模信息,关于被配置成使用投影光线作为交叠光线来照射用作投影目标的对象的多个投影仪,调节所述投影仪中的每一个的投影图像的每个像素的相应光线的强度,所述掩模信息包括指示所述对象的表面上的预定位置被所述投影仪中的预定投影仪照射的信息;以及
使所述投影仪中的每一个投影所述投影图像。
CN201980016073.0A 2018-03-06 2019-02-20 信息处理装置、信息处理方法和存储介质 Active CN111788826B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-039312 2018-03-06
JP2018039312 2018-03-06
PCT/JP2019/006201 WO2019171943A1 (ja) 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111788826A true CN111788826A (zh) 2020-10-16
CN111788826B CN111788826B (zh) 2023-07-04

Family

ID=67846752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016073.0A Active CN111788826B (zh) 2018-03-06 2019-02-20 信息处理装置、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US11134232B2 (zh)
EP (1) EP3764638A4 (zh)
JP (1) JPWO2019171943A1 (zh)
CN (1) CN111788826B (zh)
WO (1) WO2019171943A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298395A (ja) * 2001-03-30 2002-10-11 Nihon University トラッキングエラー検出方法及び装置
JP2004110293A (ja) * 2002-09-17 2004-04-08 Ricoh Co Ltd 光学式座標入力システムおよび光信号検出方法
WO2006085580A1 (ja) * 2005-02-10 2006-08-17 Takram Design Engineering ポインタ光トラッキング方法、プログラムおよびその記録媒体
US20070280085A1 (en) * 2006-05-24 2007-12-06 Sony Corporation Optical disc device and optical pickup
JP2009121981A (ja) * 2007-11-15 2009-06-04 National Institute Of Information & Communication Technology 光捕捉追尾装置
CN101718529A (zh) * 2009-11-30 2010-06-02 重庆大学 多光束形变检测装置及其使用方法
FR2969319A1 (fr) * 2010-12-20 2012-06-22 Optinnova Dispositif de video-projection interactif autocalibre
EP2889748A1 (en) * 2013-12-27 2015-07-01 Funai Electric Co., Ltd. Touch-sensitive display device with palm input rejection
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
CN106200217A (zh) * 2015-05-04 2016-12-07 深圳市绎立锐光科技开发有限公司 拼接投影显示系统一致性校正方法及装置
US20170064294A1 (en) * 2015-08-28 2017-03-02 Christie Digital Systems Usa, Inc. Projection mapping video pipeline
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1327179A4 (en) * 2000-06-13 2007-11-28 Panoram Technologies Inc METHOD AND DEVICE FOR INTEGRATING MULTIPLE PROJECTORS
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP5596427B2 (ja) 2010-06-09 2014-09-24 日本電信電話株式会社 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298395A (ja) * 2001-03-30 2002-10-11 Nihon University トラッキングエラー検出方法及び装置
JP2004110293A (ja) * 2002-09-17 2004-04-08 Ricoh Co Ltd 光学式座標入力システムおよび光信号検出方法
WO2006085580A1 (ja) * 2005-02-10 2006-08-17 Takram Design Engineering ポインタ光トラッキング方法、プログラムおよびその記録媒体
US20070280085A1 (en) * 2006-05-24 2007-12-06 Sony Corporation Optical disc device and optical pickup
JP2009121981A (ja) * 2007-11-15 2009-06-04 National Institute Of Information & Communication Technology 光捕捉追尾装置
CN101718529A (zh) * 2009-11-30 2010-06-02 重庆大学 多光束形变检测装置及其使用方法
FR2969319A1 (fr) * 2010-12-20 2012-06-22 Optinnova Dispositif de video-projection interactif autocalibre
EP2889748A1 (en) * 2013-12-27 2015-07-01 Funai Electric Co., Ltd. Touch-sensitive display device with palm input rejection
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
CN106200217A (zh) * 2015-05-04 2016-12-07 深圳市绎立锐光科技开发有限公司 拼接投影显示系统一致性校正方法及装置
US20170064294A1 (en) * 2015-08-28 2017-03-02 Christie Digital Systems Usa, Inc. Projection mapping video pipeline
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王震;刘进;: "基于激光影像的物体三维点云获取系统" *

Also Published As

Publication number Publication date
US11134232B2 (en) 2021-09-28
EP3764638A4 (en) 2021-04-28
EP3764638A1 (en) 2021-01-13
JPWO2019171943A1 (ja) 2021-03-04
CN111788826B (zh) 2023-07-04
WO2019171943A1 (ja) 2019-09-12
US20210051303A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
KR102473547B1 (ko) 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
WO2017006780A1 (ja) 情報処理装置および方法、並びにプログラム
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
CN109872382B (zh) 图像处理系统及图像处理方法
JP6607261B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP6422362B2 (ja) 画像読取装置、画像読取方法、及びプログラム
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
JPH102711A (ja) 3次元計測装置
CN111788826B (zh) 信息处理装置、信息处理方法和存储介质
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
JP7398939B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム、並びに記憶媒体
JP2016156750A (ja) 視差画像生成システム、ピッキングシステム、視差画像生成方法およびプログラム
JP6386837B2 (ja) 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法
WO2019009100A1 (ja) 制御装置、制御方法、およびプログラム
WO2023195403A1 (ja) 画像処理装置及び画像処理方法
US11997396B2 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and memory medium
WO2023167162A1 (ja) ドットパターン生成方法及び3次元計測装置
KR102433837B1 (ko) 3차원 정보 생성 장치
US20220164928A1 (en) Image processing apparatus, image processing method, and program
JP2022120606A (ja) 投影装置及び投影方法
JP2022120607A (ja) 投影装置及び投影方法
KR20240045044A (ko) 프로젝션 장치 및 그 동작 방법
JP2019169917A (ja) 撮像方法および撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant