CN110383829B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN110383829B
CN110383829B CN201880017098.8A CN201880017098A CN110383829B CN 110383829 B CN110383829 B CN 110383829B CN 201880017098 A CN201880017098 A CN 201880017098A CN 110383829 B CN110383829 B CN 110383829B
Authority
CN
China
Prior art keywords
image
projection
section
synchronization
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880017098.8A
Other languages
English (en)
Other versions
CN110383829A (zh
Inventor
长沼宏昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110383829A publication Critical patent/CN110383829A/zh
Application granted granted Critical
Publication of CN110383829B publication Critical patent/CN110383829B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及可以按提高的准确性实现多个图像投影之间的同步的图像处理设备和方法。控制多个投影部之间的同步，以便根据通过允许成像部拍摄由投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。本公开例如适用于图像处理设备、图像投影设备、控制设备、信息处理设备、图像投影系统、图像处理方法或程序。

Description

图像处理设备和方法
技术领域
本公开涉及图像处理设备和方法，并且更明确地说，涉及可以按提高的准确性实现多个图像投影之间的同步的图像处理设备和方法。
背景技术
被设计成用于使多个投影仪同步的现有技术方法(例如参照专利文献1)通过以下方式而实现投影仪之间的同步：将相机附接到每一投影仪，允许附接到一个投影仪的相机拍摄由另一投影仪投影的投影图像，检查拍摄图像以确定投影图像是否含有同步信号并根据检查的结果而使投影仪同步。
【引用文献列表】
【专利文献】
【专利文献1】
日本专利申请特许公开第2014-106386号
发明内容
【技术问题】
然而，当使用上述方法时，同步的准确性取决于由相机进行的成像的帧率。因此，无法按提高的准确性实现同步。因此，难以通过使用上述方法以足够高的准确性实现同步。
已鉴于上述情况而作出本公开，并且本公开可以按提高的准确性使多个图像投影同步。
【问题的解决方案】
根据本技术的方面的图像处理设备包含同步控制部，其中同步控制部按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。
同步控制部可按一种方式控制多个投影部之间的同步，以便在由成像部与投影部中的一个同步而拍摄的拍摄图像中将正值和负值由多个投影部中的另一投影部交替投影到的投影图像中所含有的嵌入值的绝对值最大化。
在由成像部拍摄的拍摄图像中，同步控制部可按一种方式控制投影部之间的同步，以便将投影图像与含有不同图案图像的多个投影图像的组合结果之间的差最小化。
图像处理设备可还包含计算部，其中计算部根据拍摄图像的像素值而计算表示投影部之间的图像投影时序的扰乱的参数的值，其中同步控制部按一种方式控制投影部之间的同步，以便根据由计算部计算的参数的值来抑制投影部之间的图像投影时序的扰乱。
计算部可计算多个连续拍摄的图像之间的差作为参数，并且同步控制部可按一种方式控制投影部之间的同步，以便将由计算部计算的差最大化。
计算部可计算拍摄图像中所含有的投影图像与由多个投影部投影的不同图案图像的组合结果之间的差作为参数，并且同步控制部可按一种方式控制投影部之间的同步，以便将由计算部计算的差最小化。
计算部可通过使用含有不同图案图像的投影图像的拍摄图像而计算组合结果。
图像处理设备可还包含图像处理部，其中图像处理部对由多个投影部投影的图像执行图像处理以便控制投影部之间的同步，其中同步控制部被配置成按一种方式控制投影部之间的同步，以便根据经过由图像处理部进行的图像处理的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。
图像处理部可将正值和负值嵌入到同一图像中，并且使投影部投影具有所嵌入正值的图像以及具有所嵌入负值的图像。
图像处理设备可还包含成像部，其中成像部拍摄投影图像的图像以获取拍摄图像。
成像部可与多个投影部中的一个同步，并通过在由投影部进行的图像投影的时间段进行曝光而获取拍摄图像。
成像部可通过在具有与由投影部进行的图像投影的时间段相同的持续时间的时间段进行曝光而获取拍摄图像。
成像部可拍摄含有由同步控制部用于同步控制的多个不同图案图像的投影图像中的每一个的图像。
图像处理设备可还包含投影部，其中投影部投影图像。
投影部可交替投影具有所嵌入正值的图像以及具有所嵌入负值的图像。
投影部可依序投影多个图案图像。
投影部可在依序投影多个图案图像之前投影多个图案图像中的每一个，并且使成像部拍摄每一投影图像。
根据本技术的另一方面的图像处理方法包含按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。
根据本技术的方面的图像处理设备和图像处理方法按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由多个投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。
【本发明的有利效果】
本公开可以处理图像。更明确地说，本公开可以按提高的准确性实现多个图像投影之间的同步。
附图说明
图1是图示投影仪的主要示范性配置的框图。
图2是图示如何实现同步的实例的图。
图3是图示图像投影系统的主要示范性配置的框图。
图4是图示图像投影处理的实例流程的流程图。
图5是图示如何实现同步的实例的图。
图6是图示最小失步量计算处理的实例流程的流程图。
图7是图示如何实现同步的实例的图。
图8是图示最小失步量计算处理的实例流程的流程图。
图9是图示图像投影系统的主要示范性配置的框图。
图10是图示图像投影系统的主要示范性配置的框图。
图11是图示图像投影系统的主要示范性配置的框图。
图12是图示图像投影系统的主要示范性配置的框图。
图13是图示计算机的主要示范性配置的框图。
具体实施方式
现将描述用于实施本公开的模式(下文中，称为实施例)。将按以下次序进行描述。
1.图像投影的同步控制
2.第一实施例(带有具有已知特性的成像设备的图像投影系统)
3.第二实施例(带有具有未知特性的成像设备的图像投影系统)
4.第三实施例(图像投影系统的替代示范性配置)
5.其它
<1.图像投影的同步控制>
<投影仪之间的同步>
通常，多数投影仪不直接显示所输入视频信号，而是将所输入视频信号转换为其自身的显示信号并显示此所转换信号。例如，多数投影仪包含用于显示其自身的显示信号的输出信号的振荡器，并出于显示的目的而使用振荡器的时钟，如图1所描绘。原因是，如果完美地实现与所输入视频信号的同步，那么在所输入视频信号被打断的时刻，面板显示操作被打断。这使受到干扰的观看。
在图1所描绘的投影仪10中，输入信号接收部11接收输入信号(输入图像)，图像处理部12对输入图像执行预定图像处理，并且显示部13投影(显示)由此图像处理使的图像。这些处理部与由振荡器14产生并经由时钟供应部15供应的时钟信号同步而操作。
同时，在一些状况下，多个投影仪已用于投影图像。已使用某方法，例如，以令多个投影仪将图像投影到同一位置，提高投影图像的亮度，并使用高帧率。此外，已使用另一方法，例如，以通过将投影的位置移位而增大投影图像的图像大小并提高投影图像的分辨率。
在上述情形下，即使在同时使用多件如图1所描绘而配置的投影仪10的状况下实现输入信号之间的同步，在由图1所描绘的显示部13进行的显示(投影)时也由于时钟转换而不可以在正确时序执行绘图更新。更具体来说，可扰乱多件投影仪10之间的图像投影时序。如果例如多件投影仪10的图像投影未同步，那么虽然多个帧的投影图像在适当地实现同步的状况下相互叠加，但这些投影图像可相互叠加以降低投影图像的主观图像质量。
如果显示部13以足够高的速度对输入信号作出响应，那么按比输入信号更新短的间隔执行绘图更新。在此情形下，图像投影时序的扰乱不显眼，即使在时钟转换时发生扰乱也是如此。然而，在按类似于输入信号更新的间隔更新显示部13的状况下，可发生图像投影时序的显著扰乱，例如，约1帧的扰乱。例如，例如针对超高清推荐120Hz的内容。因此，在按120Hz驱动显示部13的状况下，极其可能发生图像投影时序的显著扰乱。
例如专利文献1所述的用于实现多个投影仪之间的图像投影的同步的方法将相机附接到每一投影仪，允许附接到一个投影仪的相机拍摄由另一投影仪投影的投影图像，检查拍摄图像以确定投影图像是否含有同步信号并根据检查的结果而实现投影仪之间的同步。
图2给出上述方法的概述。如图2所图示，相机22-1和22-2分别附接到投影仪21-1和投影仪21-2。投影仪21-1和投影仪21-2相互同步。投影仪21-1将图像投影到屏幕31的区域32-1上，并且相机22-1拍摄区域32-1的图像。类似地，投影仪21-2将图像投影到屏幕31的区域32-2上，并且相机22-2拍摄区域32-2的图像。区域32-1和区域32-2相互重叠。重叠区域被称为区域33。
例如，投影仪21-2比更新投影图像的时序稍早投影含有预定图案34的图像。图案34例如投影到屏幕31的区域33上。当相机22-2拍摄图像时，拍摄图像含有图案34。当从由相机22-2拍摄的拍摄图像检测到图案34时，投影仪21-2在预定时序更新将投影的图像。投影仪21-1也在此时序更新将投影的图像。以此方式，可以实现投影仪21-1与21-2之间的图像投影(图像更新)的同步。
然而，当使用上述方法时，同步的准确性取决于由相机22-2进行的成像的帧率。更具体来说，无法按与成像由相机22-2执行的等同间隔相等或比它高的准确性实现同步。如果例如成像由相机22-2执行的间隔等同于由投影仪21-1投影的移动图像的帧率，那么可以仅按等同于移动图像的帧单元的准确性实现同步。因此，在例如用于更新由投影仪21-1投影的移动图像的帧的时序不与由相机22-2进行的成像的时序相符的状况下，难以按与等同于帧单元的准确性相等或比它高的准确性调整时序。
如果相机22-2能够相对于由投影仪21-1投影的移动图像的阵列按足够高的速率执行成像，那么可充分提高同步的准确性。然而，能够例如相对于前述120Hz移动图像按足够高的速率执行成像的相机是昂贵的。因仅出于同步目的而使用此高性能相机所致的成本提高并不实用。
此外，在已使用专利文献1所述的方法的状况下，每一投影仪需要相机。因此，成本可随着将同步的投影仪的数量的增加而提高。
<基于拍摄图像的像素值的同步控制>
鉴于上述情形，按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由多个投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制投影部之间的图像投影时序的扰乱。这可以在抑制成本的提高的同时按提高的准确性实现多个图像投影之间的同步。
<2.第一实施例>
<图像投影系统>
图3是图示应用了本技术的图像投影系统的实施例的主要示范性配置的框图。参照图3，图像投影系统100能够投影图像，拍摄投影图像，并通过使用应用了本技术的方法而在投影设备之间使图像投影同步。
如图3所图示，图像投影系统100包含控制设备111、成像设备112、投影设备113和投影设备114。控制设备111通信连接到成像设备112、投影设备113和投影设备114中的每一个。这些连接可通过有线通信或无线通信来建立。更具体来说，上述设备可例如通过电缆而在物理上连接并被定位成相互远离。
控制设备111执行与投影设备113和投影设备114的图像投影的同步控制相关的过程。如图3所图示，控制设备111包含同步量提取部121、同步图像处理部122和同步调整处理部123。同步量提取部121、同步图像处理部122和同步调整处理部123能够相互传送信息。
同步量提取部121执行与投影设备113与投影设备114之间的同步量的提取相关的过程。同步量是表示图像投影时序的扰乱(也称为失步)的参数。同步量是指示例如失步量多大或失步量多小的参数。例如，同步量提取部121从在物体由成像设备112成像时获得的拍摄图像提取同步量。例如，同步量提取部121根据拍摄图像的像素值而计算同步量。例如，同步量提取部121将所计算同步量供应到同步调整处理部123。
同步图像处理部122执行与用于控制关于将投影的图像的同步的图像处理相关的过程。例如，同步图像处理部122使将投影的图像经过用于使同步量提取部121提供同步量的预定图像处理，将所得的经处理图像供应到投影设备113(其投影图像处理部141)和投影设备114(其投影图像处理部151)，并允许投影设备113和114投影经处理图像。成像设备112提取投影图像，并且同步量提取部121从拍摄图像检测同步量。在此情形下，同步量提取部121通过使用对将投影的图像执行的图像处理而检测同步量。
同步调整处理部123执行与投影设备113与投影设备114之间的同步的控制相关的过程。例如，同步调整处理部123根据由同步量提取部121提取的同步量而控制投影设备113与投影设备114之间的同步。更具体来说，同步调整处理部123按一种方式控制投影部142与投影部152之间的同步，以便根据在成像设备112拍摄由投影部142和152投影到同一位置的投影图像时获得的拍摄图像的像素值来抑制投影部142与投影部152之间的失步。例如，同步调整处理部123通过控制投影设备114(其输出同步调整部153)调整投影设备114的图像投影时序来减小投影设备113与投影设备114之间的失步。
成像设备112执行与物体成像相关的过程。如图3所图示，成像设备112包含成像部131和拍摄图像处理部132。成像部131例如包含使用互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)的图像传感器，并执行与物体成像相关的过程。例如，在拍摄图像处理部132的控制下，成像部131拍摄从投影设备113和114投影的投影图像，获取图像数据(拍摄图像数据)并将所获取图像数据供应到拍摄图像处理部132。拍摄图像处理部132执行与拍摄图像数据相关的过程。例如，拍摄图像处理部132控制成像部131以便令其执行成像，并获取拍摄图像数据。此外，拍摄图像处理部132例如对拍摄图像数据执行预定信号处理，并将所得的经处理图像数据供应到同步量提取部121。
投影设备113执行与图像投影相关的过程。如图3所图示，投影设备113包含投影图像处理部141和投影部142。投影图像处理部141执行与将投影的图像相关的过程。例如，投影图像处理部141获取从同步图像处理部122供应的图像数据。此外，例如，投影图像处理部141对所获取图像数据执行预定信号处理，并将所得的经处理图像数据供应到投影部142。此外，例如，投影图像处理部141控制投影部142以便令其投影由经处理图像数据表示的图像。投影部142执行与图像投影相关的过程。投影部142例如包含例如镜头和发光装置等光学装置。例如，在投影图像处理部141的控制下，投影部142投影从投影图像处理部141供应的图像。
投影设备114执行与图像投影相关的过程。如图3所图示，投影设备114包含投影图像处理部151、投影部152和输出同步调整部153。投影图像处理部151是与投影设备113的投影图像处理部141类似的处理部，并执行与将投影的图像相关的过程。例如，投影图像处理部151获取从同步图像处理部122供应的图像数据。此外，例如，投影图像处理部151对所获取图像数据执行预定信号处理，并将所得的经处理图像数据供应到投影部152。此外，例如，投影图像处理部151控制投影部152以便令其投影由经处理图像数据表示的图像。投影部152是与投影设备113的投影部142类似的处理部，并执行与图像投影相关的过程。投影部152例如包含例如镜头和发光装置等光学装置。例如，在投影图像处理部151的控制下，投影部152投影从投影图像处理部151供应的图像。
输出同步调整部153执行与投影部152的图像投影时序的调整相关的过程。例如，输出同步调整部153按一种方式控制投影部152的图像投影时序，以使得图像投影在由同步调整处理部123指定的时序发生。更具体来说，投影设备114能够改变图像投影时序，这是因为投影设备114包含输出同步调整部153。同时，投影设备113不能够改变图像投影时序(适用于提供固定图像投影时序)。
<图像投影处理的流程>
现将参照图4的流程图来描述由具有上述配置的图像投影系统100执行的图像投影处理的示范性流程。图像投影系统100通过执行图像投影处理来投影图像。
当图像投影处理开始时，控制设备111、成像设备112、投影设备113和投影设备114在步骤S101中执行最小失步搜索处理，以按一种方式搜索投影设备114执行图像投影的时序，以便将投影设备113与投影设备114之间的失步(这也可称为同步调整量)最小化。
当检测到将失步最小化的同步调整量时，控制设备111使用所检测同步调整量以控制投影设备114以便实现投影部142与投影部152之间的同步。更具体来说，同步调整处理部123控制输出同步调整部153以便调整投影设备114(投影部152)的图像投影时序，以使得图像投影(将投影的图像的更新)在步骤S101中所确定的时序发生。在步骤S103中，投影部142和投影部152各自在所设定时序投影内容的图像。当例如通过投影全部内容而完成图像投影时，图像投影处理终止。
<成像设备的特性已知的状况>
现将描述搜索最小失步的方法。在成像设备112的特性已知的状况下，成像设备112与投影设备113中的投影部142的图像投影时序(图像更新时序)同步而被驱动以便进行曝光，并在由投影部142进行的每一帧的投影的周期(即，投影的开始与结束之间的周期)期间获取拍摄图像(直到图像被更新为下一帧图像为止)。
图5图示如何执行上述操作的实例。如图5所图示，投影设备113(ProjP1)在内容周期t1期间投影移动图像的帧图像f1，在内容周期t2期间再次投影帧图像f1，并在下一内容周期期间投影移动图像的下一帧图像f2。更具体来说，投影设备113投影移动图像内容的每一帧图像两次。应注意，内容周期表示更新将由投影设备113投影的图像的间隔(表示在针对图像投影的帧率下的一帧的持续时间)。因此，在此状况下，投影设备113能够按一种方式执行投影图像更新，以使得投影图像按将投影的移动图像的帧率的两倍更新。
此外，假设投影设备113与投影设备114之间的失步量使得失步比a表示一个内容周期的失步量是1的状况。在内容周期t1的第一a周期期间，投影设备114(ProjP2)投影通过将具有由负值“-α”(也称为嵌入值)表示的量值的信号紧接在移动图像内容的帧图像f1之前嵌入在帧图像f0中而获得的图像(f0-α)。随后，在一个内容周期期间，投影设备114投影通过将具有由正值“+α”表示的量值的信号嵌入在帧图像f1中而获得的图像(f1+α)。更具体来说，在内容周期t1内的剩余周期期间以及在内容周期t2的第一a周期期间，投影设备114投影通过将正值“+α”嵌入在帧图像f1中而获得的图像(f1+α)。随后，在一个内容周期期间，投影设备114投影通过将负值“-α”嵌入在帧图像f1中而获得的图像(f1-α)。更具体来说，在内容周期t2内的剩余周期期间以及在下一内容周期的第一a周期期间，投影设备114投影通过将负值“-α”嵌入在帧图像f1中而获得的图像(f1-α)。此外，在紧接内容周期t2的周期内的剩余周期期间，投影设备114投影通过将正值“+α”嵌入在帧图像f2中而获得的图像(f2+α)。
更具体来说，投影设备114产生通过将正值“+α”嵌入在与投影设备113所投影相同的移动图像内容的每一帧图像中而获得的图像，另外产生通过将负值“-α”嵌入在与投影设备113所投影相同的移动图像内容的每一帧图像中而获得的图像，并连续投影所产生图像。更具体来说，投影设备114还能够按一种方式执行投影图像更新，以使得投影图像按将投影的移动图像的帧率的两倍更新。
将嵌入的值可以是改变像素值的任一值。例如，将嵌入的值可以是改变帧图像的亮度和颜色的值。此外，将嵌入的值可以是均匀地改变整个帧图像或应用其程度会随着像素和区域而变化的改变的值。例如，可嵌入预定图案图像。此外，将嵌入的值可嵌入在整个图像帧中或帧图像的一部分中。例如，将嵌入的值可嵌入在不显眼的区域中，例如，帧图像的外帧附近。
投影设备113和投影设备114将图像投影到同一位置。因此，由它们投影的图像相互叠加。成像设备112(相机C)与投影设备113同步，并针对投影设备113的每一内容周期而拍摄所叠加投影图像(当由投影设备113投影的投影图像以及由投影设备114投影的投影图像相互叠加时获得的投影图像)一次。在此情形下，成像设备112通过在内容周期的开始与结束之间进行曝光而产生拍摄图像。更具体来说，成像设备112的成像周期x1对应于投影设备113的内容周期t1，并且成像设备112的成像周期x2对应于投影设备113的内容周期t2。这表示成像设备112的成像周期与投影设备113的内容周期相符。
失步量如下所述从按上述方式获取的拍摄图像提取。首先，可由下式(1)表达内容周期t1的拍摄图像的像素值w1。此外，可由下式(2)表达内容周期t2的拍摄图像的像素值w2。此外，可由下式(3)表达像素值之间的差z。
w1＝f1+a(f0-α)+(1-a)(f1+α)---(1)
w2＝f1+a(f0+α)+(1-a)(f1-α)---(2)
z＝a(f0-f1)+2α(1-2a)---(3)
在帧图像f0、f1和f2相互相同(即，内容是静态图像)的状况下，可以获取取决于失步比a的用于嵌入的值。更具体来说，如果在式(3)中f0＝f1，那么由下式(4)表达差z。
z＝2α(1-2a)---(4)
如果在上述情形下，不存在失步(a＝0)，那么由下式(5)表达差z。
Z＝2α---(5)
更具体来说，在表示成像周期x1的拍摄图像与成像周期x2的拍摄图像(内容周期t1的投影图像与内容周期t2的投影图像)之间的差的差图像中，可认为检测嵌入值的精确度越高，投影设备113与投影设备114之间的失步量越小。顺便提及，因为0≤a≤1，所以由式(4)表示的差z的最大值是2α。更具体来说，可通过如下方式而将失步量(失步比a)最小化：按一种方式调整投影设备114的图像投影时序，以便将差z最大化。
<最小失步搜索处理的流程>
现将参照图6的流程图来描述上述状况下的图4的步骤S101中所执行的最小失步搜索处理的示范性流程。
当开始最小失步搜索处理时，同步调整处理部123在步骤S151中设定同步调整量。更具体来说，同步调整处理部123控制投影设备114的输出同步调整部153以便设定投影部152的图像投影时序(投影图像更新时序)。
在步骤S152中，同步图像处理部122将同步检测信号(正值“α”)嵌入在投影图像中。在步骤S153中，同步图像处理部122将预嵌入图像供应到投影设备113，将后嵌入图像供应到投影设备114，并且使投影设备113和114分别在其自身的时序投影所供应图像。投影设备113的投影图像处理部141将所供应图像供应到投影部142，并使投影部142投影所供应图像。投影部142在一个内容周期期间在其自身的时序投影所供应图像。投影设备114的投影图像处理部151将所供应图像供应到投影部152，并使投影部152投影所供应图像。投影部152在由输出同步调整部153(即，同步调整处理部123)设定的时序在一个内容周期期间投影所供应图像。
在步骤S154中，成像设备112的拍摄图像处理部132控制成像部131以便令其拍摄由投影设备113和114投影的投影图像(当由投影设备113投影的投影图像以及由投影设备114投影的投影图像相互叠加时获得的投影图像)。当拍摄图像处理部132进行控制以便通过令成像部131与投影设备113的图像投影时序同步而执行成像来获取拍摄图像时，拍摄图像处理部132将所获取的拍摄图像供应到同步量提取部121。
在步骤S155中，同步图像处理部122将同步检测信号(负值“-α”)嵌入在投影图像中。在步骤S156中，同步图像处理部122将预嵌入图像供应到投影设备113，将后嵌入图像供应到投影设备114，并且使投影设备113和114分别在其自身的时序投影所供应图像。投影设备113的投影图像处理部141将所供应图像供应到投影部142，并使投影部142投影所供应图像。投影部142在一个内容周期期间在其自身的时序投影所供应图像。投影设备114的投影图像处理部151将所供应图像供应到投影部152，并使投影部152投影所供应图像。投影部152在由输出同步调整部153(即，同步调整处理部123)设定的时序在一个内容周期期间投影所供应图像。在步骤S157中，成像设备112的拍摄图像处理部132控制成像部131以便令其拍摄由投影设备113和114投影的投影图像(当由投影设备113投影的投影图像以及由投影设备114投影的投影图像相互叠加时获得的投影图像)。当拍摄图像处理部132进行控制以便通过令成像部131与投影设备113的图像投影时序同步而执行成像来获取拍摄图像时，拍摄图像处理部132将所获取拍摄图像供应到同步量提取部121。
在步骤S158中，同步量提取部121从在步骤S154中获取的拍摄图像以及在步骤S157中获取的拍摄图像提取同步量。例如，同步量提取部121计算拍摄图像之间的差值作为同步量。
在步骤S159中，基于当前获取的差值与先前获取的差值，同步量提取部121搜索将失步最小化的同步调整量，并确定是否检测到将失步最小化的同步调整量。在此状况下，如上所述，当差值被最大化时，失步被最小化。因此，同步量提取部121搜索最大差值。
在仍未检测到最大差值并且确定尚未检测到将失步最小化的同步调整量的状况下，处理返回到步骤S151，并且接着随后步骤重复。在此状况下，在步骤S151中，同步调整处理部123控制输出同步调整部153以将新时序设定为投影部152的图像投影时序(即，更新同步调整量)。
更具体来说，同步量提取部121确定多个连续拍摄的图像之间的差作为表示投影设备113与投影设备114之间的图像投影时序的扰乱的参数，并且同步调整处理部123按一种方式控制投影设备114的图像投影时序(即，投影设备113与投影设备114之间的同步)，以便将由同步量提取部121计算的差最大化。
按上文所述的方式，重复执行步骤S151到S159，直到检测到将失步最小化的同步调整量为止(直到检测到最大差值为止)。接着，在步骤S159中确定检测到将失步最小化的同步调整量的状况下，最小失步搜索处理终止，并且向同步调整处理部123通知检测到将失步最小化的同步调整量。或者，可将所检测同步调整量供应到同步调整处理部123。
同步调整处理部123使用所检测同步调整量以控制输出同步调整部153，以便令其控制投影设备114(投影部152)的图像投影时序。因此，投影设备114的图像投影时序被设定成将失步最小化(步骤S102)。
更具体来说，同步调整处理部123按一种方式控制投影设备113与投影设备114之间的同步，以使得在由成像设备112与投影设备114同步而拍摄的拍摄图像中，正值和负值由投影设备114交替投影到的投影图像中所含有的嵌入值的绝对值被最大化。
按上述方式控制图像投影时序可以按等同于比成像间隔短的间隔的提高的准确性使多个图像投影同步。更具体来说，可较准确地使多个图像同步。此外，上述方法仅将值嵌入在图像中，投影图像，并搜索将从投影图像导出的拍摄图像之间的差值最大化的时序。因此，可容易地实现同步。此外，当使用上述方法时，需要成像设备112能够仅按与用于移动图像内容的帧率实质上相同的帧率拍摄图像。此外，仅需要成像设备112的一个单元。因此，可在抑制成本的提高的同时实现同步。
应注意，用于检测上述失步的内容不需要始终是静态图像。更具体来说，帧图像f0、f1和f2不需要始终相互相同。因为帧图像f0、f1和f2是从连续帧导出，所以这些帧图像之间的差通常不显著。因此，可检测到将失步最小化的同步调整量。因此，例如，也可通过将值嵌入在移动图像内容的投影期间获得的帧图像中而实现同步。因此，这消除出于失步调整的目的而打断内容投影的必要性，并且使得容易例如通过操纵投影设备的环境改变和时间改变来解决所使的失步。此外，在此状况下，当正值和负值嵌入在与先前所述相同的帧中时，投影图像中的所嵌入正值和所嵌入负值相互偏移。这使得可以抑制投影图像的主观图像质量的降低。
显然，当将按上述方式进行同步控制时，可投影静态图像。例如，在未投影移动图像内容(例如，在图像投影之前或之后)时，可通过使用静态图像来进行同步控制。
应注意，可在图6的步骤S157中使用替代方法以搜索将失步最小化的同步调整量并确定是否搜索同步调整量。例如，替代方案是获得在一个内容周期期间拍摄的图像与在紧接在前的周期期间拍摄的图像之间的差值，等待直到差值小于先前差值的时间点为止，接着将从紧接在前的内容周期获得的差值视为最大值，并且针对此内容周期而检测同步调整量作为将失步最小化的同步调整量。另一替代方案是例如获得在预定数量的内容周期期间拍摄的图像之间的差值，针对产生最大差值的内容周期而确定同步调整量，并检测此同步调整量作为将失步最小化的同步调整量。又一替代方案是例如通过重复搜索将失步最小化的同步调整量许多次而获得较准确的同步调整量。
此外，可从整个投影图像或其一部分获得拍摄图像之间的差值。例如，可将关于投影图像的所有像素的拍摄图像之间的差值的总和视为“投影图像之间的差值”并将其用于搜索将失步最小化的同步调整量。或者，可在个别像素基础上检查投影图像的所有像素，以搜索将失步最小化的同步调整量并通过使用所搜索同步调整量而确定最终同步调整量。
此外，可检查投影图像的某区域以在个别像素基础上或整个区域基础上获得“拍摄图像之间的差值”，并使用所获得值以搜索将失步最小化的同步调整量。此外，可将投影图像中的像素中的一些视为代表性像素，并对其进行检查以在个别像素基础上或整个区域基础上获得“拍摄图像之间的差值”，以便通过使用所获得值来搜索将失步最小化的同步调整量。
<3.第二实施例>
<成像设备的特性未知的状况>
在成像设备112的特性未知的状况下，难以与投影设备113的投影部142的图像投影时序(图像更新时序)同步而驱动成像设备112。因此，在此状况下，关于由成像设备112拍摄的拍摄图像，控制投影设备113与投影设备114之间的同步，以便将投影图像与从投影设备113和投影设备114投影的不同图案图像的组合结果之间的差最小化。
图7图示如何控制上述同步的实例。如图7所图示，投影设备113(ProjP1)在内容周期t1期间投影预定图案图像V1，并在内容周期t2期间投影不同于图案图像V1的预定图案图像V2。此外，投影设备113在下一内容周期期间投影图案图像V1。更具体来说，投影设备113交替投影图案图像V1和图案图像V2。换句话说，投影设备113依序投影多个图案图像。
同时，投影设备114(ProjP2)在内容周期t1内的第一a周期期间投影图案图像V1，并接着在一个内容周期期间投影图案图像V2。随后，投影设备114在一个内容周期期间投影图案图像V1，并接着在一个内容周期期间投影图案图像V2。更具体来说，如同投影设备113，投影设备114交替投影图案图像V1和图案图像V2。换句话说，投影设备114依序投影多个图案图像。然而，投影设备114投影与由投影设备113投影的图案图像不同的图案图像。更具体来说，投影设备114在投影设备113投影图案图像V1的内容周期期间投影图案图像V2，并在投影设备113投影图案图像V2的内容周期期间投影图案图像V1。然而，投影设备114的图像投影时序相对于投影设备113的图像投影时序偏差(延迟)失步比a。
因为投影设备113和投影设备114将图像投影到同一位置，所以投影图像相互叠加。成像设备112(相机C)在独立时序拍摄所叠加投影图像(当由投影设备113投影的投影图像以及由投影设备114投影的投影图像相互叠加时获得的投影图像)的图像。更具体来说，由成像设备112进行的成像的周期(例如，成像周期x1和成像周期x2)的时序不与投影设备113和投影设备114的内容周期同步。例如，成像设备112与投影设备113之间的失步量被定义为一个内容周期期间的失步量是1的状况下的成像失步比d。然而，并且在此状况下，成像周期的长度等于内容周期。更具体来说，成像设备112通过进行曝光持续与内容周期相同的持续时间而产生拍摄图像。
在不存在失步(a＝0)的状况下，由投影设备113投影的投影图像以及由投影设备114投影的投影图像的总和在每一内容周期期间等于V1+V2。这表示在具有与相关联的内容周期相同的持续时间的成像周期期间拍摄的拍摄图像也等于V1+V2。更具体来说，失步(失步比a)可通过如下方式来最小化：将值(V1+V2)用作拍摄图像的目标值，并按一种方式调整投影设备114的图像投影时序，以使得拍摄图像的值变得较接近目标值(V1+V2)。
<最小失步搜索处理的流程>
现将参照图8的流程图来描述上述状况下的图4的步骤S101中所执行的最小失步搜索处理的示范性流程。
当最小失步搜索处理开始时，首先，确定拍摄图像的目标值(V1+V2)。在步骤S251中，同步图像处理部122将图案图像V1供应到投影设备113，并使投影设备113投影所供应图案图像V1。投影设备113的投影图像处理部141将图案图像V1供应到投影部142，并使投影部142投影图案图像V1。应注意，此图像投影继续至少直到执行成像为止。
在步骤S252中，成像设备112的拍摄图像处理部132控制成像部131以便令其通过在一个成像周期期间进行曝光而拍摄投影图像的图像。在获取由成像部131拍摄的拍摄图像之后，拍摄图像处理部132将所获取拍摄图像供应到同步量提取部121。
在步骤S253中，同步图像处理部122将图案图像V2供应到投影设备113，并使投影设备113投影图案图像V2。投影设备113的投影图像处理部141将图案图像V2供应到投影部142，并使投影部142投影图案图像V2。应注意，此图像投影继续至少直到执行成像为止。
在步骤S254中，成像设备112的拍摄图像处理部132控制成像部131以便令其通过在一个成像周期期间进行曝光而在其自身的时序拍摄投影图像的图像。在获取由成像部131拍摄的拍摄图像之后，拍摄图像处理部132将所获取拍摄图像供应到同步量提取部121。
在步骤S255中，同步量提取部121通过将在步骤S252中获取的拍摄图像与在步骤S254中获取的拍摄图像相加而计算目标值(V1+V2)。
在计算目标值(V1+V2)之后，同步调整处理部123在步骤S256中设定同步调整量。更具体来说，同步调整处理部123控制投影设备114的输出同步调整部153以便设定投影部152的图像投影时序(投影图像更新时序)。
在步骤S257中，同步图像处理部122在一个接一个的内容周期期间交替将图案图像V1和图案图像V2供应到投影设备113，并且使投影设备113在一个接一个的内容周期期间交替投影图案图像V1和图案图像V2。投影设备113的投影图像处理部141将所供应图案图像供应到投影部142，并使投影部142投影所供应图案图像。投影部142在一个内容周期期间在其自身的时序投影所供应图案图像。更具体来说，投影部142在一个接一个的内容周期期间交替投影图案图像V1和图案图像V2。
类似地，同步图像处理部122在一个接一个的内容周期期间交替将图案图像V2和图案图像V1供应到投影设备113，并且使投影设备113在一个接一个的内容周期期间交替投影图案图像。投影设备114的投影图像处理部151将所供应图案图像供应到投影部152，并使投影部152投影所供应图案图像。投影部152在由输出同步调整部153(即，同步调整处理部123)设定的时序在一个内容周期期间投影所供应图案图像。更具体来说，投影部152在一个接一个的内容周期期间交替投影图案图像V2和图案图像V1。
应注意，同步图像处理部122在每一内容周期期间将图案图像V1和V2中的一个供应到投影设备113并将另一个供应到投影设备114。更具体来说，投影设备113和投影设备114在每一内容周期期间投影不同图案图像。更具体来说，在例如投影设备113在投影设备113的某内容周期期间投影图案图像V1的状况下，投影设备114在对应于上述某内容周期的投影设备114的内容周期期间投影图案图像V2。相反，在投影设备113在投影设备113的某内容周期期间投影图案图像V2的状况下，投影设备114在对应于上述某内容周期的投影设备114的内容周期期间投影图案图像V1。应注意，术语“对应”在此处用于表示在不存在失步(a＝0)的状况下，内容周期的时间相互相符。
在步骤S258中，成像设备112的拍摄图像处理部132控制成像部131以便令其通过在一个成像周期期间进行曝光而在其自身的时序拍摄投影图像的图像。在获取由成像部131拍摄的拍摄图像之后，拍摄图像处理部132将所获取拍摄图像供应到同步量提取部121。
在步骤S259中，同步量提取部121计算经由步骤S258中的处理而获取的拍摄图像与经由步骤S255中的处理而获取的目标值(V1+V2)之间的差值作为同步量。
在步骤S260中，基于当前获取的差值与先前获取的差值，同步量提取部121搜索将失步最小化的同步调整量，并确定是否检测到将失步最小化的同步调整量。在此状况下，如上所述，当获得最小差值时，失步被最小化。因此，同步量提取部121搜索最小差值。
在仍未检测到最小差值并且确定尚未检测到将失步最小化的同步调整量的状况下，处理返回到步骤S256，并且接着随后步骤重复。在此状况下，在步骤S256中，同步调整处理部123控制输出同步调整部153以将新时序设定为投影部152的图像投影时序(即，更新同步调整量)。
更具体来说，同步量提取部121确定拍摄图像与目标值(图案图像V1和V2的组合结果)之间的差作为表示投影设备113与投影设备114之间的图像投影时序的扰乱的参数，并且同步调整处理部123按一种方式控制投影设备114的图像投影时序(即，投影设备113与投影设备114之间的同步)，以便将由同步量提取部121计算的差最小化。
按上文所述的方式，重复执行步骤S256到S260，直到检测到将失步最小化的同步调整量为止(直到检测到最大差值为止)。接着，在步骤S260中确定检测到将失步最小化的同步调整量的状况下，最小失步搜索处理终止，并且向同步调整处理部123通知检测到将失步最小化的同步调整量。或者，可将所检测同步调整量供应到同步调整处理部123。
同步调整处理部123使用所检测同步调整量以控制输出同步调整部153，以便令其控制投影设备114(投影部152)的图像投影时序。因此，投影设备114的图像投影时序被设定成将失步最小化(步骤S102)。
更具体来说，同步调整处理部123控制投影设备113与投影设备114之间的同步，以便将在不同图案图像由投影设备113和投影设备114投影到同一位置时获得的投影图像与所投影图案图像的组合结果之间的差最小化。
按上述方式控制图像投影时序可以即使在成像设备的特性未知的状况下，也按等同于比成像间隔短的间隔的提高的准确性使多个图像投影同步。更具体来说，可较准确地使多个图像同步。此外，上述方法仅投影多个图案图像，并搜索将从所投影图案图像导出的拍摄图像与目标值之间的差值最小化的时序。因此，可容易地实现同步。此外，当使用上述方法时，仅需要成像设备112能够按与用于移动图像内容的帧率实质上相同的帧率拍摄图像。此外，仅需要成像设备112的一个单元。因此，可在抑制成本的提高的同时实现同步。
上述图案图像V1和图案图像V2可以是相互不同的任何图像。此外，只要使用两个或更多个图案图像，便可使用任何数量的图案图像。例如，可使用三个或更多个不同图案图像。
应注意，可在图8的步骤S260中使用任何方法，以便搜索将失步最小化的同步调整量并确定是否搜出同步调整量。例如，替代方案是每次确定拍摄图像与目标值之间的差值，等待直到差值大于先前差值的时间点为止，接着将紧接在前的拍摄图像与目标值之间的差值视为最小值，并且检测所得同步调整量作为将失步最小化的同步调整量。另一替代方案是例如执行成像预定次数，确定每一拍摄图像与目标值之间的差值，并检测从被执行以获取提供最小差值的拍摄图像的成像操作导出的同步调整量作为将失步最小化的同步调整量。又一替代方案是例如通过重复搜索将失步最小化的同步调整量许多次而获得较准确的同步调整量。
<4.第三实施例>
<替代配置>
根据本技术的图像投影系统100的配置不限于图3中的上述实例。例如，可使用任一件数的控制设备111、成像设备112、投影设备113和投影设备114。例如，可使用多件控制设备111和多件成像设备112，并且可使用三个或更多个投影设备。此外，投影设备的规格(例如，分辨率、亮度和帧率)可相互相同或不同。此外，图像投影系统100中的投影设备可限于投影设备114(多件投影设备114)。更具体来说，图像投影系统100中的所有投影设备可具有调整图像投影时序(以使得图像投影时序可变)的功能。
此外，如例如图9所图示，图像投影系统100中所包含的设备可经由网络310而互连。
任何通信网络可用作网络310。网络310可采用任何通信方法。例如，网络310可采用有线通信方法、无线通信方法或两者。此外，网络310可包含单个通信网络或多个通信网络。例如，网络310可包含遵循任何通信标准的通信网络和通信路径，例如，因特网、公用电话网络、无线移动广域通信网络(例如，所谓的3G或4G线路)、广域网(WAN)、局域网(LAN)、遵循Bluetooth(注册商标)标准、近场通信(NFC)或其它短程无线通信路径、红外线通信路径的无线通信网络以及例如遵循高清晰度多媒体接口(HDMI，注册商标)或通用串行总线(USB)标准的有线通信网络。
设备通信连接到网络310。应注意，这些连接可以是有线连接(例如，经由有线通信进行的连接)、无线连接(即，经由无线通信进行的连接)或有线连接和无线连接的组合。设备能够经由网络310而相互通信(例如，相互传送信息)。换句话说，设备可经由其它设施(例如，设备和传输路径)而互通连接。即使在使用上述配置的状况下，如同上述其它实施例，本技术也适用于图像投影系统100，以使得可实现上文所述的操作优点。
此外，如例如图10所图示，控制设备111和成像设备112可集成为单个设备。在图10的实例中，图像投影系统100包含成像设备320，而不是控制设备111和成像设备112。成像设备320包含控制部321和成像部322。控制部321是执行与同步控制相关的过程的处理部，具有类似于控制设备111的配置，并执行与控制设备111类似的处理。同时，成像部322是执行与成像相关的过程的处理部，具有类似于成像设备112的配置，并执行与成像设备112类似的处理。如图10所图示，如同投影设备113和投影设备114连接到控制设备111，投影设备113和投影设备114连接到控制部321。控制部321根据由成像部322拍摄的拍摄图像而控制投影设备113与投影设备114之间的同步。因此，即使在使用上述配置的状况下，本技术也适用于图像投影系统100，以使得可实现上文所述的操作优点。
此外，如例如图11所图示，成像设备112和投影设备113可集成为单个设备。在图11的实例中，图像投影系统100包含投影成像设备330，而不是成像设备112和投影设备113。投影成像设备330包含成像部331和投影部332。成像部331是执行与成像相关的过程的处理部，具有类似于成像设备112的配置，并执行与成像设备112类似的处理。投影部332是执行与图像投影相关的过程的处理部，具有类似于投影设备113的配置，并执行与投影设备113类似的处理。如图11所图示，投影成像设备330也连接到控制设备111。控制设备111根据由成像部331拍摄的拍摄图像而控制投影部332与投影设备114之间的同步。因此，即使在使用上述配置的状况下，本技术也适用于图像投影系统100，以使得可实现上文所述的操作优点。
此外，如图12的实例所图示，控制设备111也可被集成。在图12的实例中，图像投影系统100包含投影成像设备340，而不是控制设备111、成像设备112和投影设备113。投影成像设备340包含控制部341、成像部342和投影部343。控制部341是执行与同步控制相关的过程的处理部，具有类似于成像设备111的配置，并执行与成像设备111类似的处理。成像部342是执行与成像相关的过程的处理部，具有类似于成像设备112的配置，并执行与成像设备112类似的处理。投影部343是执行与图像投影相关的过程的处理部，具有类似于投影设备113的配置，并执行与投影设备113类似的处理。如图12所图示，如同投影设备114连接到控制设备111，投影设备114连接到控制部341。控制部341根据由成像部342拍摄的拍摄图像而控制投影部343与投影设备114之间的同步。因此，即使在使用上述配置的状况下，本技术也适用于图像投影系统100，以使得可实现上文所述的操作优点。
显然，图像投影系统100中的设备不限于上述实例。设备的任何组合可集成为单个设备。
此外，已参照本技术应用到图像投影系统的状况来描述本技术。然而，本技术也适用于例如具有显示图像或执行图像显示过程的功能的图像显示设备或图像显示系统的任何配置。
<5.其它>
<本技术的应用领域>
本技术例如适用于各种领域中的任一个(例如，运输、医疗、犯罪预防、农业、畜牧业、采矿、美容护理、制造、家用电器、气象和自然监控)中所使用的系统、设备和处理部，只要这些系统、设备和处理部涉及处理图像即可。
例如，本技术还适用于用于鉴赏的系统和装置。此外，本技术还适用于例如用于交通管理的系统和装置。此外，本技术还适用于例如用于安全的系统和装置。此外，本技术还适用于例如用于体育的系统和装置。此外，本技术还适用于例如用于农业的系统和装置。此外，本技术还适用于例如用于畜牧业的系统和装置。此外，本技术还适用于例如监控自然状态(例如，火山、森林和海洋的状态)的系统和装置。同样，本技术还适用于例如用于例如气候、温度、湿度、风速和日照时间的观测的气象观测系统和设备。同样，本技术还适用于例如用于观测例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫和植物等野生动植物的生态的系统和装置。
<软件>
上述系列的过程可由硬件执行或软件执行。此外，一些过程可由硬件执行，并且其它过程可由软件执行。当所述系列的过程将由软件执行时，形成所述软件的程序安装在计算机上。此处，计算机可以是并入到专用硬件中的计算机或例如是能够在安装了各种程序时执行各种功能的通用个人计算机。
图13是图示执行程序以便执行上文所述的系列的过程的计算机的示范性硬件配置的框图。
在图13所图示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802以及随机存取存储器(RAM)803经由总线804而互连。
输入/输出接口810也连接到总线804。输入/输出接口810连接到输入部811、输出部812、存储部813、通信部814和驱动器815。
输入部811包含例如键盘、鼠标、麦克风、触摸面板和输入端子。输出部812包含例如显示器、扬声器和输出端子。存储部813包含例如硬盘、RAM盘和非易失性存储器。通信部814包含例如网络接口。驱动器815驱动可移除式介质，例如，磁盘、光盘、磁光盘或半导体存储器。
在如上所述而配置的计算机中，CPU801通过经由输入/输出接口810和总线804将例如存储在存储部813中的程序加载到RAM803中并执行所加载的程序而执行上文所述的系列的过程。RAM803也视需要存储对于允许CPU801执行各种过程必要的数据。
将由计算机(CPU801)执行的程序可记录在打包介质或其它可移除式介质821上并接着加以应用。在此状况下，程序可通过将可移除式介质821插入到驱动器815中经由输入/输出接口810而安装在存储部813中。此外，程序也可经由有线或无线传输介质(例如局域网、因特网或数字卫星广播)而供应。在此状况下，程序可由通信部814接收并安装在存储部813中。此外，程序可预先安装在ROM802或存储部813中。
<补充说明>
本技术的实施例不限于前述实施例。可对前述实施例进行各种修改，而不偏离本技术的精神和范围。
例如，本技术可实施为通过将额外功能添加到设备或系统中所包含的所有元件而获得的套装(即，设备的部分配置)，例如，充当系统大规模集成电路(LSI)的处理器、使用多个处理器的模块以及使用多个模块的单元。
应注意，本文献中所使用的术语“系统”表示一组多个部件元件(设备、模块(零件)等)。所有部件元件是否容纳在同一外壳中并不重要。因此，术语“系统”例如不仅表示容纳在不同外壳中并经由网络连接的多个设备，而且表示包含容纳在单个外壳中的多个模块的单个设备。
此外，上述处理部可通过使用任何配置来实施，只要它们具有处理部的上述功能即可。此外，上述处理部可包含适当电路、LSI、系统LSI、处理器、模块、单元、套装、装置、设备或系统。此外，处理部可包含这些元件的组合。例如，上述处理部可包含例如多件电路或多件处理等同一类型的元件的组合，或包含例如电路和LSI的组合等不同类型的元件的组合。
此外，被描述为单个设备(或单个处理部)的配置可被划分并配置为多个设备(或多个处理部)。相反，被描述为多个设备(或多个处理部)的配置可被组合并配置为单个设备(或单个处理部)。此外，除上文所述之外的配置可添加到每一设备(或每一处理部)的配置。此外，只要整个系统的配置和操作实质上保持不变，某设备(或某处理部)的配置的一部分便可包含在另一设备(或另一处理部)的配置中。
此外，本技术可应用到单个功能由多个设备在网络上分享并合作处理的云计算配置。
此外，例如，上述程序可由任何设备执行。在此状况下，用于执行上述程序的设备应具有必要功能(例如，功能块)并能够获取必要信息。
此外，参照前述流程图而描述的步骤可不仅由单个设备执行，而且由多个设备分享并执行。同样，在多个过程包含在单个步骤中的状况下，包含在单个步骤中的多个过程可不仅由单个设备执行，而且由多个设备分享并执行。更具体来说，包含在单个步骤中的多个过程可作为多个步骤中的过程来执行。相反，结合多个步骤而描述的过程可被组合并作为单个步骤来执行。
将由计算机执行的程序可使得描述程序的步骤中的过程按本文献中所述的次序按时间顺序执行，并行地执行或当进行呼叫时在必要时序个别地执行。更具体来说，只要不产生矛盾，个别步骤中的过程就可按不同于上述次序的次序执行。此外，描述程序的步骤中的过程可与另一程序中的过程并行地执行或与其组合执行。
只要不产生矛盾，多件本文献所述的本技术就可个别地独立实施。显然，多件本技术中的任一个可组合实施。例如，结合某实施例而描述的本技术的一部分或全部可与结合另一实施例而描述的本技术的一部分或全部组合实施。此外，上文所述的任何本技术的一部分或全部可与上文未描述的不同技术组合实施。
应注意，本技术可进一步采用以下配置。
(1)一种图像处理设备，包含：
同步控制部，按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由所述投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制所述投影部之间的图像投影时序的扰乱。
(2)如(1)所述的图像处理设备，其中所述同步控制部按一种方式控制多个所述投影部之间的所述同步，以便在由所述成像部与所述投影部中的一个同步而拍摄的所述拍摄图像中将正值和负值由多个所述投影部中的另一投影部交替投影到的所述投影图像中所含有的嵌入值的绝对值最大化。
(3)如(1)所述的图像处理设备，其中在由所述成像部拍摄的所述拍摄图像中，所述同步控制部按一种方式控制所述投影部之间的所述同步，以便将所述投影图像与含有不同图案图像的多个投影图像的组合结果之间的差最小化。
(4)如(1)到(3)中任一项所述的图像处理设备，还包含：
计算部，根据所述拍摄图像的所述像素值而计算表示所述投影部之间的图像投影时序的所述扰乱的参数的值，
其中所述同步控制部按一种方式控制所述投影部之间的所述同步，以便根据由所述计算部计算的所述参数的所述值来抑制所述投影部之间的图像投影时序的所述扰乱。
(5)如(4)所述的图像处理设备，其中
所述计算部计算多个所述连续拍摄的图像之间的差作为所述参数，并且
所述同步控制部按一种方式控制所述投影部之间的所述同步，以便将由所述计算部计算的所述差最大化。
(6)如(4)所述的图像处理设备，其中
所述计算部计算所述拍摄图像中所含有的所述投影图像与由多个所述投影部投影的不同图案图像的组合结果之间的差作为所述参数，并且
所述同步控制部按一种方式控制所述投影部之间的所述同步，以便将由所述计算部计算的所述差最小化。
(7)如(6)所述的图像处理设备，其中所述计算部通过使用含有不同图案图像的投影图像的拍摄图像而计算所述组合结果。
(8)如(1)到(7)中任一项所述的图像处理设备，还包含：
图像处理部，对由多个所述投影部投影的图像执行图像处理以便控制所述投影部之间的所述同步，
其中所述同步控制部被配置成按一种方式控制所述投影部之间的所述同步，以便根据经过由所述图像处理部进行的图像处理的所述拍摄图像的像素值来抑制所述投影部之间的图像投影时序的所述扰乱。
(9)如(8)所述的图像处理设备，其中所述图像处理部将正值和负值嵌入到同一图像中，并且使所述投影部投影具有所述所嵌入正值的图像以及具有所述所嵌入负值的图像。
(10)如(1)到(9)中任一项所述的图像处理设备，还包含：
成像部，拍摄所述投影图像的图像以获取所述拍摄图像。
(11)如(10)所述的图像处理设备，其中所述成像部与多个所述投影部中的一个同步，并通过在由所述投影部进行的图像投影的周期期间进行曝光而获取所述拍摄图像。
(12)如(10)所述的图像处理设备，其中所述成像部通过进行曝光持续具有与由所述投影部进行的图像投影的所述周期相同的持续时间的周期而获取所述拍摄图像。
(13)如(12)所述的图像处理设备，其中所述成像部拍摄含有由所述同步控制部用于同步控制的多个不同图案图像的投影图像中的每一个的图像。
(14)如(1)到(13)中任一项所述的图像处理设备，还包含：
投影部，投影图像。
(15)如(14)所述的图像处理设备，其中所述投影部交替投影具有所嵌入正值的图像以及具有所嵌入负值的图像。
(16)如(14)所述的图像处理设备，其中所述投影部依序投影多个图案图像。
(17)如(16)所述的图像处理设备，其中所述投影部在依序投影多个所述图案图像之前，投影多个所述图案图像中的每一个，并且使所述成像部拍摄每一投影图像。
(18)一种图像处理方法，按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由所述投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制所述投影部之间的图像投影时序的扰乱。
【附图标记列表】
100：图像投影系统
111：控制设备
112：成像设备
113、114：投影设备
121：同步量提取部
122：同步图像处理部
123：同步调整处理部
131：成像部
132：拍摄图像处理部
141：投影图像处理部
142：投影部
151：投影图像处理部
152：投影部
153：输出同步调整部
310：网络
320：成像设备
321：控制部
322：成像部
330：投影成像设备
331：成像部
332：投影部
340：投影成像设备
341：控制部
342：成像部
343：投影部
800：计算机。

Claims (16)

1.一种图像处理设备，包括：
同步控制部，其按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由所述投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制所述多个投影部之间的图像投影时序的扰乱；以及
计算部，其根据所述拍摄图像的所述像素值而计算表示所述多个投影部之间的图像投影时序的所述扰乱的参数的值，
其中，所述同步控制部根据所述参数的值设置所述多个投影部中的第一投影部的图像投影时序来控制所述多个投影部之间的所述同步，以便抑制所述多个投影部之间的图像投影时序的所述扰乱。
2.根据权利要求1所述的图像处理设备，其中所述同步控制部按一种方式设置所述第一投影部的图像投影时序，以便在由所述成像部与所述多个投影部中的第二投影部同步而拍摄的所述拍摄图像中，使由所述第一投影部交替投影了正值和负值的所述投影图像中所含有的嵌入值的绝对值最大化。
3.根据权利要求1所述的图像处理设备，其中
所述计算部计算连续拍摄的多个所述图像之间的差作为所述参数，并且
所述同步控制部按一种方式设置所述第一投影部的图像投影时序，以便将由所述计算部计算的所述差最大化。
4.根据权利要求1所述的图像处理设备，其中
所述计算部计算所述拍摄图像中所含有的所述投影图像与由所述多个投影部投影的不同图案图像的组合结果之间的差作为所述参数，并且
所述同步控制部按一种方式设置所述第一投影部的图像投影时序，以便将由所述计算部计算的所述差最小化。
5.根据权利要求4所述的图像处理设备，其中所述计算部通过使用含有不同图案图像的投影图像的拍摄图像而计算所述组合结果。
6.根据权利要求1所述的图像处理设备，还包括：
图像处理部，其对要由所述多个投影部投影的图像执行图像处理以便控制所述多个投影部之间的所述同步。
7.根据权利要求6所述的图像处理设备，其中所述图像处理部将正值和负值嵌入到相同图像中，并且使所述多个投影部投影具有嵌入的所述正值的图像以及具有嵌入的所述负值的图像。
8.根据权利要求1所述的图像处理设备，还包括：
所述成像部，其拍摄所述投影图像的图像以获取所述拍摄图像。
9.根据权利要求8所述的图像处理设备，其中所述成像部与所述多个投影部中的第二投影部同步，并通过在由所述第二投影部进行的图像投影的时间段进行曝光而获取所述拍摄图像。
10.根据权利要求8所述的图像处理设备，其中所述成像部通过在具有与由每个所述投影部进行的图像投影的时间段相同的持续时间的时间段进行曝光而获取所述拍摄图像。
11.根据权利要求10所述的图像处理设备，其中所述成像部拍摄含有由所述同步控制部用于同步控制的多个不同图案图像的投影图像中的每一个的图像。
12.根据权利要求1所述的图像处理设备，还包括：
所述多个投影部中的一个投影部，其投影图像。
13.根据权利要求12所述的图像处理设备，其中所述一个投影部交替投影具有嵌入的正值的图像以及具有嵌入的负值的图像。
14.根据权利要求12所述的图像处理设备，其中所述一个投影部依序投影多个图案图像。
15.根据权利要求14所述的图像处理设备，其中所述一个投影部在依序投影多个所述图案图像之前，投影多个所述图案图像中的每一个，并且使所述成像部拍摄每一个投影图像。
16.一种图像处理方法，包括：
按一种方式控制多个投影部之间的同步，以便根据通过允许成像部拍摄由所述投影部投影到同一位置的投影图像而获得的拍摄图像的像素值来抑制所述多个投影部之间的图像投影时序的扰乱；以及
根据所述拍摄图像的所述像素值而计算表示所述多个投影部之间的图像投影时序的所述扰乱的参数的值，
其中，根据所述参数的值设置所述多个投影部中的第一投影部的图像投影时序来控制所述多个投影部之间的所述同步，以便抑制所述多个投影部之间的图像投影时序的所述扰乱。
CN201880017098.8A 2017-03-17 2018-03-02 图像处理设备和方法 Expired - Fee Related CN110383829B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017052119 2017-03-17
JP2017-052119 2017-03-17
PCT/JP2018/008054 WO2018168528A1 (ja) 2017-03-17 2018-03-02 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN110383829A CN110383829A (zh) 2019-10-25
CN110383829B true CN110383829B (zh) 2021-12-24

Family

ID=63523022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017098.8A Expired - Fee Related CN110383829B (zh) 2017-03-17 2018-03-02 图像处理设备和方法

Country Status (3)

Country Link
US (1) US11184590B2 (zh)
CN (1) CN110383829B (zh)
WO (1) WO2018168528A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6915597B2 (ja) * 2018-08-29 2021-08-04 セイコーエプソン株式会社 制御装置、マルチプロジェクションシステム、および制御装置の制御方法
CN117041508B (zh) * 2023-10-09 2024-01-16 杭州罗莱迪思科技股份有限公司 一种分布式投影方法、投影系统、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
JP2009122412A (ja) * 2007-11-15 2009-06-04 Seiko Epson Corp 画像表示システム及び画像表示装置
CN103430555A (zh) * 2011-03-14 2013-12-04 杜比实验室特许公司 使用激光光源的3d投影系统
JP2014077933A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像投影装置、画像投影方法及びプログラム
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
CN104781722A (zh) * 2012-10-10 2015-07-15 雷诺股份公司 平视显示设备和方法
JP2016225922A (ja) * 2015-06-02 2016-12-28 株式会社リコー 無線通信システム及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1875732B1 (en) * 2005-04-26 2016-12-28 Imax Corporation Electronic projection systems and methods
JP4354449B2 (ja) * 2005-10-26 2009-10-28 オリンパス株式会社 表示画像撮像方法および装置
JP2008051848A (ja) * 2006-08-22 2008-03-06 Seiko Epson Corp 表示装置、マルチディスプレイシステム、同期制御方法、同期制御プログラム、および記録媒体
JP2014106386A (ja) 2012-11-28 2014-06-09 Seiko Epson Corp 画像表示システム、画像表示方法及びプロジェクター
US20150177608A1 (en) * 2013-02-01 2015-06-25 Jeremy Richard Nelson Auto stereoscopic projector screen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
JP2009122412A (ja) * 2007-11-15 2009-06-04 Seiko Epson Corp 画像表示システム及び画像表示装置
CN103430555A (zh) * 2011-03-14 2013-12-04 杜比实验室特许公司 使用激光光源的3d投影系统
CN104781722A (zh) * 2012-10-10 2015-07-15 雷诺股份公司 平视显示设备和方法
JP2014077933A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像投影装置、画像投影方法及びプログラム
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP2016225922A (ja) * 2015-06-02 2016-12-28 株式会社リコー 無線通信システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
动态三维测量中图像同步高速投影与采集的原理及实现;朱红等;《现代制造工程》;20150418(第04期);全文 *

Also Published As

Publication number Publication date
CN110383829A (zh) 2019-10-25
US20200059632A1 (en) 2020-02-20
WO2018168528A1 (ja) 2018-09-20
US11184590B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
US10412291B2 (en) Intelligent interface for interchangeable sensors
US11425358B2 (en) Method and system for unsynchronized structured lighting
JP7074052B2 (ja) 画像処理装置および方法
US20170269187A1 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
JP2006005608A (ja) 撮像装置
US20180115683A1 (en) Multiview camera synchronization system and method
JP2019114914A (ja) 撮像装置、その制御方法、プログラムならびに撮像システム
US10194141B2 (en) Imaging device and imaging method
US9979898B2 (en) Imaging apparatus equipped with a flicker detection function, flicker detection method, and non-transitory computer-readable storage medium
US20180241941A1 (en) Image processing apparatus, image processing method, and image pickup apparatus
CN110383829B (zh) 图像处理设备和方法
US9661191B2 (en) Image capture apparatus having function of generating frame synchronization signal at constant cycle
EP3506623B1 (en) Image processing apparatus and method
CN108924426A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20200242393A1 (en) Image processing apparatus and image processing method
US10038812B2 (en) Imaging apparatus, recording instruction apparatus, image recording method and recording instruction method
KR20200139321A (ko) 이미지 센서 및 이를 포함하는 이미지 처리 시스템
US20230049796A1 (en) Information processing apparatus, information processing method, and program
KR20150049262A (ko) 영상 처리 장치 및 영상 처리 방법
CN110870301B (zh) 一种图像显示方法、装置及图像处理设备
US11050928B2 (en) Image capturing control apparatus, image capturing apparatus, control method, and storage medium
WO2023176488A1 (ja) 移動体計測方法
KR101007347B1 (ko) 전방향 영상 획득 시스템 및 방법
CN114697466A (zh) 视频帧采集同步控制
JP2023164245A (ja) 光カメラ通信のフレーム補正方法及び電子デバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211224