CN107113391B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN107113391B
CN107113391B CN201580066704.1A CN201580066704A CN107113391B CN 107113391 B CN107113391 B CN 107113391B CN 201580066704 A CN201580066704 A CN 201580066704A CN 107113391 B CN107113391 B CN 107113391B
Authority
CN
China
Prior art keywords
image
projection
unit
projected
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580066704.1A
Other languages
English (en)
Other versions
CN107113391A (zh
Inventor
高桥巨成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107113391A publication Critical patent/CN107113391A/zh
Application granted granted Critical
Publication of CN107113391B publication Critical patent/CN107113391B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/12—Projectors or projection-type viewers; Accessories therefor adapted for projection of either still pictures or motion pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技术涉及能够使投影图像的特性局部改变的信息处理装置和方法。根据本技术的信息处理装置控制第一投影单元将第一图像投射在图像投影表面上并且控制第二投影单元在注视区域中投射第二图像，所述注视区域作为由所述第一投影单元投射在所述图像投影表面上的第一图像的预定部分区域。本技术适用于包括投影仪功能或者投影仪功能和一架相机功能两者的电子装置、控制电子装置的电脑等等。

Description

信息处理装置和方法
技术领域
本技术涉及一种信息处理装置和方法，更特别地，涉及一种使投影图像特性能够局部变化的信息处理装置和方法。
背景技术
一直以来，存在使用多个投影仪投射图像的系统(例如参见非专利文献1)。在这种系统中，电脑控制该多个投影仪彼此协作来校正投影仪的个别差异和相对位置并且投射具有均一图像特性的一个大型图像。
引用列表
非专利文献
非专利文献1:Ramesh Raskar、Jeroen van Baar、Paul Beardsley、ThomasWillwacher、Srinivas Rao、Clifton Forlines，"iLamps:Geometrically Aware andSelf-Configuring Projectors"，ACMSIGGRAPH2003ConferenceProceedingsConferenceProceedings
发明内容
技术问题
然而，对于通过投影仪投射的投影图像的表达性有越来越多的要求。例如，需要其中图像特性例如亮度和分辩率不统一的投影图像，并且存在这种投影图像不能用过去的系统实现的担心。
本发明鉴于如上所述情况被提出，并旨在使投影图像特性能够局部变化。问题的解决方案
根据本技术的一个方面，提供了一种信息处理装置，包括控制单元，该控制单元控制第一投影单元将第一图像投射在图像投影表面上并控制第二投影单元在注视区域中投射第二图像，该注视区域作为通过该第一投影单元投射在该图像投影表面上的该第一图像的预定部分区域。
该控制单元能够使投射在该第一图像的注视区域中的部分图像或者通过改变该部分图像的参数而获得的图像在该注视区域中作为该第二图像被投射。
该控制单元能够使具有与在该第一图像的该注视区域中投射的部分图像不同的图案的图像在该注视区域中作为该第二图像被投射。
该信息处理装置能够进一步包括设置该注视区域的注视区域设置单元，并且该控制单元能够控制该第二投影单元的投影的方向和视角，以使该第二图像在由该注视区域设置单元设置的该注视区域中被投射。
该注视区域设置单元能够基于预定图像特性设置该注视区域。
该注视区域设置单元能够设置相对于该第一图像的特性参数在期望范围内的区域作为该注视区域。
该注视区域设置单元能够设置包括其与该第一图像在深度方向上的距离在期望范围内的物体的区域作为该注视区域。
该注视区域设置单元能够设置相对于该第一图像检测到特征的区域作为该注视区域。
该注视区域设置单元能够设置包括相对于该第一图像的物体的区域作为该注视区域。
该注视区域设置单元能够设置相对于该第一图像指定的区域作为该注视区域。
该控制单元能够基于通过捕获投射在该图像投影表面上的该第一图像和该第二图像的摄像单元获得的捕获图像控制该第二投影单元的投影的方向和视角。
该第一投影单元和该第二投影单元能够与彼此独立的同步信号同步进行驱动，并且该控制单元能够使该第一图像和该第二图像在全部该投影单元的同步信号匹配的时候被投射。
该信息处理装置能够进一步包括设置该注视区域的注视区域设置单元，该第一投影单元和该第二投影单元能够与彼此独立的同步信号同步进行驱动，并且该控制单元能够控制摄像单元与该同步信号同步地捕获投射在该图像投影表面上的该第一图像和该第二图像并且基于该捕获图像控制该第二投影单元的投影的方向和视角，以使该第二图像在由该注视区域设置单元设置的该注视区域中被投射。
该信息处理装置能够进一步包括该第一投影单元和该第二投影单元。
该第一投影单元和该第二投影单元之间的相对位置可以是固定的。
该信息处理装置能够进一步包括捕获投射在该图像投影表面上的该第一图像和该第二图像的摄像单元。
该第一投影单元、该第二投影单元、该摄像单元和该控制单元可以一体形成。
该第一投影单元和该第二投影单元可以布置在该摄像单元的周边。
该摄像单元可以设置为多个。
根据本技术的一个方面，提供了一种信息处理方法，包括：
控制第一投影单元将第一图像投射在图像投影表面上；和控制第二投影单元在作为由该第一投影单元投射在该图像投影表面上的该第一图像的预定部分区域的注视区域中投射该第二图像。
根据本技术的该方面，控制该第一投影单元以便该第一图像被投射在该图像投影表面上，并且控制该第二投影单元以便该第二图像在作为由该第一投影单元投射在该图像投影表面上的该第一图像的预定部分区域的该注视区域中被投射。
本发明的有益效果
根据本技术，可以处理信息。另外，根据本技术，可以局部改变投影图像特性。
附图概述
[图1]示出了投影摄像系统的主要配置实例的示意图。
[图2]用于解释该投影摄像系统的外部外观的示意图。
[图3]示出了图像投影状态的实例的示意图。
[图4]示出了图像校正状态的示意图。
[图5]示出了图像校正状态的示意图。
[图6]用于解释使用实例的示意图。
[图7]示出了注视区域的控制的状态的示意图。
[图8]示出了图像投影状态的实例的示意图。
[图9]示出了投影摄像装置的主要配置实例的方框图。
[图10]示出了控制器的主要配置实例的方框图。
[图11]示出了该控制器实现的功能的实例的功能方块图。
[图12]用于解释系统控制处理的的流程的实例的流程图。
[图13]用于解释控制参数的实例的示意图。
[图14]各自示出图像投影状态的示意图。
[图15]各自示出图像投影状态的示意图。
[图16]各自示出图像投影状态的示意图。
[图17]各自示出图像投影状态的示意图。
[图18]用于解释该投影摄像装置的模块配置实例的示意图。
[图19]示出了投影仪模块的主要配置实例的方框图。
[图20]示出了相机模块的主要配置实例的方框图。
[图21]分别示出了投影摄像装置和投影摄像系统的主要配置实例的示意图。
[图22]示出了投影单元的主要配置实例的方框图。
[图23]示出了激光扫描的实例的示意图。
[图24]示出了投影摄像系统的主要配置实例的示意图。
[图25]用于解释投影仪模块控制处理的流程的实例的流程图。
[图26]用于解释照相机模块控制处理的流程的实例的流程图。
[图27]用于解释区域划分状态的实例的示意图。
[图28]用于解释注视区域设置处理的流程的实例的流程图。
具体实施方式
在下文，将描述体现本公开的方式(在下文中的，称为实施方案)。应当注视，将按照下列次序给出说明。
1.第一实施方案(投影摄像系统)
<1.第一实施方案>
<投影摄像系统>
图1中示出了应用了控制装置(即，应用了本技术的信息处理装置的实施方案)的投影摄像系统的主要配置实例。图1中示出的投影摄像系统100是投射图像的系统。如图1所示，投影摄像系统100包括投影摄像装置101和控制器102。该投影摄像装置101和该控制器102通过电缆103互相连接。
该投影摄像装置101是将图像投射在图像投影表面111上并捕获投射在该图像投影表面111上的投影图像112的装置。通过该投影摄像装置101投射的图像可以是移动图像或者静止图像。同时，通过该投影摄像装置101捕获的捕获图像可以是移动图像或者静止图像。进一步地，扬声器等等可以设置在投影摄像装置101中以便使得投影摄像装置101能够输出音频。例如，投影摄像装置101可以配置为输出对应于投射图像的音频(例如，BGM(背景音乐)等等)或者用于确认操作的音频(例如，嘟嘟声、消息等等)。
控制器102经由电缆103控制投影摄像装置101。例如，控制器102经由电缆103向投影摄像装置101提供控制信号以使其投射或者捕获图像。控制器102还经由电缆103向投影摄像装置101提供待由投影摄像装置101投射的图像的数据或者经由电缆103从投影摄像装置101获得通过投影摄像装置101捕获的捕获图像。
电缆103是预定标准的电信电缆(传输媒介)例如USB(通用串行总线)和HDMI(注册商标)(高清晰度多媒体接口)，也就是说能够传输包括图像、音频等等的控制信号和内容数据。电缆103可以通过单个电信电缆配置或者可以通过多个电信电缆配置。
图像投影表面111是图像通过投影摄像装置101被投射到其上的表面。图像投影表面111可以是平面、曲面，或者是其部分上或者其整个表面包括凹面和凸面的表面，或者可以通过多个表面配置。此外，图像投影表面111的颜色是任意的并且可以配置为多个颜色。
图像投影表面111可以在任意物体上形成。例如，图像投影表面111可以形成在片状物体例如所谓的屏幕和壁面上。作为选择，图像投影表面111可以形成在立体结构上。例如，图像投影表面111可以形成在结构例如建筑物、车站建筑和巨大建筑物的壁面上，可以形成在自然物体例如岩石、仿真建筑例如布告板和铜像和家具例如抽屉、椅子和书桌上，或者可以形成在生物例如人类和动物上。此外，例如，图像投影表面111可以形成在多个表面例如墙壁、地板和房间空间的天花板上。
进一步地，图像投影表面111可以形成在固体物体上或者可以形成在液体或者气体上。例如，图像投影表面111可以形成在水塘、水池等等的水表面、瀑布、喷泉等等的流动水表面，或者雾、气等等的气体上。另外，图像投影表面111可以移动、变形或者改变颜色。另外，例如，图像投影表面111可以形成在多个物体例如墙壁、家具和房屋中的人上，多个建筑上和巨大建筑物墙壁和喷泉上。
<投影摄像装置的结构>
图2是用于解释投影摄像装置101的结构的实例的示意图。如图2A所示，投影摄像装置101包括投影仪模块121-1至121-8和照相机模块122。
投影仪模块121-1至121-8具有相同的物理配置。换言之，投影仪模块121-1至121-8不但具有共通的外壳形状而且具有稍后描述的共通的内部物理配置，并且因此具有类似的功能。在以下的说明中，除非需要彼此区别，投影仪模块121-1至121-8将称为投影仪模块121。
投影仪模块121通过控制器102进行控制并且将控制器102提供的图像投射到图像投影表面111上。投影仪模块121的外部外观的实例在图2B和2C中示出。如图2B和2C中所示，投影仪模块121各自发射来自外壳中单向形成的发光部分121A在外壳内部发射的光。如图2A所示，投影仪模块121的发光部分121A在基本上相同的方向上形成以便投影仪模块121能够将图像投射到相同的图像投影表面111上。
照相机模块122由控制器102控制以捕获投射在图像投影表面111上的投影图像112和获得包括投影图像112的捕获图像。例如，将这个捕获图像提供给控制器102以被控制器102用来控制投影仪模块121。照相机模块122的外部外观的实例在图2D和2E中示出。如图2D和2E所示，照相机模块122基本上包括具有与投影仪模块121相似的形状的外壳。另外关于照相机模块122的内部物理配置，可以做成与投影仪模块121共通的部分，例如光学系统，被做成与投影仪模块121共通。
进一步地，照相机模块122将进入图2D和2E中所示的外壳中单向形成的光入射部分122A的光进行光电转换以获得捕获图像。如图2A所示，照相机模块122的光入射部分122A在与投影仪模块121的发光部分121A基本上相同的方向上形成以便能够捕获通过投影仪模块121投射在图像投影表面111上的投影图像。
如图2A所示，在投影摄像装置101中，投影仪模块121-1至121-8和照相机模块122在纵向和横向上各布置3个。模块(投影仪模块121-1至121-8和照相机模块122)被固定到彼此。因此，相对位置(发光部分121A的相对位置)是固定的。虽然稍后描述细节，为了在控制器102的控制下彼此协作来投射图像，投影仪模块121互相校正投影图像的位置和失真。投影仪模块121间的相对位置关系用于这种校正的控制。因为如上所述该相对位置是固定的，所以投影图像的位置和失真的校正的控制变得容易。
进一步地，虽然稍后将描述细节，照相机模块122捕获的捕获图像还被用于投影图像的位置和失真的校正的控制。例如，同样通过施加对应于图像投影表面111的形状、角度等等的校正，可以更精确地校正投影图像的位置和失真。因此，控制器102可以根据投影图像(即，捕获图像)施加校正的控制作为实际的投影结果。为了使用用于控制的捕获图像，照相机模块122和投影仪模块121间的相对位置关系变得必要。因为如上所述该相对位置是固定的，所以使用捕获图像进行的投影图像的位置和失真的校正的控制变得更加容易。
应注意，在图2A中所示的实例的情况下，照相机模块122布置在纵向和横向上各自布置3个的模块组的中心处，并且布置8个投影仪模块121以便围绕照相机模块122。通过如上所述布置模块，各投影仪模块121和照相机模块122间的相对距离变得更加均一并且更短，结果是使用捕获图像进行的投影图像的位置和失真的校正的控制变得更加容易。此外，有可能使投影仪模块121的布置在纵向、横向和斜向等上均一化并且使各方向上两端处的模块的相对位置更短。因此，通过投影仪模块121投射的投影图像112的失真对于具有更大的纵横比差异的图像可以降低。
进一步地，虽然模块的物理配置可能是有区别的，但是通过如上所述使模块的物理配置尽可能地共通，可以抑制生产成本的增加。此外，生产可以变得更容易。
<协作投影>
例如，假定将包括逐行扫描系统(4K@_60P)的具有4K(例如，4096×2160)的分辩率和60fps的帧频的图像的内容数据提供给投影仪模块121。每个被提供有内容数据的投影仪模块121切割出分配给模块本身的图像(例如，具有全HD分辩率和60fps的帧频(1080@_60P)的逐行扫描系统的图像)的部分图像(4Kp60P)并且将其投射到图像投影表面111上。
例如，投影仪模块121-1、投影仪模块121-3、投影仪模块121-6和投影仪模块121-8在如图3A所示的布置中投射图像。在图3A中所示的实例中，投影仪模块121的投影图像在图像投影表面111上在纵向上被投射2个，在横向上被投射2个(2×2)。更具体地，投影仪模块121-1的投影图像112-1在图像投影表面111的上部左手侧投射，投影仪模块121-3的投影图像112-3在图像投影表面111的上部右手侧投射，投影仪模块121-6的投影图像112-6在图像投影表面111的下部左手侧投射，并且投影仪模块121-8的投影图像112-8在图像投影表面111的下部右手侧投射。
如图3A所示，这些投影图像112(投影图像112-1、投影图像112-3、投影图像112-6和投影图像112-8)部分地彼此重叠并且形成一个区域。这些投影图像112包括如上所述的部分图像(1080@_60P)并且在如图3A所示的投射状态下在图像投影表面111上形成图像(4K@_60P)的投影图像131。更具体地，投影图像112-1包括投影图像131(4K@_60P)的左上部分图像，投影图像112-3包括投影图像131(4K@_60P)的右上部分图像，投影图像112-6包括投影图像131(4K@_60P)的左下部分图像，并且投影图像112-8包括投影图像131(4K@_60P)右下部分图像。因为投影图像112如上所述部分地彼此重叠，所以包括在各投影图像112中的部分图像可以是具有比全HD图像更高的分辩率(即，更宽范围)的图像。
通过如上所述相互协作的投影仪模块121-1、投影仪模块121-3、投影仪模块121-6和投影仪模块121-8，投影摄像系统100可以投射4K-分辩率的图像(4K@_60P)，而不会降低分辩率(没有降低图像质量)。
应注意，为了实现这种投影图像131，投影图像112的定位、几何校正等等是必要的。照相机模块122包括摄像功能并且能够使用图3B中所示的摄像功能感测投影仪模块121投射的投影图像112。在图3中所示的实例中，照相机模块122正在捕获投影仪模块121-8的投影图像112-8(部分图像131-8)。通过控制器102基于这个传感器数据执行各种校正，部分图像可以以更自然的形式进行合成以便形成一个投影图像131。
作为图像校正的内容，例如，存在如图3B所示的投影仪个别差异校正、重叠校正和屏幕形状校正。投影仪个别差异校正是对于例如亮度、灰度、亮度、对比度、白平衡、色调等等的校正。重叠校正是对于作为投影图像112彼此重叠的区域的重叠区域的校正和包括例如水平校正和失真校正。屏幕形状校正是用于应对图像投影表面102的形状和姿态的校正并且包括例如投影变换(平面、球状、圆柱(圆筒)、多项式的弯曲)。当然，也可以进行其他的校正。
例如，除非在如图4所示图像投影表面102相对于投影摄像装置101面对倾斜方向的情况下得到校正，投影图像是失真的，失真可以通过投影变换等等得到降低。进一步地，例如，同样当在如图5所示的曲面上投射多个图像时，可以将图像通过投影变换等等像单个图像那样投射。
<投影摄像系统的使用实例>
通过使用这种投影摄像系统100各种投影变得可能。例如，通过如图6A所示布置多个投影图像，可以提高投影图像的分辩率。此外，如图6B的实例所示，取决于投影仪模块121投射的投影图像(部分图像)的布置，可以自由设置投影图像(整个图像)的纵横比，而不取决于投影仪模块121的规格。
进一步地，如图6C的实例所示，图像可以投射在多个墙壁和天花板(即，面向多个方向的屏幕(即，3D结构))上，而没有失真。此外，如图6D的实例所示，也可能将图像投射在宽的曲面屏幕上以便围绕观众而没有失真。
通过提高这种投影表面的自由度，例如由于投影图像的表现性的增强，变得可以提高生动的感觉和可见性，并且提高表现的娱乐性和艺术性。
<投影图像的特征的局部控制>
在过去的图像投影系统中，控制器102具有投影仪校正的个别差异和相对位置以便控制投影仪的图像投影，从而获得一个具有均一特征的大投影图像131。
然而，对于通过投影仪投射的投影图像的表达性有越来越多的要求。例如，需要其中图像特性例如亮度和分辩率不统一的投影图像，并且存在这种投影图像不能用过去的系统实现的担心。
在这点上，控制第一投影单元以便将第一图像投射在图像投影表面上，控制第二投影单元以便在注视区域中投射第二图像，该注视区域作为通过该第一投影单元投射在该图像投影表面上的第一图像的预定部分区域。
例如，控制第一投影单元和第二投影单元的信息处理装置包括控制单元，该控制单元控制该第一投影单元将第一图像投射在图像投影表面上并且控制第二投影单元将第二图像投射在注视区域中，该注视区域作为第一投影单元投射在图像投影表面上的第一图像的预定部分区域。
更具体地说，在图1所示的投影摄像系统100的情况下，控制器102控制投影摄像装置101的投影仪模块121(第一投影单元)的一部分将第一图像投射在图像投影表面111上以便获得大投影图像131，并且控制投影摄像装置101的另一投影仪模块121(第二投影单元)将第二图像投射在作为如上所述投射在图像投影表面111上的大投影图像131的预定部分区域的注视区域中。
应注意，在投影图像中局部变化的图像特性(参数)是任意的。例如，图像特性(参数)可以是亮度、颜色、分辩率、帧频等等。多个特征(参数)可以局部变化。此外，第二图像的图片可以与第一图像的注视区域中投射的部分图像相同或不同。另外，注视区域(即，第二图像)的位置、形状和大小是任意的(只须小于第一图像的投影图像)。对于各特征，注视区域可以是独立的。进一步地，被用来投射第一图像的投影单元的数量是任意的并且可以是单个或者多个。被用来投射第二图像的投影单元的数量也是任意的并且可以是单个或者多个。此外，注视区域的数量也是任意的并且可以是单个或者多个。在设置多个注视区域的情况下，投射在各注视区域中的第二图像的特征和图片可以相同或者可以不同。另外，在设置多个注视区域的情况下，被用来投射在各注视区域的投影单元的数量是任意的并且可以是单个或者多个，并且投影单元可以互相相同或者可以互相不同。
<投影的方向和视角的控制>
进一步地，通过在投射在图像投影表面上的第一图像的任意部分处设置注视区域并且如上所述控制另一投影单元的投影方向和视角，也可能使第二图像投射在设置的注视区域上。例如，在投影摄像系统100的情况下，控制器102在图像投影表面111上大投影图像131的任意位置设置任意大小与形状的注视区域并且如上所述控制另一投影仪模块121的投影方向和视角以便将第二图像投射在注视区域上。
在图7A所示的实例的情况下，投影仪模块121的图像投影方向(位移量和位移方向)被控制为位移1、位移2和位移3。此外，在图7B所示的实例的情况下，投影仪模块121的图像投影视角(变焦量、投影范围的大小)被控制为变焦1、变焦2和变焦3。在图7C所示的实例中，图7A的实例和图7B的实例结合在一起，并且控制了投影仪模块121的图像投影方向和投影视角两者。通过这样控制每个投影仪模块121，控制器102可以将第二图像投射在投影图像131(投射的第一图像)的任意部分上(可以将任意部分设置为注视区域)。
<投影图像实例>
例如，投影摄像系统100能够如图8所示投射图像。在图8所示的实例的情况下，投影仪模块121-1的投影图像112-1、投影仪模块121-3的投影图像112-3、投影仪模块121-6的投影图像112-6和投影仪模块121-8的投影图像112-8形成如参考图3A描述的投影图像131(第一图像的投影图像)。进一步地，投影仪模块121-2的投影图像112-2、投影仪模块121-4的投影图像112-4、投影仪模块121-5的投影图像112-5和投影仪模块121-7的投影图像112-7在投影图像131的内部形成。换言之，投影图像131的投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7的各部分被设置为注视区域，并且第二图像被投射在注视区域中。
例如，通过在各注视区域中投射具有与第一图像相同的图片的第二图像，与注视区域外的区域比较起来，注视区域的亮度可以得到提高。此时，第二图像的亮度可以改变从而变得比第一图像的亮度更高或更低。此外，通过在注视区域中投射半透明的灰色图像作为第二图像，可以使注视区域的亮度变得似乎比注视区域外部更低。
进一步地，投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7是通过利用视角控制(变焦控制)将投影仪模块121的投影视角变窄而获得的投影图像。因此，可以使这些投影图像具有比投影图像131更高的分辩率。例如，通过在注视区域中投射具有比第一图像更高分辩率的第二图像，可以使注视区域的分辩率比注视区域外部更高。
这样，可以局部地改变投影图像特性。例如，图像特性(例如，亮度、分辩率等等)可以在投影图像的预定注视区域和注视区域外部的区域之间变化。因此，由于投影图像的表现性得到提高(超出投影仪模块121的表现能力的图像投影变得可能)，例如，变得可能提高生动的感觉和可见性并且同时提高表现的娱乐性和艺术性。
进一步地，通过控制器102设置投影图像的任意部分作为注视区域并且控制投影仪模块的方向和视角以便将第二图像投射在注视区域中，可以在投影图像的任意部分局部地改变图像特性。
<投影摄像装置的配置>
图9示出了投影摄像装置101的主要配置实例的方框图。如图9所示，投影摄像装置101包括控制单元151、图像处理单元152、存储器153、投影仪模块121、照相机模块122、输入单元161、输出单元162、存储单元163、通信单元164和驱动器165。
投影仪模块121各自包括投影单元181、光学系统182和光学系统控制单元183。照相机模块122包括光学系统控制单元191、光学系统192和摄像单元193。
投影仪模块121的投影单元181进行图像投影有关的处理。例如，投影单元181在控制单元151的控制下发射投射光并且将从投影摄像装置101的外部(例如，图像投射表面111等)的图像处理单元152提供的图像数据的图像进行投射。换言之，投射单元181实现投影功能。投影单元181的光源是任意的并且可以是LED(发光二极管)、氙等等。进一步地，可以发射激光作为投影单元181发射的投射光。投射单元181发射的投射光经由光学系统182离开投影摄像装置101。
光学系统182包括例如多个透镜、光阑等，并且对从投影单元181发出的投射光施加光学影响。例如，光学系统182控制投射光的焦距、曝光、投影方向、投影视角等等。
光学系统控制单元183包括致动器、电磁线圈等并且在控制单元151的控制下控制光学系统182以控制投射光的焦距、曝光、投影方向、投影视角等。
照相机模块122的光学系统控制单元191包括致动器、电磁线圈等并且在控制单元151的控制下控制光学系统192以控制入射光的焦距、摄像方向和视角等。
光学系统192包括例如多个透镜、光阑等，并且对进入摄像单元193的入射光施加光学影响。例如，光学系统192控制入射光的焦距、曝光、摄像方向和视角等等。
摄像单元193包括图像传感器。通过使用图像传感器对经由光学系统192进入的入射光进行光电转换，捕获装置外部的物体，并且生成捕获图像。摄像单元193向图像处理单元152提供获得的捕获图像的数据。换言之，摄像单元193实现摄像功能(传感器功能)。例如，摄像单元193捕获通过投影单元181投射在图像投影表面111上的投影图像112。应注意，摄像单元193中设置的图像传感器是任意的并且可以是例如使用CMOS(互补金属氧化物半导体)的CMOS图像传感器或者使用CCD(电荷耦合器件)的CCD图像传感器。
控制单元151在其中包括CPU(中央处理器)、ROM(只读存储器)、RAM(随机存取存储器)等等并且执行程序和处理数据以执行与投影摄像装置101的各处理单元的控制相关的处理。换言之，投影摄像装置101的各处理单元在控制单元151的控制下执行与投影、摄像等相关的处理。
例如，控制单元151获得经由通信单元164从控制器102提供的、与投影有关的控制信息。例如，控制单元151基于控制信息控制图像处理单元152执行对待投射的图像的预定图像处理。进一步地，例如，控制单元151基于控制信息控制投影仪模块121的投影单元181投射图像。此外，例如，控制单元151基于控制信息控制投影仪模块121的光学系统控制单元183控制投射光的焦距、曝光、投影方向、投影视角等。
进一步地，例如，控制单元151获得经由通信单元164从控制器102提供的、与摄像有关的控制信息。例如，控制单元151基于控制信息控制照相机模块122的光学系统控制单元191以控制入射光的焦距、曝光、摄像方向和视角等。此外、例如，控制单元151基于控制信息控制照相机模块122的摄像单元193以捕获图像。进一步地，例如，控制单元151基于控制信息控制图像处理单元152执行对捕获图像的预定图像处理。
图像处理单元152对待投射的图像和通过摄像获得的捕获图像执行图像处理。例如，图像处理单元152经由通信单元164获得从控制器102提供的图像数据并且将其存储在存储器153中。图像处理单元152还例如获得从摄像单元193提供的捕获图像的数据(捕获图像数据)，并且将其存储在存储器153中。例如，图像处理单元152读取存储在存储器153中的图像数据或者捕获图像数据并且执行图像处理。图像处理的内容是任意的并且例如包括诸如剪切和人工合成的处理、参数调整等。图像处理单元152将已经进行了图像处理的图像数据或者捕获图像数据存储在存储器153中。
进一步地，例如，图像处理单元152读取存储在存储器153中的图像数据，将其提供给期望的投影仪模块121的投影单元181，并使其投射该图像。进一步地，例如，图像处理单元152读取存储在存储器153中的捕获图像数据并经由通信单元164将其提供给控制器102。
响应于来自图像处理单元152等的请求，存储器153存图像处理单元152处理的储图像数据和捕获图像数据并且将存储的图像数据或者捕获图像数据提供给图像处理单元152。
输入单元161由接收外部信息诸如用户输入的输入设备组成。例如，输入单元161包括操作按钮、触板、相机、麦克风、输入终端等等。输入单元161还可以包括各种传感器诸如加速度传感器、光学传感器和温度传感器。输出单元162由输出信息诸如图像和音频的输出设备组成。例如，输出单元162包括显示器、扬声器、输出终端等等。
存储单元163由存储信息诸如程序和数据的存储介质组成。例如，存储器163包括硬盘、RAM磁盘、非易失存储器等等。通信单元164由执行用于经由预定通信介质与外部装置交换信息诸如程序和数据的通信的通信设备组成。通信单元164由例如网络接口组成。例如，电缆103连接至通信单元164。通信单元164经由电缆103与控制器102通信(交换程序、数据等)。
驱动器165读取存储在其中加载的可移动介质171中的信息(程序、数据等)，可移动介质171的实例包括磁盘、光盘、磁光盘和半导体存储器。驱动器165将从可移动介质171读取的信息提供给控制单元151。在其中可写入可移动介质171加载在驱动器165中的情况下，驱动器165还能够存储经由可移动介质171中的控制单元151提供的信息(程序、数据等)。
<控制器的配置>
图10是示出了控制器102的主要配置实例的方框图。如图10所示，在控制器102中，CPU201、ROM202和RAM203经由总线204互相连接。
输入/输出接口210也连接至总线204。输入单元211、输出单元212、存储单元213、通信单元214和驱动器215连接至输入/输出接口210。
输入单元211由接收外部信息诸如用户输入的输入设备组成。例如，输入单元211包括键盘、鼠标、操作按钮、触板、相机、麦克风、输入终端等等。输入单元211还可以包括各种传感器诸如加速度传感器、光学传感器和温度传感器以及输入装置诸如条型码阅读器。输出单元212由输出信息诸如图像和音频的输出设备组成。例如，输出单元212包括显示器、扬声器、输出终端等等。
存储单元213由存储信息诸如程序和数据的存储介质组成。例如，存储单元213包括硬盘、RAM磁盘、非易失存储器等等。通信单元214由执行用于经由预定通信介质与外部装置交换信息诸如程序和数据的通信的通信设备组成。通信单元214由例如网络接口组成。例如，电缆103连接至通信单元214。通信单元214经由电缆103与投影摄像装置101通信(交换程序和数据)。
驱动器215读取存储在其中加载的可移动介质221中的信息(程序、数据等)，可移动介质221的实例包括磁盘、光盘、磁光盘和半导体存储器。驱动器215将从可移动介质221读取的信息提供给CPU201、RAM203等等。在其中可写入可移动介质221加载在驱动器215中的情况下，驱动器215还能够存储从可移动介质221中的CPU201、RAM203等提供的信息(程序、数据等)。
CPU201例如通过经由输入/输出接口210和总线204加载存储在RAM203中的存储单元213中的程序并且执行它们来进行各种处理。根据需要，RAM203还存储中央处理器201执行各种处理所需的数据等。
<功能块的配置>
图11是示出了控制器102实现的主要功能的实例的功能方块图。如图11所示，控制器102实现校正参数设置单元231、整体图像模块选择单元232、整体图像控制参数设置单元233、注视区域设置单元234、注视区域模块选择单元235、注视区域控制参数设置单元236、光学系统控制单元237、图像处理单元238、图像投影控制单元239、摄像控制单元240等的功能块。
校正参数设置单元231进行与投影仪模块121投射的投影图像的校正参数的设置有关的处理。整体图像模块选择单元232进行与用于投射整个图像(即，第一图像的投影)的投影仪模块121的选择有关的处理。整体图像控制参数设置单元233进行与整个图像的投影(即，第一图像的投影)中涉及的投影仪模块的控制参数的设置有关的处理。
注视区域设置单元234进行与注视区域的设置有关的处理。注视区域模块选择单元235进行与用于相对于注视区域投射图像(即，第二图像的投影)的投影仪模块121的选择有关的处理。注视区域控制参数设置单元236进行与相对于注视区域的图像的投影(即，第二图像的投影)中涉及的投影仪模块的控制参数的设置有关的处理。
光学系统控制单元237进行与投影仪模块121的光学系统控制单元183和照相机模块122的光学系统控制单元191的控制有关的处理。图像处理单元238进行与图像处理单元152的控制有关的处理。图像投影控制单元239进行与投影仪模块121的投影单元181的控制有关的处理。摄像控制单元240进行与照相机模块122的摄像单元193的控制有关的处理。
通过控制器102的CPU201执行从RAM203、存储单元213等使用RAM203读取的程序并且处理通过执行该程序生成的数据或者使用RAM203从RAM203、存储单元213等读取的数据来实现这些功能。
<系统控制处理的流程>
通过控制器102使用这些功能块执行的系统控制处理的流程的实例将参考图12所示的流程图进行说明。
当系统控制处理开始时，校正参数设置单元231在步骤S101中设置投影仪模块的校正参数。投影仪模块121的投影图像的校正的实例包括校正投影仪模块的个别差异的校正(对亮度、灰度、亮度、对比度、白平衡、色调等的校正等)、相对于重叠区域的校正(水平校正、失真校正等)和基于图像投影表面111的形状的校正(投影转换(平面、球状、圆柱、多项式曲线)。当然，校正内容是任意的，并且可以进行其他校正来作为替代。校正参数设置单元231设置校正参数，这些校正参数是上述被用于校正的参数(对应于校正结果)。
在步骤S102中，整体图像模块选择单元232选择将分配给整体图像投影(即，第一图像的投影)的投影仪模块121，该整体图像投影作为形成大投影图像的图像投影。例如，在图8所示的实例的情况下，将投影仪模块121-1、投影仪模块121-3、投影仪模块121-6和投影仪模块121-8分配给用于形成大投影图像131的整体图像投影。应注意，将哪个投影仪模块121分配给整体图像投影是任意的，并且可以用与图8所示不同的方式分配投影仪模块。此外，将多少个投影仪模块121分配给整体图像投影是任意的，并且其数量可以与图8所示不同。
在步骤S103中的，整体图像控制参数设置单元233设置用于分配给整体图像投影的投影仪模块121的光学系统控制和图像处理的控制参数。整体图像控制参数设置单元233基于分配给整体图像投影的投影仪模块121的相对位置关系、投影仪模块121投射的投影图像112的布局图案、步骤S101中设置的投影仪校正参数等来设置分配给整体图像投影的投影仪模块121的控制参数。如图13所示，控制参数包括，例如，用于控制投影方向和视角、梯形失真校正、混和校正、亮度和颜色的调整等的控制参数。当然，这一处理中设置的控制参数是任意的并且不局限于图13中所示实例。
在步骤S104中，注视区域设置单元234设置整体图像(大投影图像)的一部分作为注视区域。注视区域的位置、大小和形状是任意的。另外，设置注视区域的方法也是任意的。例如，注视区域设置单元234可以使用第一图像的直方图设置在大投影图像中亮度水平在期望范围(例如，比预定参考水平大)的区域作为注视区域。此外，例如，注视区域设置单元234可以使用第一图像的正交变换系数设置在大投影图像中空间频率在期望范围(例如，比预定参考水平高)的区域作为注视区域。此外，例如，注视区域设置单元234可以使用第一图像的颜色分布等设置在大投影图像中各颜色分布在期望范围(例如，与预定颜色匹配)的区域作为注视区域。换言之，注视区域设置单元234可以设置相对于第一图像的特性参数在期望范围内的区域作为注视区域。特性参数是任意的。例如，特性参数可以是如上所述的亮度水平、空间频率、颜色组成等等或者可以是除了那些以外的。此外，注视区域可以基于多个特性参数来设置。
此外，例如，注视区域设置单元234可以检测相对于包括在第一图像内的对象的距离(在深度方向上的距离)并且在大投影图像中设置包括具有期望范围内的距离(例如，比预定参考距离更近)的对象的区域作为注视区域。进一步地，例如，注视区域设置单元234可以对第一图像进行特征检测诸如人类检测和脸部检测，并且设置大投影图像中检测到特征的区域(例如，检测到人、脸等的区域)作为注视区域。进一步地，例如，注视区域设置单元234可以对第一图像进行移动检测并且设置大投影图像中检测到移动的区域作为注视区域。此外，例如，注视区域设置单元234可以从注视区域排除检测到移动的区域。
进一步地，例如，可以将包括大投影图像中第一图像的预定对象的注视区域设置为注视区域。例如，在包括在第一图像内的对象可识别(可抽取)为CG(电脑图形)图像的情况下，注视区域设置单元234可以设置包括从大投影图像中识别(抽取)的对象的区域作为注视区域。例如，在第一图像由多个层配置的情况下，注视区域设置单元234可以设置包括大投影图像中的期望层中包括的对象的区域作为注视区域。
此外，例如，注视区域设置单元234可以设置大投影图像的外部指定的区域作为注视区域。例如，注视区域设置单元234可以设置用户等使用指针等从大投影图像中指定的区域作为注视区域。
进一步地，例如，注视区域设置单元234可以设置预先设置好的大投影图像的预定部分作为注视区域。
此外，如上所述的多个方法可以结合只用，或者如上所述的方法可以与上述以外的方法结合使用。
在步骤S105中，注视区域设置单元234判断是否存在注视区域。当判定注视区域已经通过步骤S104的处理进行了设置并且因此存在时，处理进入步骤S106。
在步骤S106中的，注视区域模块选择单元235选择将分配给步骤S104中的设置的注视区域中图像(第二图像)的投影的投影仪模块121。换言之，注视区域模块选择单元235选择将分配给用于在注视区域中形成比如上所述大投影图像小的投影图像的图像投影的投影仪模块121。注视区域模块选择单元235从步骤S102中选择的哪些以外的投影仪模块121中选择将分配给针对注视区域的图像投影的投影仪模块121。
在步骤S107中的，注视区域控制参数设置单元236设置将分配给注视区域的投影仪模块的控制参数。控制参数与通过步骤S103的处理设置的相似。
应注意，将投影仪模块121分配给针对注视区域的图像投影可以优先于步骤S102中将投影仪模块121分配给整体图像投影。在这种情况下，例如，只须在步骤S102和S103的处理之前进行步骤S104至S107的处理。
在结束步骤S107的处理之后，处理进入步骤S108。同样，当在步骤S105中判定注视区域不存在时，处理进入步骤S108。
在步骤S108中，光学系统控制单元237使用步骤S103中设置的控制参数和步骤S107中设置的控制参数来控制投影仪模块121的光学系统控制单元183，以控制图像投影方向和视角等。
在步骤S109中，图像投影控制单元239向投影仪模块121提供图像并且使它们显示该图像。进一步地，图像处理单元238控制投影仪模块121的图像处理单元152以酌情进行图像处理从而校正/编辑(处理)待投射的图像(第一和第二图像)。
在步骤S110中，图像投影控制单元239判定是否结束系统控制处理。例如，当判断由于待投射的图像是活动图像所以不会终止系统控制处理并且将要对下一个以及后续的帧进行类似的控制处理时，处理回到步骤S102从而对下一帧的图像重复步骤S102和后续步骤的处理。
换言之，在投射活动图像的情况下，对处理目标帧的图像执行步骤S102至S110的处理。这些处理可以对活动图像的每一帧执行或者可以对每隔一些帧的部分帧等执行。换言之，注视区域的设置和注视区域中第二图像的投影可以针对每一帧进行更新、每隔多个帧更新不规则地更新或者根本不更新。
当在步骤S110中判断由于图像投影的结束等而将还要终止系统控制处理时，则终止系统控制处理。
应注意，步骤S108的处理和步骤S109的处理可以彼此并行来执行。换言之，在执行图像投影的同时，可以控制图像投影的方向、视角等等。另外，步骤S108中光学系统的控制可以与步骤S102至S110的处理并行进行。换言之，步骤S108中光学系统的控制可以独立于待投射的活动图像的帧定时而进行。例如，在每隔一些帧执行步骤S102至S110的处理的情况下，步骤S108的处理可以在这些帧之间的任意时间执行。
应注意，在如上所述的处理中，可以使用照相机模块122捕获的捕获图像。例如，在步骤S101中的校正参数的设置、在步骤S103中控制参数步骤设置、步骤S104中注视区域的设置、步骤S107中控制参数的设置、步骤S108的控制处理、步骤S109的控制处理等中，摄像控制单元240可以控制照相机模块122的各单元来捕获图像投影表面111上的投影图像112，以便各处理单元可以使用该捕获图像。
通过执行如上所述的系统控制处理，投影摄像系统100可以局部地改变投影图像特性。
<投影图像的实例>
接下来，将描述这样配置的投影摄像系统100获得的投影图像的实例。在图14A中所示的实例的情况下，大投影图像(第一图像的投影图像)由投影图像112-1、投影图像112-3、投影图像112-6和投影图像112-8形成，将包括人和摩托车并且接近大投影图像的图片内的对象的区域设置为注视区域。换言之，小投影图像(第二图像的投影图像)由投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7形成。例如，当投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7具有与投影图像112-1、投影图像112-3、投影图像112-6和投影图像-8相当的分辩率时，注视区域中小投影图像的分辩率变得比其他区域的图像的分辩率更高。因此，在投影图像中，人和位置在更靠前的摩托车可以用高分辨率来表示。此外，通过使投影图像互相重叠，注视区域的亮度变得比其他区域更高。因此，在投影图像中，人和位置在更靠前的摩托车可以更明亮地来表示。因而，可以这样显示投影图像，使得注视区域(人和摩托车)的注视度自然地变得比其他区域(即，背景)的注视度更高(即，吸引对注视区域的注视)。
在图14B中所示的实例的情况下，大投影图像(第一图像的投影图像)由投影图像112-1、投影图像112-3、投影图像112-6和投影图像112-8形成，将检测到移动而且包括在大投影图像的图片内已经作为移动检测到的选手和球的区域设置为注视区域。换言之，小投影图像(第二图像的投影图像)由投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7形成。用这种方法，可以针对一个大投影图像设置多个注视区域。
在图15A中所示的实例的情况下，投影图像112-1被投射到前壁的一部分和房间空间的天花板的一部分，投影图像112-3被投射到前壁的一部分和房屋空间的右侧壁的一部分，投影图像112-6被投射到前壁的一部分和房屋空间的左侧壁的一部分，投影图像112-8被投射到前壁的一部分和房屋空间的地板的一部分，这样形成了跨越前面和天花板的一部分、右侧壁的一部分、左侧壁的一部分和房间空间的地板的一部分的大投影图像(第一图像的投影图像)。进一步地，将房屋空间的前壁设置为注视区域，投影图像112-2、投影图像112-4、投影图像112-5和投影图像112-7形成在该前壁上。因而，可以将图像投影范围拓宽至侧面、天花板和地板以便提高沉浸感，并且位于用户的视力中心附近的前壁(即，主要图像范围位置)上的投影图像的亮度和分辩率可以得到充分地提高以便抑制图像质量的降低。
应注意，如在15B中所示的实例中，即使当图像投影表面(墙壁等等)为弯曲表面时也可以形成相似的投影图像。
通过用这种方法局部地提高亮度、分辩率等等，可以提高(变得在视觉上突出)更重要区域(注视区域)的注视度。换言之，可以仅提高更重要区域(注视区域)中的图像质量并且降低不重要的其他区域(注视区域以外的区域)中的图像质量(降低亮度和分辩率)。具体地，由于不必提高整个投影图像的图像质量，所以可以很大程度上降低投影摄像装置101所必需的图像投影性能，并且可以以更低的成本实现投影摄像系统100。此外，由于注视区域除外的区域可以在图像质量方面下降，所以图像投影所必需的功率消耗的增加可以得到抑制。
应注意，还可以将注视区域的图像质量设置为低于其他区域的图像质量。例如，作为第二图像，可以投射具有比其他区域更低分辩率的图像或者模糊图像，可以在偏离其位置的情况下投射图像，或者可以投射灰色图像或者经过马赛克处理的图像。用这种方法同样可以降低注视区域的注视度。进一步地，例如，通过在将边界线设置为注视区域时用这种方法降低图像质量，可以实现防混叠效应。
进一步地，可以将具有与第一图像完全不同的图案的图像作为第二图像在注视区域中投射。例如，如图16A所示，由副标题、菜单屏幕和数据屏幕示范的数字图像可以叠加为第一图像301的一部分上的第二图像302。因此，可以例如实现隐藏式字幕、同屏显示等等。同样在这种情况下，由于可以如上所述使第二图像302的分辩率变高，因为可以防止第二图像302的小字等被压挤。
此外，如图16B所示，例如，可以将作为第二图像312的所谓的擦拭图像叠加在第一图像311的一部分上。因此，例如可以实现图中图。同样在这种情况下，由于如上所述使第二图像312的分辩率变高，所以也可以使不能在过去的具有低分辨率的擦拭图像中表示的小型图像更清楚地显示在第二图像312中。
此外，通过提高注视区域的亮度，还可以实现高动态范围。例如，如图16C所示，可以将第一图像321中看来像太阳的光源设置为注视区域，并且可以将具有高亮度的第二图像322叠加在注视区域上。因而，第一图像321的黑暗部分和第二图像322之间的对比率变得更大，从而实现高动态范围。
进一步地，通过将色域不同于第一图像的第二图像叠加在第一图像的注视区域上，可以扩展投影图像的色域。在图17A所示的实例的情况下，投射第一图像的投影仪模块121-1(PJ1)在注视区域中投射具有在(R1、G1、B1)具有峰值的颜色分量的图像，并且投射第二图像的投影仪模块121-2(PJ2)在同一地点投射具有在(R2、G2、B2)具有峰值的颜色分量的图像。因而，可以实现超出投影摄像装置101的图像投影性能的投影图像的投影。
进一步地，例如，可以通过如图17B所示区分第一图像和第二图像的显示时间来实现高帧频。特别是可以实现局部高帧频。图17B显示了投射第一图像的投影仪模块121-1(PJ1)的同步时间和投射第二图像的投影仪模块121-2(PJ2)的同步时间的实例。在这个实例的情况下，由于投影仪模块121的投影时间偏离了半周期，所以第一图像和第二图像交替地在注视区域中显示。因此，实现了局部高帧频投影。
应注意，在这个时候，在注视区域中的第一和第二图像中水平像素线的一部分可能变稀疏。例如，可以在第一图像中投射奇数条像素线，在第二图像中投射偶数条像素线。作为选择，像素线可以每隔数个线变稀疏。进一步地，例如，垂直像素线，而不是水平像素线，可能变稀疏。此外，例如，部分区域，而不是水平像素线，可能变稀疏。
进一步地，可以使用这种高帧频投射包括视差的立体图像。例如，关于注视区域，可以投射右眼图像作为第一图像，投射左眼图像作为第二图像。因而，可以实现局部立体图像投影。
换言之，第一图像的投影时间和第二图像的投影时间不需要匹配。也就是说，可以在不投射第一图像的状态下仅投射第二图像，而同时控制其投影位置、大小、形状等。例如，还可以再移动的同时投射第二图像。
<投影摄像装置的其他配置实例>
投影摄像系统100的配置不局限于上述实例。例如，投影摄像装置101的投影仪模块的布置不局限于图2中所示的实例。例如，如.图18A所示，照相机模块122不必布置在3×3配置的中心。此外，如图18B所示，可以设置多个照相机模块122。在图18B中所示的实例的情况下，照相机模块122-1和照相机模块122-2布置在3×3配置的间断的两侧上。通过如上所述使用多个照相机模块122，变得可以更容易地使用照相机模块122的视差来测量捕获图像和图像投影表面111之间的距离。因此，控制器102可以更容易和更精确地设置校正参数和控制参数。当然，在这种情况下照相机模块122的布置位置是任意的并且不局限于图18B中所示的实例。
另外，投影摄像装置101的模块配置是任意的并且不局限于3×3。例如，如在图18C所示的实例中，投影摄像装置101还可以包括以1(纵向)×3(横向)配置而布置的投影仪模块121-1、照相机模块122和投影仪模块121-2。做为选择、例如，如在图18D中显示的实例中，模块可以形成3(纵向)×1(横向)配置。作为选择，如在图18E中所示的实例中，投影摄像装置101可以包括以3(纵向)×4(横向)配置而布置的投影仪模块121-1和两个照相机模块122。
作为选择，如在图18F中所示的实例中，模块可以布置为互相分离。在这种情况下，例如，可以通过固定元件等等(不显示)来固定相对位置，或者模块可以布置为彼此独立。
进一步地，虽然在图9中所示的实例中在投影摄像装置101中设置了为模块共有的控制单元151等，但是模块可以彼此独立地操作。
这种情况下的投影仪模块121的主要配置实例在图19中示出。在图19中所示的实例的情况下，投影仪模块121包括控制单元351、图像处理单元352、存储器353、投影单元354、光学系统355、光学系统控制单元356、输入单元361、输出单元362、存储单元363、通信单元364和驱动器365。
控制单元351是类似于控制单元151的处理单元。图像处理单元352是类似于图像处理单元152的处理单元。存储器353是类似于存储器153的处理单元。投影单元354是类似于投影单元181的处理单元。光学系统355是类似于光学系统182的处理单元。光学系统控制单元356是类似于光学系统控制单元183的处理单元。输入单元361是类似于输入单元161的处理单元。输出单元362是类似于输出单元162的处理单元。存储单元363是类似于存储单元163的处理单元。通信单元364是类似于通信单元164的处理单元。驱动器365是类似于驱动器165的处理单元，并且类似于可移动介质171的可移动介质371可以加载在其中。
换言之，控制单元351至驱动器365的处理单元执行与图9中所示的相应的处理单元的处理相似的处理。然而，图19中所示的处理单元不对捕获图像进行摄像或者图像处理方面的控制处理。
进一步地，这种情况下的照相机模块122的主要配置实例在图20中示出。在图20中所示的实例的情况下，照相机模块122包括控制单元401、光学系统控制单元402、光学系统403、摄像单元404、图像处理单元405、存储器406、输入单元411、输出单元412、存储单元413、通信单元414和驱动器415。
控制单元401是类似于控制单元151的处理单元。光学系统控制单元402是类似于光学系统控制单元191的处理单元。光学系统403是类似于光学系统192的处理单元。摄像单元404是类似于摄像单元193的处理单元。图像处理单元405是类似于图像处理单元152的处理单元。存储器406是类似于存储器153的处理单元。输入单元411是类似于输入单元161的处理单元。输出单元412是类似于输出单元162的处理单元。存储单元413是类似于存储单元163的处理单元。通信单元414是类似于通信单元164的处理单元。驱动器415是类似于驱动器165的处理单元，并且类似于可移动介质171的可移动介质421可以加载在其中。
换言之，控制单元401至驱动器415的处理单元执行与图9中所示的相应的处理单元的处理相似的处理。然而，图20中所示的处理单元不对待投射的图像进行关于投影或者图像处理的控制处理。
通过在上述投影仪模块121和照相机模块122中的每一个中设置控制单元，模块能够互相独立地操作。
<投影摄像系统的其他配置实例>
虽然投影摄像装置101和控制器102经由图1的电缆103彼此通信，但是投影摄像装置101和控制器102可以无线通信。在这种情况下，电缆103可以省略。同样在这种情况下，通信单元164(通信单元364)和通信单元214(通信单元414)能够使用无线LAN(局域网)、Bluetooth(注册商标)、IrDA(注册商标)等等进行无线通信。当然，这些通信单元能够进行有线和无线两种通信。
进一步地，虽然投影摄像装置101和控制器102在图1中分离配置，但是本技术不限于此，并且投影摄像装置101和控制器102可以如图21A中所示整体地形成。图21A中所示的投影摄像装置431是其中投影摄像装置101的投影仪模块121和照相机模块122以及控制器102集成并且包括与图1中所示的投影摄像系统100类似的功能的装置。
作为选择，如图21B所示，投影摄像装置101和控制器102可以经由预定网络441连接。网络441是作为传播介质的通信网络。网络441可以是任何通信网络并且可以是有线通信网络、无线通信网络或者它们两者。例如，可以使用有线LAN、无线LAN、公用电话网、用于无线移动对象的广域通信网络，诸如所谓的3G线路和4G线路、因特网等等，或者也可以使用它们的结合。此外，网络441可以是单个通信网络或者多个通信网络。另外，网络441的部分或者全部可以通过预定标准的通信电缆来配置，例如，诸如USB电缆和HDMI电缆(注册商标)。
此外，如图21C所示，投影摄像装置101的模块也可以独立地操作，省略控制器102，并且在任何模块中执行与控制器102的处理相类似的处理。在图21C中所示的实例的情况下，投影仪模块121-1至121-8和照相机模块122彼此独立地操作，并且模块相互连接同时能够经由网络441彼此通信。在这些模块中，投影仪模块121-8变为主机来进行与控制器102类似的处理并且控制其他模块。应注意，模块可以一体形成，或者每个模块可以配置为一个装置。
应注意，虽然在1中投影摄像系统100包括投影摄像装置101和控制器102，但是投影摄像装置101的数量和控制器102的数量是任意的并且可以是多个。
进一步地，虽然在上述说明中由投影摄像装置101投射的图像(第一图像和第二图像)由控制器102提供，但是图像(第一图像和第二图像)的提供来源是任意的并且可以是控制器102之外的。例如，图像可以由投影摄像装置101和控制器102之外的装置提供，如内容服务器，或者投影摄像装置101可以预先存储内容数据。
<投影单元的其他配置实例>
投影单元181可以使用激光作为光源。这种情况下的投影单元181的主要配置实例在图22中示出。在图22中的，投影单元181包括视频处理器451、激光驱动器452、激光输出单元453-1、激光输出单元453-2、激光输出单元453-3、镜片454-1、镜片454-2、镜片454-3、MEMS(微电子机械系统)驱动器455和MEMS镜片456。
视频处理器451存储图像处理单元152提供的图像并且对该图像进行必要的图像处理。视频处理器451向激光驱动器452和MEMS驱动器455提供待投射的图像。
激光驱动器452控制激光输出单元453-1至453-3投射视频处理器451提供的图像。激光输出单元453-1至453-3输出相互不同颜色(波长范围)(诸如红色、蓝色和绿色)的激光。换言之，激光驱动器452控制各颜色的输出以便投射视频处理器451提供的图像。应注意，除非有必要相互区分，激光输出单元453-1至453-3称为激光输出单元453。
镜片454-1反射从激光输出单元453-1输出的激光并且将其导引至MEMS镜片456。镜片454-2反射从激光输出单元453-2输出的激光并且将其导引至MEMS镜片456。镜片454-3反射从激光输出单元453-3输出的激光并且将其导引至MEMS镜片456。应注意，除非有必要互相区分，镜片454-1至454-3称为镜片454。
MEMS驱动器455控制MEMS镜片456的镜片的驱动以便投射视频处理器451提供的图像。例如，如图23中所示的实例中，MEMS镜片456在MEMS驱动器455的控制下驱动附接至MEMS的镜片以扫描各颜色的激光。例如，激光从发光部分121A输出至装置外部以照射在图像投影表面111上。因此，从视频处理器451提供的图像被投射在图像投影表面111上。
应注意，虽然在图22中所示的实例中设置了3个激光输出单元453以便输出3种颜色的激光，但是激光束的数量(或者颜色的数量)是任意的。例如，可以设置4个或者更多个激光输出单元453，或者数量可以是2个或更少。换言之，从投影摄像装置101(投影单元181)输出的激光可以是两束或者更少或者可以是4束或者更多。另外，从投影摄像装置101(投影单元181)输出的激光的颜色的数量也是任意的并且可以是两种颜色或者更少或者4种颜色或者更多。此外，镜片454和MEMS镜片456的配置也是任意的并且不局限于图22中所示的实例。当然，激光扫描图案是任意的。
<投影仪模块间的同步>
在使用MEMS的这种投影单元181的情况下，由于MEMS进行设备的振荡操作，投影摄像装置101的模块不能由外部同步信号驱动。如果模块间没有准确地同步，那么存在引起视频模糊或者残留图像因而降低投影图像的图像质量的担心。
在这点上，如图24所示，例如，控制器102可以从投影仪模块121获得同步信号(水平同步信号和垂直同步信号)并且控制投影仪模块在全部投影仪模块121的同步信号(例如，垂直同步信号)都匹配的时间投射第一图像和第二图像。
<投影仪模块控制处理的流程>
将参考图25中的流程图描述在这种情况下由控制器102执行的投影仪模块控制处理的流程的实例。
在步骤S131中，当投影仪模块控制处理开始时，图像处理单元238与外部同步信号同步地从外部装置获取新帧的图像数据。在步骤S132中的，图像处理单元238在存储单元213等中存储步骤S131中获得的新帧的图像数据。
在步骤S133中，图像投影控制单元239从投影仪模块121获取水平或者垂直同步信号并且判断是否所有投影仪模块121的同步时间都已匹配。当判断时间已匹配时，处理前进到步骤S134。
在步骤S134中，图像投影控制单元239在与同步时间对应的时间从存储单元213读出新帧的图像数据并且将新帧的图像数据提供给将投射新帧的图像数据的投影仪模块121。在步骤S135中，图像投影控制单元239使投影仪模块121在与同步时间相应的时间投射所提供的新帧的图像。终止步骤S135的处理之后，处理前进到步骤S137。
进一步地，当在步骤S133中判断没有检测到全部投影仪模块的同步信号时，处理前进到步骤S136。在步骤S136中，图像投影控制单元239使投影仪模块121在与同步时间相应的时间投射当前帧的图像。终止步骤S136的处理之后，处理前进到步骤S137。
在步骤S137中，图像投影控制单元239判断定是否结束投影仪模块控制处理。当判断由于活动图像的投影正在继续而不终止时，处理回到步骤S131，并且对于该新帧执行该步骤以及后续步骤的处理。
另一方面，例如，当在步骤S137中判断为由于全部帧的投影都终止而终止投影仪模块控制处理时，那么终止投影仪模块控制处理。
通过用这种方法执行投影仪模块控制处理，控制器102可以使投影仪模块121在相同的时间投射图像，结果可以抑制由于视频模糊、残留图像等引起的投影图像的图像质量的下降。
<投影仪模块和照相机模块间的同步>
进一步地，在这种使用MEMS的投影单元181的情况下，例如，控制器102可以控制模块使得照相机模块122在与由如图24所示的任何一个投影仪模块121生成的同步信号(水平同步信号或者垂直同步信号)相对应的时间捕获图像。
例如，如果投影仪模块121的图像投影时间和照相机模块122的摄像时间偏离，那么存在变得难以捕获投影图像的担心。
在这点上，在图24中所示的实例的情况下，设置用投影仪模块121生成的垂直同步信号输入的或门461，并且将或门461的输出提供给照相机模块122作为垂直同步信号。因此，照相机模块122可以在与任意一个投影仪模块121的同步时间相对应的时间捕获图像。
<照相机模块控制处理的流程>
将参考图26中的流程图描述在这种情况下由控制器102执行的照相机模块控制处理的流程的实例。
当照相机模块控制处理开始时，在步骤S151中，摄像控制单元240从投影仪模块121获取水平或者垂直同步信号，并且判断其是否与任意一个投影仪模块121的同步时间匹配。当判断为匹配时，处理前进到步骤S152。
在步骤S152中，摄像控制单元240控制照相机模块122捕获图像并且在与该同步时间相对应的时间接受该捕获图像。在步骤S153中，摄像控制单元240从照相机模块122获取已经接受的捕获图像数据。
在步骤S154中，图像处理单元238将获取的捕获图像数据存储在存储单元213等中。终止步骤S154的处理之后，处理前进到步骤S155。另一方面，当在步骤S151中判断为不与任意一个投影仪模块121的同步时间匹配时，处理前进到步骤S155。
在步骤S155中，图像处理单元238判断是否终止照相机模块控制处理。当判断由于活动图像的投影正在继续而不终止时，处理回到步骤S151，并且对于该新帧执行该步骤以及后续步骤的处理。
另一方面，例如，当在步骤S155中判断为由于全部帧的投影都终止而终止照相机模块控制处理时，那么终止照相机模块控制处理。
通过用这种方法执行照相机模块控制处理，控制器102可以使图像在与投影仪模块121的投影时间相对应的时间被捕获，并且可以更准确地获得包括投影图像的捕获图像。因此，可以更适当地执行系统控制处理中使用捕获图像的处理(例如，参数设置、注视区域等)。
<注视区域的设置>
进一步地，由于在使用MEMS的投影单元181的情况下通过扫描激光来进行图像投影，注视区域可以设置为矩形之外的形状。在这点上，如在图27中所示的实例中，可以在第一图像中通过根据预定图像特性(例如，亮度、空间频率等等)来划分和整合区域来设置注视区域。在图27中所示的实例的情况下，注视区域设置单元234将预定图像特性不均一(不足够均一)的区域进行划分并且递归地重复这一划分直到图像特性在所有区域变得足够均一。进一步地，在相邻区域的图像特性匹配或者彼此足够相近的情况下，注视区域设置单元234整合那些区域。换言之，在图像特性在整合区域中足够地统一的情况下，注视区域设置单元234整合那些相邻区域。
用这种方法，注视区域设置单元234划分第一图像的区域，使得在该区域中预定图像特性变得足够地统一并且图像特性在相邻区域之间不匹配(不足够相近)。然后，注视区域设置单元234从划分区域中将其图像特性在期望范围内的区域设置为注视区域。
<注视区域设置处理的流程>
将参考图28的流程图描述在这种情况下注视区域设置处理的流程的实例。当注视区域设置处理开始时，注视区域设置单元234在步骤S171中对预定图像特性不均一的区域进行划分(例如，划分为4个区域(2×2))。
在步骤S172中，注视区域设置单元234判断图像特性在划分获得的区域中是否已经变得足够地均一。当断定存在图像特性不足够均一的区域时，处理回到步骤S171以便在该区域上进行区域划分。
当在步骤S172中判断在由所述划分获得的全部区域中图像特性变得足够均一时，处理前进到步骤S173。
在步骤S173中，注视区域设置单元234将图像特性匹配(或者足够接近的)相邻区域进行整合。
在步骤S174中，注视区域设置单元234判断全部相邻区域之间图像特性是否不同(不足够接近)。当断定存在图像特性匹配(或者足够接近)的相邻区域时，处理回到步骤S173以便整合图像特性匹配(或足够接近)的相邻区域。
当在步骤判断图像特性在全部相邻区域之间不同(不足够接近)时，处理前进到步骤S175。
在步骤S175中，注视区域设置单元234将由划分获得的这样设置的区域中图像特性在期望范围内的区域设置为注视区域。
在终止步骤S175的处理之后，终止注视区域设置处理。
通过用这种方法设置注视区域，注视区域设置单元234可以设置具有更均一的图像特性的注视区域。
如上所述的一系列处理可以通过硬件或者软件来执行。在通过软件执行如上所述的一系列处理的情况下，配置所述软件的程序从网络或者记录介质安装。
如图9、10、19、20等所示，例如，记录介质由其上记录有程序的可移动介质171、可移动介质221、可移动介质371、可移动介质421等组成，那些可移动介质被分配为将程序传送至用户并且与装置主体分离设置。这些可移动介质包括磁盘(包括软磁盘)和光盘(包括CD-ROM和DVD)以及磁光盘(包括MD(MiniDisc))、半导体存储器等等。
在这种情况下，在投影摄像装置101中，例如，可以通过加载驱动器165中的可移动介质171将程序安装在存储单元163中。此外，在控制器102中，例如，可以通过加载驱动器215中的可移动介质221将程序安装在存储单元213中。进一步地，在投影仪模块121中，例如，可以通过加载驱动器365中的可移动介质371将程序安装在存储单元363中。此外，在照相机模块122中，例如，可以通过加载驱动器415中的可移动介质421将程序安装在存储单元413中。
此外，该程序还可以经由有线或无线传输媒介例如局域网、因特网和数字卫星广播来提供。在这种情况下，在投影摄像装置101中，例如，该程序可以通过通信单元164接收并且安装在存储单元163中。进一步地，在控制器102中，例如，该程序可以通过通信单元214接收并且安装在存储单元213中。进一步地，在投影仪模块121中，例如，该程序可以通过通信单元364接收并且安装在存储单元363中。此外，在照相机模块122中，例如，该程序可以通过通信单元414接收并且安装在存储单元413中。
可选择地，也可以将程序预先安装在存储器、ROM等中。在投影摄像装置101的情况下，例如，可以将程序预先安装在存储单元163、合并到控制单元151中的ROM等中。进一步地，在控制器102的情况下，例如，可以将程序预先安装到存储单元213、ROM202等中。进一步地，在投影仪模块121的情况下，例如，可以将程序预先安装在存储单元363、合并到控制单元351的ROM等中。此外，在照相机模块122的情况下，例如，可以将程序预先安装在存储单元413、合并到控制单元401的ROM等中。
应注意，电脑执行的程序可以是其中按照说明书中描述的顺序以时间序列执行处理的程序或者可以是其中并行地或者在必要的时间诸如调用时执行处理的程序。
进一步地，在说明书中，描述记录在记录介质上的程序的步骤不仅包括以所述次序以时间序列进行的处理，还包括并行或者甚至是不一定以时间序列执行时独自执行的处理。
此外，如上所述步骤的处理可以在如上所述的各装置中或者除了如上所述装置之外的任意装置中执行。在这种情况下，执行处理的装置只须包括执行处理所必需的上述功能(功能块等等)。此外，处理所必需的信息只须酌情传输至那个装置。
此外，在本说明书中，系统指的是多个组成元件(装置、模块(组件)等等)的集合，并且全部组成元件是否设置在同一壳体中是没关系的。因此，容纳在不同壳体中并且经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置都称为体系。
此外，上面描述为单个装置(或者处理单元)的配置可以划分为配置多个装置(或者处理单元)。相反地，上面描述为多个装置(或者处理单元)的配置可以整合为单一的装置(或者处理单元)。此外，当然可以将不是如上所述的配置添加至各装置(或者处理单元)的配置。此外，只要整个系统的配置并且操作基本上相同，某个装置(或者处理单元)的配置的一部分可以包括在另一装置(或者处理单元)的配置中。
迄今为止，已经参考附图对本公开的优选实施方案进行了具体的描述，但是本公开的技术范围不局限于以上实例。本领域技术人员应该理解，只要在所附权利要求或者其对等物的范围内，可以基于设计要求和其他因素进行各种修改、合并、子合并和变化。
例如，本技术可以采用云计算配置，其中经由网络通过多个装置将一个功能分割并且协作处理。
进一步地，以上流程图中描述的步骤可以通过单个装置执行或者可以通过多个装置划分并执行。
此外，在其中多个处理包括在单个步骤中的情况下，可以通过单个装置执行包括在单个步骤中的多个处理或者通过多个装置进行划分并执行。
此外，本技术不限于此，并且可以包含有这种配置系统的一个装置或者多个装置上安装的各种配置，诸如作为系统LSI(大规模集成化)等的处理器、使用多个处理器等的模块、使用多个模块等的单元和其中将其他功能增添至该单元的集合(即，装置的部分配置)。
应注意，本技术还可以采取以下配置。
(1)一种信息处理装置，包括
控制单元，所述控制单元控制第一投影单元将第一图像投射在图像投影表面上并控制第二投影单元在注视区域中投射第二图像，所述注视区域作为通过所述第一投影单元投射在所述图像投影表面上的所述第一图像的预定部分区域。
(2)根据(1)所述的信息处理装置，其中
所述控制单元使投射在所述第一图像的所述注视区域中的部分图像或者通过改变所述部分图像的参数而获得的图像作为所述第二图像投射在所述注视区域中。
(3)根据(1)或(2)所述的信息处理装置，其中
所述控制单元使具有与在所述第一图像的所述注视区域中投射的部分图像不同的图案的图像作为所述第二图像投射在所述注视区域中。
(4)根据(1)至(3)中任一项所述的信息处理装置，其中
注视区域设置单元，其设置所述注视区域，
其中所述控制单元控制所述第二投影单元的投影的方向和视角以使所述第二图像在由所述注视区域设置单元设置的所述注视区域中进行投射。
(5)根据(4)所述的信息处理装置，其中
所述注视区域设置单元基于预定图像特性设置所述注视区域。
(6)根据(5)所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像的特征参数在期望范围内的区域设置为所述注视区域。
(7)根据(5)或(6)所述的信息处理装置，其中
所述注视区域设置单元将包括其与所述第一图像在深度方向上的距离在期望范围内的对象的区域设置为所述注视区域。
(8)根据(5)至(7)中任一项所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像检测到特色的区域设置为所述注视区域。
(9)根据(4)至(8)中任一项所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像包括对象的区域设置为所述注视区域。
(10)根据(4)至(9)中任一项所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像指定的区域设置为所述注视区域。
(11)根据(4)至(10)中任一项所述的信息处理装置，其中
所述控制单元基于通过捕获投射在所述图像投影表面上的所述第一图像和所述第二图像的摄像单元获得的捕获图像控制所述第二投影单元的投影的方向和视角。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中
与彼此独立的同步信号同步地驱动所述第一投影单元和所述第二投影单元，并且
所述控制单元使所述第一图像和所述第二图像在所有所述投影单元的所述同步信号都匹配的时间进行投射。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中
注视区域设置单元，其设置所述注视区域，
其中
与彼此独立的同步信号同步地驱动所述第一投影单元和所述第二投影单元，并且
所述控制单元控制摄像单元与所述同步信号同步地捕获投射在所述图像投影表面上的所述第一图像和所述第二图像，并且基于所述捕获图像控制所述第二投影单元的投影的方向和视角，以使所述第二图像投射在由所述注视区域设置单元设置的所述注视区域中。
(14)根据(1)至(13)中任一项所述的信息处理装置，其中
所述第一投影单元，和
所述第二投影单元。
(15)根据(14)所述的信息处理装置，其中
所述第一投影单元和所述第二投影单元之间的相对位置是固定的。
(16)根据(15)所述的信息处理装置，进一步包括
摄像单元，其捕获投射在所述图像投影表面上的所述第一图像和所述第二图像。
(17)根据(16)所述的信息处理装置，其中
所述第一投影单元、所述第二投影单元、所述摄像单元和所述控制单元一体形成。
(18)根据(17)所述的信息处理装置，其中
所述第一投影单元和所述第二投影单元布置在所述摄像单元的周边。
(19)根据(16)至(18)中任一项所述的信息处理装置，其中
所述摄像单元设置为多个。
(20)一种信息处理方法，其包括：
控制第一投影单元将第一图像投射在图像投影表面上；和
控制第二投影单元在注视区域中投射所述第二图像，所述注视区域作为由所述第一投影单元投射在所述图像投影表面上的所述第一图像的预定部分区域。
参考符号目录
100投影摄像系统
101投影摄像装置
102控制器
111图像投影表面
112投影图像
121投影仪模块
122照相机模块
131投影图像
151控制单元
152图像处理单元
153存储器
161输入单元
162输出单元
163存储单元
164通信单元
165驱动器
171可移动介质
181投影单元
182光学系统
183光学系统控制单元
191光学系统控制单元
192光学系统
193摄像单元
201CPU
202ROM
203RAM
204总线
210输入/输出接口
211输入单元
212输出单元
213存储单元
214通信单元
215驱动器
221可移动介质
231校正参数设置单元
232整体图像模块选择单元
233整体图像控制参数设置单元
234注视区域设置单元
235注视区域模块选择单元
236注视区域控制参数设置单元
237光学系统控制单元
238图像处理单元
239图像投影控制单元
240摄像控制单元
351控制单元
352图像处理单元
353存储器
354投影单元
355光学系统
356光学系统控制单元
361输入单元
362输出单元
363存储单元
364通信单元
365驱动器
371可移动介质
401控制单元
402光学系统控制单元
403光学系统
404摄像单元
405图像处理单元
406存储器
411输入单元
412输出单元
413存储器
414通信单元
415驱动器
421可移动介质
431投影摄像装置
441网络
451视频处理器
452激光驱动器
453激光输出单元
454镜片
455MEMS驱动器
456MEMS镜片
461或门。

Claims (20)

1.一种信息处理装置，其包括：
控制单元，所述控制单元控制第一投影单元将第一图像投射在图像投影表面上；以及
注视区域设置单元，所述注视区域设置单元基于所投射的第一图像的至少一个图像特性将所投射的第一图像的区域划分为多个区域，基于所述多个区域中的至少两个相邻区域的所述至少一个图像特性整合所述至少两个相邻区域，其中所述至少两个相邻区域的所述至少一个图像特性彼此匹配，并且基于所述至少两个相邻区域设置注视区域，
其中，所述控制单元控制第二投影单元在所述注视区域中投射第二图像，使得所投射的第二图像叠加在所投射的第一图像的至少第一部分上，以及
其中，所述注视区域包括所述第一部分，并且所叠加的第二图像的分辨率大于所投射的第一图像的第二部分的分辨率。
2.根据权利要求1所述的信息处理装置，其中
所述控制单元使投射在所述第一图像的所述注视区域中的部分图像或者通过改变所述部分图像的参数而获得的图像作为所述第二图像投射在所述注视区域中。
3.根据权利要求1所述的信息处理装置，其中
所述控制单元使具有与在所述第一图像的所述注视区域中投射的部分图像不同的图案的图像作为所述第二图像投射在所述注视区域中。
4.根据权利要求1所述的信息处理装置，其中
所述控制单元控制所述第二投影单元的投影的方向和视角以使所述第二图像投射在由所述注视区域设置单元设置的所述注视区域中。
5.根据权利要求4所述的信息处理装置，其中
所述注视区域设置单元基于预定图像特性设置所述注视区域。
6.根据权利要求5所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像的特性参数在期望范围内的区域设置为所述注视区域。
7.根据权利要求5所述的信息处理装置，其中
所述注视区域设置单元将包括其与所述第一图像在深度方向上的距离在期望范围内的对象的区域设置为所述注视区域。
8.根据权利要求5所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像检测到特征的区域设置为所述注视区域。
9.根据权利要求4所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像包括对象的区域设置为所述注视区域。
10.根据权利要求4所述的信息处理装置，其中
所述注视区域设置单元将相对于所述第一图像指定的区域作为所述注视区域。
11.根据权利要求4所述的信息处理装置，其中
所述控制单元基于通过摄像单元捕获投射在所述图像投影表面上的所述第一图像和所述第二图像而获得的捕获图像来控制所述第二投影单元的投影的方向和视角。
12.根据权利要求1所述的信息处理装置，其中
与彼此独立的同步信号同步地驱动所述第一投影单元和所述第二投影单元，并且
所述控制单元使所述第一图像和所述第二图像在所有所述投影单元的所述同步信号都匹配的时间进行投射。
13.根据权利要求1所述的信息处理装置，其中
与彼此独立的同步信号同步地驱动所述第一投影单元和所述第二投影单元，并且
所述控制单元控制摄像单元与所述同步信号同步地捕获投射在所述图像投影表面上的所述第一图像和所述第二图像，并且基于所述捕获图像控制所述第二投影单元的投影的方向和视角，以使所述第二图像投射在由所述注视区域设置单元设置的所述注视区域中。
14.根据权利要求1所述的信息处理装置，进一步包括
所述第一投影单元，和
所述第二投影单元。
15.根据权利要求14所述的信息处理装置，其中
所述第一投影单元和所述第二投影单元之间的相对位置是固定的。
16.根据权利要求15所述的信息处理装置，进一步包括
摄像单元，其捕获投射在所述图像投影表面上的所述第一图像和所述第二图像。
17.根据权利要求16所述的信息处理装置，其中
所述第一投影单元、所述第二投影单元、所述摄像单元和所述控制单元一体形成。
18.根据权利要求17所述的信息处理装置，其中
所述第一投影单元和所述第二投影单元布置在所述摄像单元的周边。
19.根据权利要求16所述的信息处理装置，其中
所述摄像单元设置为多个。
20.一种信息处理方法，其包括：
控制第一投影单元将第一图像投射在图像投影表面上；
基于所投射的第一图像的至少一个图像特性将所投射的第一图像的区域划分为多个区域；
基于所述多个区域中的至少两个相邻区域的所述至少一个图像特性整合所述至少两个相邻区域，其中所述至少两个相邻区域的所述至少一个图像特性彼此匹配；
基于所述至少两个相邻区域设置注视区域；以及
控制第二投影单元在所述注视区域中投射第二图像，使得所投射的第二图像叠加在所投射的第一图像的至少第一部分上，
其中，所述注视区域包括所述第一部分，并且所叠加的第二图像的分辨率大于所投射的第一图像的第二部分的分辨率。
CN201580066704.1A 2014-12-17 2015-12-03 信息处理装置和方法 Expired - Fee Related CN107113391B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014255294 2014-12-17
JP2014-255294 2014-12-17
PCT/JP2015/083960 WO2016098600A1 (ja) 2014-12-17 2015-12-03 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN107113391A CN107113391A (zh) 2017-08-29
CN107113391B true CN107113391B (zh) 2021-01-12

Family

ID=56126493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066704.1A Expired - Fee Related CN107113391B (zh) 2014-12-17 2015-12-03 信息处理装置和方法

Country Status (4)

Country Link
US (1) US20170329208A1 (zh)
JP (1) JP6768197B2 (zh)
CN (1) CN107113391B (zh)
WO (1) WO2016098600A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055178A (ja) * 2015-09-07 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110087047B (zh) * 2016-03-28 2021-05-14 麦克赛尔株式会社 投影型影像显示装置
CN106231105A (zh) * 2016-08-04 2016-12-14 成都佳荣科技有限公司 一种智能手机调整投影的方法
JP6769179B2 (ja) * 2016-08-31 2020-10-14 株式会社リコー 画像投影システム、情報処理装置、画像投影方法及びプログラム
CN110383828B (zh) * 2017-03-09 2022-02-08 索尼公司 图像处理设备和方法
US10437139B2 (en) * 2017-06-20 2019-10-08 Casio Computer Co., Ltd. Projector apparatus, projection method, and storage medium
JP7246146B2 (ja) * 2018-08-28 2023-03-27 株式会社Ｎｔｔドコモ 情報処理装置及び映像投影システム
JP7314501B2 (ja) 2018-11-27 2023-07-26 ソニーグループ株式会社 表示制御装置、表示制御方法及び表示制御プログラム
WO2021049473A1 (ja) 2019-09-09 2021-03-18 パナソニックＩｐマネジメント株式会社 映像表示システム、及び映像表示方法
DE102020201097B4 (de) * 2020-01-30 2023-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zur optischen Objektkoordinatenermittlung
JP2022083601A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像受信装置、画像送信装置、方法およびプログラム
JP6962439B1 (ja) * 2020-12-24 2021-11-05 三菱電機株式会社 エレベーターの表示制御装置
JP2022108364A (ja) * 2021-01-13 2022-07-26 コニカミノルタプラネタリウム株式会社 情報処理装置、方法およびプログラム
CN116965010A (zh) * 2021-02-26 2023-10-27 索尼集团公司 投射系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021044A (ja) * 1996-06-28 1998-01-23 Fujitsu Ltd 画像表示システム
JP2006003903A (ja) * 2005-06-17 2006-01-05 Seiko Epson Corp プロジェクタの制御システム及び制御方法、プロジェクタ並びにプロジェクタの制御装置
JP2006245737A (ja) * 2005-03-01 2006-09-14 Casio Comput Co Ltd 投影画像補正装置、投影画像補正方法及びプログラム
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2011013310A (ja) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd 画像投影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US20050116968A1 (en) * 2003-12-02 2005-06-02 John Barrus Multi-capability display
US20070091277A1 (en) * 2005-10-26 2007-04-26 Niranjan Damera-Venkata Luminance based multiple projector system
US20070132965A1 (en) * 2005-12-12 2007-06-14 Niranjan Damera-Venkata System and method for displaying an image
JP5145664B2 (ja) * 2006-07-18 2013-02-20 富士ゼロックス株式会社 遠隔指示システム
US7742011B2 (en) * 2006-10-31 2010-06-22 Hewlett-Packard Development Company, L.P. Image display system
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
JP2008176190A (ja) * 2007-01-22 2008-07-31 Matsushita Electric Ind Co Ltd 画像表示装置
KR101329128B1 (ko) * 2007-10-01 2013-11-14 삼성전자주식회사 프로젝터 및 상기 프로젝터의 멀티 프로젝션 제어 방법
JP5570300B2 (ja) * 2010-05-26 2014-08-13 キヤノン株式会社 投影装置及びプログラム
JP5768345B2 (ja) * 2010-08-26 2015-08-26 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
JP2013125191A (ja) * 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US8887043B1 (en) * 2012-01-17 2014-11-11 Rawles Llc Providing user feedback in projection environments
JP2013219643A (ja) * 2012-04-11 2013-10-24 Sony Corp 画像処理装置および方法、並びに、プログラム
US9588408B1 (en) * 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021044A (ja) * 1996-06-28 1998-01-23 Fujitsu Ltd 画像表示システム
JP2006245737A (ja) * 2005-03-01 2006-09-14 Casio Comput Co Ltd 投影画像補正装置、投影画像補正方法及びプログラム
JP2006003903A (ja) * 2005-06-17 2006-01-05 Seiko Epson Corp プロジェクタの制御システム及び制御方法、プロジェクタ並びにプロジェクタの制御装置
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2011013310A (ja) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd 画像投影装置

Also Published As

Publication number Publication date
WO2016098600A1 (ja) 2016-06-23
CN107113391A (zh) 2017-08-29
JPWO2016098600A1 (ja) 2017-09-28
US20170329208A1 (en) 2017-11-16
JP6768197B2 (ja) 2020-10-14

Similar Documents

Publication Publication Date Title
CN107113391B (zh) 信息处理装置和方法
US9918058B2 (en) Information processing to allow projector units to project images in cooperation
US20100097444A1 (en) Camera System for Creating an Image From a Plurality of Images
US10154194B2 (en) Video capturing and formatting system
WO2011052064A1 (ja) 情報処理装置および方法
EP2383995A2 (en) Display system, method and computer program for capturing images using multiple integrated image sensors
KR101489261B1 (ko) 상영관 파라미터 관리 장치 및 방법
CN103986867A (zh) 一种图像拍摄终端和图像拍摄方法
US20170061686A1 (en) Stage view presentation method and system
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
JP5539297B2 (ja) 表示システム、較正方法、コンピュータプログラム、及び記録媒体
US20070247518A1 (en) System and method for video processing and display
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
US11615755B1 (en) Increasing resolution and luminance of a display
US10574906B2 (en) Image processing apparatus and image processing method
CN115668913A (zh) 现场演出的立体显示方法、装置、介质及系统
KR20150103528A (ko) 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 및 방법
JP2000134640A (ja) 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置
JP4505559B2 (ja) スタジオセット用遠見パネルおよびこれを用いたスタジオセット
JP2013105000A (ja) 映像表示装置及び映像表示方法
WO2016190193A1 (ja) 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法
US10911780B2 (en) Multi-viewpoint image coding apparatus, multi-viewpoint image coding method, and storage medium
JP2008282077A (ja) 撮像装置および画像処理方法並びにそのプログラム
KR20140045636A (ko) 레이어드 파노라마 영상 생성 장치
CN115039410B (zh) 信息处理系统、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210112