CN109196853A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN109196853A
CN109196853A CN201780030304.4A CN201780030304A CN109196853A CN 109196853 A CN109196853 A CN 109196853A CN 201780030304 A CN201780030304 A CN 201780030304A CN 109196853 A CN109196853 A CN 109196853A
Authority
CN
China
Prior art keywords
view
field
imaging device
control unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780030304.4A
Other languages
English (en)
Other versions
CN109196853B (zh
Inventor
池田伸穗
池田广志
稻叶靖二郎
佐藤秀幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109196853A publication Critical patent/CN109196853A/zh
Application granted granted Critical
Publication of CN109196853B publication Critical patent/CN109196853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

需要容许更容易且直观地调节视角范围的技术。根据本公开，提供了一种包括控制器的信息处理装置，所述控制器在多个图像拾取装置中的一个图像拾取装置的视角范围上叠加用于调节所述一个图像拾取装置的视角范围的用于调节的视角范围。根据本公开，由于所述控制器将用于调节的视角范围叠加到一个图像拾取装置的视角范围上，因此用户可以更容易且直观地调节视角区域。不用说，本公开的有益效果不限于上述特征。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开涉及信息处理装置、信息处理方法以及程序。
背景技术
例如，如专利文献1中所公开的，已知使用多个成像装置对被摄体成像的技术。
引文列表
专利文献
专利文献1：JP 2014-241496A
发明内容
技术问题
顺便提及，在这种技术中，对于每个成像装置来说，按照用户的意图执行成像是非常重要的。为此，用户常常在检查每个成像装置的视角区域内的被摄体的同时调整每个成像装置的视角区域。具体而言，用户通过在成像装置的取景器中观看来检查视角区域内的被摄体。可替代地，在成像装置包括显示面板的情况下，视角区域内的被摄体显示在显示面板上。用户通过检查显示面板上显示的图像来检查视角区域内的被摄体。
但是，在通过观察每个成像装置的显示面板检查视角区域的同时来调节视角区域是非常麻烦的，并且期望能够更容易且直观地调节视角区域的技术。
鉴于这一点，本公开提出了可以更容易且直观地调节视角区域的信息处理装置、信息处理方法以及程序。
对问题的解决方案
根据本公开，提供了一种信息处理装置，包括：控制单元，所述控制单元将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
根据本公开，提供了一种信息处理方法，包括：通过处理器将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
根据本公开，提供了一种程序，所述程序使计算机实现将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上的控制功能。
发明的有益效果
如上所述，根据本公开，由于调节视角区域被叠加在任何一个成像装置的视角区域上，因此能够更容易且直观地调节视角区域。要注意的是，上述效果不一定是限制性的。和上述效果一起或代替上述效果，可以实现本说明书中描述的任何一个效果或者可以从本说明书中掌握的其它效果。
附图说明
图1是示出使用多个成像装置对被摄体成像的示例的平面图。
图2是示出使用多个成像装置对被摄体成像的示例的平面图。
图3是示出使用多个成像装置对被摄体成像的示例的平面图。
图4是示出使用多个成像装置对被摄体成像的示例的平面图。
图5是示出使用多个成像装置对被摄体成像的示例的平面图。
图6是示出使用多个成像装置对被摄体成像的示例的平面图。
图7是示出校正所捕获的图像的示例的说明图。
图8是示出校正所捕获的图像的示例的说明图。
图9是示出使用多个成像装置对被摄体成像的示例的平面图。
图10是示出校正所捕获的图像的示例的说明图。
图11是示出校正所捕获的图像的示例的说明图。
图12是示出根据本实施例的、使用多个成像装置对被摄体成像的示例的透视图。
图13是示出根据本实施例的、使用多个成像装置对被摄体成像的示例的平面图。
图14是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图15是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图16是根据本实施例的成像装置的功能框图。
图17是根据本实施例的运算装置的功能框图。
图18是示出根据本实施例的成像系统的处理过程的流程图。
图19是用于描述根据本实施例的成像系统的处理示例的说明图。
图20是用于描述根据本实施例的成像系统的处理示例的说明图。
图21是用于描述根据本实施例的成像系统的处理示例的说明图。
图22是用于描述根据本实施例的成像系统的处理示例的说明图。
图23是用于描述根据本实施例的成像系统的处理示例的说明图。
图24是用于描述根据本实施例的成像系统的处理示例的说明图。
图25是用于描述根据本实施例的成像系统的处理示例的说明图。
图26是用于描述根据本实施例的成像系统的处理示例的说明图。
图27是用于描述根据本实施例的成像系统的处理示例的说明图。
图28是用于描述根据本实施例的成像系统的处理示例的说明图。
图29是用于描述根据本实施例的成像系统的处理示例的说明图。
图30是用于描述根据本实施例的成像系统的处理示例的说明图。
图31是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图32是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图33是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图34是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图35是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图36是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
图37是示出根据本实施例的、在每个成像装置的显示单元上显示的图像的示例的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开的(一个或多个)优选实施例。要注意的是，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
要注意的是，将按以下次序进行描述。
1.使用多个成像装置对被摄体成像的示例
1-1.按用户意图的成像示例1
1-2.按用户意图的成像示例2
1-3.按用户意图的成像示例3
1-5.不按用户意图的成像示例1
1-6.不按用户意图的成像示例2
1-7.不按用户意图的成像示例3
2.本实施例的概述
3.根据本实施例的成像系统的配置示例
4.成像系统的处理示例
5.成像装置上显示的图像示例
5-1.显示在成像装置上的图像示例1
5-2.显示在成像装置上的图像示例2
5-3.显示在成像装置上的图像示例3
5-4.显示在成像装置上的图像示例4
5-5.显示在成像装置上的图像示例5
5-6.显示在成像装置上的图像示例6
5-7.显示在成像装置上的图像示例7
<1.使用多个成像装置对被摄体成像的示例>
首先，将描述使用多个成像装置对被摄体成像的示例。使用多个成像装置对被摄体成像的技术包括所谓的子弹时间成像、切割切换成像等。本实施例可以应用于使用多个成像装置捕获被摄体的任何技术。如上所述，在执行这种成像的情况下，对于每个成像装置来说，执行按用户意图的成像是非常重要的。在这里，用户的意图是多种多样的。例如，用户的意图包括每个成像装置的光轴中没有偏差(例如，它们在空间中的一个点处相交)、相应的捕获的图像中所示的被摄体的尺寸对齐、相应成像装置的水平视角方向对齐等。在任何成像装置执行不按用户意图的成像的情况下，需要各种类型的图像处理(所谓的后期制作处理)，因此，会发生图像质量等的降级。
(1-1.按用户意图的成像示例1)
首先，将参考图1描述按用户意图的成像示例1。在图1中，使用三个成像装置100至300对被摄体A至C成像。成像装置100对捕获的图像120A成像，成像装置200对捕获的图像220A成像，并且成像装置300对捕获的图像320A成像。在捕获的图像120A至320A中示出了被摄体A至C。光轴110是成像装置100的光轴，光轴210是成像装置200的光轴，并且光轴310是成像装置300的光轴。此外，视角区域120至320在成像装置100至300的前面示出。视角区域120至320是矩形的。根据成像元件的尺寸和焦距来确定视角区域120至320的尺寸和位置。此外，在视角区域120至320中示出了在水平视角方向上的中心线120a至320a和在垂直视角方向上的中心线120b至320b。成像装置100至300可以示意性地捕获出现在视角区域120至320中的图像。要注意的是，视角区域120至320被示为示出成像装置100至300的视角区域120至320的状态(尺寸、围绕光轴120至320的旋转角度、焦距等)。上述前提条件在下面的每个成像示例中是相同的。成像示例1中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-对齐捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸。
-对齐成像装置100至300的水平视角方向。
在图1所示的成像示例1中，成像装置100至300执行按用户意图的成像。为此，能够将捕获的图像120A至320A原样用作输出图像。因此，输出图像的图像质量良好。此外，在顺序显示这些捕获的图像120A至320A的情况下，针对被摄体A至C的视点看起来平滑地移动。
(1-2.按用户意图的成像示例2)
接下来，将参考图2描述按用户意图的成像示例2。图2中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸从捕获的图像120A开始顺序减小。即，捕获的图像120A中示出的被摄体B是最大的，并且捕获的图像320A中示出的被摄体B是最小的。
-对齐成像装置100至300的水平视角方向。
在图2所示的成像示例2中，成像装置100至300执行按用户意图的成像。为此，能够将捕获的图像120A至320A原样用作输出图像。此外，在顺序显示这些捕获的图像120A至320A的情况下，针对被摄体A至C的视点看起来平滑地移动，并且被摄体B的尺寸看起来平滑地改变。
(1-2.按用户意图的成像示例3)
接下来，将参考图3描述按用户意图的成像示例3。图3中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-对齐捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸。
-成像装置100至300的水平视角方向从成像装置100开始顺序地逆时针旋转。
在图3所示的成像示例3中，成像装置100至300执行按用户意图的成像。为此，能够将捕获的图像120A至320A原样用作输出图像。此外，在顺序显示这些捕获的图像120A至320A的情况下，针对被摄体A至C的视点看起来平滑地旋转。
如从成像示例1至3显而易见的，在成像装置100至300执行按用户意图的成像的情况下，输出图像的质量高，并且能够显示按用户意图的输出图像。要注意的是，用户的意图不限于以上描述。用户的意图包括例如尽可能多地使用捕获的图像中的区域(在“不按用户意图的成像示例1”中，捕获的图像变得更小)。此外，用户的意图可以仅包括将要成像的被摄体放置在视角区域中、使得人的头部被布置在视角区域的中心、人们垂直站在视角区域内等。在任何情况下，如果成像装置100至300执行按用户意图的成像，那么可以获得高质量的输出图像。
(1-4.不按用户意图的成像示例1)
接下来，将参考图4和5描述不按用户意图的成像示例1。图4中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-对齐捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸。
-对齐成像装置100至300的水平视角方向。
在图4所示的成像示例1中，成像装置100的光轴110偏离。为此，成像装置100不执行按用户意图的成像。因此，在捕获的图像120A至320A原样用作输出图像的情况下，被摄体A至C的视点随机改变。因此，需要针对捕获的图像120A的图像处理。这种图像处理由具有诸如CPU、ROM、RAM、硬盘和各种输入装置之类的硬件组成部分的信息处理装置执行。这同样适用于如下的其它成像示例。
在这种图像处理中，首先，如图5中所示，将成像装置100至300映射在三维虚拟空间中。然后，校正成像装置100的姿势，使得成像装置100的光轴110与其它光轴210和310在一点处相交。具体而言，校正指示成像装置100的姿势的旋转矩阵。校正后的光轴110与其它光轴210和310在一点处相交。然后，重新设置与校正后的成像装置100和光轴110对应的视角区域121。
成像装置100不在视角区域121中执行成像。因此，初始捕获的图像120A被校正为在视角区域121中成像的捕获的图像120B。具体而言，使用校正后的旋转矩阵等在新视角区域121上投影变换捕获的图像120A。但是，捕获的图像120B与视角区域121不完全重合。具体而言，视角区域121具有其中不存在捕获的图像120B的区域123(黑色区域)。因此，在视角区域121中的所有图像都被显示为输出图像的情况下，区域123也将被显示。这个区域123被显示为例如黑色图像。这给观众带来很多不适。因此，从捕获的图像120B中切出矩形图像120C，使得在输出图像的上方、下方或右侧或左侧不存在黑色图像。此外，矩形图像120C中示出的范围与其它捕获的图像220A和320A中示出的范围不同，因此还从其它捕获的图像220A和320A中切出相同尺寸的矩形图像220C和320C，使得这些范围对齐。然后，这些矩形图像120C至320C被显示为输出图像。
因此，能够显示看起来按用户意图的输出图像。但是，通过切出矩形图像120C至320C，图像尺寸变小。此外，矩形图像120C至320C中示出的范围变得小于原始捕获的图像120A至320A。因此，输出图像的质量降级。
(1-5.不按用户意图的成像示例2)
接下来，将参考图6至8描述不按用户意图的成像示例2。图6中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-对齐捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸。
-对齐成像装置100至300的水平视角方向。
在图6所示的成像示例2中，捕获的图像220A中示出的被摄体B的尺寸不同。例如，由于成像装置200的焦距与其它成像装置100和300的焦距不同，因此被摄体B的尺寸不同。为此，在捕获的图像120A至320A原样用作输出图像的情况下，被摄体B的尺寸改变。因此，这给观众带来很多不适。因此，需要针对捕获的图像220A的成像处理。
在这种图像处理中，首先，如图7中所示，从捕获的图像220A中切出矩形图像220D。然后，如图8中所示，将矩形图像220D扩展到与视角区域220相同的尺寸。扩展的矩形图像220D的分辨率低于其它捕获的图像120A和320A的分辨率。因此，分辨率的均匀性消失。因此，低通滤波器应用于所有这些图像。这使得图像的分辨率统一。然后，捕获的图像120A、矩形图像220D和捕获的图像320A被显示为输出图像。
因此，能够显示看起来按用户意图的输出图像。但是，输出图像的分辨率小于原始捕获的图像120A至320A的分辨率。因此，输出图像的质量降级。
(1-6.不按用户意图的成像示例3)
接下来，将参考图9至11描述不按用户意图的成像示例3。图9中用户的意图如下。
-成像装置100至300的光轴110至310在一点处相交。
-对齐捕获的图像120A至320A中示出的被摄体B(中心处的被摄体)的尺寸。
-对齐成像装置100至300的水平视角方向。
在图9所示的成像示例3中，成像装置100至300的水平视角方向都不同。为此，在捕获的图像120A至320A原样用作输出图像的情况下，被摄体A至C的朝向很大程度地改变。因此，这给观众带来很多不适。为此，需要针对捕获的图像120A至320A的成像处理。
在这种图像处理中，首先，如图10中所示，从捕获的图像120A至320A中切出示出被摄体A至C的矩形图像120E至320E。然后，如图11中所示，矩形图像120E至320E被扩展到与视角区域120到320相同的尺寸，并且对齐其水平视角方向。扩展的矩形图像120E至320E的分辨率低于原始捕获的图像120A至320A的分辨率。然后，矩形图像120E至320E被显示为输出图像。
因此，能够显示看起来按用户意图的输出图像。但是，输出图像的分辨率小于原始捕获的图像120A至320A的分辨率。因此，输出图像的质量降级。
以这种方式，在成像装置100至300执行不按用户意图的成像的情况下，需要各种类型的图像处理(所谓的后期制作处理)，因此，图像质量可能降级等。
因此，成像装置100至300执行按用户意图的成像是非常重要的。用户常常在检查每个成像装置100至300的视角区域120至320中的被摄体A至C的同时调节每个成像装置100至300的视角区域。具体而言，用户通过在成像装置100至300的取景器中观看来检查视角区域120至320中的被摄体A至C。可替代地，在成像装置100至300包括显示面板的情况下，在视角区域120至320中的被摄体A至C在显示面板上显示。用户通过检查显示在显示面板上的图像来检查视角区域120至320中的被摄体A至C。
但是，由于在视角区域中不显示用作调节标准的视角区域，因此用户难以确定如何调节视角区域。为此，用户有必要在成像装置100至300之间来回移动几次并重复微调。此外，即使执行了这种调节，在一些情况下捕获的图像120A至320A也可能不是按用户意图。
为此，期望可以更容易且直观地调节视角区域的技术。因此，在本实施例中，用作调节标准的视角区域(即，调节视角区域)被叠加在视角区域中。在下文中，将详细描述本实施例。
<2.本实施例的概述>
接下来，将参考图12至15描述本实施例的概述。如图12和13中所示，成像装置10和20对被摄体A和B成像。成像装置10和20的光轴11和21被指向被摄体A。在这个时候，在成像装置10的显示面板上显示图14中所示的图像。即，被摄体A和B、成像装置10的视角区域12、水平视角方向的中心线12a和垂直视角方向的中心线12b被显示在成像装置10的显示面板上。此外，成像装置20的视角区域22、视角区域22的水平视角方向的中心线22a和垂直视角方向的中心线22b在显示面板上被显示为调节视角区域。因此，用户可以直观且容易地确定成像装置10的视角区域12与成像装置20的视角区域22之间的位置关系。因而，例如，用户可以容易地执行调节，诸如将视角区域12的尺寸与视角区域22对齐。即，在视角区域12偏离用户意图的状态的情况下，用户可以容易地注意到这种偏差。此外，用户可以更容易且直观地执行视角区域12的调节。例如，在图14的示例中，视角区域12的水平视角方向偏离视角区域22的水平视角方向。为此，用户可以容易地校正这种偏差。
另一方面，图15中所示的图像显示在成像装置20的显示面板上。即，被摄体A和B、成像装置20的视角区域22、水平视角方向的中心线22a和垂直视角方向的中心线22b显示在成像装置20的显示面板上。此外，成像装置10的视角区域12、视角区域12的水平视角方向的中心线12a和垂直视角方向的中心线12b在显示面板上被显示为调节视角区域。因此，用户可以直观且容易地确定成像装置10的视角区域12与成像装置20的视角区域22之间的位置关系。因而，例如，用户可以更直观且容易地执行视角区域22的调节。
当然，调节视角区域不限于上述示例。例如，不按用户意图的成像示例1中，因为成像装置100的光轴110偏离，所以发生不按用户意图的成像。为此，还可以显示用于检查成像装置10和20的光轴11和21是否偏离的调节视角区域。下面将描述确定这种调节视角区域的方法。此外，成像装置的数量不限于这个示例。而且，捕获的图像可以是静止图像或移动图像。
<3.根据本实施例的成像系统的配置示例>
接下来，将参考图16和17描述根据本实施例的成像系统的配置。成像系统包括多个成像装置10至50、运算装置600和用于连接这些装置的网络500。当然，成像装置10至50的数量不限于此，并且可以是两个或更多个。
由于成像装置10至50的组成部分相同，因此本文将描述成像装置10的组成部分。如图16中所示，成像装置10包括透镜10A、光圈10B、成像元件10C、预处理单元10D、无线电波检测单元10E、图像质量调节单元10F、后处理单元10G、控制单元10H、存储单元10I、显示单元10J、透镜驱动单元10K、输入操作单元10L、通信单元10M以及临时存储单元10N。
透镜10A在成像元件10C中收集从外部入射的光。光圈10B调节已经通过透镜10A的光的量。成像元件10C根据来自透镜10A的光生成捕获的图像，并将其输出到预处理单元10D和无线电波检测单元10E。预处理单元10D由诸如中央处理单元(CPU)之类的电路构成，并对捕获的图像执行各种类型的预处理。在这里，预处理是用于调节每个成像装置的实心不规则性(solid irregularity)的处理，并且包括例如缺陷校正、阴影校正等。预处理单元10D将经预处理的捕获的图像输出到无线电波检测单元10E和图像质量调节单元10F。
无线电波检测单元10E由诸如CPU之类的电路构成，并且通过检测经预处理的捕获的图像的无线电波来获取捕获的图像的无线电波检测信息(例如，亮度分布等)。然后，无线电波检测单元10E将无线电波信息输出到图像质量调节单元10F。图像质量调节单元10F由诸如CPU之类的电路构成，并且基于无线电波信息调节捕获的图像的图像质量。例如，图像质量调节单元10F调节捕获的图像的颜色、明度(brightness)、分辨率、噪声感、纹理、白平衡等。图像质量调节单元10F将调节后的捕获的图像输出到后处理单元10G。后处理单元10G由诸如CPU之类的电路构成，并且对捕获的图像执行各种类型的后处理。后处理单元10G将经后处理的捕获的图像输出到临时存储单元10N。
临时存储单元10N由诸如随机存取存储器(RAM)之类的电路构成，并临时存储在成像装置10的处理中使用的各种类型的信息。例如，临时存储单元10N存储从后处理单元10G给出的捕获的图像。存储在临时存储单元10N中的信息由成像装置10的每个部件使用。下面将描述细节。控制单元10H由诸如CPU之类的电路构成，并且除了控制成像装置10的每个部件之外还执行例如以下处理。即，控制单元10H基于从输入操作单元10L输入的操作信息使成像元件10C执行成像。此外，控制单元10H使显示单元10J显示存储在临时存储单元10N中的捕获的图像，并使存储单元10I存储它。此外，控制单元10H基于成像装置信息生成各种调节视角区域，并将它们叠加在捕获的图像上。控制单元10H将其上叠加有调节视角区域的捕获的图像输出到临时存储单元10N。在这里，成像装置信息是成像装置的信息。具体而言，成像装置信息是例如与成像装置的视角相关的信息。更具体而言，成像装置信息包括例如关于成像装置10至50的安装位置、姿势、焦距和成像元件尺寸的信息。成像装置10至50的安装位置和姿势由运算装置计算。成像装置10至50的焦距表示为所谓的相机矩阵，并由成像装置10至50的控制单元生成。成像元件的尺寸存储在成像装置10至50的存储单元中。这些成像装置信息临时存储在临时存储单元10N中。然后，控制单元10H基于存储在临时存储单元10N中的成像装置信息生成调节视角区域。下面将描述详细的处理过程。
此外，控制单元10H基于从输入操作单元10L给出的操作信息来控制透镜驱动单元10K。透镜驱动单元10K基于来自控制单元10H的指令调节透镜10A的位置。即，透镜驱动单元10K调节焦距。控制单元10H使临时存储单元10N存储调节后的焦距。此外，控制单元10H使临时存储单元10N存储存储单元10I中存储的成像装置信息，具体而言，关于成像元件10C的尺寸的信息。
存储单元10I由诸如只读存储器(ROM)或闪存之类的电路构成，并存储成像装置10的操作所需的信息(例如，程序、焦距、成像元件10C的尺寸等)。此外，存储单元10I还可以存储临时存储单元10N中存储的捕获的图像(包括其上叠加有调节视角区域的捕获的图像)。显示单元10J叠加成像装置10的视角区域12、存储在临时存储单元10N中的捕获的图像以及调节视角区域并显示它。显示单元10J是例如布置在成像装置10的后表面上的显示面板(例如，液晶显示面板、有机电致发光显示面板等)、电子取景器(EVF)等，但不限于此。
透镜驱动单元10K由透镜驱动装置等构成，并根据来自控制单元10H的指令调节透镜10A的位置。输入操作单元10L由各种按钮、触摸面板等构成，并接收用户的输入操作。然后，输入操作单元10L将操作信息输出到控制单元10H。输入操作单元10L是例如各种按钮(快门按钮、操作按钮等)、触摸面板等，但是不限于此。
通信单元10M由通信电路等构成，并且经由网络500执行其它成像装置20至50与运算装置600之间的通信。例如，通信单元10M将存储在临时存储单元10N中的捕获的图像输出到运算装置600。此外，通信单元10M将存储在临时存储单元10N中的成像装置信息(在这里，成像装置10的焦距和成像元件尺寸)输出到其它成像装置20至50。此外，通信单元10M从其它成像装置20至50接收关于焦距和成像元件尺寸的信息作为成像装置信息。此外，通信单元10M从运算装置600接收关于成像装置10至50的安装位置和姿势的信息作为成像装置信息。通信单元10M将接收到的成像装置信息输出到临时存储单元10N。要注意的是，成像装置10还可以包括可以从成像装置10分离的外部存储介质。可以使外部存储介质存储捕获的图像、调节视角区域等。
要注意的是，成像装置10至50包括硬件组成部分，诸如处理器(诸如中央处理单元(CPU)或数字信号处理器(DSP))、只读存储器(ROM)、随机存取存储器(RAM)、闪存、透镜、光圈、成像元件、透镜驱动装置、显示面板(例如，液晶显示面板、有机电致发光显示面板等)、各种类型的按钮、触摸面板和通信电路。然后，处理器根据预定的程序执行信号处理，由此实现上述成像装置10至50的功能。要注意的是，成像装置10至50的组成部分不限于上述示例。即，只要可以实现本实施例的功能，成像装置10至50可以具有任何组成部分。
如图17中所示，运算装置600包括通信单元610、显示单元620、输入操作单元630、控制单元640、临时存储单元650和存储单元660。通信单元610是由通信电路等构成，并经由网络500与成像装置10至50执行通信。具体而言，通信单元610从成像装置10至50接收捕获的图像，并将它们输出到临时存储单元650。此外，通信单元610将存储在临时存储单元650中的成像装置信息(具体而言，成像装置10至50的安装位置和姿势)输出到成像装置10至50。显示单元620由显示面板(例如，液晶显示面板、有机电致发光显示面板等)构成，并显示存储在临时存储单元650中的各种类型的信息。输入操作单元630是例如鼠标、键盘、触摸面板等，并且接收用户的输入操作。输入操作单元630将操作信息输出到控制单元640。控制单元640由诸如CPU之类的电路构成，并且除了控制运算装置600的每个部件之外还执行以下处理。控制单元640基于存储在临时存储单元650中的捕获的图像计算(估计)成像装置10至50的安装位置和姿势。简而言之，控制单元640从捕获的图像中提取被摄体，并基于被摄体的尺寸、旋转角度等计算成像装置10至50的安装位置和姿势。在这里，控制单元640以位置向量的形式计算成像装置10至50的安装位置，并以旋转矩阵的形式计算成像装置10至50的姿势。控制单元640将关于成像装置10至50的安装位置和姿势的成像装置信息输出到临时存储单元650。临时存储单元650由诸如随机存取存储器(RAM)之类的电路构成，并且临时存储在运算装置600的处理中使用的各种类型的信息。例如，如上所述，临时存储单元650存储从通信单元610给出的捕获的图像。存储在临时存储单元650中的信息由运算装置600的每个部件使用。存储单元660由诸如只读存储器(ROM)之类的电路构成，并存储运算装置600的操作所需的信息(例如，程序等)。
要注意的是，运算装置600包括硬件组成部分，诸如处理器(诸如中央处理单元(CPU)或数字信号处理器(DSP))、只读存储器(ROM)、随机存取存储器(RAM)、硬盘、显示面板(例如，液晶显示面板、有机电致发光显示面板等)、键盘、鼠标、触摸面板和通信电路。然后，处理器根据预定的程序执行信号处理，由此实现上述运算装置600的功能。要注意的是，运算装置600的组成部分不限于上述示例。即，只要可以实现本实施例的功能，运算装置600可以具有任何组成部分。例如，运算装置600可以不具有上述至少一种类型的显示单元620或输入操作单元630。而且，可以使控制单元640的操作由成像装置10至50的控制单元之一执行。在这种情况下，不需要分别准备运算装置600。
<4.成像系统的处理示例>
接下来，将参考图18中所示的流程图描述成像系统的处理示例。要注意的是，将在以下处理示例中描述在成像装置10至50执行成像的情况下的处理，如图19中所示。此外，将在以下处理示例中描述成像装置10生成调节视角区域的示例，但是其它成像装置20至50也可以根据相同的处理生成调节视角区域。要注意的是，图18中的下标i是1到5的整数，并且对应于成像装置10到50。此外，以下处理示例在任何时间执行。
在步骤S10中，成像装置10至50将捕获的图像发送到运算装置600。具体而言，成像装置10至50的通信单元将存储在临时存储单元中的捕获的图像发送到运算装置600。相应地，运算装置600的通信单元610将这些捕获的图像输出到临时存储单元650。控制单元640基于存储在临时存储单元650中的捕获的图像生成关于成像装置10到50的安装位置和姿势的成像装置信息。然后，控制单元640将这些成像装置信息输出到临时存储单元650。接下来，通信单元610将存储在临时存储单元650中的成像装置信息发送到成像装置10到50。此外，成像装置10至50彼此交换关于焦距和成像元件尺寸的成像装置信息。例如，控制单元10H从存储单元10I获取关于成像装置10的焦距和成像元件尺寸的成像装置信息，并将该信息输出到临时存储单元10N。通信单元10M将存储在临时存储单元10N中的成像装置信息发送到其它成像装置20到50。此外，通信单元10M从其它成像装置20到50获取关于焦距和成像元件尺寸的成像装置信息。通信单元10M将这些成像装置信息输出到临时存储单元10N。
根据上述处理，关于成像装置10至50的安装位置、姿势、焦距和成像元件尺寸的成像装置信息存储在成像装置10的临时存储单元10N中。安装位置以位置向量的形式给出，姿势以旋转矩阵的形式给出，并且焦距以相机矩阵的形式给出。
在步骤S20中，控制单元10H设置三维虚拟空间。然后，控制单元10H基于成像装置10至50的位置向量在虚拟空间内的点P1至P5处安装成像装置10至50，如图20中所示。点P1至P5的坐标由位置向量确定。此外，控制单元10H基于旋转矩阵确定成像装置10至50的姿势。然后，控制单元10H设置成像装置10至50的光轴11至51。而且，控制单元10H基于相机矩阵和成像元件尺寸在光轴11至51上设置视角区域12至52。此外，控制单元10H在视角区域12至52上设置水平视角方向的中心线12a至52a和垂直视角方向的中心线12b至52b。此外，控制单元10H在视角区域12至52上设置xy平面。
在从步骤S30开始的处理中，控制单元10H变换视角区域12至52中的至少一个，并将变换后的视角区域设置为调节视角区域。具体而言，如图21中所示，控制单元10H在步骤S30中基于光轴11至51设置光轴11至51的目标交点P。例如，控制单元10H将光轴11至51的最近点设置为目标交点P。
在步骤S40中，控制单元10H基于目标交点P变换视角区域12至52中的至少一个。具体而言，如图22中所示，控制单元10H校正成像装置10至50的姿势，使得所有光轴11至51都指向目标交点P。具体而言，控制单元10H变换成像装置10至50的旋转矩阵(Ri→R'i)。即，控制单元10H调节成像装置信息。然后，控制单元10H重新设置与经校正的姿势对应的视角区域12c至52c。
然后，控制单元10H在步骤S50中对视角区域12执行投影变换。具体而言，如图23中所示，控制单元10H通过单应(homography)矩阵H1对视角区域12的四个角处的顶点P12执行投影变换。在这里，单应矩阵H1是由K1R'1K1 -1表示的矩阵。在这里，K1是成像装置10的相机矩阵，R'1是成像装置10的变换后的旋转矩阵，并且K1 -1是成像装置10的相机矩阵的逆矩阵。
然后，控制单元10H将经投影变换的视角区域12-1叠加在新视角区域12c上，如图24中所示。水平视角方向的中心线12a-1和垂直视角方向的中心线12b-1在视角区域12-1中示出。如从图24中显而易见的，视角区域12-1不与视角区域12c重合。例如，视角区域12-1的一部分从视角区域12c突出。在视角区域12-1中，没有对从视角区域12c突出的区域成像。因此，控制单元10H将视角区域12-1中存在于视角区域12c中的区域设置为有效视角区域12-2。然后，控制单元10H提取有效视角区域12-2的顶点P12-2。
在步骤S60中，控制单元10H从有效视角区域12-2中提取有效矩形视角区域12-3，如图26中所示。在视角区域12c中，存在其中没有有效视角区域12-2的区域12c-1。因此，在视角区域12c中的所有图像都被显示为输出图像的情况下，区域12c-1也将被显示。这个区域12c-1例如被显示为黑色图像。这给观众带来很多不适。因此，从有效视角区域12-2中提取有效矩形视角区域12-3，使得在输出图像的上方、下方、右侧或左侧不存在黑色图像。具体而言，控制单元10H提取有效矩形视角区域12-3的四个角处的顶点P12-3。优选的是有效矩形视角区域12-3的宽高比与视角区域12c的宽高比重合。此外，优选的是有效矩形视角区域12-3的中心点(重心点)P12-3a与视角区域12c的中心点(重心点)重合。
在步骤S70中，控制单元10H设置有效矩形视角区域12-3的水平视角方向的中心线12a-3和垂直视角方向的中心线12b-3，并计算这些长度L和H。
在步骤S80中，控制单元10H计算其它成像装置20至50的有效视角区域和有效矩形视角区域。具体的计算方法与上述步骤S50相同。
在步骤S90中，控制单元10H从其它成像装置20至50的有效视角区域提取有效矩形视角区域。此外，控制单元10H设置有效矩形视角区域的水平视角方向的中心线和垂直视角方向的中心线，并计算这些长度L和H。
在步骤S100中，控制单元10H将成像装置10的有效视角区域和有效矩形视角区域投影到原始视角区域12上。具体而言，控制单元10H使用单应矩阵的逆矩阵H1 -1变换成像装置10的有效视角区域12-2的顶点P12-2和有效矩形视角区域12-3的顶点P12-3。然后，控制单元10H将其它成像装置20至50的视角区域22c至52c、有效视角区域以及有效矩形视角区域投影到成像装置10的视角区域12上。
在下文中，将描述将成像装置20的视角区域22c、有效视角区域和有效矩形视角区域投影到视角区域12上的方法。能够以相同的方式将其它成像装置30至50的视角区域32c至52c、有效视角区域以及有效矩形视角区域投影到视角区域12上。
在这个方法中，就成像装置20的视角区域22c等如何在视角区域12c上成像而言，将成像装置20的视角区域22c等投影到视角区域12c上。具体而言，如图27中所示，控制单元10H将与视角区域12c平行的平面1000设置在离点P1足够远的位置。然后，控制单元10H在平面1000上设置与视角区域22c的八个点(具体而言，四个角落处的顶点，每条中心线和框架线的四个交叉点)对应的点P22-1。这些点22-1是连接点P2和视角区域22c的八个点的直线与平面1000的交叉点。使用这些点P22-1，在平面1000上形成远视角区域22-1。远视角区域22-1包括水平视角方向的中心线22a-1和垂直视角方向的中心线22b-1。
然后，控制单元10H基于以下等式(1)在视角区域12上投影远视角区域22-1的每个点P22-1。
[数学表达式1]
在等式(1)中，u和v是在视角区域12c上定义的xy平面上的二维坐标，并且xw、yw和zw是虚拟空间中的点P22-1的三维坐标。图28中所示的视角区域22-2指示投影到视角区域12上的视角区域22。点P22-2与点P22-1对应。此外，水平视角方向的中心线22a-2与中心线22a-1对应，并且垂直视角方向的中心线22b-2与中心线22b-1对应。要注意的是，整个视角区域22-2在图28中示出，但实际上显示视角区域12的范围内的一部分。
控制单元10H还以相同的方法将成像装置20的有效视角区域和有效矩形视角区域投影到视角区域12上。图29中所示的视角区域22-3是投影到视角区域12上的成像装置20的有效视角区域。点P22-3是有效视角区域的顶点。要注意的是，整个视角区域22-3在图29中示出，但实际上显示视角区域12范围内的一部分。
作为上述的结果，控制单元10H获得例如图30中所示的叠加视角区域。在这个叠加视角区域中，视角区域12-4、12-5和22-4被叠加到视角区域12上。视角区域12-4是投影到视角区域12上的成像装置10的有效视角区域12-2。点P12-4与有效视角区域12-2的顶点P12-2对应。视角区域12-5是投影到视角区域12上的成像装置10的有效矩形视角区域12-3。视角区域22-4是投影到视角区域12上的成像装置20的有效矩形视角区域。中心点P12-5和P22-4是视角区域12-5和22-4的中心点。要注意的是，在图30中省略了视角区域22-2和22-3。此外，省略了除视角区域12以外的视角区域的水平视角方向的中心线和垂直视角方向的中心线。
此外，控制单元10H还以与上述相同的方法将目标交点P投影到视角区域12上。
在步骤S110中，控制单元10H将所生成的叠加的视角区域输出到临时存储单元10N。此外，控制单元10H在显示单元10J上显示存储在临时存储单元10N中的叠加视角区域中的所需视角区域。控制单元10H可以显示所有视角区域，并且还可以显示由用户选择的视角区域。此外，用户未选择的视角区域可以不经历上述变换处理。而且，在上述处理示例中，校正成像装置10至50的姿势，使得光轴11至51指向目标交点P，但是能够将其它成像装置20至50的视角区域22至52叠加在成像装置10的视角区域12上，而不执行这种校正。下面将描述具体的显示示例。
<5.成像装置上显示的图像示例>
(5-1.显示在成像装置上的图像示例1)
接下来，将描述显示在成像装置10等上的图像的示例。图31示出了图像示例1。在这个图像示例1中，被摄体X1和X2由成像装置10至50成像。然后，图像示例1的图像显示在成像装置10的显示单元10J上。具体而言，被摄体X1和X2以及成像装置10的视角区域12显示在成像装置10的显示单元10J上。此外，水平视角方向的中心线12a和垂直视角方向的中心线12b显示在视角区域12中，作为视角区域12的特征信息的示例。此外，视角区域12-4、12-5、22-2、22-3和22-4被叠加到视角区域12上并显示在显示单元10J上。这些视角区域12-4、12-5、22-2、22-3和22-4的定义如上所述。此外，视角区域22-2的水平视角方向的中心线22a-2和垂直视角方向的中心线22b-2也作为视角区域22-2的特征信息显示在显示单元10J上。要注意的是，虽然在图31中还示出了视角区域12的框架外部的部分，但是视角区域12的框架外部的部分未显示在显示单元10J上。此外，控制单元10H针对每个视角区域改变线的类型(例如，颜色、粗细、闪烁的存在或不存在等)，并显示它。这同样适用于下面的其它图像示例。
此外，目标交点Pa也显示在显示单元10J上。这个目标交点Pa是投影到视角区域12上的目标交点P。要注意的是，在这个示例中考虑其它成像装置30至50来设置目标交点P，因此目标交点P的位置偏离成像装置10和20的光轴的交点。
要注意的是，视角区域12和22-2的特征信息也可以是其它信息，例如，视角区域12和22-2的中心点。此外，作为指示视角区域的形式，例如，可以仅显示视角区域的顶点。即，可以采用任何形式显示视角区域。此外，还可以显示其它成像装置30至50的视角区域。而且，例如，如果用户的目的是使光轴11与交点P匹配，那么可以省略成像装置20的视角区域22-2、22-3和22-4。相反，在用户的目的是基于其它成像装置20至50的视角区域调节视角区域12的情况下，可以省略视角区域12-4和12-5。这种情况包括例如视角区域12的尺寸与其它成像装置20至50的视角区域的尺寸对齐的情况。
根据这个图像示例1，用户可以直观且容易地确定成像装置10的视角区域12的中心点(即，成像装置10的光轴11)偏离目标交点Pa。此外，用户还可以直观且容易地确定视角区域12-4和12-5偏离视角区域12。为此，用户可以确定事实上类似于“不按用户意图的成像示例1”的图像处理是必要的。具体而言，用户可以容易地确定视角区域12的不包括在视角区域12-5中的部分是不能使用的区域。更具体而言，在捕获的图像被校正为在新视角区域12c中成像的捕获的图像的情况下，用户可以识别出没有捕获的图像的区域出现。然后，用户可以确定需要从捕获的图像中提取视角区域12-5，使得不出现这样的区域。因此，用户调节成像装置10的姿势，使得视角区域12的中心点与目标交点Pa重合。由于上述处理示例的处理在任何时间被执行，因此，如果用户移动成像装置10，那么根据移动显示在显示单元10J上的图像在任何时间被改变。在视角区域12的中心点与目标交点Pa重合的情况下，视角区域12-4和12-5也基本上与视角区域12重合。
顺便提及，如在图像示例1中那样，有效视角区域和有效矩形视角区域小于视角区域，因为成像装置10至50的光轴11至51中的至少一个偏离目标交点P。如图像示例1中所示，不仅成像装置10的有效视角区域和有效矩形视角区域而且另一个成像装置20的有效视角区域和有效矩形视角区域也显示在成像装置10的显示单元10J上，由此能够容易地确定哪个成像装置有问题。
此外，用户可以确定视角区域12的尺寸不同于视角区域22-2的尺寸。在这种情况下，认为成像装置10的焦距与成像装置20的焦距不匹配。因此，用户可以调节焦距，使得视角区域12的尺寸基本上与视角区域22-2的尺寸重合。此外，用户可以确定视角区域12的水平视角方向偏离视角区域22的水平视角方向。为此，用户可以通过调节成像装置10的姿势(使成像装置10围绕光轴11旋转)而使视角区域12的水平视角方向与视角区域22的水平视角方向重合。因此，用户可以更直观且容易地调节视角区域12。
此外，在图像示例1中，用户可以容易地确定视角区域22-2偏离视角区域22-3和22-4。因此，用户可以直观且容易地确定成像装置20的光轴21也偏离目标交点P。
(5-2.显示在成像装置上的图像示例2)
图32示出了图像示例2。在这个图像示例2中，被摄体X1和X2由成像装置10至50成像。然后，图像示例2的图像显示在成像装置20的显示单元上。具体而言，在成像装置20的显示单元上显示被摄体X1和X2、成像装置20的视角区域22、水平视角方向的中心线22a和垂直视角方向的中心线22b。此外，视角区域12-10、12-11、12-12、22-10和22-11被叠加到视角区域12上并显示在显示单元10J上。视角区域12-10是投影到视角区域12上的视角区域12。视角区域12-11是投影到视角区域12上的有效视角区域12-2。视角区域12-12是投影到视角区域12上的有效矩形视角区域12-3。视角区域22-10是投影到视角区域22上的成像装置20的有效视角区域。视角区域22-11是投影到视角区域22上的成像装置20的有效矩形视角区域。此外，视角区域12-10的水平视角方向的中心线12a-10和垂直视角方向的中心线12b-10也显示在显示单元上。
此外，目标交点Pa也显示在显示单元上。这个目标交点Pa的定义如上所述。要注意的是，还可以显示其它视角区域的水平视角方向的中心线和垂直视角方向的中心线。此外，可以显示视角区域的中心点而不是视角区域的中心线。而且，还可以显示其它成像装置30至50的视角区域。此外，例如，如果用户的目的是使光轴21与目标交点P匹配，那么可以省略成像装置10的视角区域12-10、12-11和12-12。
即使在这个图像示例2中，用户也可以更直观且容易地调节视角区域22。此外，用户可以直观且容易地确定另一个成像装置10的光轴11也偏离目标交点P。即，用户可以执行与图像示例1中相同的处理。
<5-3.显示在成像装置上的图像示例3>
图33示出了图像示例3。在这个图像示例3中，被摄体A和B由成像装置10和20成像。然后，图像示例3的图像显示在成像装置10的显示单元10J上。具体而言，在成像装置10的显示单元10J上显示被摄体A和B、成像装置20的视角区域22-2、水平视角方向的中心线22a-2和垂直视角方向的中心线22b-2。视角区域22-2的定义如上所述。要注意的是，在成像示例3中，视角区域22-2被示为基本上矩形，但是根据光轴与目标交点的偏离量，它将从矩形变形。这同样适用于下面的每个图像示例。此外，也可以显示其它类型的视角区域，例如视角区域12-4、12-5、22-3、22-4等(即，有效视角区域、有效矩形视角区域等)。这同样适用于下面的每个图像示例。
在这个示例中，视角区域22-2的尺寸与视角区域12的尺寸基本相同，但是水平视角方向和光轴偏离。为此，用户可以调节水平视角方向和光轴。要注意的是，在用户的意图是例如改变每个成像装置的焦距的情况下，用户调节焦距，使得视角区域22-2的尺寸不同于视角区域12的尺寸。
<5-4.显示在成像装置上的图像示例4>
图34示出了图像示例4。在这个图像示例4中，被摄体A和B由成像装置10和20成像。然后，图像示例4的图像显示在成像装置10的显示单元10J上。具体而言，在成像装置10的显示单元10J上显示被摄体A和B、成像装置20的视角区域22-2、水平视角方向的中心线22a-2和垂直视角方向的中心线22b-2。视角区域22-2的定义如上所述。
在这个示例中，视角区域22-2的尺寸小于视角区域12的尺寸，并且其水平视角方向和光轴偏离。为此，用户可以调节水平视角方向和光轴。要注意的是，在用户意图使成像装置10的焦距短于成像装置20的焦距的情况下，不必调节焦距。但是，如果用户意图对齐焦距，那么用户调节焦距，使得视角区域22-2的尺寸和视角区域12的尺寸对齐。
<5-5.显示在成像装置上的图像示例5>
图35示出了图像示例5。在这个图像示例5中，被摄体A和B由成像装置10和20成像。然后，图像示例5的图像显示在成像装置10的显示单元10J上。具体而言，在成像装置10的显示单元10J上显示被摄体A和B、成像装置20的视角区域22-2、水平视角方向的中心线22a-2和垂直视角方向的中心线22b-2。视角区域22-2的定义如上所述。
在这个示例中，视角区域22-2的尺寸大于视角区域12的尺寸，并且其水平视角方向和光轴偏离。为此，用户可以调节水平视角方向和光轴。要注意的是，在用户意图使成像装置10的焦距长于成像装置20的焦距的情况下，不必调节焦距。但是，在用户意图对齐焦距的情况下，用户调节焦距，使得视角区域22-2的尺寸和视角区域12的尺寸对齐。
<5-6.显示在成像装置上的图像示例6>
图36示出了图像示例6。在这个图像示例6中，被摄体A和B由成像装置10至50成像。然后，图像示例6的图像显示在成像装置10的显示单元10J上。具体而言，被摄体A和B显示在成像装置10的显示单元10J上。但是，在这个示例中，成像装置20的视角区域22-2从视角区域12极大地偏离，并且在视角区域12的外部。为此，视角区域22-2没有显示在视角区域12中。认为这是因为成像装置20的光轴极大地偏离了用户意图的方向。在这种情况下，控制单元10H可以在视角区域12中显示指示视角区域22-2的位置的位置指示信息。在这个示例中，位置指示信息是指示符C。此外，在这个示例中，指示符C是箭头图像，但不言而喻，指示符C可以是另一种类型的指示符。视角区域22-2的位置可以通过语音等指示。即，位置指示信息也可以是语音信息。图像显示和语音两者也可以一起使用。视角区域22-2的定义如上所述。
在这个示例中，视角区域22-2的光轴极大地偏离。为此，用户可以首先通过调节成像装置20的光轴使视角区域22-2显示在视角区域12中，然后执行与图像示例3、4和5相同的处理。
(5-7.显示在成像装置上的图像示例7)
图37示出了图像示例7。在这个图像示例7中，被摄体A和B由成像装置10至30成像。然后，图像示例7的图像显示在成像装置10的显示单元10J上。具体而言，在成像装置10的显示单元10J上显示被摄体A和B、成像装置20的视角区域22-2、水平视角方向的中心线22a-2和垂直视角方向的中心线22b-2。视角区域22-2的定义如上所述。此外，在显示单元10J上显示成像装置30的视角区域32-2、水平视角方向的中心线32a-2和垂直视角方向的中心线32b-2。视角区域32-2是投影到视角区域12上的成像装置30的视角区域32。
在这个示例中，视角区域22-2的尺寸与视角区域12的尺寸基本相同，并且其水平视角方向和光轴偏离。此外，视角区域32-2的尺寸小于视角区域12的尺寸，并且其水平视角方向和光轴偏离。为此，用户可以调节成像装置10至30，使得成像装置10至30的光轴对齐。要注意的是，目标交点Pa也可以显示在当前图像示例7中。此外，用户可以调节成像装置20和30的水平视角方向和光轴。而且，在用户意图使成像装置10的焦距比成像装置30的焦距短的情况下，不必调节焦距。但是，在用户意图对齐焦距的情况下，用户调节焦距，使得视角区域32-2的尺寸和视角区域12的尺寸对齐。此外，在用户意图改变每个成像装置的焦距的情况下，用户调节焦距，使得视角区域22-2的尺寸不同于视角区域12的尺寸。
如上所述，根据本实施例，控制单元10H将用于调节一个成像装置的视角区域的调节视角区域叠加到多个成像装置当中的任何一个成像装置的视角区域上。因此，用户可以更直观且容易地调节视角区域。
此外，控制单元10H基于关于多个成像装置的成像装置信息生成调节视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H基于成像装置信息变换一个成像装置的视角区域和其它成像装置的视角区域中的至少一个，并将变换后的视角区域设置为调节视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H计算多个成像装置的光轴的目标交点，并且基于目标交点变换一个成像装置的视角区域和其它成像装置的视角区域中的至少一个。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H调节成像装置信息，使得一个成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换一个成像装置的视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H从一个成像装置的变换后的视角区域中提取矩形视角区域，并将矩形视角区域设置为调节视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H调节成像装置信息，使得其它成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换其它成像装置的视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H从另一个成像装置的变换后的视角区域中提取矩形视角区域，并将矩形视角区域设置为调节视角区域。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H将目标交点叠加到一个成像装置的视角区域上。因此，用户可以更直观且容易地调节视角区域。
此外，成像装置信息包括多个成像装置的安装位置、焦距和成像元件尺寸。因此，控制单元10H可以更准确地生成调节视角区域。
此外，控制单元10H将指示调节视角区域的特征位置的特征信息叠加到调节视角区域上。因此，用户可以更直观且容易地调节视角区域。
在这里，控制单元10H设置调节视角区域的水平视角方向的中心线、垂直视角方向的中心线和中心点中的至少一个作为特征信息。因此，用户可以更直观且容易地调节视角区域。
此外，上述处理由成像装置执行。因此，成像装置可以更快地显示上述调节视角区域。
以上已经参考附图描述了本公开的(一个或多个)优选实施例，而本公开不限于上述示例。本领域技术人员可以在随附权利要求的范围内找到各种更改和修改，并且应当理解的是，它们将自然地落入本公开的技术范围内。
例如，在上述实施例中，虽然成像装置是所谓相机的形式，但是本技术可以适当地应用于执行成像的装置，例如，智能电话、移动电话等。此外，图18的处理也可以在除成像装置10至50之外的其它装置上执行，例如，在运算装置600上执行。
另外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。即，和上述效果一起或代替上述效果，根据本公开的技术可以实现根据本说明书的描述对本领域技术人员清楚的其它效果。
此外，本技术还可以如下配置。
(1)一种信息处理装置，包括：
控制单元，所述控制单元将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
(2)如(1)所述的信息处理装置，
其中控制单元基于关于所述多个成像装置的成像装置信息生成调节视角区域。
(3)如(2)所述的信息处理装置，
其中控制单元基于成像装置信息变换所述一个成像装置的视角区域和其它成像装置的视角区域中的至少一个，并将变换后的视角区域设置为调节视角区域。
(4)如(3)所述的信息处理装置，
其中控制单元基于成像装置信息计算所述多个成像装置的光轴的目标交点，并且基于目标交点变换所述一个成像装置的视角区域和所述其它成像装置的视角区域中的至少一个。
(5)如(4)所述的信息处理装置，
其中控制单元调节成像装置信息，使得所述一个成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换所述一个成像装置的视角区域。
(6)如(5)所述的信息处理装置，
其中控制单元从所述一个成像装置的变换后的视角区域中提取矩形视角区域，并将该矩形视角区域设置为调节视角区域。
(7)如(4)至(6)中任一项所述的信息处理装置，
其中控制单元调节成像装置信息，使得所述其它成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换所述其它成像装置的视角区域。
(8)如(7)所述的信息处理装置，
其中控制单元从所述其它成像装置的变换后的视角区域中提取矩形视角区域，并将该矩形视角区域设置为调节视角区域。
(9)如(4)至(8)中任一项所述的信息处理装置，
其中控制单元将目标交点叠加到所述一个成像装置的视角区域上。
(10)如(2)至(9)中任一项所述的信息处理装置，
其中成像装置信息是关于所述多个成像装置的视角的信息。
(11)如(10)所述的信息处理装置，
其中成像装置信息包括所述多个成像装置的安装位置、姿势、焦距和成像元件尺寸中的至少一种类型。
(12)如(1)至(11)中任一项所述的信息处理装置，
其中控制单元将指示调节视角区域的特征部分的特征信息叠加到调节视角区域上。
(13)如(12)所述的信息处理装置，
其中控制单元将调节视角区域的水平视角方向的中心线、垂直视角方向的中心线和中心点中的至少一种类型设置为特征信息。
(14)如(1)至(13)中任一项所述的信息处理装置，
其中，在调节视角区域在一个成像装置的视角区域的外部的情况下，控制单元呈现指示调节视角区域的位置的位置指示信息。
(15)如(1)至(14)中任一项所述的信息处理装置，
其中信息处理装置是一个成像装置。
(16)一种信息处理方法，包括：
通过处理器将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
(17)一种程序，该程序使计算机实现将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上的控制功能。
附图标记列表
10至50 成像装置
10A 透镜
10B 光圈
10C 成像元件
10D 预处理单元
10E 无线电波检测单元
10F 图像质量调节单元
10G 后处理单元
10H 控制单元
10I 存储单元
10J 显示单元
10K 透镜驱动单元
10L 输入操作单元
10M 通信单元
600 运算装置
610 通信单元
620 显示单元
630 输入操作单元
640 控制单元

Claims (17)

1.一种信息处理装置，包括：
控制单元，所述控制单元将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
2.根据权利要求1所述的信息处理装置，
其中，控制单元基于关于所述多个成像装置的成像装置信息生成调节视角区域。
3.根据权利要求2所述的信息处理装置，
其中，控制单元基于成像装置信息变换所述一个成像装置的视角区域和其它成像装置的视角区域中的至少一个，并将变换后的视角区域设置为调节视角区域。
4.根据权利要求3所述的信息处理装置，
其中，控制单元基于成像装置信息计算所述多个成像装置的光轴的目标交点，并且基于目标交点变换所述一个成像装置的视角区域和所述其它成像装置的视角区域中的至少一个。
5.根据权利要求4所述的信息处理装置，
其中，控制单元调节成像装置信息，使得所述一个成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换所述一个成像装置的视角区域。
6.根据权利要求5所述的信息处理装置，
其中，控制单元从所述一个成像装置的变换后的视角区域中提取矩形视角区域，并将该矩形视角区域设置为调节视角区域。
7.根据权利要求4所述的信息处理装置，
其中，控制单元调节成像装置信息，使得所述其它成像装置的光轴指向目标交点，并且基于调节后的成像装置信息变换所述其它成像装置的视角区域。
8.根据权利要求7所述的信息处理装置，
其中，控制单元从所述其它成像装置的变换后的视角区域中提取矩形视角区域，并将该矩形视角区域设置为调节视角区域。
9.根据权利要求4所述的信息处理装置，
其中，控制单元将目标交点叠加到所述一个成像装置的视角区域上。
10.根据权利要求2所述的信息处理装置，
其中，成像装置信息是关于所述多个成像装置的视角的信息。
11.根据权利要求10所述的信息处理装置，
其中，成像装置信息包括所述多个成像装置的安装位置、姿势、焦距和成像元件尺寸中的至少一种类型。
12.根据权利要求1所述的信息处理装置，
其中，控制单元将指示调节视角区域的特征部分的特征信息叠加到调节视角区域上。
13.根据权利要求12所述的信息处理装置，
其中，控制单元将调节视角区域的水平视角方向的中心线、垂直视角方向的中心线和中心点中的至少一种类型设置为特征信息。
14.根据权利要求1的信息处理装置，
其中，在调节视角区域在所述一个成像装置的视角区域的外部的情况下，控制单元呈现指示调节视角区域的位置的位置指示信息。
15.根据权利要求1的信息处理装置，
其中，信息处理装置是所述一个成像装置。
16.一种信息处理方法，包括：
通过处理器将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上。
17.一种程序，所述程序使计算机实现将用于调节多个成像装置中的一个成像装置的视角区域的调节视角区域叠加到所述一个成像装置的视角区域上的控制功能。
CN201780030304.4A 2016-05-25 2017-03-10 信息处理装置、信息处理方法以及计算机可读存储介质 Active CN109196853B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-104170 2016-05-25
JP2016104170 2016-05-25
PCT/JP2017/009658 WO2017203796A1 (ja) 2016-05-25 2017-03-10 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN109196853A true CN109196853A (zh) 2019-01-11
CN109196853B CN109196853B (zh) 2020-10-30

Family

ID=60412586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030304.4A Active CN109196853B (zh) 2016-05-25 2017-03-10 信息处理装置、信息处理方法以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10606149B2 (zh)
JP (1) JP6835080B2 (zh)
CN (1) CN109196853B (zh)
WO (1) WO2017203796A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196853B (zh) * 2016-05-25 2020-10-30 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
WO2018235163A1 (ja) * 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP6729607B2 (ja) * 2018-01-11 2020-07-22 株式会社デンソー 設置位置情報提供装置及び設置位置情報提供方法
KR102127764B1 (ko) * 2018-12-06 2020-07-09 서울과학기술대학교 산학협력단 파노라마 이미지 생성 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284452A (ja) * 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム
JP2011130234A (ja) * 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム
JP2013038668A (ja) * 2011-08-10 2013-02-21 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
CN103298393A (zh) * 2011-05-17 2013-09-11 奥林巴斯医疗株式会社 医疗设备、医疗图像中的标记显示控制方法以及医疗用处理器
CN104125798A (zh) * 2012-02-20 2014-10-29 佳能株式会社 图像显示设备、图像显示方法和摄像系统
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921331B2 (ja) * 2012-05-21 2016-05-24 キヤノン株式会社 撮像装置、マスク画像の重畳方法、および、プログラム
JP6192940B2 (ja) * 2013-01-23 2017-09-06 オリンパス株式会社 撮影機器及び連携撮影方法
JP6231345B2 (ja) * 2013-10-18 2017-11-15 クラリオン株式会社 車両用発進支援装置
JP2015186021A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 撮影機器、撮像観察機器、画像比較表示方法、画像比較表示プログラム及び画像比較表示システム
JP6165681B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 画像表示装置及び画像表示方法
WO2016174942A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109196853B (zh) * 2016-05-25 2020-10-30 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
US10917604B2 (en) * 2017-09-27 2021-02-09 JVC Kenwood Corporation Captured image display device, captured image display method, and captured image display program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284452A (ja) * 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム
JP2011130234A (ja) * 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム
CN103298393A (zh) * 2011-05-17 2013-09-11 奥林巴斯医疗株式会社 医疗设备、医疗图像中的标记显示控制方法以及医疗用处理器
JP2013038668A (ja) * 2011-08-10 2013-02-21 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
CN104125798A (zh) * 2012-02-20 2014-10-29 佳能株式会社 图像显示设备、图像显示方法和摄像系统
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2017203796A1 (ja) 2017-11-30
US20190121217A1 (en) 2019-04-25
US10606149B2 (en) 2020-03-31
JP6835080B2 (ja) 2021-02-24
CN109196853B (zh) 2020-10-30
JPWO2017203796A1 (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
JP2022528659A (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
CN109196853A (zh) 信息处理装置、信息处理方法以及程序
CN108718373A (zh) 影像装置
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US8491128B2 (en) System and method for projection correction by capturing projection image
CN107111864A (zh) 用于平滑视图切换和缩放的计算性多相机调整
CN108805801A (zh) 一种全景图像校正方法及系统
CN105141841B (zh) 摄像设备及其方法
CN108234989B (zh) 一种基于棋盘格标定板的会聚式集成成像拍摄方法
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
CN110691175B (zh) 演播室中模拟摄像机运动跟踪的视频处理方法及装置
JP2003219324A (ja) 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
CN112986260A (zh) 基于相机矩阵的检测系统、控制系统、终端、介质及应用
JP6055223B2 (ja) 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置
US11218662B2 (en) Image processing device, image processing method, and projection system
US20120263448A1 (en) Method and System for Aligning Cameras
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN103546680B (zh) 一种无变形的全方位鱼眼摄像装置及实现方法
CN206460513U (zh) 双摄像标定板
TW202038185A (zh) 影像的修正方法及其裝置
CN206369889U (zh) 双摄像标定用暗箱
CN104570557B (zh) 显示装置与应用其的显示方法
CN117974796A (zh) 一种xr扩展现实的相机标定方法、装置和系统
CN112288824B (zh) 一种基于现实场景的长焦相机标定装置及标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant