CN102845069B - 图像处理装置、图像处理方法和图像处理计算机程序产品 - Google Patents

图像处理装置、图像处理方法和图像处理计算机程序产品 Download PDF

Info

Publication number
CN102845069B
CN102845069B CN201280000927.4A CN201280000927A CN102845069B CN 102845069 B CN102845069 B CN 102845069B CN 201280000927 A CN201280000927 A CN 201280000927A CN 102845069 B CN102845069 B CN 102845069B
Authority
CN
China
Prior art keywords
image
detection zone
region
imaging region
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280000927.4A
Other languages
English (en)
Other versions
CN102845069A (zh
Inventor
櫛田英功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102845069A publication Critical patent/CN102845069A/zh
Application granted granted Critical
Publication of CN102845069B publication Critical patent/CN102845069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

图像处理装置、方法和计算机程序产品合作来在对第一或第二成像区域进行了位移调节时，在用于图像调节处理的检测区域中进行调节。在位移调节被施加到第一成像区域和第二成像区域中的至少一个之后，检测区域设置装置设置第一成像区域内的第一检测区域并设置第二成像区域中的第二检测区域。第一检测区域是在图像调节处理中使用的区域。

Description

图像处理装置、图像处理方法和图像处理计算机程序产品
技术领域
本公开涉及图像处理装置、图像处理方法和图像处理计算机程序产品，它们适于应用到使用例如两个照相机来捕获所谓的立体图像的复眼成像装置。
背景技术
近年来，提出了一种使用立体观察（立体视觉）获得立体效果的方法，其中分别通过左眼和右眼来观看两个视点（即左和右）的图像（立体图像）。
作为生成在立体观察中使用的图像信号的方法，已知复眼成像，其中两个照相机被布置在左侧和右侧，并分别捕获两个视点的图像。
另一方面，对于使用一个照相机的普通成像装置，已知以矩形形状将基于图像信号的画面的中心部分分割为检测区域（检测框）的方法（例如参考专利文献1）。通过这种类型的成像装置，预先确定的算术处理被应用到包括在检测区域中的像素信号的值，从而为自动聚焦等生成用于图像调节的信号，并基于该信号实际调节图像。
引用列表
专利文献
PTL 1：JP H11-98407A
发明内容
技术问题
然而，当执行复眼成像时，可以想到例如为使用两个照相机捕获的图像中的每一个设置检测区域，使用包括在检测区域中的每一个中的像素信号的值来生成用于图像调节的信号，然后调节图像中的每一 个。
此时，假设检测区域中的每一个被设置在图像中的每一个的中心区中。例如，当将特定成像目标（对象）置于图像中的每一个的中心时，设置检测区域中的每一个以使得它们都与对象匹配。
同时，在立体图像中，已知可以调节通过调节由两个照相机相互捕获的图像的区域（即，通过调节捕获区域之间的位移程度）而获得的立体效果的程度。
然而，当捕获区域被移位时，画面上的检测区域的位置并不从画面的中心区改变，从而检测区域从对象移位。作为结果，存在不能在对象上聚焦的风险。
在这种类型的复眼成像中，当根据立体效果的调节而改变捕获区域时，存在不能适当地调节图像的问题。
本公开根据上述问题而提出，并提供了能够适当地调节多个相应图像的图像处理装置、图像处理方法和图像处理程序。
解决问题的技术方案
在一个示例性实施例中，一种图像处理装置包括：检测区域设置装置，在位移调节被施加到第一成像区域和第二成像区域中的至少一个之后，检测区域设置装置设置第一成像区域内的第一检测区域并设置第二成像区域中的第二检测区域。第一检测区域是在图像调节处理中使用的区域。
根据实施例的一个方面，图像处理装置还包括位移调节机构，位移调节机构补偿第一成像单元和第二成像单元之间的光学未对准。
根据实施例的另一方面，图像处理装置还包括变焦透镜；以及透镜控制部分。位移调节机构补偿由于变焦透镜的变焦调节导致的光学未对准。
根据实施例的另一方面，图像处理装置还包括存储装置。由位移调节机构使用来调节未对准的调节量是预先确定的并被存储在存储装置中。
根据实施例的另一方面，调节量是光轴校正量，以及存储装置将 光轴校正量存储在光轴校正表中。
根据实施例的另一方面，图像处理装置还包括第一成像单元和第二成像单元，其中第一成像单元、第二成像单元和检测区域设置装置是复眼成像装置的一部分。
根据实施例的另一方面，图像调节处理是聚焦控制、曝光控制和白平衡控制之一。
根据另一方面，第一检测区域位于第一成像区域的中心，第二检测区域位于第二成像区域的中心。
根据另一方面，检测区域设置装置设置第三成像区域和第四成像区域，第三成像区域是通过在水平方向上移动第一成像区域而创建的区域，第四成像区域是通过在相反的水平方向上移动第二成像区域而创建的区域，第一成像区域和第二成像区域的移动量与立体效果对应。
根据方法实施例，该方法包括将位移调节施加到第一成像区域和第二成像区域中的至少一个；以及通过检测区域设置装置设置第一成像区域内的第一检测区域以及第二成像区域中的第二检测区域。第一检测区域是在图像调节处理中使用的区域。
该实施例的一个方面是它可以包括通过位移调节机构补偿第一成像单元和第二成像单元之间的光学未对准。
另一方面是它可以包括在变焦透镜上调节变焦。所述补偿包括补偿由于变焦调节导致的光学未对准。
另一方面是它可以包括在存储装置中存储由位移调节机构使用来调节第一成像单元和第二成像单元之间的未对准的调节量。
另一方面是调节量是光轴校正量，以及存储装置将光轴校正量存储在光轴校正表中。
另一方面是图像调节处理是聚焦控制、曝光控制和白平衡控制之一。
根据另一方面，第一检测区域位于第一成像区域的中心，第二检测区域位于第二成像区域的中心。
根据另一方面，所述设置包括设置第三成像区域和第四成像区域，第三成像区域是通过在水平方向上移动第一成像区域而创建的区域，第四成像区域是通过在相反的水平方向上移动第二成像区域而创建的区域，第一成像区域和第二成像区域的移动量与立体效果对应。
在其上存储有当被处理电路执行时实施图像处理方法的指令的非暂态计算机可读存储装置实施例中，该方法包括将位移调节施加到第一成像区域和第二成像区域中的至少一个；以及通过检测区域设置装置设置第一成像区域内的第一检测区域以及第二成像区域中的第二检测区域。第一检测区域是在图像调节处理中使用的区域。
根据实施例的一方面，该实施例包括通过位移调节机构补偿第一成像单元和第二成像单元之间的光学未对准。
另一方面是它可以包括在变焦透镜上调节变焦。所述补偿包括补偿由于变焦调节导致的光学未对准。
另一方面是它可以包括在存储装置中存储由位移调节机构使用来调节第一成像单元和第二成像单元之间的未对准的调节量。
另一方面是调节量是光轴校正量，以及存储装置将光轴校正量存储在光轴校正表中。
另一方面是图像调节处理是聚焦控制、曝光控制和白平衡控制之一。
根据另一方面，第一检测区域位于第一成像区域的中心，第二检测区域位于第二成像区域的中心。
根据另一方面，所述设置包括设置第三成像区域和第四成像区域，第三成像区域是通过在水平方向上移动第一成像区域而创建的区域，第四成像区域是通过在相反的水平方向上移动第二成像区域而创建的区域，第一成像区域和第二成像区域的移动量与立体效果对应。
发明的有益效果
根据本公开，可以使用以第一区域作为基准而提取的图像信号来调节图像中的每一个而不考虑立体效果的程度，因为可以根据希望传达的立体效果来设置第二区域，同时还可以基于第一区域来设置检测 区域而不参考第二区域。从而，本公开可以实现能够适当地调节多个相应图像的图像处理装置、图像处理方法和图像处理程序。
附图说明
图1是示出复眼成像装置的总配置的示意图。
图2是示出系统控制器的硬件配置的示意图。
图3是示出系统控制器和数字信号处理部分的功能配置的示意图。
图4是示出根据第一实施例的图像的提取区域和检测区域的示意图。
图5是示出根据第一实施例的图像和检测区域之间的关系的示意图。
图6是示出根据第一实施例的右侧检测区域设置处理过程的流程图。
图7是示出根据第一实施例的左侧检测区域设置处理过程的流程图。
图8是示出根据第二实施例的图像的提取区域和检测区域的示意图。
图9是示出根据第二实施例的图像和检测区域之间的关系的示意图。
图10是示出根据第二实施例的右侧检测区域设置处理过程的流程图。
图11是示出根据第二实施例的左侧检测区域设置处理过程的流程图。
具体实施方式
在下文中，将参考附图描述用于实现本公开的优选实施例（在下文中被称为实施例）。注意，将以下面所示的顺序给出描述。
1.第一实施例（根据光轴调节和视差调节设置检测区域的 例子）
2.第二实施例（仅根据光轴调节设置检测区域的例子）
3.其它实施例
1.第一实施例
1-1.复眼成像装置的配置
图1所示的复眼成像装置1通过执行复眼成像生成形成立体图像的两个系统的图像信号，在复眼成像中，在使用控制单元2控制两个成像单元3A和3B的同时捕获特定成像目标。
控制单元2具有全面地控制整体的系统控制器5、从用户接收操作的操作部分6以及显示各种信息的显示部分7。
如图2所示，系统控制器5主要由CPU（中央处理单元）11形成，ROM（只读存储器）12、RAM（随机存取存储器）13和非易失性存储器14经由总线15连接到CPU 11。
CPU 11从ROM 12和非易失性存储器14读出各种程序（例如，特定基本程序和多图像调节控制程序），并在将RAM 13用作工作存储器等的同时执行这些程序。
应注意的是，非易失性存储器14存储诸如分别用于成像单元3A和3B的聚焦控制和曝光控制之类的图像调节处理所需的值以及在成像单元3A和3B的控制中使用的各种值。
CPU 11经由通信接口（I/F）16将各种控制信号等发送给成像单元3A和3B的每个部分，并且还从成像单元3A和3B的各个部分获取各种信息。
操作部分6（图1）例如由各种操作按钮或触摸面板形成，并且根据用户操作的内容生成操作信号并将所生成的操作信号提供给系统控制器5。例如，操作部分6具有开始或停止成像处理的成像按钮、操作各种菜单的光标按钮、调节图像的比的变焦杆以及调节左和右视差的量以改变在立体观察期间的深度感的视差量调节盘（dial）。
显示部分7例如由液晶面板形成，并基于从系统控制器5提供的显示信号来显示显示画面，从而将通过成像单元3A和3B捕获的图像和 诸如各种设置内容等的各种信息呈现给用户。
基于控制单元2的控制，成像单元3A从与成像单元3B不同的视点捕获成像目标（图中未示出），并生成一个系统的图像信号。注意，成像单元3A生成对应于右眼的图像信号。
通过使用光学调节部分20A，成像单元3A在光学上调节从成像目标获得的成像光，并使用成像元件24A执行成像捕获。具体地，成像单元3A使用变焦透镜21A以特定变焦比放大成像光，使用光圈22A减少成像光的量，并使用聚焦透镜23A调节聚焦。
此时，控制单元2的系统控制器5经由透镜驱动器31A分别控制变焦透镜21A的变焦比、光圈22A的光圈量和聚焦透镜23A的聚焦位置。此外，系统控制器5经由定时生成器32A控制成像元件24A的快门速度。
成像元件24A例如是CMOS（互补金属氧化物半导体）。每个像素设有补色系或原色系的滤色器，并且成像元件24A生成用补色或原色的颜色信号表示每个像素的成像信号。实际上，成像元件24A以基于定时生成器32A的控制的间隔通过对入射成像光进行光电转换而生成模拟图像信号V1A。模拟图像信号V1A被提供给模拟信号处理部分25A。
在对图像信号V1A执行相关双重采样之后，模拟信号处理部分25A基于系统控制器5的控制通过调节图像信号V1A的增益而生成图像信号V2A，并将图像信号V2A提供给A/D（模拟/数字）转换器26A。
A/D转换器26A通过对模拟图像信号V2A执行模数转换而生成数字图像信号V3A，并将数字图像信号V3A提供给数字信号处理部分27A。
数字信号处理部分27A例如由数字信号处理器形成，并基于系统控制器5的控制对图像信号V3A执行多种图像调节处理。这里执行的图像调节处理例如是白平衡校正处理或者伽马校正处理等，并且包括对图像捕获之后的图像信号的多种处理。
另外，数字信号处理部分27A从图像信号V3A提取作为将被提取为最终图像的区域（在下文中被称为提取区域）的图像，将其生成为图像信号V4A，并将图像信号V4A提供给存储器8。
在暂时存储图像信号V4A之后，存储器8将图像信号V4A提供给存储部分9。存储部分9例如是光盘驱动器或磁盘驱动器或闪存存储器等，并存储依次提供的图像信号V4A。此外，根据来自系统控制器5的请求，存储部分9读出所存储的图像信号V4A并将其提供给存储器8。
另外，基于用图像信号V3A表示的图像的特定区域内的像素值，数字信号处理部分27A生成在调节图像信号V3A时使用的多种类型的检测值，并将检测值提供给系统控制器5（这将在之后更详细地说明）。
基于这些检测值，系统控制器5经由透镜驱动器31A和定时生成器32A执行诸如变焦控制、光圈控制、聚焦控制和快门速度控制等的各种控制。
这样，基于控制单元2的控制，成像单元3A以与普通视频照相机等相同的方式捕获成像目标并生成图像信号V4A。在下文中，由成像单元3A基于控制单元2的控制生成成像目标的图像信号V4A的处理也将被称为单眼成像处理。
同时，成像单元3B以与成像单元3A类似的方式形成，并基于控制单元2的控制从与成像单元3A略微不同的位置和方向捕获成像目标。从而，成像单元3B生成对应于图像信号V4A的图像信号V4B。注意，成像单元3B生成对应于左眼的图像信号。
此时，通过关联成像单元3A和3B的诸如变焦控制、光圈控制、聚焦控制和快门速度控制之类的各种控制，控制单元2执行复眼成像控制，复眼成像控制全面地控制与图像信号V4A和V4B相关的各种调节值，例如聚焦位置和曝光等。
从而，由成像单元3A和3B生成的图像信号V4A和V4B分别形成表示立体图像的用于右眼的图像和用于左眼的图像。
通过以该方式使用控制单元2，复眼成像装置1以关联的方式控制成像单元3A和3B，并执行复眼成像处理，从而分别生成表示立体图像的图像信号V4A和V4B。
应注意的是，在成像单元3A和3B的制造调节过程等中，虽然光学调节部分20A和光学调节部分20B的光轴被分别调节以使得成像元件24A和成像元件24B的成像区域相互对准，但是存在发生调节误差的情况。
当存在这样的调节误差时，由于光学调节部分20A和20B之间的未对准，在成像单元3A和3B中发生相应成像区域之间的位移。当变焦透镜21A和变焦透镜21B的变焦比上升时，即当使用操作部分6的变焦杆设置高的变焦比时，成像区域之间的这种类型的位移显得更加清楚。
然而，可以通过如下处理（在下文中被称为光轴校正处理）来基本上解决成像区域的位移，即，来自图像信号V3A和图像信号V3B的提取区域均被移动，并且最终图像信号V4A和V4B的成像区域被大致上相互对准。
这里，在复眼成像装置1的制造调节过程中，设置的变焦比和提取区域的适当移动量（在下文中被称为光轴校正量）之间的关系被测量，并生成表示变焦比和光轴校正量之间的关系的光轴校正表。然后，将光轴校正表存储在系统控制器5的非易失性存储器14（图2）中。
1-2.图像调节处理
接下来，将说明由控制单元2的系统控制器5以及由成像单元3A和3B的数字信号处理部分27A和数字信号处理部分27B执行的对用图像信号V3A和V3B表示的图像的调节处理。
通过执行特定成像处理程序，系统控制器5在内部执行例如如图3所示的各种功能。此外，数字信号处理部分27A和27B被提前编程，从而它们被设置来实现图3所示的各种功能。
首先，系统控制器5使用提取/缩放控制部分40分别设置图像信号 V3A和V3B的提取区域。具体地，作为光轴校正处理，提取/缩放控制部分40的光轴校正控制部分41A和41B从非易失性存储器14读出光轴校正表，根据当时的变焦比确定光轴校正量，并将提取区域TA1和TB1设置为第一区域。
这里，如图4（A）所示，作为用图像信号V3A和V3B表示的图像的整个区域的原始图像MA和MB被示意性地描绘为成像目标JA和JB相互对应。
在图4（A）中，成像目标JA相对于原始图像MA的相对位置和成像目标JB相对于原始图像MB的相对位置相互不同。同时，成像目标JA相对于提取区域TA1的相对位置和成像目标JB相对于提取区域TB1的相对位置都基本上在中心并相互一致。
接下来，基于通过光轴校正处理设置的提取区域，提取/缩放控制部分40的视差量控制部分42再一次设置提取区域，以调节在图像信号V4A和V4B的立体观察期间的深度感。在下文中，这种类型的处理也被称为视差量调节处理。
更具体地，如对应于图4（A）的图4（B）和4（C）所示，例如，在根据由操作部分6的视差量调节盘指示的视差量将提取区域TA1和TB1分别在左右方向上移动到的位置中，视差量控制部分42设置提取区域TA2和TB2作为第二区域。
应注意的是，图4（B）示出了成像目标比显示画面更靠前，图4（C）示出了成像目标比显示画面更靠后。
之后，提取/缩放控制部分40的提取区域信号生成部分43A生成表示提取区域TA2和TB2的位置和尺寸等的提取区域信号STA2和STB2。然后，提取区域信号生成部分43A将提取区域信号STA2和STB2分别提供给检测区域控制部分44A和44B以及数字信号处理部分27A和27B的提取/缩放部分55A和55B。
根据所提供的提取区域信号STA2，检测区域控制部分44A在大致上位于提取区域TA2的中心的位置中设置具有预定尺寸的矩形检测区域DA2（图4（B）和图4（C））。
检测区域DA2表示最后提取的提取区域TA2中的一个区域，应该针对该区域通过聚焦控制和曝光控制来最优地调节聚焦和曝光的程度。检测区域DA2也被称为检测框。
此外，检测区域DA2被设置在与视差量调节处理之后的提取区域TA2对应的位置中。换句话说，检测区域DA2被设置在不同于检测区域DA1的位置中，假设检测区域DA1与视差量调节处理之前的提取区域TA1对应设置。
以类似的方式，检测区域控制部分44B根据所提供的提取区域信号STB2，将检测区域DB2大致上设置在提取区域TB2的中心。
然后，检测区域控制部分44A和44B（图3）分别生成表示检测区域DA2和DB2的位置和尺寸等的检测区域信号SDA和SDB，并将检测区域信号SDA和SDB提供给数字信号处理部分27A和27B的检测部分52A和52B。
另一方面，数字信号处理部分27A使用放大器51A放大从A/D转换器26A（图1）提供的图像信号V3A，并将放大后的图像信号V3A提供给检测部分52A和白平衡调节部分53A。
检测部分52A包括清晰度检测部分52A1、亮度检测部分52A2和颜色信号检测部分52A3，并基于由图像信号V3A的检测区域信号SDA指定的检测区域DA内的像素值来生成多个各种检测值。
更具体地，通过对包括在图像信号V3A的检测区域DA2中的像素的像素值执行诸如微分等的算术处理，清晰度检测部分52A1生成表示清晰度的清晰度信号SSA。清晰度检测部分52A1将清晰度信号SSA提供给透镜控制部分45。
基于清晰度信号SSA，透镜控制部分45经由透镜驱动器31A控制聚焦透镜23A的位置，使得与图像信号V3A的检测区域DA2对应的区的清晰度最高，即，使得该区变得聚焦。
亮度检测部分52A2通过对包括在图像信号V3A的检测区域DA2中的像素的亮度值执行诸如积分等的算术处理来生成亮度信号SBA。亮度检测部分52A2将所生成的亮度信号SBA提供给曝光控制部分46。
基于亮度信号SBA，曝光控制部分46经由透镜驱动器31A控制光圈22A，使得与图像信号V3A的检测区域DA2对应的区的曝光值是最优值。另外，曝光控制部分46经由定时生成器32A控制成像元件24A的快门速度，并且还控制放大器51A的放大增益。
颜色信号检测部分52A3通过对包括在图像信号V3A的检测区域DA2中的像素的像素值执行特定算术处理来生成颜色信号SCA，并将颜色信号SCA提供给白平衡控制部分47。
基于颜色信号SCA，白平衡控制部分47生成白平衡调节信号SWA，并将白平衡调节信号SWA提供给白平衡调节部分53A。基于白平衡调节信号SWA，白平衡调节部分53A调节图像信号V3A的白平衡，并将调节后的图像信号V3A提供给伽马校正部分54A。
伽马校正部分54A对图像信号V3A执行特定伽马校正处理，并将处理后的图像信号V3A提供给提取/缩放部分55A。提取/缩放部分55A通过提取由图像信号V3A的提取区域信号STA2指示的区域来生成图像信号V4A，并将图像信号V4A提供给存储器7。
同时，对应于数字信号处理部分27A，数字信号处理部分27B通过检测部分52B的清晰度检测部分52B1、亮度检测部分52B2和颜色信号检测部分52B3来分别生成清晰度信号SSB、亮度信号SBB和颜色信号SCB。
基于清晰度信号SSB，透镜控制部分45经由透镜驱动器31B控制聚焦透镜23B的位置，使得与图像信号V3B的检测区域DB2对应的区的清晰度最高，即，使得该区变得聚焦。
此时，透镜控制部分45基于用于右侧的清晰度信号SSA，校正提供给用于左侧的透镜驱动器31B的控制信号。透镜控制部分45还基于用于左侧的清晰度信号SSB，校正提供给用于右侧的透镜驱动器31A的控制信号。
基于亮度信号SBB，曝光控制部分46经由透镜驱动器31B控制光圈22B的光圈量，使得与图像信号V3B的检测区域DB2对应的区的曝光值是最优值。另外，曝光控制部分46经由定时生成器32B控制成像 元件24B的快门速度，并且还控制放大器51B的放大增益。
此时，类似于透镜控制部分45，曝光控制部分46基于用于右侧的亮度信号SBA，校正分别提供给用于左侧的透镜驱动器31B、定时生成器32B和放大器51B的控制信号。另外，曝光控制部分46还基于用于左侧的亮度信号SBB，校正分别提供给用于右侧的透镜驱动器31A、定时生成器32A和放大器51A的控制信号。
基于颜色信号SCB，白平衡控制部分47生成白平衡调节信号SWB，并将白平衡调节信号SWB提供给白平衡调节部分53B。
此时，白平衡控制部分47基于用于右侧的颜色信号SCA，校正提供给用于左侧的白平衡调节部分53B的白平衡调节信号SWB。另外，白平衡控制部分47还基于用于左侧的颜色信号SCB，校正提供给用于右侧的白平衡调节部分53A的白平衡调节信号SWA。
数字信号处理部分27B使用放大器51B放大图像信号V3B，使用白平衡调节部分53B调节白平衡，并通过伽马校正部分54B施加伽马校正处理，然后将图像信号V3B提供给提取/缩放部分55B。提取/缩放部分55B通过提取由图像信号V3B的提取区域信号STB2指示的区域来生成图像信号V4B，并将图像信号V4B提供给存储器7。
换句话说，对于通过图像捕获获得的图像信号V3A和V3B中的每一个，成像单元3A和3B（图1）在侧重于检测区域DA2和DB2中的每一个的检测值并且还考虑另一侧的图像信号的检测值的同时，执行聚焦控制、曝光控制和白平衡控制。
这样，在复眼成像装置1中，通过光轴校正处理并通过视差量调节处理来设置提取区域TA2和TB2，同时，设置检测区域DA2和DB2。然后，从检测区域DA2和DB2内的像素值等生成诸如清晰度等的各种检测值。接着，基于所生成的各种检测值，复眼成像装置1执行调节图像的诸如聚焦控制和曝光控制等的处理（在下文中被统称为成像调节处理），从而复眼成像装置1生成表示立体图像的图像信号V4A和V4B。
1-3.成像目标与检测区域的位置之间的关系
这里，将说明在观察者使用电视装置等立体地观察图像信号V4A和V4B的图像时所获得的立体效果和检测区域的位置之间的关系。
通常，当使用电视装置立体地观察图像时，图像信号V4A和V4B被交替显示在电视装置上，每次一帧或一场。观察者戴上眼镜，眼镜的左透镜和右透镜通过液晶快门等与图像同步地被交替阻挡。
通过这样做，在前方显示画面内，观察者通过他/她的右眼仅仅看到基于图像信号V4A的图像，同时，通过他/她的左眼仅仅看到基于图像信号V4B的图像。
图5（A）至图5（C）示意性地示出了该状态，在上方示出了显示在显示画面上的图像，在下方与检测区域一起分别示出了观察者的眼睛之间的位置关系、显示画面之间的位置关系和获得的图像之间的位置关系。提取区域TA1和TB1或者提取区域TA2和TB2被显示在整个显示画面上。
图5（A）对应于图4（A），并示出了观察者的视点VA和VB之间的位置关系、当仅仅执行了光轴校正处理时的提取区域TA1和TB1之间的位置关系、成像目标JA和JB之间的位置关系以及检测区域DA1和DB1之间的位置关系。在该情况下，检测区域DA1和DB1在显示画面上相互对准。
图5（B）对应于图4（B），并示出了如下情况，即，除了光轴校正处理之外，还执行了视差量调节处理以使得图像好像位于前方。在该情况下，成像目标JA和JB被移动到显示画面上的左侧和右侧，从而观察者下意识地视图在他/她的脑中重叠成像目标JA和JB，从而可以获得图像位于前方的立体效果。
这里，由于检测区域DA2和DB2被分别匹配到成像目标JA和JB，所以调节图像信号V4A和V4B以使得聚焦和曝光等与左图像和右图像中的每一个中的成像目标匹配。由于该原因，成像目标生动地显现给观察者，并且观察者可以享受具有深度感的图像。
图5（C）对应于图4（C），并示出了如下情况，即，除了光轴校正处理之外，还执行视差量调节处理以使得图像好像位于后方。在该 情况下，成像目标在与图5（B）的方向相反的方向上被移动到左侧和右侧，因此，可以向观察者提供图像在后方的立体效果。在该情况下，成像目标生动地显现给观察者，并且观察者可以看到具有深度感的图像。
1-4.检测区域设置处理过程
接下来，将参考图6和图7所示的流程图说明当分别设置右侧检测区域DA2和左侧检测区域DB2时在复眼成像装置1中使用的检测区域设置处理过程RT1和RT2。应注意的是，可以首先处理右侧检测区域设置处理过程RT1或者左侧检测区域设置处理过程RT2，或者可以执行并行处理。
而且，为了说明的目的，画面内的坐标以画面的左上角为原点，在从左到右的方向上设置x轴，在从上到下的方向上设置y轴。另外，提取区域TA和检测区域DA通过它们的左上顶点和右下顶点的坐标表示。
当开始成像处理时，系统控制器5的CPU 11开始右侧检测区域设置处理过程RT1（图6）并移到步骤SP1。
在步骤SP1处，CPU 11使用光轴校正控制部分41A从非易失性存储器14读出光轴校正表，并根据此时的变焦比确定右侧光轴校正量。然后，CPU 11基于光轴校正量确定表示左上顶点的坐标（TA1Lx,TA1Ly），并移到下一步骤SP2。
在步骤SP2处，CPU 11根据基于表示提取区域TA1的左上顶点的坐标（TA1Lx,TA1Ly）和通过操作部分6的变焦杆设置的变焦比的特定算术表达式来计算表示右下顶点的坐标（TA1Rx,TA1Ry），然后移到下一步骤SP3。
在步骤SP3处，CPU 11以坐标（TA1Lx,TA1Ly）和坐标（TA1Rx,TA1Ry）分别作为左上顶点和右下顶点来设置提取区域TA1，并移到下一步骤SP4。
在步骤SP4处，通过使用视差量控制部分42，CPU 11使用以下公式（1），基于所设置的提取区域TA1的左上顶点（TA1Lx,TA1Ly） 和根据视差量设置的调节量S，来计算表示提取区域TA2的左上顶点的坐标（TA2Lx,TA2Ly），然后移到下一步骤SP5。
TA2Lx=TA1Lx+S
TA2Ly=TA1Ly (1)
在步骤SP5处，CPU 11根据基于表示提取区域TA2的左上顶点的坐标（TA2Lx,TA2Ly）和使用操作部分6的变焦杆设置的变焦比的特定算术表达式来计算表示右下顶点的坐标（TA2Rx,TA2Ry），然后移到下一步骤SP6。
在步骤SP6处，CPU 11以坐标（TA2Lx,TA2Ly）和坐标（TA2Rx,TA2Ry）分别作为左上顶点和右下顶点来设置提取区域TA2，并移到下一步骤SP7。
在步骤SP7处，通过使用检测区域控制部分44A，CPU 11使用以下公式（2），基于提取区域TA2的左上顶点（TA2Lx,TA2Ly）和常数（Cx,Cy），来计算表示检测区域DA2的左上顶点的坐标（DA2Lx,DA2Ly），然后移到下一步骤SP8。这里，常数（Cx,Cy）是基于提取区域TA2和检测区域DA2的尺寸之差而建立的值。
DA2Lx=TA2Lx+Cx
DA2Ly=TA2Ly+Cy (2)
在步骤SP8处，CPU 11根据基于表示检测区域DA2的左上顶点的坐标（DA2Lx,DA2Ly）的特定算术表达式来计算表示右下顶点的坐标（DA2Rx,DA2Ry），然后移到下一步骤SP9。
在步骤SP9处，CPU 11以坐标（DA2Lx,DA2Ly）和坐标（DA2Rx,DA2Ry）分别作为左上顶点和右下顶点来设置检测区域DA2，并移到下一步骤SP10。
在步骤SP10处，CPU 11生成表示所设置的检测区域DA2的检测区域信息SDA，并将检测区域信息SDA提供给检测部分52A。CPU 11然后移到下一步骤SP11，并结束右侧检测区域设置处理过程RT1。
此外，当开始成像处理时，系统控制器5的CPU 11开始左侧检测区域设置处理过程RT2（图7）并移到步骤SP21。
在步骤SP21处，类似于右侧，CPU 11使用光轴校正控制部分41B从非易失性存储器14读出光轴校正表，并根据此时的变焦比确定左侧光轴校正量。然后，CPU 11基于光轴校正量确定表示左上顶点的坐标（TB1Lx,TB1Ly），并移到下一步骤SP22。
在步骤SP22和步骤SP23处，类似于右侧的情况，CPU 11在计算表示右下顶点的坐标（TB1Rx,TB1Ry）之后设置提取区域TB1，然后移到下一步骤SP24。
在步骤SP24处，通过使用视差量控制部分42，CPU 11使用一些数值与用于右侧的那些数值相反的以下公式（3），基于所设置的提取区域TB1的左上顶点（TB1Lx,TB1Ly）和调节量S，来计算表示提取区域TB2的左上顶点的坐标（TB2Lx,TB2Ly），然后移到下一步骤SP25。
TB2Lx=TB1Lx-S
TB2Ly=TB1Ly (3)
在步骤SP25和步骤SP26处，类似于右侧的情况，CPU 11在计算表示右下顶点的坐标（TB2Rx,TB2Ry）之后设置提取区域TB2，然后移到下一步骤SP27。
在步骤SP27处，类似于右侧的情况，通过使用检测区域控制部分44B，CPU 11使用以下公式（4），基于提取区域TB2的左上顶点（TB2Lx,TB2Ly）和常数（Cx,Cy），来计算表示检测区域DB2的左上顶点的坐标（DB2Lx,DB2Ly），然后移到下一步骤SP28。
DB2Lx=TB2Lx+Cx
DB2Ly=TB2Ly+Cy (4)
在步骤SP28和步骤SP29处，类似于右侧的情况，CPU 11在计算表示右下顶点的坐标（DB2Rx,DB2Ry）之后设置提取区域DB2，然后移到下一步骤SP30。
在步骤SP30处，CPU 11生成表示所设置的检测区域DB2的检测区域信息SDB，并将检测区域信息SDB提供给检测部分52B。CPU 11然后移到下一步骤SP31，并结束左侧检测区域设置处理过程RT2。
1-5.操作和效果
通过上述配置，根据第一实施例的复眼成像装置1根据此时的变焦比使用光轴校正控制部分41A和41B并通过光轴校正处理来在图像信号V3A和V3B中分别设置提取区域TA1和TB1。
视差量控制部分42分别设置提取区域TA2和TB2，使得根据希望提供给观察者的立体效果通过视差量调节处理在左右方向上移位提取区域TA1和TB1。
检测区域控制部分44A和44B分别设置检测区域DA2和DB2，使得检测区域DA2和DB2基本上位于提取区域TA2和TB2的中心。
然后，在检测部分52A和52B基于检测区域DA2和DB2内的像素值生成了诸如清晰度等的各种检测值之后，数字信号处理部分27A和27B执行诸如聚焦控制、曝光控制等的图像调节处理。
作为结果，复眼成像装置1可以将成像目标JA和JB放置在图像信号V4A和V4B中的相互对应的位置中，并且还可以对于成像目标JA和JB中的每一个优化聚焦和曝光。从而，可以生动地捕获成像目标的立体图像。
通过以这种方式生成的图像信号V4A和V4B，可以向经由特定显示装置观看图像信号V4A和V4B的图像的观察者示出分别用于右眼和左眼的生动的成像目标。作为结果，可以提供关于成像目标的适当的深度感。
具体地，复眼成像装置1对图像信号V3A和V3B分别设置检测区域DA2和DB2，并在侧重于分别从检测区域DA2和DB2内的像素值生成的检测值中的每一个的同时、还考虑其他检测值的同时，对图像中的每一个执行图像调节处理。
作为结果，复眼成像装置1基于从图像信号中的每一个的检测区域内的像素值获得的检测值，通过分别对左图像信号和右图像信号中的每一个执行图像调节处理，可以极其生动地捕获相应成像目标。
另外，复眼成像装置1通过基于从另一侧的图像信号获得的检测值来校正调节值中的每一个等，可以增强左图像信号和右图像信号中 的每一个的互相关关系，从而可以减少由于左图像和右图像之间的差异而导致的不适感。
通过上述配置，复眼成像装置1根据此时的变焦比通过光轴校正处理在图像信号V3A和V3B中分别设置提取区域TA1和TB1，并且还根据希望提供给观察者的立体效果通过视差量调节处理分别设置提取区域TA2和TB2。然后，复眼成像装置1在基本上位于提取区域TA2和TB2的中心的位置中分别设置检测区域DA2和DB2，并且，在基于检测区域DA2和DB2内的像素值生成了各种检测值之后，复眼成像装置1执行诸如聚焦控制、曝光控制等的图像调节处理。作为结果，复眼成像装置1可以将成像目标JA和JB放置在图像信号V4A和V4B中的相互对应的位置中，并且可以分别与成像目标JA和JB相一致地最优地控制聚焦和曝光。从而，复眼成像装置1可以调节以得到生动的立体图像。
2.第二实施例
2-1.复眼成像装置的配置
相比于根据第一实施例的复眼成像装置1，根据第二实施例的复眼成像装置71（图1）不同在于它具有系统控制器75而不是系统控制器5，而在所有其它方面具有类似的配置。
相比于系统控制器5，系统控制器75（图3）不同在于它具有提取/缩放控制部分80和检测区域控制部分84A和84B来取代提取/缩放控制部分40和检测区域控制部分44A和44B。
提取/缩放控制部分80具有提取区域信号生成部分83A和83B来取代提取区域信号生成部分43A和43B。
2-2.检测区域设置
如对应于图4（A）的图8（A）所示，与提取/缩放控制部分40的情况类似，提取/缩放控制部分80的光轴校正控制部分41A和41B从非易失性存储器14读出光轴校正表，根据当时的变焦比确定光轴校正量，并设置提取区域TA1和TB1。
此外，如对应于图4（B）和图4（C）的图8（B）和8（C）所 示，视差量控制部分42在提取区域TA1和TB1沿左右方向分别移动到的位置中设置最终的提取区域TA2和TB2。
提取区域信号生成部分83A和83B将表示提取区域TA2和TB2的位置和尺寸等的提取区域信号STA2和STB2分别提供给数字信号处理部分27A和27B的提取/缩放部分55A和55B。
另外，与提取区域信号生成部分43A和43B相比，提取区域信号生成部分83A和83B生成表示提取区域TA1和TB1被重新设置之前的位置和尺寸的提取区域信号STA1和STB1，并将提取区域信号STA1和STB1提供给检测区域控制部分84A和84B。
根据所提供的提取区域信号STA1，检测区域控制部分84A和84B在基本上位于提取区域TA1和TB1被重新设置之前的中心的位置中设置检测区域DA1和DB1（图8（B）和图8（C））。
然后，检测区域控制部分84A和84B（图3）生成表示检测区域DA1和DB1的位置和尺寸等的检测区域信号SDA和SDB，并将检测区域信号SDA和SDB分别提供给数字信号处理部分27A和27B的检测部分52A和52B。
基于包括在图像信号V3A和V3B的检测区域DA1和DB1内的像素的像素值，检测部分52A和52B生成诸如表示清晰度的清晰度信号等的各种信号，并将各种信号分别提供给透镜控制部分45、曝光控制部分46和白平衡控制部分47。
响应于此，基于从检测区域DA1和DB1中的每一个的像素值生成的各种信号，透镜控制部分45、曝光控制部分46和白平衡控制部分47执行聚焦控制、曝光控制和白平衡控制。
这样，复眼成像装置71基于通过光轴校正处理设置的提取区域TA1和TB1（即，基于通过视差量调节处理被重新设置之前的提取区域TA1和TB1）来设置检测区域DA1和DB1，并从检测区域DA1和DB1内的像素值等生成诸如清晰度等的各种检测值。然后，通过基于所生成的各种检测值执行图像调节处理，复眼成像装置71生成表示立体图像的图像信号V4A和V4B。
2-3.成像目标和检测区域的位置之间的关系
这里，将说明在观察者使用电视装置等立体地观察图像信号V4A和V4B的图像时所获得的立体效果和检测区域的位置之间的关系。
与图5（A）至图5（C）类似，图9（A）至图9（C）示意性地示出了如下状态，即，观察者通过他/她的右眼仅仅看到基于图像信号V4A的图像，同时，通过他/她的左眼仅仅看到基于图像信号V4B的图像。
图9（A）对应于图8（A），并示出了观察者的视点VA和VB之间的位置关系、当仅仅执行了光轴校正处理时的提取区域TA1和TB1之间的位置关系、成像目标JA和JB之间的位置关系以及检测区域DA1和DB1之间的位置关系。在该情况下，检测区域DA1和DB1在显示画面上相互对准，类似于图5（A）。
图9（B）对应于图8（B），并示出了如下情况，即，除了光轴校正处理之外，还执行了视差量调节处理以使得图像好像位于前方，类似于图5（B）。在该情况下，成像目标JA和JB被移位到显示画面上的左侧和右侧，从而观察者下意识地试图在他/她的脑中重叠成像目标JA和JB，从而可以获得图像位于前方的立体效果。
这里，在图9（B）中，检测区域DA1和DB1在图像出现在前方的位置处对准。这是因为在光轴校正处理之后检测区域DA1和DB1被设置在提取区域TA1和TB1的中心。换句话说，因为检测区域DA1和DB1被设置在相互基本上位于关于成像目标JA和JB的中心，所以，当成像目标JA和JB被对准时，检测区域DA1和DB1也被对准。
从而，在图像出现在前方的位置处对准检测区域DA1和DB1的同时成像目标JA和JB的对准意味着，用作用于聚焦控制和曝光控制的基准的成像目标JA和JB的区域也被相互对准。
具体地，通过根据第二实施例生成的图像信号V4A和V4B，对成像目标JA和JB中的每一个执行最优的图像调节处理，从而可以使立体地观察那些图像的观察者立体地观察极其生动的成像目标的图像。
图9（C）对应于图8（C），并示出了如下情况，即，除了光轴校 正处理之外，还执行视差量调节处理以使得图像好像位于后方，类似于图5（C）。在该情况下，成像目标在与图9（B）的方向相反的方向上被移位到左侧和右侧，可以向观察者提供图像在后方的立体效果。在该情况下，成像目标生动地显现给观察者，并且观察者可以看到具有深度感的图像。
2-4.检测区域设置处理过程
接下来，将参考图10和图11所示的流程图说明当分别设置右侧检测区域DA1和左侧检测区域DB1时在复眼成像装置71中使用的检测区域设置处理过程RT3和RT4。应注意的是，可以首先处理右侧检测区域设置处理过程RT3或者左侧检测区域设置处理过程RT4，或者可以执行并行处理。
当开始成像处理时，系统控制器75的CPU 11开始右侧检测区域设置处理过程RT3（图10）并移到步骤SP41。注意，在步骤SP41至步骤SP46处的处理与在步骤SP1至步骤SP6处的处理相同，因此在此省略说明。
在步骤SP47至步骤SP50处，CPU 11执行用检测区域DA1取代步骤SP7至步骤SP10的检测区域DA2的处理。
具体地，在步骤SP47处，通过使用检测区域控制部分84A，CPU11使用以下公式（5），基于所设置的提取区域TA1的左上顶点（TA1Lx,TA1Ly）和常数（Cx,Cy），来计算表示检测区域DA1的左上顶点的坐标（DA1Lx,DA1Ly），然后移到下一步骤SP48。
DA1Lx=TA1Lx+Cx
DA1Ly=TA1Ly+Cy (5)
在步骤SP48处，CPU 11根据基于表示检测区域DA1的左上顶点的坐标（DA1Lx,DA1Ly）的特定算术表达式来计算表示右下顶点的坐标（DA1Rx,DA1Ry），然后移到下一步骤SP49。
在步骤SP49处，CPU 11以坐标（DA1Lx,DA1Ly）和坐标（DA1Rx,DA1Ry）分别作为左上顶点和右下顶点来设置检测区域DA1，并移到下一步骤SP50。
在步骤SP50处，CPU 11生成表示所设置的检测区域DA1的检测区域信息SDA，并将检测区域信息SDA提供给检测部分52A。CPU 11然后移到下一步骤SP51，并结束右侧检测区域设置处理过程RT3。
此外，当开始成像处理时，系统控制器75的CPU 11开始左侧检测区域设置处理过程RT4（图11）并移到步骤SP61。注意，在步骤SP61至步骤SP66处的处理与在步骤SP21至步骤SP26处的处理相同，因此在此省略说明。
在步骤SP67至步骤SP70处，CPU 11执行用检测区域DB1取代步骤SP27至步骤SP30的检测区域DB2的处理。换句话说，CPU 11执行用检测区域DB1取代步骤SP47至步骤SP50的检测区域DA1的处理。
具体地，在步骤SP67处，通过使用检测区域控制部分84B，CPU11使用以下公式（6），基于提取区域TB1的左上顶点（TB1Lx,TB1Ly）和常数（Cx,Cy），来计算表示检测区域DB1的左上顶点的坐标（DB1Lx,DB1Ly），然后移到下一步骤SP68。
DB1Lx=TB1Lx+Cx
DB1Ly=TB1Ly+Cy (6)
在步骤SP68和步骤SP69处，类似于右侧的情况，CPU 11在计算表示右下顶点的坐标（DB1Rx,DB1Ry）之后设置检测区域DB1，然后移到下一步骤SP70。
在步骤SP70，CPU 11生成表示所设置的检测区域DB1的检测区域信息SDB，并将检测区域信息SDB提供给检测部分52B。CPU 11然后移到下一步骤SP71，并结束左侧检测区域设置处理过程RT4。
2-5.操作和效果
通过上述配置，根据第二实施例的复眼成像装置71根据当时的变焦比使用光轴校正控制部分41A和41B并通过光轴校正处理来在图像信号V3A和V3B中分别设置提取区域TA1和TB1。
视差量控制部分42分别设置提取区域TA2和TB2，使得根据希望提供给观察者的立体效果通过视差量调节处理在左右方向上移位提取区域TA1和TB1。
检测区域控制部分84A和84B分别设置检测区域DA1和DB1，使得检测区域DA1和DB1基本上位于仅仅通过光轴校正处理获得的提取区域TA1和TB1（而不是通过视差量调节处理获得的提取区域TA2和TB2）的中心。
然后，在检测部分52A和52B基于检测区域DA1和DB1内的像素值生成了诸如清晰度等的各种检测值之后，数字信号处理部分27A和27B执行诸如聚焦控制、曝光控制等的图像调节处理。
作为结果，复眼成像装置71可以将成像目标JA和JB放置在图像信号V4A和V4B中的相互对应的位置中，并且还可以针对成像目标JA和JB相互对准的位置优化聚焦和曝光。从而，可以极其生动地捕获成像目标的立体图像。
此时，在复眼成像装置71中，检测区域DA1和DB1基本上被分别设置在提取区域TA1和TB1的中心，即，从作为从图像实际提取的区域的提取区域TA2和TB2的中心移位的位置中。
由于该原因，通过根据第二实施例生成的图像信号V4A和V4B，在显示画面上进行显示的阶段，检测区域DA1和DB1的相应位置相互移位。然而，当立体观察发生时，检测区域DA1和DB1可以与成像目标的图像对准。
具体地，即使当有大的视差量并且在用于右眼的成像目标JA和用于左眼的成像目标JB之间有明显的分离量时，当立体观察发生时，检测区域DA1和DB1仍可以在成像目标的图像的位置处重叠。作为结果，立体地观察图像信号V4A和V4B的观察者可以看到具有足够深度感的极其生动的图像。
此外，在其它点上，复眼成像装置71可以实现与第一实施例类似的操作效果。
通过上述配置，复眼成像装置71根据变焦比通过光轴校正处理在图像信号V3A和V3B中分别设置提取区域TA1和TB1，并且还根据希望提供给观察者的立体效果通过视差量调节处理分别设置提取区域TA2和TB2。然后，复眼成像装置71在基本上位于之前设置的提取区域TA1和TB1的中心的位置中分别设置检测区域DA1和DB1，并且，在基于检测区域DA1和DB1内的像素值生成了各种检测值之后，执行诸如聚焦控制、曝光控制等的图像调节处理。作为结果，复眼成像装置71可以将成像目标JA和JB放置在图像信号V4A和V4B中的相互移位的位置中，并且可以对于成像目标JA和JB被相互对准的位置分别最优地执行聚焦和曝光。从而，复眼成像装置71可以捕获极其生动的立体图像。
3.其它实施例
注意，在上述实施例中，描述了如下情况，即，从包括在检测区域中的像素的像素值生成检测值，并通过图像调节处理在光学上改变成像光。具体地，执行用于调节图像的聚焦位置和曝光等的处理。然而，本公开不限于该例子，而可以执行这些调节处理中的任何一种，或者，对于用图像捕获之后的图像信号表示的图像，例如，可以执行诸如对比度、伽马特征和颜色调节之类的调节处理，该调节处理基于从检测区域内的像素的像素值获得的检测值来将图像质量匹配到成像目标。
此外，在上述实施例中，描述了如下情况，即，对于通过成像单元3A和3B捕获的图像信号V3A和V3B设置提取区域和检测区域。然而，本公开不限于该例子，而可以获得通过另一成像装置捕获的图像信号，并可以对于那些图像信号设置提取区域和检测区域。在该情况下，可以在通过成像元件生成图像信号之后的阶段，对图像信号执行诸如白平衡和对比度等的多种图像调节处理。
此外，在上述实施例中，描述了如下情况，即，根据所设置的提取区域的坐标通过算术运算来计算检测区域的坐标。然而，本公开不限于该例子，而可以通过多种方法来设置检测区域。例如，可以将提取区域在内部以栅格形式划分为多个区域，并可以根据所设置的提取区域将这些区域中的一个或两个或更多个设置为检测区域。
此外，在上述实施例中，描述了如下情况，即，将检测区域基本上设置在所设置的提取区域的中心。然而，本公开不限于该例子，例 如，在通过特定面部识别处理将成像目标识别为面部的一部分的情况下，可以将检测检测区域设置为位于面部的眼睛上，或者可以将检测区域设置在对于成像目标所选择的位置上。
而且，在上述实施例中，描述了如下情况，即，提前存储光轴校正表，根据所设置的变焦比确定光轴校正量并设置提取区域TA1和TB1。然而，本公开不限于该例子，例如，通过使用特定成像目标指定部分，可以从用图像信号V3A和V3B表示的图像分别指定相互对应的成像目标，并可以将以成像目标的位置作为基准的区域分别设置为提取区域TA1和TB1。另外，例如，可以通过使用特定图像稳定化处理部分执行图像稳定化处理来设置提取区域TA1和TB1。这样，可以使用多种方法来设置提取区域TA1和TB1。
此外，在上述实施例中，描述了如下情况，即，生成表示通过成像元件24A和24B捕获的整个区域的图像信号V3A和V3B，并根据提取区域信号STA2和STB2，通过使用提取/缩放部分55A和55B提取整个区域中的每一个的一部分来生成图像信号V4A和V4B。然而，本公开不限于该例子，例如，可以通过将提取区域信号STA2和STB2提供给成像元件24A和24B，来提取捕获图像的一部分，并可以生成与提取区域TA2和TB2对应的图像信号V3A和V3B。
此外，在上述实施例中，描述了如下情况，即，控制单元2和成像单元3A和3B具有集成结构作为复眼成像装置1和71。然而，本公开不限于该例子，例如，独立的控制单元2可以从两个外部成像单元获取图像信号，同时，可以将各种控制信号提供给外部成像单元。
此外，在上述实施例中，描述了如下情况，即，使用两个成像单元3A和3B生成两个系统的图像信号V4A和V4B。然而，本公开不限于该例子，例如，本公开可以应用到如下情况，即，当捕获全息图像时，所选择的两个或更多个成像单元3（例如，三个或八个成像单元3）用于同时生成相同成像目标的图像信号。
此外，在上述实施例中，描述了如下情况，即，系统控制器5执行特定成像处理程序，从而实现图3所示的各种功能。然而，本公开 不限于该例子，而可以通过硬件实现各种功能。
此外，在上述实施例中，描述了如下情况，即，提前编程通过数字信号处理器形成的数字信号处理部分27A和27B，从而实现图3所示的各种功能。然而，本公开不限于该例子，而可以通过硬件实现各种功能。
此外，在上述实施例中，描述了如下情况，即，提前将多图像调节控制程序存储在非易失性存储器14中，并且设置提取区域和检测区域并通过读出和执行该程序来调节图像信号。然而，本公开不限于该例子，而可以经由USB（通用串行总线）连接或LAN（局域网）连接从外部服务器或主机装置等获取多图像调节控制程序并执行。
此外，在上述第二实施例中，描述了如下情况，即，通过作为第一区域设置部分的光轴校正控制部分41A和41B、作为第二区域设置部分的视差量控制部分42以及作为检测区域设置部分的检测区域控制部分84A和84B将复眼成像装置71配置为图像处理装置。然而，本公开不限于该例子，而可以通过以各种其他方式配置的第一区域设置部分、第二区域设置部分以及检测区域设置部分来配置图像处理装置。
本领域技术人员应理解的是，取决于设计要求和其它因素可以进行各种修改、组合、子组合和替换，只要它们落入所附权利要求或其等同物的范围内即可。
应注意的是，本公开还可以采用以下配置。
（1）
一种图像处理装置，包括：
第一区域设置部分，对于分别从两个不同视点捕获的两个系统的图像中的每一个，设置第一区域；
第二区域设置部分，对于所述两个系统的图像中的每一个，基于所述第一区域设置第二区域，所述第二区域用于调节在立体观察期间提供的立体效果；以及
检测区域设置部分，对于所述两个系统的图像中的每一个，基于所述第一区域设置检测区域，所述检测区域是用于提取图像信号 的区域。
（2）
根据（1）所述的图像处理装置，
其中所述第一区域设置部分在将所述两个系统的图像中的成像目标的位置视为基准的同时分别设置所述第一区域。
（3）
根据（2）所述的图像处理装置，还包括：
输出图像生成部分，其根据从所述第二区域获得的图像信号生成输出图像。
（4）
根据（3）所述的图像处理装置，
其中所述输出图像生成部分根据从所述检测区域获得的图像信号调节从所述第二区域获得的图像信号，并生成所述输出图像。
（5）
根据（2）所述的图像处理装置，还包括：
光学系统控制部分，其根据从所述检测区域获得的图像信号改变成像部分的光学系统的状态。
（6）
一种图像处理方法，包括：
对于分别从两个不同视点捕获的两个系统的图像中的每一个，设置第一区域，所述第一区域是通过第一区域设置部分设置的；
对于所述两个系统的图像中的每一个，基于所述第一区域设置第二区域，所述第二区域用于调节在立体观察期间提供的立体效果并且是通过第二区域设置部分设置的；以及
对于所述两个系统的图像中的每一个，基于所述第一区域设置检测区域，所述检测区域是用于提取表示第二区域的图像信号的区域并且是通过检测区域设置部分设置的。
（7）
一种图像处理程序，所述图像处理程序使信息处理装置执行：
对于分别从两个不同视点捕获的两个系统的图像中的每一个，设置第一区域；
对于所述两个系统的图像中的每一个，基于所述第一区域设置第二区域，所述第二区域用于调节在立体观察期间提供的立体效果；以及
对于所述两个系统的图像中的每一个，基于所述第一区域设置检测区域，所述检测区域是用于提取表示第二区域的图像信号的区域。
工业适用性
可以在执行复眼成像的商用或家用视频照相机中、在具有移动图像捕获功能的数字静态照相机或移动电话中或者在计算机设备等中使用本公开。
附图标记列表
1、71复眼成像装置
2控制单元
3A、3B成像单元
5、75系统控制器
11CPU
20A、20B光学调节部分
21A、21B变焦透镜
22A、22B光圈
23A、23B聚焦透镜
24A、24B成像元件
25A、25B模拟信号处理部分
27A、27B数字信号处理部分
31A、31B透镜驱动器
32A、32B定时生成器
40、80提取/缩放控制部分
41A、41B光轴校正控制部分
42视差量控制部分
43A、83A、43B、83B提取区域信号生成部分
44A、44B、84A、84B检测区域控制部分
45透镜控制部分
46曝光控制部分
47白平衡控制部分
52A、52B检测部分
52A1、52B1清晰度检测部分
52A2、52B2亮度检测部分
52A3、52B3颜色信号检测部分
53A、53B白平衡调节部分
55A、55B提取/缩放部分
V3A、V3B、V4A、V4B图像信号
JA、JB成像目标
TA1、TA2、TB1、TB2提取区域
DA1、DA2、DB1、DB2检测区域

Claims (17)

1.一种图像处理装置，包括：
检测区域设置装置，在施加位移调节以从原始图像提取第一成像区域和第二成像区域之后，所述检测区域设置装置基于相对于第一成像区域的位置关系来设置所述第一成像区域内的第一检测区域并基于相对于第二成像区域的位置关系来设置所述第二成像区域中的第二检测区域，其中第一检测区域相对于第一成像区域的位置关系与第二检测区域相对于第二成像区域的位置关系相同，并且其中
所述第一检测区域是在图像调节处理中使用的区域。
2.根据权利要求1所述的图像处理装置，还包括：
位移调节机构，所述位移调节机构补偿第一成像单元和第二成像单元之间的光学未对准。
3.根据权利要求2所述的图像处理装置，还包括：
变焦透镜；以及
透镜控制部分，其中所述位移调节机构补偿由于所述变焦透镜的变焦调节导致的光学未对准。
4.根据权利要求2所述的图像处理装置，还包括：
存储装置，其中
由所述位移调节机构用来调节未对准的调节量是预先确定的并被存储在所述存储装置中。
5.根据权利要求4所述的图像处理装置，其中
所述调节量是光轴校正量，以及
所述存储装置将所述光轴校正量存储在光轴校正表中。
6.根据权利要求2所述的图像处理装置，还包括：
所述第一成像单元和所述第二成像单元，其中所述第一成像单元、所述第二成像单元和所述检测区域设置装置是复眼成像装置的一部分。
7.根据权利要求1所述的图像处理装置，其中
所述图像调节处理是聚焦控制、曝光控制和白平衡控制之一。
8.根据权利要求1所述的图像处理装置，其中
所述第一检测区域位于所述第一成像区域的中心，所述第二检测区域位于所述第二成像区域的中心。
9.根据权利要求1所述的图像处理装置，其中
所述检测区域设置装置设置第三成像区域和第四成像区域，所述第三成像区域是通过在水平方向上移动所述第一成像区域而创建的区域，所述第四成像区域是通过在相反的水平方向上移动所述第二成像区域而创建的区域，所述第一成像区域和所述第二成像区域的移动量与立体效果对应。
10.一种图像处理方法，包括：
施加位移调节以从原始图像提取第一成像区域和第二成像区域；以及
通过检测区域设置装置
基于相对于第一成像区域的位置关系来设置所述第一成像区域内的第一检测区域，以及
基于相对于第二成像区域的位置关系来设置所述第二成像区域中的第二检测区域，
其中第一检测区域相对于第一成像区域的位置关系与第二检测区域相对于第二成像区域的位置关系相同，并且其中
所述第一检测区域是在图像调节处理中使用的区域。
11.根据权利要求10所述的方法，还包括：
通过位移调节机构补偿第一成像单元和第二成像单元之间的光学未对准。
12.根据权利要求11所述的方法，还包括：
在变焦透镜上调节变焦，其中
所述补偿包括补偿由于变焦调节导致的光学未对准。
13.根据权利要求11所述的方法，还包括：
在存储装置中存储由所述位移调节机构用来调节所述第一成像单元和所述第二成像单元之间的未对准的调节量。
14.根据权利要求13所述的方法，其中
所述调节量是光轴校正量，以及
所述存储装置将所述光轴校正量存储在光轴校正表中。
15.根据权利要求10所述的方法，其中
所述图像调节处理是聚焦控制、曝光控制和白平衡控制之一。
16.根据权利要求10所述的方法，其中
所述第一检测区域位于所述第一成像区域的中心，所述第二检测区域位于所述第二成像区域的中心。
17.根据权利要求10所述的方法，其中：
所述设置包括设置第三成像区域和第四成像区域，所述第三成像区域是通过在水平方向上移动所述第一成像区域而创建的区域，所述第四成像区域是通过在相反的水平方向上移动所述第二成像区域而创建的区域，所述第一成像区域和所述第二成像区域的移动量与立体效果对应。
CN201280000927.4A 2011-03-31 2012-03-15 图像处理装置、图像处理方法和图像处理计算机程序产品 Active CN102845069B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011080386A JP5786412B2 (ja) 2011-03-31 2011-03-31 画像処理装置、画像処理方法及び画像処理プログラム
JP2011-080386 2011-03-31
PCT/JP2012/001818 WO2012132290A1 (en) 2011-03-31 2012-03-15 Image processing device, image processing method and image processing computer program product

Publications (2)

Publication Number Publication Date
CN102845069A CN102845069A (zh) 2012-12-26
CN102845069B true CN102845069B (zh) 2017-04-19

Family

ID=46930081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280000927.4A Active CN102845069B (zh) 2011-03-31 2012-03-15 图像处理装置、图像处理方法和图像处理计算机程序产品

Country Status (8)

Country Link
US (3) US9282318B2 (zh)
EP (1) EP2695386B1 (zh)
JP (1) JP5786412B2 (zh)
KR (1) KR20140000135A (zh)
CN (1) CN102845069B (zh)
BR (1) BR112012023276A2 (zh)
RU (1) RU2012139454A (zh)
WO (1) WO2012132290A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9186612B2 (en) 2010-01-22 2015-11-17 Donaldson Company, Inc. Pulse jet air cleaner systems; evacuation valve arrangements; air cleaner components; and, methods
JP5786412B2 (ja) 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP2013046296A (ja) * 2011-08-25 2013-03-04 Panasonic Corp 複眼撮像装置
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
BR112015015800A2 (pt) 2013-01-14 2017-07-11 Cummins Filtration Ip Inc filtro limpável e métodos para limpar elemento de filtro e filtro instalado em sistema
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
JP6112151B2 (ja) * 2015-07-28 2017-04-12 ソニー株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2017073248A1 (ja) 2015-10-27 2017-05-04 株式会社小糸製作所 車両用灯具
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
JP2018170657A (ja) 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4418993A (en) * 1981-05-07 1983-12-06 Stereographics Corp. Stereoscopic zoom lens system for three-dimensional motion pictures and television
JPH0639605B2 (ja) 1988-02-03 1994-05-25 オイレス工業株式会社 鋳鉄製裏金を有する複層焼結摺動部材
JPH0795623A (ja) * 1993-06-25 1995-04-07 Sanyo Electric Co Ltd 立体撮像装置
JP3786234B2 (ja) 1997-09-18 2006-06-14 ソニー株式会社 画像信号検波回路
JP4285618B2 (ja) * 1999-03-31 2009-06-24 富士重工業株式会社 ステレオカメラの自己診断装置
JP2002094977A (ja) 2000-09-14 2002-03-29 Fujitsu Ten Ltd 画像処理装置
JP2002218506A (ja) * 2001-01-18 2002-08-02 Olympus Optical Co Ltd 撮像装置
JP2002214515A (ja) * 2001-01-18 2002-07-31 Olympus Optical Co Ltd 撮像装置
JP2003052058A (ja) * 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
JP4225768B2 (ja) * 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
JP4474312B2 (ja) 2005-03-30 2010-06-02 富士フイルム株式会社 撮像範囲調整システム、立体撮像装置、調整装置、及び撮像範囲調整方法
JP4451353B2 (ja) * 2005-06-24 2010-04-14 富士フイルム株式会社 複眼撮像装置及び複眼撮像システム及び複眼撮像装置の制御プログラム
JP5348687B2 (ja) 2009-04-17 2013-11-20 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
JP5328528B2 (ja) * 2009-07-07 2013-10-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
WO2011024352A1 (ja) * 2009-08-25 2011-03-03 パナソニック株式会社 立体視画像編集装置および立体視画像編集方法
JP5786412B2 (ja) 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Also Published As

Publication number Publication date
JP5786412B2 (ja) 2015-09-30
US20160142699A1 (en) 2016-05-19
US9667945B2 (en) 2017-05-30
US10051258B2 (en) 2018-08-14
RU2012139454A (ru) 2014-03-20
US9282318B2 (en) 2016-03-08
WO2012132290A1 (en) 2012-10-04
BR112012023276A2 (pt) 2016-05-17
EP2695386A4 (en) 2014-10-01
CN102845069A (zh) 2012-12-26
US20130070059A1 (en) 2013-03-21
US20170264886A1 (en) 2017-09-14
KR20140000135A (ko) 2014-01-02
EP2695386B1 (en) 2019-05-08
EP2695386A1 (en) 2014-02-12
JP2012216979A (ja) 2012-11-08

Similar Documents

Publication Publication Date Title
CN102845069B (zh) 图像处理装置、图像处理方法和图像处理计算机程序产品
US8310538B2 (en) Imaging apparatus, method, program, and recording medium used in the program
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
JP4517664B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US8130259B2 (en) Three-dimensional display device and method as well as program
CN102326397B (zh) 图像处理设备和图像处理方法
CN103718547B (zh) 图像处理设备、图像处理方法及程序
JP5704984B2 (ja) 撮像装置
WO2013069292A1 (ja) 画ブレ補正装置
CN104144284A (zh) 成像设备和成像方法
CN103167240A (zh) 图像拾取装置及其控制方法
JP2014026051A (ja) 撮像装置、画像処理装置
JP6529360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6257260B2 (ja) 撮像装置及びその制御方法
US10681260B2 (en) Focus detection device and focus detection method
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN115035178A (zh) 一种增强现实显示系统、方法及存储介质
JP6610584B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6112151B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR20160128483A (ko) Table-top 3D 디스플레이 시스템 및 그 방법
JP2017098929A (ja) 画像処理装置および画像処理方法
JP2006287274A (ja) 撮像装置及びそれを用いた立体視画像生成システム
JP2019140439A5 (zh)
JP2013009275A (ja) 画像処理装置および画像処理方法、プログラム。

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant