CN103595979A - 图像处理设备、图像拍摄设备及图像处理方法 - Google Patents

图像处理设备、图像拍摄设备及图像处理方法 Download PDF

Info

Publication number
CN103595979A
CN103595979A CN201310354072.1A CN201310354072A CN103595979A CN 103595979 A CN103595979 A CN 103595979A CN 201310354072 A CN201310354072 A CN 201310354072A CN 103595979 A CN103595979 A CN 103595979A
Authority
CN
China
Prior art keywords
image
unit
settings
image processing
picking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310354072.1A
Other languages
English (en)
Other versions
CN103595979B (zh
Inventor
堤正平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103595979A publication Critical patent/CN103595979A/zh
Application granted granted Critical
Publication of CN103595979B publication Critical patent/CN103595979B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像处理设备、图像拍摄设备及图像处理方法。在进行再聚焦时用于输入虚拟焦点位置的UI，与在进行图像拍摄时用于输入焦点位置的UI彼此分离并且独立地存在，这对于用户而言是不方便的。所述图像处理设备包括生成单元，该生成单元被配置为通过使用由图像拍摄设备获得的多个拍摄图像数据，生成在利用第二设置值拍摄图像的情况下获得的合成图像数据，所述第二设置值与在利用所述图像拍摄设备拍摄图像时使用的第一设置值不同，其中，所述图像拍摄设备能够拍摄基于多个视点位置的图像数据，并且所述图像拍摄设备包括用于设置图像拍摄参数的设置值的操作单元，并且其中，经由所述操作单元设置所述第一设置值和所述第二设置值。

Description

图像处理设备、图像拍摄设备及图像处理方法
技术领域
本发明涉及参数设置方法。
背景技术
传统上，在由失焦（out of focus）的照相机拍摄了图像的情况下，需要在再次进行聚焦之后重新拍摄图像。此外，在希望获得深度不同的多个被摄体的聚焦图像的情况下，需要多次拍摄对焦的各个被摄体的图像。
近年来，称为光场摄影的技术得到发展，该技术能够通过向光学系统添加新的光学元件来获取来自多视点（多个视点）的图像，从而在之后的图像处理中调节焦点位置（再聚焦）。
使用这种技术，因为能够在图像拍摄之后进行聚焦，因此，具有能够通过图像处理来补偿进行图像拍摄时的聚焦失败的优点。此外，还有如下的优点，即能够通过改变图像处理方法，而由一个拍摄的图像获得聚焦在图像中的任意被摄体上的多个图像，因此能够减少图像拍摄的次数。
在光场摄影中，根据多视点拍摄图像数据，计算在空间中的多个位置中通过各个位置的光束的方向和强度（光场，下文中称为“LF”）。然后，通过使用所获取的LF的信息，计算基于如下假设的图像，所述假设即光通过虚拟光学系统并且在虚拟传感器上形成图像。通过适当地设置这种虚拟光学系统和虚拟传感器，也使得能够进行先前描述的再聚焦。作为用于获取LF的图像拍摄设备，已知在主透镜后方布置有微透镜阵列的全光照相机（Plenoptic Camera）（例如日本特开2009-124213号公报），以及并排布置有紧凑型照相机（图像拍摄模块）的照相机阵列。两者都能够通过一次图像拍摄，来获得在不同的方向上拍摄被摄体的图像的多视点拍摄图像数据。还能够将光场摄影表示为如下的计算，即计算虚拟传感器根据多视点拍摄图像数据在虚拟光学条件下获取的图像。下面，将计算由虚拟传感器获取的图像的处理称为“再聚焦处理”。作为再聚焦处理，已知有如下的方法，即对获取的多视点拍摄图像数据进行到虚拟传感器上的投影变换，并且进行相加并求平均（例如WO2008/050904）。
作为在改变焦点位置的同时显示经过再聚焦处理的图像（下文中称为再聚焦图像）的方法，例如，有在US2008/0131019A1中公开的方法。在该方法中，在显示再聚焦图像的画面上，提供用来调节焦点位置的用户界面（UI），并且用户经由该UI改变焦点位置。此外，在US2008/0131019A1中，公开了如下方法，即在要显示再聚焦图像的画面上，由用户指定希望使得对焦的被摄体，并且显示焦点位置已被调节到该指定被摄体上的再聚焦图像。
在上述US2008/0131019A1中公开的方法中，在进行再聚焦时使用的用于调节虚拟焦点位置的UI，与在进行图像拍摄时使用的用于调节焦点位置的UI不同。如上所述，在进行再聚焦时用于输入虚拟焦点位置的UI，与在进行图像拍摄时用于输入焦点位置的UI彼此分离并且独立地存在，因此用户使用这两个UI是不方便的。
发明内容
根据本发明的图像处理设备包括生成单元，该生成单元被配置为通过使用由图像拍摄设备获得的多个拍摄图像数据，生成在利用第二设置值拍摄图像的情况下获得的合成图像数据，所述第二设置值与在利用所述图像拍摄设备拍摄图像时使用的第一设置值不同，其中，所述图像拍摄设备能够拍摄基于多个视点位置的图像数据，并且所述图像拍摄设备包括用于设置图像拍摄参数的设置值的操作单元，并且其中，经由所述操作单元设置所述第一设置值和所述第二设置值。
根据本发明，使得用户能够在进行图像合成等时，以与在进行图像拍摄时相同的方式设置参数，因此，能够实现用户容易使用的用于输入参数的UI。
通过以下参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。
附图说明
图1是示出图像拍摄设备的内部结构的框图；
图2是示出图像拍摄单元的内部结构的图；
图3A是示出图像拍摄设备的外观的图，并且图3B是示出图像拍摄镜头筒的侧表面的图；
图4是示出普通图像拍摄光学系统的结构的图；
图5是与普通图像拍摄光学系统相关联地示出图像拍摄单元的结构的图；
图6是示出根据第一实施例的图像处理单元的内部结构的框图；
图7是示出根据第一实施例的图像处理单元中的图像处理的流程的流程图；
图8是示出图像合成单元的内部结构的图；
图9是示出根据第一实施例的图像合成单元中的图像合成处理的流程的流程图；
图10A和10B是示出用于图像合成的像素位置的示例的图；
图11是用于说明根据第一实施例的像素位置计算单元中的像素位置计算方法的图；
图12是存储在存储器单元中的中间数据的示例；
图13A和13B是分别用于说明合成图像的放大/缩小处理以及之后的剪裁的图；
图14是示出图像拍摄单元的结构的示例的图；
图15是示出根据第二实施例的图像处理单元的内部结构的框图；
图16是示出根据第二实施例的图像处理单元中的图像处理的流程的流程图；
图17是将图像合成参数放置在一起的表的示例；
图18是示出满足选择条件的合成图像的显示情况的示例的图；
图19是示出根据第三实施例的图像处理单元的内部结构的框图；
图20A和20B是示出虚拟传感器的倾角根据图像拍摄设备的姿势的改变而改变的方式的图；
图21是用于说明第三实施例中的像素位置计算方法的图；
图22是用于说明合成图像根据图像拍摄设备的姿势的改变而改变的方式的图；
图23是焦点位置逐步改变的包围（bracket）图像拍摄（焦点包围图像拍摄）的说明图；
图24是示出通过焦点包围图像拍摄而获得的拍摄图像的示例的图；
图25是示出根据第四实施例的图像处理单元的内部结构的框图；
图26是示出根据第四实施例的图像处理单元中的图像处理的流程的流程图；以及
图27A至27C是用于说明图像处理单元和/或显示单元与图像拍摄单元分离地存在的三种情况的图。
具体实施方式
[第一实施例]
图1是示出根据本第一实施例的图像拍摄设备的内部结构的框图。
图像拍摄单元100通过图像拍摄元件接收被摄体的光的信息，并且通过对接收到的信号进行A/D转换来获取彩色拍摄图像数据（数字数据）。稍后将描述图像拍摄单元100的详情。
中央处理单元（CPU）101对下面描述的各个单元进行总体控制。
RAM102用作CPU101的主存储器、工作区等。
ROM103存储由CPU101执行的控制程序等。
总线104是各种数据的传送路径，例如，经由总线104，向预定处理单元传送由图像拍摄单元100获取的数字拍摄图像数据。
被配置为接收用户的指令的操作单元105包括按钮、模式转盘等。稍后将描述操作单元的详情。
例如，使用液晶显示器，作为被配置为显示拍摄图像和字符的显示单元106。显示单元106可以具有触摸屏功能，并且在这种情况下，还能够把使用触摸屏的用户指令当作到操作单元105的输入。
显示控制单元107进行在显示单元106上显示的拍摄图像和字符的显示控制。
图像拍摄单元控制单元108基于诸如聚焦、快门释放和关闭以及光圈调节的来自CPU101的指令，对图像拍摄系统进行控制。
数字信号处理单元109对经由总线104接收到的数字数据，进行诸如白平衡处理、伽马处理和噪声降低处理的各种处理。
编码器单元110进行将数字数据转换为诸如JPEG和MPEG的文件格式的处理。
外部存储器控制单元111是连接到PC或其它媒质（例如硬盘、存储卡、CF卡、SD卡、USB存储器）的接口。
图像处理单元112根据由图像拍摄单元100获取的彩色拍摄图像数据或者从数字信号处理单元109输出的彩色拍摄图像数据，进行诸如再聚焦处理的图像合成处理。稍后将描述图像处理单元112的详情。还可以作为与图像拍摄单元独立的图像处理设备，来实现图像处理单元112。
姿势检测单元113使用陀螺传感器等，检测在进行图像拍摄时改变的图像拍摄设备（图像拍摄单元100）的姿势。在第三实施例中利用姿势检测单元113的检测结果。
图像拍摄设备包括上述部件之外的部件，但是这些之外的部件不是本实施例的主要目的，因此省略重复的说明。
图2是示出图像拍摄单元100的内部结构的图。
图像拍摄单元100包括图像拍摄透镜201至203、光圈204、快门205、微透镜阵列206、光学低通滤波器207、iR截止滤波器208、滤色器209、被配置为进行光电转换的图像拍摄元件（下文中称为传感器）210和A/D转换单元211。图像拍摄透镜201至203分别是变焦透镜201、聚焦透镜202和照相机抖动校正透镜203。通过调节光圈，能够调节入射到图像拍摄单元100上的光的量。这里，即使各个透镜的大小以微米或者毫米为单位，也与各个透镜的大小无关地使用术语“微透镜”。
图3A是示出根据本实施例的图像拍摄设备的外观的图。在图像拍摄设备的主体300的顶部，除了取景器的目镜窗口301之外，还有作为操作单元105的自动曝光（AE）锁定按钮302、用于选择自动聚焦（AF）的测距点的按钮303和用于图像拍摄操作的释放按钮304。此外，有图像拍摄模式选择转盘305、外部显示单元306、电子转盘307等。电子转盘307是多功能信号输入单元，该多功能信号输入单元被配置为与其他操作按钮一起用来向照相机输入数值，并且切换图像拍摄模式。在液晶显示器的外部显示单元306上，显示诸如快门速度、光圈和图像拍摄模式的图像拍摄条件以及其它信息。在图像拍摄设备的主体300的后表面上，有用于显示拍摄图像、根据拍摄图像生成的合成图像、各种设置画面等的液晶监视器308、用于打开和关闭液晶监视器308上的显示的开关309、十字键310、菜单按钮311等。图像拍摄镜头筒312位于图像拍摄设备的主体300的前表面，并且，通过变焦调节环313的旋转，驱动变焦透镜201来调节视角（变焦倍率）。图像拍摄/再现切换按钮316用于在用于拍摄图像的图像拍摄模式与用于显示图像的再现模式之间进行切换。在再现模式下，能够对在图像拍摄模式下拍摄的图像（拍摄图像）进行稍后要描述的再聚焦处理，并且显示图像。
图3B是示出图像拍摄镜头筒312的侧表面的图。除了变焦调节环313之外，镜头筒312还包括焦点调节环314和光圈调节环315。通过焦点调节环314的旋转，驱动聚焦透镜202，并且调节进行图像拍摄时的焦点位置。通过光圈调节环315的旋转，调节光圈204的开口率，以调节进行图像拍摄时的f值。也就是说，通过作为操作单元105的一部分的各种调节环，来设置在进行图像拍摄时应用的各种图像拍摄参数（焦点位置、f值、变焦倍率等）。
虽然稍后描述详情，但是，在设置用于图像拍摄之后的图像合成处理的图像合成参数（虚拟焦点位置等）时，也使用这些不同种类的调节环。
<再聚焦的原理>
图4是示出表示失焦状态的普通图像拍摄光学系统的结构的图。在图4中，为了说明简单，省略了快门、光学低通滤波器、iR截止滤波器、滤色器、变焦透镜等的结构。此外，对于透镜结构，用主透镜402表示透镜组。主透镜402收集来自物点401的光，并且该光到达传感器404的部分区域405。主透镜402收集的光在一个点处形成图像之前到达传感器404，因此，在传感器404的部分区域405中，在散开的状态下记录来自物点401的光，产生具有低水平锐度的模糊图像。在希望获得具有高水平锐度的图像的情况下，需要在调节焦点位置、使得在传感器404上的一个点处形成物点401的图像之后，再次拍摄图像。
图5是与图4所示的普通图像拍摄光学系统相关联地示出图2所示的图像拍摄单元100的结构的图。在图5中，添加了与图2中的微透镜阵列206相对应的微透镜阵列505，并且传感器504的位置改变为更靠近主透镜502的位置。在图5中，主透镜502收集从物点501发出的光，然后该光在形成图像之前通过微透镜阵列505，并且由传感器504进行记录。这时，在传感器504上的多个像素位置，把从物点501发出的光记录为根据光束的方向及强度的值。也就是说，由一个微透镜生成的在传感器上（在图像拍摄元件上）形成的光学图像是从不同的方向观察到的物点501的图像，因此在传感器504上，多视点图像被记录为一个图像。
在再聚焦处理中，能够通过延长光束组并计算虚拟传感器位置处的光的强度，来通过计算获得要记录在虚拟传感器上的图像（再聚焦图像）。在计算要记录在虚拟传感器A（508）的位置处的图像的情况下，来自物点501的光散开，并且获得模糊图像。另一方面，在计算记录在虚拟传感器B（509）的位置处的图像的情况下，来自物点501的光会聚于一点，并且获得对焦的图像。如上所述通过调节虚拟传感器的位置、来通过计算获取记录在该虚拟传感器位置的图像的处理，对应于普通光学系统中的调节焦点位置的动作。
此外，在计算记录在虚拟传感器B（509）的位置处的图像时，代替把从物点501发出的全部光用于再聚焦处理的计算，而根据光通过的主透镜502（或者光圈503）的位置来选择光。由此，能够计算在光圈503的开口率（f值）虚拟地改变的情况下的图像。例如，通过仅把通过主透镜502的中心附近的部分的光用于再聚焦处理的计算，能够通过计算获得光圈503缩小的状态下的图像。例如，通过选择光束B（512）、光束C（513）、光束D（514）和光束E（515），能够生成光圈503缩小的状态下的再聚焦图像。
相反，在希望获得光圈503打开的状态下的再聚焦图像的情况下，把通过主透镜502的全部光束用于再聚焦处理的计算即可。例如，把从光束A（511）至光束F（516）的光束用于再聚焦处理的计算。稍后将描述光圈的虚拟开口率与在进行再聚焦处理时使用的光束之间的关系。
如上所述，通过选择要用于再聚焦处理的光束，能够通过计算获得与光圈被物理缩小的状态等同的状态下的图像。也就是说，这样能够在进行图像拍摄之后虚拟地调节景深。
如图5所示，为了获得从更大数量的不同方向观察到的物点501的图像，优选的方案是，在包含在图像拍摄单元100中的光圈503尽可能大地打开的状态下拍摄图像。
上面是通过计算获得在进行图像拍摄之后调节焦点位置和景深的图像的再聚焦处理的原理。
<图像处理单元的结构图>
图6是示出图像处理单元112的内部结构的框图。
拍摄图像数据获取单元601获取经由总线104从图像拍摄单元100提供的彩色拍摄图像数据（输入拍摄图像数据）。
图像合成参数获取单元602获取图像合成单元604中的处理所需的图像合成参数。图像合成参数是在图像合成处理中使用的各种参数，并且是指例如虚拟焦点位置、虚拟f值、虚拟变焦倍率等。在这种情况下，在通过按下先前描述的图像拍摄/再现切换按钮316将模式切换为再现模式之后，把在切换之后进行的对各种调节环的操作当作设置图像合成参数的操作。
光学参数获取单元603获取图像合成单元604中的处理所需的图像拍摄单元100的光学参数。光学参数是光学系统的各种物理固定的参数，并且是指例如微透镜的光学中心位置、微透镜与传感器之间的距离σreal等。
图像合成单元604基于由拍摄图像数据获取单元601获取的拍摄图像数据和光学参数，根据上述图像合成参数生成合成图像。向显示单元106输出生成的合成图像的数据。
图7是示出根据本实施例的图像处理单元112中的图像处理的流程的流程图。通过在将描述下面要示出的过程的计算机可执行程序从ROM103读取到RAM102上之后由CPU101执行该程序，来进行该一系列处理。
在通过按下图像拍摄/再现切换按钮316将图像拍摄模式切换为再现模式之后，在步骤701，拍摄图像数据获取单元601获取由图像拍摄单元100记录的拍摄图像数据。如上所述，优选的方案是，在将f值（F数）设置为小的值（例如F2.8）的状态（光圈完全打开的状态）下，拍摄要进行图像合成处理的拍摄图像数据。这里获取的拍摄图像数据还包括进行图像拍摄时的诸如焦点位置、f值和变焦倍率的图像拍摄参数。
在步骤702，光学参数获取单元603获取上述光学参数。
在步骤703，图像合成参数获取单元602获取上述图像合成参数。具体来说，图像合成参数获取单元602获取根据各种调节环（这里为焦点调节环314、光圈调节环315、变焦调节环313）的操作量的输入值，所述调节环用于设置进行图像拍摄时的图像拍摄参数。例如，用户沿预定方向将焦点调节环314旋转任意量，由此获取与旋转量相对应的值，并将该值设置为虚拟焦点位置处的输入值。这也适用于虚拟f值。通过经由变焦调节环313获得的输入值（视角=镜头焦距）与进行图像拍摄时的变焦倍率（视角）之间的比较，来获得虚拟变焦倍率。例如，假设如下的情况，即变焦调节环313在图像拍摄模式下将镜头焦距设置为50mm，而在再现模式下将镜头焦距设置为75mm。在这种情况下，虚拟变焦倍率是进行图像拍摄时的1.5倍（生成的图像的视角变得比进行图像拍摄时的视角窄）。如上所述，在本实施例中，用户能够经由在进行图像拍摄时使用的各种调节环来设置图像合成参数。
在步骤704，图像合成单元604使用从图像合成参数获取单元602提供的图像合成参数和从光学参数获取单元603提供的光学参数，对拍摄图像数据进行图像合成处理。稍后将描述图像合成处理的详情。
在步骤705，图像合成单元604向显示单元106输出生成的合成图像数据，并且，在显示单元106上显示合成图像。
在步骤706，图像处理单元112确定是否存在改变图像合成参数的指令（用户进行的对各种操作环的操作）。在确定存在改变图像合成参数的指令的情况下，该过程返回到步骤703。然后，进行根据改变之后的图像合成参数的图像合成处理，并且显示新的合成图像（步骤704、705）。另一方面，在确定不存在改变图像合成参数的指令的情况下，退出该处理。
<图像合成处理>
接下来，说明图像处理单元112内的图像合成单元604的详情。
图8是示出图像合成单元604的内部结构的图。
图像合成单元604包括像素位置计算单元801、颜色推导单元802、像素值计算单元803、存储器单元806和图像放大单元807，此外，像素值计算单元803包括存储器单元804和像素值生成单元805。
图像合成单元604使用上述各个单元，根据从拍摄图像数据获取单元601依次发送的拍摄图像数据（数字值）计算合成图像的像素值，并且进行按照计算完成的顺序依次输出像素值的处理。下面给出详细说明。
图9是示出根据本实施例的图像合成单元604中的图像合成处理的流程的流程图。为了简化说明，假设从拍摄图像数据获取单元601提供的数字值的拍摄图像数据（输入拍摄图像数据）是一维数据。
在步骤901，像素位置计算单元801从总线（未示意性地示出）获取图像合成参数和光学参数。图像合成参数的获取如上所述。通过读取预先保持在RAM102等中的光学参数，来获取光学参数。
在步骤902，像素值计算单元803获取用于输入拍摄图像数据的图像合成的像素位置和像素值。通过参照虚拟f值，从在步骤901获取的图像合成参数中，获取用于图像合成的像素位置。
图10A和10B是示出用于图像合成的像素位置的示例的图。图中的白色所示的部分是用于图像合成的像素位置，相反，黑色所示的部分是不用于图像合成的像素位置。分别地，图10A示出了将虚拟f值设置为F2.8的情况下的像素位置，图10B示出了将虚拟f值设置为F11的情况下的像素位置。以这种方式，预先在RAM102等中，保持与光圈调节环315能够调节的范围中的多个f值相对应的像素位置。通过参照保持的信息，像素值计算单元803根据获取的虚拟f值获取像素位置，并且获取拍摄图像数据中的与所获取的像素位置相对应的像素值。
说明返回到图9中的流程图。
在步骤903，像素值计算单元803设置关注像素位置的初始值。例如，将拍摄图像的左上端的像素设置为第一关注像素。
在步骤904，像素值计算单元803确定设置的关注像素的像素位置是否是用于图像合成的像素位置。例如，通过将像素位置与指示在步骤902获取的像素位置的表（该表用1指示表示使用的像素位置的白色部分中的像素，并且用0指示表示不使用的像素位置的黑色部分中的像素）进行比较等，来进行图像合成是否使用该像素位置的确定。在确定关注像素的像素位置是用于图像合成的像素位置（与白色部分相对应）的情况下，该过程进行到步骤905。另一方面，在确定关注像素的像素位置是不用于图像合成的像素位置（与黑色部分相对应）的情况下，该过程进行到步骤910。
在步骤905，像素位置计算单元801计算输入拍摄图像数据的各个像素的合成图像中的像素位置。
图11是用于说明该计算方法的图。这里，假设向图像合成单元604，输入与传感器1101上的传感器像素区域1103相对应的像素。在这种情况下，图像合成单元604作为结果，计算与传感器像素区域1103相对应的虚拟传感器1102上的投影区域1106。这里，Ox(m,n)是微透镜1104的光学中心的位置，并且(m,n)是指示微透镜的索引的编号，x指示输入像素的位置（在该图中为传感器像素区域1103的中心位置）。X1和X2是通过稍后要描述的计算获得的虚拟传感器1102上的位置，这两个位置分别与传感器像素区域1103的上端部分及下端部分相对应。计算的X1与X2之间的区域是传感器像素区域1103在虚拟传感器1102上的投影区域1106。如图11所示，作为以微透镜1104的光学中心为基准投影到虚拟传感器1102上的传感器像素区域1103的投影区域1106，是与输入拍摄图像数据的像素（在图11中为传感器像素区域1103）相对应的合成图像上的位置。这里，σreal是传感器1101与各个微透镜1104之间的距离，并且σvirtual是各个微透镜1104与虚拟传感器1102之间的距离。也就是说，与微透镜1104相距距离σvirtual的位置是虚拟传感器1102的位置，并且由用户经由焦点调节环314设置该位置。从图11能够明显看出，投影区域1106相对于传感器像素区域1103被放大，并且放大率是σvirtual/σreal。在该步骤，根据下面的公式（1）和公式（2）来计算定义投影区域1106的X1和X2的位置。
X1＝Ox(m,n)+(σvirtual/σreal)(x+s/2-Ox(m,n))···公式（1）
X2＝Ox(m,n)+(σvirtual/σreal)(x-s/2-Ox(m,n))···公式（2）
在上述公式（1）和公式（2）中，s是传感器像素区域1103的大小。向像素值计算单元803发送计算的X1和X2的信息。以这种方式，把输入拍摄图像数据的各个像素的像素位置，与和任意再聚焦位置相对应的合成图像中的像素位置彼此相关联。
说明返回到图9中的流程图。
在步骤906，颜色推导单元802推导输入拍摄图像数据中的各个像素的颜色。具体来说，颜色推导单元802通过参照指示像素位置与颜色之间的对应关系的表，来推导各个像素的颜色。根据滤色器阵列的滤波器光谱灵敏度，颜色的类型包括RGB、红外+RGB、CMY等。这里，考虑RGB三种颜色的情况。指示像素位置与颜色之间的对应关系的表，例如在分辨率是六百万像素的情况下，是在垂直方向上具有2,000个像素且在横向方向上具有3,000个像素的表，并且可以将该表保持在ROM103等中。此外，在像素位置与颜色之间的关系能够用明确的数学方程来表示的情况下，例如在图像拍摄单元100包括拜尔阵列的滤色器阵列的情况下，还可以通过预定计算根据像素位置获得颜色。
在步骤907，像素值计算单元803更新存储器单元804内的数据（中间数据）。具体来说，把输入拍摄图像数据的如下像素值存储在存储器单元804中，所述像素值对应于在步骤905计算的合成图像中的像素位置和在步骤906推导的颜色。
图12示出了存储在存储器单元804中的中间数据的示例。在图12中，在索引1201至1203中的各个中，保持一个或更多个像素值。在该步骤，根据从像素位置计算单元801接收到的合成图像的像素位置和从颜色推导单元802接收到的颜色信息，来添加/存储像素值，由此更新中间数据。在图12中的示例中，合成图像的像素位置由整数表示，但是，通过上述公式（1）和（2）计算的X1和X2通常不是整数。因为这一原因，也可以接受整数之外的数字，作为用于识别合成图像的像素位置的数值，并且在合成图像的像素值的计算中使用小数部分作为权重。例如，考虑如下的情况，即对指示合成图像的像素位置的坐标(10,10.4)分配像素值20，并且类似地对坐标(10,10.1)分配像素值10。在这种情况下，例如，通过诸如(0.1*20+0.4*10)/(0.1+0.4)等的加权计算，对指示合成图像的像素位置的坐标(10,10)分配像素值12。
在步骤908，像素值计算单元803确定是否针对预定索引完成了中间数据的更新，也就是说，确定在索引中的任意一个中是否存储了所有像素值。例如，在图12中的索引1201（坐标(10,10)的像素位置的、颜色为R的部分）中存储了两个像素值（24和26）的情况下，确定中间数据的更新完成。能够通过预先针对各个索引计算应当存储的像素值的数量，并且通过确定存储的像素值的数量是否达到所计算的数量，来进行该确定。
这里，如下所述预先获得应当在各个索引中存储的像素值的数量。首先，提供像素值全部为1的假拍摄图像，并且使用该假拍摄图像作为输入拍摄图像数据，进行步骤905至步骤907的处理。然后，在对所有像素进行处理之后，针对各个索引对存储的像素值的数量进行计数。
在通过这样的确定处理、确定在索引中的任意一个中存储了应当添加的所有像素值的情况下，该过程进行到步骤909。另一方面，在确定在索引中的任意一个中、不是所有像素值均被存储的情况下，该过程返回到步骤905，并且对合成图像上的下一个像素位置重复进行步骤905至步骤907的处理。
在步骤909，像素值生成单元805从存储器单元804获取更新完成的索引中的中间数据（多视点图像的像素值），并且计算数据的平均值，并将该平均值作为合成图像的像素值进行输出。
在步骤910，像素值生成单元805确定是否针对输入拍摄图像数据的所有像素完成了上述处理。在不存在未处理的像素的情况下，该过程进行到步骤912。另一方面，在存在未处理的像素的情况下，该过程进行到步骤911。
在步骤911，像素值计算单元803更新输入拍摄图像数据上的关注像素位置。然后，对更新之后的关注像素位置重复进行步骤903和后续步骤的处理。
在步骤912，图像合成单元604将从像素值计算单元803提供的各个像素的值存储在存储器单元806中。
在步骤913，图像放大单元807根据作为图像合成参数中的一个提供的虚拟变焦倍率的值，对合成图像进行放大或者缩小，并且对放大或者缩小的图像进行剪裁。
图13A和13B是用于说明合成图像的放大/缩小处理和后续剪裁的图。图13A是用于说明虚拟变焦倍率超过1.0的情况的图。在这种情况下，根据给定变焦倍率对合成图像1301进行放大，并且生成放大图像1302。作为放大处理，使用诸如线性插值和三次插值的插值处理。之后，进行剪裁，使得放大图像1302的中心附近的部分的图像大小与合成图像1301的相同，由此生成剪裁图像1303。图13B是用于说明虚拟变焦倍率小于1.0的情况的图。根据给定变焦倍率缩小合成图像1301，并且生成缩小图像1304。之后，对缩小图像1304的外围部分赋予适当的像素值（例如像素值0），使得该部分的图像大小与合成图像1301的相同，由此生成剪裁图像1305。
通过上述处理，输出根据用户指定的图像合成参数的合成图像数据。
在图9所示的流程图中，最后进行图像的放大/缩小和剪裁，但是也可以在其它处理之前进行所述的放大/缩小和剪裁。也就是说，还可以在图像合成处理的第一阶段中，对输入拍摄图像数据进行与步骤913的处理相对应的的处理，并且基于剪裁之后的拍摄图像进行步骤902和后续步骤的处理。
在本实施例中，作为图像拍摄单元100的结构的示例，说明了将微透镜阵列505布置在主透镜502与传感器504之间的结构，但是也可以使用具有其他结构的图像拍摄单元。
图14是示出图像拍摄单元100的结构的另一示例的图。在图14中，图像拍摄单元100包括多个图像拍摄模块1401。图像拍摄模块1401中的各个包括传感器1402和透镜1403。附图标记1404表示光轴。来自物点1405的光被图像拍摄模块1401内的传感器1402记录。例如，传感器1402上的像素1406记录光束1407的强度。考虑将虚拟传感器1408和1409布置在物体侧的情况，并且假设光束组沿朝向虚拟传感器1408和1409的方向延长，并且在虚拟传感器1408和1409处对光束强度求平均。由此，在虚拟传感器1408处计算的图像将是失焦的物点1405的模糊图像。另一方面，在虚拟传感器1409处计算的图像将是对焦的物点1405的图像。如上所述，通过改变虚拟传感器的位置，能够在进行图像拍摄之后，通过计算获取调节了焦点位置的图像。
这里，说明对虚拟光圈的控制。在虚拟传感器上合成光束组时、仅使用从中心附近的图像拍摄模块1401提供的拍摄图像数据来合成图像的情况下，能够生成光圈缩小的状态下的再聚焦图像。另一方面，在使用从多个图像拍摄模块1401提供的所有拍摄图像数据来合成图像的情况下，能够生成光圈打开的状态下的再聚焦图像。
正如在图14中，被配置为设置包括多个图像拍摄模块1401的图像拍摄单元的焦点位置和f值的单元，可以是覆盖多个图像拍摄模块1401的环状的操作单元或者使用电子转盘的操作单元。在进行图像拍摄时使用的操作单元和在进行图像拍摄之后进行图像合成时使用的操作单元相同的情况下，能够应用本第一实施例。
此外，图像合成处理不限于上述方法。可以接受任意方法，只要之后通过图像处理调节拍摄图像数据的焦点位置、景深和变焦倍率即可。
例如，作为通过图像处理改变焦点位置的方法，已知有如下的方法，即根据与对焦的被摄体的位置的相对距离，对拍摄图像数据进行滤波处理。在这种情况下，首先，获取景深大的拍摄图像数据和场景的距离图。通过与图像拍摄设备分离地配设距离传感器来获取距离图，或者通过对图像拍摄设备的拍摄图像数据进行分析来获取距离图。接下来，对于希望使得对焦的被摄体，不进行滤波处理，而使用原始拍摄图像数据，而对于希望使得对焦的被摄体之外的区域，根据距离图获得与被摄体的相对距离。然后，对于与希望使得对焦的被摄体的相对距离小的区域，进行用于减小模糊量的滤波处理（例如将滤波器大小设置为相对小）。另一方面，对于与希望使得对焦的被摄体的相对距离大的区域，进行用于增大模糊量的滤波处理（例如将滤波器大小设置为相对大）。通过这种方法，也可以改变焦点位置。
还能够通过与上述方法类似的方法通过图像处理来调节景深的程度。也就是说，通过在对拍摄图像数据的滤波处理中设置较大的滤波器大小，模糊量增大，并且能够生成具有浅景深的图像数据。相反，为了生成具有大景深的图像数据，减小滤波器大小。
如上所述，根据本实施例的发明，经由用来设置图像拍摄参数的操作单元来设置图像合成参数，因此，用户能够以与在进行图像拍摄时相同的方式，设置诸如虚拟焦点位置的图像合成参数。
[第二实施例]
在第一实施例中，说明了如下的方面，即根据经由包含在图像拍摄设备中的操作单元给定的图像合成参数，生成具有不同焦点位置等的合成图像。接下来，作为第二实施例来说明如下方面：预先自动生成与具有多种内容的图像合成参数相对应的合成图像，并且选择并在显示单元上显示满足经由包含在图像拍摄设备中的操作单元给定的选择条件（虚拟焦点位置等）的图像。在此，简化或者省略对与第一实施例共有的部分的说明，而主要说明不同点。
<图像处理单元的结构图>
图15是示出根据本实施例的图像处理单元112的内部结构的框图。与根据第一实施例的图6所示的图像处理单元112相比，增加了图像合成参数生成单元1501、存储器单元1502、图像选择单元1503和选择条件获取单元1504。
图像合成参数生成单元1501生成图像合成单元604使用的诸如虚拟焦点位置、虚拟f值和虚拟变焦倍率的图像合成参数。
存储器单元1502是用于存储图像合成单元604生成的合成图像的临时存储区域。
图像选择单元1503根据从选择条件获取单元1504提供的与图像合成参数相对应的选择条件，从存储在存储器单元1502中的多个合成图像中，选择一个或更多个合成图像。
其它处理单元与图6中相同，因此，省略重复的说明。
图16是示出根据第二实施例的图像处理单元112中的图像处理的流程的流程图。通过在将描述下面要示出的过程的计算机可执行程序从ROM103中读取到RAM102上之后，由CPU101执行该程序，来进行该一系列处理。
在步骤1601，拍摄图像数据获取单元601获取由图像拍摄单元100获取的拍摄图像数据。
在步骤1602，光学参数获取单元603获取上述光学参数。
在步骤1603，图像合成参数生成单元1501在用于图像合成的诸如虚拟焦点位置、虚拟f值（F数）和虚拟变焦倍率的参数能够变化的范围内，分别生成这些参数的多个值。下面示出具体示例。首先，在虚拟焦点位置的情况下，例如，针对通过主透镜的光束会聚于一点的焦点位置之前和之后100μm，生成以5μm间隔设置虚拟传感器的位置的虚拟焦点位置。也就是说，针对当前焦点位置，生成诸如-100μm、-95μm、…、95μm和100μm的41个虚拟焦点位置。接下来，针对虚拟f值，例如，通过从光圈完全打开的状态开始逐步缩小主透镜的光圈，来生成f值。针对光圈完全打开的状态设置F2.8，并且生成7个f值F2.8、F4、F5.6、F8、F11、F16和F22。针对虚拟变焦倍率，例如，从0.5倍到2倍以0.1的间隔生成21个变焦倍率。可以从预先设置的各个参数的上限值和下限值中，读取要生成的各个参数的上限值和下限值以进行参照，或者用户可以在该步骤的开始阶段经由操作单元进行输入。
图17是将由图像合成参数生成单元1501生成的图像合成参数放置在一起的表的示例。该表包括41个虚拟焦点位置、7个虚拟f值和21个虚拟变焦倍率，总共产生6,027(＝41×7×21)个图像合成参数组合。
说明返回到图16中的流程图。
在步骤1604，图像合成单元604使用从图像合成参数生成单元1501提供的图像合成参数和从光学参数获取单元603提供的光学参数，进行图像合成处理。针对图17所示的图像合成参数，作为结果生成6,027个合成图像。图像合成处理的内容与第一实施例相同，因此省略重复的说明。
在步骤1605，将图像合成单元604生成的合成图像存储在存储器单元1502中。这时，将使用的图像合成参数和合成图像彼此相关联并且保持在ROM103等中，从而能够识别用来生成合成图像的图像合成参数。
在步骤1606，图像处理单元112确定是否针对在步骤1603生成的图像合成参数的所有组合生成了合成图像。在确定存在未处理的图像合成参数的情况下，该过程进行到步骤1607。另一方面，在确定针对所有图像合成参数生成了合成图像的情况下，该过程进行到步骤1608。
在步骤1607，图像合成参数生成单元1501更新图像合成参数。然后，在完成对所有图像合成参数的处理之前，重复进行步骤1604至步骤1606的处理。
在步骤1608，选择条件获取单元1504获取经由操作单元105指定的选择条件。与在第一实施例中的图像合成参数的情况下相同，用户经由焦点调节环314、光圈调节环315和变焦调节环313设置这里的选择条件。
在步骤1609，图像选择单元1503参照从选择条件获取单元1504提供的选择条件，并且从存储在存储器单元1502中的合成图像数据中，选择满足这些选择条件的优选合成图像。这时，在存储器单元1502中没有存储完全满足选择条件的合成图像的情况下，只需从存储的合成图像中选择最接近选择条件的合成图像即可。在显示单元106上显示选择的合成图像。图18是示出满足选择条件的合成图像的显示情况的示例的图。在该示例中，在液晶监视器308的中心显示最接近选择条件的合成图像，并在液晶监视器308的两侧显示其次最接近选择条件的合成图像的一部分，并且根据经由操作单元对选择条件的改变滚动显示合成图像。
在步骤1610，图像处理单元112确定是否存在改变选择条件的指令（用户对操作单元105的操作）。在确定存在改变选择条件的指令的情况下，该过程返回到步骤1608。然后，选择满足改变之后的选择条件的合成图像（步骤1609）。另一方面，在确定不存在改变选择条件的指令的情况下，退出该处理。
如上所述，根据本实施例的发明，预先生成与在预定范围内生成的图像合成参数相对应的多个合成图像，并将这些合成图像存储在存储器中，并且从这些合成图像中选择满足用户指定的选择条件的合成图像。由此，使得能够更快地显示希望的合成图像。
[第三实施例]
在第一实施例和第二实施例中，说明了如下的方面，即在虚拟传感器平面是与主透镜的光轴垂直的平面的前提下，进行图像合成处理。接下来，作为第三实施例来说明如下方面：根据图像拍摄设备的姿势改变虚拟传感器平面，并且生成并显示改变的虚拟传感器平面上的合成图像。在此，简化或者省略对与第一和第二实施例共有的部分的说明，而仅主要说明不同点。
<图像处理单元的结构图>
图19是示出根据本实施例的图像处理单元112的内部结构的框图。与根据第一实施例的图6所示的图像处理单元112相比，对图像合成参数获取单元602增加来自姿势检测单元113的输入。也就是说，除了虚拟焦点位置、虚拟f值和虚拟变焦倍率之外，本实施例中的图像合成参数获取单元602还从姿势检测单元113获取关于图像拍摄设备（或者图像拍摄单元100）的姿势的信息（姿势信息），作为图像合成参数。然后，图像合成单元604生成另外考虑到图像拍摄设备的姿势的合成图像。
除了图像合成处理的内容之外，根据本实施例的图像处理单元112中的图像处理（参见图7中的流程图）与第一实施例的处理相同。也就是说，作为图像合成参数之一输入图像拍摄设备的姿势信息（步骤703），并且通过图像合成处理（步骤704）输出合成图像数据（步骤705）。然后，作为“是否存在改变图像合成参数的指令的确定”之一，确定图像拍摄设备的姿势是否改变（步骤706），在姿势改变的情况下，该过程返回到步骤703，并且重复进行根据改变后的姿势的图像合成处理（步骤704）。下面，说明本实施例特有的图像合成处理的内容。
<图像合成处理>
本实施例中的图像合成单元604的内部结构与根据第一实施例的图8所示的图像合成单元604的内部结构相同。不同之处在于，像素位置计算单元801计算不仅考虑光学参数、还考虑姿势信息的像素位置。下面给出详细说明。
图20A和20B示出了虚拟传感器的倾角（相对于主透镜的光轴的倾角）根据图像拍摄设备的姿势的改变而改变的方式。这里，与在图5中相同，主透镜2003收集从物点2002发出的光，在形成图像之前该光通过微透镜阵列2004，并且由传感器2005进行记录。然后，延长从物点2002获得的光束组，并且计算虚拟传感器C（2006）的位置处的图像，因此，来自物点2002的光散开，并且获得模糊图像。图20A示出了图像合成处理开始时的状态，已知虚拟传感器C（2006）的倾角是与光轴2007垂直的角度（90度）。在图20A中，图像拍摄单元2001的光轴2007与整体坐标系的Z轴一致。图20B示出了在经过固定时间之后、图像拍摄单元2001围绕Y轴旋转了角度+θy的状态（将逆时针方向上的旋转设置为正方向上的旋转）。在图像处理期间，基于从姿势检测单元113提供的姿势信息进行控制，使得虚拟传感器C（2006）的倾角与倾角旋转了角度-θy的虚拟传感器D（2008）的倾角一致，由此在与Z轴方向垂直的方向上，维持与处理开始时的姿势相同的姿势。
根据本实施例的图像合成单元604中的图像合成处理的流程本身，与根据第一实施例的图9中的流程图的流程相同。下面，根据图9中的流程图，说明本实施例中的图像合成处理。与在第一实施例中相同，以下说明假设从拍摄图像数据获取单元601提供的数字值的拍摄图像数据（输入拍摄图像数据）是一维数据。
在步骤901，像素位置计算单元801从总线（未示意性地示出）获取图像合成所需的图像合成参数、光学参数和照相机姿势信息。图像合成参数及光学参数与第一实施例相同。照相机姿势信息是关于图像拍摄设备的照相机姿势的信息。更具体来说，从姿势检测单元113提供的图像拍摄设备在XYZ各个轴方向上的旋转量是照相机姿势信息。这里，为了简化说明，仅说明图像拍摄设备在Y轴方向上的旋转量θy，作为照相机姿势信息。
步骤902及步骤903与第一实施例相同。
在步骤904，图像合成单元604的像素位置计算单元801计算输入拍摄图像数据的各个像素在合成图像中的像素位置。
图21是用于说明本实施例中的步骤904的像素位置的计算方法的图。与图11中的第一实施例中的计算方法相比，已知虚拟传感器2105被设置到旋转了-θy的角度。这里，假设向图像合成单元604，输入与传感器2101上的传感器像素区域2103相对应的像素。在这种情况下，图像合成单元604作为结果，计算与传感器像素区域2103相对应的虚拟传感器2105上的投影区域2106。在图21中，Ox(m,n)是微透镜2104的光学中心的位置。这里，(m,n)是表示微透镜的索引的编号，x指示输入像素的位置（在图21中为传感器像素区域2103的中心位置）。X3和X4指示通过稍后要说明的计算获得的虚拟传感器2105上的位置，这两个位置与传感器像素区域2106的上端部分及下端部分相对应。计算的X3与X4之间的区域对应于传感器像素区域2103在虚拟传感器2105上的投影区域2106。如图21所示，作为以微透镜2104的光学中心为基准投影到虚拟传感器2105上的传感器像素区域2103的投影区域2106，是与输入拍摄图像数据的像素（在图21中为传感器像素区域2106）相对应的合成图像上的位置。在图21中，σreal是传感器2101与各个微透镜之间的距离，并且σvirtual(x)是像素位置x处的微透镜2104与虚拟传感器2105之间的距离。根据下面的公式（3），计算该像素位置x处的微透镜2104与虚拟传感器2105之间的距离σvirtual(x)。
σvirtual(x)＝σvirtual·cosθy-(x-s/2)sinθy···公式（3）
这里，σvirtual是用户经由焦点调节环314设置的、微透镜2104与位于和微透镜2104平行的方向上的虚拟传感器2107之间的距离，并且s是传感器像素区域2103的大小。
在步骤904的合成图像中的像素位置的计算处理中，根据下面的公式（4）至公式（9）来计算定义投影区域2106的位置X3和X4。
X3＝x3/(1-k1·tanθy)···公式（4）
X4＝x4/(1-k2·tanθy)···公式（5）
k1＝(x3-x)/(σvirtual-σreal)···公式（6）
k2＝(x4-x)/(σvirtual-σreal)···公式（7）
x3＝Ox(m,n)+(σvirtual(x)/σreal)(x+s/2-Ox(m,n))···公式（8）
x4＝Ox(m,n)+(σvirtual(x)/σreal)(x-s/2-Ox(m,n))···公式（9）
在上述公式（4）至公式（9）中，s是传感器像素区域2103的大小。向像素值计算单元803输出计算的X3和X4的信息。以这种方式，将输入拍摄图像数据的各个像素的像素位置，与基于姿势信息的、根据任意再聚焦位置的合成图像中的像素位置相关联。
后续步骤905至步骤913与第一实施例相同，因此省略重复的说明。
图22是用于说明合成图像根据图像拍摄设备的姿势的改变而改变的情况的图。假设图像拍摄设备的初始姿势是如图20A所示的这种状态（照相机姿势A）。这时的虚拟焦点位置处的焦平面是虚拟焦平面A。在这种情况下，在显示单元106上，作为结果显示被摄体X对焦的合成图像2201。假设图像拍摄设备的姿势之后改变为了如图20B所示的这种状态（照相机姿势B）。这时的虚拟焦点位置处的焦平面是虚拟焦平面B。在这种情况下，在显示单元106上，作为结果显示所有被摄体X、Y和Z都对焦的合成图像2202。
如上所述，在本实施例中，使得能够进行使虚拟焦平面的倾角随图像拍摄设备的姿势而变化的图像合成处理。适当的图像拍摄设备能够根据图像拍摄设备的姿势的改变来改变虚拟焦平面的倾角，以再现将根据图像拍摄设备的姿势的改变而出现的、整体坐标系中的焦平面的改变，从而进行图像合成。
另外可以与在第二实施例中相同地，预先针对图像拍摄设备的假定姿势提供多个合成图像，并且根据图像拍摄设备的姿势选择并显示合成图像。
如上所述，根据本实施例的发明，通过根据图像拍摄设备的姿势来改变虚拟焦平面的倾角，使得能够显示随图像拍摄设备的姿势而变化的更自然的合成图像。
[第四实施例]
在第一至第三实施例中，说明了如下的方面，即使用由能够一次获取多视点图像的照相机阵列图像拍摄设备（也简称为“照相机阵列”，即通常所说的照相机阵列系统、多透镜照相机等）获取的拍摄图像数据。接下来，作为第四实施例来说明如下的方面，即通过使用由单透镜图像拍摄设备获得的拍摄图像数据，在不进行图像合成处理的情况下显示焦点位置等改变的图像。在此简化或者省略对与第一至第三实施例共有的部分的说明，而主要说明不同点。
根据本实施例的单透镜图像拍摄设备的图像拍摄单元的结构是省略了微透镜阵列206的图2中的结构。图像拍摄设备的其它主要结构与在第一实施例等中描述的照相机阵列图像拍摄设备相同，因此省略重复的说明。
在本实施例中，通过在稍微改变图像拍摄参数的同时获取多个图像的包围图像拍摄，来获取多个拍摄图像数据。具体来说，在逐步改变焦点调节环314、光圈调节环315和变焦调节环313的同时，获取拍摄图像数据。假设在包围图像拍摄的拍摄图像数据中，与拍摄图像一起作为一个单元保持进行图像拍摄时的参数。也就是说，在第一至第三实施例中，根据包括多视点图像的一个拍摄图像数据，通过计算来生成焦点位置等改变的合成图像，但是在本实施例中，从通过包围图像拍摄获得的多个拍摄图像数据中，选择并显示希望的拍摄图像。
图23是逐步改变焦点位置的包围图像拍摄（焦点包围图像拍摄）的说明图。在焦点包围图像拍摄中，在使用包含在图像拍摄设备2300中的被配置为进行焦点调节的操作单元的同时，逐步改变焦点位置，并且多次进行图像拍摄。在图23中，在离图像拍摄设备2300不同距离处，分别存在三个被摄体2301至2303。分别地，被摄体2301位于最靠近图像拍摄设备2300的位置，被摄体2302处于中间距离处的位置，并且被摄体2303处于最远的位置。在本实施例中，连续改变焦点位置，以覆盖从最近的被摄体到最远的被摄体的范围，并且在各个焦点位置获取拍摄图像数据。图24示出了在图23中的情形下通过焦点包围图像拍摄获得的拍摄图像的示例。拍摄图像2401是被摄体2301对焦的拍摄图像。拍摄图像2402是被摄体2302对焦的拍摄图像。拍摄图像2403是被摄体2303对焦的拍摄图像。在实际的焦点包围图像拍摄中，也将不存在主要被摄体2301至2303的部分（例如被摄体2301与被摄体2302之间的部分）对焦，并且进行图像拍摄。然后，在获得的拍摄图像数据中，与拍摄图像相关联地记录进行图像拍摄时的焦点位置的信息。
使用诸如f值和变焦倍率的其它图像拍摄参数，类似地进行这种包围图像拍摄。
<图像处理单元的结构图>
图25是示出根据本实施例的图像处理单元112的内部结构的框图。与根据第二实施例的图像处理单元112（参见图15）相比，已知不包括图像合成参数生成单元1501、图像合成单元604和光学参数获取单元603。其它共有单元（拍摄图像数据获取单元601、存储器单元1502、图像选择单元1503、选择条件获取单元1504）与根据第二实施例的图像处理单元112相同，因此省略重复的说明。
图26是示出根据本实施例的图像处理单元112中的图像处理的流程的流程图。通过在将描述下面要示出的过程的计算机可执行程序从ROM103中读取到RAM102上之后，由CPU101执行该程序，来进行该一系列处理。
在步骤2601，拍摄图像数据获取单元601获取通过先前描述的包围图像拍摄而获得的多个拍摄图像数据。在这里获取的拍摄图像数据中的各个中，对各个拍摄图像附加了进行图像拍摄时的诸如焦点位置、f值和变焦倍率的信息。
在步骤2602，将获取的拍摄图像数据存储在存储器单元1502中。
在步骤2603，选择条件获取单元1504获取从操作单元105提供的诸如虚拟焦点位置、虚拟f值和虚拟变焦倍率的选择条件。与在第二实施例中相同，用户经由焦点调节环314、光圈调节环315和变焦调节环313设置这些选择条件。
在步骤2604，图像选择单元1503参照从选择条件获取单元1504提供的选择条件，并从存储在存储器单元1502中的多个拍摄图像数据中，选择满足这些选择条件的优选拍摄图像。所选择的拍摄图像的数据被发送至显示单元106，并且在显示单元106上被显示。
在步骤2605，图像处理单元112确定是否存在关于选择条件的新的输入（改变指令）。在确定存在改变选择条件的指令的情况下，该过程返回到步骤2603，并且根据新输入的选择条件重复进行步骤2603和步骤2604的处理。另一方面，在确定不存在改变选择条件的指令的情况下，退出该处理。
如上所述，根据本实施例的发明，使得能够在不进行图像合成处理的情况下，使用通过包围图像拍摄获得的多个拍摄图像数据，显示焦点位置等改变的图像。
[第五实施例]
第一至第四实施例以存在如下图像拍摄设备作为前提，在所述图像拍摄设备中，将被配置为获取拍摄图像数据的图像拍摄单元、被配置为进行图像合成处理的图像处理单元和被配置为显示合成图像的显示单元，全部集成到一个单元中。接下来，作为第五实施例来说明如下的方面，即图像处理单元、显示单元和图像拍摄单元不集成到一个单元中。
图像处理单元中的图像合成处理本身与在第一实施例等中相同，因此省略重复的说明。此外，用户经由在进行图像拍摄时使用的操作单元（焦点调节环、光圈调节环、变焦调节环等）设置图像合成所需的参数（虚拟焦点位置、虚拟f值、虚拟变焦倍率等），这也与在第一实施例等中相同。
图27A至27C是用于说明图像处理单元和/或显示单元与图像拍摄单元分离地存在的三种情况的图。
图27A示出了如下的方面，即将图像拍摄单元和图像处理单元集成到一个单元中，而作为显示单元的监视器单独地存在。在包含在图像拍摄设备2701内部的图像处理单元（未示意性地示出）中，对由图像拍摄设备2701拍摄的图像的数据进行处理，并生成合成图像，并且，生成的合成图像数据被发送至作为显示单元的监视器2702，并且在监视器2702上被显示。
图27B示出了如下的方面，即图像拍摄单元、图像处理单元和显示单元彼此分离地存在。向作为图像处理单元的PC2704传送由图像拍摄设备2703拍摄的图像的数据，并且在PC2704中进行图像合成处理。然后，生成的合成图像数据被发送至作为显示单元的监视器2705，并且在监视器2705上被显示。在与在第四实施例中相同、通过包围图像拍摄获取拍摄图像数据的情况下，作为图像处理单元的PC2704只需保持拍摄图像数据并且选择图像，而不必进行图像合成处理。
图27C示出了如下的方面，即将图像拍摄单元和显示单元集成到一个单元中，而作为图像处理单元的PC单独地存在。向作为图像处理单元的PC2708传送由图像拍摄设备2706拍摄的图像的数据，并且在PC2708中进行图像合成处理。然后，生成的合成图像数据被发送至具有作为显示单元的液晶监视器2707的图像拍摄设备2706，并且在图像拍摄设备2706上被显示。
在图27A至27C中，通过用例如线缆连接两个单元的有线连接，来实现图像拍摄设备与显示单元之间、图像拍摄设备与图像处理单元之间以及图像处理单元与显示单元之间的数据传输。当然，也可以通过利用诸如Wi-Fi和蓝牙（Bluetooth（注册商标））的无线连接，来实现数据传输。
在图27B和27C中，获取要进行图像合成处理的拍摄图像数据的图像拍摄设备，不一定与用来输入图像合成参数的图像拍摄设备是同一设备。也可以对由与用来输入图像合成参数的图像拍摄设备不同的图像拍摄设备拍摄的图像的数据，进行图像合成处理。在这种情况下，作为图像处理单元的PC例如只需预先将用于图像拍摄的图像拍摄设备的图像拍摄参数存储在存储器单元中即可。
其它实施例
本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (9)

1.一种图像处理设备，该图像处理设备包括生成单元，该生成单元被配置为通过使用由图像拍摄设备获得的多个拍摄图像数据，生成在利用第二设置值拍摄图像的情况下获得的合成图像数据，所述第二设置值与在利用所述图像拍摄设备拍摄图像时使用的第一设置值不同，其中，所述图像拍摄设备能够拍摄基于多个视点位置的图像数据，并且所述图像拍摄设备包括用于设置图像拍摄参数的设置值的操作单元，并且其中，
经由所述操作单元设置所述第一设置值和所述第二设置值。
2.根据权利要求1所述的图像处理设备，其中，
所述图像拍摄参数是与焦点位置相关的参数，并且
所述生成单元生成合成图像数据，该合成图像数据表示在与所述第一设置值指示的焦点位置不同的、所述第二设置值指示的焦点位置聚焦的图像。
3.根据权利要求1所述的图像处理设备，其中，
所述图像拍摄参数是与景深相关的参数，并且
所述生成单元生成表示如下图像的合成图像数据，其中，在利用与所述第一设置值指示的景深不同的所述第二设置值指示的景深进行图像拍摄的情况下，获得所述图像。
4.根据权利要求1所述的图像处理设备，其中，
所述生成单元基于要设置的所述第二设置值和所述图像拍摄设备的姿势，生成合成图像数据。
5.根据权利要求4所述的图像处理设备，其中，
所述图像拍摄参数是与焦点位置相关的参数，并且
由所述图像拍摄设备的姿势来确定焦平面的倾角。
6.根据权利要求1所述的图像处理设备，该图像处理设备还包括显示控制单元，该显示控制单元被配置为对合成图像数据表示的合成图像的显示进行控制。
7.根据权利要求6所述的图像处理设备，所述图像处理设备还包括显示控制单元，该显示控制单元被配置为对合成图像在显示设备的显示画面上的显示进行控制，所述显示设备经由通信路径与所述图像处理设备连接。
8.一种图像拍摄设备，该图像拍摄设备包括根据权利要求1所述的图像处理设备。
9.一种图像处理方法，该图像处理方法包括通过使用由图像拍摄设备获得的多个拍摄图像数据、生成在利用第二设置值拍摄图像的情况下获得的合成图像数据的步骤，所述第二设置值与在利用所述图像拍摄设备拍摄图像时使用的第一设置值不同，其中，所述图像拍摄设备能够拍摄基于多个视点位置的图像数据，并且所述图像拍摄设备包括用于设置图像拍摄参数的设置值的操作单元，并且其中，
经由所述操作单元设置所述第一设置值和所述第二设置值。
CN201310354072.1A 2012-08-14 2013-08-14 图像处理设备、图像拍摄设备及图像处理方法 Expired - Fee Related CN103595979B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012179849A JP6029380B2 (ja) 2012-08-14 2012-08-14 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP2012-179849 2012-08-14

Publications (2)

Publication Number Publication Date
CN103595979A true CN103595979A (zh) 2014-02-19
CN103595979B CN103595979B (zh) 2016-08-10

Family

ID=50085945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310354072.1A Expired - Fee Related CN103595979B (zh) 2012-08-14 2013-08-14 图像处理设备、图像拍摄设备及图像处理方法

Country Status (3)

Country Link
US (2) US9253390B2 (zh)
JP (1) JP6029380B2 (zh)
CN (1) CN103595979B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041432A1 (en) * 2014-09-15 2016-03-24 Beijing Zhigu Tech Co., Ltd. Light field capture control methods and apparatuses, light field capture devices
CN107293126A (zh) * 2017-08-21 2017-10-24 孔涛 实时违章信息记录平台
CN107301775A (zh) * 2017-08-23 2017-10-27 无锡北斗星通信息科技有限公司 凌晨时段噪音车辆检测平台
CN107328468A (zh) * 2017-08-23 2017-11-07 无锡北斗星通信息科技有限公司 一种检测噪音车辆的方法
CN107341894A (zh) * 2017-08-22 2017-11-10 无锡北斗星通信息科技有限公司 智能化车辆解封系统
CN107527410A (zh) * 2017-08-22 2017-12-29 无锡北斗星通信息科技有限公司 一种智能化车辆解封方法
CN107730907A (zh) * 2017-08-21 2018-02-23 孔涛 一种实时记录违章信息的方法
CN109792486A (zh) * 2016-09-29 2019-05-21 株式会社尼康 摄像装置
CN110060206A (zh) * 2015-02-06 2019-07-26 株式会社理光 图像处理系统、图像生成装置和生成图像的方法
CN110197161A (zh) * 2019-05-31 2019-09-03 Oppo广东移动通信有限公司 静脉识别方法及相关产品
CN110431461A (zh) * 2018-09-26 2019-11-08 深圳市汇顶科技股份有限公司 电子设备、采用光学超表面的光场成像系统及方法
CN114942814A (zh) * 2022-06-01 2022-08-26 咪咕视讯科技有限公司 页面组件的聚焦方法、系统、终端设备及介质
EP4167027A1 (en) * 2021-10-12 2023-04-19 Shenzhen Dongzhen Optical Technology Co., Ltd Method and system for acquiring operating parameters of photographic lens

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US9582922B2 (en) * 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9594247B2 (en) 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6321991B2 (ja) * 2014-02-21 2018-05-09 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記録媒体
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP2015198391A (ja) 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6608194B2 (ja) * 2014-07-09 2019-11-20 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US20160073015A1 (en) * 2014-09-06 2016-03-10 Anne Elizabeth Bressler Implementing an automated camera setting application for capturing a plurality of images
JP6432606B2 (ja) 2014-12-03 2018-12-05 株式会社ニコン 電子機器
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
JP6758891B2 (ja) * 2016-04-11 2020-09-23 キヤノン株式会社 画像表示装置及び画像表示方法
JP2018032982A (ja) * 2016-08-24 2018-03-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JPWO2021149509A1 (zh) * 2020-01-23 2021-07-29
CN111464753B (zh) * 2020-05-21 2022-04-08 北京小米移动软件有限公司 照片的拍摄方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991440A (zh) * 2005-12-26 2007-07-04 佳能株式会社 图像稳定设备和摄像设备
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
CN101800854A (zh) * 2009-02-05 2010-08-11 索尼公司 图像拾取装置
US20110129165A1 (en) * 2009-11-27 2011-06-02 Samsung Electronics Co., Ltd. Image processing apparatus and method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4034420B2 (ja) * 1998-04-20 2008-01-16 オリンパス株式会社 電子カメラ
JP2005295056A (ja) * 2004-03-31 2005-10-20 Matsushita Electric Ind Co Ltd カメラ、撮像装置、レンズ鏡筒及びカメラ本体
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7409149B2 (en) * 2005-11-03 2008-08-05 International Business Machines Corporation Methods for improved autofocus in digital imaging systems
US20100103175A1 (en) 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
JP4969474B2 (ja) * 2007-02-09 2012-07-04 オリンパスイメージング株式会社 復号方法、復号装置、及び復号プログラム
JP2009111635A (ja) * 2007-10-29 2009-05-21 Olympus Imaging Corp 電子撮像装置
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5055098B2 (ja) * 2007-12-06 2012-10-24 キヤノン株式会社 画像表示システム、情報処理装置、その制御方法及びプログラム
WO2009094022A1 (en) * 2008-01-23 2009-07-30 Hewlett-Packard Development Company, L.P. Image-capture parameter variation
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP5506574B2 (ja) * 2010-07-02 2014-05-28 キヤノン株式会社 画像処理装置および方法、プログラム。
JP5906062B2 (ja) * 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5956808B2 (ja) * 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
JP5797016B2 (ja) * 2011-05-30 2015-10-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP6305053B2 (ja) 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991440A (zh) * 2005-12-26 2007-07-04 佳能株式会社 图像稳定设备和摄像设备
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
CN101800854A (zh) * 2009-02-05 2010-08-11 索尼公司 图像拾取装置
US20110129165A1 (en) * 2009-11-27 2011-06-02 Samsung Electronics Co., Ltd. Image processing apparatus and method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041432A1 (en) * 2014-09-15 2016-03-24 Beijing Zhigu Tech Co., Ltd. Light field capture control methods and apparatuses, light field capture devices
US10341594B2 (en) 2014-09-15 2019-07-02 Beijing Zhigu Tech Co., Ltd. Light field capture control methods and apparatuses, light field capture devices
CN110060206B (zh) * 2015-02-06 2023-09-12 株式会社理光 图像处理系统、图像生成装置和生成图像的方法
CN110060206A (zh) * 2015-02-06 2019-07-26 株式会社理光 图像处理系统、图像生成装置和生成图像的方法
CN109792486A (zh) * 2016-09-29 2019-05-21 株式会社尼康 摄像装置
CN108288380B (zh) * 2017-08-21 2020-07-31 嘉兴市永泰五金塑料有限责任公司 实时违章信息记录平台
CN107730907A (zh) * 2017-08-21 2018-02-23 孔涛 一种实时记录违章信息的方法
CN107293126B (zh) * 2017-08-21 2018-03-23 广东省计算技术应用研究所 实时违章信息记录平台
CN108288380A (zh) * 2017-08-21 2018-07-17 孔涛 实时违章信息记录平台
CN107293126A (zh) * 2017-08-21 2017-10-24 孔涛 实时违章信息记录平台
CN107730907B (zh) * 2017-08-21 2020-08-04 广东奥格信息技术有限公司 一种实时记录违章信息的方法
CN107527410A (zh) * 2017-08-22 2017-12-29 无锡北斗星通信息科技有限公司 一种智能化车辆解封方法
CN107341894A (zh) * 2017-08-22 2017-11-10 无锡北斗星通信息科技有限公司 智能化车辆解封系统
CN107341894B (zh) * 2017-08-22 2019-09-24 济宁职业技术学院 智能化车辆解封系统
CN107301775A (zh) * 2017-08-23 2017-10-27 无锡北斗星通信息科技有限公司 凌晨时段噪音车辆检测平台
CN107328468A (zh) * 2017-08-23 2017-11-07 无锡北斗星通信息科技有限公司 一种检测噪音车辆的方法
CN110431461A (zh) * 2018-09-26 2019-11-08 深圳市汇顶科技股份有限公司 电子设备、采用光学超表面的光场成像系统及方法
CN110197161A (zh) * 2019-05-31 2019-09-03 Oppo广东移动通信有限公司 静脉识别方法及相关产品
EP4167027A1 (en) * 2021-10-12 2023-04-19 Shenzhen Dongzhen Optical Technology Co., Ltd Method and system for acquiring operating parameters of photographic lens
CN114942814A (zh) * 2022-06-01 2022-08-26 咪咕视讯科技有限公司 页面组件的聚焦方法、系统、终端设备及介质
CN114942814B (zh) * 2022-06-01 2023-07-11 咪咕视讯科技有限公司 页面组件的聚焦方法、系统、终端设备及介质

Also Published As

Publication number Publication date
US20140049666A1 (en) 2014-02-20
JP2014039125A (ja) 2014-02-27
CN103595979B (zh) 2016-08-10
US10009540B2 (en) 2018-06-26
JP6029380B2 (ja) 2016-11-24
US9253390B2 (en) 2016-02-02
US20160119550A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
CN103595979B (zh) 图像处理设备、图像拍摄设备及图像处理方法
CN102959943B (zh) 立体全景图像合成装置和方法、以及图像捕获装置
CN103051833B (zh) 摄像设备及其制造方法、图像处理装置及图像处理方法
CN103493484B (zh) 成像装置和成像方法
TWI416945B (zh) 影像處理裝置、影像處理方法及電腦可讀取媒體
CN103370943B (zh) 成像装置和成像方法
US10984550B2 (en) Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
US9065998B2 (en) Photographing apparatus provided with an object detection function
CN102907105A (zh) 提供具有感知深度的视频的摄像机
CN103098457A (zh) 立体成像装置和立体成像方法
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102959969A (zh) 单眼立体摄像装置
JP4692849B2 (ja) 立体画像記録装置および立体画像記録方法
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN103842903A (zh) 成像设备、成像方法以及程序
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP2010136058A (ja) 電子カメラおよび画像処理プログラム
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
JP6257260B2 (ja) 撮像装置及びその制御方法
CN103098458A (zh) 立体成像装置和立体成像方法
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2003134534A (ja) 撮像装置
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20210814

CF01 Termination of patent right due to non-payment of annual fee